A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation (2020)
- Authors:
- Autor USP: RIBEIRO, EDUARDO GODINHO - EESC
- Unidade: EESC
- Sigla do Departamento: SEL
- Subjects: ROBÓTICA; INTELIGÊNCIA ARTIFICIAL; APRENDIZADO COMPUTACIONAL
- Keywords: Aprendizagem profunda; Preensão robótica
- Agências de fomento:
- Language: Inglês
- Abstract: A evolução dos campos da Robótica e da Inteligência Artificial ainda não possibilitou que tarefas simples executadas pelo ser humano, sejam executadas com destreza por um robô. Uma delas é a manipulação de objetos por manipuladores robóticos. Visando explorar o uso de algoritmos de aprendizagem profunda, especificamente Redes Neurais Convolucionais, para abordar o problema de preensão robótica, este trabalho explora a fase de percepção visual envolvida na tarefa. Isto é, o processamento de dados visuais para que se possa obter a localização do objeto a ser pego, sua postura e os pontos nos quais as garras do robô devem fazer contato para garantir uma preensão estável. Para tal, o conjunto de dados Cornell Grasping foi utilizado para treinar uma rede neural convolucional capaz de considerar estas três etapas de forma simultânea. Ou seja, de posse de uma imagem do ambiente de trabalho do robô, contendo determinado objeto, a rede prediz um retângulo de preensão que simboliza a posição, orientação e abertura da garra paralela do robô no instante anterior ao seu fechamento. Em adição a esta rede, capaz de processar as imagens em tempo real, outra rede foi projetada para que seja possível lidar com situações em que o objeto se movimenta no ambiente. Desta forma, a segunda rede convolucional é treinada para realizar um controle servo-visual que assegura a permanência do objeto no campo de visão do robô. Esta rede prediz os valores proporcionais das velocidades linear e angular quea câmera deve possuir para que o objeto sempre esteja na imagem processada pela rede de preensão. O conjunto de dados utilizado para treinamento foi gerado, com reduzida supervisão humana, por um robô manipulador Kinova Gen3 com sete graus de liberdade. O robô também foi utilizado para avaliar a aplicabilidade em tempo real e obtenção de resultados práticos dos algoritmos projetados. Os resultados de preensão alcançam 90% de precisão com alta velocidade de processamento. Um dos modelos projetados para controle servo-visual alcança precisão milimétrica de posicionamento para um objeto visto pela primeira vez. Em uma pequena avaliação, o sistema completo executou o rastreamento e a preensão de objetos dinâmicos vistos pela primeira vez em 85% das tentativas. Assim, este trabalho apresenta um novo sistema de manipulação robótica autônoma, capaz de generalizar para diferentes objetos e com alta velocidade de processamento, o que permite sua aplicação em sistemas robóticos de tempo real
- Imprenta:
- Publisher place: São Carlos
- Date published: 2020
- Data da defesa: 16.04.2020
-
ABNT
RIBEIRO, Eduardo Godinho. A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation. 2020. Dissertação (Mestrado) – Universidade de São Paulo, São Carlos, 2020. Disponível em: https://www.teses.usp.br/teses/disponiveis/18/18153/tde-25092020-134758/. Acesso em: 20 set. 2024. -
APA
Ribeiro, E. G. (2020). A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation (Dissertação (Mestrado). Universidade de São Paulo, São Carlos. Recuperado de https://www.teses.usp.br/teses/disponiveis/18/18153/tde-25092020-134758/ -
NLM
Ribeiro EG. A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation [Internet]. 2020 ;[citado 2024 set. 20 ] Available from: https://www.teses.usp.br/teses/disponiveis/18/18153/tde-25092020-134758/ -
Vancouver
Ribeiro EG. A deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation [Internet]. 2020 ;[citado 2024 set. 20 ] Available from: https://www.teses.usp.br/teses/disponiveis/18/18153/tde-25092020-134758/ - Fast convolutional neural network for real-time robotic grasp detection
- Second-order position-based visual servoing of a robot manipulator
- Real-time deep learning approach to visual servo control and grasp detection for autonomous robotic manipulation
- Depth completion with morphological operations: an intermediate approach to enhance monocular depth estimation
- On deep learning techniques to boost monocular depth estimation for autonomous navigation
- Bayesian optimization for efficient tuning of visual servo and computed torque controllers in a reinforcement learning scenario
How to cite
A citação é gerada automaticamente e pode não estar totalmente de acordo com as normas
