Implementation of 3D Location Detection Embedded System for Tomato Harvesting Robots

Abstract

최근 지속적인 농업 인구의 감소와 고령화에 따른 노동력 부족 문제를 해소하기 위하여 인공지능 기반의 농업자동화 기술에 관한 연구가 많은 관심을 받고 있다. 본 논문에서는 대표적인 시설작물인 토마토의 자동화 수확 로봇 개발을 위하여 딥러닝 기반의 3차원 위치 검출 임베디드 시스템을 구현하고, 실제 환경에서 시스템의 적용 가능성 확인을 목적으로 한다. 토마토의 3차원 위치 검출 시스템은 저렴한 비용으로 구축이 가능한 저전력, 소형 임베디드 장비인 NVIDIA Jetson Xavier NX와 이미지의 3차원 정보를 얻기 위한 스테레오 타입의 ZED2 카메라로 구성된다. 제안한 시스템은 최신 YOLOv5 객체 검출 모델을 이용하여 토마토 이미지를 학습하고, 학습된 모델을 통해 검출된 토마토의 2차원 좌표를 3차원 좌표로 변환하여 토마토의 3차원 위치를 검출한다. 또한, 학습된 모델의 성능향상을 위하여 추론 속도를 수배에서 수십 배까지 향상시킬 수 있는 모델 최적화 엔진인 TensorRT를 적용하여 모델의 최적화를 수행한다. 구현한 시스템의 성능은 TensorRT를 적용한 최적화 모델의 평균 정밀도와 이미지 추론 시간에 대하여 비교하였으며, 성능개선을 확인하였다.