Multi-sensor fusion method for crop row tracking and traversability operations

摘要

Precision agriculture vehicles need autonomous navigation in cultures to carry out their tasks, such as planting, maintenance and harvesting in cultures such as vegetable, vineyard, or horticulture. The detection of natural objects like trunks, grass, leaf, or obstacles in front of vehicle in crop row is crucial for safe navigation. Sensors such as LiDAR devices or Time Of Flight cameras (TOF), allow to obtain geometric data in natural environment, using information of an Inertial Measurement Unit (IMU), for measurement accuracy. Fusion of geometric information with a color camera data improves the natural object identification, using some color classification technique, such as Support Vector Machine (SVM), considering two object classes, either solid objects such as crop or tree branch, and other elements like grass, leaf and soil. Agricultural vehicles can use these geometric and colorimetric data in real time, to follow crop rows and detect obstacles while executing various precision agriculture operations. In this application, perception sensors embedded on a light mobile robot were used to detect and identify natural objects in agricultural crops, working in various fields, with or without soil perturbation, with different speeds and several vegetation levels to achieve crop row tracking tasks, from a desired lateral deviation between robot and crop line, or traversability operations which consisted to take a decision in vehicle navigation, according to the size and nature of the detected objects, in front of vehicle. The vehicle could cross or avoid the object, or it must stop, for big solid obstacles. / Les véhicules agricoles de précision ont besoin d'une navigation autonome dans les cultures pour effectuer leurs tâches, telles que la plantation, l'entretien et la récolte dans des cultures telles que les légumes, les vignes ou l'horticulture. La détection d'objets naturels tels que des troncs, de l'herbe, des feuilles ou des obstacles devant le véhicule dans la rangée de cultures est cruciale pour une navigation sûre. Des capteurs tels que les dispositifs LiDAR ou les caméras à temps de vol (TOF) permettent d'obtenir des données géométriques dans un environnement naturel, en utilisant les informations d'une unité de mesure inertielle (IMU), pour la précision des mesures. Fusionner des informations géométriques avec une caméra couleur améliore l'identification des objets naturels, en utilisant une technique de classification des couleurs, telle que SVM (Support Vector Machine), en considérant deux classes d'objets, soit des objets solides tels que des branches ou des branches, feuille et sol. Les véhicules agricoles peuvent utiliser ces données géométriques et colorimétriques en temps réel, pour suivre les rangées de cultures et détecter les obstacles lors de l'exécution de diverses opérations agricoles de précision. Dans cette application, des capteurs de perception embarqués sur un robot mobile léger ont été utilisés pour détecter et identifier des objets naturels dans des cultures agricoles, travaillant dans différents domaines, avec ou sans perturbation du sol, avec différentes vitesses et plusieurs niveaux de végétation. une déviation latérale souhaitée entre le robot et la ligne de récolte, ou des opérations de traversée qui consistaient à prendre une décision dans la navigation du véhicule, en fonction de la taille et de la nature des objets détectés, devant le véhicule. Le véhicule peut traverser ou éviter l'objet, ou il doit s'arrêter, pour de gros obstacles solides.