PROJET DE RECHERCHE WIN²WAL · N° 2310030 · 2023 — 2027

Un robot dans la prairie, des données pour l'éleveur.

ROBHERB développe un système robotisé d'acquisition et de traitement de l'information — vision par ordinateur, LiDAR et edge computing — pour la gestion optimale des prairies pâturées.

Découvrir le projet S'inscrire à la newsletter

Le projet

Mise au point d'un système d'acquisition et de traitement de l'information pour la gestion des prairies pâturées.

Le pâturage est au cœur de l'élevage wallon, mais la prairie reste un milieu difficile à inventorier. ROBHERB met en place une plateforme robotisée semi-autonome capable de parcourir la prairie, d'en capturer l'état au centimètre près et d'en extraire — directement à bord, en edge computing — une information directement utile à l'éleveur : où intervenir, quand, et en priorité.

Le projet vise une maturité technologique TRL 3 → 5 et associe recherche appliquée (Henallux — FoRS), expertise agronomique et mécatronique (ULiège — BioDynE), expérimentation de terrain (CTA Strée) et partenaire industriel (Agronova).

Biomasse fourragère

Estimer la matière sèche disponible (kg MS/ha) à partir d'images RGB-D et de nuages de points 3D.

Hauteur du couvert

Mesurer la hauteur d'herbe sans herbomètre, par corrélation entre descripteurs numériques et mesures de terrain.

Espèces indésirables

Détecter le rumex et autres adventices par classification multi-espèces (deep learning embarqué).

Éléments d'intérêt

Cartographier zones de refus, déjections et déchets pour guider les interventions de l'agriculteur.

La plateforme

CHÂSSIS

Husarion Panther 1.2

Robot mobile tout-terrain, indice de protection IP66, double batterie pour des missions d'environ 8 heures en prairie.

PERCEPTION

LiDAR Ouster OS0-32

32 faisceaux, portée 50 m, 360° × 90°, jusqu'à 5,2 millions de points par seconde. Détection d'obstacles et cartes de coût Nav2.

POSITION

Fixposition Vision-RTK 2

Fusion GNSS-RTK, vision et inertie : localisation au centimètre, même quand le signal satellite est dégradé.

IMAGERIE

Caméra RGB-D

Images couleur et cartes de profondeur géoréférencées, acquises à 1 Hz au-dessus du couvert végétal.

CALCUL

NVIDIA Jetson Orin NX

16 Go de RAM et GPU embarqué : navigation autonome et inférence des modèles de deep learning directement sur le robot.

0 km parcourus par séance de travail

0 ha de prairie imagés par mission

0 M pts/s acquis par le LiDAR rotatif

±0 cm de précision de positionnement RTK

Les données

À chaque passage, le robot capture des paires d'images RGB et de cartes de profondeur, horodatées et géoréférencées. Glissez le curseur pour voir la prairie comme le robot la voit.

Image RGB du couvert végétal acquise par le robot

Carte de profondeur en fausses couleurs de la même scène

⟨ ⟩

PROFONDEUR RGB

De l'image brute à l'indicateur agronomique

S-01
Acquisition

Missions bimensuelles d'avril à octobre sur les quadrats de référence du CTA, synchronisées avec herbomètre, swardstick et coupes destructives. Archivage automatisé (rsync/SSH) dès qu'un Wi-Fi est détecté, ≈ 60 Go par saison.
S-02
Extraction

Chaque quadrat est repéré par ses quatre coins, puis redressé par homographie en vue de dessus — RGB, profondeur et nuage de points ensemble. 1 378 vignettes comparables, métadonnées tracées.
S-03
Géométrie

Un plan de sol de référence, levé une fois la caméra en pose de montage, sert de datum : la hauteur d'un brin devient sa distance signée à ce plan. 33 descripteurs par quadrat — canopée, profondeur, verdeur, couverture végétale.
S-04
Représentation

Un backbone de vision gelé (DINOv2), qui n'a jamais vu d'herbe annotée, décrit chaque vignette en 1 536 dimensions — sans le moindre réentraînement.
S-05
Empilement

Les deux voies sont moyennées à poids égaux, puis validées en retirant de l'entraînement une acquisition entière : prédire un jour où l'on n'ira pas mesurer.

Résultats

Tous les chiffres ci-dessous sont mesurés en retirant de l'entraînement l'acquisition entière — la parcelle, ce jour-là — dont on prédit ensuite les quadrats. C'est le seul protocole qui simule une journée où l'on n'ira pas mesurer, et le seul où le modèle ne peut pas deviner la condition.

Deux cartes côte à côte de la même prairie le 8 juillet 2026 : à gauche la biomasse inférée par le robot en kg MS/ha, à droite la hauteur mesurée à l'herbomètre en mm. Les mêmes zones ressortent sur les deux cartes. — Dix parcelles parcourues en continu, 3 276 images inférées, confrontées à 1 181 coups d'herbomètre relevés le même jour. Aucune interpolation : seules les cellules réellement parcourues sont remplies.

HAUTEUR D'HERBE

Mesurer le couvert sans descendre du robot

Sur 234 quadrats-dates, le modèle explique 72 % de la variance de la hauteur au swardstick (erreur type 1,6 cm) et 64 % de celle de l'herbomètre (0,85 cm) — pour cette dernière, 74 % du plafond fixé par la répétabilité de l'instrument lui-même. La clé n'est pas le régresseur mais la géométrie : un plan de sol de référence, levé une fois pour toutes, qui donne enfin un zéro fiable sous l'herbe dense.

0 R² swardstick, acquisition retirée

0 R² herbomètre, acquisition retirée

BIOMASSE

La matière sèche, prédite sur une date jamais vue

88 coupes destructives couvrant 104 à 1 988 kg MS/ha servent de vérité terrain : le modèle en explique 78 % avec une erreur type de 217 kg/ha. Un garde-fou a été ajouté après une observation de terrain — sur du sol nu portant quelques rosettes, la seule hauteur de canopée surestimait largement. La biomasse est désormais corrigée par la couverture végétale, avec un exposant mesuré indépendamment sur nos quadrats (+1,15) et sur le jeu CSIRO (+1,04).

0 R² biomasse, acquisition retirée

0 kg MS/ha d'erreur type

MÉTHODE

Un backbone d'image gelé change l'échelle du problème

Le levier n'était ni dans le régresseur, ni dans la géométrie 3D. Un modèle de vision pré-entraîné, utilisé tel quel — aucun réentraînement, 1 536 dimensions par vignette — puis simplement moyenné avec le pipeline géométrique, fait passer l'herbomètre de 0,49 à 0,64. La raison est mesurable : les deux voies ne se trompent pas sur les mêmes quadrats. Quatre backbones de 86 à 428 millions de paramètres arrivent au même point ; c'est la complémentarité qui paie, pas la taille.

+0 de R² gagné sur l'herbomètre

0 dimensions décrivant chaque vignette

CARTE DE PRAIRIE

Une prairie entière, cartographiée puis vérifiée

Première sortie du dispositif à quadrats : le robot parcourt dix parcelles en continu, chaque image est découpée au même quadrat virtuel et passée dans le modèle. Les zones qu'il juge les plus fournies sont bien celles où l'opérateur mesure le plus d'herbe. La corrélation monte avec la taille de la zone considérée — +0,48 sur un coup de plateau isolé, +0,89 par parcelle : le modèle est exploitable à l'échelle d'une zone de gestion, pas d'un point.

+0 accord par parcelle (Pearson)

0 images inférées en une journée

EMBARQUÉ

Du modèle de labo au moteur qui tourne à bord

Le modèle est désormais figé en un artefact déployable : poids exportés en ONNX, descripteurs recalculés en numpy pur — ni scikit-learn, ni Open3D, ni pandas dans le chemin d'inférence. Résultat, 47 ms par image contre 458 ms pour la chaîne de laboratoire, soit cinq fois la cadence de pointe du robot. Des vecteurs de référence figés vérifient à chaque export que le moteur embarqué répond exactement comme la chaîne d'entraînement.

0 ms par image, descripteurs complets

×0 plus rapide que la chaîne de labo

LUCIDITÉ

Ce qui n'a pas marché, et qui compte autant

Trois pistes séduisantes ont été mesurées puis écartées. Le transfert depuis le jeu australien CSIRO : nos vues obliques rectifiées sont neuf fois moins nettes que leurs vues nadir, et ajouter leurs quadrats dégrade. Le canal proche infrarouge : aucun effet détectable sur les hauteurs. Les parcours libres comme données d'entraînement : l'étiquette appariée dans l'espace est trop bruitée, le score baisse. Ce qui a transféré du concours, c'est la méthode — backbone gelé plus tête linéaire — pas les données.

DÉTECTION D'ESPÈCES

Classification multi-espèces sur une seule image

Un modèle YOLO entraîné sur des données Pl@ntNet détecte et localise plusieurs espèces végétales dans une même image — un verrou scientifique encore ouvert (challenge PlantCLEF) — avec des performances prometteuses sur 9 espèces tests, dont le rumex.

0% précision

0% rappel

TERRAIN 2025 — 2026

Deux saisons de mesures, quadrat par quadrat

Quinze campagnes menées par le CTA du 8 avril au 21 octobre 2025, calées sur l'essai « Bandes de Colin », puis sept dates d'avril à juillet 2026 sur les parcelles P4 et P6. Chaque passage du robot est doublé de mesures manuelles — herbomètre, swardstick, coupes destructives séchées et analyses fourragères. C'est ce vis-à-vis, et lui seul, qui rend les chiffres ci-dessus vérifiables.

1 378 quadrats annotés et rectifiés

0 coupes destructives pesées

0 quadrats-dates de référence

0 acquisitions annotées, sur deux parcelles

1 181 relevés d'herbomètre confrontés au modèle

0 ms par image dans le moteur embarqué

L'architecture

Du capteur au tableau de bord : une chaîne logicielle entièrement conteneurisée, open source et reproductible, du robot jusqu'au serveur.

A. À bord du robot

ROS 2 Humble orchestre capteurs et navigation (Nav2, costmaps spatio-temporelles, contrôleur MPPI). Les acquisitions sont indexées dans une base SQLite et les nœuds sont conteneurisés en images Docker ARM64. Un tableau de bord opérateur (Dash) permet le pilotage et le contrôle qualité depuis un smartphone, au champ.

B. Côté serveur

Les données remontent en MQTT et rsync vers l'infrastructure FoRS Henallux : InfluxDB pour les séries temporelles, Grafana pour la visualisation, Prometheus pour le monitoring, et un explorateur de fichiers sécurisé pour les partenaires. Tout est déployé en docker-compose.

C. Le moteur d'inférence

Le modèle quitte le laboratoire sous forme d'artefact figé : backbone exporté en ONNX, têtes de régression et plan de sol de référence sérialisés, puis descripteurs recalculés en numpy pur. Le chemin d'inférence embarqué ne dépend plus de la chaîne d'entraînement, et des vecteurs de référence vérifient à chaque export qu'il répond au millième près comme elle.

D. Les outils d'annotation

Une application interne (Streamlit) couvre le reste du cycle : indexation des collections, appariement GPS, tracé des contours de parcelles, annotation des quadrats aux quatre coins, et cartographie interactive des inférences sur un parcours libre, confrontées aux relevés d'herbomètre.