Ce qu'un boîtier
à 250 $ sait vraiment faire :
Jetson Orin Nano

Le Jetson Orin Nano — le kit de dév Super, celui à 250 $ — est un ordinateur IA qui tient dans la main. GPU Ampere intégré, 8 Go de mémoire partagée, environ 67 TOPS. Il consomme à peu près autant qu'un chargeur de téléphone.

Pas de carte graphique. Pas de serveur. Et il fait tourner, seul, une chaîne de vision par ordinateur complète.

Le pipeline qu'il exécute

Un seul graphe, de bout en bout, sur l'appareil :

On tire un flux caméra H.265 en direct. On le décode sur le bloc matériel NVDEC : le CPU ne touche jamais aux pixels. On fait passer un détecteur YOLO compilé en moteur TensorRT dans DeepStream. On suit chaque objet d'une image à l'autre. Et on transforme les détections en événements exploitables.

Caméra en entrée, alerte en sortie. Tout en local. La vidéo ne quitte jamais le boîtier.

C'est tout l'intérêt. Aucun aller-retour vers le cloud, aucune facture au flux, et ça continue de tourner quand internet tombe.

J'ai tenu du 1080p à ~15–18 IPS — détection, suivi et logique d'événements compris — sans jamais approcher ses limites de mémoire ou de consommation. C'est du matériel de production, pas un jouet.

TensorRT : l'astuce et le piège

Un .engine, c'est un modèle compilé pour cette puce-là, et pour aucune autre. Toute la vitesse vient de là.

Deux choses vous attendent au tournant.

La première compilation est lente. Plusieurs minutes. Et sur l'appareil : impossible de préparer le moteur sur votre portable, il doit naître sur l'Orin. Compilez-le donc une fois, puis mettez-le en cache sur le stockage de la carte. S'il atterrit dans de l'éphémère — une couche de conteneur, un tmpfs — vous repayez la compilation à chaque redémarrage.

Et TensorRT ment sur la mémoire. Le mien refusait de compiler — « 1 Mo libre » — alors que la carte avait des gigaoctets qui dormaient. La vraie cause : une taille d'espace de travail jamais renseignée. Trop petite pour un seul noyau FP16. Passée à 2 Go, la compilation est sortie propre.

trtexec --onnx=yolo.onnx --fp16 \
        --memPoolSize=workspace:2048 \
        --saveEngine=yolo.engine

Sur cette carte, « mémoire insuffisante » désigne presque toujours le plafond de l'espace de travail, pas votre RAM.

Les pièges de l'edge

Ici, nvidia-smi n'existe pas : c'est un GPU Tegra. Passez par tegrastats, où GR3D_FREQ vous donne la charge GPU.

Les builds se scindent par architecture. Le Jetson est en arm64, votre portable probablement pas. Tout ce qui touche à CUDA, à TensorRT ou aux codecs se compile nativement sur la carte ; le reste passe en compilation croisée, avec buildx et QEMU. Et un tag :latest partagé doit porter les deux architectures, sinon vous cassez le pull de l'autre plateforme.

C'est la tuyauterie qui mange le temps, jamais le modèle. Forcer le RTSP en TCP, ou se battre contre une bizarrerie UDP/IPv6. Se méfier du H.264 quand on attend du H.265. Le détecteur n'a jamais été le goulot d'étranglement.

Le pire bug, lui, était silencieux. Deux étages du pipeline ne s'entendaient pas sur la forme du JSON qu'ils s'échangeaient : le second jetait chaque message. Et tout avait l'air de tourner. Affichez la charge utile réelle. Ne vous fiez jamais au schéma tel qu'il devrait être.

Ce qu'il faut retenir

L'Orin Nano fait tourner une chaîne de vision DeepStream + TensorRT complète, en edge. Le prix d'un téléphone milieu de gamme, quelques watts, et la vidéo qui reste sur place.