wintics building smart camera applications

[EN] Building Smart Camera applications at an industrial scale by leveraging cutting-edge deep learning techniques

Computer vision is a fast-moving field of research

Smart Cameras are all about Computer Vision, the sub-field of AI that aims to build machines having human-level understanding of images or videos. It underwent a series of major breakthroughs in many vision tasks (like image classification, object detection, etc) since 2012. Part of the progress made came from research advances on how to train bigger and bigger neural networks. Over the past few years, researchers and engineers have been working on how to make deep learning more efficient and how to run neural networks using fewer resources. It is for instance today’s AI industry practice to reduce the arithmetic precision of real numbers when running neural nets in production. Roughly, we use 32 bits for representing neural nets weights and outputs during training, but we use much less (16 or 8 bits) in production. Despite all the research done so far, for numerous use cases neural networks still demand too much computing power to meet low latency constraints.

Hardware producers keep on innovating to follow algorithms breakthroughs

It is worth noting that the major part of the workload to run neural networks is linear algebra (matrix and vector operations). Companies like Nvidia, Google and Intel have been developing specialized software and hardware to perform this kind of arithmetic very efficiently. In 2017, Nvidia introduced the Volta micro-architecture containing Tensor Cores. These Tensor Cores are programmable chips allowing fused matrix-multiply-and-accumulate units that run concurrently alongside regular GPU cores. Tensor Cores implement new 16-bit floating-point HMMA (Half-Precision Matrix Multiply and Accumulate) and 8-bit integer IMMA (Integer Matrix Multiply and Accumulate) instructions for accelerating dense linear algebra computations. Google introduced in 2016 the Tensor Processing Unit (TPU) which was specifically designed for their deep learning platform called TensorFlow. Each TPU consists of two Tensor Cores that each consist of scalar, vector and matrix units (MXU). Currently, TPUs are not commercially available for purchase but can be used as a cloud service. The edge computing market has been targeted by NVIDIA and Google as well: Nvidia promotes the Jetson product line of embedded computing boards integrating small GPUs, and Google announced in March 2019 the Coral lightweight TPU.

wintics edge computing hardware

In addition to the hardware trend, we have witnessed the rise of software designed for optimizing neural networks for production, like Intel’s OpenVINO and NVIDIA’s TensorRT. More recently, Facebook open-sourced FBGEMM, a high-performance linear algebra library for running neural nets on CPU-servers. All these developments make new industrial AI use cases possible and generate great opportunities for innovation.

At Wintics, we combine the lastest innovations in both hardware and software to deliver high-performance solutions

At Wintics, we leverage NVIDIA technology. In terms of software, we have been extensively using their main high-performance low-level libraries in all our products: CUDA, CuDNN and TensorRT. In terms of hardware, we leverage high-performance GPUs for server applications and the Jetson product line for edge computing. We are currently able to process thousands of images per second on a single GPU, or even, to run real-time high-level directional traffic analysis from surveillance cameras on the lightweight Jetson Nano.

Here we share the results of some of our current works on Optimizing Siamese Neural Networks. This architecture has become popular in single object tracking in the past couple of years. We present the latency gains on the SiamRPN architecture brought by porting the neural network to C++, by optimizing it using TensorRT and by reducing arithmetic precision.

We performed benchmarks on 4 pieces of hardware: RTX 2080ti, Jetson Xavier, Jetson TX2 and Jetson Nano. Each device presents different architectures and delivers different computing power capabilities.

  Specs
Hardware Computing Power Architecture
RTX 2080Ti 4352 cores + 544 Tensor Cores Turing
Jetson Xavier 512 cores + 64 Tensor Cores Volta
Jetson TX2 256 cores Pascal
Jetson Nano 128 cores Maxwell

We measure latency by the number of frames per second (fps) and the tracking accuracy is quantified by the mean intersection over union (mIoU) with the ground truth labels. We use three levels of precision: 32-bit and 16-bit floating-points (FP32 and FP16, respectively) and 8-bit integer numbers (INT8). The benchmark below compares an open source code against our in-house optimized implementation.

Note: Most real-time applications require at least 30 fps.

  Frames per second (fps)
GPU Device Open source

(Python & FP32)

C++ & TensorRT & FP32 C++ & TensorRT & FP16 C++ & TensorRT & INT8
RTX 2080ti 111.1 126.7 147.1 177.3
Jetson Xavier 20.8 29.8 73.6 92.2
Jetson TX2 9.1 10.6 17.3 INT8 not supported
Jetson Nano 3.7 4.7 8.0 INT8 not supported

In order to assure that these speed gains come with no accuracy loss, we tested all the implementations on the OTB-2013 dataset. The table below shows the results.

  Score (mIoU)
GPU Device Open source

(Python & FP32)

C++ & TensorRT & FP32 C++  & TensorRT & FP16 C++ & TensorRT & INT8
RTX 2080ti 0.6445 0.6409 0.6406 0.6446
Jetson Xavier 0.6458 0.6431 0.6483 0.6344
Jetson TX2 0.6443 0.6396 0.6487 0.6371
Jetson Nano 0.6422 0.6401 0.6470 0.6431

In summary, Computer Vision is still a fast moving field: we still witness major breakthroughs coming from research and engineering every day. At Wintics, we pay attention to all new developments and adapt the best algorithms to our products. We invest in applied research to develop in-house high-performance algorithms. Those algorithms are natively and specifically designed to analyze urban scenes and are therefore able to deliver unmatched performance on their mobility and smart city use cases.

We illustrated how SiamRPN can be accelerated using C++, TensorRT and reducing precision. As a fruit of our specialization, we currently have an in-house customized implementation of SiamRPN which is even faster and supports multiple object tracking.

It is challenging to keep the pace and provide cutting-edge deep learning-based technology today. We tackle this with a very modular software stack that welcomes changes and updates. This is how we develop smart camera specialized technology, aiming to leverage AI to contribute to a more sustainable future.

Analyse automatique du trafic aux intersections

Nos algorithmes en action : l’analyse de la composition du trafic aux intersections

Découvrez une démonstration de nos algorithmes d’analyse de trafic aux intersections et comprenez comment ils peuvent aider à aménager des villes plus durables.

La ville du 20ème siècle s’est organisée autour de la voiture

Les villes s’adaptent, elles sont en mutation permanente. Au cours du 20ème siècle, elles ont ainsi fait une place importante à la voiture qui est devenue le mode de transport privilégié de nombreux citoyens.

Exemple emblématique de ce phénomène, la voie Pompidou (voie expresse sur les quais de Seine) a été inaugurée à Paris en 1967 par le premier ministre éponyme de l’époque qui annonçait alors que « la ville doit s’adapter à la voiture ».

Aujourd’hui, les mobilités évoluent

Depuis une quinzaine d’années, on observe néanmoins un réel tournant avec une volonté des pouvoirs publics de faire diminuer l’usage de la voiture au profit de mobilités plus douces. Ce nouveau paradigme correspond à une prise de conscience des dirigeants et des citoyens de l’enjeu majeur de la qualité de l’air respirée dans les villes et de la promotion des mobilités actives (marche, vélo) pour lutter contre la sédentarité et les risques qui l’accompagnent (ex : risques cardio-vasculaires).

Lyon a ainsi été précurseur avec le lancement de son service de vélos partagés Vélo’v en 2005, Paris ayant suivi en 2007 avec le lancement des Vélib qui a connu jusqu’à 300 000 abonnés en 2016.

Aujourd’hui, les Vélib enregistrent 80 000 locations par jour, chiffre amené à augmenter puisque le nombre de vélos proposés à la location devrait doubler cet été en passant de 10 000 à 20 000.

Selon le dernier « Bilan des Déplacements » publié par la Ville de Paris, l’usage du vélo a ainsi été multiplié par 3 entre 1997 et 2017.

Plus récemment, les trottinettes ont fait leur apparition en ville avec un succès significatif. A Paris, le nombre de trottinettes est ainsi passé de 10 000 à 20 000 en moins d’un an quand le nombre d’opérateurs passait de 3 à 10.

Le paysage des mobilités urbaines est ainsi en pleine mutation, essentiellement au profit des nouvelles mobilités douces.

En parallèle de cela, les acteurs publics et privés ont lancé différentes offres visant à faire baisser l’usage de la voiture individuelle (VTC, véhicules électriques en free floating, etc.)

Le développement des transports en commun s’inscrit dans la même stratégie : nouvelles lignes de tram à Paris, chantiers du Grand Paris Express, prolongement de la ligne E du RER, etc.

Cela requiert une modification des infrastructures

Les villes ont été pensées pour les voitures avec des grandes artères polluées et souvent dangereuses pour les usagers des mobilités douces (vélos, trottinettes, etc). L’existence de rocades, de périphériques, de zones dortoirs ou encore de centres commerciaux isolés mettent en avant le fait que les villes ont longtemps été aménagées selon cette logique que l’on se déplace en voiture.

Leur organisation et leurs infrastructures ne sont aujourd’hui plus adaptées aux mobilités douces pourtant de plus en plus plébiscitées par l’opinion publique.

Ce constat pose une vraie question de réaménagement de la ville, l’idée étant de la désaménager partiellement pour les voitures afin de la rendre plus attractive pour les vélos et ainsi favoriser leur adoption.

Une telle stratégie vise à faire émerger un vivre ensemble plus durable et à maximiser l’intérêt commun :

  • Amélioration de la qualité de l’air
  • Baisse de la congestion et donc du temps de transport pour les automobilistes restants (notamment les professionnels)
  • Amélioration de la sécurité des piétons et des cyclistes
  • Déplacements plus rapides en vélo grâce à des pistes dédiées

La nécessité de comprendre le trafic pour réaménager correctement

Adapter la voirie aux nouveaux modes de déplacement suppose de comprendre le trafic, sa composition (piétons, vélos, trottinettes, voitures, bus, etc.) et son organisation (trajectoire des véhicules).

Historiquement, de telles études de trafic pouvaient être réalisées de différentes manières, sans pour autant que l’une d’entre elles ne réponde vraiment au besoin de connaissance du trafic.

  • Les opérateurs comptant manuellement les véhicules sur la chaussée ne permettent pas de mener des études sur longue durée alors que le trafic est généralement très différent selon l’heure de la journée et le jour de la semaine.
  • Les tubes pneumatiques et les boucles magnétiques comptant les véhicules qui passent dessus ne permettent pas de faire de vraies différences entre les modes de déplacement.
  • Les études menées sur la base de vidéos analysées manuellement par des opérateurs sont entachées d’un taux d’erreur significatif qui peut biaiser les résultats et ainsi limiter leur portée.

Aujourd’hui, les derniers algorithmes de vision par ordinateur apportent une réponse à cette problématique et permettent d’analyser de façon rapide et fiable des flux de déplacement en ville.

Par exemple à l’échelle d’un carrefour, ils permettent de connaitre de façon précise et en temps réel le nombre de véhicules de chaque catégorie et leur direction. Cela permet ensuite aux gestionnaires de la voirie d’aménager un carrefour ou une rue en fonction des usages et ainsi d’accompagner le développement des nouvelles mobilités : élargissement d’un trottoir trop petit, création d’une piste cyclable, création de places de livraisons pour désengorger les couloirs de bus dans lesquels les camionnettes se garent en double file, etc.

De tels algorithmes permettent également de gérer de façon dynamique les feux de circulation et ainsi pouvoir favoriser certains modes de déplacement (ex : priorité du passage du feu au vert pour les piétons si plus de XX personnes en attente).

Les algorithmes de vision de Wintics au service d’une ville durable

Dans la vidéo présentée ci-dessus, les algorithmes de Wintics produisent des statistiques de trafic multimodales en temps réel.

Pour cette démonstration, nous nous sommes concentrés sur les cinq catégories suivantes : voitures, camionnettes, camions, bus, scooters. Dès lors, quand un objet de l’une de ces catégories est détecté dans la vidéo, il est tracké et compté en fonction de sa voie de circulation avec une précision de 97%.

Un tel dispositif requiert une infrastructure légère : une caméra (optique ou thermique) accompagnée d’un petit boitier de 12cm x 12cm x 9cm (exigeant une puissance max de 30W) qui héberge nos algorithmes et procède aux calculs en temps réel.

Nos solutions s’appuient ainsi sur les dernières innovations algorithmiques pour transformer les vidéos urbaines en indicateurs et statistiques précieux pour une gestion optimisée des villes. Elles nous permettent de réaliser des études de trafic de véhicules (voitures, camionnettes, camions, bus, vélos, trottinettes, etc.) et de piétons sur la base d’images vidéo pour mieux comprendre les flux de circulation en amont de travaux majeurs de réaménagement urbains.

re_enchanter_champs_elysees

Un beau projet pour ré-enchanter les Champs-Elysées

La plus belle avenue du monde aurait-elle perdu de sa grandeur et de son attractivité ?

Historiquement promenade piétonne appréciée des Parisiens, l’avenue s’est transformée durant la deuxième partie du 20ème siècle en une autoroute urbaine accueillant chaque jour quelques 64 000 véhicules qui sont source de pollution et de nuisances sonores. Sa très forte attractivité touristique a par ailleurs contribué à en chasser les Parisiens qui ont pour 94% d’entre eux une image négative de cette avenue (étude Ifop de février 2019).

Redorer la plus belle avenue du monde

Partant de ce constat, le Comité des Champs-Elysées a collaboré avec le cabinet d’architecte PCA-Stream pour imaginer un projet d’envergure visant à « réenchanter la plus belle avenue du monde ». Le réaménagement proposé fait la part belle aux piétons et aux végétaux en réduisant significativement la place de la voiture.

Re-enchanter_Champs_Elysees

Les idées et pistes de réflexion proposées sont nombreuses et enthousiasmantes. Nous en présentons quelques-unes ci-dessous :

  • Une diminution par deux du nombre de voies (de 4 à 2 voies par sens de circulation) combinée à une réduction supplémentaire de la chaussée aux heures des repas.
  • La piétonisation totale de l’avenue le week-end et éventuellement au mois d’août.
  • Un traitement différencié des trottoirs en fonction de leur ensoleillement avec un côté dédié aux terrasses et à la flânerie, l’autre aux mobilités douces (vélos, trottinettes, etc.).
  • La création d’une couronne piétonne autour de la place de l’Etoile qui pourrait accueillir une programmation d’événements récurrents : plage de l’Etoile en été, fleurs de l’Etoile au Printemps et patinoire géante de l’Etoile en hiver.
  • L’installation de terrasses ombragées sur l’avenue grâce à des voûtes d’arbres.
  • Le réaménagement et la redynamisation des jardins des Champs-Elysées qui s’étendent sur 15 hectares entre la Seine et l’Elysée mais sont largement méconnus et accueillent aujourd’hui vingt fois moins de promeneurs que le parc Monceau qui est pourtant deux fois plus petit.

Re-enchanter_Champs_Elysees

Un projet qui tombe à pic

La dernière rénovation majeure des Champs-Elysées date de plus de 20 ans. Elle consistait déjà en un rééquilibrage des espaces au profit des piétons (élargissement des trottoirs en supprimant les contre-allées). Depuis, l’image de l’avenue s’est dégradée et les Parisiens la considèrent « stressante », « artificielle » et « dangereuse » selon une étude menée par l’Ifop au mois de février 2019.

Dans la perspective des JO de 2024 à Paris et à un an des élections municipales, les Champs-Elysées – vitrine de la France – doivent redorer leur image et sont donc au cœur de toutes les attentions. De nombreuses initiatives ont ainsi été initiées au cours des dernières années avec l’instauration des dimanches piétons une fois par mois, la création de pistes cyclables, l’installation de nouvelles fontaines ou encore la restructuration de plusieurs immeubles de l’avenue par des sociétés foncières et l’arrivée récente de nouvelles enseignes prestigieuses.

Tout cela va bien sûr dans le bon sens mais il reste de nombreux progrès à faire auxquels le projet du Comité des Champs-Elysées ambitionne de répondre.

De nombreux experts de la mobilité et de l’urbanisme associés à la réflexion

Le processus de réflexion a mobilisé plusieurs experts de la mobilité et de l’urbanisme parmi lesquels différents acteurs de la data. Les dernières technologies numériques sont en effet des atouts majeurs pour les projets de réaménagement dans la mesure où elles permettent de mieux comprendre les usages des citoyens pour concevoir des lieux qui répondent à leurs attentes et besoins.

Wintics a ainsi été consulté pour proposer ses algorithmes de production de statistiques de trafic à partir des images de vidéo-protection. L’objectif est de permettre de factualiser les éléments de constat en matière de flux et de fréquentation de l’avenue.

A cet égard, Philippe Chiambaretta (fondateur et dirigeant de PCA-Stream) a mis en évidence le rôle de la data en annonçant que « la réduction du nombre de voies peut tout à fait être possible. En tout cas, ça se teste, ça se mesure assez rapidement grâce à la data et aux technologies modernes ».

A propos de Wintics

Wintics est une start-up spécialisée dans l’analyse d’images vidéo. Elle s’appuie sur les dernières innovations algorithmiques pour transformer les vidéos urbaines en indicateurs et statistiques précieux pour une gestion optimisée des villes.

Wintics réalise notamment des études de trafic de véhicules (voitures, camionnettes, camions, bus, vélos, trottinettes, etc.) et de piétons sur la base d’images vidéo pour mieux comprendre les flux de circulation en amont de travaux majeurs de réaménagement urbains.

Références

Comité des Champs-Elysées

PCA-STREAM