Autonomes selbstfahrendes Auto erkennt Verkehrszeichen. Computer Vision und künstliche Intelligenz … [+]
getty
Das Sehen ist ein starker sensorischer Input des Menschen. Es ermöglicht komplexe Aufgaben und Prozesse, die wir für selbstverständlich halten. Mit der Zunahme von AoT™ (Autonomy of Things) in verschiedenen Anwendungen, die von Transport und Landwirtschaft bis hin zu Robotik und Medizin reichen, wird die Rolle von Kameras, Computern und maschinellem Lernen bei der Bereitstellung von menschenähnlichem Sehen und Erkennen immer wichtiger. Computer Vision als akademische Disziplin begann in den 1960er Jahren, vor allem an Universitäten, die sich mit dem aufstrebenden Gebiet der künstlichen Intelligenz (KI) und des maschinellen Lernens beschäftigten. Sie machte in den nächsten vier Jahrzehnten dramatische Fortschritte, als bedeutende Fortschritte in der Halbleiter- und Computertechnologie erzielt wurden. Jüngste Fortschritte in den Bereichen Deep Learning und künstliche Intelligenz haben die Anwendung von Computer Vision weiter beschleunigt, um Echtzeit-Wahrnehmung und -Erkennung der Umgebung mit geringer Latenz zu ermöglichen und Autonomie, Sicherheit und Effizienz in verschiedenen Anwendungen zu ermöglichen. Der Transport ist ein Bereich, der erheblich profitiert hat.
LiDAR (Light Detection and Ranging) ist ein aktiver optischer Bildgebungsansatz, der Laser verwendet, um die 3D-Umgebung um ein Objekt herum zu bestimmen. Es ist eine der Technologien, die Computer-Vision-Lösungen (die ausschließlich auf Umgebungslicht angewiesen sind und keine Laser für die 3D-Wahrnehmung verwenden) versuchen, zu stören. Das gemeinsame Thema ist, dass menschliche Fahrer kein LiDAR für die Tiefenwahrnehmung benötigen, Maschinen also auch nicht. Aktuelle kommerzielle autonome L3-Fahrfunktionen (vollständige Autonomie in bestimmten Regionen und Wetterbedingungen, wobei der Fahrer innerhalb von Sekunden bereit ist, die Kontrolle zu übernehmen) Produkte heute Verwenden Sie LiDAR. Rein bildbasierte Techniken konnten diese Fähigkeit bisher noch nicht kommerziell anbieten.
WERBUNG
Tesla
Andere Unternehmen wie Phiar, Helm.ai und NODAR verfolgen auch den Weg der Computer Vision. NODAR zielt darauf ab, den Abbildungsbereich und die 3D-Wahrnehmung von Stereokamerasystemen erheblich zu erweitern, indem es lernt, Kamerafehlausrichtungen und Vibrationseffekte durch patentierte maschinelle Lernalgorithmen auszugleichen. Kürzlich wurden 12 Millionen US-Dollar eingesammelt für die Produktion seines Flaggschiffprodukts Hammerhead™, das handelsübliche Kameras in Automobilqualität und Standard-Computerplattformen verwendet.
Abgesehen von Kosten und Größe ist ein häufiges Argument gegen den Einsatz von LiDAR, dass es im Vergleich zu Kameras eine begrenzte Reichweite und Auflösung hat. Beispielsweise sind heute LiDARs mit einer Reichweite von 200 m und 5–10 Millionen Punkten/Sekunde (PPS ähnlich der Auflösung) verfügbar. Auf 200 m werden kleine Hindernisse wie Ziegel oder Reifenabfälle nur sehr wenige Punkte (vielleicht 2-3 in vertikaler und 3-5 in horizontaler Richtung) registrieren, was die Objekterkennung erschwert. Bei größeren Entfernungen wird es noch gröber. Im Vergleich dazu können Standard-Megapixel-Kameras, die mit 30 Hz laufen, 30 Millionen Pixel/Sekunde erzeugen, was eine überlegene Objekterkennung auch auf große Entfernungen ermöglicht. Fortgeschrittenere Kameras (12 Megapixel) können dies noch weiter steigern. Das Problem besteht darin, diese massiven Daten zu nutzen und eine umsetzbare Wahrnehmung mit Latenzen im Millisekundenbereich, geringem Stromverbrauch und verschlechterten Lichtverhältnissen zu erzeugen.
WERBUNG
Anerkennung, ein in Kalifornien ansässiges Unternehmen, versucht, dieses Problem zu lösen. Laut CEO Mark Bolitho besteht seine Mission darin, „liefern eine übermenschliche visuelle Wahrnehmung für vollautonome Fahrzeuge.“ Das Unternehmen wurde 2017 gegründet, hat bis heute 75 Millionen US-Dollar gesammelt und beschäftigt 70 Mitarbeiter. RK Anand, Absolvent von Juniper Networks, ist einer der Mitbegründer und Chief Product Officer. Er glaubt, dass die Verwendung von Kameras mit höherer Auflösung mit > 120 dB Dynamikbereich und hohen Bildraten (z. B. OnSemi, Sony und Omnivision) die erforderlichen Daten liefert, um hochauflösende 3D-Informationen zu erstellen, was für die Realisierung von AVs entscheidend ist. Die Enabler dafür sind:
- Maßgeschneiderte ASICs zur effizienten Verarbeitung der Daten und zur Erstellung genauer und hochauflösender 3D-Karten der Fahrzeugumgebung. Diese werden in einem TSMC-7-nm-Prozess mit einer Chipgröße von 100 mm² hergestellt und bei einer Frequenz von 1 GHz betrieben.
- Proprietäre Algorithmen für maschinelles Lernen zur Offline-Verarbeitung von Millionen von Datenpunkten, um das trainierte neuronale Netzwerk zu erstellen, das dann effizient arbeiten und kontinuierlich lernen kann. Dieses Netzwerk stellt die Wahrnehmung bereit und umfasst Objektklassifizierung und -erkennung, semantische Segmentierung, Spurerkennung, Verkehrszeichen- und Ampelerkennung
- Minimierung von Off-Chip-Speicher- und Multiplikationsoperationen, die stromintensiv sind und eine hohe Latenz erzeugen. Das ASIC-Design von Recogni ist für logarithmische Mathematik optimiert und verwendet Addition. Weitere Effizienzen werden durch optimales Gruppieren von Gewichten in dem trainierten neuronalen Netzwerk realisiert.
Während der Trainingsphase wird ein kommerzielles LiDAR als Ground Truth verwendet, um hochauflösende Stereokameradaten mit hohem Dynamikbereich zu trainieren, um Tiefeninformationen zu extrahieren und sie robust gegen Fehlausrichtung und Vibrationseffekte zu machen. Laut Herrn Anand ist ihre maschinelle Lernimplementierung so effizient, dass sie Tiefenschätzungen über die Trainingsbereiche hinaus extrapolieren kann, die vom Kalibrierungs-LiDAR bereitgestellt werden (das die Grundwahrheit bis zu einer Reichweite von 100 m liefert).
WERBUNG
Abbildung 1: Grüne Kästchen zeigen die 3D-Leistung von Recognis Wahrnehmungsstapel auf trainierten Daten bei 100 … [+]
Anerkennung
Die obigen Trainingsdaten wurden tagsüber mit einem Stereopaar von 8.3-Megapixel-Kameras durchgeführt, die mit 30-Hz-Bildraten (~0.5 B Pixel pro Sekunde) liefen. Es demonstriert die Fähigkeit des trainierten Netzwerks, 3D-Informationen in der Szene über die 100-m-Reichweite hinaus zu extrahieren, mit der es trainiert wurde. Die Recogni-Lösung kann auch ihr Lernen mit Tagesdaten auf die Nachtleistung extrapolieren (Abbildung 2).
Abbildung 2: Der Wahrnehmungsstapel von Recogni, der mit Tagesdaten trainiert wurde, funktioniert auch bei geringerer Lichtstärke … [+]
Anerkennung
WERBUNG
Laut Herrn Anand sind die Entfernungsdaten auf 5 % (bei großen Entfernungen) und nahe 2 % (bei kürzeren Entfernungen) genau. Die Lösung bietet 1000 TOPS (Billionen Operationen pro Sekunde) mit 6 ms Latenz und 25 W Stromverbrauch (40 TOPS/W), was branchenführend ist. Konkurrenten, die ganzzahlige Mathematik verwenden, sind bei dieser Metrik > 10-mal niedriger. Die Lösung von Recogni wird derzeit bei mehreren Tier-1-Automobilzulieferern getestet.
Prophet („vorhersagen und sehen, wo die Aktion stattfindet“), mit Sitz in Frankreich, verwendet seine ereignisbasierten Kameras für AVs, fortschrittliche Fahrerassistenzsysteme (ADAS), industrielle Automatisierung, Verbraucheranwendungen und das Gesundheitswesen. Die 2014 gegründete Das Unternehmen hat kürzlich seine C-Finanzierungsrunde in Höhe von 50 Mio. USD abgeschlossen, mit einer Gesamtsumme von 127 Millionen US-Dollar, die bisher gesammelt wurden. Xiaomi, ein führender Hersteller von Mobiltelefonen, ist einer der Investoren. Das Ziel von Prophesee ist es, das menschliche Sehen nachzuahmen, bei dem die Rezeptoren in der Netzhaut auf dynamische Informationen reagieren. Das menschliche Gehirn konzentriert sich auf die Verarbeitung von Änderungen in der Szene (insbesondere beim Fahren). Die Grundidee besteht darin, Kamera- und Pixelarchitekturen zu verwenden, die Änderungen der Lichtintensität über einem Schwellenwert (einem Ereignis) erkennen und nur diese Daten zur weiteren Verarbeitung an den Rechenstapel liefern. Die Pixel arbeiten asynchron (nicht gerahmt wie bei normalen CMOS-Kameras) und mit viel höheren Geschwindigkeiten, da sie nicht wie bei einer herkömmlichen bildbasierten Kamera Photonen integrieren und warten müssen, bis das gesamte Bild abgeschlossen ist, bevor die Daten ausgelesen werden. Die Vorteile sind erheblich – geringere Datenbandbreite, Entscheidungslatenz, Speicherplatz und Stromverbrauch. Der erste kommerzielle ereignisbasierte VGA-Vision-Sensor des Unternehmens zeichnete sich durch einen hohen Dynamikbereich (>120 dB) und einen geringen Stromverbrauch (26 mW auf Sensorebene oder 3 nW/Ereignis) aus. Eine HD-Version (High Definition) (gemeinsam mit Sony entwickelt) mit branchenführender Pixelgröße (< 5 μm) wurde ebenfalls auf den Markt gebracht.
Abbildung 3: Ereignisbasierter Bildsensor im hochauflösenden Format mit 5 um Pixelabstand, gemeinsam entwickelt … [+]
Prophet
WERBUNG
Diese Sensoren bilden den Kern der Sensorplattform Metavision®, die mithilfe von KI eine intelligente und effiziente Wahrnehmung für Autonomieanwendungen bietet und von mehreren Unternehmen im Transportbereich evaluiert wird. Abgesehen von der nach vorne gerichteten Wahrnehmung für AVs und ADAS engagiert sich Prophesee aktiv mit Kunden für die Überwachung des Fahrers in der Kabine für L2- und L3-Anwendungen, siehe Abbildung 4:
Abbildung 4: XPERI In-Cab-Fahrerüberwachung basierend auf numan-inspiriertem neuromorphem Sehen
Prophet
Automotive-Möglichkeiten sind lukrativ, aber die Design-in-Zyklen sind lang. In den letzten zwei Jahren hat Prophesee ein erhebliches Interesse und Zugkraft im Bereich der maschinellen Bildverarbeitung für industrielle Anwendungen festgestellt. Dazu gehören Hochgeschwindigkeitszählung, Oberflächeninspektion und Vibrationsüberwachung.
WERBUNG
Abbildung 5: Hohe Zählung mit ereignisbasierten Kameras
Prophet
Prophetee hat kürzlich Kooperationen angekündigt mit führenden Entwicklern von Bildverarbeitungssystemen, um Möglichkeiten in der industriellen Automatisierung, Robotik, Automobilindustrie und IoT (Internet of Things) zu nutzen. Weitere unmittelbare Möglichkeiten sind die Bildunschärfekorrektur für Mobiltelefone und AR/VR-Anwendungen. Diese verwenden Sensoren mit kleinerem Format als diejenigen, die für die längerfristigen ADAS/AV-Möglichkeiten verwendet werden, verbrauchen noch weniger Strom und arbeiten mit deutlich geringerer Latenz.
Israel ist ein führender Innovator in der Hochtechnologie mit bedeutenden Risikoinvestitionen und einem aktiven Start-up-Umfeld. Seit 2015 wurden etwa 70 Milliarden US-Dollar an Venture-geführten Investitionen im Technologiesektor getätigt. Ein Teil davon liegt im Bereich Computer Vision. Mobileye führte diese Revolution 1999 an, als Amnon Shashua, ein führender KI-Forscher an der Hebräischen Universität, das Unternehmen gründete, um sich auf die kamerabasierte Wahrnehmung für ADAS und AVs zu konzentrieren. Das Unternehmen beantragte 2014 einen Börsengang und wurde von Intel übernommen
WERBUNG
Champel Hauptstadt, mit Sitz in Jerusalem, ist führend bei Investitionen in Unternehmen, die Produkte auf der Grundlage von Computer Vision für verschiedene Anwendungen entwickeln, von Transport und Landwirtschaft bis hin zu Sicherheit und Gefahrenabwehr. Amir Weitman ist Mitbegründer und geschäftsführender Gesellschafter und gründete sein Venture-Unternehmen im Jahr 2017. Der erste Fonds investierte 20 Millionen US-Dollar in 14 Unternehmen. Eine ihrer Investitionen war Innoviz, das 2018 durch eine SPAC-Fusion an die Börse ging und zu einem LiDAR-Einhorn wurde. Unter der Leitung von Omer Keilaf (der aus der Technologieeinheit des Geheimdienstkorps der israelischen Verteidigungsstreitkräfte stammte), Das Unternehmen ist heute führend bei LiDAR-Einsätzen für ADAS und AVs und hat mehrere Design-Wins bei BMW und Volkswagen.
Der zweite Fonds von Champel Capital (Impact Deep Tech Fund II) wurde im Januar 2022 aufgelegt und hat bis heute 30 Millionen US-Dollar aufgebracht (das Ziel sind 100 Millionen US-Dollar bis Ende 2022). Ein dominanter Schwerpunkt liegt auf Computer Vision, wobei 12 Millionen US-Dollar in fünf Unternehmen eingesetzt werden. Drei davon nutzen Computer Vision für Transport und Robotik.
TankU, mit Sitz in Haifa, nahm 2018 den Betrieb auf und hat 10 Millionen US-Dollar an Finanzmitteln aufgebracht. Dan Valdhorn ist CEO und Absolvent der Unit 8200, einer Elite-High-Tech-Gruppe innerhalb der israelischen Verteidigungsstreitkräfte, die für Signalintelligenz und Code-Entschlüsselung verantwortlich ist. Die SaaS-Produkte (Software as a Service) von TankU automatisieren und sichern Prozesse in komplexen Außenumgebungen, in denen Fahrzeuge und Fahrer gewartet werden. Diese Produkte werden von Besitzern von Fahrzeugflotten, Privatwagen, Tank- und Elektroladestationen verwendet, um Diebstahl und Betrug bei automatisierten Finanztransaktionen zu verhindern. Kraftstoffdienste für Fahrzeuge generieren jährlich rund 2 Billionen US-Dollar an weltweiten Einnahmen, von denen private und gewerbliche Fahrzeugflottenbesitzer 40 % oder 800 Milliarden US-Dollar verbrauchen. Einzelhändler und Flottenbesitzer verlieren jährlich etwa 100 Milliarden US-Dollar durch Diebstahl und Betrug (z. B. Verwendung einer Flottentankkarte für nicht autorisierte Privatfahrzeuge). CNP-Betrug (Card not present) und Manipulation/Diebstahl von Kraftstoff sind zusätzliche Verlustquellen, insbesondere wenn gestohlene Kartendaten in mobilen Apps für Zahlungen verwendet werden.
WERBUNG
Das TUfuel-Produkt des Unternehmens erleichtert die sichere Zahlung mit einem Fingertipp, blockiert die meisten Arten von Betrug und warnt Kunden, wenn es Betrug vermutet. Dies geschieht auf der Grundlage einer KI-Engine, die auf Daten von vorhandenen CCTVs in diesen Einrichtungen und digitalen Transaktionsdaten (einschließlich POS- und anderen Back-End-Daten) trainiert wurde. Parameter wie Fahrzeugbahn und -dynamik, Fahrzeug-ID, Fahrzeit, Kilometerstand, Tankzeit, Kraftstoffmenge, Kraftstoffhistorie und Fahrerverhalten sind einige Attribute, die überwacht werden, um Betrug aufzudecken. Diese Daten helfen Einzelhändlern auch dabei, den Standortbetrieb zu optimieren, die Kundenbindung zu verbessern und visionsbasierte Marketing-Tools einzusetzen. Laut CEO Dan Valdhorn erkennt ihre Lösung 70 % der Flotte, 90 % der Kreditkarten- und 70 % der manipulationsbedingten Betrugsfälle.
Abbildung 6: TUfuel verwendet Echtzeitdaten von CCTV-Kameras an Tankstellen und andere digitale Daten von … [+]
TankU
Sonol ist ein Energiedienstleistungsunternehmen, das ein Netz von 240 Tankstellen und Verbrauchermärkten in ganz Israel besitzt und betreibt. TUfuel wird an ihren Standorten eingesetzt und hat verbesserte Sicherheit, Betrugsprävention und Kundenbindung bewiesen. In den USA laufen Produktversuche in Zusammenarbeit mit einem weltweit führenden Anbieter von Tankstellen- und Convenience-Store-Ausrüstung. Ähnliche Initiativen laufen auch in Afrika und Europa.
WERBUNG
Tel-Aviv-basiert ITC wurde 2019 von Wissenschaftlern für maschinelles Lernen der Ben-Gurion-Universität gegründet. ITC erstellt SaaS-Produkte, die „Verkehrsfluss messen, Staus vorhersagen und durch intelligente Manipulation von Ampeln entschärfen – bevor sich Staus bilden.“ Ähnlich wie TankU verwendet es Daten von handelsüblichen Kameras (die bereits an zahlreichen Verkehrskreuzungen installiert sind), um Live-Verkehrsdaten zu erhalten. Daten von Tausenden von Kameras in einer Stadt werden analysiert und Parameter wie Fahrzeugtyp, Geschwindigkeit, Bewegungsrichtung und Reihenfolge der Fahrzeugtypen (Lkw vs. Pkw) werden durch die Anwendung proprietärer KI-Algorithmen extrahiert. Simulationen sagen den Verkehrsfluss und mögliche Stausituationen bis zu 30 Minuten im Voraus voraus. Ampeln werden anhand dieser Ergebnisse angepasst, um den Verkehrsfluss zu glätten und Staus zu vermeiden.
Abbildung 7: Daten von Tausenden von Kameras werden von einem VMS innerhalb einer städtischen Verkehrskontrolle zusammengestellt … [+]
ITC
Das Training des KI-Systems erfordert einen Monat lang visuelle Daten über eine typische Stadt hinweg und beinhaltet eine Kombination aus überwachtem und nicht überwachtem Lernen. Die Lösung von ITC wird bereits in Tel Aviv (Platz 25 der verkehrsreichsten Städte der Welt im Jahr 2020) eingesetzt, wo Tausende von Kameras an Hunderten von Ampelkreuzungen installiert sind. Das System von ITC verwaltet derzeit 75 Fahrzeuge, die voraussichtlich weiter wachsen werden. Das Unternehmen installiert eine ähnliche Fähigkeit in Luxemburg und startet Versuche in großen US-Städten. Weltweit verwaltet die Lösung 300,000 Fahrzeuge mit Betriebsstätten in Israel, den USA, Brasilien und Australien. Dvir Kenig, der CTO, setzt sich leidenschaftlich für die Lösung dieses Problems ein – um den Menschen persönliche Zeit zurückzugeben, Treibhausgase zu reduzieren, die Gesamtproduktivität zu steigern und vor allem Unfälle an überlasteten Kreuzungen zu reduzieren. Laut Herrn Kenig, „Unsere Einsätze zeigen eine 30-prozentige Reduzierung von Staus, wodurch unproduktive Fahrzeiten, Stress, Kraftstoffverbrauch und Umweltverschmutzung reduziert werden.“
WERBUNG
Indoor-Robotik wurde Gegründet in 2018 und kürzlich sammelte 18 Millionen US-Dollar an Finanzmitteln. Das Unternehmen mit Sitz in der Nähe von Tel-Aviv, Israel, entwickelt und vertreibt autonome Drohnenlösungen für Sicherheit, Sicherheit und Wartungsüberwachung in Innenräumen. Der CEO und Mitbegründer Doron Ben-David verfügt über umfangreiche Erfahrung in Robotik und Luftfahrt, die er am IAI gesammelt hat
Abbildung 8: Die autonome Drohnenflotte von Indoor Robotics kann sich durch eine Deckenhalterung selbst mit Strom versorgen … [+]
Indoor-Robotik
Ofir Bar-Levav ist der Chief Business Officer. Er erklärt, dass das Fehlen von GPS Indoor-Drohnen daran gehindert hat, sich innerhalb von Gebäuden zu lokalisieren (typischerweise GPS verweigert oder ungenau). Außerdem fehlten praktische und effiziente Andock- und Stromversorgungslösungen. Indoor Robotics adressiert dies mit vier an Drohnen montierten Kameras (oben, unten, links, rechts) und einfachen Entfernungssensoren, die einen Innenraum und seine Inhalte genau abbilden. Die Kameradaten (Kameras liefern Lokalisierungs- und Kartierungsdaten) und Wärmesensoren (ebenfalls an der Drohne montiert) werden von einem KI-System analysiert, um potenzielle Sicherheits-, Sicherheits- und Wartungsprobleme zu erkennen und den Kunden zu warnen. Die Drohnen versorgen sich selbst über eine an der Decke montierte „Docking-Fliese“, die wertvolle Bodenfläche spart und die Datenerfassung während des Ladevorgangs ermöglicht. Die finanziellen Vorteile der Automatisierung dieser alltäglichen Prozesse, bei denen die menschliche Arbeit in Bezug auf Rekrutierung, Bindung und Schulung komplex und teuer ist, liegen auf der Hand. Der Einsatz von Luftdrohnen gegenüber bodengestützten Robotern hat auch erhebliche Vorteile in Bezug auf Kapital- und Betriebskosten, bessere Nutzung der Bodenfläche, Bewegungsfreiheit ohne auf Hindernisse zu stoßen und Effizienz der Kameradatenerfassung. Laut Herrn Bar-Levav wird der TAM (Total Addressable Market) von Indoor Robotics für intelligente Indoor-Sicherheitssysteme bis 80 2026 Milliarden US-Dollar betragen. Zu den wichtigsten Kundenstandorten gehören heute Lagerhäuser, Rechenzentren und Bürogelände führender globaler Unternehmen.
WERBUNG
Computer Vision revolutioniert das Autonomiespiel – in Bewegungsautomatisierung, Sicherheit, intelligenter Gebäudeüberwachung, Betrugserkennung und Verkehrsmanagement. Die Leistungsfähigkeit von Halbleitern und KI sind leistungsstarke Enabler. Sobald Computer diese unglaubliche sensorische Modalität auf skalierbare Weise beherrschen, sind die Möglichkeiten endlos.
Quelle: https://www.forbes.com/sites/sabbirrangwala/2022/10/04/advances-in-computer-vision-propel-transportation-autonomy/