JP7490179B2 - フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用 - Google Patents
フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用 Download PDFInfo
- Publication number
- JP7490179B2 JP7490179B2 JP2023521419A JP2023521419A JP7490179B2 JP 7490179 B2 JP7490179 B2 JP 7490179B2 JP 2023521419 A JP2023521419 A JP 2023521419A JP 2023521419 A JP2023521419 A JP 2023521419A JP 7490179 B2 JP7490179 B2 JP 7490179B2
- Authority
- JP
- Japan
- Prior art keywords
- determined
- object classification
- classification result
- objects
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 56
- 238000000034 method Methods 0.000 claims description 32
- 230000003542 behavioural effect Effects 0.000 claims description 31
- 230000033001 locomotion Effects 0.000 claims description 27
- 238000001514 detection method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 17
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000005057 finger movement Effects 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 230000009471 action Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 18
- 238000013136 deep learning model Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 12
- 238000012549 training Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000003708 edge detection Methods 0.000 description 3
- 238000007620 mathematical function Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000012212 insulator Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000013515 script Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
- G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/146—Instrument input by gesture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/176—Camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/191—Highlight information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/20—Optical features of instruments
- B60K2360/33—Illumination features
- B60K2360/334—Projection means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2400/00—Indexing codes relating to detected, measured or calculated conditions or factors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/30—Driving style
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/402—Type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Combustion & Propulsion (AREA)
- Chemical & Material Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本出願は、2020年10月08日に出願された米国仮特許出願第63/089413号に対する優先権を主張するものであり、この文献の内容は全体が引用により本明細書に組み入れられる。
102 システム
104 イメージセンサ回路
106 サーバ
108 データベース
110 通信ネットワーク
112 ユーザ
114 第1のフレーム
116 イベントフレーム
Claims (18)
- イメージセンサ回路の出力を取得し、
前記取得された出力の第1のフレームにおける1又は2以上の第1のオブジェクトに関連する特徴点に基づいて第1のオブジェクト分類結果を決定し、
前記取得された出力の少なくとも2つのフレームに対してイベントカメラ信号処理動作を実行して、1又は2以上の第2のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成し、
前記画素レベルの動き情報に基づいて第2のオブジェクト分類結果を決定し、
前記決定された第1のオブジェクト分類結果及び前記決定された第2のオブジェクト分類結果に基づいて、少なくとも前記1又は2以上の第1のオブジェクト及び前記1又は2以上の第2のオブジェクトに含まれる1又は2以上のオブジェクトに対応する1又は2以上のオブジェクト分類タグを決定し、
前記決定された第1のオブジェクト分類結果と前記決定された第2のオブジェクト分類結果との間の相違点を決定し、
前記1又は2以上の第1のオブジェクト又は前記1又は2以上の第2のオブジェクトから、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第1のオブジェクトを前記相違点に基づいて決定し、
前記決定された相違点、前記決定された第1のオブジェクト分類結果、及び前記決定された第2のオブジェクト分類結果に基づいて、前記決定された第1のオブジェクトに対してパターンマッチング動作を実行し、
前記パターンマッチング動作の実行に基づいて、前記決定された第1のオブジェクトを第1のオブジェクトクラスに分類する、
ように構成された回路を備える、ことを特徴とするシステム。 - 前記1又は2以上の第1のオブジェクトは、静止状態、又は静止状態に達する寸前であり、前記1又は2以上の第2のオブジェクトは移動中である、
請求項1に記載のシステム。 - 前記回路は、
前記取得された出力の前記第1のフレームにおける特徴点を検出し、
前記検出された特徴点と既知のオブジェクトクラスに関連する第1の基準特徴との間の第1のパターンマッチを決定する、
ようにさらに構成され、前記第1のオブジェクト分類結果は、前記決定された第1のパターンマッチに基づいて決定される、
請求項1に記載のシステム。 - 前記回路は、前記画素レベルの動き情報と、既知のオブジェクトクラスに関連する第2の基準特徴とのパターンマッチングを行うことに基づいて、前記第2のオブジェクト分類結果を決定するようにさらに構成される、
請求項1に記載のシステム。 - 前記第1のオブジェクト分類結果は、前記1又は2以上の第1のオブジェクトに関連する第1の境界ボックス情報がオーバーレイ表示された前記第1のフレームを含み、
前記第2のオブジェクト分類結果は、前記1又は2以上の第2のオブジェクトに関連する第2の境界ボックス情報がオーバーレイ表示された前記イベントフレームを含む、
請求項1に記載のシステム。 - 前記回路は、前記第1のオブジェクトクラスが正しいとの判定に基づいて、前記第1のオブジェクトについて前記1又は2以上のオブジェクト分類タグのうちの第1のオブジェクト分類タグを決定するようにさらに構成される、
請求項1に記載のシステム。 - 前記パターンマッチング動作は、機械学習ベースのパターンマッチング動作、又は深層学習ベースのパターンマッチング動作である、
請求項1に記載のシステム。 - 前記回路は、
前記第1のオブジェクトクラスが正しくないとの判定に基づいて、前記イベントフレーム又は前記第1のフレームをサーバに送信し、
前記送信に基づいて、前記決定された第1のオブジェクトの第2のオブジェクトクラスを前記サーバから受け取り、
前記第2のオブジェクトクラスが正しいとの判定に基づいて、前記第1のオブジェクトについて前記1又は2以上のオブジェクト分類タグのうちの第1のオブジェクト分類タグを決定する、
ようにさらに構成される、請求項1に記載のシステム。 - 前記第1のフレーム及び前記イベントフレームの各々は、車両の外部環境のシーン情報を取り込む、
請求項1に記載のシステム。 - 前記回路は、
前記車両の外部環境における事故又はニアミスを含むイベントを検出するように前記車両の電子制御システムを制御し、
前記決定された1又は2以上のオブジェクト分類タグ及び前記検出されたイベントに基づいて前記車両の運転者の行動パターンを決定する、
ようにさらに構成される、請求項9に記載のシステム。 - 前記電子制御システムは、先進運転支援システム(ADAS)及び自律運転(AD)システムの一方である、
請求項10に記載のシステム。 - 前記回路は、前記決定された行動パターンに基づいて前記車両の1又は2以上の動作を制御するようにさらに構成される、
請求項10に記載のシステム。 - 前記回路は、
前記決定された行動パターンに基づいて通知情報を生成し、
前記生成された通知情報を、前記車両又は前記車両の前記運転者に関連する電子装置に送信する、
ようにさらに構成される、請求項10に記載のシステム。 - 前記回路は、
車両の内部において、ユーザインターフェイス(UI)の画像を前記車両の内部の投影面上に投影するように画像投影装置を制御し、前記第1のフレーム及び前記イベントフレームの各々が、前記車両の内部の車内環境のシーン情報を取り込み、
前記決定された1又は2以上のオブジェクト分類タグのうちの第2のオブジェクト分類タグに基づいて、前記投影された画像に含まれる前記UIの仮想UI要素上の指の動きを検出し、
前記検出に基づいて前記仮想UI要素を選択し、
前記選択に基づいて1又は2以上の車両機能を制御する、
ようにさらに構成される、請求項1に記載のシステム。 - イメージセンサ回路の出力を取得することと、
前記取得された出力の第1のフレームにおける1又は2以上の第1のオブジェクトに関連する特徴点に基づいて第1のオブジェクト分類結果を決定することと、
前記取得された出力の少なくとも2つのフレームに対してイベントカメラ信号処理動作を実行して、1又は2以上の第2のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成することと、
前記画素レベルの動き情報に基づいて第2のオブジェクト分類結果を決定することと、
前記決定された第1のオブジェクト分類結果及び前記決定された第2のオブジェクト分類結果に基づいて、少なくとも前記1又は2以上の第1のオブジェクト及び前記1又は2以上の第2のオブジェクトに含まれる1又は2以上のオブジェクトに対応する1又は2以上のオブジェクト分類タグを決定することと、
前記決定された第1のオブジェクト分類結果と前記決定された第2のオブジェクト分類結果との間の相違点を決定することと、
前記1又は2以上の第1のオブジェクト又は前記1又は2以上の第2のオブジェクトから、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第1のオブジェクトを前記相違点に基づいて決定することと、
前記決定された相違点、前記決定された第1のオブジェクト分類結果、及び前記決定された第2のオブジェクト分類結果に基づいて、前記決定された第1のオブジェクトに対してパターンマッチング動作を実行することと、
前記パターンマッチング動作の実行に基づいて、前記決定された第1のオブジェクトを第1のオブジェクトクラスに分類することと、
を含むことを特徴とする方法。 - 前記取得された出力の前記第1のフレームにおける特徴点を検出することと、
前記検出された特徴点と既知のオブジェクトクラスに関連する第1の基準特徴との間の第1のパターンマッチを決定することと、
をさらに含み、前記第1のオブジェクト分類結果は、前記決定された第1のパターンマッチに基づいて決定される、
請求項15に記載の方法。 - 前記画素レベルの動き情報と既知のオブジェクトクラスに関連する第2の基準特徴とのパターンマッチングを行うことに基づいて前記第2のオブジェクト分類結果を決定することをさらに含む、
請求項15に記載の方法。 - コンピュータ実行可能命令を記憶した非一時的コンピュータ可読媒体であって、前記コンピュータ実行可能命令は、システムによって実行された時に、
イメージセンサ回路の出力を取得することと、
前記取得された出力の第1のフレームにおける1又は2以上の第1のオブジェクトに関連する特徴点に基づいて第1のオブジェクト分類結果を決定することと、
前記取得された出力の少なくとも2つのフレームに対してイベントカメラ信号処理動作を実行して、1又は2以上の第2のオブジェクトに関連する画素レベルの動き情報を含むイベントフレームを生成することと、
前記画素レベルの動き情報に基づいて第2のオブジェクト分類結果を決定することと、
前記決定された第1のオブジェクト分類結果及び前記決定された第2のオブジェクト分類結果に基づいて、少なくとも前記1又は2以上の第1のオブジェクト及び前記1又は2以上の第2のオブジェクトに含まれる1又は2以上のオブジェクトに対応する1又は2以上のオブジェクト分類タグを決定することと、
前記決定された第1のオブジェクト分類結果と前記決定された第2のオブジェクト分類結果との間の相違点を決定することと、
前記1又は2以上の第1のオブジェクト又は前記1又は2以上の第2のオブジェクトから、誤分類されたもの、未分類のもの、検出されたにもかかわらず未分類のもの、誤検出されたもの、又は誤検出されて誤分類されたもの、のうちのいずれかである第1のオブジェクトを前記相違点に基づいて決定することと、
前記決定された相違点、前記決定された第1のオブジェクト分類結果、及び前記決定された第2のオブジェクト分類結果に基づいて、前記決定された第1のオブジェクトに対してパターンマッチング動作を実行することと、
前記パターンマッチング動作の実行に基づいて、前記決定された第1のオブジェクトを第1のオブジェクトクラスに分類することと、
を含む動作を前記システムに実行させる、ことを特徴とする非一時的コンピュータ可読媒体。
Applications Claiming Priority (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063089413P | 2020-10-08 | 2020-10-08 | |
US63/089,413 | 2020-10-08 | ||
US202063090773P | 2020-10-13 | 2020-10-13 | |
US63/090,773 | 2020-10-13 | ||
US17/177,933 | 2021-02-17 | ||
US17/177,933 US12001519B2 (en) | 2020-10-08 | 2021-02-17 | Object classification and related applications based on frame and event camera processing |
PCT/IB2021/059215 WO2022074606A1 (en) | 2020-10-08 | 2021-10-07 | Object classification and related applications based on frame and event camera processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023547791A JP2023547791A (ja) | 2023-11-14 |
JP7490179B2 true JP7490179B2 (ja) | 2024-05-27 |
Family
ID=81126689
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023521419A Active JP7490179B2 (ja) | 2020-10-08 | 2021-10-07 | フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用 |
Country Status (5)
Country | Link |
---|---|
US (1) | US12001519B2 (ja) |
EP (1) | EP4196909A1 (ja) |
JP (1) | JP7490179B2 (ja) |
CN (1) | CN115668309A (ja) |
WO (1) | WO2022074606A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310408B (zh) * | 2022-11-29 | 2023-10-13 | 北京大学 | 一种建立事件相机与帧相机数据关联的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184975A (ja) | 2014-03-25 | 2015-10-22 | 富士通テン株式会社 | 車両用装置及び車両制御方法 |
US20190065885A1 (en) | 2017-08-29 | 2019-02-28 | Beijing Samsung Telecom R&D Center | Object detection method and system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9317983B2 (en) | 2012-03-14 | 2016-04-19 | Autoconnect Holdings Llc | Automatic communication of damage and health in detected vehicle incidents |
US9201421B1 (en) * | 2013-11-27 | 2015-12-01 | Google Inc. | Assisted perception for autonomous vehicles |
DE102016120995A1 (de) | 2016-11-03 | 2018-05-03 | Visteon Global Technologies, Inc. | Benutzerschnittstelle und Verfahren zur Eingabe und Ausgabe von Informationen in einem Fahrzeug |
US10467488B2 (en) | 2016-11-21 | 2019-11-05 | TeleLingo | Method to analyze attention margin and to prevent inattentive and unsafe driving |
EP3619643A1 (en) * | 2017-05-03 | 2020-03-11 | Mobileye Vision Technologies Ltd. | Detection and classification systems and methods for autonomous vehicle navigation |
US10803323B2 (en) * | 2017-05-16 | 2020-10-13 | Samsung Electronics Co., Ltd. | Electronic device and method of detecting driving event of vehicle |
JP6916091B2 (ja) | 2017-11-10 | 2021-08-11 | 株式会社デンソーアイティーラボラトリ | 位置姿勢推定システム及び位置姿勢推定装置 |
US10468062B1 (en) * | 2018-04-03 | 2019-11-05 | Zoox, Inc. | Detecting errors in sensor data |
-
2021
- 2021-02-17 US US17/177,933 patent/US12001519B2/en active Active
- 2021-10-07 JP JP2023521419A patent/JP7490179B2/ja active Active
- 2021-10-07 EP EP21794009.7A patent/EP4196909A1/en active Pending
- 2021-10-07 CN CN202180029975.5A patent/CN115668309A/zh active Pending
- 2021-10-07 WO PCT/IB2021/059215 patent/WO2022074606A1/en active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184975A (ja) | 2014-03-25 | 2015-10-22 | 富士通テン株式会社 | 車両用装置及び車両制御方法 |
US20190065885A1 (en) | 2017-08-29 | 2019-02-28 | Beijing Samsung Telecom R&D Center | Object detection method and system |
Non-Patent Citations (1)
Title |
---|
SHAN GAO, 外4名,"An End-to-End Broad Learning System for Event-Based Object Classification",IEEE Access,第8巻,2020年03月03日,p.45974-45984 |
Also Published As
Publication number | Publication date |
---|---|
JP2023547791A (ja) | 2023-11-14 |
EP4196909A1 (en) | 2023-06-21 |
US20220114379A1 (en) | 2022-04-14 |
US12001519B2 (en) | 2024-06-04 |
WO2022074606A1 (en) | 2022-04-14 |
CN115668309A (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7512452B2 (ja) | トレーニングデータを取得するためのシステム及び方法 | |
US11841458B2 (en) | Domain restriction of neural networks through synthetic data pre-training | |
US12039436B2 (en) | Stereo depth estimation using deep neural networks | |
US20230418299A1 (en) | Controlling autonomous vehicles using safe arrival times | |
US11613201B2 (en) | Automatic high beam control for autonomous machine applications | |
US10997433B2 (en) | Real-time detection of lanes and boundaries by autonomous vehicles | |
US11688074B2 (en) | Data augmentation including background modification for robust prediction using neural networks | |
Devi et al. | A comprehensive survey on autonomous driving cars: A perspective view | |
EP3511863B1 (en) | Distributable representation learning for associating observations from multiple vehicles | |
US9159236B2 (en) | Presentation of shared threat information in a transportation-related context | |
CN110248861A (zh) | 在车辆操纵过程中使用机器学习模型来引导车辆 | |
CN109476309A (zh) | 高级驾驶辅助系统中的动态传感器范围 | |
CN117058730A (zh) | 用于机器学习模型的数据集生成和增强 | |
JP7490179B2 (ja) | フレーム及びイベントカメラ処理に基づくオブジェクト分類及び関連する応用 | |
US20200189611A1 (en) | Autonomous driving using an adjustable autonomous driving pattern | |
Zadobrischi et al. | Pedestrian detection based on TensorFlow YOLOv3 embedded in a portable system adaptable to vehicles | |
US20220092313A1 (en) | Method for deep neural network functional module deduplication | |
US12026955B2 (en) | Assigning obstacles to lanes using neural networks for autonomous machine applications | |
US20230177839A1 (en) | Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications | |
US20230394842A1 (en) | Vision-based system with thresholding for object detection | |
González et al. | Low-Cost Deep Learning-Based Prototype for Automatic Identification of Traffic Signs in Vehicles | |
JP2023122563A (ja) | 運転環境のリスクレベルに基づくxrコンテンツの変更 | |
Shaw et al. | ByWalk: Unriddling Blind Overtake Scenario with Frugal Safety System |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240122 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240322 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240415 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490179 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |