JP7326041B2 - 画像処理装置、撮像装置、移動体、および画像処理方法 - Google Patents

画像処理装置、撮像装置、移動体、および画像処理方法 Download PDF

Info

Publication number
JP7326041B2
JP7326041B2 JP2019117763A JP2019117763A JP7326041B2 JP 7326041 B2 JP7326041 B2 JP 7326041B2 JP 2019117763 A JP2019117763 A JP 2019117763A JP 2019117763 A JP2019117763 A JP 2019117763A JP 7326041 B2 JP7326041 B2 JP 7326041B2
Authority
JP
Japan
Prior art keywords
behavior
image processing
processing device
processor
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019117763A
Other languages
English (en)
Other versions
JP2021005169A (ja
Inventor
亮介 茂木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2019117763A priority Critical patent/JP7326041B2/ja
Priority to US17/597,082 priority patent/US20220319187A1/en
Priority to EP20832862.5A priority patent/EP3992048A4/en
Priority to PCT/JP2020/021797 priority patent/WO2020261898A1/ja
Priority to CN202080046133.6A priority patent/CN114051720A/zh
Publication of JP2021005169A publication Critical patent/JP2021005169A/ja
Priority to JP2023126486A priority patent/JP2023133522A/ja
Application granted granted Critical
Publication of JP7326041B2 publication Critical patent/JP7326041B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本発明は、画像処理装置、撮像装置、移動体、および画像処理方法に関するものである。
従来、カメラの撮影画像から対象物を検出する技術が知られている。
例えば、車載カメラにより車両の周辺を撮像し、車載カメラの撮影画像から歩行者の膝部位置の移動速度および上半身部位置の移動速度を検出することが提案されている（特許文献１参照）。
特開２０１０－０６６８１０号公報
近年、車両の全自動運転の研究・開発が進められている。特許文献１に記載されている技術を全自動運転に適用し、例えば、立ち止りからの動き出しといった歩行者の状態を検出し、全自動運転による車両の制御に用いることも考えられる。しかしながら、上述した技術を適用した場合でも、必ずしも適切な全自動運転が行われるとは限らず、交通の利便性には向上の余地があった。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、交通の利便性の向上を図ることができる画像処理装置、撮像装置、移動体、および画像処理方法を提供することにある。
上述した諸課題を解決すべく、第１の観点による画像処理装置は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、
前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて前記移動体の第１の挙動を決定し、該第１の挙動を指示する情報を前記出力部に出力させ、前記移動体の前記第１の挙動後の周辺画像から検出した該対象物の状態に基づいて前記移動体の第２の挙動を決定し、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで該第２の挙動を指示する情報を前記出力部に出力させるプロセッサと、を備え、
前記プロセッサは、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて前記第２の挙動を決定する。
第２の観点による撮像装置は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて前記移動体の第１の挙動を決定し、該第１の挙動を指示する情報を前記出力部に出力させ、前記移動体の前記第１の挙動後の周辺画像から検出した該対象物の状態に基づいて前記移動体の第２の挙動を決定し、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで該第２の挙動を指示する情報を前記出力部に出力させるプロセッサと、を有する画像処理装置と、
前記周辺画像を生成する撮像部と、を備え、
前記プロセッサは、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて前記第２の挙動を決定する。
第３の観点による移動体は、
移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて前記移動体の第１の挙動を決定し、該第１の挙動を指示する情報を前記出力部に出力させ、前記移動体の前記第１の挙動後の周辺画像から検出した該対象物の状態に基づいて前記移動体の第２の挙動を決定し、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで該第２の挙動を指示する情報を前記出力部に出力させるプロセッサと、を含む画像処理装置と、前記周辺画像を生成する撮像部と、を有する撮像装置を搭載し、
前記プロセッサは、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて前記第２の挙動を決定する。
上述したように本発明の解決手段を装置として説明してきたが、本発明はこれらに実質的に相当する方法、プログラム、プログラムを記録した記憶媒体としても実現し得るものであり、本発明の範囲にはこれらも包含されるものと理解されたい。
例えば、本開示の第４の観点による画像処理方法は、
プロセッサによって実行される画像処理方法であって、
移動体の周辺を撮像した周辺画像から対象物の状態を検出し、
前記対象物の状態に基づいて前記移動体の第１の挙動を決定し、
前記第１の挙動を指示する情報を前記移動体に出力し、
前記移動体の前記第１の挙動後の周辺画像から前記対象物の状態を検出し、
該対象物の状態に基づいて前記移動体の第２の挙動を決定し、
前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで、該第２の挙動を指示する情報を前記移動体に出力し、
前記第２の挙動の決定に、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いる。
上記のように構成された本開示によれば、移動体による交通の利便性が向上する。
本開示の一実施形態に係る画像処理装置の構成例を示すブロック図である。 移動体と対象物との間でこう着状態が発生する第１の例を例示する図である。 移動体と対象物との間でこう着状態が発生する第２の例を例示する図である。 図１のコントローラが実行するリアクション処理を説明するためのフローチャートである。
以下、本発明を適用した画像処理装置の実施形態について、図面を参照して説明する。
本開示の一実施形態に係る画像処理装置１０を含む撮像装置１１は、図１に示すように、例えば、移動体１２に搭載される。
移動体１２は、例えば車両等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。
撮像装置１１は、撮像部１３および画像処理装置１０を有する。
撮像部１３は、例えば、移動体１２に搭載された車載カメラである。撮像部１３は、移動体１２の周辺を撮像した周辺画像を生成し、画像処理装置１０に出力する。撮像部１３は、移動体１２に複数台搭載されてもよい。例えば、移動体１２に４台の車載カメラが搭載される場合、移動体１２の前方の周辺領域を撮像可能な位置、移動体１の後方の周辺領域を撮像可能な位置、移動体１の左側方の周辺領域を撮像可能な位置、および移動体１２の右側方の周辺領域を撮像可能な位置にそれぞれ、撮像部１３が配置される。このような配置により、移動体１２の四方の周辺領域が撮像され得る。
撮像部１３は、少なくとも撮像光学系と、撮像素子とを備える。撮像光学系は、例えば、１個以上のレンズおよび絞りなどの光学部材を含む。撮像光学系が備えるレンズは、例えば、魚眼レンズなどの画角の広いレンズである。撮像光学系は、被写体像を撮像素子の受光面に結像させる。撮像素子は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどを含む。撮像素子は、受光面上に結像された被写体像を撮像して周辺画像を生成する。
撮像部１３は、撮像素子において生成した周辺画像を、有線または無線を介して、画像処理装置１０に出力する。撮像部１３は、移動体１２に搭載されたＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）、ディスプレイ、およびナビゲーション装置などの外部装置に周辺画像を出力してもよい。
画像処理装置１０は、移動体１２の周辺の周辺画像から対象物の状態を検出し、検出した対象物の状態に応じて、移動体１２に実行させる挙動を決定するものである。対象物としては、例えは、人、他の移動体、動物などがある。また、対象物としての人には、歩行者、自転車に乗っている人などが含まれる。移動体１２としては、例えば、自動運転機能を備える車両がある。本実施形態において、「自動運転」とは、車両を運転するユーザ操作の一部または全部を自動化することを含む。例えば、自動運転は、ＳＡＥ（Ｓｏｃｉｅｔｙ ｏｆ Ａｕｔｏｍｏｔｉｖｅ Ｅｎｇｉｎｅｅｒｓ）において定義されるレベル１ないし５を含んでもよい。以下では、移動体１２は、ＳＡＥで定義されるレベル４以上の全自動運転機能を備えるものとして説明する。また、以下では、全自動運転機能を備える車両を、全自動運転車両と称することがある。
画像処理装置１０は、出力部１４、記憶部１５、およびプロセッサ１６を備える。
出力部１４は、例えば、通信インターフェースであって、有線または無線を介して、移動体１２の各種ＥＣＵと通信を行う。出力部１４は、移動体１２に実行させる挙動を指示する情報を、当該移動体１２に出力する。例えば、出力部１４は、移動体１２の走行を制御するＥＣＵ、および移動体１２のランプおよびウィンカの点滅、ならびにクラクションの鳴動などを制御するＥＣＵと通信を行うことにより、当該挙動を指示する情報を出力する。
通信インターフェースである出力部１４は、移動体１２の各種ＥＣＵとの通信により、各種ＥＣＵから、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力、および所定の像の投影などの移動体１２が実行した挙動、移動体１２の進行予定路、および周囲の交通状況などの情報を取得してもよい。
記憶部１５は、１つ以上のメモリを含む。本実施形態において「メモリ」は、例えば、半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。記憶部１５に含まれる各メモリは、例えば、主記憶装置、補助記憶装置、またはキャッシュメモリとして機能してもよい。記憶部１５は、画像処理装置１０の動作に用いられる任意の情報を記憶してよい。記憶部３８は、例えば、システムプログラム、アプリケーションプログラムなどを記憶してもよい。
プロセッサ１６は、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサの少なくともいずれかを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサ１６は、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。プロセッサ１６は、画像処理装置１０の各構成要素の動作を制御する。
プロセッサ１６は、例えば、撮像部１３から取得した周辺画像において、対象物の存否を判別する。対象物は、例えば、特定の状況下の誘導員、特定の状況下の路上者、および他の移動体などである。特定の状況下の誘導員１７とは、例えば、図２に示すように、移動体１２の進行予定路が工事中で片側一車線の規制下において、交通整理を行う者である。特定の状況下の路上者１８とは、例えば、図３に示すように、移動体１２の進行予定路上の横断歩道１９の一端近辺の人である。
プロセッサ１６は、周辺画像において対象物の存在を検出すると、当該対象物の状態を検出する。プロセッサ１６は、例えば、対象物が特定の状況下の誘導員１７または路上者１８である場合、誘導員１７または路上者１８の動きの方向、顔または視線の方向、表情、および手足の少なくとも１つに基づいて、状態を検出する。
検出される状態は、例えば、図２に示すように、対象物が特定の状況下の誘導員１７である場合、進行許可のジェスチャ、進行禁止のジェスチャ、進行方向を指示するジェスチャ、および不明なジェスチャのいずれかの実行中の状態である。また、検出される状態は、例えば、図３に示すように、対象物が特定の状況下の路上者１８である場合、横断歩道１９の手前で立止まっている状態、横断を開始する状態、ならびに横断歩道１９を渡らないことを示すジェスチャおよび移動体１２の先行を促すジェスチャのいずれかを実行中の状態などである。
プロセッサ１６は、対象物が誘導員１７および路上者１８などの人の場合、フレームの連続する複数の周辺画像に基づいて、表情の変化を検出してよい。表情の変化は、例えば、怒りなどの特定の感情の度合いを通常の表情を基準として点数化し、その点数の変化として検出されてよい。
プロセッサ１６は、対象物の状態を検出すると、当該対象物の状態に基づいて移動体１２に実行させる第１の挙動を、移動体１２が実行可能な多様な挙動の中から決定する。移動体１２が実行可能な多様な挙動は、例えば、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力、および所定の像の投影などである。
プロセッサ１６は、例えば、特定の状況下の誘導員１７が不明なジェスチャを行っている場合、または特定の状況下の路上者１８が立止まっている場合などのような対象物に対して定められている特定の状態である場合、第１の挙動として停止を決定する。プロセッサ１６は、第１の挙動を決定すると、第１の挙動を指示する情報を出力部１４に各種ＥＣＵに向けて出力させる。
プロセッサ１６は、第１の挙動の出力後、または第１の挙動の実行を検知したＥＣＵからの通知による認識後、撮像部１３から取得した周辺画像において、第１の挙動の決定の対象となった対象物の状態を検出する。
プロセッサ１６は、第１の挙動を決定した対象物の状態に対して定められた所定の動作の、第１の挙動の決定前または移動体１２の第１の挙動後における速度を算出する。所定の動作は、例えば、対象物が特定の状況下の誘導員１７である場合、上述の不明なジェスチャである。また、所定の動作は、例えば、対象物が特定の状況下の路上者１８である場合、当該路上者１８の走行または歩行である。プロセッサ１６は、フレームの連続する複数の周辺画像に基づいて、所定の動作の速度を算出する。
プロセッサ１６は、検出した当該対象物の状態に基づいて移動体１２に実行させる第２の挙動を、前述の移動体１２が実行可能な多様な挙動の中から決定する。プロセッサ１６は、検出した対象物の状態に基づいて、第１の挙動に対する有意な反応が得られない場合、対象物への注意を喚起する挙動を第２の挙動として決定してよい。
有意な反応とは、対象物の意図を認識可能な反応である。有意な反応とは、例えば、対象物が特定の状況下の誘導員１７である場合、進行許可のジェスチャ、進行禁止のジェスチャ、および進行方向を指示するジェスチャである。有意な反応とは、例えば、対象物が特定の状況下の路上者１８である場合、横断を開始する状態、ならびに横断歩道１９を渡らないことを示すジェスチャおよび移動体１２の先行を促すジェスチャである。
対象物への注意を喚起する挙動は、例えば、移動体１２のライトを瞬間的に上向き（ハイビーム）で点灯させるパッシング、数十ｃｍ程度で移動体１２を前進させる少し前進、クラクション鳴動、音声出力、および所定の像の投影などである。第２の挙動は、これらの対象物への注意を喚起する挙動単独でも、適宜組み合わせてもよい。
プロセッサ１６は、第２の挙動の決定には、第１の挙動後であって、算出した所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて決定してよい。当該時間間隔は、例えば、所定の動作の速度が速くなるほど短くなるように定められてよい。
プロセッサ１６は、算出した所定の動作の速度に応じたタイミングで、決定した第２の挙動を指示する情報を出力部１４に各種ＥＣＵに向けて出力させる。当該タイミングは、第１の挙動を指示する情報を出力した時点を基準としたタイミングであってよい。当該タイミングは、所定の動作の速度が速くなるほど早められてよい。
プロセッサ１６は、当該タイミングを、所定の動作とともに、移動体１２の周囲の交通状況に応じて変動させてもよい。当該タイミングは、移動体１２の周囲の交通状況が混雑するほど早められてよい。プロセッサ１６は、対象物が人である場合、当該タイミングを、所定の動作とともに、またさらには周囲の交通状況とともに、検出された対象物の表情の変化に応じて変動させてもよい。当該タイミングは、対象物の表情の変化が大きくなるほど早められてよい。
プロセッサ１６は、第２の挙動の出力後、または第２の挙動の実行を検知したＥＣＵからの通知による認識後、撮像部１３から取得した周辺画像において、第２の挙動の決定の対象となった対象物の状態を検出する。
以後、プロセッサ１６は、対象物の状態が特定の状態となるまで、または所定の回数だけ、第１の挙動の実行後から第２の挙動を指示する情報を出力するまでと同様に、周辺画像における対象物の状態の検出、移動体１２に実行させる挙動の決定、および決定した挙動の出力を繰返す。特定の状態とは、例えば、対象物の有意な反応を行っている状態である。所定の回数は、例えば３回である。
プロセッサ１６は、第１の挙動以後に複数回の挙動を移動体１２に実行させる場合、それぞれに対して異なる挙動を決定してよい。プロセッサ１６は、第１の挙動以後の複数回の挙動それぞれを異なる挙動に決定する場合、対象物の状態毎の所定の優先順位に応じて決定してよい。
プロセッサ１６は、移動体１２の周辺環境に応じて所定の優先順位を変更してよい。例えば、プロセッサ１６は、夜間においてクラクション鳴動のように騒音となり得る挙動の優先順位を低くし、照明点灯、パッシング、およびウィンカ点滅などの、騒音を生じさせない動作の優先順位を高く設定してもよい。
プロセッサ１６は、対象物の状態が特定の状態となる前に、所定の回数の挙動を移動体１２に実行させた場合、移動体１２の全自動運転を解除してもよい。
次に、本実施形態においてプロセッサ１６が実行する、リアクション処理について、図４のフローチャートを用いて説明する。リアクション処理は、移動体１２の全自動運転の開始時に、開始する。
ステップＳ１００において、プロセッサ１６は、撮像部１３から取得する周辺画像において対象物を検出したか否かを判別する。対象物を検出しない場合、プロセスはステップＳ１００に戻る。対象物を検出した場合、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、プロセッサ１６は、ステップＳ１００において検出した対象物の状態が特定の状態であるか否かを判別する。対象物の状態が特定の状態でない場合、プロセスはステップＳ１００に戻る。対象物の状態が特定の状態である場合、プロセスはステップＳ１０２に進む。
ステップＳ１０２にでは、プロセッサ１６は、移動体１２に実行させる第１の挙動を決定する。決定後、プロセスはステップＳ１０３に進む。
ステップＳ１０３では、プロセッサ１６は、ステップＳ１０２において第１の挙動を決定した対象物の状態に対して定められた所定の動作の速度を算出する。速度の算出後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、プロセッサ１６は、ステップＳ１０３において算出した速度に基づいて、第２の挙動を指示する情報を出力するタイミング、第２の挙動の決定に用いる周辺画像の時間間隔を決定する。また、プロセッサ１６は、ステップＳ１０２において第１の挙動を決定した対象物の状態に応じて、対象物に対して実行する挙動の回数を決定する。決定後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、プロセッサ１６は、決定した第１の挙動を指示する情報を各種ＥＣＵに向かって出力部１４を介して、出力する。出力後、プロセスはステップＳ１０６に進む。
ステップＳ１０６では、プロセッサ１６は、移動体１２による第１の挙動の実行後の周辺画像において検出される対象物の状態に基づいて、対象物に有意な反応があるか否かを判別する。有意な反応がある場合、当該有意な反応に応じた全自動運転を行い、プロセスはステップＳ１００に戻る。有意な反応が無い場合、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、プロセッサ１６は、第１の挙動の実行後に決定した挙動がステップＳ１０４において決定した回数を超えているか否かを判別する。超えていない場合、プロセスはステップＳ１０８に進む。超えている場合、プロセスはステップＳ１１０に進む。
ステップＳ１０８では、プロセッサ１６は、ステップＳ１０４において決定した時間間隔が第１の挙動後から経過するまでの周辺画像を用いて対象者の状態を検出する。プロセッサ１６は、検出した対象者の状態に基づいて、移動体１２が実行すべき挙動を決定する。挙動の決定後、プロセスはステップＳ１０９に進む。
ステップＳ１０９では、プロセッサ１６は、ステップＳ１０４において決定したタイミングで、ステップＳ１０８において決定した挙動を指示する情報を各種ＥＣＵに向かって出力部１４を介して、出力する。出力後、プロセスはステップＳ１０６に戻る。
ステップＳ１１０では、プロセッサ１６は、全自動運転の解除を指示する情報を各種ＥＣＵに向かって、出力部１４を介して出力する。出力後、リアクション処理は終了する。
以上のような構成の本実施形態の画像処理装置１０では、周辺画像から検出した対象物の状態に基づいて移動体１２の第１の挙動を決定し、移動体１２の第１の挙動後の周辺画像から検出した対象物の状態に基づいて移動体１２の第２の挙動を決定している。このような構成を有する画像処理装置１０の奏する効果について以下に説明する。
従来考えられていた全自動運転車両においては、対象物に対して、こう着状態が発生することがある。
こう着状態は、例えば、図２に示すように、従来考えられていた全自動車両である移動体の進行予定路上に誘導員１７が立っている状況において生じ得る。誘導員１７は、通常、当該移動体の進行許可のジェスチャまたは進行禁止のジェスチャのいずれかを行うことが一般的である。しかし、誘導員１７のジェスチャそのものが通常行われるジェスチャと異なっているなどの理由により、当該移動体がジェスチャを判別できないことがあり得る。このような状況において、当該移動体は安全を優先して、停止することが一般的と考えられる。停止に対して、誘導員１７のジェスチャを判別できない状況が続くと、当該移動体は停止したままとなる。このように、当該移動体と誘導員１７との間にこう着状態が発生し、円滑な交通が妨げられる可能性がある。
また、こう着状態は、例えば、図３に示すように、従来考えられていた全自動車両である移動体の進行予定路上の横断歩道１９の一端近辺に路上者１８が立っている状況において生じ得る。このような状況において、当該移動体は、路上者１８が横断歩道１９を渡ることができるように、横断歩道１９の手前で停止する。しかしながら、路上者１８は、必ずしも、横断歩道１９を渡るとは限らず、その場で立ち止っていることがあり得る。このような状況において、当該移動体は、路上者１８が横断歩道１９を渡る意図が無いにも関わらず、路上者１８が横断歩道１９の一端近辺に立ち止ったままであるので、横断歩道１９の手前で停止したままとなる。このように、当該移動体と路上者１８との間でこう着状態が生じ、円滑な交通が妨げられる可能性がある。
一方、上述の構成を有する画像処理装置１０は、上述のような膠着状態が発生し得る状況において、対象物から有意な反応が得られない場合、対象物に対して更なる挙動を実行することにより、対象物の新たな反応を促し、対象物の意図を検出し得る。したがって、画像処理装置１０は、こう着状態が発生する蓋然性を低減することにより、交通の円滑化を図り、結果として、移動体１２による交通の利便性を向上し得る。
また、本実施形態の画像処理装置１０は、対象物の所定の動作の速度に応じたタイミングで第２の挙動を指示する情報を出力する。一般的に、第１の挙動に対する行動に対して第２の挙動を求めるタイミングは、個々の対象物によって相違し得る。例えば、対象物が人である場合、せっかちな人および急いでいる人などは、自身の動作または状態に対する移動体１２の反応としての挙動を早急に求める傾向がある。また、せっかちな人および急いでいる人は、ジェスチャなどの動作、および歩行または走行などの動作が速いことが一般的である。このような事象に対して、上述の構成を有する画像処理装置１０は、対象物が望む傾向の大きなタイミングで、対象物の反応に対して第２の挙動を移動体１２に出力するので、対象物の反応をより円滑に促し得る。したがって、画像処理装置１０は、移動体１２による交通の利便性をより向上し得る。
また、本実施形態の画像処理装置１０は、第２の挙動の決定に、移動体１２の第１挙動後であって、所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いる。一般的に、移動体１２の第１の挙動に対して、反応を示すまでの時間間隔も、個々の対象物によって相違し得る。例えば、対象物が人である場合、せっかちな人および急いでいる人などは第１の挙動に即座に反応し、落ち着いた人および急いでいない人などは第１の挙動に対してゆっくりと反応する傾向がある。このような事象に対して、上述の構成を有する画像処理装置１０は、移動体１２の第１の挙動に対して、対象物が反応するまで待機してから第２の挙動を決定し得る。したがって、画像処理装置１０は、把握する対象物の意図の正確性を向上し得るので、移動体１２の交通の利便性をより向上し得る。
また、本実施形態の画像処理装置１０は、第２の挙動を指示する情報を出力するタイミングを、移動体１２の周囲の交通状況にも応じて変動させる。一般的に、交通状況に応じて、移動体１２の挙動の速さに対する要求は変動する。このような事象に対して、上述の構成を有する画像処理装置１０は、対象物の動作の速度だけでなく、交通状況も反映させるので、移動体１２の交通の利便性をいっそう向上し得る。
また、本実施形態の画像処理装置１０は、第１の挙動以後の複数の挙動を、所定の優先順位に応じて決定する。移動体１２が実行し得る多様な挙動は、対象物に注意喚起する能力および周囲にかける迷惑の度合いが異なっている。このような事象に対して、上述の構成を有する画像処理装置１０は、状況に適した順番に挙動を決定し、周囲にかける迷惑を低減しながら、対象物の注意喚起の確実性を向上させ得る。
また、本実施形態の画像処理装置１０は、所定の優先順位を周辺環境に応じて変更する。対象物に注意喚起する能力および周囲にかける迷惑の度合いは、移動体１２のいる空間、および時間帯などにより変動し得る。それゆえ、上述の構成を有する画像処理装置１０は、周囲にかける迷惑を低減しながら、対象物の注意喚起の確実性をより向上させ得る。
本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形および修正を行うことが容易であることに注意されたい。従って、これらの変形および修正は本発明の範囲に含まれることに留意されたい。
例えば、本実施形態において、画像処理装置１０は移動体１２に搭載されているが、移動体１２に搭載されていなくてもよい。例えば、画像処理装置１０は、ネットワーク上のサーバなどであってもよく、ネットワークを介してサーバと通信することにより、画像処理装置１０は移動体１２から周辺画像を取得し、第１の挙動および第１の挙動以後の挙動を指示する情報を移動体１２に付与してよい。
１０ 画像処理装置
１１ 撮像装置
１２ 移動体
１３ 撮像部
１４ 出力部
１５ 記憶部
１６ プロセッサ
１７ 誘導員
１８ 路上者
１９ 横断歩道

Claims (11)

  1. 移動体に実行させる挙動を指示する情報を該移動体に出力する出力部と、
    前記移動体の周辺を撮像した周辺画像から検出した対象物の状態に基づいて前記移動体の第１の挙動を決定し、該第１の挙動を指示する情報を前記出力部に出力させ、前記移動体の前記第１の挙動後の周辺画像から検出した該対象物の状態に基づいて前記移動体の第２の挙動を決定し、前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで該第２の挙動を指示する情報を前記出力部に出力させるプロセッサと、を備え、
    前記プロセッサは、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いて前記第２の挙動を決定する
    画像処理装置。
  2. 請求項１に記載の画像処理装置において、
    前記タイミングは、前記所定の動作の速度が速くなるほど早められる
    画像処理装置。
  3. 請求項１又は２に記載の画像処理装置において、
    前記プロセッサは、前記タイミングを、前記移動体の周囲の交通状況にも応じて変動させる
    画像処理装置。
  4. 請求項３に記載の画像処理装置において、
    前記タイミングは、前記移動体の周囲の交通状況が混雑するほど早められる
    画像処理装置。
  5. 請求項１に記載の画像処理装置において、
    前記プロセッサは、前記移動体による前記第１の挙動後の周辺画像から検出した前記対象物の状態に基づき、前記第１の挙動に対する前記対象物の有意な反応が得られない場合、前記第２の挙動を決定する
    画像処理装置。
  6. 請求項１から５のいずれか１項に記載の画像処理装置において、
    前記プロセッサは、前記第１の挙動および前記第２の挙動として、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力、および所定の像の投影の少なくとも１つを決定する
    画像処理装置。
  7. 請求項１から５のいずれか１項に記載の画像処理装置において、
    前記プロセッサは、前記第１の挙動以後の複数の挙動を、前進、後退、停止、減速、進路変更、照明点灯、パッシング、ウィンカ点滅、クラクション鳴動、外部表示、現状維持、音声出力および所定の像の投影の中から、所定の優先順位に応じて決定する
    画像処理装置。
  8. 請求項７に記載の画像処理装置において、
    前記プロセッサは、周辺環境に応じて前記所定の優先順位を変更する
    画像処理装置。
  9. 請求項１から８のいずれか１項に記載の画像処理装置と、
    前記周辺画像を生成する撮像部と、を備える
    撮像装置。
  10. 請求項９に記載の撮像装置を搭載する移動体。
  11. プロセッサによって実行される画像処理方法であって、
    移動体の周辺を撮像した周辺画像から対象物の状態を検出し、
    前記対象物の状態に基づいて前記移動体の第１の挙動を決定し、
    前記第１の挙動を指示する情報を前記移動体に出力し、
    前記移動体の前記第１の挙動後の周辺画像から前記対象物の状態を検出し、
    該対象物の状態に基づいて前記移動体の第２の挙動を決定し、
    前記第１の挙動の決定前または前記移動体の前記第１の挙動後における該対象物の所定の動作の速度に応じたタイミングで、該第２の挙動を指示する情報を前記移動体に出力し、
    前記第２の挙動の決定に、前記第１の挙動後であって、前記所定の動作の速度に応じた時間間隔が経過するまでの周辺画像を用いる
    画像処理方法。
JP2019117763A 2019-06-25 2019-06-25 画像処理装置、撮像装置、移動体、および画像処理方法 Active JP7326041B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019117763A JP7326041B2 (ja) 2019-06-25 2019-06-25 画像処理装置、撮像装置、移動体、および画像処理方法
US17/597,082 US20220319187A1 (en) 2019-06-25 2020-06-02 Image processing apparatus, imaging apparatus, movable object, and method for image processing
EP20832862.5A EP3992048A4 (en) 2019-06-25 2020-06-02 Image processing device, imaging device, mobile body, and image processing method
PCT/JP2020/021797 WO2020261898A1 (ja) 2019-06-25 2020-06-02 画像処理装置、撮像装置、移動体、および画像処理方法
CN202080046133.6A CN114051720A (zh) 2019-06-25 2020-06-02 图像处理装置、拍摄装置、移动体、以及图像处理方法
JP2023126486A JP2023133522A (ja) 2019-06-25 2023-08-02 画像処理装置、撮像装置、移動体、および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019117763A JP7326041B2 (ja) 2019-06-25 2019-06-25 画像処理装置、撮像装置、移動体、および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023126486A Division JP2023133522A (ja) 2019-06-25 2023-08-02 画像処理装置、撮像装置、移動体、および画像処理方法

Publications (2)

Publication Number Publication Date
JP2021005169A JP2021005169A (ja) 2021-01-14
JP7326041B2 true JP7326041B2 (ja) 2023-08-15

Family

ID=74061227

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019117763A Active JP7326041B2 (ja) 2019-06-25 2019-06-25 画像処理装置、撮像装置、移動体、および画像処理方法
JP2023126486A Pending JP2023133522A (ja) 2019-06-25 2023-08-02 画像処理装置、撮像装置、移動体、および画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023126486A Pending JP2023133522A (ja) 2019-06-25 2023-08-02 画像処理装置、撮像装置、移動体、および画像処理方法

Country Status (5)

Country Link
US (1) US20220319187A1 (ja)
EP (1) EP3992048A4 (ja)
JP (2) JP7326041B2 (ja)
CN (1) CN114051720A (ja)
WO (1) WO2020261898A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003343305A (ja) 2002-05-30 2003-12-03 Toyota Motor Corp クルーズコントロール装置
JP2005255091A (ja) 2004-03-15 2005-09-22 Fujitsu Ten Ltd 自車存在報知装置および自車存在報知方法
JP2011138492A (ja) 2009-12-03 2011-07-14 Panasonic Corp 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
WO2018078713A1 (ja) 2016-10-25 2018-05-03 三菱電機株式会社 周辺情報判定装置および周辺情報判定方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010066810A (ja) 2008-09-08 2010-03-25 Mazda Motor Corp 車両用歩行者検出装置
JP2012156903A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 車両周辺監視装置
JP6081570B2 (ja) * 2013-02-21 2017-02-15 本田技研工業株式会社 運転支援装置、および画像処理プログラム
JP5962706B2 (ja) * 2014-06-04 2016-08-03 トヨタ自動車株式会社 運転支援装置
DE102014111023A1 (de) * 2014-08-04 2016-02-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zum Steuern eines automatisierten Fahrzeuges
WO2017208529A1 (ja) * 2016-06-02 2017-12-07 オムロン株式会社 運転者状態推定装置、運転者状態推定システム、運転者状態推定方法、運転者状態推定プログラム、対象者状態推定装置、対象者状態推定方法、対象者状態推定プログラム、および記録媒体
EP3435355B1 (en) * 2017-07-28 2023-08-30 Panasonic Intellectual Property Corporation of America Information processing apparatus, information processing method, and recording medium
EP3748605A4 (en) * 2018-01-29 2021-10-20 Kyocera Corporation IMAGE PROCESSING DEVICE, IMAGING DEVICE, MOBILE BODY, AND IMAGE PROCESSING METHODS

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003343305A (ja) 2002-05-30 2003-12-03 Toyota Motor Corp クルーズコントロール装置
JP2005255091A (ja) 2004-03-15 2005-09-22 Fujitsu Ten Ltd 自車存在報知装置および自車存在報知方法
JP2011138492A (ja) 2009-12-03 2011-07-14 Panasonic Corp 生活スタイル収集装置、ユーザインターフェース装置及び生活スタイル収集方法
WO2018078713A1 (ja) 2016-10-25 2018-05-03 三菱電機株式会社 周辺情報判定装置および周辺情報判定方法

Also Published As

Publication number Publication date
US20220319187A1 (en) 2022-10-06
JP2021005169A (ja) 2021-01-14
EP3992048A1 (en) 2022-05-04
WO2020261898A1 (ja) 2020-12-30
CN114051720A (zh) 2022-02-15
EP3992048A4 (en) 2023-06-28
JP2023133522A (ja) 2023-09-22

Similar Documents

Publication Publication Date Title
JP6493551B2 (ja) 駐車支援方法及び駐車支援装置
JP7139717B2 (ja) 車両用通信装置、車両用通信方法、及び制御プログラム
JP7014822B2 (ja) 画像処理装置、撮像装置、移動体および画像処理方法
JP6428928B2 (ja) オクルージョン制御装置
JP2020125106A (ja) Ｖ２ｘが可能な多様な応用プログラムを利用して自律走行車両の現在の走行意図を人に対してシグナリングする方法及び装置
CN111278702B (zh) 车辆控制装置、具有该车辆控制装置的车辆以及控制方法
CN109564734B (zh) 驾驶辅助装置、驾驶辅助方法、移动体和程序
JP6462629B2 (ja) 運転支援装置及び運転支援プログラム
US11618482B2 (en) State determination device, driving support device, state determination method, and driving support method
JP2022142165A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
WO2019187626A1 (ja) 画像処理装置、撮像装置、および移動体
JP2018092505A (ja) 運転支援装置
JP7326041B2 (ja) 画像処理装置、撮像装置、移動体、および画像処理方法
JP2019098965A (ja) 走行支援装置
JP6888851B1 (ja) 自動運転車
JP7110914B2 (ja) 情報処理装置、プログラム、および情報処理方法
JP7043909B2 (ja) 運転支援装置
JP2022118053A (ja) 出力装置
CN117440902A (zh) 车辆用报告控制装置以及车辆用报告控制方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220906

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230802

R150 Certificate of patent or registration of utility model

Ref document number: 7326041

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150