WO2018051399A1 - 状態予測装置及び状態予測方法 - Google Patents
状態予測装置及び状態予測方法 Download PDFInfo
- Publication number
- WO2018051399A1 WO2018051399A1 PCT/JP2016/076934 JP2016076934W WO2018051399A1 WO 2018051399 A1 WO2018051399 A1 WO 2018051399A1 JP 2016076934 W JP2016076934 W JP 2016076934W WO 2018051399 A1 WO2018051399 A1 WO 2018051399A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- state
- observation object
- attribute
- observation
- target
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000007613 environmental effect Effects 0.000 claims abstract description 31
- 238000012544 monitoring process Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 18
- 230000008569 process Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 description 86
- 230000001133 acceleration Effects 0.000 description 14
- 230000012010 growth Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 239000002245 particle Substances 0.000 description 4
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 241000238631 Hexapoda Species 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000003306 harvesting Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000008400 supply water Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Abstract
観測対象物の状態変化を精度よく推定する技術を提供する。そのために観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するステップ(S100)と、第1センサ情報に基づいて観測対象物の種類を識別し観測対象物及び観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部から当該観測対象物及び環境要因の目的属性を読み出すステップ(S104,S105)と、観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部から観測対象物の種類に対応する有限状態系列を複数検索し、観測対象物及び前記環境要因の目的属性に基づいて、複数検索された有限状態系列の選択数を絞り込み(S108)、絞り込んだ有限状態系列に観測対象物の観測値を用いて有限状態系列を補正し(S119)、補正後の有限状態系列を状態予測として出力するステップ(S111)とを含む。
Description
本発明は状態予測装置及び状態予測方法に係り、特に観測対象物の状態を取得する周辺監視センサからの出力を基に観測対象物の状態変化を予測する技術に関する。
特許文献1には、撮像された画像から、パーティクルフィルタ法により対象物の物理量を推定したり、コンデンセーション法により対象物の特徴量に関連する量を重みとして対象物の位置を推定したりする技術が提案されている。
特許文献2には、三次元座標値を有する複数の特徴点と、各特徴点に関連付けられた部分画像を表す部分画像情報とから構成される三次元モデルを二次元の観測空間に投影して、二次元の観測空間において選択した特徴点セットを用いて三次元モデルの状態量を推定して、推定した三次元モデル状態を観測空間に投影して適合度を繰り返し計算して三次元モデルの状態量を推定する技術が提案されている。
特許文献3には、ターゲットの存否を判定するための注目領域を、画像における複数の位置に順次設定し、注目領域にターゲットが存在すると仮定した場合のパーツの基準位置をバネモデルに基づいて設定し、基準位置からのずれの度合いを表す値であるバネコストを、検出したパーツのそれぞれについて算出する。そして、算出したバネコストが所定範囲内の同一種類のパーツが複数存在することを条件として、注目領域を、集団を構成するターゲットが存在するターゲット領域として判定する技術が提案されている。
しかしながら、特許文献1のパーティクルフィルタを応用した追跡手法は、類似した対象物が複数あって交差があるとパーティクルを混同し個々の対象の追跡を誤るという問題があった。また対象物の遮蔽があるとパーティクルが消滅し対象の追跡を誤るという問題があった。また対象物の動きの変化が一様でない場合でも安定な追跡を実現するためには、多数のサンプルを生成する必要があり、処理速度が低下してしまう問題があった。また対象物が増加すると生成するサンプルが増大し、処理速度が低下してしまう問題があった。
特許文献2の二次元の観測空間において選択した有効な特徴点セットにより三次元モデルの状態量を推定しているが、前回の三次元モデルの状態から今回の三次元モデルの状態の予測は位置と速度と加速度による演算による位置予測のみを行っているため、加速度が変化する複雑な動きを追跡するには観測間隔を短くする必要があり、観測の間に他の処理を行うだけの時間間隔がない問題があった。
特許文献3のバネモデルによる画像処理装置は、対象の集団の領域を精度よく検出する方法を示しているが、類似した複数の対象が分かれていく場合の追跡の効率が良くないという問題があった。
本発明の目的は上記問題点を解決し、実環境における対象物に関連する物理量の観測値に基づいて、観測対象物の状態変化を精度よく推定する技術を提供することにある。
上記目的を達成するために本発明は、観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するセンサ情報取得部と、前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部と、前記第1センサ情報に基づいて前記観測対象物の種類を識別し、前記目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第1センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出す対象物識別部と、前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、前記有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、絞り込んだ有限状態系列を状態予測として出力する状態予測部と、を備えることを特徴とする。
上記発明により、実環境における対象物に関連する物理量の観測値に基づいて、観測対象物の状態変化を精度よく推定する技術を提供することができる。なお上記した以外の課題、解決手段は以下の実施形態により明らかにされる。
以下、本発明の好適な実施形態を図面を参照しながら詳細に説明する。
<第1実施形態>
第1実施形態は、状態予測装置を車両に搭載して観測対象物(以下「対象物」と略記する)、例えば前方車両や隣のレーンを走行する車両、対向車、歩行者、自転車の行動を予測する例である。
第1実施形態は、状態予測装置を車両に搭載して観測対象物(以下「対象物」と略記する)、例えば前方車両や隣のレーンを走行する車両、対向車、歩行者、自転車の行動を予測する例である。
図1に第1実施形態に係る状態予測装置のハードウェア構成を示す。図1に示すように本実施形態に係る状態予測装置10は、対象物の状態変化を予測する演算処理を司るCPU14、データ記憶装置としてのROM16、RAM18、ファイルユニット20、及び外部インターフェース(I/F)22の各々がバス28を介して互いに接続され、コマンドやデータを授受可能に接続されたコンピュータとして構成される。外部I/F22には、状態予測装置10が監視対象とする対象物の状態情報を取得するための周辺監視センサ24と車両の現在位置を算出する位置算出装置26とが接続される。
本実施形態では、周辺監視センサ24として車両内に搭載されたカメラを用い、対象物である車両外の他車車両や歩行者等を撮像するので以後カメラ24と記載するが、カメラが撮影した画像を基に周囲監視を行うが、対象物が検出できるセンサであればその種類は問わず、ミリ波レーダやライダーでもよい。
また、位置算出装置26はGPS(Global Positioning System)の他、慣性計測装置、また走行ルート上に設置された位置情報出力装置との間で路車間通信を行い、車両の位置を算出する位置算出装置等、その種類を問わない。
また、ファイルユニット20には、状態予測を行う対象物の種類に応じたモデルを規定するモデル情報辞書201(図2参照)、モデルの時間経過に伴う複数の状態変化の系列を規定した状態系列辞書202(図2参照)、観測対象物及び観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性が記憶された目的属性辞書211、及び各目的属性を実現するために設定された目標パラメータが記憶された目標パラメータ辞書212(図2参照)が予め格納されている。モデル情報辞書201は主に第2実施形態で用いる。状態系列辞書202は有限状態系列記憶部に相当する。目的属性辞書211(目的属性記憶部に相当する)、及び目標パラメータ辞書212(目標パラメータ情報記憶部に相当する)の構成は後述する。
ROM16には、処理ルーチン等のプログラムが予め記憶されている。なお、本実施形態に係る状態予測装置10には、以上の構成の他に、電源装置等、多数の電気系の構成要素が含まれているが、周知又は一般的なものであるため詳細な説明を省略する。
バス28には、車載ネットワーク(CAN)I/F30が接続される。CANI/F30には、電子制御ユニット(ECU)32が接続される。ECU32はブレーキ装置34、及び車速センサ36に接続される。状態予測装置10はECU32を介して自車の車速情報を取得する。車速情報は、速度だけでもよいし、加速度を含んでもよい。また状態予測装置10は、衝突危険性を判断する機能を備える場合は、その判断結果を基のECU32を介してブレーキ装置34を作動させるための制御情報を出力してもよい。
更にバス28にはモニタ38を接続しておき、状態予測装置10が衝突危険性を判断する機能を備える場合は警告表示を行ってもよい。また警告は不図示の警報装置をバス28に接続しておき、警告音を発生させるように構成してもよい。
図2は、状態予測装置10で実行される状態変化予測プログラムの構成を示す機能ブロック図である。
状態予測装置10は、センサ情報取得部14a、対象物識別部14b、状態予測部14c、及びマッチング部14dを含む。上記各構成要素は、機能を実現するプログラムをCPU14がRAM18にロードして実行することにより構成される。またファイルユニット20には、モデル情報辞書201、状態系列辞書202、目的属性辞書211、及び目標パラメータ辞書212を含む。これら各構成要素の機能は、図3を参照しながら状態予測装置10の処理動作の中で説明する。
モデル情報辞書201及び状態系列辞書202は、既述の通りファイルユニット20に格納されるデータとして構成される。
次に、本実施形態の状態予測装置10で実行される対象物の動き予測処理について説明する。図3は、本実施形態に係る状態予測装置を用いて車両の動き予測を行う処理の流れを示すフローチャートである。なお、第1実施形態では車両の動きを予測するので本処理において動き予測を出力するが、第2実施形態では静止物の状態予測を出力する。つまり動き予測は状態予測に含まれる概念であり、下記フローチャートにおいて動き予測を状態予測に読み替えることにより、第2実施形態でも第1実施形態と同様、環境要因を考慮した対象物の状態予測が行える。
センサ情報取得部14aは、周辺監視センサとしてのカメラ24で第1時刻において撮影した第1画像(第1センサ情報に相当する)を読込み(S100)、対象物識別部14bに出力する。
対象物識別部14bは、実空間内における対象物の動き予測処理を実行する領域(予測探索窓という)を設定する(S101)。図4はカーナビゲーションシステムに本実施形態に係る動き予測処理を適用した際の予測探索窓の設定例を示す図であって、(a)は探索ルートに沿って予測探索窓が隙間なく設定された状態を示し、(b)は交差点を含む予測探索窓例を示す。
カーナビゲーションシステムにおいて出発地と目的地とを設定すると、探索ルートが表示され、ユーザが実際の走行ルートを決定する。その走行ルート上を走行中、状態予測装置10は随時予測探索窓を設定し、その予測探索窓内にある対象物の動きを探索する。対象物識別部14bは、予測探索窓の長さを自車両の走行速度が速くなるにつれて長くしてもよい(図4(a)参照)。
図4(b)に示す予測探索窓は、片側1車線の交差点を含む。本例では1車線の幅が約4m幅あるので、1車線に対して仮想的な2レーンを設定し、いずれのレーン、例えば右端レーンか中央レーンかのいずれに観測対象物である前方車両がいるかによって、後述する有限状態系列を絞込みを行ってもよい。
このように走行ルートに沿って随時予測探索窓を生成することで、走行中に切れ間なく対象物の動き予測を実行することができる。なお、カーナビゲーションシステムに限らず、対象物識別部14bは、走行中にECU32を介して車速センサ36から自車の車速情報を取得し、これに基づいて探索窓の長さを決定して予測探索窓を決定して、走行中にカーナビゲーションシステムとは独立して周囲監視処理を実行し、衝突危険性の判断を行って警報を出力するように構成してもよい。なお、ステップS100とS101とは順序が逆でもよい。
対象物識別部14bは、第1画像から周知の方法により自動車、人物、二輪車などの特徴を検出して識別し(S102)、識別した結果を識別した対象の識別データとしてRAM18に格納する。対象の特徴の検出は、例えば、撮影した画像からHOG特徴量をCPU14で演算することにより行い、対象の識別は、ROM16もしくはファイルユニット20に予め格納した識別辞書から演算した特徴量との類似度を、ROM16に予め格納したサポートベクトルマシンやブースティング等の演算処理をCPU14が行うことにより実現できる。このとき、識別した対象と識別データに対応する識別子を付けてもよい。
本ステップにより、第1画像の被写体の種類が識別され、車両、歩行者、信号機が区別される。
更に、対象物識別部14bは、複数の被写体のうち、動き予測を行う被写体を対象物として特定し、観測対象物の目的属性、目標パラメータを選択する(S103)。例えば第1画像の被写体から車両を観測対象として決定する。観測する対象物が車両の場合は、カメラ24の画像を基に自車両と観測対象との車両の相対位置を認識し、その車両が前方車両であるか、隣レーンの車両であるか、更には対向車であるかを識別する。例えばカメラ24の画像中央に車両の後部が撮影されている場合は前方車両と認識し、画像の左右どちらかに偏った位置に車両の後部が撮影されている場合には、隣レーンの車両であると認識する。また、車両の前面が撮影されている場合には対向車であると認識する。
対象物識別部14bは、対象物の目的属性、目的パラメータを選択し(S104)、更に対象物の動きに制約を与える環境要因の目的属性、目標パラメータを選択する(S105)。本実施形態では対象物を車両とし、車両の動きに制約を与える環境要因として道路/レーンを例に挙げて説明するが、実際には車両の動きを予測するための環境要因は道路/レーンに限定されず、第1画像内に撮像された全ての被写体、例えば、信号、対向車、自転車、歩行者、交差点に接続する各道路/レーンの情報を環境要因として選択し、各環境要因の目的属性、及び目標パラメータを選択して、動き観測の演算エンジン、例えばニューラルネットワークに入力してもよい。更に環境要因として、VICS(vehicle information and communication system)からの渋滞情報や道路規制情報などのリアルタイム情報を環境要因として動き観測の演算エンジンに入力してもよい。
対象物識別部14bは、対象物が前方車両である場合、環境要因として道路/レーンの目的属性、目標パラメータを選択する。そして、前方車両が走行する道路/レーンの目的属性を読み取るために、対象物識別部14bは、位置算出装置26から自車両が走行しているレーンを特定する。対象物が前方車両の場合は前方車両の速度/加速度と、自車の走行レーンが直進、左折、右折のどのレーンに該当するかを特定することで、前方車両の走行レーンが特定できる。
対象物識別部14bは、目的属性辞書211から前方車両の走行レーンに関する道路/レーンの目的属性を読み取る。ここで、目的(purse)属性とは観測対象物の使用目的を表すものであり、目標(target)パラメータとは、目的を実現するために設定されたデータ構造である。目的属性辞書には、観測対象物及び環境要因毎の目的属性を規定したデータが格納され、目標パラメータ情報記憶部には、環境要因毎の目的属性に対応させた目標パラメータが記憶される。以下に目的属性辞書及び目標パラメータ/に記憶されるデータ例として、車両、及び道路/レーンの各モデル例を説明する。各モデルは、目的属性及び目標パラメータが含まれる。
(車両の場合)
目的属性:{走行,移動,駐車,停車(停止),乗降,輸送,運搬,牽引,給油,充電,放電}
目標パラメータ{発進地(時間),目的地(時間),経路,経由地(時間),駐車地(時間)}
(道路/レーンの場合)
目的属性:順序付き道路名,{直進 , 左折 , 右折 , 合流 , 分岐 , Uターン}
目標パラメータ:{トポロジー名, 目的 ,目標 , 接続角, レーン数,長さ, 幅員, 曲率 ,勾配 , 等}
目的属性:{走行,移動,駐車,停車(停止),乗降,輸送,運搬,牽引,給油,充電,放電}
目標パラメータ{発進地(時間),目的地(時間),経路,経由地(時間),駐車地(時間)}
(道路/レーンの場合)
目的属性:順序付き道路名,{直進 , 左折 , 右折 , 合流 , 分岐 , Uターン}
目標パラメータ:{トポロジー名, 目的 ,目標 , 接続角, レーン数,長さ, 幅員, 曲率 ,勾配 , 等}
図5は、トポロジー名がT字路の場合の目的属性及び目標パラメータの例を示す。
対象物識別部14bは、対象物に関して読み取った目的属性及び目標パラメータを状態予測部14cに出力する。
状態予測部14cは、周辺監視センサ24からの出力に基づいて、識別した対象物の動き観測を行い、動き系列(有限状態系列に相当する)、加速度を求める(S106)。周辺監視センサ24がカメラである場合は、第1画像とそのあとに撮影した第2画像(第2センサ情報に相当する)との比較により動き観測を行うが、ミリ波レーダやライダーを用いる場合は、対象物の自車両に対する相対速度(微分演算をすれば加速度も得られる)が得られるので、これと自車両の速度センサが出力した自車速度とを基に対象物の動き系列、加速度が求まる。このステップを最初に処理する場合、対象を最初に識別した時点から一定時間後に対象を観測して対象の速度を求め、更に一定時間後に対象を観測して対象の加速度を求める。
そして、状態予測部14cは、対象物の動き観測の結果を基にファイルユニット20に格納された状態系列辞書202を検索し、識別した対象物の動きベクトルの集合体からなる有限状態系列を抽出する(S107)。
状態予測部14cは、検索した有限状態系列からステップS105の目的属性、目標パラメータを基に動き系列を絞り込む(S108)。図6は動き系列例を示し、(a)は道路/レーンに目的属性を持たないときの動き系列の選択例、(b)は道路/レーンに目的属性を持たせて動き系列の絞りこみ例を概念的に示す図である。
道路/レーンに目的属性を持たない場合は、主に、道路上の位置と速度、加速度により動き系列を選択することになるので、交差点付近で速度、加速度が小さい場合、動き系列の選択範囲を絞り込めず広がる(図6(a)参照)。これに対して、道路/レーンの目的属性がある場合は、速度、加速度が小さい場合でも、動き系列の選択範囲を絞り込める。例えば図6(b)では道路/レーンの目的属性により、直進又は左折レーンを走行中の前方車両は動き系列のうち右方向を向いた動き系列は選択されず、直進又は左方向を向いた動き系列だけが選択されるので、全方向の動き系列よりも動き系列の選択範囲を絞り込める。同様に、右折レーンを走行中の前方車両は動き系列のうち右方向を向いた動き系列だけが選択されるので、全方向の動き系列よりも動き系列の選択範囲を絞り込める。
状態予測部14cは、選択した複数の系列を対象物にあてはめる(S109)。図6に示すように、対象物に絞り込んだ動き系列を重畳することが、本ステップのあてはめ処理に相当する。
状態予測部14cは、動き予測をした対象物にS106で観測した動き系列や加速度を重畳する(S110)。状態予測部14cは第1画像を基に観測対象物を観測して得られた観測値を取得してもよいし、他の種類の周辺監視センサを用いて観測対象物を観測した結果、例えばミリ波レーダによる前方車両の相対速度と車速センサ36からの自車速度を取得し、両者を用いて前方車両の加速度を演算して観測値を演算してもよい。そしてこの観測値を用いて、絞り込んだ有限状態系列を補正する。
以下、図7~図9を参照して本ステップの処理について説明する。図7は動き系列と動きベクトルによる動き予測を示す図である。図8は、観測対象物に選択された動き系列131を割り当てた状態を示す。図9は観測対象物の動きベクトルを示す図である。図7の動き予測160は、図8の観測対象物130に選択された動き系列131を割り当てた状態に、動きベクトル(図9参照)を重畳した状態を示す。動き予測160(図7参照)は、重畳された動き系列150によって、重畳前の動き系列131(図8)とは異なる大きさ、本例では図8の動き系列131よりも図7の動き予測160における動き系列の方がベクトルの長さが長くなる。
この処理を2次元の道路地図上の動き予測に適用した例を図10に示す。図10の(a)は道路/レーンに目的属性を持たせない例、(b)は道路/レーンに目的属性を持たせた例を示す。道路/レーンに目的属性を持たせることにより、複数検索された動き系列の選択数が絞り込まれた動き予測がされる。そのため動き予測の精度を向上させることができる。
状態予測部14cは、状態予測(第1実施形態では動き予測に相当する)を出力する(S111)。図11は状態予測を継続的に行った結果を示す図である。観測対象物である車両1103の動き系列の系列探索を行うと符号1101に示すように複数の動き系列が得られる。これから絞込みを行って残った動き系列を順次繋ぎ合わせると符号1102に示すように一つの動き系列の流れが生成される。この符号1102が示す動き系列を、モニタ38に予測探索窓を表示し、予測探索窓中の車両1103に付加して表示することにより、ドライバーに対して車両1103が左折することが状態予測情報として提供することができる。
また、動き予測の出力の一態様として、状態予測部14cは動き予測の結果をマッチング部14dに出力してもよい。
マッチング部14dは、第1画像で行った動き予測と、第2画像において対象物が撮影された被写体領域とを比較することで、動き予測の検証を行ってもよい。その結果を第三画像に対する対象物識別部の処理に順次フィードバックすることで動き予測の精度を向上させたり、修正を施すことができる。また、マッチング処理を実行した結果に基づいて前方車両や歩行者との衝突危険性があると判定された場合には、車両に搭載したHUDや警報装置に出力して注意を喚起させてもよいし、ECU32に対してブレーキ装置34を作動させるための制御情報を出力してもよい。
また状態予測部14cは、動き予測をモニタ38に出力して対象物の動き予測をモニタの画面に表示してもよい。例えばモニタに直前車両の画像を表示し、動き予測を示す矢印をモニタの直前車両の画像に重畳表示してもよい。
本実施形態によれば、対象物の動き予測をする際に、その対象物の動きに対して制約を与える環境要因の目的属性や目標パラメータを事前に用意しておくことにより、対象物の動き予測の候補を絞り込むことできる。これにより、動き予測の精度を向上させることができる。
<第2実施形態>
第2実施形態は、周辺監視センサとして定点カメラを用い、状態予測の定点観測対象物である作物を定点撮影し、作物の成長観察、例えば作物の成長予測や異常監視、作物生育環境の状態予測や異常監視を行う実施形態である。本実施形態では、作物の成長に伴う形状変化の系列を規定した有限状態系列を適用し、初期状態の作物の形状をモデル化したモデルを用意する。そして状態予測時における画像から作物の形状変化量を算出し、その変化量に応じてモデルを有限状態系列を基に幾何変換させて予測状態を演算してもよい。更に予測と観測の偏差から異常の検知通報や異常原因の推定をすることができる。
第2実施形態は、周辺監視センサとして定点カメラを用い、状態予測の定点観測対象物である作物を定点撮影し、作物の成長観察、例えば作物の成長予測や異常監視、作物生育環境の状態予測や異常監視を行う実施形態である。本実施形態では、作物の成長に伴う形状変化の系列を規定した有限状態系列を適用し、初期状態の作物の形状をモデル化したモデルを用意する。そして状態予測時における画像から作物の形状変化量を算出し、その変化量に応じてモデルを有限状態系列を基に幾何変換させて予測状態を演算してもよい。更に予測と観測の偏差から異常の検知通報や異常原因の推定をすることができる。
その際、作物や作物の生育環境に目的属性と目標パラメータを対応させる辞書を用意して、状態系列の探索に用いることができる。作物自体の目的の例として、発芽、生育、着花、開花、結実、枯れ死、などがあり、目標パラメータの例として茎の高さ、葉の大きさ、枚数、葉の色、葉の間隔、花の数、実の大きさ、形などがある。目的属性、目標パラメータを状態系列の探索に用いることにより、例えば蕾や実が観測されない時点から開花や結実状態を予測した状態系列の探索が可能になる。また生育環境の例として、作物の生育温度を適度に保つためのヒーターや温度を観測する温度計、作物に給水する給水器や、作物に光を与える照明などがある。外部から作物の育成計画として作物の生育予定や、生育環境の温度、給水、照明の制御情報が目的属性及び目的パラメータとして与えられていれば、それらも状態系列の探索に用いて作物の生育予測を行うと共に、ヒーターの温度センサや給水器の給水センサや照明の照度センサの予測値として用い、観測値との偏差を検出したら、観測値に合うように作物や生育環境の状態系列を逆探索することで、温度、給水、照明などの過不足情報や制御へのフィードバック情報として出力したり、温度、給水、照明の各センサの異常検知として出力したり、病虫害の可能性情報として出力してもよい。
第2実施形態では、作物の状態予測を行うことで作物の生育環境を改善し、収穫量の増加、また収穫時期の調整を行える効果が期待できる。
上記実施形態は本発明を限定する趣旨ではなく、本発明の趣旨を逸脱しない範囲の様々な変更態様は、本発明に含まれる。
例えば第1実施形態では、車両に状態予測装置を搭載して車両周辺の対象物、例えば、前方車両や隣レーンの車両、対向車両、歩行者、自転車などの状態予測を行ったので対象物は移動物であった。しかし、対象物は移動物に限らず、静止物でもよい。例えば、ビル内の夜間警備に本実施形態に係る状態予測装置を適用し、対象物を廊下やドア、出入口とし、状態予測のモデルとして静止状態を維持し続けるモデル(ベクトルが0)を適用し、周辺監視センサとして音声信号を収集するマイクを用いてもよい。この場合、夜間のビル内で静止物が静止し続けた場合は無音状態が続くが、例えば侵入者がいた場合には音声信号を拾って異常を検知するように構成してもよい。
また第2実施形態において定点カメラを用いた状態予測の対象を建物出入口や玄関などの空間とし、定点カメラの画像に撮像された対象物、例えば不審者の動き予測(状態予測)を行ってもよい。
更に上記実施形態では、状態予測部14cは観測対象物及び環境要因のそれぞれの目的属性及び目標パラメータを用いて有限状態系列の絞り込みを行ったが、目的属性だけを用いて有限状態系列の絞り込みを行ってもよい。この場合、例えば前方車両の状態予測を行う例では、前方車両の走行レーンの目的属性が右折レーンである場合、有限状態系列は右方向の状態遷移を示す有限状態系列だけを絞り込むように構成してもよい。
10 ・・・状態予測装置
14 ・・・CPU
16 ・・・ROM
18 ・・・RAM
20 ・・・ファイルユニット
22 ・・・外部I/F
24 ・・・周辺監視センサ
14 ・・・CPU
16 ・・・ROM
18 ・・・RAM
20 ・・・ファイルユニット
22 ・・・外部I/F
24 ・・・周辺監視センサ
Claims (6)
- 観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するセンサ情報取得部と、
前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部と、
前記第1センサ情報に基づいて前記観測対象物の種類を識別し、前記目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第1センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出す対象物識別部と、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部と、
前記有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、補正後の有限状態系列を状態予測として出力する状態予測部と、
を備えることを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物の目的属性、及び前記観測対象物の目的属性に規定された各目的を実現するために設定された目標パラメータ情報を格納する目標パラメータ情報記憶部を更に備え、
前記対象物識別部は、前記観測対象物の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、前記環境要因の目的属性に対応する目標パラメータ情報を前記目標パラメータ情報記憶部から読み出し、
前記状態予測部は、前記観測対象物の目的属性に対応する目標パラメータ情報及び前記環境要因の目的属性に対応する目標パラメータ情報を更に用いて、前記複数検索された有限状態系列の選択数の絞込みを行う、
を備えることを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記センサ情報取得部は、前記第1時刻よりも後の第2時刻において前記周辺監視センサが前記観測対象物を観測して得た第2センサ情報を取得し、
前記状態予測部が出力した状態予測と、前記第2センサ情報に含まれる前記観測対象物の状態とのマッチング処理を行うマッチング部を更に備える、
ことを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物は、車両であり、
前記周辺監視センサは、前記車両に搭載されたカメラである、
ことを特徴とする状態予測装置。 - 請求項1に記載の状態予測装置において、
前記観測対象物は、定点観測対象物であり、
前記周辺監視センサは、前記定点観測対象物を撮像する定点カメラである、
ことを特徴とする状態予測装置。 - 観測対象物の第1時刻における状態を周辺監視センサにより観測して得た第1センサ情報を取得するステップと、
前記第1センサ情報に基づいて前記観測対象物の種類を識別し、前記観測対象物の使用目的又は観測目的を示す目的属性、及び前記観測対象物の状態変化に影響を与える環境要因の使用目的又は観測目的を示す目的属性を格納する目的属性記憶部から当該観測対象物の目的属性を読み出すと共に、前記第1センサ情報に基づいて前記環境要因の種類を識別し、前記目的属性記憶部から当該環境要因の目的属性を読み出すステップと、
前記観測対象物の種類に対応した、時間経過に伴う複数の状態変化の系列を規定した有限状態系列を記憶する有限状態系列記憶部から前記観測対象物の種類に対応する有限状態系列を複数検索し、前記観測対象物の目的属性及び前記環境要因の目的属性に基づいて、前記複数検索された有限状態系列の選択数を絞り込み、前記観測対象物を観測して得られた観測値を取得し、絞り込んだ有限状態系列を前記観測値に基づいて補正をし、絞り込んだ有限状態系列を状態予測として出力するステップと、
を含むことを特徴とする状態予測方法。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/757,248 US10395127B2 (en) | 2016-09-13 | 2016-09-13 | State prediction device and state prediction method |
CN201680089158.8A CN109690619A (zh) | 2016-09-13 | 2016-09-13 | 状态预测装置以及状态预测方法 |
PCT/JP2016/076934 WO2018051399A1 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
EP16911784.3A EP3324360A4 (en) | 2016-09-13 | 2016-09-13 | DEVICE AND METHOD FOR PREDICTING STATE |
JP2017541735A JP6431204B2 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/076934 WO2018051399A1 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018051399A1 true WO2018051399A1 (ja) | 2018-03-22 |
Family
ID=61618696
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/076934 WO2018051399A1 (ja) | 2016-09-13 | 2016-09-13 | 状態予測装置及び状態予測方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10395127B2 (ja) |
EP (1) | EP3324360A4 (ja) |
JP (1) | JP6431204B2 (ja) |
CN (1) | CN109690619A (ja) |
WO (1) | WO2018051399A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210084287A (ko) * | 2019-12-27 | 2021-07-07 | 모셔널 에이디 엘엘씨 | 자율 주행 차량 운행을 지원하는 대상체 추적 |
JP7378285B2 (ja) | 2019-12-11 | 2023-11-13 | Eneos株式会社 | セルフ給油管理システム |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110226147A (zh) * | 2017-05-29 | 2019-09-10 | 株式会社日立信息通信工程 | 状态预测控制装置和状态预测控制方法 |
JP6971187B2 (ja) * | 2018-03-28 | 2021-11-24 | 京セラ株式会社 | 画像処理装置、撮像装置、および移動体 |
US11354406B2 (en) * | 2018-06-28 | 2022-06-07 | Intel Corporation | Physics-based approach for attack detection and localization in closed-loop controls for autonomous vehicles |
CN117434916A (zh) * | 2022-07-15 | 2024-01-23 | 小米汽车科技有限公司 | 车辆功能测试系统、方法及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133624A (ja) * | 1992-10-27 | 1994-05-17 | Yanmar Agricult Equip Co Ltd | 収穫装置 |
JP2005044352A (ja) | 2003-07-10 | 2005-02-17 | Advanced Telecommunication Research Institute International | 推定装置、推定方法および推定プログラム |
JP2005044224A (ja) * | 2003-07-24 | 2005-02-17 | Denso Corp | 三次元デジタル地図作成装置、三次元デジタル地図表示システムおよび安全運転支援システム |
JP2007072987A (ja) * | 2005-09-09 | 2007-03-22 | Denso Corp | 環境認識装置 |
JP2007299312A (ja) | 2006-05-02 | 2007-11-15 | Toyota Central Res & Dev Lab Inc | 対象物の三次元位置推定装置 |
JP2011044046A (ja) * | 2009-08-21 | 2011-03-03 | National Institute Of Advanced Industrial Science & Technology | 物体認識装置および物体認識方法 |
JP2014063273A (ja) | 2012-09-20 | 2014-04-10 | Denso Corp | 画像処理装置及び車両制御システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5519618A (en) * | 1993-08-02 | 1996-05-21 | Massachusetts Institute Of Technology | Airport surface safety logic |
JP2001268719A (ja) * | 2000-03-23 | 2001-09-28 | Toyota Motor Corp | ハイブリッド車両のバッテリ充電制御装置 |
US7804980B2 (en) | 2005-08-24 | 2010-09-28 | Denso Corporation | Environment recognition device |
US8718838B2 (en) * | 2007-12-14 | 2014-05-06 | The Boeing Company | System and methods for autonomous tracking and surveillance |
US7742623B1 (en) * | 2008-08-04 | 2010-06-22 | Videomining Corporation | Method and system for estimating gaze target, gaze sequence, and gaze map from video |
US8229663B2 (en) * | 2009-02-03 | 2012-07-24 | GM Global Technology Operations LLC | Combined vehicle-to-vehicle communication and object detection sensing |
JP5320331B2 (ja) * | 2010-03-17 | 2013-10-23 | 日立オートモティブシステムズ株式会社 | 車載用環境認識装置及び車載用環境認識システム |
CN102176285B (zh) * | 2011-02-28 | 2013-05-01 | 江苏怡和科技股份有限公司 | 视频流中的车辆行为模式判定方法 |
CN103517789B (zh) * | 2011-05-12 | 2015-11-25 | 株式会社Ihi | 运动预测控制装置和方法 |
EP2562060B1 (en) * | 2011-08-22 | 2014-10-01 | Honda Research Institute Europe GmbH | A method and system for predicting movement behavior of a target traffic object |
CN104915628B (zh) | 2014-03-14 | 2018-09-25 | 株式会社理光 | 基于车载相机的场景建模进行运动行人预测的方法和装置 |
US9248834B1 (en) * | 2014-10-02 | 2016-02-02 | Google Inc. | Predicting trajectories of objects based on contextual information |
WO2016088171A1 (ja) * | 2014-12-01 | 2016-06-09 | 東京電力ホールディングス株式会社 | 再利用可否判定方法、限度見本表示装置、および限度見本表示方法 |
CN104616498B (zh) * | 2015-02-02 | 2017-01-25 | 同济大学 | 基于马尔可夫链和神经网络的交通拥挤状态组合预测方法 |
JP6435351B2 (ja) * | 2015-02-12 | 2018-12-05 | 株式会社日立製作所 | 自律動作検証装置および自律システム |
US10194059B2 (en) * | 2015-09-25 | 2019-01-29 | Hitach Information & Telecommunication Engineering, Ltd. | Image processing apparatus and image processing method |
CN105468530B (zh) * | 2015-12-22 | 2018-03-20 | 武汉工程大学 | 一种基于有限状态机的程序错误检测方法及系统 |
US9964952B1 (en) * | 2017-02-02 | 2018-05-08 | Uber Technologies, Inc. | Adaptive vehicle motion control system |
CN111247565B (zh) * | 2017-09-06 | 2022-06-03 | 瑞士再保险有限公司 | 用于移动远程信息处理装置的电子日志记录和跟踪检测系统及其对应方法 |
US10156850B1 (en) * | 2017-12-08 | 2018-12-18 | Uber Technologies, Inc. | Object motion prediction and vehicle control systems and methods for autonomous vehicles |
-
2016
- 2016-09-13 US US15/757,248 patent/US10395127B2/en not_active Expired - Fee Related
- 2016-09-13 WO PCT/JP2016/076934 patent/WO2018051399A1/ja active Application Filing
- 2016-09-13 JP JP2017541735A patent/JP6431204B2/ja active Active
- 2016-09-13 EP EP16911784.3A patent/EP3324360A4/en not_active Withdrawn
- 2016-09-13 CN CN201680089158.8A patent/CN109690619A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06133624A (ja) * | 1992-10-27 | 1994-05-17 | Yanmar Agricult Equip Co Ltd | 収穫装置 |
JP2005044352A (ja) | 2003-07-10 | 2005-02-17 | Advanced Telecommunication Research Institute International | 推定装置、推定方法および推定プログラム |
JP2005044224A (ja) * | 2003-07-24 | 2005-02-17 | Denso Corp | 三次元デジタル地図作成装置、三次元デジタル地図表示システムおよび安全運転支援システム |
JP2007072987A (ja) * | 2005-09-09 | 2007-03-22 | Denso Corp | 環境認識装置 |
JP2007299312A (ja) | 2006-05-02 | 2007-11-15 | Toyota Central Res & Dev Lab Inc | 対象物の三次元位置推定装置 |
JP2011044046A (ja) * | 2009-08-21 | 2011-03-03 | National Institute Of Advanced Industrial Science & Technology | 物体認識装置および物体認識方法 |
JP2014063273A (ja) | 2012-09-20 | 2014-04-10 | Denso Corp | 画像処理装置及び車両制御システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3324360A4 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7378285B2 (ja) | 2019-12-11 | 2023-11-13 | Eneos株式会社 | セルフ給油管理システム |
KR20210084287A (ko) * | 2019-12-27 | 2021-07-07 | 모셔널 에이디 엘엘씨 | 자율 주행 차량 운행을 지원하는 대상체 추적 |
KR102543567B1 (ko) * | 2019-12-27 | 2023-06-13 | 모셔널 에이디 엘엘씨 | 자율 주행 차량 운행을 지원하는 대상체 추적 |
Also Published As
Publication number | Publication date |
---|---|
CN109690619A (zh) | 2019-04-26 |
JPWO2018051399A1 (ja) | 2018-09-13 |
EP3324360A1 (en) | 2018-05-23 |
US10395127B2 (en) | 2019-08-27 |
EP3324360A4 (en) | 2019-05-08 |
JP6431204B2 (ja) | 2018-11-28 |
US20190138827A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6431204B2 (ja) | 状態予測装置及び状態予測方法 | |
US9915951B2 (en) | Detection of overhanging objects | |
US10445597B2 (en) | Systems and methods for identification of objects using audio and sensor data | |
US11216000B2 (en) | System and method for estimating lane prediction errors for lane segments | |
CN106030609B (zh) | 用于模仿前车的系统和方法 | |
US10553117B1 (en) | System and method for determining lane occupancy of surrounding vehicles | |
JP7388971B2 (ja) | 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム | |
US11520340B2 (en) | Traffic lane information management method, running control method, and traffic lane information management device | |
US11181918B2 (en) | Moving traffic obstacle detection and avoidance | |
CN108885108B (zh) | 基于操纵难度的u形转弯辅助 | |
US20210389133A1 (en) | Systems and methods for deriving path-prior data using collected trajectories | |
JP2020052695A (ja) | 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム | |
JP7027054B2 (ja) | 情報処理装置、車両、情報処理方法およびプログラム | |
JP6993428B2 (ja) | 教師データ生成装置 | |
JP7115502B2 (ja) | 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置 | |
JP2013242615A (ja) | 運転シーン遷移予測装置および車両用推奨運転操作提示装置 | |
JP2018063476A (ja) | 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム | |
CN111240313A (zh) | 用于操作自动驾驶车辆的基于预定校准表的车辆控制系统 | |
CN112985825B (zh) | 用于确定自动驾驶系统的乘坐稳定性的方法 | |
JP6419260B1 (ja) | 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム | |
JP2021163432A (ja) | 信号灯状態識別装置、信号灯状態識別方法及び信号灯状態識別用コンピュータプログラムならびに制御装置 | |
JP2023116424A (ja) | 歩行者の位置を決定する方法及び装置 | |
US20220053124A1 (en) | System and method for processing information from a rotatable camera | |
CN114333339B (zh) | 深度神经网络功能模块去重复的方法 | |
US20230177844A1 (en) | Apparatus, method, and computer program for identifying state of lighting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
WWE | Wipo information: entry into national phase |
Ref document number: 2017541735 Country of ref document: JP |
|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16911784 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |