JP2024031068A - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

情報処理装置、情報処理方法及び情報処理プログラム Download PDF

Info

Publication number
JP2024031068A
JP2024031068A JP2022134373A JP2022134373A JP2024031068A JP 2024031068 A JP2024031068 A JP 2024031068A JP 2022134373 A JP2022134373 A JP 2022134373A JP 2022134373 A JP2022134373 A JP 2022134373A JP 2024031068 A JP2024031068 A JP 2024031068A
Authority
JP
Japan
Prior art keywords
information
group
moving object
camera
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022134373A
Other languages
English (en)
Inventor
浩治 新
Koji Arata
志強 胡
Zhiqiang Hu
承孝 三國
Yoshitaka Mikuni
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2022134373A priority Critical patent/JP2024031068A/ja
Priority to PCT/JP2023/028325 priority patent/WO2024043024A1/ja
Publication of JP2024031068A publication Critical patent/JP2024031068A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/015Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】交通環境を撮像する複数のカメラの設置関係の推定を支援すること。【解決手段】例えば、情報処理装置200は、第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定する判定部242と、同じ移動体群と判定された第1移動体群の移動態様と第2移動体群の移動態様とに基づいて、第1カメラと第2カメラとの設置関係を識別可能な設置関係情報を出力する出力部243と、を備える。【選択図】図7

Description

本出願は、情報処理装置、情報処理方法及び情報処理プログラムに関する。
道路上、道路の路側等に設置されたカメラは、キャリブレーションを行うことが知られている。特許文献1には、GPS受信機、データ送信機、目印等を搭載した計測車両を用いてキャリブレーションを行うことが開示されている。特許文献2には、カメラのキャリブレーションにおいて、道路平面に存在するラインの方向が撮像画像において入力された場合に、当該方向と道路平面パラメータを含む演算式によって表される方向とに基づいて、道路平面パラメータを推定することが開示されている。
特開2012-10036号公報 特開2017-129942号公報
特許文献1では、計測車両が必要であり、キャリブレーションを行う場合に作業者が必要であった。特許文献2では、道路上の車線を画像に対して手入力する必要があり、作業の手間がかかるという問題がある。このため、複数のカメラを用いる従来のシステムは、人的作業や交通規制を必要とすることなく、交通環境を撮像するカメラの設置状態を推定したいとのニーズがある。
態様の1つに係る情報処理装置は、第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定する判定部と、同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力する出力部と、を備える。
態様の1つに係る情報処理方法は、コンピュータが、第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定することと、同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力することと、を含む。
態様の1つに係る情報処理プログラムは、コンピュータに、第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定させることと、同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力させることと、を実行させる。
図1は、実施形態に係るカメラシステムの一例を説明するための図である。 図2は、図1に示す第1カメラ及び第2カメラが撮像した画像情報を模式的に示す図である。 図3は、移動体群情報のデータ構造の一例を示す図である。 図4は、情報処理装置が出力する設置関係情報の一例を示す図である。 図5は、図1に示すカメラの構成の一例を示す図である。 図6は、実施形態に係る学習装置の構成の一例を示す図である。 図7は、実施形態に係る情報処理装置の構成の一例を示す図である。 図8は、カメラが実行する処理手順の一例を示すフローチャートである。 図9は、情報処理装置が実行する処理手順の一例を示すフローチャートである。 図10は、カメラシステムにおけるカメラ及び情報処理装置の動作の一例を示す図である。 図11は、実施形態に係る情報処理装置の他の構成の一例を示す図である。 図12は、情報処理装置が実行する他の処理手順の一例を示すフローチャートである。
本出願に係る情報処理装置、情報処理方法、情報処理プログラム等を実施するための複数の実施形態を、図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
(システム概要)
図1は、実施形態に係るカメラシステムの一例を説明するための図である。図1に示すように、カメラシステム1は、交通環境1000の近傍に設置された複数のカメラ100を用いて、交通環境1000を監視するシステムを含む。カメラシステム1は、設置するカメラ100の台数を節約するため、カメラ100の撮像領域が重なり合わないように、複数のカメラ100を設置している。また、カメラシステム1は、道路1100の監視に適用される場合、カメラ100が道路1100の移動体を撮像可能なように設置され、撮像した画像には道路1100の周囲の建物が映っていない場合が多い。本実施形態に係るカメラシステム1は、複数のカメラ100の設置関係を把握させる機能を提供する。
カメラシステム1は、複数のカメラ100と、情報処理装置200と、を有する。複数のカメラ100は、交通環境1000を上方から撮像可能なように、交通環境1000の異なる位置に設定されている。交通環境1000は、例えば、一般道路、高速道路、有料道路等を含む。情報処理装置200は、複数のカメラ100の各々から各種情報を取得し、当該情報に基づいて複数のカメラ100の設置関係を推定する機能を有する。複数のカメラ100と情報処理装置200とは、有線、無線又は有線及び無線を任意に組み合わせたネットワークによって通信可能な構成になっている。図1に示す一例では、説明を簡単化するために、カメラシステム1は、2台のカメラ100と1台の情報処理装置200を有する場合について説明するが、カメラ100及び情報処理装置200の台数はこれに限定されない。例えば、カメラシステム1は、同じ道路1100の複数の交差点等に点在する複数のカメラ100を備える構成としてもよい。
カメラ100は、道路1100と当該道路1100を移動する移動体2000とを含む交通環境1000を、撮像可能なように設置されている。道路1100を移動する移動体2000は、例えば、道路1100を移動可能な車両、人物等を含む。移動体2000は、例えば、道路交通法で定められた大型自動車、普通自動車、大型特殊自動車、大型自動二輪車、普通自動二輪車、小型特殊自動車、自転車等を含むが、他の車両、移動体等を含んでもよい。なお、大型自動車は、自動車で車両総重量が8000kg以上のもの、最大積載量が5000kg以上のもの、乗車定員が11人以上のもの(バス、トラックなど)等を含む。カメラ100は、例えば、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像を撮像できる。カメラ100の撮像方向は、交通環境1000の道路平面に向けられた状態で設置されている。カメラ100は、例えば、道路1100、交差点、駐車場、地下道等に設置できる。カメラ100は、動画及び静止画の少なくとも一方を撮影可能としてよい。
図1に示す一例では、道路1100は、移動体2000が移動方向1100Mへ向かって移動可能な車線を有する。移動体2000は、普通車2100と、大型車2200と、二輪車2300と、を有する。普通車2100は、普通自動車を含む。大型車2200は、大型自動車、大型特殊自動車等を含む。二輪車2300は、大型自動二輪、普通自動二輪車等を含む。移動体2000は、移動方向1100Mへ移動することで、位置P1を通過して位置P2へ移動している。
カメラ100は、第1カメラ100Aと、第2カメラ100Bと、を有する。第1カメラ100Aは、道路1100の位置P1と、当該位置P1を移動する移動体2000とを撮像可能なように設置されている。第2カメラ100Bは、道路1100の位置P2と、当該位置P2を移動する移動体2000とを撮像可能なように設置されている。すなわち、カメラ100は、道路1100の移動方向1100Mにおいて、第1カメラ100Aが上流側の位置P1を撮像し、第2カメラ100Bが下流側の位置P2を撮像する。第1カメラ100Aと第2カメラ100Bとは、移動経路上で同一の移動体2000を撮像撮像可能な装置である。
図2は、図1に示す第1カメラ100A及び第2カメラ100Bが撮像した画像情報を模式的に示す図である。図2に示す一例では、画像情報D10は、画像を模式的に示している。なお、以下の説明において、X軸方向は道路1100の道路面と平行な移動体2000の移動方向であり、Y軸方向は道路面に対して高さ方向であり、Z軸方向はX軸方向と直交する方向である。
図2の場面C1では、第1カメラ100Aは、道路1100を移動する普通車2100、大型車2200及び二輪車2300を撮像した画像情報D10を取得する。この場合、第1カメラ100Aは、画像情報D10から普通車2100、大型車2200及び二輪車2300を識別し、普通車2100、大型車2200及び二輪車2300を含む第1移動体群3100を識別する。第1カメラ100Aは、識別結果を示す移動体群情報D30を生成し、当該移動体群情報D30を情報処理装置200に送信する。
なお、本開示の移動体群は、移動体2000が単数の場合も複数の場合も含むとしてよい。また、本開示の移動体群情報D30は、移動体2000の有無、種別、色、移動方向、配置、相対位置、移動体2000のサイズ若しくはスコア等を含む情報を含むとしてよい。本開示の移動体群情報D30の移動体2000の種別には、軽自動車、普通自動車、大型車、警察車両、救急車、消防車、トラック、バス、バイク、自転車等の情報を含むとしてもよい。本開示の移動体群情報D30の移動体2000の種別には、当該移動体2000の製造メーカ若しくは当該移動体2000の車種名又はこれらの組み合わせの情報を含むとしてもよい。本開示の移動体群情報D30の移動体2000の種別には、ハイブリッドカー、電気自動車、自動運転自動車、ミニバン、コンパクトカー、セダン、SUV若しくはスポーツカーまたはこれらの組み合わせの情報を含むとしてもよい。本開示の移動体群情報D30の移動体2000の配置には、複数の走行レーンがある場合の移動体2000の走行レーンの位置若しくは複数の移動体間での走行順序を含むとしてもよい。本開示の移動体群情報D30の移動体2000のサイズは、移動体2000の全長、全幅、全高若しくは総排気量又はこれらの組み合わせの情報を含むとしてもよい。本開示のスコアは、移動体群が利用しやすいかを表現する値としてよい。本開示のスコアは、移動体群に含まれる移動体2000の数、種別の数等が多いほど、移動体群の価値が高くなるように、スコアを設定するとしてもよい。これにより、情報処理装置200は、スコアの低い移動体群を判定に用いないことで、同じ移動体群であるか否かの判定精度を向上させることができる。
例えば、カメラ100は、識別した第1移動体群3100に含まれる移動体2000の種別、色、移動方向、配置、相対位置若しくはスコア又はこれらの任意の組み合わせの情報を識別するとしてよい。種別は、移動体群に含まれる移動体2000ごとの種別を含む。色は、移動体群に含まれる移動体2000ごとの色情報を含む。移動方向は、移動体群に含まれる移動体2000の移動方向である。配置は、移動体群における移動体2000の配置(走行順序)を含む。相対位置は、移動体群における重心からの位置を含む。スコアは、移動体群や移動体群に含まれる移動体2000ごとの重要度、着目度等を含む。
カメラ100は、学習装置300が機械学習した物体推定モデルM1を用いて、画像情報D10を撮像された物体を推定できる。カメラ100は、画像情報D10を物体推定モデルM1に入力し、物体推定モデルM1の出力を撮像された物体と推定できる。
図1に示すように、学習装置300は、例えば、コンピュータ、サーバ装置等である。学習装置300は、カメラシステム1の構成に含まれてもよいし、含まれなくてもよい。学習装置300は、移動体2000を含む交通環境1000を撮像した画像情報D10と、移動体2000の正解値情報とを有する複数の第1教師情報を取得する。正解値情報は、例えば、移動体2000の画像、種別、色若しくは移動方向(向き)又はこれらの任意の組み合わせの情報を含むとしてよい。
学習装置300は、複数の第1教師情報を用いた機械学習で、入力された画像情報D10が示す移動体2000を推定する物体推定モデルM1を生成する。教師ありの機械学習は、例えば、ニューラルネットワーク、線形回帰、ロジスティック回帰等のアルゴリズムを用いることができる。物体推定モデルM1は、入力された画像情報D10の移動体2000を推定するように、複数の教師情報の画像と正解値情報とを機械学習したモデルである。物体推定モデルM1は、画像情報D10が入力されると、画像情報D10が示す移動体2000の種別、色、移動方向等を推定した推定結果を出力する。学習装置300は、生成した物体推定モデルM1をカメラ100に提供することで、カメラ100による物体認識を可能にしている。
学習装置300は、複数の教師情報を用いた機械学習で、入力された複数の移動体群情報D30が同じ移動体群であるか否かを判定する判定モデルM2を生成する。判定モデルM2は、入力された複数の移動体群情報D30が同じ移動体群であるか否かを判定するように、複数の教師情報としての移動体群情報D30と正解値情報とを機械学習したモデルである。判定モデルM2は、複数の移動体群情報D30が入力されると、複数の移動体群が同じ移動体群であるか否かの判定結果を出力する。学習装置300は、生成した判定モデルM2を情報処理装置200に提供することで、判定モデルM2の出力に基づく判定を可能にしている。なお、学習装置300の一例については、後述する。
図3は、移動体群情報D30のデータ構造の一例を示す図である。図3に示すように、移動体群情報D30は、種別、色、移動方向、配置、相対位置、スコア等の各種情報を含む。移動体群情報D30の種別は、同一種別の移動体2000の大小、大中小等のサイズを含む。本実施形態では、カメラ100は、識別結果に基づいて移動体群情報D30を生成して情報処理装置200に送信する場合について説明するが、これに限定されない。例えば、カメラシステム1は、移動体群情報D30を生成する機能を、情報処理装置200で実現してもよい。
図2に示すように、第1カメラ100Aは、場面C1に示す画像情報D10を撮像すると、認識プログラム、機械学習等を用いて、画像情報D10から普通車2100、大型車2200及び二輪車2300の種別、色、移動方向等を識別する。第1カメラ100Aは、識別した複数の移動体2000を含む第1移動体群3100を識別し、第1移動体群3100の第1移動方向3100Mと、第1移動体群3100における移動体2000の配置、相対位置及びスコアとを識別する。第1移動方向3100Mは、第1移動体群3100の原点3000Sからのベクトルで表している。第1カメラ100Aは、識別結果に基づいて、第1カメラ100Aの移動体群情報D30を生成する。第1カメラ100Aは、生成した移動体群情報D30を情報処理装置200に送信する。
例えば、第1カメラ100Aは、第1移動体群3100と、第1移動体群3100の第1移動方向3100Mと交わる方向に移動可能な移動体2400を撮像可能な交通環境1000を撮像できる。この場合、第1カメラ100Aは、第1移動体群3100の第1移動方向3100Mと交わる方向に移動可能な移動体2400の移動体群を識別することができる。すなわち、第1カメラ100Aは、異なる方向へ移動する移動体群を識別することができる。なお、以下の説明において、第1移動体群3100及び第2移動体群3200を区別して説明する必要がない場合には、単に移動体群3000と表す。
その後、道路1100の位置P1を通過した普通車2100、大型車2200及び二輪車2300は、道路1100の位置P2へ移動する。普通車2100、大型車2200及び二輪車2300が道路1100の位置P2に到達すると、第2カメラ100Bは、場面C2に示す画像情報D10を撮像する。第2カメラ100Bは、認識プログラム、機械学習等を用いて、画像情報D10から普通車2100、大型車2200及び二輪車2300の種別、色、移動方向等を識別する。第2カメラ100Bは、識別した複数の移動体2000を含む第2移動体群3200を識別し、第2移動体群3200の第2移動方向3200Mと、第2移動体群3200における移動体2000の配置、相対位置及びスコアとを識別する。第2移動方向3200Mは、第2移動体群3200の原点3000Sからのベクトルで表している。第2カメラ100Bは、識別結果に基づいて、第2カメラ100Bの移動体群情報D30を生成する。第2カメラ100Bは、生成した移動体群情報D30を情報処理装置200に送信する。
一般的に、複数の移動体2000が道路1100を移動する場合、厳密には一致せずとも、大まかには配置、走行順序が変わらないことが多い。このことに着目し、情報処理装置200は、第1カメラ100A及び第2カメラ100Bから移動体群情報D30を受信すると、第1カメラ100Aが撮像した第1移動体群3100と第2カメラ100Bが撮像した第2移動体群3200とが同じ移動体群3000であるか否かを判定する。情報処理装置200は、2つの移動体群情報D30が示す複数の移動体2000の種類、色、配置若しくは位置又はこれらの任意の組み合わせの情報の一致度が判定閾値を超えている場合、同じ移動体群であると判定できる。例えば、学習装置が複数の移動体群情報D30と正解情報とを機械学習した判定モデルを用いて、同じ移動体群3000であるか否かを判定できる。
情報処理装置200は、同じ移動体群3000と判定された第1移動体群3100の移動態様と第2移動体群3200の移動態様とに基づいて、第1カメラ100Aと第2カメラ100Bとの設置関係を識別可能な設置関係情報を出力する。情報処理装置200は、例えば、複数のカメラ100の相互関係を推定し、複数のカメラ100の相対角度、相対位置等を識別可能な設置関係情報を出力する。本実施形態では、情報処理装置200は、第1カメラ100A及び第2カメラ100Bが撮像した移動体2000の群としての見え方を、複数のカメラ100間で判定することで、複数のカメラ100間の相互関係を推定する。本開示の移動態様には、移動の速度、方向、位置、走行レーン、他の移動体との相対距離、他の移動体との相対速度若しくは他の移動体との相対位置又はこれらの任意の組み合わせを含むことができる。
図4は、情報処理装置200が出力する設置関係情報D100の一例を示す図である。図4に示すように、情報処理装置200は、画像情報D10、交通環境1000等の情報に基づいて生成した設置関係情報D100を出力する。本実施形態では、設置関係情報D100は、推定した相対角度と相対位置を識別可能な情報になっている。設置関係情報D100は、同じ道路1100の同一の移動方向1100Mを基準として、複数のカメラ100の原点D101と、X軸D102と、Z軸D103と、を有する。原点D101は、カメラ100ごとの道路1100の道路面の軸を示している。X軸D102は、原点D101に対するX軸方向を示している。Z軸D103は、原点D101に対するZ軸方向を示し、X軸D102と直交している。
図4に示す一例では、設置関係情報D100は、第1カメラ100Aと第2カメラ100Bに対応した原点D101とX軸D102とZ軸D103とを有している。設置関係情報D100は、第1カメラ100Aの原点D101に対する第2カメラ100Bの原点D101の相対角度を示しており、第2カメラ100Bの原点D101が130度回転している。設置関係情報D100は、第1カメラ100Aの原点D101に対する第2カメラ100Bの原点D101の相対位置を示しており、第2カメラ100Bの原点D101がX軸方向に45m、Z軸方向に8m離れている。これにより、情報処理装置200は、設置関係情報D100を出力することで、設置された複数のカメラ100の間の相互関係等を認識させることができる。なお、本実施形態では、設置関係情報D100は、2つのカメラ100の設置に関する相互関係を示しているが、2カ所以上のカメラ100の相互関係を示す情報としてもよい。本開示の設置関係情報D100は、複数のカメラ100の間の距離、複数のカメラ100の相対的な撮像方向、若しくは複数のカメラ100の地面からの設置高さ又はこれらの任意の組み合わせを含むことができる。
(カメラの構成例)
図5は、図1に示すカメラ100の構成の一例を示す図である。図5に示すように、複数のカメラ100の各々は、撮像部110と、センサ部120と、通信部130と、記憶部140と、制御部150と、を備える。制御部150は、撮像部110、センサ部120、通信部130、記憶部140等と電気的に接続されている。
なお、本実施形態では、カメラ100が撮像部110、センサ部120、通信部130、記憶部140及び制御部150を備える構成について説明するがこれに限定されない。例えば、カメラ100は、撮像部110、通信部130、記憶部140及び制御部150を備える構成としてもよい。
撮像部110は、道路1100と当該道路1100を移動する移動体2000とを含む交通環境1000を撮像可能なように設置されている。撮像部110は、例えば、CCD(Charge Coupled Device Image Sensor)、CMOS(Complementary Metal Oxide Semiconductor)等のイメージセンサを用いて電子的に画像情報D10を撮像できる。撮像部110は、交通環境1000を所定のフレームレートでリアルタイムに撮像し、撮像した画像情報D10を制御部150に供給できる。
センサ部120は、カメラ100の状態を識別可能なセンサ情報を検出する。センサ部120は、例えば、位置センサ、ジャイロセンサ等の各種センサを用いることができる。位置センサとしては、GPS(Global Positioning System)受信機等の絶対座標の位置を取得するセンサ等が例示される。センサ部120は、カメラ100の設置位置、設置角度等を含むセンサ情報を制御部150に供給できる。これにより、制御部150は、センサ情報に基づいてカメラ100の自己位置、設置状態等の情報を取得できる。
通信部130は、例えば、情報処理装置200、他の通信機器等と通信できる。通信部130は、各種通信規格をサポートできる。通信部130は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部130は、受信したデータを制御部150に供給できる。通信部130は、制御部150が指示した送信先にデータを送信できる。
記憶部140は、プログラム及び各種情報(データ)を記憶できる。記憶部140は、制御部150の処理結果を一時的に記憶する作業領域としても利用される。記憶部140は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的(non-transitory)な記憶媒体を含んでよい。記憶部140は、複数の種類の記憶媒体を含んでよい。記憶部140は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部140は、RAM(Random Access Memory)等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部140は、例えば、プログラム141、画像情報D10、移動体群情報D30、設置状態情報D40、物体推定モデルM1、状態推定モデルM10等の各種情報を記憶できる。プログラム141は、カメラ100の各種動作に関する処理を実現するための機能を制御部150に実行させるプログラムである。画像情報D10は、撮像部110で撮像した画像を示す情報を含む。移動体群情報D30は、撮像部110が撮像した画像情報D10から識別した移動体群3000を示す情報を含む。設置状態情報D40は、カメラ100の設置状態、設置位置等を識別可能な情報を含む。物体推定モデルM1は、学習装置300が提供した機械学習モデルであり、入力された画像情報D10の移動体2000の推定に用いられる。状態推定モデルM10は、入力された画像情報D10を撮像したカメラ100の設置状態パラメータを推定するように機械学習した機械学習モデルである。状態推定モデルM10は、画像情報D10を撮像したカメラ100の設置状態パラメータの推定に用いられる。
制御部150は、演算処理装置である。演算処理装置は、例えば、CPU(Central Processing Unit)、SoC(System-on-a-Chip)、MCU(Micro Control Unit)、FPGA(Field-Programmable Gate Array)、及びコプロセッサを含むが、これらに限定されない。制御部150は、カメラ100の動作を統括的に制御して各種の機能を実現できる。
具体的には、制御部150は、記憶部140に記憶されている情報を必要に応じて参照しつつ、記憶部140に記憶されているプログラム141に含まれる命令を実行できる。そして、制御部150は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、センサ部120及び通信部130を含むが、これらに限定されない。
制御部150は、画像認識部151、識別部152、推定部153、送信部154等の機能部を有する。制御部150は、プログラム141を実行することによって、画像認識部151、識別部152、推定部153、送信部154等の機能部を実現する。プログラム141は、カメラ100の制御部150を、画像認識部151、識別部152、推定部153及び送信部154として機能させるためのプログラムである。
画像認識部151は、撮像部110が撮像した画像情報D10が示す画像から、移動体2000を認識する。画像認識部151は、例えば、移動体2000の認識を学習済みの機械学習モデル、画像認識プログラム等を用いて、画像における移動体2000の有無、種別、色、移動方向、配置、相対位置、スコア等を認識する機能を有する。
識別部152は、画像認識部151の認識結果に基づいて、撮像部110が撮像した画像から少なくとも1以上の移動体2000を含む移動体群3000を識別する。識別部152は、画像における移動体2000の有無、種別、色、移動方向、配置、相対位置、スコア等に基づいて移動体群3000を識別し、移動体群3000の移動方向、移動体群3000の原点(中心)等を識別する。識別部152は、識別した移動体群3000を識別可能な移動体群情報D30を生成して記憶部140に記憶する。
推定部153は、学習装置300が生成した状態推定モデルM10で、入力した画像情報D10を撮像したカメラ100の設置状態パラメータを推定する機能を提供できる。設置状態パラメータは、例えば、カメラ100の設置角度、設置位置等を含む。設置状態パラメータは、例えば、カメラ100の画素数、画像のサイズ等を含んでもよい。推定部153は、画像情報D10を状態推定モデルM10に入力し、状態推定モデルM10の出力に基づいてカメラ100の設置状態パラメータを推定できる。推定部153は、推定した設置状態パラメータに基づいて、カメラ100の設置角度、設置位置等を示す設置状態情報D40を生成して記憶部140に記憶する。
送信部154は、通信部130を介して、各種情報を情報処理装置200に送信する機能を提供できる。送信部154は、通信部130を介して、画像情報D10、移動体群情報D30、設置状態情報D40等を情報処理装置200に送信する。送信部154は、カメラ100の設置時、メンテナンス時等に、移動体群情報D30及び設置状態情報D40を情報処理装置200に送信するように、通信部130を制御する。
以上、本実施形態に係るカメラ100の機能構成例について説明した。なお、図5を用いて説明した上記の構成はあくまで一例であり、本実施形態に係るカメラ100の機能構成は係る例に限定されない。本実施形態に係るカメラ100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
(学習装置の構成例)
図6は、実施形態に係る学習装置300の構成の一例を示す図である。図6に示すように、学習装置300は、表示部310と、操作部320と、通信部330と、記憶部340と、制御部350と、を備える。制御部350は、表示部310、操作部320、通信部330、記憶部340等と電気的に接続されている。本実施形態では、学習装置300は、ニューラルネットワークのひとつであるCNN(Convolutional Neural Network)を用いて機械学習を実行する一例について説明する。CNNは、公知であるように、入力層と、中間層と、出力層と、を有する。
表示部310は、制御部350の制御によって各種情報を表示可能なように構成されている。表示部310は、例えば、液晶ディスプレイ、有機ELディスプレイ等の表示パネルを有する。表示部310は、制御部350から入力される信号に応じて、文字、図形、画像等の情報を表示する。
操作部320は、ユーザの操作を受け付けるための1ないし複数のデバイスを有する。ユーザの操作を受け付けるためのデバイスは、例えば、キー、ボタン、タッチスクリーン、マウス等を含む。操作部320は、受け付けた操作に応じた信号を制御部350へ供給できる。
通信部330は、例えば、カメラ100、情報処理装置200、他の通信機器等と通信できる。通信部330は、各種通信規格をサポートできる。通信部330は、例えば、有線又は無線ネットワーク等を介して各種データを送受信できる。通信部330は、受信したデータを制御部350に供給できる。通信部330は、制御部350が指示した送信先にデータを送信できる。
記憶部340は、プログラム及び各種情報を記憶できる。記憶部340は、制御部350の処理結果を一時的に記憶する作業領域としても利用される。記憶部340は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部340は、複数の種類の記憶媒体を含んでよい。記憶部340は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部340は、RAM等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部340は、例えば、プログラム341、教師情報342、物体推定モデルM1、判定モデルM2、状態推定モデルM10、設置関係推定モデルM20等の各種情報を記憶できる。プログラム341は、CNNを用いて、画像情報D10が示す物体を推定する物体推定モデルM1を生成する機能を制御部350に実行させる。プログラム341は、CNNを用いて、複数の移動体群情報D30が同じ移動体群3000であるか否かを判定する判定モデルM2を生成する機能を制御部350に実行させる。プログラム341は、CNNを用いて、画像情報D10を撮像したカメラ100の設置状態パラメータを推定する状態推定モデルM10を生成する機能を制御部350に実行させる。プログラム341は、CNNを用いて、複数のカメラ100の設置関係を推定する設置関係推定モデルM20を生成する機能を制御部350に実行させる。
教師情報342は、機械学習に用いる学習情報、訓練情報等を含む。教師情報342は、物体推定の機械学習に用いる画像情報D10と、該画像情報D10に関連付けられた正解値情報D21とを組み合わせた情報を有する。画像情報D10は、教師あり学習の入力情報である。例えば、画像情報D10は、移動体2000を含む交通環境1000を撮像したカラーの画像を示している。正解値情報D21は、教師あり機械学習の正解情報である。正解値情報D21は、例えば、移動体2000の画像、種別、色、移動方向(向き)等の情報を含む。
教師情報342は、移動体群3000の判定の機械学習に用いる移動体群情報D30と、移動体群情報D30が同じ移動体群3000であるか否かを機械学習するための正解値情報D22とを組み合わせた情報を有する。例えば、正解値情報D22は、同じ移動体群3000であると判定する複数の移動体群情報D30を有する。正解値情報D22は、同じ移動体群3000であると判定するための移動体群3000の画像、配置、移動方向等の情報を含む。
教師情報342は、状態推定の機械学習に用いる画像情報D10と、該画像情報D10に関連付けられた正解値情報D23とを組み合わせたデータを有する。画像情報D10は、教師あり学習の入力情報である。例えば、画像情報D10は、移動体2000を含む交通環境1000を撮像したカラーの画像を示し、画素数が1280×960である。正解値情報D23は、画像情報D10を撮像したカメラ100の設置状態パラメータを示す情報を有する。正解値情報D23は、教師あり機械学習の正解情報である。正解値情報D23は、例えば、カメラ100の設置角度(α,β,γ)及び設置位置(x,y,z)の6つのパラメータ(値)を示すデータを有する。
教師情報342は、複数のカメラ100の設置関係を推定する機械学習に用いる移動体群情報D30及び設置状態情報D40と、移動体群情報D30及び設置状態情報D40から設置関係を推定するための正解値情報D24とを組み合わせた情報を有する。例えば、正解値情報D24は、複数の移動体群情報D30の移動方向と複数のカメラ100の設置状態情報D40が示す設置状態等との関係に基づいて上記の設置関係情報D100を推定するための情報を含む。
物体推定モデルM1は、教師情報342が有する画像情報D10及び正解値情報D21を用いて、画像情報D10が示す移動体2000の特徴、規則性、パターン等を抽出し、正解値情報D21との関係を機械学習することで生成された学習モデルである。物体推定モデルM1は、画像情報D10が入力されると、当該画像情報D10が示す移動体2000の特徴等と類似する教師情報342を予測し、画像情報D10が示す物体の位置、向き、速度及び車種を推定し、推定結果を出力する。
判定モデルM2は、教師情報342が有する複数の移動体群情報D30及び正解値情報D22を用いて、移動体群情報D30が示す移動体群3000の特徴、規則性、パターン等を抽出し、複数の移動体群3000が同じ移動体群3000であるか否かの関係を機械学習することで生成された学習モデルである。判定モデルM2は、複数の移動体群情報D30が入力されると、複数の移動体群情報D30が示す複数の移動体群3000が同じ移動体群3000であるか否かを判定し、判定結果を出力する。判定モデルM2は、移動体群3000の移動体2000の種別情報、配置情報及び色情報の少なくとも一方に基づいて、複数の移動体群情報D30が示す複数の移動体群3000が同じ移動体群3000であるか否かを判定できる。
判定モデルM2は、第1移動体群3100の大きさに対する個々の移動体2000の相対的な第1サイズに基づいて第1移動体群3100の中の移動体2000の種別情報を判定し、第2移動体群3200の大きさに対する個々の移動体2000の相対的な第2サイズに基づいて第2移動体群の中の移動体2000の種別情報を判定できる。判定モデルM2は、第1移動体群3100の重心を原点とした個々の移動体2000の第1相対位置と、第2移動体群3200の重心を原点とした個々の移動体2000の第2相対位置とに基づいて、第1移動体群3100と第2移動体群3200とが同じ移動体群であるか否かを判定できる。判定モデルM2は、第1移動体群3100及び第2移動体群3200のスコアが判定条件を満たす場合に、第1移動体群3100と第2移動体群3200とが同じ移動体群であるか否かを判定できる。
状態推定モデルM10は、教師情報342が有する画像情報D10及び正解値情報D23を用いて、画像情報D10の特徴、規則性、パターン等を抽出し、正解値情報D23との関係を機械学習することで生成された学習モデルである。状態推定モデルM10は、画像情報D10が入力されると、該画像情報D10の特徴等と類似する教師情報342を予測し、当該正解値情報D23に基づいて、画像情報D10を撮像したカメラ100の設置状態パラメータを推定し、推定結果を出力する。
設置関係推定モデルM20は、教師情報342が有する移動体群情報D30、設置状態情報D40及び正解値情報D24を用いて、複数のカメラ100による移動体群3000の見え方(撮像状態)に基づく複数のカメラ100設置関係を機械学習することで生成された学習モデルである。設置関係推定モデルM20は、複数の移動体群情報D30及び設置状態情報D40が入力されると、複数のカメラ100による移動体群3000の見え方等と類似する教師情報342を予測し、当該正解値情報D24に基づいて複数のカメラ100の設置関係を推定し、推定結果を出力する。
制御部350は、演算処理装置である。演算処理装置は、例えば、CPU、SoC、MCU、FPGA、及びコプロセッサを含むが、これらに限定されない。制御部350は、学習装置300の動作を統括的に制御して各種の機能を実現できる。
具体的には、制御部350は、記憶部340に記憶されている情報を必要に応じて参照しつつ、記憶部340に記憶されているプログラム341に含まれる命令を実行できる。そして、制御部350は、データ及び命令に応じて機能部を制御し、それによって各種機能を実現できる。機能部は、例えば、表示部310及び通信部330を含むが、これらに限定されない。
制御部350は、第1取得部351、第1機械学習部352、第2取得部353、第2機械学習部354、第3取得部355、第3機械学習部356、第4取得部357、第4機械学習部358等の機能部を有する。制御部350は、プログラム341を実行することによって、第1取得部351、第1機械学習部352、第2取得部353、第2機械学習部354、第3取得部355、第3機械学習部356、第4取得部357、第4機械学習部358等の機能を実現する。プログラム341は、学習装置300の制御部350を、第1取得部351、第1機械学習部352、第2取得部353、第2機械学習部354、第3取得部355、第3機械学習部356、第4取得部357及び第4機械学習部358として機能させるためのプログラムである。
第1取得部351は、移動体2000を含む交通環境1000を撮像した画像情報D10と正解値情報D21とを教師情報342として取得する。第1取得部351は、予め設定された格納先、操作部320で選択された格納先等から画像情報D10及び正解値情報D21を取得して記憶部340の教師情報342に関連付けて記憶する。第1取得部351は、機械学習に用いる複数の画像情報D10及び正解値情報D21を取得する。
第1機械学習部352は、第1取得部351が取得した複数の教師情報342を用いた機械学習で、入力された画像情報D10が示す移動体2000を推定する物体推定モデルM1を生成する。第1機械学習部352は、例えば、教師情報342に基づいてCNNを構築する。CNNは、画像情報D10を入力とし、画像情報D10に対する推定結果を出力するようにネットワークが構築される。推定結果は、画像情報D10が示す移動体2000(物体)の位置、向き、速度及び車種等の情報を有する。
第2取得部353は、複数の移動体群情報D30と正解値情報D22とを教師情報342として取得する。第2取得部353は、予め設定された格納先、操作部320で選択された格納先等から移動体群情報D30及び正解値情報D22を取得して記憶部340の教師情報342に関連付けて記憶する。第2取得部353は、機械学習に用いる複数の移動体群情報D30及び正解値情報D22を取得する。
第2機械学習部354は、第2取得部353が取得した複数の教師情報342を用いた機械学習で、入力された複数の移動体群情報D30が示す複数の移動体群3000が同じ移動体群3000であるか否かを判定する判定モデルM2を生成する。第2機械学習部354は、例えば、教師情報342に基づいてCNNを構築する。CNNは、複数の移動体群情報D30を入力とし、入力された複数の移動体群情報D30が示す複数の移動体群3000が同じ移動体群3000であるか否かの判定結果を出力するように、ネットワークが構築される。
例えば、判定モデルM2は、複数の移動体群3000の移動方向同士を比較し、比較結果と正解値とに基づいて複数の移動体群3000が同じ移動体群3000であるか否かを判定するように、機械学習されている。例えば、判定モデルM2は、移動体群3000に含まれる複数の移動体2000の種別情報の組み合わせを比較し、比較結果と正解値とに基づいて複数の移動体群3000が同じ移動体群3000であるか否かを判定するように、機械学習されている。例えば、判定モデルM2は、移動体群3000に含まれる複数の移動体2000の種別、色、配置、及び、移動体群3000の原点3000Sを中心とする相対位置の組み合わせを比較し、比較結果と正解値とに基づいて複数の移動体群3000が同じ移動体群3000であるか否かを判定するように、機械学習されている。
第3取得部355は、移動体2000を含む交通環境1000を撮像した画像情報D10と該画像情報D10を撮像したカメラ100の設置状態パラメータの正解値情報D23とを教師情報342として取得する。第3取得部355は、予め設定された格納先、操作部320で選択された格納先等から画像情報D10及び正解値情報D23を取得して記憶部340の教師情報342に関連付けて記憶する。第3取得部355は、機械学習に用いる複数の画像情報D10及び正解値情報D23を取得する。
第3機械学習部356は、第3取得部355が取得した複数の教師情報342を用いた機械学習で、入力された画像情報D10を撮像したカメラ100の設置状態パラメータを推定する状態推定モデルM10を生成する。第3機械学習部356は、例えば、教師情報342に基づいてCNNを構築する。CNNは、画像情報D10を入力とし、画像情報D10に対する識別結果を出力するようにネットワークが構築される。識別結果は、画像情報D10を撮像したカメラ100の設置状態パラメータを推定するための情報を有する。
第4取得部357は、移動体群情報D30と、当該移動体群情報D30に関連付けられた設置状態情報D40と、それらの情報に対応した複数のカメラ100の設置関係を示す正解値情報D24とを教師情報342として取得する。第4取得部357は、予め設定された格納先、操作部320で選択された格納先等から移動体群情報D30、設置状態情報D40及び正解値情報D24を取得して記憶部340の教師情報342に関連付けて記憶する。第4取得部357は、機械学習に用いる複数の移動体群情報D30、設置状態情報D40及び正解値情報D24を取得する。
第4機械学習部358は、第4取得部357が取得した複数の教師情報342を用いた機械学習で、入力された移動体群情報D30及び設置状態情報D40に対応した複数のカメラ100の設置関係を推定する設置関係推定モデルM20を生成する。第4機械学習部358は、例えば、教師情報342に基づいてCNNを構築する。CNNは、複数の移動体群情報D30及び設置状態情報D40を入力とし、複数のカメラ100の設置関係を推定するようにネットワークが構築される。すなわち、第4機械学習部358は、複数のカメラ100に映る移動体群3000の見え方に基づいて複数のカメラの設置関係を推定する設置関係推定モデルM20を生成する。
以上、本実施形態に係る学習装置300の機能構成例について説明した。なお、図6を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る学習装置300の機能構成は係る例に限定されない。本実施形態に係る学習装置300の機能構成は、仕様や運用に応じて柔軟に変形可能である。
本実施形態では、学習装置300は、物体推定モデルM1、判定モデルM2、状態推定モデルM10及び設置関係推定モデルM20を生成する場合について説明するが、これに限定されない。学習装置300は、物体推定モデルM1、判定モデルM2、状態推定モデルM10及び設置関係推定モデルM20を個別に生成する複数の装置で実現してもよい。
(情報処理装置の構成例)
図7は、実施形態に係る情報処理装置200の構成の一例を示す図である。図7に示すように、情報処理装置200は、入力部210と、通信部220と、記憶部230と、制御部240と、を備える。制御部240は、入力部210、通信部220、記憶部230等と電気的に接続されている。以下の説明では、情報処理装置200は、外部の電子機器で結果を出力させる場合について説明するが、表示装置等の出力装置を構成に備えてもよい。
入力部210は、カメラ100が撮像した画像情報D10が入力される。入力部210は、例えば、ケーブルを介してカメラ100と電気的に接続可能なコネクタを有する。入力部210は、カメラ100から入力された画像情報D10を制御部240に供給する。
通信部220は、例えば、カメラ100、学習装置300、カメラ100を管理する管理装置等と通信できる。通信部220は、各種通信規格をサポートできる。通信部220は、例えば、有線又は無線ネットワーク等を介して各種情報を送受信できる。通信部220は、受信した情報を制御部240に供給できる。通信部220は、制御部240が指示した送信先に情報を送信できる。
記憶部230は、プログラム及び情報を記憶できる。記憶部230は、制御部240の処理結果を一時的に記憶する作業領域としても利用される。記憶部230は、半導体記憶媒体、及び磁気記憶媒体等の任意の非一過的な記憶媒体を含んでよい。記憶部230は、複数の種類の記憶媒体を含んでよい。記憶部230は、メモリカード、光ディスク、又は光磁気ディスク等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。記憶部230は、RAM等の一時的な記憶領域として利用される記憶デバイスを含んでよい。
記憶部230は、例えば、プログラム231、設定情報232、画像情報D10、移動体群情報D30、設置状態情報D40、設置関係情報D100、判定モデルM2、設置関係推定モデルM20等を記憶できる。プログラム231は、情報処理装置200を稼働させるための各種制御に関する機能を制御部240に実行させる。設定情報232は、情報処理装置200の動作に関する各種の設定、管理対象のカメラ100の設置状態に関する設定等の各種情報を含む。記憶部230は、複数の画像情報D10及び移動体群情報D30を関連付けて時系列の順序で記憶できる。記憶部230は、複数のカメラ100の各々に対応した設置状態情報D40と設置関係情報D100とを関連付けて記憶できる。判定モデルM2は、学習装置300が生成した機械学習モデルである。設置関係推定モデルM20は、学習装置300が生成した機械学習モデルである。
制御部240は、演算処理装置である。演算処理装置は、例えば、CPU、SoC、MCU、FPGA及びコプロセッサを含むが、これらに限定されない。制御部240は、情報処理装置200の動作を統括的に制御して各種の機能を実現する。
具体的には、制御部240は、記憶部230に記憶されている情報を必要に応じて参照しつつ、記憶部230に記憶されているプログラム231に含まれる命令を実行する。そして、制御部240は、情報及び命令に応じて機能部を制御し、それによって各種機能を実現する。機能部は、例えば、入力部210及び通信部220を含むが、これらに限定されない。
制御部240は、取得部241、判定部242、出力部243等の機能部を有する。制御部240は、プログラム231を実行することによって、取得部241、判定部242、出力部243等の機能部を実現する。プログラム231は、情報処理装置200の制御部240を、取得部241、判定部242及び出力部243として機能させるためのプログラムである。
取得部241は、通信部220を介して、複数のカメラ100から画像情報D10及び移動体群情報D30を取得する。例えば、取得部241は、第1カメラ100Aから第1移動体群情報として移動体群情報D30を取得し、第2カメラ100Bから第2移動体群情報として移動体群情報D30を取得する。取得部241は、同日の同一時間帯に、第1カメラ100Aから取得した移動体群情報D30と第2カメラ100Bから取得した移動体群情報D30を関連付けて記憶部230に記憶する。
判定部242は、第1カメラ100Aが撮像した画像から識別した第1移動体群3100と第2カメラ100Bが撮像した画像から識別した第2移動体群3200とが同じ移動体群3000であるか否かを判定する。判定部242は、複数の移動体群3000に含まれる移動体2000の種別、色、移動方向、配置、相対位置、スコア等の情報を用いて、同じ移動体群3000であるか否かを判定する。本実施形態では、判定部142は、機械学習済みの判定モデルM2を用いて判定を行う、判定部242は、判定モデルM2に複数の移動体群情報D30を入力し、判定モデルM2の出力を判定結果とする。なお、判定部242は、判定モデルM2の判定結果が信頼度を含む場合、信頼度が高いと、同じ移動体群3000であるか否かの判定を有効とし、信頼度が低いと、同じ移動体群3000であるか否かの判定を無効としてもよい。
出力部243は、同じ移動体群3000と判定された第1移動体群3100の移動態様と第2移動体群3200の移動態様とに基づいて、第1カメラ100Aと第2カメラ100Bとの設置関係を識別可能な設置関係情報D100を出力する。出力部243の出力は、例えば、設置関係情報D100を生成し、当該設置関係情報D100を外部の電子機器、出力装置等に出力させることを含む。出力部243は、第1移動体群3100の第1移動方向3100Mと第2移動体群3200の第2移動方向3200Mとに基づいて、第1カメラ100Aと第2カメラ100Bの設置関係を識別可能な設置関係情報D100を出力する。本実施形態では、出力部243は、機械学習済みの設置関係推定モデルM20を用いて設置関係の推定を行う。出力部243は、設置関係推定モデルM20に複数の移動体群情報D30及び設置状態情報D40を入力し、設置関係推定モデルM20の出力を推定結果とする。
出力部143は、第1移動体群3100の時系列の情報と、第2移動体群3200の時系列の情報と、に基づいて統計的な設置関係情報D100を出力する。例えば、出力部243は、相異なる複数の第1移動体群3100と第2移動体群3200との組み合わせごとに対して、第1カメラ100Aと第2カメラ100Bの設置関係の推定結果を統計的に示す設置関係情報D100を出力する。出力部243は、第1カメラ100Aと第2カメラ100Bとの相互関係を識別可能な設置関係情報D100を出力する(例えば図4参照)。
出力部243は、第1移動体群3100及び第2移動体群3200のスコアを識別可能な設置関係情報D100を出力する。出力部243は、移動体群3000に含まれる移動体2000の数または種別情報の数が多いほど高くなるスコアを識別可能な設置関係情報D100を出力する。出力部243は、移動体群情報D30に基づいて移動体群3000に含まれる移動体2000の数、種別情報の数を認識し、認識した数に応じたスコアを示す情報を設置関係情報D100に付加する。
出力部243は、判定部242が判定した移動体群3000の数が規定数以上になったら出力の動作を終了する。これにより、情報処理装置200は、判定した移動体群3000の数を終了条件とすることで、設置関係の推定を適宜終了させることができる。
以上、本実施形態に係る情報処理装置200の機能構成例について説明した。なお、図7を用いて説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理装置200の機能構成は係る例に限定されない。本実施形態に係る情報処理装置200の機能構成は、仕様や運用に応じて柔軟に変形可能である。
(カメラの処理手順例)
図8は、カメラ100が実行する処理手順の一例を示すフローチャートである。図8に示す処理手順は、カメラ100の制御部150がプログラム141を実行することによって実現される。
図8に示すように、カメラ100の制御部150は、カメラ100の設置状態を推定する(ステップS100)。例えば、制御部150は、学習装置300が生成した機械学習済みの設置関係推定モデルM20で、入力した画像情報D10を撮像したカメラ100の設置状態パラメータを推定する。制御部150は、設置関係推定モデルM20で推定した設置状態パラメータ、センサ部120で検出した位置情報等に基づいて、設置状態情報D40を生成し、記憶部140に記憶する。制御部150は、ステップS100の処理が終了すると、処理をステップS101に進める。
制御部150は、撮像部110で撮像した画像情報D10の移動体2000を識別する(ステップS101)。例えば、制御部150は、画像情報D10を物体推定モデルM1に入力し、物体推定モデルM1の出力に基づいて画像情報D10が示す移動体2000を識別する。識別結果は、例えば、移動体2000の種別、色、移動方向(向き)、画像における配置等の情報を含む。制御部150は、識別結果を画像情報D10に関連付けて記憶部140に記憶すると、処理をステップS102に進める。
制御部150は、移動体群情報D30を生成する(ステップS102)。例えば、制御部150は、ステップS101で識別した複数の移動体2000の識別結果に基づいて、移動体2000の種別、色、移動方向等と、移動体群3000の移動方向、配置装置位置、スコア等の情報を識別可能な移動体群情報D30を生成する。制御部150は、生成した移動体群情報D30と画像情報D10と設置状態情報D40とを関連付けて記憶部140に記憶すると、処理をステップS103に進める。
制御部150は、通信部130を介して、移動体群情報D30及び設置状態情報D40を情報処理装置200に送信する(ステップS103)。例えば、制御部150は、画像情報D10に基づいて移動体群情報D30を生成した場合に、移動体群情報D30を情報処理装置200に送信する。これにより、カメラ100は、移動体群3000を撮像したタイミングで移動体群情報D30を送信することで、移動する移動体群3000を情報処理装置200に追跡させることができる。制御部150は、ステップS103の処理が終了すると、図8に示す処理手順を終了させる。
なお、図8に示す処理手順は、情報処理装置200がカメラ100の設置状態情報D40を予め記憶する場合、カメラ100が設置状態情報D40を送信しない処理手順に変更することができる。この場合、ステップS103は、移動体群情報D30のみを情報処理装置200に送信する構成とすればよい。
(情報処理装置の処理手順例)
図9は、情報処理装置200が実行する処理手順の一例を示すフローチャートである。図9に示す処理手順は、情報処理装置200の制御部240がプログラム231を実行することによって実現される。図9に示す処理手順は、制御部240によって繰り返し実行される。
図9に示すように、情報処理装置200の制御部240は、複数のカメラ100から移動体群情報D30及び設置状態情報D40を取得する(ステップS201)。例えば、制御部240は、通信部220を介して複数のカメラ100から受信した同日及び同時間帯の移動体群情報D30及び設置状態情報D40を取得し、記憶部230に関連付けて記憶する。制御部240は、ステップS201の処理が終了すると、処理をステップS202に進める。
制御部240は、複数の移動体群3000を比較する(ステップS202)。例えば、制御部240は、複数の移動体群情報D30を判定モデルM2に入力し、判定モデルM2の出力を複数の移動体群情報D30が同じ移動体群3000であるか否かの判定結果として記憶部230に記憶する。例えば、制御部240は、判定モデルM2を用いずに、複数の移動体群情報D30同士を比較して、同じ移動体群3000であるか否かを判定してもよい。制御部240は、ステップS202の処理が終了すると、処理をステップS203に進める。
制御部240は、ステップS202の比較結果に基づいて、同じ移動体群3000であるか否かを判定する(ステップS203)。制御部240は、複数のカメラ100の各々が撮像した複数の移動体群3000が同じ移動体群3000ではないと判定した場合(ステップS203でNo)、処理を後述するステップS206に進める。また、制御部240は、同じ移動体群3000であると判定した場合(ステップS203でYes)、処理をステップS204に進める。
制御部240は、複数のカメラ100の設置関係を推定する(ステップS204)。例えば、制御部240は、同じ移動体群3000と判定した複数の移動体群情報D30及び設置状態情報D40を設置関係推定モデルM20に入力する。制御部240は、設置関係推定モデルM20が推定した推定結果を出力すると、当該推定結果を複数のカメラ100の設置関係として記憶部230に記憶する。制御部240は、ステップS204の処理が終了すると、処理をステップS205に進める。
制御部240は、設置関係情報D100を出力する(ステップS205)。例えば、制御部240は、ステップS205の推定結果に基づいて、図4に示したような設置関係情報D100を生成し、当該設置関係情報D100の出力処理を実行する。出力処理は、例えば、設置関係情報D100を表示装置に表示させる処理、情報処理装置の外部の電子機器に送信する処理等を含む。制御部240は、ステップS205の処理が終了すると、処理をステップS206に進める。
制御部240は、処理した移動体群3000の数が規定数であるか否かを判定する(ステップS206)。例えば、制御部240は、複数のカメラの設置関係を推定した回数、または、設置関係情報D100を出力した回数が、予め設定された規定数となった場合に、処理した移動体群3000の数が規定数であると判定する。規定数は、例えば、推定精度を向上させるように複数の回数を設定できる。制御部240は、処理した移動体群3000の数が規定数ではないと判定した場合(ステップS206でNo)、処理を既に説明したステップS201に戻し、処理を継続する。また、制御部240は、処理した移動体群3000の数が規定数であると判定した場合(ステップS206でYes)、図9に示す処理手順を終了させる。
(カメラシステムの動作例)
図10は、カメラシステム1におけるカメラ100及び情報処理装置200の動作の一例を示す図である。図10に示す一例では、第1カメラ100A及び第2カメラ100Bは、図1に示したように、同じ道路1100の同一の移動方向1100Mの相異なる撮像領域を撮像するように設置されていることを前提とする。
図10に示すように、第1カメラ100Aは、自機の撮像領域を移動する複数の移動体2000を撮像すると、画像情報D10から移動体群3000を識別する(ステップS1101)。第1カメラ100Aは、移動体群3000を識別すると、通信部130を介して、移動体群情報D30を送信する(ステップS1102)。本実施形態では、第1カメラ100Aは、移動体群情報D30及び設置状態情報D40を情報処理装置200に送信している。
また、第1カメラ100Aが撮像した複数の移動体2000は、移動方向1100Mへ移動すると、第2カメラ100Bの撮像領域に進入する。
第2カメラ100Bは、自機の撮像領域を移動する複数の移動体2000を撮像すると、画像情報D10から移動体群3000を識別する(ステップS1201)。第2カメラ100Bは、移動体群3000を識別すると、通信部130を介して、移動体群情報D30を送信する(ステップS1202)。本実施形態では、第2カメラ100Bは、移動体群情報D30及び設置状態情報D40を情報処理装置200に送信している。
情報処理装置200は、第1カメラ100Aからの移動体群情報D30を受信した後、第2カメラ100Bからの移動体群情報D30を受信すると、それらの移動体群情報D30に基づいて、複数の移動体群3000が同じ移動体群3000であるか否かを判定する。そして、情報処理装置200は、複数の移動体群3000が同じ移動体群3000であると判定する(ステップS1301)。情報処理装置200は、設置関係情報D100を推定し、設置関係情報D100を出力する(ステップS1302)。
これにより、情報処理装置200は、複数のカメラ100が撮像した画像情報D10が示す移動体群3000の見え方に基づく設置関係情報D100を出力することができる。また、情報処理装置200は、第1カメラ100A及び第2カメラ100Bの設置場所が離れていても、移動体群3000の見え方に基づく設置関係情報D100を出力することができる。その結果、情報処理装置200は、複数のカメラを道路1100の近傍に設置しても、人的作業や交通規制を必要とすることなく、交通環境1000を撮像する複数のカメラ100の設置状態の推定を支援することができる。また、情報処理装置200は、カメラ100の設置状態を求めるためのキャリブレーションを、複数のカメラを設置した場合にも、治具・作業なしで行うことができる。
その後、第1カメラ100A及び第2カメラ100Bは、移動体群3000を撮像するごとに、移動体群情報D30を情報処理装置200に送信する。そして、情報処理装置200は、複数の移動体群3000が同じ移動体群3000であると判定するごとに、設置関係情報D100を出力する。これにより、情報処理装置200は、異なる複数の移動体群3000が第1カメラ100A及び第2カメラ100Bを通過するごとに、複数のカメラ100の間の設置関係を推定することで、設置関係の推定精度を向上させることができる。
また、情報処理装置200は、判定した移動体群3000の数が規定数以上になった場合に動作を終了する。これにより、情報処理装置200は、複数のカメラ100の設置関係の推定を適宜終了させることができる。
情報処理装置200は、移動体群3000に含まれる移動体2000の種別、配置(走行順序)、色、移動方向、配置及び装置位置の少なくとも1つに基づいて同じ移動体群3000であるか否かを判定できる。これにより、情報処理装置200は、複数の移動体群3000を正確に識別できるので、同じ移動体群3000であるか否かの判定精度を向上させることができる。例えば、情報処理装置200は、異なる種別、色等の移動体2000の組み合わせの移動体群3000に着目することで、異なる位置の複数のカメラ100であっても、複数の移動体群3000をより一層正確に識別できる。
情報処理装置200は、出力部243が第1移動体群の時系列の情報と、第2移動体群の時系列の情報と、に基づいて統計的な設置関係情報D100を出力することができる。例えば、情報処理装置200は、複数のカメラ100ごとに、移動体群3000を撮像した日時等をカメラ100に関連付けた設置関係情報D100を出力することで、移動体群3000の移動状況、カメラ100同士の距離等の把握に貢献することができる。
情報処理装置200は、複数のカメラ100間の位置関係の推定で、移動体群3000が利用しやすいかを、群自体の価値として表現してもよい。例えば、情報処理装置200は、移動体群3000に含まれる移動体2000の数、種別の数等が多いほど、移動体群3000の価値が高くなるように、スコアを設定することができる。これにより、情報処理装置200は、スコアの低い移動体群3000を判定に用いないことで、同じ移動体群3000であるか否かの判定精度を向上させることができる。
情報処理装置200の取得部241は、撮像領域が重なり合わないように設置された複数のカメラ100から第1移動体群情報及び第2移動体群情報を取得できる。これにより、情報処理装置200は、道路1100の広範囲に設置されたカメラ100の設置関係情報D100を出力できるので、複数のカメラ100のメンテナンス等の効率を向上させることができる。
(他の実施形態)
図11は、実施形態に係る情報処理装置200の他の構成の一例を示す図である。図11に示すように、情報処理装置200は、上述した入力部210、通信部220、記憶部230及び制御部240を備える。制御部240は、上述した取得部241、判定部242及び出力部243と、識別部244とを備える構成としてもよい。
この場合、上述した取得部241は、複数のカメラ100から画像情報D10を取得する機能を有する構成とすればよい。また、記憶部230は、上述した物体推定モデルM1を記憶する構成とすればよい。
識別部244は、上述した物体推定モデルM1、物体識別プログラム等を用いて、画像情報D10から1以上の移動体2000を含む移動体群3000を識別する。識別部244は、移動体2000の有無、種別、色、移動方向、配置、相対位置、スコア等に基づいて、移動体群3000の移動方向、移動体群3000の原点(中心)等を識別する。識別部244は、識別した移動体群3000を識別可能な移動体群情報D30を生成し、移動体群情報D30をカメラ100に関連付けて記憶部230に記憶する。
上述した判定部242は、識別部244が識別した複数の移動体群3000が同じ移動体群3000であるか否かを判定する機能を有する構成とすればよい。
図12は、情報処理装置200が実行する他の処理手順の一例を示すフローチャートである。図12に示す処理手順は、図9に示した処理手順の一部を変更した処理手順である。図12に示す処理手順は、制御部240によって繰り返し実行される。
図12に示すように、情報処理装置200の制御部240は、複数のカメラ100から画像情報D10及び設置状態情報D40を取得する(ステップS211)。例えば、制御部240は、通信部220を介して複数のカメラ100から受信した同日及び同時間帯の画像情報D10及び設置状態情報D40を取得し、記憶部230に関連付けて記憶する。制御部240は、ステップS211の処理が終了すると、処理をステップS212に進める。
制御部240は、複数のカメラ100ごとに、画像情報D10から移動体2000を識別して移動体群情報D30を生成する(ステップS212)。例えば、制御部240は、画像情報D10を物体推定モデルM1に入力し、物体推定モデルM1の出力に基づいて画像情報D10が示す移動体2000を識別する。そして、制御部240は、識別した複数の移動体2000の識別結果に基づいて、移動体2000の種別、色、移動方向等と、移動体群3000の移動方向、配置装置位置、スコア等の情報を識別可能な移動体群情報D30を生成する。制御部240は、生成した移動体群情報D30と画像情報D10と設置状態情報D40とを関連付けて記憶部230に記憶すると、処理を既に説明したステップS102に進める。そして、制御部240は、ステップS102からステップS106の処理を実行する。なお、ステップS102からステップS106の処理は、図9のステップS102からステップS106の処理と同一であるため、説明を省略する。
このように、他の実施形態に係る情報処理装置200は、複数のカメラ100から取得した画像情報D10が示す移動体群3000の見え方に基づいて、設置関係情報D100を出力することができる。また、情報処理装置200は、複数のカメラ100同士が離れていても、移動体群3000の見え方に基づく設置関係情報D100を出力することができる。その結果、情報処理装置200は、複数のカメラを道路1100の近傍に設置しても、人的作業や交通規制を必要とすることなく、交通環境1000を撮像する複数のカメラ100の設置状態の推定を支援することができる。
上述した情報処理装置200は、福風のカメラ100の外部に設けられる場合について説明したが、これに限定されない。例えば、情報処理装置200は、複数のカメラ100のいずれかに組み込まれ、カメラ100の制御部150、モジュール等によって実現してもよい。例えば、情報処理装置200は、交通環境1000に設置された信号機、照明機器、通信機器等に組み込まれてもよい。
上述した情報処理装置200は、サーバ装置等で実現してもよい。例えば、情報処理装置200は、複数のカメラ100のそれぞれから画像情報D10を取得し、当該画像情報D10から設置状態パラメータを推定し、推定結果を提供するサーバ装置とすることができる。
上述した学習装置300は、物体推定モデルM1、判定モデルM2、状態推定モデルM10及び設置関係推定モデルM20を生成する場合について説明したが、これに限定されない。例えば、学習装置300は、情報処理装置200に組み込まれるように実現してもよい。
また、本開示は、物体推定モデルM1、判定モデルM2、状態推定モデルM10及び設置関係推定モデルM20について、別々のモデル、別々の学習部で実施する場合のみならず、複数のモデルを合わせた統合モデルとし、機械学習も統合したひとつの機械学習部で行う実施例としてもよい。
添付の請求項に係る技術を完全かつ明瞭に開示するために特徴的な実施形態に関し記載してきた。しかし、添付の請求項は、上記実施形態に限定されるべきものでなく、本明細書に示した基礎的事項の範囲内で当該技術分野の当業者が創作しうるすべての変形例及び代替可能な構成を具現化するように構成されるべきである。
(付記1)
第1カメラが撮像した第1画像から少なくとも1以上の移動体を含む第1移動体群を識別する第1識別部と、
第2カメラが撮像した第2画像から少なくとも1以上の前記移動体を含む第2移動体群を識別する第2識別部と、
前記第1移動体群と前記第2移動体群とが同じ移動体群であるか否かを判定する判定部と、
同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力する出力部と、
を備える、情報処理装置。
(付記2)
複数のカメラと、
複数の前記カメラと通信可能な情報処理装置とを備えるカメラシステムであって、
前記情報処理装置は、
第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定する判定部と、
同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力する出力部と、
を備える、カメラシステム。
1 カメラシステム
100 カメラ
100A 第1カメラ
100B 第2カメラ
110 撮像部
120 センサ部
130 通信部
140 記憶部
141 プログラム
150 制御部
151 画像認識部
152 識別部
153 推定部
154 送信部
200 情報処理装置
210 入力部
220 通信部
230 記憶部
231 プログラム
232 設定情報
240 制御部
241 取得部
242 判定部
243 出力部
244 識別部
300 学習装置
310 表示部
320 操作部
330 通信部
340 記憶部
341 プログラム
342 教師情報
350 制御部
351 第1取得部
352 第1機械学習部
353 第2取得部
354 第2機械学習部
355 第3取得部
356 第3機械学習部
357 第4取得部
358 第4機械学習部
1000 交通環境
1100 道路
2000 移動体
3000 移動体群
3100 第1移動体群
3200 第2移動体群
D10 画像情報
D30 移動体群情報
D40 設置状態情報
D100 設置関係情報
M1 物体推定モデル
M2 判定モデル
M10 状態推定モデル
M20 設置関係推定モデル

Claims (18)

  1. 第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定する判定部と、
    同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力する出力部と、
    を備える、情報処理装置。
  2. 前記第1画像から識別した少なくとも1以上の移動体を含む前記第1移動体群を示す第1移動体群情報、及び、前記第2画像から少なくとも1以上の前記移動体を含む前記第2移動体群を示す第2移動体群情報を取得する取得部をさらに備え、
    前記判定部は、前記第1移動体群情報が示す前記第1移動体群と前記第2移動体群情報が示す前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項1に記載の情報処理装置。
  3. 前記判定部は、
    前記第1移動体群の前記移動態様としての第1移動方向と、
    前記第2移動体群の前記移動態様としての第2移動方向とを判定し、
    前記出力部は、
    前記第1移動方向と前記第2移動方向とに基づいて、前記第1カメラと前記第2カメラの設置関係を識別可能な前記設置関係情報を出力する、
    請求項2に記載の情報処理装置。
  4. 前記判定部は、
    前記第1移動体群の前記移動体の種別情報と前記第2移動体群の前記移動体の種別情報とに基づいて、前記第1移動体群と前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項3に記載の情報処理装置。
  5. 前記判定部は、
    前記第1移動体群の前記種別情報及び前記移動体の配置情報と、前記第2移動体群の前記種別情報及び前記移動体の配置情報とに基づいて、前記第1移動体群と前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項4に記載の情報処理装置。
  6. 前記判定部は、
    前記第1移動体群の前記種別情報及び前記移動体の色情報と、前記第2移動体群の前記種別情報及び前記移動体の色情報とに基づいて、前記第1移動体群と前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項4に記載の情報処理装置。
  7. 前記判定部は、
    前記第1移動体群の大きさに対する個々の前記移動体の相対的な第1サイズに基づいて前記第1移動体群の中の前記移動体の前記種別情報を判定し、
    前記第2移動体群の大きさに対する個々の前記移動体の相対的な第2サイズに基づいて前記第2移動体群の中の前記移動体の前記種別情報を判定する、
    請求項4に記載の情報処理装置。
  8. 前記種別情報は、少なくとも、普通車、大型車及び自動二輪車を含む、
    請求項4から7のいずれか1項に記載の情報処理装置。
  9. 前記判定部は、前記第1移動体群の重心を原点とした個々の前記移動体の第1相対位置と、前記第2移動体群の重心を原点とした個々の前記移動体の第2相対位置とに基づいて、前記第1移動体群と前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項3に記載の情報処理装置。
  10. 前記出力部は、前記第1移動体群の時系列の情報と、前記第2移動体群の時系列の情報と、に基づいて統計的な前記設置関係情報を出力する、
    請求項2に記載の情報処理装置。
  11. 前記出力部は、前記第1移動体群及び前記第2移動体群のスコアを識別可能な前記設置関係情報を出力する、
    請求項10に記載の情報処理装置。
  12. 前記出力部は、前記移動体群に含まれる前記移動体の数または種別情報の数が多いほど高くなる前記スコアを識別可能な前記設置関係情報を出力する、
    請求項11に記載の情報処理装置。
  13. 前記判定部は、記第1移動体群及び前記第2移動体群の前記スコアが判定条件を満たす場合に、前記第1移動体群情報が示す前記第1移動体群と前記第2移動体群情報が示す前記第2移動体群とが同じ移動体群であるか否かを判定する、
    請求項11に記載の情報処理装置。
  14. 前記出力部は、判定した前記移動体群の数が規定数以上になったら動作終了する、
    請求項1に記載の情報処理装置。
  15. 前記出力部は、前記第1カメラと前記第2カメラとの相互関係を識別可能な前記設置関係情報を出力する、
    請求項1に記載の情報処理装置。
  16. 前記取得部は、撮像領域が重なり合わないように設置された前記第1カメラ及び前記第2カメラから前記第1移動体群情報及び前記第2移動体群情報を取得する、
    請求項2に記載の情報処理装置。
  17. コンピュータが、
    第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定することと、
    同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力することと、
    を含む、情報処理方法。
  18. コンピュータに、
    第1カメラが撮像した第1画像から識別した第1移動体群と第2カメラが撮像した第2画像から識別した第2移動体群とが同じ移動体群であるか否かを判定させることと、
    同じ前記移動体群と判定された前記第1移動体群の移動態様と前記第2移動体群の移動態様とに基づいて、前記第1カメラと前記第2カメラとの設置関係を識別可能な設置関係情報を出力させることと、
    を実行させる、情報処理プログラム。
JP2022134373A 2022-08-25 2022-08-25 情報処理装置、情報処理方法及び情報処理プログラム Pending JP2024031068A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022134373A JP2024031068A (ja) 2022-08-25 2022-08-25 情報処理装置、情報処理方法及び情報処理プログラム
PCT/JP2023/028325 WO2024043024A1 (ja) 2022-08-25 2023-08-02 情報処理装置、情報処理方法及び情報処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022134373A JP2024031068A (ja) 2022-08-25 2022-08-25 情報処理装置、情報処理方法及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2024031068A true JP2024031068A (ja) 2024-03-07

Family

ID=90013075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022134373A Pending JP2024031068A (ja) 2022-08-25 2022-08-25 情報処理装置、情報処理方法及び情報処理プログラム

Country Status (2)

Country Link
JP (1) JP2024031068A (ja)
WO (1) WO2024043024A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6816058B2 (ja) * 2017-10-25 2021-01-20 日本電信電話株式会社 パラメータ最適化装置、パラメータ最適化方法、プログラム

Also Published As

Publication number Publication date
WO2024043024A1 (ja) 2024-02-29

Similar Documents

Publication Publication Date Title
US11657604B2 (en) Systems and methods for estimating future paths
JP7054803B2 (ja) カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム
CN109690623B (zh) 用于识别场景中的相机的姿势的系统和方法
US10402670B2 (en) Parallel scene primitive detection using a surround camera system
JP4899424B2 (ja) 物体検出装置
CN111442776A (zh) 顺序地面场景图像投影合成与复杂场景重构的方法及设备
JP6062609B1 (ja) 車両の外側寸法を監視するための方法ならびに装置
CN110678872A (zh) 通过使用神经网络图像处理的、作为3d限界框的直接载具检测
GB2559250A (en) Parking-lot-navigation system and method
CN112771858A (zh) 自动车辆的相机评估技术
CN111565989B (zh) 用于车辆的自主驾驶的自主驾驶装置和方法
CN107845290A (zh) 交叉路口警报方法、处理系统、交叉路口警报系统及车辆
JP2024041897A (ja) データ配信システム、センサデバイス及びサーバ
JP2021165914A (ja) 物体状態識別装置、物体状態識別方法及び物体状態識別用コンピュータプログラムならびに制御装置
JP2020065141A (ja) 車両の俯瞰映像生成システム及びその方法
CN115134537A (zh) 一种图像处理方法、装置及车辆
WO2024043024A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
US20230162513A1 (en) Vehicle environment modeling with a camera
CN114008698A (zh) 外部环境识别装置
Zhang et al. Perception of vehicle and traffic dynamics using visual-inertial sensors for assistive driving
EP3349201B1 (en) Parking assist method and vehicle parking assist system
Tsu-Tian Research on intelligent transportation systems in Taiwan
WO2023145492A1 (ja) 状態推定装置、状態推定方法及び状態推定プログラム
WO2024018909A1 (ja) 状態推定装置、状態推定方法及び状態推定プログラム
CN113609888A (zh) 利用平面单应性和自监督的场景结构理解进行对象检测