JP7438510B2 - 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット - Google Patents

俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット Download PDF

Info

Publication number
JP7438510B2
JP7438510B2 JP2021177665A JP2021177665A JP7438510B2 JP 7438510 B2 JP7438510 B2 JP 7438510B2 JP 2021177665 A JP2021177665 A JP 2021177665A JP 2021177665 A JP2021177665 A JP 2021177665A JP 7438510 B2 JP7438510 B2 JP 7438510B2
Authority
JP
Japan
Prior art keywords
bird
eye view
view data
observed
ground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021177665A
Other languages
English (en)
Other versions
JP2023066840A (ja
JP2023066840A5 (ja
Inventor
真衣 黒瀬（西村）
章平 延原
恒 西野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Kyoto University
Original Assignee
Omron Corp
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Kyoto University filed Critical Omron Corp
Priority to JP2021177665A priority Critical patent/JP7438510B2/ja
Priority to CN202280065202.7A priority patent/CN118056398A/zh
Priority to PCT/JP2022/037139 priority patent/WO2023074279A1/ja
Publication of JP2023066840A publication Critical patent/JP2023066840A/ja
Publication of JP2023066840A5 publication Critical patent/JP2023066840A5/ja
Priority to JP2024015105A priority patent/JP2024060619A/ja
Application granted granted Critical
Publication of JP7438510B2 publication Critical patent/JP7438510B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)

Description

本発明は、俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボットに関する。
従来より、一人称視点で撮影された映像で観測した人物骨格に基づき、俯瞰視点での人物位置分布を推定する技術が知られている（非特許文献１）。
また、静的なランドマーク基準の自己位置推定（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ：ＳＬＡＭ）の最適化対象に移動体を加えて逐次最適化を行う技術が知られている（非特許文献２）。
また、ＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）により位置を推定する技術が知られている（非特許文献３）。
また、俯瞰視点映像中における一人称映像の撮影位置を推定する技術が知られている（特許文献１）。この技術では、推定のために俯瞰視点及び一人称視点の両視点から抽出された動き特徴の照合を行っている。
"ＭｏｎｏＬｏｃｏ： Ｍｏｎｏｃｕｌａｒ ３Ｄ Ｐｅｄｅｓｔｒｉａｎ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｕｎｃｅｒｔａｉｎｔｙ Ｅｓｔｉｍａｔｉｏｎ"，インターネット検索＜ＵＲＬ： ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１９０６．０６０５９＞， Ｊｕｎ ２０１９ "ＣｕｂｅＳＬＡＭ： Ｍｏｎｏｃｕｌａｒ ３Ｄ Ｏｂｊｅｃｔ ＳＬＡＭ"，インターネット検索＜ＵＲＬ： ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１８０６．００５５７＞，Ｊｕｎ ２０１８ 「フィールドロボティクスの現状と展望」、インターネット検索＜ＵＲＬ： ｈｔｔｐｓ：／／ｃｏｍｍｉｔｔｅｅｓ．ｊｓｃｅ．ｏｒ．ｊｐ／ｏｐｃｅｔ＿ｓｉｐ／ｓｙｓｔｅｍ／ｆｉｌｅｓ／０１３０＿０１．ｐｄｆ＞
特開２０２１－７７２８７号公報
しかしながら、上記非特許文献１記載の技術では、観測カメラの運動や周辺の移動体の移動軌跡を復元することはできない。
また、上記非特許文献２記載の技術は、移動体と共に静的なランドマークが安定して観測可能な環境でしか適用できない。また、移動体の動きモデルが単純な剛体運動に限られ、相互作用を考慮した移動体の動きに対応できない。
また、上記非特許文献３記載の技術では、ＧＮＳＳを搭載した装置自身の自己位置の復元のみを対象とし，周辺の移動体の位置を復元できない。また、高層ビルなどによる遮蔽が生じる環境では、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）電波の受信が不安定となり、位置復元結果が不正確となる。
また、上記特許文献１記載の技術は、俯瞰視点の映像が手に入らない場合には適用できない。
本発明は、上記の点に鑑みてなされたものであり、静的なランドマークが検出されない状況であっても、動的な環境において観測装置を搭載した観測移動体からの視点で観測された２次元観測情報から、観測移動体の地面上の移動軌跡、及び移動体の各々の地面上の移動軌跡を表す俯瞰データを生成することができる俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボットを提供することを目的とする。
開示の第１態様は、俯瞰データ生成装置であって、動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得部と、実空間における前記移動体の大きさに関する事前情報、並びに前記２次元観測情報上の前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部と、を含む。
上記第１態様において、前記事前情報は、実空間における前記移動体の大きさの分布に関するものであり、前記生成部は、前記観測移動体からの前記移動体の相対位置の分布と、前記移動体の動きの分布を表す前記動きモデルとを用いて、前記２次元観測情報の時系列データから、前記観測移動体の各時刻の地面上の位置分布を表す前記移動軌跡、及び前記移動体の各々の各時刻の地面上の位置分布を表す前記移動軌跡を表す前記俯瞰データを生成するようにしてもよい。
上記第１態様において、前記動きモデルを、前記移動体の等速運動を表すモデル、又は前記移動体間の相互作用に応じた動きを表すモデルとしてもよい。
上記第１態様において、俯瞰データ生成装置は、前記２次元観測情報の時系列データから、前記移動体の各々を追跡し、前記２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさを取得する追跡部を更に含み、前記生成部は、前記追跡部によって取得された前記２次元観測情報上の前記移動体の各々の各時刻の位置及び大きさから、前記俯瞰データを生成するようにしてもよい。
上記第１態様において、前記生成部は、各時刻についての、前記観測移動体からの前記移動体の相対位置と、前記動きモデルとを用いて表される事後分布であって、一時刻前の前記観測移動体及び前記移動体の各々の地面上の位置が与えられた下での、前記観測移動体及び前記移動体の各々の地面上の位置の事後分布を最大化するように、前記俯瞰データを生成するようにしてもよい。
上記第１態様において、前記生成部は、前記移動体の各々の地面上の位置を固定して、前記観測移動体の地面上の位置及び前記観測装置の観測方向を、前記事後分布を表すエネルギーコスト関数を最適化するように推定すること、及び前記観測移動体の地面上の位置及び前記観測装置の観測方向を固定して、前記移動体の各々の地面上の位置を、前記事後分布を表すエネルギーコスト関数を最適化するように推定することを交互に繰り返すことにより、前記俯瞰データを生成するようにしてもよい。
上記第１態様において、前記生成部は、前記２次元観測情報から静的なランドマークが検出される条件下では、前記２次元観測情報が表す前記静的なランドマークを用いて前記俯瞰データを生成するようにしてもよい。
開示の第２態様は、俯瞰データ生成プログラムであって、コンピュータに、動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得工程と、実空間における前記移動体の大きさに関する事前情報、並びに前記２次元観測情報上の前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、を含む処理を実行させるためのプログラムである。
開示の第３態様は、俯瞰データ生成方法であって、コンピュータが、動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得工程と、実空間における前記移動体の大きさに関する事前情報、並びに前記２次元観測情報上の前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、前記２次元観測情報の時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、を含む処理を実行する。
開示の第４態様は、ロボットであって、動的な環境において観測装置を搭載したロボットからの視点で観測された少なくとも１つの移動体を表す２次元観測情報の時系列データを取得する取得部と、実空間における前記移動体の大きさに関する事前情報、並びに前記２次元観測情報上の前記移動体の大きさ及び位置を用いて求められる、実空間における前記ロボットからの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、前記２次元観測情報の時系列データから、前記ロボットを俯瞰した位置から観測した場合に得られる、前記ロボットの地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部と、前記ロボットを自律走行させる自律走行部と、前記俯瞰データを用いて、前記ロボットが目的地に移動するように前記自律走行部を制御する制御部と、を含む。
本発明によれば、静的なランドマークが検出されない状況であっても、動的な環境において観測装置を搭載した観測移動体からの視点で観測された２次元観測情報から、観測移動体の地面上の移動軌跡、及び移動体の各々の地面上の移動軌跡を表す俯瞰データを生成することができる。
第１実施形態に係るロボットの概略構成を示す図である。 カメラにより撮影される画像の一例を示す図である。 画像から人物を検出した結果の一例を示す図である。 俯瞰データの一例を示す図である。 第１、第２実施形態に係る俯瞰データ生成装置のハードウェア構成を示すブロック図である。 第１、第２実施形態に係る俯瞰データ生成装置による俯瞰データ生成処理の流れを示すフローチャートである。 第２実施形態に係る情報処理端末の概略構成を示す図である。 画像の時系列データの一例である。 俯瞰データの一例を示す図である。 各人物の位置を示す分布の一例である。 画像から人物を検出した結果の一例を示す図である。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。
［第１実施形態］
図１は、本発明の第１実施形態に係るロボット１００の概略構成を示す図である。図１に示すように、ロボット１００は、カメラ１０、俯瞰データ生成装置２０、報知部５０、及び自律走行部６０を備える。俯瞰データ生成装置２０は、取得部２２、追跡部２４、生成部２６、及び制御部２８を備える。なお、ロボット１００が、観測移動体の一例であり、カメラ１０が、観測装置の一例である。
カメラ１０は、スタート地点から目的地に移動するまでの間、ロボット１００の周囲を予め定めた間隔で撮影し、撮影した画像を俯瞰データ生成装置２０の取得部２２に出力する。なお、画像が、２次元観測情報の一例である。
例えば、動的な環境においてロボット１００からの視点で観測された少なくとも１人の人物を表す画像が、カメラ１０により撮影される（図２参照）。
カメラ１０として、透視投影のＲＧＢカメラを用いてもよいし、魚眼カメラや３６０度カメラを用いてもよい。
取得部２２は、カメラ１０によって撮影された画像の時系列データを取得する。
追跡部２４は、取得した画像の時系列データから、人物の各々を追跡し、画像上の人物の各々の各時刻の位置及び大きさを取得する。
例えば、図３に示すように、画像上の人物の各々について、当該人物を表すバウンディングボックスを検出して追跡し、画像上の人物の中心位置（バウンディングボックスの中心位置）及び高さ（バウンディングボックスの高さ）を時刻毎に取得する。
生成部２６は、実空間における人物の大きさに関する事前情報、並びに画像上の人物の各々の大きさ及び位置を用いて求められる、実空間におけるロボット１００からの人物の相対位置の分布と、予め定められた、人物の動きの分布を表す動きモデルとを用いて、画像の時系列データから、ロボット１００を俯瞰した位置から観測した場合に得られる、ロボット１００の地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成する。
具体的には、実空間における人物の大きさに関する事前情報は、実空間における人物の大きさの分布に関するものであり、動きモデルは、人物の等速運動を表すモデル、又は人物間の相互作用に応じた動きを表すモデルである。また、生成部２６は、各時刻についての、ロボット１００からの人物の相対位置と、動きモデルとを用いて表される事後分布であって、一時刻前のロボット１００及び人物の各々の地面上の位置、並びに現時刻における画像上の人物の各々の位置及び大きさが与えられた下での、ロボット１００及び人物の各々の地面上の位置の事後分布を最大化するように、俯瞰データを生成する。
上記の事後分布の最大化は、以下の式で表される。
ここで、＾Ｘ０：Ｋ ｔは、時刻ｔにおけるロボット１００及び人物の各々の地面上の位置を表す。Ｘ１：Ｋ ｔは、時刻ｔにおける人物の各々の地面上の位置を表す。Ｚ１：Ｋ ｔは、時刻ｔにおけるロボット１００からの人物の各々の相対位置を表す。なお、数式中のハット（＾）付きの変数Ｘは、明細書中では、＾Ｘと表記する。
本実施形態では、生成部２６は、一例として、人物の各々の地面上の位置を固定して、ロボット１００の地面上の位置及びカメラ１０の観測方向を、上記の事後分布を表すエネルギーコスト関数を最小化するように推定すること、及びロボット１００の地面上の位置及びカメラ１０の観測方向を固定して、人物の各々の地面上の位置を、上記の事後分布を表すエネルギーコスト関数を最小化するように推定することを交互に繰り返すことにより、俯瞰データを生成する。
ロボット１００の地面上の位置及びカメラ１０の観測方向を推定する際にエネルギーコスト関数を最小化することは、以下の（１）式で表される。また、人物の各々の地面上の位置を推定する際にエネルギーコスト関数を最小化することは、以下の（２）式で表される。

（１）

（２）
ここで、Δｘ０ ｔは、時刻ｔにおける、一時刻前ｔ－１からのロボット１００の地面上の位置の変化量及びカメラ１０の観測方向の変化量を表す。Ｘ０：Ｋ ｔ－τ：ｔ－１は、時刻ｔ－τから時刻ｔ－１までの各時刻におけるロボット１００及び人物の各々の地面上の位置を示す。
ここで、エネルギーコスト関数εｃは、以下の式で表される。
本実施形態では、一例として、事後分布の負の対数をとることにより、エネルギーコスト関数を導出している。
また、動きモデルを、等速運動を表すモデルとし、τ＝２とし、ロボット１００又は人物をｋとすると、上記式の第１項目は、以下の式で表される。
ｋ＝０であれば、ｘ０ ｔは、時刻ｔにおけるロボット１００の地面上の位置及びカメラ１０の観測方向を表し、ｋ＝１～Ｋであれば、ｘｋ ｔは、時刻ｔにおける人物ｋの地面上の位置を表す。
また、時刻ｔにおけるカメラ１０に対するｋ番目の人物の相対位置ｚｋ ｔは、以下の式に示すように、ガウシアン分布に従う。
ただし、ｈｋは、実空間における人物の身長であり、μｈは、平均を表し、σｈ２は、分散を表す。
また、動きモデルを、人物間の相互作用に応じた動きを表すモデルとし、上記式の第１項目は、以下の式で表される。
また、上記のエネルギーコスト関数εｃの第２項目は、以下の式で表される。
生成部２６は、例えば、図４に示すような俯瞰データを生成する。図４は、黒丸をつないだ線でロボット１００の地面上の移動軌跡を示し、破線でロボット１００の地面上の移動軌跡を示す例を示している。
制御部２８は、俯瞰データを用いて、ロボット１００が目的地に移動するように自律走行部６０を制御する。例えば、制御部２８は、ロボット１００の移動方向及び速度を指定し、指定された移動方向及び速度で移動するように自律走行部６０を制御する。
また、制御部２８は、俯瞰データを用いて、介入行動が必要と判断した場合には、「道を空けてください」等のメッセージを音声出力したり、警告音を鳴らすよう報知部５０を制御する。
次に、ロボット１００の俯瞰データ生成装置２０のハードウェア構成について説明する。
図５に示すように、俯瞰データ生成装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６３、ストレージ６４、及び通信インタフェース（Ｉ/Ｆ）６５を有する。各構成は、バス６６を介して相互に通信可能に接続されている。
本実施形態では、ストレージ６４には、俯瞰データ生成プログラムが格納されている。ＣＰＵ６１は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ６１は、ストレージ６４からプログラムを読み出し、ＲＡＭ６３を作業領域としてプログラムを実行する。ＣＰＵ６１は、ストレージ６４に記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
ＲＯＭ６２は、各種プログラム及び各種データを格納する。ＲＡＭ６３は、作業領域として一時的にプログラム又はデータを記憶する。ストレージ６４は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）又はＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
通信インタフェース６５は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ又はＷｉ－Ｆｉ（登録商標）等の規格が用いられる。
次に、ロボット１００の作用について説明する。
ロボット１００が、自律走行部６０により目的地まで移動する際に、カメラ１０は、ロボット１００の周囲を予め定めた間隔で撮影し、俯瞰データ生成装置２０は、定期的に、図６に示す俯瞰データ生成処理により俯瞰データを生成し、俯瞰データに基づいて、ロボット１００が目的地に移動するように自律走行部６０を制御する。
図６は、俯瞰データ生成装置２０による俯瞰データ生成処理の流れを示すフローチャートである。ＣＰＵ６１がストレージ６４から俯瞰データ生成プログラムを読み出して、ＲＡＭ６３に展開し実行することにより、俯瞰データ生成処理が行なわれる。
ステップＳ１００では、ＣＰＵ６１が、取得部２２として、カメラ１０によって撮影された画像の時系列データを取得する。
ステップＳ１０２では、ＣＰＵ６１が、追跡部２４として、取得した画像の時系列データから、人物の各々を追跡し、画像上の人物の各々の各時刻の位置及び大きさを取得する。
ステップＳ１０４では、ＣＰＵ６１が、生成部２６として、取得した画像の時系列データの各時刻についての、ロボット１００の地面上の位置、カメラ１０の観測方向、及び人物の各々の地面上の位置の各々に対し、初期値を設定する。
ステップＳ１０６では、ＣＰＵ６１が、生成部２６として、上記（１）式に従って、人物の各々の地面上の位置を固定して、ロボット１００の地面上の位置及びカメラ１０の観測方向を、上記の事後分布を表すエネルギーコスト関数を最適化するように推定する。
ステップＳ１０８では、ＣＰＵ６１が、生成部２６として、上記（２）式に従って、ロボット１００の地面上の位置及びカメラ１０の観測方向を固定して、人物の各々の地面上の位置を、上記の事後分布を表すエネルギーコスト関数を最適化するように推定する。
ステップＳ１１０では、ＣＰＵ６１が、生成部２６として、予め定められた反復終了条件を満たしたか否かを判定する。例えば、反復回数が上限回数に到達したことや、エネルギーコスト関数の値が収束したことなどを、反復終了条件として用いればよい。反復終了条件を満たした場合には、ＣＰＵ６１は、ステップＳ１１２へ移行する。一方、反復終了条件を満たしていない場合には、ＣＰＵ６１は、ステップＳ１０６へ戻る。
ステップＳ１１２では、ＣＰＵ６１が、生成部２６として、最終的に得られた、各時刻についての、ロボット１００の地面上の位置、カメラ１０の観測方向、及び人物の各々の地面上の位置を表す俯瞰データを生成し、制御部２８に出力し、俯瞰データ生成処理を終了する。
制御部２８は、生成された俯瞰データを用いて、ロボット１００が目的地に移動するように、ロボット１００の移動方向及び速度を指定し、指定された移動方向及び速度で移動するように自律走行部６０を制御する。また、制御部２８は、俯瞰データを用いて、介入行動が必要と判断した場合には、「道を空けてください」等のメッセージを音声出力したり、警告音を鳴らすよう報知部５０を制御する。
このように、本実施形態では、動的な環境においてカメラ１０を搭載したロボット１００からの視点で観測された少なくとも１人の人物を表す画像の時系列データを取得し、実空間における人物の大きさに関する事前情報、並びに画像上の人物の大きさ及び位置を用いて求められる、実空間におけるロボット１００からの人物の相対位置と、予め定められた、人物の動きを表す動きモデルとを用いて、画像の時系列データから、ロボット１００の地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成する。これにより、静的なランドマークが検出されない状況であっても、動的な環境においてカメラ１０を搭載したロボット１００からの視点で観測された画像から、ロボット１００の地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成することができる。
［第２実施形態］
次に、第２実施形態に係る俯瞰データ生成装置について説明する。なお、第１実施形態と同様の構成となる部分については、同一符号を付して詳細な説明を省略する。
第２実施形態では、俯瞰データ生成装置を、ユーザが保持している情報処理端末に備えられている場合を例に説明する。
図７は、本発明の第２実施形態に係る情報処理端末２００の概略構成を示す図である。図７に示すように、情報処理端末２００は、カメラ１０、俯瞰データ生成装置２２０、及び出力部２５０を備える。俯瞰データ生成装置２２０は、取得部２２、追跡部２４、及び生成部２６を備える。なお、ユーザが、観測移動体の一例であり、カメラ１０が、観測装置の一例である。
情報処理端末２００は、ユーザにより直接保持されているか、あるいは、ユーザが保持する保持物体（例えば、スーツケース）に搭載されている。
カメラ１０は、ユーザの周囲を予め定めた間隔で撮影し、撮影した画像を俯瞰データ生成装置２２０の取得部２２に出力する。
生成部２６は、実空間における人物の大きさに関する事前情報、並びに画像上の人物の各々の大きさ及び位置を用いて求められる、実空間におけるユーザからの人物の相対位置と、予め定められた、人物の動きを表す動きモデルとを用いて、画像の時系列データから、ユーザを俯瞰した位置から観測した場合に得られる、ユーザの地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成し、出力部２５０へ出力する。
出力部２５０は、生成された俯瞰データをユーザに提示したり、インターネットを介してサーバ（図示省略）へ俯瞰データを送信する。
また、俯瞰データ生成装置２２０は、図５に示すように、上記第１実施形態の俯瞰データ生成装置２０と同様のハードウェア構成を有する。
なお、俯瞰データ生成装置２２０の他の構成及び作用については、第１実施形態と同様であるため、説明を省略する。
このように、本実施形態では、動的な環境においてカメラ１０を有する情報処理端末２００を保持したユーザからの視点で観測された少なくとも１人の人物を表す画像の時系列データを取得し、実空間における人物の大きさに関する事前情報、並びに画像上の人物の大きさ及び位置を用いて求められる、実空間におけるユーザからの人物の相対位置と、予め定められた、人物の動きを表す動きモデルとを用いて、画像の時系列データから、ユーザの地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成する。これにより、静的なランドマークが検出されない状況であっても、動的な環境においてカメラ１０を有する情報処理端末２００を保持したユーザからの視点で観測された画像から、ユーザの地面上の移動軌跡、及び人物の各々の地面上の移動軌跡を表す俯瞰データを生成することができる。
本発明は、自動運転車両にも応用することができる。この場合、観測移動体は自動運転車両であり、観測装置は、カメラ、レーザーレーダー、ミリ波レーダーであり、移動体は他の車両、オートバイ、歩行者等である。
［実施例］
上記第１実施形態の俯瞰データ生成装置２０により、画像の時系列データから、俯瞰データを生成した例について説明する。
本実施例では、図８に示すような混雑環境で撮影された画像の時系列データを入力とした。図８では、時刻ｔ、ｔ＋１、ｔ＋２の画像１１、１２、１３からなる時系列データを入力とした例を示している。このとき、俯瞰データ生成装置２０により、図９に示すような俯瞰データが生成された。図９では、俯瞰データが、時刻ｔ、ｔ＋１、ｔ＋２におけるロボット１００及び人物の各々の地面上の位置を表す例を示している。
［変形例］
なお、上記の実施形態では、ロボット１００や情報処理端末２００が俯瞰データ生成装置２０、２２０を備えた場合について説明したが、俯瞰データ生成装置２０、２２０の機能を外部サーバに設けてもよい。この場合、ロボット１００や情報処理端末２００は、カメラ１０で撮影した画像の時系列データを外部サーバに送信する。外部サーバは、送信された画像の時系列データから、俯瞰データを生成し、ロボット１００や情報処理端末２００に送信する。
また、俯瞰データにおいて、各時刻のロボット１００やユーザの位置、及び各人物の位置を、図１０に示すような確率分布として表すようにしてもよい。この場合、生成部２６は、画像の時系列データから、ロボット１００やユーザの各時刻の地面上の位置分布を表す移動軌跡、及び人物の各々の各時刻の地面上の位置分布を表す移動軌跡を表す俯瞰データを生成する。
また、生成部２６は、カメラ１０により撮影される画像から静的なランドマークが検出される条件下では、画像が表す静的なランドマークを用いて俯瞰データを生成してもよい。例えば、上記の非特許文献２に記載の技術を用いてもよい。この場合、カメラ１０により撮影される画像から静的なランドマークが検出される条件下では、画像が表す静的なランドマークを用いて俯瞰データを生成するようにし、カメラ１０により撮影される画像から静的なランドマークが検出されない条件下（例えば、混雑した環境）では、上記の実施形態で説明した手法により、俯瞰データを生成してもよい。また、画像が表す静的なランドマークを用いて生成された俯瞰データと、上記の実施形態で説明した手法により生成された俯瞰データとを統合するようにしてもよい。
また、移動モデルとして、数式で規定されるモデルを用いる場合を例に説明したが、これに限定されるものではない。移動モデルとして、予め学習されたＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルを用いてもよい。例えば、周辺の人物の各々の相対位置を入力として、次の時刻ステップの対象人物の位置を出力するＤＮＮモデルを、移動モデルとして用いてもよい。
また、追跡部２４は、画像上の人物の各々について、当該人物を表すバウンディングボックスを検出して追跡し、画像上の人物の中心位置（バウンディングボックスの中心位置）及び高さ（バウンディングボックスの高さ）を時刻毎に取得する場合を例に説明したが、これに限定されるものではない。例えば、追跡部２４は、画像上の人物の各々について、当該人物を表す人物骨格を検出して追跡し、画像上の人物の中心位置（人物骨格の中心位置）及び高さ（人物骨格の高さ）を時刻毎に取得するようにしてもよい。また、図１１に示すように、追跡部２４は、画像上の人物の各々について、当該人物を表す高さを示す線を検出して追跡し、画像上の人物の中心位置（線の中心位置）及び高さ（線の高さ）を時刻毎に取得するようにしてもよい。
また、２次元観測情報が、画像である場合を例に説明したが、これに限定されるものではない。例えば、観測装置がイベントカメラであれば、各画素について、動きに応じた画素値を有するデータを、２次元観測情報として用いてもよい。
また、俯瞰データが表す移動体が人物である場合を例に説明したが、これに限定されるものではない。例えば、俯瞰データが表す移動体が、自転車、車両などのパーソナルモビリティであってもよい。
また、上記各実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行し俯瞰データ生成処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、俯瞰データ生成処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、俯瞰データ生成プログラムがストレージ６４に予め記憶されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
１０ カメラ
２０ 俯瞰データ生成装置
２２ 取得部
２４ 追跡部
２６ 生成部
２８ 制御部
５０ 報知部
６０ 自律走行部
１００ ロボット
２００ 情報処理端末
２２０ 俯瞰データ生成装置

Claims (12)

  1. 動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す時系列データを取得する取得部と、
    実空間における前記移動体の大きさに関する事前情報、並びに前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、
    前記時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部と、
    を含む俯瞰データ生成装置。
  2. 前記事前情報は、実空間における前記移動体の大きさの分布に関するものであり、
    前記生成部は、前記観測移動体からの前記移動体の相対位置の分布と、前記移動体の動きの分布を表す前記動きモデルとを用いて、
    前記時系列データから、前記観測移動体の各時刻の地面上の位置分布を表す前記移動軌跡、及び前記移動体の各々の各時刻の地面上の位置分布を表す前記移動軌跡を表す前記俯瞰データを生成する請求項１記載の俯瞰データ生成装置。
  3. 前記動きモデルは、前記移動体の等速運動を表すモデル、又は前記移動体間の相互作用に応じた動きを表すモデルである請求項１又は２記載の俯瞰データ生成装置。
  4. 前記時系列データから、前記移動体の各々を追跡し、前記移動体の各々の各時刻の位置及び大きさを取得する追跡部を更に含み、
    前記生成部は、前記追跡部によって取得された前記移動体の各々の各時刻の位置及び大きさから、前記俯瞰データを生成する請求項１～請求項３の何れか１項記載の俯瞰データ生成装置。
  5. 前記生成部は、各時刻についての、前記観測移動体からの前記移動体の相対位置と、前記動きモデルとを用いて表される事後分布であって、一時刻前の前記観測移動体及び前記移動体の各々の地面上の位置が与えられた下での、前記観測移動体及び前記移動体の各々の地面上の位置の事後分布を最大化するように、前記俯瞰データを生成する請求項１～請求項４の何れか１項記載の俯瞰データ生成装置。
  6. 前記生成部は、
    前記移動体の各々の地面上の位置を固定して、前記観測移動体の地面上の位置及び前記観測装置の観測方向を、前記事後分布を表すエネルギーコスト関数を最適化するように推定すること、及び
    前記観測移動体の地面上の位置及び前記観測装置の観測方向を固定して、前記移動体の各々の地面上の位置を、前記事後分布を表すエネルギーコスト関数を最適化するように推定すること
    を交互に繰り返すことにより、前記俯瞰データを生成する請求項５記載の俯瞰データ生成装置。
  7. 前記生成部は、静的なランドマークが検出される条件下では、前記静的なランドマークを用いて前記俯瞰データを生成する請求項１～請求項６の何れか１項記載の俯瞰データ生成装置。
  8. コンピュータに、
    動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す時系列データを取得する取得工程と、
    実空間における前記移動体の大きさに関する事前情報、並びに前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、
    前記時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、
    を含む処理を実行させるための俯瞰データ生成プログラム。
  9. コンピュータが、
    動的な環境において観測装置を搭載した観測移動体からの視点で観測された少なくとも１つの移動体を表す時系列データを取得する取得工程と、
    実空間における前記移動体の大きさに関する事前情報、並びに前記移動体の大きさ及び位置を用いて求められる、実空間における前記観測移動体からの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、
    前記時系列データから、前記観測移動体を俯瞰した位置から観測した場合に得られる、前記観測移動体の地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成工程と、
    を含む処理を実行する俯瞰データ生成方法。
  10. 動的な環境において観測装置を搭載したロボットからの視点で観測された少なくとも１つの移動体を表す時系列データを取得する取得部と、
    実空間における前記移動体の大きさに関する事前情報、並びに前記移動体の大きさ及び位置を用いて求められる、実空間における前記ロボットからの前記移動体の相対位置と、予め定められた、前記移動体の動きを表す動きモデルとを用いて、
    前記時系列データから、前記ロボットを俯瞰した位置から観測した場合に得られる、前記ロボットの地面上の移動軌跡、及び前記移動体の各々の地面上の移動軌跡を表す俯瞰データを生成する生成部と、
    前記ロボットを自律走行させる自律走行部と、
    前記俯瞰データを用いて、前記ロボットが目的地に移動するように前記自律走行部を制御する制御部と、
    を含むロボット。
  11. 前記取得部は、カメラ、レーザーレーダー、及びミリ波レーダーのいずれかを含む請求項１の俯瞰データ生成装置。
  12. 前記取得工程は、カメラ、レーザーレーダー、及びミリ波レーダーのいずれかを用いて観測された前記少なくとも１つの移動体を表す時系列データを取得する請求項９の俯瞰データ生成方法。
JP2021177665A 2021-10-29 2021-10-29 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット Active JP7438510B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021177665A JP7438510B2 (ja) 2021-10-29 2021-10-29 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
CN202280065202.7A CN118056398A (zh) 2021-10-29 2022-10-04 俯瞰数据生成装置、俯瞰数据生成程序、俯瞰数据生成方法及机器人
PCT/JP2022/037139 WO2023074279A1 (ja) 2021-10-29 2022-10-04 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP2024015105A JP2024060619A (ja) 2021-10-29 2024-02-02 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021177665A JP7438510B2 (ja) 2021-10-29 2021-10-29 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024015105A Division JP2024060619A (ja) 2021-10-29 2024-02-02 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Publications (3)

Publication Number Publication Date
JP2023066840A JP2023066840A (ja) 2023-05-16
JP2023066840A5 JP2023066840A5 (ja) 2023-12-12
JP7438510B2 true JP7438510B2 (ja) 2024-02-27

Family

ID=86157838

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021177665A Active JP7438510B2 (ja) 2021-10-29 2021-10-29 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP2024015105A Pending JP2024060619A (ja) 2021-10-29 2024-02-02 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024015105A Pending JP2024060619A (ja) 2021-10-29 2024-02-02 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット

Country Status (3)

Country Link
JP (2) JP7438510B2 (ja)
CN (1) CN118056398A (ja)
WO (1) WO2023074279A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213039A (ja) 2018-06-04 2019-12-12 国立大学法人 東京大学 俯瞰映像提示システム
WO2021095464A1 (ja) 2019-11-13 2021-05-20 オムロン株式会社 ロボット制御モデル学習方法、ロボット制御モデル学習装置、ロボット制御モデル学習プログラム、ロボット制御方法、ロボット制御装置、ロボット制御プログラム、及びロボット
WO2021095463A1 (ja) 2019-11-13 2021-05-20 オムロン株式会社 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110114974B (zh) 2016-11-25 2024-01-12 国立大学法人东北大学 弹性波器件

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019213039A (ja) 2018-06-04 2019-12-12 国立大学法人 東京大学 俯瞰映像提示システム
WO2021095464A1 (ja) 2019-11-13 2021-05-20 オムロン株式会社 ロボット制御モデル学習方法、ロボット制御モデル学習装置、ロボット制御モデル学習プログラム、ロボット制御方法、ロボット制御装置、ロボット制御プログラム、及びロボット
WO2021095463A1 (ja) 2019-11-13 2021-05-20 オムロン株式会社 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット

Also Published As

Publication number Publication date
CN118056398A (zh) 2024-05-17
JP2023066840A (ja) 2023-05-16
JP2024060619A (ja) 2024-05-02
WO2023074279A1 (ja) 2023-05-04

Similar Documents

Publication Publication Date Title
Kolhatkar et al. Review of SLAM algorithms for indoor mobile robot with LIDAR and RGB-D camera technology
CN110796692A (zh) 用于同时定位与建图的端到端深度生成模型
Sless et al. Road scene understanding by occupancy grid learning from sparse radar clusters using semantic segmentation
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
KR20150144727A (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP2009266224A (ja) リアルタイム・ビジュアル・オドメトリの方法およびシステム
US11741720B2 (en) System and method for tracking objects using using expanded bounding box factors
Warren et al. Large scale monocular vision-only mapping from a fixed-wing sUAS
Dhawale et al. Fast monte-carlo localization on aerial vehicles using approximate continuous belief representations
WO2021095463A1 (ja) 自己位置推定モデル学習方法、自己位置推定モデル学習装置、自己位置推定モデル学習プログラム、自己位置推定方法、自己位置推定装置、自己位置推定プログラム、及びロボット
JP7438510B2 (ja) 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
Silva et al. Towards a grid based sensor fusion for visually impaired navigation using sonar and vision measurements
JP7438515B2 (ja) 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
JP2020064029A (ja) 移動体制御装置
WO2023176854A1 (ja) 俯瞰データ生成装置、学習装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット
US20230012905A1 (en) Proximity detection for automotive vehicles and other systems based on probabilistic computing techniques
KR20110098252A (ko) 카메라 포즈 결정 방법
US11443184B2 (en) Methods and systems for predicting a trajectory of a road agent based on an intermediate space
Son et al. Optimized robot mapping and obstacle avoidance using stereo vision
Hadji et al. A Review: Simultaneous localization and mapping algorithms for mobile robot
Taylor et al. Parameterless automatic extrinsic calibration of vehicle mounted lidar-camera systems
US20230077856A1 (en) Systems and methods for single-shot multi-object 3d shape reconstruction and categorical 6d pose and size estimation
CN114440882B (zh) 一种多智能家居移动设备及其协作寻路防撞方法
Ravipati Vision Based Vehicle Localization for Infrastructure Enabled Autonomy
Despond Non-Cooperative Spacecraft Pose Estimation Using Convolutional Neural Networks

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240205

R150 Certificate of patent or registration of utility model

Ref document number: 7438510

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150