JP7127651B2 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
JP7127651B2
JP7127651B2 JP2019549925A JP2019549925A JP7127651B2 JP 7127651 B2 JP7127651 B2 JP 7127651B2 JP 2019549925 A JP2019549925 A JP 2019549925A JP 2019549925 A JP2019549925 A JP 2019549925A JP 7127651 B2 JP7127651 B2 JP 7127651B2
Authority
JP
Japan
Prior art keywords
information
appearance
target object
unit
object model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019549925A
Other languages
English (en)
Other versions
JPWO2019087581A1 (ja
Inventor
啓輔 前田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019087581A1 publication Critical patent/JPWO2019087581A1/ja
Application granted granted Critical
Publication of JP7127651B2 publication Critical patent/JP7127651B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01VGEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00Prospecting or detecting by optical means
    • G01V8/10Detecting, e.g. by using light barriers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Description

この技術は、情報処理装置と情報処理方法およびプログラムに関し、物体の識別を精度よく行えるようにする。
従来、物体の識別では入力データと出力ラベルの組み合わせを学習して、新規の入力データに対してラベルを予測することが行われている。例えば、特許文献1では、対象物体までの距離に応じて複数のテンプレートを用意しておき、画像内の位置に応じてテンプレートを切替えることで認識精度の向上が図られている。また、引用文献2では、対象物体が存在する位置や姿勢を、テンプレートの絞込みに用いることが示されている。
特開2007-072665号公報 特開2016-136320号公報
ところで、物体の識別では、学習時と似たデータほど予測精度が安定して、学習時と似ていないデータでは予測を誤る可能性が高い。例えば、画像から人を識別する場合に、全身写真で学習した識別器に接写写真を与えると、写っている人の予測を誤る可能性が高い。また、対象物体までの距離に応じて複数のテンプレートを用意する場合、移動体などのセンサの位置や姿勢が変化したことにより距離が誤って推定されると、テンプレートの切り替えを最適に行うことができない。また、対象物体が存在する位置や姿勢に基づいてテンプレートの絞込みを行う場合、見た目が異なると識別精度の低下を招く。例えば対象物体が見切れて全体像が写っていないなど、テンプレートと見た目が一致しない撮像画像では誤認識が増える。また、見た目に対してロバストとするためには様々な見た目のテンプレートを用意しなければならなくなってしまう。
そこで、この技術では物体の識別を精度よく行える情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
この技術の第1の側面は、
対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置にある。
この技術において、見え情報生成部は、対象物体の位置を示す位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する。例えば、見え情報生成部は、物体情報を取得するセンサ部の視野領域と物体モデルの重なる領域に対して透視投影変換を行い、物体モデルの見えを示す見え情報を生成する。視野領域は、見え情報生成部は、センサ部の位置と姿勢およびパラメータ情報に基づき判別する。また、見え情報生成部は、視野領域と物体モデルの重複領域に含まれており、対象物体よりも手前に位置する非対象物体の領域を、見え情報から除外する。対象物体の位置は、物体情報が示す対象物体の撮像画における対象物体の位置と、物体情報の情報取得位置から対象物体までの距離とパラメータ情報に基づいて検出する。また、対象物体の位置は、物体情報が示す対象物体までの測距値を示す点群データを測距値に応じてクラスタリングして検出したクラスタの位置として検出してもよい。さらに、物体識別部は、見え情報生成部で生成された物体モデル毎の見え情報を用いて対象物体の識別を行う。
また、物体情報を取得するセンサ部を飛行体に設けて、対象物体の位置を示す位置情報は、物体モデルを配置する例えば地面等の基準平面に対するセンサ部の姿勢を含める。さらに、位置算出部を設けて、位置算出部は、物体モデルの位置情報と対象物体に一致する見え情報およびセンサ部の姿勢に基づき、センサ部の位置を算出する。また、センサ部のロール方向の姿勢変化量を取得できない場合、物体モデルはロール方向に異なる姿勢毎に設ける。
この技術の第2の側面は、
対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
を含む情報処理方法にある。
この技術の第3の側面は、
対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
を前記コンピュータで実行させるプログラムにある。
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
この技術によれば、対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報が生成される、したがって、情報取得位置から取得した対象物体の情報と見え情報を比較することで、対象物体の識別精度を向上できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
システムの第1の構成を例示した図である。 物体モデルを例示した図である。 基準平面の座標系を基準として撮像部と物体モデルを配置した場合を例示した図である。 基準平面の座標系を基準として求めた撮像部の視野領域を表す三次元図形を例示した図である。 物体モデルの見えを説明するための図である。 見え情報を例示した図である。 見え情報生成部の動作を例示したフローチャートである。 姿勢の算出動作を例示したフローチャートである。 物体モデルの立ち位置の算出動作を示すフローチャートである。 角度の算出動作を示すフローチャートである。 複数の物体モデルの見え情報を例示した図である。 自己の一部が写り込む場合を例示した図である。 複数の物体モデルの見え情報を例示した図である。 システムの第2の構成を例示した図である。 三次元LIDARを用いた場合の視野領域を示す図である。 第2の構成の動作で得られる見え情報を例示した図である。 無人飛行体に対して下向きにセンサ部を設けた場合を例示した図である。 無人飛行体にシステムを適用した場合の構成を例示した図である。 物体モデルの候補を複数の姿勢毎に設けた場合を示す図である。 視野領域を例示した図である。 見え情報を例示した図である。 複数の物体モデルの見え情報を例示した図である。 自己位置の算出動作を説明するための図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.システムの第1の構成
2.第1の構成の第1の動作
3.第1の構成の第2の動作
4.システムの第2の構成
5.第2の構成の動作
6.システムの他の動作
<1.システムの第1の構成>
図1は、本技術の情報処理装置を用いたシステムの第1の構成を例示している。図1に示すシステムは、各種センサを搭載した移動体、例えば撮像部と測距部を備えるロボットである。システム10は、撮像部11、測距部12、物体検出部13、物体位置検出部14、情報記憶部15、見え情報生成部17、物体識別部18を有している。
撮像部11は、対象物体を表す物体情報を取得する。物体情報は対象物体を外から観測して取得できる外的特徴を示す情報であり、例えば対象物体の形状,輝度,色,温度等を示している。撮像部11としては、三原色の撮像画を得られるカラーカメラ、白黒の撮像画を得られる白黒カメラ、対象物体の温度を示す温度画像を得られる赤外線カメラ等が用いられる。なお、撮像部11で対象物体を表す物体情報の取得する際のパラメータ情報、物体情報を取得した情報取得位置である撮像部11の位置とその姿勢、撮像部11の視野角や焦点距離等のパラメータ(センサパラメータともいう)は、後述する情報記憶部15に記憶される。
測距部12は、対象物体までの距離を測定するためのセンサである。測距部12としては、ステレオカメラ、像面位相差画素を有するイメージセンサを用いることで撮像画と測距情報を取得できるカメラ、TOF(Time of Flight)センサ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、RADAR(Radio Detection and Ranging)等が用いられる。
物体検出部13は、撮像部11で取得された撮像画をもとに対象物体が存在することを検出して、検出した対象物体の画像内の位置を出力する。
物体位置検出部14は、物体検出部13で検出された対象物体の撮像画内における位置、測距部12で測定された対象物体までの距離、情報記憶部15に記憶されているパラメータ情報等に基づき、対象物体の三次元位置を検出する。物体位置検出部14は、検出した位置を示す位置情報を見え情報生成部17へ出力する。
情報記憶部15は、対象物体を表す物体情報の取得に関するパラメータ情報を記憶している。パラメータ情報には、撮像部11の位置と姿勢やセンサパラメータ等を記憶している。また、情報記憶部15は、学習された物体モデルを表す物体モデル情報を記憶している。
見え情報生成部17は、対象物体の位置を示す位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報を用いて、物体情報を取得した情報取得位置から対象物体の位置に設けた物体モデルの見えを表す見え情報を物体モデル毎に生成する。見え情報生成部17は、物体情報を取得する撮像部11の視野領域と重なる物体モデルの部分を物体モデルの見えとする。また、見え情報生成部17は、撮像部11の位置と姿勢およびセンサパラメータに基づき、視野領域と重なる物体モデルの部分を判別する。
物体識別部18は、見え情報生成部17で生成された物体モデル毎の見え情報と物体検出部13で検出された対象物体を比較して、検出された対象物体と一致する見え情報に対応する物体モデルを対象物体と識別して物体識別結果を出力する。
<2.第1の構成の第1の動作>
次に、システムの第1の構成の第1の動作について説明する。なお、図2は物体モデルを例示しており、物体モデルOBmは「大きさを持った二次元の画像」と仮定している。また、撮像部11では、物体情報として対象物体の撮像画を取得している。
見え情報生成部17は、検出された対象物体の位置情報と撮像部11の位置と姿勢に基づき、基準平面上に撮像部11と物体モデルを配置する。物体モデルは、例えば基準平面に垂直であって撮像部11に正対するように、対象物体の位置に配置する。この場合、座標系は統一されていればどのような座標系でもよい。
図3は、基準平面の座標系を基準として撮像部と物体モデルを配置した場合を例示している。見え情報生成部17は、物体モデルの三次元位置を示す点を通り、基準平面に足を持つ垂線VLaを求める。なお、垂線VLaと基準平面との交点を立ち位置PSaとする。次に、見え情報生成部17は、撮像部11の基準点を通り基準平面に足を持つ垂線VLbを求める。なお、垂線VLbと基準平面との交点を立ち位置PSbとする。さらに、立ち位置PSaと立ち位置PSbを結ぶ線分HLcを求める。垂線VLaを含み線分HLcに垂直な平面上に、物体モデルの下底が基準平面に乗るように物体モデルOBmを配置する。
また、見え情報生成部17は、撮像部11の位置と姿勢およびパラメータ情報に基づき三次元空間における撮像部11の視野領域、例えば撮像部11の視野領域を表す三次元図形を求める。一般的な撮像部において、視野領域はカメラ位置を頂点とした四角錐内の領域となる。図4は、基準平面の座標系を基準として求めた撮像部の視野領域を表す三次元図形を例示している。見え情報生成部17は、基準平面の座標系で撮像部11の位置と姿勢、および水平画角と垂直画角をもとに、視野領域ARvを表す三次元の四角錐を求める。
次に、見え情報生成部17は、基準平面に配置した物体モデルOBmと、視野領域を示す四角錐との重なりに基づき、物体モデルから見え情報を生成する。図5は物体モデルの見えを説明するための図である。図5の(a)に示すように、撮像部11の光軸と物体モデルOBmの正面方向で傾きθを生じていると、撮像部11に対して物体モデルOBmは傾いた姿勢となっている。したがって、図5の(b)に示すように、撮像部11に対して傾きθを生じた物体モデルOBm、すなわち撮像部11と対象物体の位置関係に応じた姿勢の物体モデルOBmにおいて、撮像部11の視野領域を示す四角錐に含まれる領域が物体モデルの見えとなる。このため、見え情報は、図6に示すように、撮像部11に対して傾きθを生じた姿勢の物体モデルOBmにおいて、視野領域と重なる領域MPを透過投影変換して撮像部の座標系に変換したものとなり、画像GVを示すことになる。なお、撮像部11の光軸が物体モデルOBmの面に対して鉛直方向であれば重なり部分は矩形状となり、光軸が物体モデルOBmの面に対して鉛直方向でない場合は、矩形状とは異なる四角形となる。
図7は、見え情報生成部の動作を例示したフローチャートである。ステップST1で見え情報生成部は対象物体の三次元位置が検出されているか判別する。見え情報生成部17は、物体位置検出部14で対象物体の三次元位置が検出されていない場合にステップST1に戻り、検出されている場合ステップST2に進む。
ステップST2で見え情報生成部は物体モデルの姿勢を算出する。見え情報生成部17は、物体モデルの基準平面上における姿勢を算出する。図8は、姿勢の算出動作を例示したフローチャートである。
ステップST11で見え情報生成部は撮像部の立ち位置を算出する。見え情報生成部17は、上述のように、撮像部11の基準点を通り基準平面に足を持つ垂線VLbのZ方向の座標値が「0」となる位置を撮像部11の立ち位置PSbとしてステップST12に進む。
ステップST12で見え情報生成部は物体モデルの立ち位置を算出する。図9は物体モデルの立ち位置の算出動作を示すフローチャートである。ステップST21で見え情報生成部は基準平面への座標変換を行う。見え情報生成部17は、物体モデルを基準平面の座標に変換してステップST22に進む。
ステップST22で見え情報生成部は立ち位置を算出する。見え情報生成部17は、物体位置検出部14で検出された対象物体の三次元位置を基準平面に座標変換したときにZ方向の座標値が「0」となる位置を、座標変換後の物体モデルOBmの立ち位置PSaとして、図8のステップST13に進む。
ステップST13で見え情報生成部は撮像部から対象物体への角度を算出する。図10は角度の算出動作を示すフローチャートである。ステップST31で見え情報生成部は方向ベクトルを算出する。見え情報生成部17は、物体モデルOBmの立ち位置PSaと撮像部11の立ち位置PSbの差を示す方向ベクトルを算出してステップST32に進む。
ステップST32で見え情報生成部は方向ベクトルの角度を算出する。見え情報生成部17は、ステップST31で算出した方向ベクトルにおいて、撮像部11と対象物体における撮像部11の光軸位置を結ぶ直線と基準平面との角度を算出する。具体的には、見え情報生成部17は、立ち位置PSbにおいてテンプレート情報で示された撮像部11の位置(高さ)と、立ち位置PSaの対象物体において、撮像部11の位置や姿勢等に基づき算出した撮像部11の光軸位置の高さの差を算出する。また、見え情報生成部17は、算出した高さの差とステップST31で算出された方向ベクトルのノルムとを用いて算出した逆正接を方向ベクトルの角度(傾き)θとして図8のステップST14に進む。
ステップST14で見え情報生成部は物体モデルの姿勢を設定する。見え情報生成部17は、物体モデルOBmを撮像部11に対してステップST13で算出した傾きθを生じた姿勢に設定して図7のステップST4に進む。なお、傾きθを生じた姿勢とは図5に示す状態である
ステップST4で見え情報生成部は視野領域と設定した姿勢の物体モデルとの重複領域を検出する。見え情報生成部17は、撮像部11に対する物体モデルOBmの姿勢および撮像部11の視野領域に基づき、物体モデルと視野領域が重複する重複領域を検出してステップST5に進む。
ステップST5で見え情報生成部は重複領域があるか判別する。見え情報生成部17は、重複領域がある場合はステップST6に進み、重複領域がない場合はステップST1に戻る。
ステップST6で見え情報生成部は重複領域の物体モデルを抽出する。見え情報生成部17は、ステップST4で検出された重複領域を物体モデルとして抽出してステップST7に進む。
ステップST7で見え情報生成部は抽出した部分を光軸に対して垂直に透視投影変換を行う。見え情報生成部17は、ステップST6で抽出した物体モデルを撮像部11の光軸に対して垂直に透視投影変換を行い、撮像部11の座標系に変換された物体モデルを示す情報を見え情報としてステップST8に進む。
ステップST8で見え情報生成部は見え情報を出力する。見え情報生成部17は、ステップST6の座標変換によって決定された物体モデル座標における重複領域の画像を見え情報として物体識別部18へ出力する。
なお、図7におけるステップST2とステップST3の処理は何れの処理を先に行ってもよく、並列して行ってもよい。また、図8におけるステップST11とステップST12の処理も同様である。
図11は、複数の物体モデルの見え情報を例示している。本技術の第1の動作によれば、図11の(a)に示すように、物体モデルOBmaについて例えば領域MPを示す画像が見え情報として生成される。同様に、物体モデルOBmb,OBmcについても領域MPを示す画像が見え情報として生成されて、見え情報は物体モデル毎に異なる。したがって、物体検出部13で検出された対象物体を表す入力画像GDと見え情報を比較することで、検出された対象物体が物体モデルOBmbであることを正しく識別できる。なお、図11の(b)は従来の技術を用いた場合であり、物体モデルOBma,OBmb,OBmcにおいて、破線で示す領域は検出された対象物体を表す入力画像GDと類似している。このため検出された物体は、物体モデルOBmaあるいは物体モデルOBmcと判定されてしまう場合が生じて、本技術のような精度の高い識別処理を行うことはできない。また、図11の(c)に示すように物体モデル全体を用いて識別処理を行った場合、入力画像GDと全体像が似ている物体モデルOBmaが選ばれやすく、本技術のような精度の高い識別処理を行うことはできない。
このような本技術の第1の動作によれば、物体モデルの見え情報は撮像部の位置や姿勢等に応じた見えが考慮されて生成されることから、取得された撮像画において対象物体の一部が見切れても、見切れに対してロバストであって、物体の識別精度を向上させることができる。また、物体モデルは撮像部による見えが考慮されることから、見た目が似ている物体を対象物体として誤識別してしまうことを防止できる。
また、見切れた物体の検出率を上げるために、見切れた物体の画像を学習データに加えると、見た目が似ている物体を対象物体として誤識別してしまう可能性が高くなる。例えば、頭が見えない人の画像を学習した場合に、ハンガーに掛けられた洋服の撮像画では、対象物体を人と誤識別する可能性がある。しかし、本技術によれば、全身が写るような撮像条件では、撮像条件に応じた見え情報を用いて物体の識別が行われる。したがって、全身が写るような撮像条件でハンガーに掛けられた洋服を撮像した場合、対象物体が人と誤識別されてしまう可能性を低くできる。
また、対象物体の全体を示す物体情報を学習しておけば、撮像部の位置や姿勢等に応じた見え情報を用いて物体の識別を行うことができるので、対象物体の一部が見切れた様々な物体モデルを学習しておく必要がなく、学習データのデータ量を削減できる。
さらに、撮像部から対象物体までの距離を用いて見え情報が生成されるので、見え情報は物体モデルの大きさが考慮される。例えば撮像部から対象物体までの距離が等しい場合、物体モデルが大きければ見え情報には物体モデルの一部が含まれて、物体モデルが小さければ見え情報には物体モデルの全体が含まれる。したがって、見た目が同じサイズでも、撮像部から対象物体までの距離に応じた大きさを考慮して物体の識別を行うことができる。
<3.第1の構成の第2の動作>
次に、システムの第1の構成の第2の動作について説明する。撮像部11で取得される撮像画には、対象物体だけでなく自己の一部が写り込む場合がある。例えば、アクセサリ等を撮像部11に取り付けるための取付器具や操作性等を向上させるために撮像部11に取り付けられるリグ等の付属器具が視野領域内に含まれると、付属機器の一部が撮像画に写り込んでしまう。また、システムが可動機構を有する機器、例えばロボット等に適用された場合、可動するアーム等が撮像画に写り込んでしまう場合もある。そこで、見え情報生成部17は、撮像部11の視野領域と対象物体の位置に設けた物体モデルの重複部分に含まれており、対象物体よりも手前に位置する非対象物体である自己形状部分(付属機器やアーム等の部分)が除外された見え情報を生成する。
見え情報生成部17は、推定された三次元の物体位置、基準平面の位置と姿勢、撮像部11の位置と姿勢に基づき、三次元上に物体モデルを配置する。物体モデルは、例えば、三次元物体位置を含み、基準平面に垂直で、撮像部11に正対するように配置する。この場合、座標系は統一されていればどのような座標系でもよい。
次に、見え情報生成部17は、パラメータ情報に基づき三次元空間における撮像部11の視野領域、例えば撮像部11の視野領域を表す三次元図形を求める。
見え情報生成部17は、第1の動作と同様にして撮像部11の視野領域と物体モデルの重なりを判別する。また、見え情報生成部17は、自己形状部分と視野領域の重なりを判別する。自己形状は、例えば三次元のメッシュや単純図形(例えば球・円柱・角柱・直方体・円錐・角錐)の組み合わせで示されている。見え情報生成部17は、撮像部11のパラメータ情報と自己形状および自己形状部分の位置に基づき、自己形状部分と視野領域との重なりを判別する。なお、撮像する被写体にかかわらず撮像画の固定した位置に写り込む被写体の領域を自己形状部分として、自己形状部分を示す自己形状領域情報を情報記憶部15に予め記憶させて、自己形状領域情報を用いて自己形状部分と視野領域との重なりを判別してもよい。
さらに、見え情報生成部17は、対象物体と自己形状部分の前後関係を求める。見え情報生成部17は、視野領域と重なりを生じている物体モデルと自己形状部分との前後関係を求め、対象物体よりも撮像部11に近い自己形状の部分を物体モデルに投射した領域を除外領域MRとする。
また、撮像画に写り込む自己形状部分が可動する構成である場合、見え情報生成部17は、自己形状部分の可動状態に応じて、除外領域MRを設定する。例えば、見え情報生成部17は、情報記憶部15に記憶されている自己形状の情報と制御部(図示せず)から供給された可動制御信号に基づき、自己形状部分と視野領域との重なりを判別して、対象物体と自己形状部分の前後関係に基づき除外領域MRを設定する。また、自己形状算出部を設けて、自己形状部分の可動状態(位置・姿勢)と情報記憶部15に記憶されている自己形状の情報から、撮像部11に対する自己形状部分の全体の形状を算出してもよい。この場合、見え情報生成部17は、自己形状算出部で算出された形状と視野領域との重なりを判別して、対象物体と自己形状部分の前後関係に基づき除外領域MRを設定する。
その後、見え情報生成部17は、視野領域と物体モデルとの重複領域の画像から自己形状部分に相当する除外領域MRの画像を除いて見え情報とする。
なお、第2の動作では、図7に示すステップST5の処理後に、自己形状部分と視野領域の重なりを求める処理と、物体モデルと自己形状部分の前後関係を求める処理を行い、物体モデルよりも手前の自己形状部分の領域を重複領域から除外したのちステップST6以降の処理を行えばよい。
図12は、自己の一部が写り込む場合を例示している。例えば、視野領域内に付属器具31が含まれると、撮像画に付属機器が写り込んでしまう。このような場合、第2の動作によれば精度よく識別処理を行うことができる。
図13は、複数の物体モデルの見え情報を例示している。本技術の第2の動作では、図13の(a)に示すように、物体モデルOBmaについて例えば領域MPから除外領域MRを除いた領域の画像GVmaが見え情報として生成される。同様に、物体モデルOBmb,OBmcについても領域MPから除外領域MRを除いた領域の画像GVmb,GVmcが見え情報として生成される。このため、見え情報は物体モデル毎に異なり、自己形状部分が比較対象から除外されている。したがって、物体検出部13で検出された物体を表す入力画像GDと見え情報を比較することで、検出された対象物体が物体モデルOBmbであることを正しく識別できる。なお、図13の(b)は従来の技術を用いた場合であり、自己形状部分である除外領域MRを含む入力画像GDと物体モデルOBma,OBmb,OBmcが比較されて、物体モデルOBmaの領域MQa,物体モデルOBmbの領域MQb,物体モデルOBmcの領域MQcには自己形状部分が含まれないことから、検出された物体は物体モデルOBma,OBmb,OBmcと異なると判定される。したがって、本技術のような精度の高い識別処理を行うことはできない。また、図13の(c)に示すように物体モデル全体を用いて識別処理を行った場合、入力画像GDと全体像が似ている物体モデルOBmaが選ばれやすく、本技術のような精度の高い識別処理を行うことはできない。
このような本技術の第2の動作によれば、撮像画に自己形状部分が含まれても、自己形状部分を除外して見え情報が生成されるので、第1の動作と同様に、対象物体の一部の見切れに対してロバストであって、物体の識別を精度よく行うことができる。また、見え情報は撮像部からの見えが考慮されることから、見た目が似ている物体を対象物体として誤識別しまうことが少なくなる。また、学習データのデータ量の削減や大きさを考慮した物体の識別を行うことができる。
<4.システムの第2の構成>
次に、システムの第2の構成について説明する。第2の構成では、物体情報を取得するセンサ部として測距部を用いて、対象物体上の各位置までの距離を示す点群測距データを、対象物体を表す物体情報として取得する場合について説明する。
図14は、本技術の情報処理装置を用いたシステムの第2の構成を例示している。システム20は、測距部21、クラスタリング部22、情報記憶部25、見え情報生成部27、物体識別部28を有している。
測距部21は、対象物体までの距離を測定するためのセンサである。測距部12としては、被写体上の各位置までの距離を測定して点群測距データを取得できる例えばLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)等が用いられる。測距部21は、取得した点群測距データをクラスタリング部22へ出力する。なお、測距部21として三次元LIDARを用いた場合の視野領域ARvは、図15に示すように2つの円錐に挟まれた領域となり、2つの円錐の領域は死角領域ARdとなる。
クラスタリング部22は、点群測距データのクラスタリングを行い、距離に基づいて点群測距データをクラスタに分類する。クラスタリング部22は、分類後の点群クラスタを物体識別部28へ出力する。また、クラスタリング部22は、対象物体を表す点群クラスタの位置情報を見え情報生成部27へ出力する。
情報記憶部25は、対象物体を表す物体情報の取得に関するパラメータ情報、例えば測距部21の位置と姿勢、測距部21の視野領域等を示すセンサパラメータを記憶している。また、情報記憶部25は、学習された物体モデルを表す物体モデル情報を記憶している。
見え情報生成部27は、クラスタリング部22で推定された対象物体の三次元位置、情報記憶部25に記憶されているパラメータ情報および物体モデル情報に基づき、物体モデルが測距部21からどのように見えているかを示す見え情報を物体モデル毎に生成する。
見え情報生成部27は、クラスタリング部22で検出された対象物体を示す対象物体を示す点群クラスタの位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報を用いて、物体情報を取得した情報取得位置から対象物体の位置に設けた物体モデルの見えを表す見え情報を物体モデル毎に生成する。見え情報生成部27は、物体情報を取得する測距部21の視野領域と重なる物体モデルの部分を物体モデルの見えとする。また、見え情報生成部27は、パラメータ情報に基づき視野領域と重なる物体モデルの部分を判別する。
物体識別部28は、見え情報生成部17で生成された物体モデル毎の見え情報とクラスタリング部22で分類された対象物体を表す点群クラスタを比較する。物体識別部28は、対象物体を表す点群クラスタと一致する見え情報に対応する物体モデルを対象物体と識別して物体識別結果を出力する。
<5.第2の構成の動作>
次に、システムの第2の構成の動作について説明する。見え情報生成部27は、検出された対象物体の位置情報と測距部21の位置と姿勢に基づき、基準平面上に測距部21と物体モデルを配置する。物体モデルは、例えば基準平面に垂直であって測距部21に正対するように、対象物体の位置に配置する。この場合、座標系は統一されていればどのような座標系でもよい。なお、基準平面の座標系を基準とした測距部21と物体モデルOBmの配置は、第1の構成の動作と同様に行えばよい。
また、見え情報生成部27は、測距部21の位置と姿勢および測距部21の視野領域を表す三次元図形を求めて、基準平面に配置した測距部21の視野領域と基準平面に配置して、測距部21と対象物体の位置関係に応じた姿勢の物体モデルと、測距部21の視野領域との重なりに基づき、物体モデルから見え情報を生成する。
図16は、第2の構成の動作で得られる見え情報を例示している。本技術の第2の構成によれば、図16の(a)に示すように、物体モデルOBmaについて例えば領域MPに含まれる点群距離データが見え情報として生成される。同様に、物体モデルOBmb,OBmcについても領域MPに含まれる点群距離データが見え情報として生成される。このため、見え情報は物体モデル毎に異なっている。したがって、物体識別部28は、クラスタリング部22で検出された物体の点群クラスタと見え情報を比較することで、検出された物体が物体モデルOBmbであることを正しく認識できる。なお、図16の(b)は従来の技術を用いた場合であり、物体モデルOBma,OBmb,OBmcにおいて、破線で示す領域は検出された物体を示す点群クラスタと類似している。このため、検出された物体は物体モデルOBmaあるいは物体モデルOBmcと判定されてしまう場合が生じて、本技術のような精度の高い識別処理を行うことはできない。
このような本技術の第2の構成によれば、取得される情報が点群距離データであっても、撮像画を取得する場合と同様に、対象物体の一部の見切れに対してロバストであって、物体識別を精度よく行うことができる。また、物体モデルは測距部からの見えが考慮されることから、見た目が似ている物体を対象物体として誤識別しまうことを少なくできる。また、学習データのデータ量の削減や大きさを考慮した物体識別を行うことができる。さらに、点群距離データを用いることから、撮像画を用いる場合に比べてシステムの構成を簡易にできる。
<6.システムの他の構成と動作>
ところで、上述のシステムは、物体情報を取得するセンサ部の姿勢変化がピッチ方向とヨー方向である場合について例示したが、センサ部はロール方向の変化を生じる場合もある。そこで、システムの他の動作では、センサ部がロール方向の変化を生じる場合を含めて説明する。
図17は、無人飛行体に対して下向きにセンサ部を設けた場合を例示している。無人飛行体40に設けたセンサ部(例えば撮像部41)で上空から地上面を撮像する場合、無人飛行体は上下方向の移動(スロットルともいう)や前後方向の移動(エレベータともいう)および左右方向の移動(エルロンともいう)だけでなく回転方向の移動(ラダーともいう)も可能である。したがって、無人飛行体で回転方向の移動が行われると、撮像部で取得される物体情報はロール方向の変化を生じる。このようなシステムの場合には、センサ部の回転方向の変化を考慮して見え情報を生成する。
図18は、無人飛行体にシステムを適用した場合の構成を例示している。(地面の模様など)に基づいて自己位置推定を行う場合の概念図を示している。無人飛行体40には、撮像部41、測距部42、物体検出部43、物体位置検出部44、情報記憶部45、姿勢検出部46、見え情報生成部47、位置算出部48が設けられている。また、無人飛行体40には、無人飛行体の制御を行う飛行制御部等が設けられている。
撮像部41は、対象物体を表す物体情報を取得する。物体情報は、上述のように対象物体を外から観測して取得できる外的特徴を示す情報である。撮像部41としては、三原色の撮像画を得られるカラーカメラ、白黒の撮像画を得られる白黒カメラ、対象物体の温度を示す温度画像を得られる赤外線カメラ等が用いられる。なお、撮像部41で対象物体を表す物体情報の取得する際のパラメータ情報、例えば撮像部41の姿勢とセンサ視野角や焦点距離等のカメラパラメータは、情報記憶部45に記憶される。
測距部42は、地面までの距離を測定するためのセンサである。測距部42としては、ステレオカメラ、像面位相差画素を有するイメージセンサを用いることで撮像画と測距情報を取得できるカメラ、TOF(Time of Flight)センサ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、RADAR(Radio Detection and Ranging)等が用いられる。
物体検出部43は、撮像部41で取得された撮像画をもとに対象物体(地面の模様など)を検出して、検出した対象物体の画像内の位置を出力する。
物体位置検出部44は、物体検出部43で検出された対象物体の画像内位置、測距部42で測定された対象物体までの距離、情報記憶部45に記憶されているパラメータ情報と後述する姿勢検出部46で検出された姿勢に基づき、対象物体の三次元位置を推定する。
情報記憶部45は、上述のようにパラメータ情報や物体モデル情報等を記憶している。また、後述するように、位置算出部48で無人飛行体40の自己位置を算出する場合、物体モデル情報には物体モデル毎に物体モデルの位置を示す情報(物体モデル位置情報)が含まれる、
姿勢検出部46は、磁気センサやIMU(Inertial Measurement Unit)センサ等を用いて構成されており、物体モデルを配置する基準面(地面)に対する撮像部41の姿勢を検出する。なお、撮像部41が無人飛行体40に固定されている場合、無人飛行体40の姿勢を利用して撮像部41の姿勢を検出してもよい。
見え情報生成部47は、測距部42で測定された地面までの距離、情報記憶部45に記憶されているパラメータ情報と物体モデル情報、撮像部41の姿勢に基づき、物体モデルがどのように見えるか推定して見え情報を生成する。
見え情報生成部47は、地面の位置を基準平面として、物体モデル(地面の模様)を基準平面上に重なるように配置する。撮像部41に対する姿勢については、姿勢検出部46の検出結果に基づき物体モデルの候補を選択して配置する。なお、姿勢検出部46が設けられていないため回転方向の姿勢がわからない場合、図19に示すように物体モデルの候補を複数の姿勢毎に設ける。例えば、図19の(a)に示すように無人飛行体40で物体モデルOBmを撮像する場合、図19の(b)に示す複数の回転方向の偏光モデルOBm1~OBm4を設ける。
見え情報生成部47は、撮像部41の姿勢とパラメータ情報に基づき、三次元空間における撮像部41の視野領域を求める。さらに見え情報生成部47は、基準平面に対する撮像部41の姿勢を求め、撮像部41の基準平面における視野領域を求める。なお、物体モデルは基準平面上にあると仮定しているので視野領域はこの時点で二次元領域となる。図20は、視野領域を例示した図である。
見え情報生成部47は、物体モデルと視野領域の重なりから見え情報を生成する。見え情報生成部47は、複数配置した物体モデルと視野領域の重なり、すなわち二次元領域同士の重なりを求めて見え情報とする。図21は見え情報を例示している。例えば、図21の(a)に示すように撮像部41で上空から物体モデルを撮像した場合、例えば図21の(b)に示す見え情報GVm1~GVm5が生成される。
位置算出部48は、見え情報生成部47で生成された見え情報と物体検出部43で検出された対象物体を比較して、検出された対象物体と一致する見え情報に対応する物体モデルの物体モデル位置情報を利用して、無人飛行体40の自己位置を算出する。
図22は、複数の物体モデルの見え情報を例示している。本技術の他の動作では、図22の(a)に示すように、物体モデルOBmaについて例えば物体見え情報GVma1,GVma2が生成される。同様に、物体モデルOBmb,OBmcについても見え情報GVmb1,GVmb2,GVmc1,GVmc2が生成される。位置算出部48は、検出された対象物体を示す入力画像GDと見え情報を比較することで、検出された対象物体が物体モデルOBmaであることを正しく識別できる。なお、図22の(b)は従来の技術を用いた場合であり、物体モデルOBma,OBmb,OBmcの画像と検出された物体を示す入力画像GDとを比較しても、画像は相違することから、検出された物体が物体モデルOBmaであることを判別できない。
位置算出部48は、対象物体と判別された物体モデルの物体モデル位置情報と、姿勢検出部46で検出した姿勢と地面までの距離、入力画像GDと一致した見え情報の回転情報に基づき、無人飛行体40の自己位置を算出する。図23は、自己位置の算出動作を説明するための図である。例えば、位置算出部48は、入力画像GDと一致した見え情報(例えば図22に示すGVma2)に基づき、物体モデルに対する無人飛行体40の方向FPが明らかである。また、入力画像GDと一致した見え情報に基づき、物体モデルの中心位置PMから見え情報の中心位置PVまでの位置差が明らかである。位置算出部48は、姿勢検出部46で検出した傾きθと物体までの距離LDに基づき、無人飛行体40からの垂線と地表面との交点PPから見え情報の中心位置PVまでの距離LMを算出する。さらに、位置算出部48は、物体モデルの中心位置PMに対する見え情報の中心位置PVの位置差情報と、中心位置PVから方向FPに距離LMだけ離れた位置を示す位置差情報に基づき、入力画像GDと一致した見え情報に対応する物体モデルの位置情報から交点PPの位置情報を算出して無人飛行体40の自己位置とする。
このような処理を行えば、無人飛行体40に測位信号を受信する機能が設けられていない場合や、測位信号に基づき自己位置の算出に時間を要する場合であっても、地面の撮像画と測距情報および無人飛行体40の姿勢等に基づき、容易に自己位置を判別できるようになる。
なお、上述の各動作の説明では、物体モデルOBmが大きさを持った二次元情報と仮定したが、物体モデルOBmは三次元情報であってもよい。この場合、見え情報は立体形状部分の見えの違いを示すことになる。このため、例えば正面から見た状態は類似しているが側面から見た状態は凹凸が異なる形状の物体を正しく区別して識別できるようになる。したがって、物体モデルOBmが二次元情報である場合に比べて、さらに精度よく物体の識別等を行うことができる。なお、物体モデルOBmを二次元情報とした場合は、三次元情報である場合に比べて見え情報の生成が容易であり、物体識別や自己位置の判別等を行うために必要な処理コストを低くできる。
また、本開示に係る技術によれば、上述したように対象物体の識別精度を向上できる。したがって、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に本技術を用いれば、自律移動等を行う際に周辺状況の確認を精度よく行える。また、本技術を用いることで高精度の監視システム等を構築することも可能となる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の情報処理装置は以下のような構成も取ることができる。
(1) 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置。
(2) 前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する(1)に記載の情報処理装置。
(3) 前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する(2)に記載の情報処理装置。
(4) 前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する(2)または(3)に記載の情報処理装置。
(5) 前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する(2)乃至(4)の何れかに記載の情報処理装置。
(6) 前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える(1)乃至(5)の何れかに記載の情報処理装置。
(7) 前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である(1)乃至(6)の何れかに記載の情報処理装置。
(8) 前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える(1)乃至(7)の何れかに記載の情報処理装置。
(9) 前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成する(1)に記載の情報処理装置。
(10) 前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する位置算出部をさらに備える(9)に記載の情報処理装置。
(11) 前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける(9)または(10)に記載の情報処理装置。
(12) 前記センサ部は飛行体に設けられている(9)乃至(11)の何れかに記載の情報処理装置。
この技術の情報処理装置と情報処理方法およびプログラムによれば、対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報が生成される、したがって、情報取得位置から取得した対象物体の情報と見え情報を比較することで、対象物体の識別精度を向上できるので、各種センサを搭載した移動体例えばロボットや車両,飛行体等に適用すれば、周辺状況や自己位置等を高精度に把握できるようになる。
10,20・・・システム
11,41・・・撮像部
12,21,42・・・測距部
13,43・・・物体検出部
14,44・・・物体位置検出部
15,25,45・・・情報記憶部
17,27,47・・・見え情報生成部
18,28・・・物体識別部
22・・・クラスタリング部
31・・・付属器具
40・・・無人飛行体
46・・・姿勢検出部
48・・・位置算出部

Claims (14)

  1. 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部を備え
    前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
    情報処理装置。
  2. 前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する
    請求項1に記載の情報処理装置。
  3. 前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する
    請求項に記載の情報処理装置。
  4. 前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する
    請求項に記載の情報処理装置。
  5. 前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える
    請求項に記載の情報処理装置。
  6. 前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である
    請求項1に記載の情報処理装置。
  7. 前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える
    請求項1に記載の情報処理装置。
  8. 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部と、
    前記物体情報を取得するセンサ部の位置を算出する位置算出部と、
    を備え、
    前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
    前記位置算出部は、前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
    情報処理装置。
  9. 前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける
    請求項に記載の情報処理装置。
  10. 前記センサ部は飛行体に設けられている
    請求項に記載の情報処理装置。
  11. 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
    を含み、
    前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
    情報処理方法。
  12. 対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
    前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
    を前記コンピュータで実行させ
    前記手順では、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
    プログラム。
  13. 対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること、
    前記物体情報を取得するセンサ部の位置を算出すること、
    を含み、
    前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
    前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
    情報処理方法。
  14. 対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
    対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成手順、
    前記物体情報を取得するセンサ部の位置を算出する位置算出手順、
    を備え、
    前記見え情報手順では、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成し、
    前記位置算出手順では、前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する
    プログラム。
JP2019549925A 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム Active JP7127651B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017213593 2017-11-06
JP2017213593 2017-11-06
PCT/JP2018/033801 WO2019087581A1 (ja) 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019087581A1 JPWO2019087581A1 (ja) 2020-11-12
JP7127651B2 true JP7127651B2 (ja) 2022-08-30

Family

ID=66331629

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019549925A Active JP7127651B2 (ja) 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11282230B2 (ja)
EP (1) EP3709261A4 (ja)
JP (1) JP7127651B2 (ja)
CN (1) CN111295663A (ja)
WO (1) WO2019087581A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016074169A1 (zh) * 2014-11-12 2016-05-19 深圳市大疆创新科技有限公司 一种对目标物体的检测方法、检测装置以及机器人
WO2022176732A1 (ja) * 2021-02-22 2022-08-25 パナソニックIpマネジメント株式会社 人検知システム、人検知方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
WO2013008584A1 (ja) 2011-07-14 2013-01-17 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007072665A (ja) 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
EP2711806B1 (en) * 2012-07-13 2018-09-26 Sony Interactive Entertainment Inc. Input device, information processing system, information processing device and information processing method
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
JP2016136320A (ja) 2015-01-23 2016-07-28 トヨタ自動車株式会社 ロボット
US10282861B2 (en) * 2016-12-12 2019-05-07 Here Global B.V. Pose error estimation and localization using static features
US10410089B2 (en) * 2018-01-19 2019-09-10 Seiko Epson Corporation Training assistance using synthetic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
WO2013008584A1 (ja) 2011-07-14 2013-01-17 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム

Also Published As

Publication number Publication date
CN111295663A (zh) 2020-06-16
US20200258253A1 (en) 2020-08-13
EP3709261A1 (en) 2020-09-16
WO2019087581A1 (ja) 2019-05-09
EP3709261A4 (en) 2020-12-09
US11282230B2 (en) 2022-03-22
JPWO2019087581A1 (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
CN112567201B (zh) 距离测量方法以及设备
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Held et al. Precision tracking with sparse 3d and dense color 2d data
US8520931B2 (en) Position and orientation measurement apparatus and method thereof
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP6658001B2 (ja) 位置推定装置、プログラム、位置推定方法
JP5990453B2 (ja) 自律移動ロボット
CN108073167A (zh) 一种基于深度相机与激光雷达的定位与导航方法
TW202013251A (zh) 在機器人設備上使用光流感測器進行vslam比例估計的系統和方法
TW201925033A (zh) 無人機、無人機控制系統及控制方法
JP2001266160A (ja) 周辺認識方法および周辺認識装置
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
CN113568435B (zh) 一种基于无人机自主飞行态势感知趋势的分析方法与系统
JP7127651B2 (ja) 情報処理装置と情報処理方法およびプログラム
CN108603933A (zh) 用于融合具有不同分辨率的传感器输出的系统和方法
JP7372708B2 (ja) 広視野角のステレオカメラ装置およびこれを利用した深度画像処理方法
EP3088983B1 (en) Moving object controller and program
Lekkala et al. Accurate and augmented navigation for quadcopter based on multi-sensor fusion
Zaslavskiy et al. Method for automated data collection for 3d reconstruction
JP2021047744A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质
JP2021103482A (ja) 自己位置推定方法
Weinmann et al. A step towards dynamic scene analysis with active multi-view range imaging systems
JP7405607B2 (ja) 三次元データを補間する三次元データ生成装置及びロボットシステム
US20220291009A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220713

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220801

R151 Written notification of patent or utility model registration

Ref document number: 7127651

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151