WO2019087581A1 - 情報処理装置と情報処理方法およびプログラム - Google Patents

情報処理装置と情報処理方法およびプログラム Download PDF

Info

Publication number
WO2019087581A1
WO2019087581A1 PCT/JP2018/033801 JP2018033801W WO2019087581A1 WO 2019087581 A1 WO2019087581 A1 WO 2019087581A1 JP 2018033801 W JP2018033801 W JP 2018033801W WO 2019087581 A1 WO2019087581 A1 WO 2019087581A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
appearance
target object
unit
object model
Prior art date
Application number
PCT/JP2018/033801
Other languages
English (en)
French (fr)
Inventor
啓輔 前田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/760,122 priority Critical patent/US11282230B2/en
Priority to EP18872303.5A priority patent/EP3709261A4/en
Priority to JP2019549925A priority patent/JP7127651B2/ja
Priority to CN201880070874.0A priority patent/CN111295663B/zh
Publication of WO2019087581A1 publication Critical patent/WO2019087581A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • This technology relates to an information processing apparatus, an information processing method, and a program, and enables accurate identification of an object.
  • the object identification unit 18 compares the appearance information of each object model generated by the appearance information generation unit 17 with the target object detected by the object detection unit 13 and corresponds to the appearance information that matches the detected target object. An object model is identified as a target object, and an object identification result is output.
  • step ST11 the appearance information generation unit calculates the standing position of the imaging unit.
  • the appearance information generation unit 17 sets the position where the coordinate value of the Z direction of the perpendicular line VLb passing the reference point of the imaging unit 11 and having a foot on the reference plane is “0” as the standing position PSb of the imaging unit 11 Proceed to step ST12.
  • step ST13 the appearance information generation unit calculates an angle from the imaging unit to the target object.
  • FIG. 10 is a flowchart showing an operation of calculating the angle.
  • step ST31 the appearance information generation unit calculates a direction vector.
  • the appearance information generation unit 17 calculates a direction vector indicating the difference between the standing position PSa of the object model OBm and the standing position PSb of the imaging unit 11, and proceeds to step ST32.
  • the appearance information generation unit calculates the angle of the direction vector.
  • the appearance information generation unit 17 calculates, in the direction vector calculated in step ST31, an angle between a reference plane and a straight line connecting the optical axis position of the imaging unit 11 and the imaging unit 11 in the target object. Specifically, the appearance information generation unit 17 uses the position (height) of the imaging unit 11 indicated by the template information at the standing position PSb, and the position and orientation of the imaging unit 11 at the target object at the standing position PSa. The difference of the height of the optical axis position of the imaging unit 11 calculated based on the above is calculated. In addition, the appearance information generation unit 17 sets the arctangent calculated using the calculated height difference and the norm of the direction vector calculated in step ST31 as the angle (inclination) ⁇ of the direction vector to step ST14 in FIG. move on.
  • step ST7 the appearance information generation unit performs perspective projection conversion so that the extracted portion is perpendicular to the optical axis.
  • the appearance information generation unit 17 performs perspective projection conversion perpendicular to the optical axis of the imaging unit 11 with respect to the object model extracted in step ST6, and information indicating the object model converted into the coordinate system of the imaging unit 11 is appearance information Then, the process proceeds to step ST8.
  • step ST8 the appearance information generation unit outputs the appearance information.
  • the appearance information generation unit 17 outputs the image of the overlapping area in the object model coordinates determined by the coordinate conversion in step ST6 to the object identification unit 18 as appearance information.
  • steps ST2 and ST3 in FIG. 7 may be performed first, or may be performed in parallel. Further, the processes of step ST11 and step ST12 in FIG. 8 are the same.
  • the appearance information generation unit 17 obtains a three-dimensional figure representing a view area of the imaging unit 11 in a three-dimensional space, for example, a view area of the imaging unit 11, based on the parameter information.
  • the appearance information generation unit 17 obtains an anteroposterior relationship between the target object and the self-shaped portion.
  • the appearance information generation unit 17 obtains an anteroposterior relationship between the object model overlapping the view area and the self-shaped portion, and excludes the region where the self-shaped portion closer to the imaging unit 11 than the target object is projected to the object model. It is assumed that the region MR.
  • FIG. 13 (b) shows the case where the prior art is used, and the input image GD including the excluded region MR which is a self-shaped portion is compared with the object models OBma, OBmb, OBmc, and the region of the object model OBma. Since the area MQb of the object model OBmb and the area MQc of the object model OBmc do not include a self-shaped portion, it is determined that the detected object is different from the object models OBma, OBmb, and OBmc.
  • the object identification unit 28 compares the appearance information of each object model generated by the appearance information generation unit 17 with the point cloud cluster representing the target object classified by the clustering unit 22.
  • the object identification unit 28 identifies an object model corresponding to the appearance information that matches the point cloud cluster representing the target object as the target object, and outputs an object identification result.
  • the detected object may be determined to be the object model OBma or the object model OBmc, and it is not possible to perform high-accuracy identification processing as in the present technology.
  • the distance measuring unit 42 is a sensor for measuring the distance to the ground.
  • a stereo camera a camera capable of acquiring a captured image and distance measurement information by using an image sensor having image plane phase difference pixels, a TOF (Time of Flight) sensor, LIDAR (Light Detection and Ranging, Laser) Imaging Detection and Ranging, RADAR (Radio Detection and Ranging), etc. are used.
  • TOF Time of Flight
  • LIDAR Light Detection and Ranging, Laser Imaging Detection and Ranging
  • RADAR Radio Detection and Ranging
  • the information storage unit 45 stores parameter information, object model information, and the like as described above. Further, as described later, when the position calculation unit 48 calculates the self position of the unmanned air vehicle 40, the object model information includes information (object model position information) indicating the position of the object model for each object model.
  • the posture detection unit 46 is configured using a magnetic sensor, an IMU (Inertial Measurement Unit) sensor, or the like, and detects the posture of the imaging unit 41 with respect to a reference plane (ground) on which the object model is arranged. When the imaging unit 41 is fixed to the unmanned air vehicle 40, the attitude of the unmanned air vehicle 40 may be used to detect the attitude of the imaging unit 41.
  • the appearance information generation unit 47 obtains a visual field area of the imaging unit 41 in a three-dimensional space based on the posture of the imaging unit 41 and the parameter information. Further, the appearance information generation unit 47 obtains the attitude of the imaging unit 41 with respect to the reference plane, and obtains the visual field area in the reference plane of the imaging unit 41. Since the object model is assumed to be on the reference plane, the field of view becomes a two-dimensional area at this point.
  • FIG. 20 is a diagram illustrating a visual field area.
  • the position calculation unit 48 compares the appearance information generated by the appearance information generation unit 47 with the target object detected by the object detection unit 43, and an object model of an object model corresponding to the appearance information that matches the detected target object.
  • the self position of the unmanned air vehicle 40 is calculated using the model position information.
  • the position calculation unit 48 is unmanned based on object model position information of an object model determined to be a target object, the distance between the posture detected by the posture detection unit 46 and the ground, and rotation information of appearance information that matches the input image GD.
  • the self position of the flying object 40 is calculated.
  • FIG. 23 is a diagram for explaining the calculation operation of the self position.
  • the position calculating unit 48 determines the direction FP of the unmanned air vehicle 40 with respect to the object model based on the appearance information (for example, GVma2 shown in FIG. 22) that matches the input image GD. Further, based on the appearance information matched with the input image GD, the position difference from the center position PM of the object model to the center position PV of the appearance information is clear.
  • the object model OBm is assumed to be two-dimensional information having a size, but the object model OBm may be three-dimensional information.
  • the appearance information indicates the difference in the appearance of the three-dimensional shape portion. For this reason, for example, the state seen from the front is similar, but the state seen from the side makes it possible to correctly distinguish and distinguish objects having shapes with different irregularities. Therefore, as compared with the case where the object model OBm is two-dimensional information, identification of an object can be performed with higher accuracy. Note that when the object model OBm is two-dimensional information, generation of the appearance information is easier than in the case of three-dimensional information, and the processing cost necessary for performing object identification, discrimination of the self position, etc. is low. it can.
  • the effect described in this specification is an illustration to the last, is not limited, and may have an additional effect which is not described.
  • the present technology should not be construed as being limited to the embodiments of the above-described technology.
  • the embodiments of this technology disclose the present technology in the form of exemplification, and it is obvious that those skilled in the art can modify or substitute the embodiments within the scope of the present technology. That is, in order to determine the gist of the present technology, the claims should be taken into consideration.
  • the information processing apparatus determines the visual field area based on the position and orientation of the sensor unit indicated by the parameter information and sensor parameters.
  • the appearance information generation unit excludes, from the appearance information, the area of the non-target object that is included in the overlapping area of the visual field area and the object model and is located in front of the target object.
  • the information processing apparatus according to any one of (4) to (4).
  • the position of the target object is detected based on the position of the target object in the captured image of the target object indicated by the object information, the distance from the acquisition position of the object information to the target object, and the parameter information
  • An information processing apparatus according to any one of (1) to (5), further including an object position detection unit.
  • the information processing apparatus further including: a position calculation unit that calculates the position of the sensor unit based on position information of the object model, appearance information that matches the target object, and an attitude of the sensor unit. .
  • a position calculation unit that calculates the position of the sensor unit based on position information of the object model, appearance information that matches the target object, and an attitude of the sensor unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Geophysics (AREA)
  • Image Analysis (AREA)

Abstract

撮像部１１は対象物体を表す物体情報（例えば撮像画）を取得して、測距部１２は、対象物体までの距離を測定する。物体検出部１３は、撮像画から対象物体を検出する。物体位置検出部１４は、対象物体の撮像画内における位置と対象物体までの距離、情報記憶部１５に記憶されているパラメータ情報等に基づき、対象物体の位置を検出する。見え情報生成部１６は、対象物体の位置と、物体情報の取得に関するパラメータ情報を用いて、物体情報を取得した情報取得位置から対象物体の位置に設けた物体モデルの見えを表す見え情報を物体モデル毎に生成して検出された対象物体と比較して、対象物体と一致する見え情報に対応する物体モデルを対象物体と識別する。見え情報を用いることで物体の識別を精度よく行える。

Description

情報処理装置と情報処理方法およびプログラム
　この技術は、情報処理装置と情報処理方法およびプログラムに関し、物体の識別を精度よく行えるようにする。
　従来、物体の識別では入力データと出力ラベルの組み合わせを学習して、新規の入力データに対してラベルを予測することが行われている。例えば、特許文献１では、対象物体までの距離に応じて複数のテンプレートを用意しておき、画像内の位置に応じてテンプレートを切替えることで認識精度の向上が図られている。また、引用文献２では、対象物体が存在する位置や姿勢を、テンプレートの絞込みに用いることが示されている。
特開２００７－０７２６６５号公報 特開２０１６－１３６３２０号公報
　ところで、物体の識別では、学習時と似たデータほど予測精度が安定して、学習時と似ていないデータでは予測を誤る可能性が高い。例えば、画像から人を識別する場合に、全身写真で学習した識別器に接写写真を与えると、写っている人の予測を誤る可能性が高い。また、対象物体までの距離に応じて複数のテンプレートを用意する場合、移動体などのセンサの位置や姿勢が変化したことにより距離が誤って推定されると、テンプレートの切り替えを最適に行うことができない。また、対象物体が存在する位置や姿勢に基づいてテンプレートの絞込みを行う場合、見た目が異なると識別精度の低下を招く。例えば対象物体が見切れて全体像が写っていないなど、テンプレートと見た目が一致しない撮像画像では誤認識が増える。また、見た目に対してロバストとするためには様々な見た目のテンプレートを用意しなければならなくなってしまう。
　そこで、この技術では物体の識別を精度よく行える情報処理装置と情報処理方法およびプログラムを提供することを目的とする。
　この技術の第１の側面は、
　対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置にある。
　この技術において、見え情報生成部は、対象物体の位置を示す位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する。例えば、見え情報生成部は、物体情報を取得するセンサ部の視野領域と物体モデルの重なる領域に対して透視投影変換を行い、物体モデルの見えを示す見え情報を生成する。視野領域は、見え情報生成部は、センサ部の位置と姿勢およびパラメータ情報に基づき判別する。また、見え情報生成部は、視野領域と物体モデルの重複領域に含まれており、対象物体よりも手前に位置する非対象物体の領域を、見え情報から除外する。対象物体の位置は、物体情報が示す対象物体の撮像画における対象物体の位置と、物体情報の情報取得位置から対象物体までの距離とパラメータ情報に基づいて検出する。また、対象物体の位置は、物体情報が示す対象物体までの測距値を示す点群データを測距値に応じてクラスタリングして検出したクラスタの位置として検出してもよい。さらに、物体識別部は、見え情報生成部で生成された物体モデル毎の見え情報を用いて対象物体の識別を行う。
　また、物体情報を取得するセンサ部を飛行体に設けて、対象物体の位置を示す位置情報は、物体モデルを配置する例えば地面等の基準平面に対するセンサ部の姿勢を含める。さらに、位置算出部を設けて、位置算出部は、物体モデルの位置情報と対象物体に一致する見え情報およびセンサ部の姿勢に基づき、センサ部の位置を算出する。また、センサ部のロール方向の姿勢変化量を取得できない場合、物体モデルはロール方向に異なる姿勢毎に設ける。
　この技術の第２の側面は、
　対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
を含む情報処理方法にある。
　この技術の第３の側面は、
　対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
　前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
を前記コンピュータで実行させるプログラムにある。
　なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
　この技術によれば、対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報が生成される、したがって、情報取得位置から取得した対象物体の情報と見え情報を比較することで、対象物体の識別精度を向上できる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
システムの第１の構成を例示した図である。 物体モデルを例示した図である。 基準平面の座標系を基準として撮像部と物体モデルを配置した場合を例示した図である。 基準平面の座標系を基準として求めた撮像部の視野領域を表す三次元図形を例示した図である。 物体モデルの見えを説明するための図である。 見え情報を例示した図である。 見え情報生成部の動作を例示したフローチャートである。 姿勢の算出動作を例示したフローチャートである。 物体モデルの立ち位置の算出動作を示すフローチャートである。 角度の算出動作を示すフローチャートである。 複数の物体モデルの見え情報を例示した図である。 自己の一部が写り込む場合を例示した図である。 複数の物体モデルの見え情報を例示した図である。 システムの第２の構成を例示した図である。 三次元ＬＩＤＡＲを用いた場合の視野領域を示す図である。 第２の構成の動作で得られる見え情報を例示した図である。 無人飛行体に対して下向きにセンサ部を設けた場合を例示した図である。 無人飛行体にシステムを適用した場合の構成を例示した図である。 物体モデルの候補を複数の姿勢毎に設けた場合を示す図である。 視野領域を例示した図である。 見え情報を例示した図である。 複数の物体モデルの見え情報を例示した図である。 自己位置の算出動作を説明するための図である。
　以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
　１．システムの第１の構成
　２．第１の構成の第１の動作
　３．第１の構成の第２の動作
　４．システムの第２の構成
　５．第２の構成の動作
　６．システムの他の動作
　＜１．システムの第１の構成＞
　図１は、本技術の情報処理装置を用いたシステムの第１の構成を例示している。図１に示すシステムは、各種センサを搭載した移動体、例えば撮像部と測距部を備えるロボットである。システム１０は、撮像部１１、測距部１２、物体検出部１３、物体位置検出部１４、情報記憶部１５、見え情報生成部１７、物体識別部１８を有している。
　撮像部１１は、対象物体を表す物体情報を取得する。物体情報は対象物体を外から観測して取得できる外的特徴を示す情報であり、例えば対象物体の形状，輝度，色，温度等を示している。撮像部１１としては、三原色の撮像画を得られるカラーカメラ、白黒の撮像画を得られる白黒カメラ、対象物体の温度を示す温度画像を得られる赤外線カメラ等が用いられる。なお、撮像部１１で対象物体を表す物体情報の取得する際のパラメータ情報、物体情報を取得した情報取得位置である撮像部１１の位置とその姿勢、撮像部１１の視野角や焦点距離等のパラメータ（センサパラメータともいう）は、後述する情報記憶部１５に記憶される。
　測距部１２は、対象物体までの距離を測定するためのセンサである。測距部１２としては、ステレオカメラ、像面位相差画素を有するイメージセンサを用いることで撮像画と測距情報を取得できるカメラ、ＴＯＦ（Time of Flight）センサ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＲＡＤＡＲ（Radio Detection and Ranging）等が用いられる。
　物体検出部１３は、撮像部１１で取得された撮像画をもとに対象物体が存在することを検出して、検出した対象物体の画像内の位置を出力する。
　物体位置検出部１４は、物体検出部１３で検出された対象物体の撮像画内における位置、測距部１２で測定された対象物体までの距離、情報記憶部１５に記憶されているパラメータ情報等に基づき、対象物体の三次元位置を検出する。物体位置検出部１４は、検出した位置を示す位置情報を見え情報生成部１７へ出力する。
　情報記憶部１５は、対象物体を表す物体情報の取得に関するパラメータ情報を記憶している。パラメータ情報には、撮像部１１の位置と姿勢やセンサパラメータ等を記憶している。また、情報記憶部１５は、学習された物体モデルを表す物体モデル情報を記憶している。
　見え情報生成部１７は、対象物体の位置を示す位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報を用いて、物体情報を取得した情報取得位置から対象物体の位置に設けた物体モデルの見えを表す見え情報を物体モデル毎に生成する。見え情報生成部１７は、物体情報を取得する撮像部１１の視野領域と重なる物体モデルの部分を物体モデルの見えとする。また、見え情報生成部１７は、撮像部１１の位置と姿勢およびセンサパラメータに基づき、視野領域と重なる物体モデルの部分を判別する。
　物体識別部１８は、見え情報生成部１７で生成された物体モデル毎の見え情報と物体検出部１３で検出された対象物体を比較して、検出された対象物体と一致する見え情報に対応する物体モデルを対象物体と識別して物体識別結果を出力する。
　＜２．第１の構成の第１の動作＞
　次に、システムの第１の構成の第１の動作について説明する。なお、図２は物体モデルを例示しており、物体モデルＯＢｍは「大きさを持った二次元の画像」と仮定している。また、撮像部１１では、物体情報として対象物体の撮像画を取得している。
　見え情報生成部１７は、検出された対象物体の位置情報と撮像部１１の位置と姿勢に基づき、基準平面上に撮像部１１と物体モデルを配置する。物体モデルは、例えば基準平面に垂直であって撮像部１１に正対するように、対象物体の位置に配置する。この場合、座標系は統一されていればどのような座標系でもよい。
　図３は、基準平面の座標系を基準として撮像部と物体モデルを配置した場合を例示している。見え情報生成部１７は、物体モデルの三次元位置を示す点を通り、基準平面に足を持つ垂線ＶＬａを求める。なお、垂線ＶＬａと基準平面との交点を立ち位置ＰＳａとする。次に、見え情報生成部１７は、撮像部１１の基準点を通り基準平面に足を持つ垂線ＶＬｂを求める。なお、垂線ＶＬｂと基準平面との交点を立ち位置ＰＳｂとする。さらに、立ち位置ＰＳａと立ち位置ＰＳｂを結ぶ線分ＨＬｃを求める。垂線ＶＬａを含み線分ＨＬｃに垂直な平面上に、物体モデルの下底が基準平面に乗るように物体モデルＯＢｍを配置する。
　また、見え情報生成部１７は、撮像部１１の位置と姿勢およびパラメータ情報に基づき三次元空間における撮像部１１の視野領域、例えば撮像部１１の視野領域を表す三次元図形を求める。一般的な撮像部において、視野領域はカメラ位置を頂点とした四角錐内の領域となる。図４は、基準平面の座標系を基準として求めた撮像部の視野領域を表す三次元図形を例示している。見え情報生成部１７は、基準平面の座標系で撮像部１１の位置と姿勢、および水平画角と垂直画角をもとに、視野領域ＡＲｖを表す三次元の四角錐を求める。
　次に、見え情報生成部１７は、基準平面に配置した物体モデルＯＢｍと、視野領域を示す四角錐との重なりに基づき、物体モデルから見え情報を生成する。図５は物体モデルの見えを説明するための図である。図５の（ａ）に示すように、撮像部１１の光軸と物体モデルＯＢｍの正面方向で傾きθを生じていると、撮像部１１に対して物体モデルＯＢｍは傾いた姿勢となっている。したがって、図５の（ｂ）に示すように、撮像部１１に対して傾きθを生じた物体モデルＯＢｍ、すなわち撮像部１１と対象物体の位置関係に応じた姿勢の物体モデルＯＢｍにおいて、撮像部１１の視野領域を示す四角錐に含まれる領域が物体モデルの見えとなる。このため、見え情報は、図６に示すように、撮像部１１に対して傾きθを生じた姿勢の物体モデルＯＢｍにおいて、視野領域と重なる領域ＭＰを透過投影変換して撮像部の座標系に変換したものとなり、画像ＧＶを示すことになる。なお、撮像部１１の光軸が物体モデルＯＢｍの面に対して鉛直方向であれば重なり部分は矩形状となり、光軸が物体モデルＯＢｍの面に対して鉛直方向でない場合は、矩形状とは異なる四角形となる。
　図７は、見え情報生成部の動作を例示したフローチャートである。ステップＳＴ１で見え情報生成部は対象物体の三次元位置が検出されているか判別する。見え情報生成部１７は、物体位置検出部１４で対象物体の三次元位置が検出されていない場合にステップＳＴ１に戻り、検出されている場合ステップＳＴ２に進む。
　ステップＳＴ２で見え情報生成部は物体モデルの姿勢を算出する。見え情報生成部１７は、物体モデルの基準平面上における姿勢を算出する。図８は、姿勢の算出動作を例示したフローチャートである。
　ステップＳＴ１１で見え情報生成部は撮像部の立ち位置を算出する。見え情報生成部１７は、上述のように、撮像部１１の基準点を通り基準平面に足を持つ垂線ＶＬｂのＺ方向の座標値が「０」となる位置を撮像部１１の立ち位置ＰＳｂとしてステップＳＴ１２に進む。
　ステップＳＴ１２で見え情報生成部は物体モデルの立ち位置を算出する。図９は物体モデルの立ち位置の算出動作を示すフローチャートである。ステップＳＴ２１で見え情報生成部は基準平面への座標変換を行う。見え情報生成部１７は、物体モデルを基準平面の座標に変換してステップＳＴ２２に進む。
　ステップＳＴ２２で見え情報生成部は立ち位置を算出する。見え情報生成部１７は、物体位置検出部１４で検出された対象物体の三次元位置を基準平面に座標変換したときにＺ方向の座標値が「０」となる位置を、座標変換後の物体モデルＯＢｍの立ち位置ＰＳａとして、図８のステップＳＴ１３に進む。
　ステップＳＴ１３で見え情報生成部は撮像部から対象物体への角度を算出する。図１０は角度の算出動作を示すフローチャートである。ステップＳＴ３１で見え情報生成部は方向ベクトルを算出する。見え情報生成部１７は、物体モデルＯＢｍの立ち位置ＰＳａと撮像部１１の立ち位置ＰＳｂの差を示す方向ベクトルを算出してステップＳＴ３２に進む。
　ステップＳＴ３２で見え情報生成部は方向ベクトルの角度を算出する。見え情報生成部１７は、ステップＳＴ３１で算出した方向ベクトルにおいて、撮像部１１と対象物体における撮像部１１の光軸位置を結ぶ直線と基準平面との角度を算出する。具体的には、見え情報生成部１７は、立ち位置ＰＳｂにおいてテンプレート情報で示された撮像部１１の位置（高さ）と、立ち位置ＰＳａの対象物体において、撮像部１１の位置や姿勢等に基づき算出した撮像部１１の光軸位置の高さの差を算出する。また、見え情報生成部１７は、算出した高さの差とステップＳＴ３１で算出された方向ベクトルのノルムとを用いて算出した逆正接を方向ベクトルの角度（傾き）θとして図８のステップＳＴ１４に進む。
　ステップＳＴ１４で見え情報生成部は物体モデルの姿勢を設定する。見え情報生成部１７は、物体モデルＯＢｍを撮像部１１に対してステップＳＴ１３で算出した傾きθを生じた姿勢に設定して図７のステップＳＴ４に進む。なお、傾きθを生じた姿勢とは図５に示す状態である
　ステップＳＴ４で見え情報生成部は視野領域と設定した姿勢の物体モデルとの重複領域を検出する。見え情報生成部１７は、撮像部１１に対する物体モデルＯＢｍの姿勢および撮像部１１の視野領域に基づき、物体モデルと視野領域が重複する重複領域を検出してステップＳＴ５に進む。
　ステップＳＴ５で見え情報生成部は重複領域があるか判別する。見え情報生成部１７は、重複領域がある場合はステップＳＴ６に進み、重複領域がない場合はステップＳＴ１に戻る。
　ステップＳＴ６で見え情報生成部は重複領域の物体モデルを抽出する。見え情報生成部１７は、ステップＳＴ４で検出された重複領域を物体モデルとして抽出してステップＳＴ７に進む。
　ステップＳＴ７で見え情報生成部は抽出した部分を光軸に対して垂直に透視投影変換を行う。見え情報生成部１７は、ステップＳＴ６で抽出した物体モデルを撮像部１１の光軸に対して垂直に透視投影変換を行い、撮像部１１の座標系に変換された物体モデルを示す情報を見え情報としてステップＳＴ８に進む。
　ステップＳＴ８で見え情報生成部は見え情報を出力する。見え情報生成部１７は、ステップＳＴ６の座標変換によって決定された物体モデル座標における重複領域の画像を見え情報として物体識別部１８へ出力する。
　なお、図７におけるステップＳＴ２とステップＳＴ３の処理は何れの処理を先に行ってもよく、並列して行ってもよい。また、図８におけるステップＳＴ１１とステップＳＴ１２の処理も同様である。
　図１１は、複数の物体モデルの見え情報を例示している。本技術の第１の動作によれば、図１１の（ａ）に示すように、物体モデルＯＢｍａについて例えば領域ＭＰを示す画像が見え情報として生成される。同様に、物体モデルＯＢｍｂ，ＯＢｍｃについても領域ＭＰを示す画像が見え情報として生成されて、見え情報は物体モデル毎に異なる。したがって、物体検出部１３で検出された対象物体を表す入力画像ＧＤと見え情報を比較することで、検出された対象物体が物体モデルＯＢｍｂであることを正しく識別できる。なお、図１１の（ｂ）は従来の技術を用いた場合であり、物体モデルＯＢｍａ，ＯＢｍｂ，ＯＢｍｃにおいて、破線で示す領域は検出された対象物体を表す入力画像ＧＤと類似している。このため検出された物体は、物体モデルＯＢｍａあるいは物体モデルＯＢｍｃと判定されてしまう場合が生じて、本技術のような精度の高い識別処理を行うことはできない。また、図１１の（ｃ）に示すように物体モデル全体を用いて識別処理を行った場合、入力画像ＧＤと全体像が似ている物体モデルＯＢｍａが選ばれやすく、本技術のような精度の高い識別処理を行うことはできない。
　このような本技術の第１の動作によれば、物体モデルの見え情報は撮像部の位置や姿勢等に応じた見えが考慮されて生成されることから、取得された撮像画において対象物体の一部が見切れても、見切れに対してロバストであって、物体の識別精度を向上させることができる。また、物体モデルは撮像部による見えが考慮されることから、見た目が似ている物体を対象物体として誤識別してしまうことを防止できる。
　また、見切れた物体の検出率を上げるために、見切れた物体の画像を学習データに加えると、見た目が似ている物体を対象物体として誤識別してしまう可能性が高くなる。例えば、頭が見えない人の画像を学習した場合に、ハンガーに掛けられた洋服の撮像画では、対象物体を人と誤識別する可能性がある。しかし、本技術によれば、全身が写るような撮像条件では、撮像条件に応じた見え情報を用いて物体の識別が行われる。したがって、全身が写るような撮像条件でハンガーに掛けられた洋服を撮像した場合、対象物体が人と誤識別されてしまう可能性を低くできる。
　また、対象物体の全体を示す物体情報を学習しておけば、撮像部の位置や姿勢等に応じた見え情報を用いて物体の識別を行うことができるので、対象物体の一部が見切れた様々な物体モデルを学習しておく必要がなく、学習データのデータ量を削減できる。
　さらに、撮像部から対象物体までの距離を用いて見え情報が生成されるので、見え情報は物体モデルの大きさが考慮される。例えば撮像部から対象物体までの距離が等しい場合、物体モデルが大きければ見え情報には物体モデルの一部が含まれて、物体モデルが小さければ見え情報には物体モデルの全体が含まれる。したがって、見た目が同じサイズでも、撮像部から対象物体までの距離に応じた大きさを考慮して物体の識別を行うことができる。
　＜３．第１の構成の第２の動作＞
　次に、システムの第１の構成の第２の動作について説明する。撮像部１１で取得される撮像画には、対象物体だけでなく自己の一部が写り込む場合がある。例えば、アクセサリ等を撮像部１１に取り付けるための取付器具や操作性等を向上させるために撮像部１１に取り付けられるリグ等の付属器具が視野領域内に含まれると、付属機器の一部が撮像画に写り込んでしまう。また、システムが可動機構を有する機器、例えばロボット等に適用された場合、可動するアーム等が撮像画に写り込んでしまう場合もある。そこで、見え情報生成部１７は、撮像部１１の視野領域と対象物体の位置に設けた物体モデルの重複部分に含まれており、対象物体よりも手前に位置する非対象物体である自己形状部分（付属機器やアーム等の部分）が除外された見え情報を生成する。
　見え情報生成部１７は、推定された三次元の物体位置、基準平面の位置と姿勢、撮像部１１の位置と姿勢に基づき、三次元上に物体モデルを配置する。物体モデルは、例えば、三次元物体位置を含み、基準平面に垂直で、撮像部１１に正対するように配置する。この場合、座標系は統一されていればどのような座標系でもよい。
　次に、見え情報生成部１７は、パラメータ情報に基づき三次元空間における撮像部１１の視野領域、例えば撮像部１１の視野領域を表す三次元図形を求める。
　見え情報生成部１７は、第１の動作と同様にして撮像部１１の視野領域と物体モデルの重なりを判別する。また、見え情報生成部１７は、自己形状部分と視野領域の重なりを判別する。自己形状は、例えば三次元のメッシュや単純図形（例えば球・円柱・角柱・直方体・円錐・角錐）の組み合わせで示されている。見え情報生成部１７は、撮像部１１のパラメータ情報と自己形状および自己形状部分の位置に基づき、自己形状部分と視野領域との重なりを判別する。なお、撮像する被写体にかかわらず撮像画の固定した位置に写り込む被写体の領域を自己形状部分として、自己形状部分を示す自己形状領域情報を情報記憶部１５に予め記憶させて、自己形状領域情報を用いて自己形状部分と視野領域との重なりを判別してもよい。
　さらに、見え情報生成部１７は、対象物体と自己形状部分の前後関係を求める。見え情報生成部１７は、視野領域と重なりを生じている物体モデルと自己形状部分との前後関係を求め、対象物体よりも撮像部１１に近い自己形状の部分を物体モデルに投射した領域を除外領域ＭＲとする。
　また、撮像画に写り込む自己形状部分が可動する構成である場合、見え情報生成部１７は、自己形状部分の可動状態に応じて、除外領域ＭＲを設定する。例えば、見え情報生成部１７は、情報記憶部１５に記憶されている自己形状の情報と制御部（図示せず）から供給された可動制御信号に基づき、自己形状部分と視野領域との重なりを判別して、対象物体と自己形状部分の前後関係に基づき除外領域ＭＲを設定する。また、自己形状算出部を設けて、自己形状部分の可動状態（位置・姿勢）と情報記憶部１５に記憶されている自己形状の情報から、撮像部１１に対する自己形状部分の全体の形状を算出してもよい。この場合、見え情報生成部１７は、自己形状算出部で算出された形状と視野領域との重なりを判別して、対象物体と自己形状部分の前後関係に基づき除外領域ＭＲを設定する。
　その後、見え情報生成部１７は、視野領域と物体モデルとの重複領域の画像から自己形状部分に相当する除外領域ＭＲの画像を除いて見え情報とする。
　なお、第２の動作では、図７に示すステップＳＴ５の処理後に、自己形状部分と視野領域の重なりを求める処理と、物体モデルと自己形状部分の前後関係を求める処理を行い、物体モデルよりも手前の自己形状部分の領域を重複領域から除外したのちステップＳＴ６以降の処理を行えばよい。
　図１２は、自己の一部が写り込む場合を例示している。例えば、視野領域内に付属器具３１が含まれると、撮像画に付属機器が写り込んでしまう。このような場合、第２の動作によれば精度よく識別処理を行うことができる。
　図１３は、複数の物体モデルの見え情報を例示している。本技術の第２の動作では、図１３の（ａ）に示すように、物体モデルＯＢｍａについて例えば領域ＭＰから除外領域ＭＲを除いた領域の画像ＧＶｍａが見え情報として生成される。同様に、物体モデルＯＢｍｂ，ＯＢｍｃについても領域ＭＰから除外領域ＭＲを除いた領域の画像ＧＶｍｂ，ＧＶｍｃが見え情報として生成される。このため、見え情報は物体モデル毎に異なり、自己形状部分が比較対象から除外されている。したがって、物体検出部１３で検出された物体を表す入力画像ＧＤと見え情報を比較することで、検出された対象物体が物体モデルＯＢｍｂであることを正しく識別できる。なお、図１３の（ｂ）は従来の技術を用いた場合であり、自己形状部分である除外領域ＭＲを含む入力画像ＧＤと物体モデルＯＢｍａ，ＯＢｍｂ，ＯＢｍｃが比較されて、物体モデルＯＢｍａの領域ＭＱａ，物体モデルＯＢｍｂの領域ＭＱｂ，物体モデルＯＢｍｃの領域ＭＱｃには自己形状部分が含まれないことから、検出された物体は物体モデルＯＢｍａ，ＯＢｍｂ，ＯＢｍｃと異なると判定される。したがって、本技術のような精度の高い識別処理を行うことはできない。また、図１３の（ｃ）に示すように物体モデル全体を用いて識別処理を行った場合、入力画像ＧＤと全体像が似ている物体モデルＯＢｍａが選ばれやすく、本技術のような精度の高い識別処理を行うことはできない。
　このような本技術の第２の動作によれば、撮像画に自己形状部分が含まれても、自己形状部分を除外して見え情報が生成されるので、第１の動作と同様に、対象物体の一部の見切れに対してロバストであって、物体の識別を精度よく行うことができる。また、見え情報は撮像部からの見えが考慮されることから、見た目が似ている物体を対象物体として誤識別しまうことが少なくなる。また、学習データのデータ量の削減や大きさを考慮した物体の識別を行うことができる。
　＜４．システムの第２の構成＞
　次に、システムの第２の構成について説明する。第２の構成では、物体情報を取得するセンサ部として測距部を用いて、対象物体上の各位置までの距離を示す点群測距データを、対象物体を表す物体情報として取得する場合について説明する。
　図１４は、本技術の情報処理装置を用いたシステムの第２の構成を例示している。システム２０は、測距部２１、クラスタリング部２２、情報記憶部２５、見え情報生成部２７、物体識別部２８を有している。
　測距部２１は、対象物体までの距離を測定するためのセンサである。測距部１２としては、被写体上の各位置までの距離を測定して点群測距データを取得できる例えばＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）等が用いられる。測距部２１は、取得した点群測距データをクラスタリング部２２へ出力する。なお、測距部２１として三次元ＬＩＤＡＲを用いた場合の視野領域ＡＲｖは、図１５に示すように２つの円錐に挟まれた領域となり、２つの円錐の領域は死角領域ＡＲｄとなる。
　クラスタリング部２２は、点群測距データのクラスタリングを行い、距離に基づいて点群測距データをクラスタに分類する。クラスタリング部２２は、分類後の点群クラスタを物体識別部２８へ出力する。また、クラスタリング部２２は、対象物体を表す点群クラスタの位置情報を見え情報生成部２７へ出力する。
　情報記憶部２５は、対象物体を表す物体情報の取得に関するパラメータ情報、例えば測距部２１の位置と姿勢、測距部２１の視野領域等を示すセンサパラメータを記憶している。また、情報記憶部２５は、学習された物体モデルを表す物体モデル情報を記憶している。
　見え情報生成部２７は、クラスタリング部２２で推定された対象物体の三次元位置、情報記憶部２５に記憶されているパラメータ情報および物体モデル情報に基づき、物体モデルが測距部２１からどのように見えているかを示す見え情報を物体モデル毎に生成する。
　見え情報生成部２７は、クラスタリング部２２で検出された対象物体を示す対象物体を示す点群クラスタの位置情報と、対象物体を表す物体情報の取得に関するパラメータ情報を用いて、物体情報を取得した情報取得位置から対象物体の位置に設けた物体モデルの見えを表す見え情報を物体モデル毎に生成する。見え情報生成部２７は、物体情報を取得する測距部２１の視野領域と重なる物体モデルの部分を物体モデルの見えとする。また、見え情報生成部２７は、パラメータ情報に基づき視野領域と重なる物体モデルの部分を判別する。
　物体識別部２８は、見え情報生成部１７で生成された物体モデル毎の見え情報とクラスタリング部２２で分類された対象物体を表す点群クラスタを比較する。物体識別部２８は、対象物体を表す点群クラスタと一致する見え情報に対応する物体モデルを対象物体と識別して物体識別結果を出力する。
　＜５．第２の構成の動作＞
　次に、システムの第２の構成の動作について説明する。見え情報生成部２７は、検出された対象物体の位置情報と測距部２１の位置と姿勢に基づき、基準平面上に測距部２１と物体モデルを配置する。物体モデルは、例えば基準平面に垂直であって測距部２１に正対するように、対象物体の位置に配置する。この場合、座標系は統一されていればどのような座標系でもよい。なお、基準平面の座標系を基準とした測距部２１と物体モデルＯＢｍの配置は、第１の構成の動作と同様に行えばよい。
　また、見え情報生成部２７は、測距部２１の位置と姿勢および測距部２１の視野領域を表す三次元図形を求めて、基準平面に配置した測距部２１の視野領域と基準平面に配置して、測距部２１と対象物体の位置関係に応じた姿勢の物体モデルと、測距部２１の視野領域との重なりに基づき、物体モデルから見え情報を生成する。
　図１６は、第２の構成の動作で得られる見え情報を例示している。本技術の第２の構成によれば、図１６の（ａ）に示すように、物体モデルＯＢｍａについて例えば領域ＭＰに含まれる点群距離データが見え情報として生成される。同様に、物体モデルＯＢｍｂ，ＯＢｍｃについても領域ＭＰに含まれる点群距離データが見え情報として生成される。このため、見え情報は物体モデル毎に異なっている。したがって、物体識別部２８は、クラスタリング部２２で検出された物体の点群クラスタと見え情報を比較することで、検出された物体が物体モデルＯＢｍｂであることを正しく認識できる。なお、図１６の（ｂ）は従来の技術を用いた場合であり、物体モデルＯＢｍａ，ＯＢｍｂ，ＯＢｍｃにおいて、破線で示す領域は検出された物体を示す点群クラスタと類似している。このため、検出された物体は物体モデルＯＢｍａあるいは物体モデルＯＢｍｃと判定されてしまう場合が生じて、本技術のような精度の高い識別処理を行うことはできない。
　このような本技術の第２の構成によれば、取得される情報が点群距離データであっても、撮像画を取得する場合と同様に、対象物体の一部の見切れに対してロバストであって、物体識別を精度よく行うことができる。また、物体モデルは測距部からの見えが考慮されることから、見た目が似ている物体を対象物体として誤識別しまうことを少なくできる。また、学習データのデータ量の削減や大きさを考慮した物体識別を行うことができる。さらに、点群距離データを用いることから、撮像画を用いる場合に比べてシステムの構成を簡易にできる。
　＜６．システムの他の構成と動作＞
　ところで、上述のシステムは、物体情報を取得するセンサ部の姿勢変化がピッチ方向とヨー方向である場合について例示したが、センサ部はロール方向の変化を生じる場合もある。そこで、システムの他の動作では、センサ部がロール方向の変化を生じる場合を含めて説明する。
　図１７は、無人飛行体に対して下向きにセンサ部を設けた場合を例示している。無人飛行体４０に設けたセンサ部（例えば撮像部４１）で上空から地上面を撮像する場合、無人飛行体は上下方向の移動（スロットルともいう）や前後方向の移動（エレベータともいう）および左右方向の移動（エルロンともいう）だけでなく回転方向の移動（ラダーともいう）も可能である。したがって、無人飛行体で回転方向の移動が行われると、撮像部で取得される物体情報はロール方向の変化を生じる。このようなシステムの場合には、センサ部の回転方向の変化を考慮して見え情報を生成する。
　図１８は、無人飛行体にシステムを適用した場合の構成を例示している。（地面の模様など）に基づいて自己位置推定を行う場合の概念図を示している。無人飛行体４０には、撮像部４１、測距部４２、物体検出部４３、物体位置検出部４４、情報記憶部４５、姿勢検出部４６、見え情報生成部４７、位置算出部４８が設けられている。また、無人飛行体４０には、無人飛行体の制御を行う飛行制御部等が設けられている。
　撮像部４１は、対象物体を表す物体情報を取得する。物体情報は、上述のように対象物体を外から観測して取得できる外的特徴を示す情報である。撮像部４１としては、三原色の撮像画を得られるカラーカメラ、白黒の撮像画を得られる白黒カメラ、対象物体の温度を示す温度画像を得られる赤外線カメラ等が用いられる。なお、撮像部４１で対象物体を表す物体情報の取得する際のパラメータ情報、例えば撮像部４１の姿勢とセンサ視野角や焦点距離等のカメラパラメータは、情報記憶部４５に記憶される。
　測距部４２は、地面までの距離を測定するためのセンサである。測距部４２としては、ステレオカメラ、像面位相差画素を有するイメージセンサを用いることで撮像画と測距情報を取得できるカメラ、ＴＯＦ（Time of Flight）センサ、ＬＩＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ＲＡＤＡＲ（Radio Detection and Ranging）等が用いられる。
　物体検出部４３は、撮像部４１で取得された撮像画をもとに対象物体（地面の模様など）を検出して、検出した対象物体の画像内の位置を出力する。
　物体位置検出部４４は、物体検出部４３で検出された対象物体の画像内位置、測距部４２で測定された対象物体までの距離、情報記憶部４５に記憶されているパラメータ情報と後述する姿勢検出部４６で検出された姿勢に基づき、対象物体の三次元位置を推定する。
　情報記憶部４５は、上述のようにパラメータ情報や物体モデル情報等を記憶している。また、後述するように、位置算出部４８で無人飛行体４０の自己位置を算出する場合、物体モデル情報には物体モデル毎に物体モデルの位置を示す情報（物体モデル位置情報）が含まれる、
　姿勢検出部４６は、磁気センサやＩＭＵ（Inertial Measurement Unit）センサ等を用いて構成されており、物体モデルを配置する基準面（地面）に対する撮像部４１の姿勢を検出する。なお、撮像部４１が無人飛行体４０に固定されている場合、無人飛行体４０の姿勢を利用して撮像部４１の姿勢を検出してもよい。
　見え情報生成部４７は、測距部４２で測定された地面までの距離、情報記憶部４５に記憶されているパラメータ情報と物体モデル情報、撮像部４１の姿勢に基づき、物体モデルがどのように見えるか推定して見え情報を生成する。
　見え情報生成部４７は、地面の位置を基準平面として、物体モデル（地面の模様）を基準平面上に重なるように配置する。撮像部４１に対する姿勢については、姿勢検出部４６の検出結果に基づき物体モデルの候補を選択して配置する。なお、姿勢検出部４６が設けられていないため回転方向の姿勢がわからない場合、図１９に示すように物体モデルの候補を複数の姿勢毎に設ける。例えば、図１９の（ａ）に示すように無人飛行体４０で物体モデルＯＢｍを撮像する場合、図１９の（ｂ）に示す複数の回転方向の偏光モデルＯＢｍ１～ＯＢｍ４を設ける。
　見え情報生成部４７は、撮像部４１の姿勢とパラメータ情報に基づき、三次元空間における撮像部４１の視野領域を求める。さらに見え情報生成部４７は、基準平面に対する撮像部４１の姿勢を求め、撮像部４１の基準平面における視野領域を求める。なお、物体モデルは基準平面上にあると仮定しているので視野領域はこの時点で二次元領域となる。図２０は、視野領域を例示した図である。
　見え情報生成部４７は、物体モデルと視野領域の重なりから見え情報を生成する。見え情報生成部４７は、複数配置した物体モデルと視野領域の重なり、すなわち二次元領域同士の重なりを求めて見え情報とする。図２１は見え情報を例示している。例えば、図２１の（ａ）に示すように撮像部４１で上空から物体モデルを撮像した場合、例えば図２１の（ｂ）に示す見え情報ＧＶｍ１～ＧＶｍ５が生成される。
　位置算出部４８は、見え情報生成部４７で生成された見え情報と物体検出部４３で検出された対象物体を比較して、検出された対象物体と一致する見え情報に対応する物体モデルの物体モデル位置情報を利用して、無人飛行体４０の自己位置を算出する。
　図２２は、複数の物体モデルの見え情報を例示している。本技術の他の動作では、図２２の（ａ）に示すように、物体モデルＯＢｍａについて例えば物体見え情報ＧＶｍａ１，ＧＶｍａ２が生成される。同様に、物体モデルＯＢｍｂ，ＯＢｍｃについても見え情報ＧＶｍｂ１，ＧＶｍｂ２，ＧＶｍｃ１，ＧＶｍｃ２が生成される。位置算出部４８は、検出された対象物体を示す入力画像ＧＤと見え情報を比較することで、検出された対象物体が物体モデルＯＢｍａであることを正しく識別できる。なお、図２２の（ｂ）は従来の技術を用いた場合であり、物体モデルＯＢｍａ，ＯＢｍｂ，ＯＢｍｃの画像と検出された物体を示す入力画像ＧＤとを比較しても、画像は相違することから、検出された物体が物体モデルＯＢｍａであることを判別できない。
　位置算出部４８は、対象物体と判別された物体モデルの物体モデル位置情報と、姿勢検出部４６で検出した姿勢と地面までの距離、入力画像ＧＤと一致した見え情報の回転情報に基づき、無人飛行体４０の自己位置を算出する。図２３は、自己位置の算出動作を説明するための図である。例えば、位置算出部４８は、入力画像ＧＤと一致した見え情報（例えば図２２に示すＧＶｍａ２）に基づき、物体モデルに対する無人飛行体４０の方向ＦＰが明らかである。また、入力画像ＧＤと一致した見え情報に基づき、物体モデルの中心位置ＰＭから見え情報の中心位置ＰＶまでの位置差が明らかである。位置算出部４８は、姿勢検出部４６で検出した傾きθと物体までの距離ＬＤに基づき、無人飛行体４０からの垂線と地表面との交点ＰＰから見え情報の中心位置ＰＶまでの距離ＬＭを算出する。さらに、位置算出部４８は、物体モデルの中心位置ＰＭに対する見え情報の中心位置ＰＶの位置差情報と、中心位置ＰＶから方向ＦＰに距離ＬＭだけ離れた位置を示す位置差情報に基づき、入力画像ＧＤと一致した見え情報に対応する物体モデルの位置情報から交点ＰＰの位置情報を算出して無人飛行体４０の自己位置とする。
　このような処理を行えば、無人飛行体４０に測位信号を受信する機能が設けられていない場合や、測位信号に基づき自己位置の算出に時間を要する場合であっても、地面の撮像画と測距情報および無人飛行体４０の姿勢等に基づき、容易に自己位置を判別できるようになる。
　なお、上述の各動作の説明では、物体モデルＯＢｍが大きさを持った二次元情報と仮定したが、物体モデルＯＢｍは三次元情報であってもよい。この場合、見え情報は立体形状部分の見えの違いを示すことになる。このため、例えば正面から見た状態は類似しているが側面から見た状態は凹凸が異なる形状の物体を正しく区別して識別できるようになる。したがって、物体モデルＯＢｍが二次元情報である場合に比べて、さらに精度よく物体の識別等を行うことができる。なお、物体モデルＯＢｍを二次元情報とした場合は、三次元情報である場合に比べて見え情報の生成が容易であり、物体識別や自己位置の判別等を行うために必要な処理コストを低くできる。
　また、本開示に係る技術によれば、上述したように対象物体の識別精度を向上できる。したがって、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に本技術を用いれば、自律移動等を行う際に周辺状況の確認を精度よく行える。また、本技術を用いることで高精度の監視システム等を構築することも可能となる。
　明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
　例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
　また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
　また、本技術の情報処理装置は以下のような構成も取ることができる。
　（１）　対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
を備える情報処理装置。
　（２）　前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する（１）に記載の情報処理装置。
　（３）　前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する（２）に記載の情報処理装置。
　（４）　前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する（２）または（３）に記載の情報処理装置。
　（５）　前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する（２）乃至（４）の何れかに記載の情報処理装置。
　（６）　前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える（１）乃至（５）の何れかに記載の情報処理装置。
　（７）　前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である（１）乃至（６）の何れかに記載の情報処理装置。
　（８）　前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える（１）乃至（７）の何れかに記載の情報処理装置。
　（９）　前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成する（１）に記載の情報処理装置。
　（１０）　前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する位置算出部をさらに備える（９）に記載の情報処理装置。
　（１１）　前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける（９）または（１０）に記載の情報処理装置。
　（１２）　前記センサ部は飛行体に設けられている（９）乃至（１１）の何れかに記載の情報処理装置。
　この技術の情報処理装置と情報処理方法およびプログラムによれば、対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、物体情報を取得した情報取得位置からの対象物体の位置に設けた物体モデルの見えを表す見え情報が生成される、したがって、情報取得位置から取得した対象物体の情報と見え情報を比較することで、対象物体の識別精度を向上できるので、各種センサを搭載した移動体例えばロボットや車両，飛行体等に適用すれば、周辺状況や自己位置等を高精度に把握できるようになる。
　１０，２０・・・システム
　１１，４１・・・撮像部
　１２，２１，４２・・・測距部
　１３，４３・・・物体検出部
　１４，４４・・・物体位置検出部
　１５，２５，４５・・・情報記憶部
　１７，２７，４７・・・見え情報生成部
　１８，２８・・・物体識別部
　２２・・・クラスタリング部
　３１・・・付属器具
　４０・・・無人飛行体
　４６・・・姿勢検出部
　４８・・・位置算出部

Claims (14)

  1. 　対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する見え情報生成部
    を備える情報処理装置。
  2. 　前記見え情報生成部は、前記物体情報を取得するセンサ部の視野領域と前記物体モデルの重なりから前記物体モデルの見えを判別して、前記見え情報を生成する
    請求項１に記載の情報処理装置。
  3. 　前記見え情報生成部は、前記視野領域と前記物体モデルが重なる領域に対して透視投影変換を行い、前記見え情報を生成する
    請求項２に記載の情報処理装置。
  4. 　前記見え情報生成部は、前記パラメータ情報で示された前記センサ部の位置と姿勢およびセンサパラメータに基づき前記視野領域を判別する
    請求項２に記載の情報処理装置。
  5. 　前記見え情報生成部は、前記視野領域と前記物体モデルの重複領域に含まれており、前記対象物体よりも手前に位置する非対象物体の領域を、前記見え情報から除外する
    請求項２に記載の情報処理装置。
  6. 　前記物体情報が示す前記対象物体の撮像画における前記対象物体の位置と、前記物体情報の取得位置から前記対象物体までの距離と前記パラメータ情報に基づいて、前記対象物体の位置を検出する物体位置検出部をさらに備える
    請求項１に記載の情報処理装置。
  7. 　前記対象物体の位置を示す位置情報は、前記物体情報が示す前記対象物体までの測距値を示す点群データを前記測距値に応じてクラスタリングして検出したクラスタの位置を示す情報である
    請求項１に記載の情報処理装置。
  8. 　前記見え情報生成部で生成された物体モデル毎の見え情報を用いて前記対象物体の識別を行う物体識別部をさらに備える
    請求項１に記載の情報処理装置。
  9. 　前記見え情報生成部は、前記物体モデルを配置する基準面に対する前記センサ部の姿勢に基づき、前記見え情報を生成する
    請求項１に記載の情報処理装置。
  10. 　前記物体モデルの位置情報と前記対象物体に一致する見え情報および前記センサ部の姿勢に基づき、前記センサ部の位置を算出する位置算出部をさらに備える
    請求項９に記載の情報処理装置。
  11. 　前記センサ部のロール方向の姿勢変化量を取得できない場合、前記物体モデルを前記ロール方向に異なる姿勢毎に設ける
    請求項９に記載の情報処理装置。
  12. 　前記センサ部は飛行体に設けられている
    請求項９に記載の情報処理装置。
  13. 　対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成すること
    を含む情報処理方法。
  14. 　対象物体に関する情報処理をコンピュータで実行させるプログラムであって、
    　前記対象物体の位置を示す位置情報と、前記対象物体を表す物体情報の取得に関するパラメータ情報に基づいて、前記物体情報を取得した情報取得位置からの前記対象物体の位置に設けた物体モデルの見えを表す見え情報を生成する手順
    を前記コンピュータで実行させるプログラム。
PCT/JP2018/033801 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム WO2019087581A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US16/760,122 US11282230B2 (en) 2017-11-06 2018-09-12 Information processing apparatus, information processing method, and program
EP18872303.5A EP3709261A4 (en) 2017-11-06 2018-09-12 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2019549925A JP7127651B2 (ja) 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム
CN201880070874.0A CN111295663B (zh) 2017-11-06 2018-09-12 信息处理装置、信息处理方法和程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-213593 2017-11-06
JP2017213593 2017-11-06

Publications (1)

Publication Number Publication Date
WO2019087581A1 true WO2019087581A1 (ja) 2019-05-09

Family

ID=66331629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/033801 WO2019087581A1 (ja) 2017-11-06 2018-09-12 情報処理装置と情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US11282230B2 (ja)
EP (1) EP3709261A4 (ja)
JP (1) JP7127651B2 (ja)
CN (1) CN111295663B (ja)
WO (1) WO2019087581A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022176732A1 (ja) * 2021-02-22 2022-08-25 パナソニックＩｐマネジメント株式会社 人検知システム、人検知方法およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 目標物体の検出方法、検出装置及びロボット

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2007072665A (ja) 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
WO2013008584A1 (ja) * 2011-07-14 2013-01-17 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2016136320A (ja) 2015-01-23 2016-07-28 トヨタ自動車株式会社 ロボット

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5977231B2 (ja) * 2012-07-13 2016-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理装置、および情報処理方法
JP6314394B2 (ja) * 2013-09-13 2018-04-25 富士通株式会社 情報処理装置、設定方法、設定プログラム、システムおよび管理装置
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
US10282861B2 (en) * 2016-12-12 2019-05-07 Here Global B.V. Pose error estimation and localization using static features
US10410089B2 (en) * 2018-01-19 2019-09-10 Seiko Epson Corporation Training assistance using synthetic images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005033319A (ja) * 2003-07-08 2005-02-03 Canon Inc 位置姿勢計測方法及び装置
JP2007072665A (ja) 2005-09-06 2007-03-22 Fujitsu Ten Ltd 物体判別装置、物体判別方法および物体判別プログラム
WO2013008584A1 (ja) * 2011-07-14 2013-01-17 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
JP2016136320A (ja) 2015-01-23 2016-07-28 トヨタ自動車株式会社 ロボット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3709261A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022176732A1 (ja) * 2021-02-22 2022-08-25 パナソニックＩｐマネジメント株式会社 人検知システム、人検知方法およびプログラム
JPWO2022176732A1 (ja) * 2021-02-22 2022-08-25
JP7304603B2 (ja) 2021-02-22 2023-07-07 パナソニックＩｐマネジメント株式会社 人検知システム、人検知方法およびプログラム

Also Published As

Publication number Publication date
US11282230B2 (en) 2022-03-22
CN111295663B (zh) 2024-08-13
US20200258253A1 (en) 2020-08-13
EP3709261A4 (en) 2020-12-09
JP7127651B2 (ja) 2022-08-30
CN111295663A (zh) 2020-06-16
EP3709261A1 (en) 2020-09-16
JPWO2019087581A1 (ja) 2020-11-12

Similar Documents

Publication Publication Date Title
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
JP6897563B2 (ja) 画像処理装置と画像処理方法およびプログラム
JP4739004B2 (ja) 情報処理装置及び情報処理方法
JP6658001B2 (ja) 位置推定装置、プログラム、位置推定方法
KR101072876B1 (ko) 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치
US9704248B2 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
US20160238394A1 (en) Device for Estimating Position of Moving Body and Method for Estimating Position of Moving Body
KR20110122022A (ko) 지도 생성 장치 및 방법
TW201335888A (zh) Ａｒ影像處理裝置及方法
JP2014119901A (ja) 自律移動ロボット
US20220291009A1 (en) Information processing apparatus, information processing method, and storage medium
WO2019087581A1 (ja) 情報処理装置と情報処理方法およびプログラム
Bazin et al. UAV attitude estimation by vanishing points in catadioptric images
WO2020105499A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
Shimizu et al. LIDAR-based body orientation estimation by integrating shape and motion information
WO2019016879A1 (ja) 物体検出装置、及び、物体検出手法
WO2020137313A1 (ja) 位置測定装置
JP2017182564A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP5230354B2 (ja) 位置特定装置及び異動建物検出装置
JP2021047744A (ja) 情報処理装置、情報処理方法及び情報処理プログラム
Weinmann et al. A step towards dynamic scene analysis with active multi-view range imaging systems
Zaslavskiy et al. Method for automated data collection for 3d reconstruction
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质
US20240083038A1 (en) Assistance system, image processing device, assistance method and non-transitory computer-readable storage medium
JP7309097B2 (ja) 位置検知装置、位置検知方法、及び位置検知プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18872303

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019549925

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018872303

Country of ref document: EP

Effective date: 20200608