JP7151725B2 - 制御装置、および制御方法、プログラム、並びに移動体 - Google Patents

制御装置、および制御方法、プログラム、並びに移動体 Download PDF

Info

Publication number
JP7151725B2
JP7151725B2 JP2019562988A JP2019562988A JP7151725B2 JP 7151725 B2 JP7151725 B2 JP 7151725B2 JP 2019562988 A JP2019562988 A JP 2019562988A JP 2019562988 A JP2019562988 A JP 2019562988A JP 7151725 B2 JP7151725 B2 JP 7151725B2
Authority
JP
Japan
Prior art keywords
self
location
unit
image
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019562988A
Other languages
English (en)
Other versions
JPWO2019131198A1 (ja
Inventor
大 小林
諒 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019131198A1 publication Critical patent/JPWO2019131198A1/ja
Application granted granted Critical
Publication of JP7151725B2 publication Critical patent/JP7151725B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Description

本開示は、制御装置、および制御方法、プログラム、並びに移動体に関し、特に、自己位置を高精度に推定できるようにした制御装置、および制御方法、プログラム、並びに移動体に関する。
周辺の画像を撮像し、撮像した画像内の特徴量から自己位置や姿勢を推定する技術がある。
例えば、前方視野の案内表示などの特徴物と、記憶している画像との照合により前方特徴物を検出することで自己位置を認識して、走行を支援する技術が提案されている（特許文献１参照）。
また、視線方向に対するテンプレート画像と撮像画像との照合から、ロボットや対象物体の位置・姿勢データを推定する技術が提案されている（特許文献２参照）。
さらに、画像の特徴点とランドマーク情報とのパターン認識により特徴点を選出し、特徴点の個数でランドマーク候補を作り、位置を推定する技術が提案されている（特許文献３参照）。
特開２０１４－０１２０１１号公報 特開２０１２－１８５７５２号公報 特開２０１０－０３３４４７号公報
しかしながら、特許文献１乃至３のいずれにおいても、異なる位置であっても、周囲に類似した物体が多数存在し、検出される特徴量の多くが類似している環境においては、一致する特徴量が多く検出されることにより同一の位置として誤検出されることがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定できるようにするものである。
本開示の第１の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含み、前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する制御装置である。
前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成させるようにすることができる。
前記第１の特徴量抽出部には、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出させ、前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含ませるようにすることができる。
前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含ませるようにすることができ、前記統合部には、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録させるようにすることができる。
前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含ませるようにすることができる。
前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含ませるようにすることができる。
前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含ませるようにすることができ、前記自己位置不定状態である場合、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記検査部には、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査させ、前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部には、前記現在情報自己位置を自己位置推定結果として出力させ、前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部には、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力させるようにすることができる。
前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成されるようにすることができる。
前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成されるようにすることができる。
前記撮像部は、ステレオカメラであり、前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含ませるようにすることができ、前記第１のマスク生成部には、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成させ、前記第１の特徴量抽出部には、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出させるようにすることができる。
前記自己位置推定部には、時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定させ、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含ませるようにすることができる。
前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度とすることができる。
本開示の第１の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含み、前記第１のマスク生成処理は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する制御方法である。
本開示の第１の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部としてコンピュータを機能させ、前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成するプログラムである。
本開示の第１の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含み、前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する移動体である。
本開示の第１の側面においては、自己位置が推定され、周囲の画像が撮像され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクが生成される。
本開示の第２の側面の制御装置は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とを含み、前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御装置である。
本開示の第２の側面の制御方法は、自己位置を推定する自己位置推定処理と、周囲の画像を撮像する撮像処理と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とを含み、前記マスク生成処理は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、前記現在情報自己位置を推定する場合、前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する制御方法である。
本開示の第２の側面のプログラムは、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定するプログラムである。
本開示の第２の側面の移動体は、自己位置を推定する自己位置推定部と、周囲の画像を撮像する撮像部と、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とを含み、前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、前記現在情報自己位置を推定する場合、前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する移動体である。
本開示の第２の側面においては、自己位置が推定され、周囲の画像が撮像され、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクが生成され、マスクされた前記周囲の画像より、画像特徴量が抽出され、前記画像特徴量と、推定された自己位置の位置情報とが対応付けられてデータベースとして登録され、前記データベースに基づいて、現在情報自己位置が推定され、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクが生成され、前記現在情報自己位置が推定される場合、撮像された前記自己位置の周囲の画像より前記画像特徴量が抽出され、前記データベースにおいて、抽出された前記画像特徴量に対応付けて登録されている前記位置情報が現在情報自己位置として推定される。
本開示の一側面によれば、特に、異なる位置であるにも関わらず周囲に類似した特徴量が多く存在することにより、同一の位置と誤検出され易い環境であっても、区別して高精度に自己位置を推定することが可能となる。
本開示の概要を説明する移動体の構成例を示す図である。 本開示の概要を説明する図である。 本開示の移動体を制御する移動体制御システムの構成例を説明するブロック図である。 本開示の第１の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 場所関連非特徴部を説明する図である。 図４の認識処理部による自律移動制御処理を説明するフローチャートである。 時系列情報自己位置推定処理を説明するフローチャートである。 現在情報自己位置推定処理を説明するフローチャートである。 図４の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。 場所関連非特徴部の応用例を説明する図である。 本開示の第２の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 場所関連非特徴部生成登録処理を説明するフローチャートである。 本開示の第３の実施の形態に係る認識処理部の構成例の詳細なブロック図である。 図１３の認識処理部による位置画像特徴量登録処理を説明するフローチャートである。 図１３の認識処理部による自律移動制御処理を説明するフローチャートである。 自己位置不定モード処理を説明するフローチャートである。 汎用のコンピュータの構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．本開示の概要
２．第１の実施の形態
３．第２の実施の形態
４．第３の実施の形態
５．ソフトウェアにより実行させる例
＜＜１．本開示の概要＞＞
本開示の移動体は、異なる位置であるにもかかわらず、類似した特徴量の多い環境であって、同一の位置として誤検出され易い環境でも、高精度に区別して、自己位置を推定できるようにした移動体である。
図１は、本開示の移動体１１の概要となる構成例を示している。
移動体１１は、例えば、ロボットなどであり、センサ群２１、自律移動制御部２２、およびアクチュエータ群２３を備えている。
センサ群２１は、移動体１１の内部、および移動体１１の周囲の状況の認識に必要な各種の情報を検出するセンサ２１ａ－１乃至２１ａ－ｎを備えており、検出結果を自律移動制御部２２に出力する。また、センサ２１ａ－１乃至２１ａ－ｎについて特に区別する必要がない場合、単に、センサ２１ａと称するものとし、その他の構成についても同様に称する。
より具体的には、センサ２１ａ－１乃至２１ａ－ｎは、例えば、移動体１１の周囲を撮像するカメラ、移動体１１の動きを検出する加速度センサ、移動体１１の周囲に存在する物体までの距離を測定するLIDAR、ToF（Time of Flight）センサ、方向を検出する地磁気センサ、ジャイロセンサ、加速度センサ、周囲の気圧の変化を検出する気圧センサ、接触の有無等を検出する接触センサ、温度を検出する温度センサ、湿度を検出する湿度センサ、PSD（Position Sensitive Detector）測距センサおよび、地球上の位置を検出するGNSS（Global Navigation Satellite System）などを含む。
自律移動制御部２２は、センサ群２１の各種の検出結果より、周囲の状況を認識し、認識結果に基づいて行動計画を生成し、行動計画に応じて、ロボットを駆動させるアクチュエータ群２３の各種アクチュエータ２３ａ－１乃至２３ａ－ｎを動作させる。また、アクチュエータ２３ａ－１乃至２３ａ－ｎについて特に区別する必要がない場合、単に、アクチュエータ２３ａと称するものとし、その他の構成についても同様に称する。
より詳細には、自律移動制御部２２は、認識処理部３１、行動計画処理部３２、および行動制御処理部３３を備えている。
認識処理部３１は、センサ群２１より供給される検出結果に基づいて、認識処理を実行し、例えば、画像、人、物体、表情の種類、位置、属性、および自らや障害物の位置等を認識し、認識結果として行動計画処理部３２に出力する。また、認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
行動計画処理部３２は、認識結果に基づいて、移動体１１の全体の行動である、移動体１１の移動に係る機器の移動の軌跡、状態変化、および速度または加速度などの行動計画を生成し、行動制御処理部３３に供給する。
行動制御処理部３３は、行動計画処理部３２より供給される行動計画に基づいて、アクチュエータ群２３のアクチュエータ２３ａ－１乃至２３ａ－ｎのそれぞれの具体的な動きを制御するための制御信号を生成し、アクチュエータ群２３を動作させる。
アクチュエータ群２３は、行動制御処理部３３より供給される制御信号に基づいて、移動体１１を具体的に動作させるアクチュエータ２３ａ－１乃至２３ａ－ｎを動作させる。より詳細には、アクチュエータ２３ａ－１乃至２３ａ－ｎは、移動体１１の具体的な動き実現するモータ、サーボモータ、ブレーキ等の動作を制御信号に基づいて動作させる。
また、アクチュエータ２３ａ－１乃至２３ａ－ｎは、伸縮運動、屈伸運動、または旋回運動などを実現させる構成を含むと共に、情報を表示するLED（Light Emission Diode）やLCD（Liquid Crystal Display）などからなる表示部、および、音声を出力するスピーカなどの構成を含む。したがって、アクチュエータ群２３が制御信号に基づいて、制御されることにより、移動体１１を駆動させる各種の装置の動作が実現されると共に、情報が表示される、および音声が出力される。
すなわち、アクチュエータ群２３のアクチュエータ２３ａ－１乃至２３ａ－ｎが制御されることにより、移動体１１の移動に係る動作が制御されると共に、情報の表示や音声の出力などの各種の情報の提示も制御される。
＜本開示の自己位置推定の概要＞
認識処理部３１は、センサ群２１より供給される検出結果に基づいて、自己位置を推定する。
より具体的には、認識処理部３１は、センサ群２１により、例えば、カメラにより撮像される自己位置の周辺の画像より特徴量を抽出し、予め画像の特徴量と、位置とが対応付けて登録されたDB（データベース）の特徴量と照合して、一致する特徴量に対応付けて登録された位置の情報を読み出すことにより自己位置を推定する。
しかしながら、例えば、図２の左部で示されるようなオフィスビルの廊下などにおいては、階数が異なっていても、周囲の環境はほぼ類似していることがあり、抽出される特徴量においても、類似していることが多く、異なる階数であっても同一の階の廊下と自己位置を誤検出することがある。
特に、廊下の天井に設けられた照明類が多くの特徴量として検出されることにより、誤検出を誘発させる原因となっている。
そこで、本開示においては、図２の右部で示されるように、予め画像に対して、誤検出を誘発させ易い、換言すれば、他の階との区別には有用（有効）ではない特徴量を多く含む天井部分にマスク領域Ｚが付された状態で抽出される特徴量と位置情報とを対応付けてDBに登録させる。
すなわち、本開示においては、周囲の画像のうち、同一の特徴量が抽出され易い、他の位置との差異が少ない領域に対して、予めマスクを掛けた状態で特徴量を抽出して、位置情報と対応付けてDBを構成することにより、異なる位置であるにも拘わらず、類似した物体が多く存在するような環境においても位置を区別して高精度に自己位置を推定できるようにする。
＜＜２．第１の実施の形態＞＞
＜本開示の移動体を制御する移動体制御システムの構成例＞
上述した機能を実現させるための移動体１１を制御する移動体制御システムについて説明する。
図３は、本開示の移動体１１を制御する移動体制御システム１００の概略的な機能の構成例を示すブロック図である。尚、図３の移動体制御システム１００は、本技術が適用され得るロボットからなる移動体１１を制御する移動体制御システムの一例であるが、他の移動体、例えば、航空機、船舶、およびマルチローターコプター（ドローン）などを制御するシステムとして適用することもできる。また、ロボットについても、車輪型のロボットや搭乗可能な自動運転車でもよいし、多足歩行型のロボットでもよい。
移動体制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、移動体内部機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、記憶部１０９、及び、自律移動制御部１１０を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、記憶部１０９、及び、自律移動制御部１１０は、通信ネットワーク１１１を介して、相互に接続されている。通信ネットワーク１１１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、IEEE802.3等のＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した通信ネットワークやバス、あるいは規格化されていない独自の通信方式等からなる。なお、移動体制御システム１００の各部は、通信ネットワーク１１１を介さずに、直接接続される場合もある。
なお、以下、移動体制御システム１００の各部が、通信ネットワーク１１１を介して通信を行う場合、通信ネットワーク１１１の記載を省略するものとする。例えば、入力部１０１と自律移動制御部１１０が、通信ネットワーク１１１を介して通信を行う場合、単に入力部１０１と自律移動制御部１１０が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、移動体制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動体制御システム１００の各部に供給する。
データ取得部１０２は、移動体制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動体制御システム１００の各部に供給する。
例えば、データ取得部１０２は、移動体の状態等を検出するための各種のセンサを備えることでセンサ群１１２を構成し、図１のセンサ２１ａ－１乃至２１ａ－ｎより構成されるセンサ群２１に対応する。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセル等の加速入力の操作量、減速入力の操作量、方向指示入力の操作量、エンジンやモータ等の駆動装置の回転数や入出力エネルギー・燃料量、エンジンやモータ等のトルク量、若しくは、車輪や関節の回転速度やトルク等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、移動体の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、偏光カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、移動体の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、レーザ測距センサ、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、移動体の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
通信部１０３は、移動体内部機器１０４、並びに、移動体外部の様々な機器、サーバ、基地局等と通信を行い、移動体制御システム１００の各部から供給されるデータを送信したり、受信したデータを移動体制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、移動体内部機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、移動体内部機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、移動体の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、移動体１１が車両の場合、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、移動体と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
移動体内部機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、移動体に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、移動体の搭乗者又は移動体外部に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、移動体の搭乗者又は移動体外部に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。尚、出力制御部１０５および出力部１０６は、自律移動の処理には必須の構成ではないため、必要に応じて省略するようにしてもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、移動体の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、4本の脚の各関節に備わった角度やトルクを指定可能なサーボモータ、ロボット自体の移動の動きを4本の足の動きに分解・置換するモーションコントローラ並びに、各モータ内のセンサや足裏面のセンサによるフィードバック制御装置を備える。
別の例では、駆動系システム１０８は、4基ないし6基の機体上向きのプロペラを持つモータ、ロボット自体の移動の動きを各モータの回転量に分解・置換するモーションコントローラを備える。
さらに、別の例では、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。尚、出力制御部１０５、出力部１０６、駆動系制御部１０７、および駆動系システム１０８は、アクチュエータ群１１３を構成し、図１のアクチュエータ２３ａ－１乃至２３ａ－ｎからなるアクチュエータ群２３に対応する。
記憶部１０９は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１０９は、移動体制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１０９は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、移動体の周囲の情報を含むローカルマップ等の地図データを記憶する。
自律移動制御部１１０は、自動運転又は運転支援等の自律移動に関する制御を行う。具体的には、例えば、自律移動制御部１１０は、移動体の衝突回避あるいは衝撃緩和、移動体間距離に基づく追従移動、移動体速度維持移動、または、移動体の衝突警告の機能実現を目的とした協調制御を行う。また、例えば、自律移動制御部１１０は、操作者・ユーザの操作に拠らずに自律的に移動する自律移動等を目的とした協調制御を行う。自律移動制御部１１０は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。このうち、検出部１３１、自己位置推定部１３２、および状況分析部１３３は、認識処理部１２１を構成し、図１の認識処理部３１に対応する。また、計画部１３４は、行動計画処理部１２２を構成し、図１の行動計画処理部３２に対応する。さらに、動作制御部１３５は、行動制御処理部１２３を構成し、図１の行動制御処理部３３に対応する。
検出部１３１は、自律移動の制御に必要な各種の情報の検出を行う。検出部１３１は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３を備える。
移動体外部情報検出部１４１は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の外部の情報の検出処理を行う。例えば、移動体外部情報検出部１４１は、移動体の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、移動体、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、移動体外部情報検出部１４１は、移動体の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。移動体外部情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２、並びに、動作制御部１３５等に供給する。
移動体内部情報検出部１４２は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体内部の情報の検出処理を行う。例えば、移動体内部情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、移動体内部の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる移動体内部の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。移動体内部情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
移動体状態検出部１４３は、移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の状態の検出処理を行う。検出対象となる移動体の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の移動体搭載機器の状態等が含まれる。移動体状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５２、及び、動作制御部１３５等に供給する。
自己位置推定部１３２は、移動体外部情報検出部１４１、及び、状況分析部１３３の状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、及び、状況認識部１５２等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１０９に記憶させる。
さらに、自己位置推定部１３２は、センサ群１１２より供給される検出結果に基づいて、時系列に供給される時系列情報をデータベースに蓄積すると共に、蓄積した時系列の情報に基づいて、自己位置を推定し、時系列情報自己位置として出力する。また、自己位置推定部１３２は、センサ群１１２より供給される現在の検出結果に基づいて、自己位置を推定し、現在情報自己位置として出力する。そして、自己位置推定部１３２は、時系列情報自己位置と、現在情報自己位置とを統合する、または、切り替えることにより自己位置推定結果として出力する。さらに、自己位置推定部１３２は、現在情報自己位置を推定するにあたっては、センサ群１１２により検出される検出結果のうちの画像より抽出される画像特徴量と、位置とを対応付けた位置画像特徴量DB２２５（図４）を備えており、検出結果との照合により現在情報自己位置を推定する。自己位置推定部１３２は、センサ群１１２により撮像される画像に対して、位置を特定する上で有用ではない画像特徴量が多く検出される場所毎に、マスクすべき範囲の情報を備えている。自己位置推定部１３２は、位置画像特徴量DB２２５（図４）へと画像特徴量と位置とを対応付けて登録する際、センサ群１１２により撮像される画像に対して、場所に応じてマスクを付した状態で画像特徴量を抽出して登録する。これにより、位置を特定する上で有用ではない画像特徴量を多く含む範囲がマスクされて画像特徴量が抽出されることになるので、類似した画像特徴量、すなわち、位置を特定する上で有用ではない画像特徴量を多く含む環境でも、高精度に区別して自己位置を推定することが可能となる。尚、自己位置推定部１３２の詳細な構成については、図４を参照して後述する。
状況分析部１３３は、移動体及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、状況認識部１５２、及び、状況予測部１５３を備える。
マップ解析部１５１は、自己位置推定部１３２及び移動体外部情報検出部１４１等の移動体制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１０９に記憶されている各種のマップの解析処理を行い、自律移動の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、状況認識部１５２、状況予測部１５３、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
状況認識部１５２は、自己位置推定部１３２、移動体外部情報検出部１４１、移動体内部情報検出部１４２、移動体状態検出部１４３、及び、マップ解析部１５１等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の認識処理を行う。例えば、状況認識部１５２は、移動体の状況、移動体の周囲の状況、及び、移動体の運転者の状況等の認識処理を行う。また、状況認識部１５２は、必要に応じて、移動体の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）、道路地図（Lane Map）、または、点群地図（Point Cloud Map）とされる。
認識対象となる移動体の状況には、例えば、移動体の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる移動体の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５２は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５３等に供給する。また、状況認識部１５２は、状況認識用マップを記憶部１０９に記憶させる。
状況予測部１５３は、マップ解析部１５１、及び状況認識部１５２等の移動体制御システム１００の各部からのデータ又は信号に基づいて、移動体に関する状況の予測処理を行う。例えば、状況予測部１５３は、移動体の状況、移動体の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる移動体の状況には、例えば、移動体の挙動、異常の発生、及び、移動可能距離等が含まれる。予測対象となる移動体の周囲の状況には、例えば、移動体の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５３は、予測処理の結果を示すデータを、及び状況認識部１５２からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に移動するための移動体の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、移動速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した移動体の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５３等の移動体制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための移動体の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、移動軌道等の計画を行う。動作計画部１６３は、計画した移動体の動作を示すデータを、動作制御部１３５等に供給する。
動作制御部１３５は、移動体の動作の制御を行う。
より詳細には、動作制御部１３５は、移動体外部情報検出部１４１、移動体内部情報検出部１４２、及び、移動体状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、移動体の異常等の緊急事態の検出処理を行う。動作制御部１３５は、緊急事態の発生を検出した場合、急停止や急旋回等の緊急事態を回避するための移動体の動作を計画する。
また、動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための加減速制御を行う。例えば、動作制御部１３５は、計画された加速、減速、又は、急停止を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
動作制御部１３５は、動作計画部１６３により計画された移動体の動作を実現するための方向制御を行う。例えば、動作制御部１３５は、動作計画部１６３により計画された移動軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜認識処理部の詳細な構成例＞
次に、図４を参照して、図３の移動体制御システム１００のうち、認識処理部３１に対応する自律移動制御部１１０の認識処理部１２１と、その周辺の具体的な構成例について説明する。
尚、ここでは、移動体が車輪型移動ロボットからなる移動体１１である例について説明するが、その他のロボットや車両などの移動体であってもよい。
センサ群１１２は、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３を備えているものとする。当然のことながら、４足歩行ロボットや車両等であれば、その他のセンサを使用するようにしてもよい。
LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして取得し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
車輪エンコーダ２０２は、移動体１１の位置情報（Ｘ，Ｙ，Ｚ）、姿勢（クォータニオン）、速度（ｄｘ，ｄｙ，ｄｚ）、加速度（ａｘ，ａｙ，ａｚ）、および角速度（ｗｘ，ｗｙ，ｗｚ）を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、自己位置推定部１３２に現在情報として出力する。
自己位置推定部１３２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、現在情報自己位置推定部２２４、位置画像特徴量DB２２５、自己位置推定結果統合部２２６、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０を備えている。
また、自己位置推定部１３２には、自己位置を推定する自己位置推定処理を実行するモードと、自己位置推定処理に必要な、位置画像特徴量DB２２５（図４）に位置の情報に対応付けて画像特徴量を登録する、位置画像特徴量登録処理を実行するモードとがある。
そこで、自己位置推定部１３２においては、位置画像特徴量登録処理を実行するための構成からなる位置画像特徴量登録処理ブロック２１１と、自己位置推定処理を実行するための自己位置推定処理ブロック２１２とからなる。
位置画像特徴量登録処理ブロック２１１は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、非特徴領域マスク生成部２２７、場所関連非特徴部DB２２８、位置画像特徴量登録部２２９、および位置場所変換部２３０からなる。
また、自己位置推定処理ブロック２１２は、デプス画像生成部２２０、時系列情報自己位置推定部２２１、時系列情報DB２２２、特徴量抽出部２２３、および現在情報自己位置推定部２２４からなる。
時系列情報自己位置推定部２２１は、LIDAR２０１および車輪エンコーダ２０２より供給される、自己位置、および周囲の障害物の位置を表現する３次元点群データ等の時系列情報を時系列情報DB２２２に格納する。また、時系列情報自己位置推定部２２１は、時系列情報DB２２２より、過去から現在までの時系列情報を必要に応じて読み出し、読み出した過去から現在までの時系列情報に基づいて自己位置を推定し、自己位置推定結果統合部２２６に供給する。
尚、時系列情報自己位置推定部２２１による、SLAM（Simultaneous Localisation and Mapping）を用いた具体的な自己位置推定方法については、「拡張カルマンフィルタを用いた移動ロボットの自己位置推定と環境認識」森本祐介，正滑川徹、「Simultaneous Localisation and Mapping (SLAM): Part I The Essential Algorithms Hugh Durrant-Whyte, Fellow, IEEE, and Tim Bailey」、および「Simultaneous Localisation and Mapping (SLAM): Part II State of the Art Tim Bailey and Hugh Durrant-Whyte」を参照されたい。尚、時系列情報自己位置推定部２２１により時系列情報に基づいて推定される自己位置を時系列情報自己位置と称する。
デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成し、特徴量抽出部２２３、および非特徴領域マスク生成部２２７に出力する。
特徴量抽出部２２３は、自己位置推定処理においては、デプス画像生成部２２０より供給されるデプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
特徴量抽出部２２３は、位置画像特徴量登録処理においては、非特徴領域マスク生成部２２７より供給される、非特徴領域マスクにより一部がマスクされた、デプス画像より画像特徴量を抽出して、現在情報自己位置推定部２２４、および位置画像特徴量登録部２２９に出力する。
現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した特徴量に対応する位置の情報に基づいて、自己位置を推定し、自己位置推定結果統合部２２６に供給する。尚、現在情報自己位置推定部２２４により現在情報に基づいて推定される自己位置を現在情報自己位置と称する。
自己位置推定結果統合部２２６は、自己位置推定処理においては、時系列情報自己位置と、現在情報自己位置とを、例えば、LIDAR２０１、車輪エンコーダ２０２、およびステレオカメラ２０３のそれぞれの状況に応じた信頼度などに応じて統合し、自己位置推定結果として状況認識部１５２に出力する。尚、自己位置推定結果統合部２２６は、求められた位置の情報と、そのタイミングで検出されたデプス画像の画像特徴量とを対応付けて位置画像特徴量DB２２５に登録する。すなわち、自己位置として推定された位置に対応付けて、そのタイミングにおけるデプス画像の特徴量を登録させることにより、一度、通った位置については、対応するデプス画像の画像特徴量が確実に存在することになるので、高精度に自己位置を推定することが可能となる。
非特徴領域マスク生成部２２７は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
ここで、位置場所変換部２３０は、位置情報と場所とが対応付けられて格納されたデータベースを記憶しており、時系列情報自己位置に基づいて、対応する場所の情報を読み出すことで、時系列情報位置情報を場所の情報に変換して出力する。位置場所変換部２３０が記憶するデータベースにおいては、例えば、時系列情報自己位置により特定される緯度経度の位置情報と、対応する建物の階数の部屋番号や廊下、道路などが場所の情報として対応付けて格納されている。
これにより位置場所変換部２３０は、時系列情報自己位置推定部２２１より供給される時系列情報自己位置を、対応する場所の情報に変換して非特徴領域マスク生成部２２７に出力する。
非特徴領域マスク生成部２２７は、位置場所変換部２３０より供給される場所の情報に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。
そして、非特徴領域マスク生成部２２７は、読み出した場所関連非特徴部に基づいて、非特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録されるテーブルで定義され、位置を特定するために用いられるデプス画像のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。つまり、図２でも示したように、オフィスビル内の廊下などでは、天井の照明が特徴量として多く検出されるが、複数の階で同一の構造であることが多いため、天井の照明の特徴量を用いると、いずれの階のフロアであるのかを特定し難く、誤検出が発生し易い。すなわち、ビル内のような環境では、天井には、位置を特定するために用いられる有用な特徴量は少なく、天井を除く範囲の特徴量の情報を用いた方がフロアを識別し易い。そこで、このような場合については、天井の範囲が場所関連非特徴部とされる。天井以外にもビル内では、ブラインド、模様付きの壁、タイル床、等、屋外では整備された新興住宅街、タイル張りの地面等が場所関連非特徴部としてあげられる。上記は一例であり場所関連非特徴部は上記に限定されない。
より具体的には、図５の左部においては、場所として特定される、ABCビルの８Ｆにおいては、天井を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、天井が、場所関連非特徴部とされる。
また、図５の左部においては、場所として特定される、エレベータホールにおいては、南向き壁、および床を除く範囲が、デプス画像内のうち、現在情報自己位置を推定するために、他の位置との区別に有用な特徴量が多く存在するので、南向き壁、および床が、場所関連非特徴部とされる。
非特徴領域マスク生成部２２７は、場所関連非特徴部の情報に基づいて、場所ごとの非特徴領域マスクを生成し、デプス画像生成部２２０より供給されるデプス画像に対して付加して、特徴量抽出部２２３に供給する。
したがって、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がABCビルの８Ｆであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、天井部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
同様に、図５の左部である場合、例えば、時系列情報自己位置推定結果に基づいて、場所がエレベータホールであることが特定されるときには、非特徴領域マスク生成部２２７は、現在情報自己位置を特定するために用いられるデプス画像内のうち、有用な特徴量が多くない、換言すれば、他の位置との区別に有用ではない特徴量が含まれる、南向きの壁、および床部分を場所関連非特徴部に設定し、非特徴領域マスクを付加したデプス画像を特徴量抽出部２２３に供給する。
位置画像特徴量登録部２２９は、位置画像特徴量登録処理において、特徴量抽出部２２３より供給される画像特徴量の情報を、時系列情報自己位置推定結果と対応付けて位置画像特徴量DB２２５に登録する。
このようにして、位置画像特徴量登録処理においては、供給されたデプス画像に基づいて、特徴量抽出部２２３は、デプス画像のうち、非特徴領域マスクが付加されていない範囲から画像特徴量を抽出する。結果として、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されるので、誤検出の発生を抑制することが可能となる。
また、場所関連非特徴部DB２２８に登録される場所関連非特徴部は、図５の左部で示される条件以外でもよく、コンピュータによって物理的な場所の範囲が指定できるデータ形式であればよい。例えば、図５の右部で示されるように、緯度＜ｘ、かつ、経度＜ｙの範囲で特定される場所であるときでもよい。また、別の例では例えば、無線アクセスポイントXXXからの電波強度がY以内を場所といった、何らかの条件を満たす場所としてもよい。また、右部はコンピュータによってデプス画像内にマスクを生成可能な場所を指定できる情報及びデータ形式であればよい。たとえば所定の平面方向（例えば、重力方向に対して平行、または、重力方向に対して垂直のいずれか）であってもよい。また別の例では南向きの壁の範囲としてもよい。
＜図４の自律移動制御部による自律移動推定処理＞
次に、図６のフローチャートを参照して、自己位置推定処理について説明する。
ステップＳ１１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して、後述する。
ステップＳ１２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して、後述する。
ステップＳ１３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
ステップＳ１４において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
ステップＳ１５において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
ステップＳ１６において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
ステップＳ１７において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
ステップＳ１８において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
ステップＳ１９において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
ステップＳ２０において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１１に戻る。すなわち、終了が指示されるまで、ステップＳ１１乃至Ｓ２０の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
一方、ステップＳ２０において、終了が指示された場合、自律移動制御処理が終了する。
すなわち、自己位置として推定された位置と、その位置を特定するために利用された現在情報である視差画像より求められたデプス画像の特徴量とが対応付けられて位置画像特徴量DB２２５に登録される。これにより、一度通過した位置に対応する現在情報である視差画像より求められたデプス画像より得られる特徴量が、位置に対応付けられて新たな情報として蓄積される。結果として、再び同一の位置を通過するときには、高精度に自己位置推定することが可能となる。
また、以上の処理により、時系列情報自己位置と現在情報自己位置とが順次求められて、相互に統合された位置が自己位置推定結果として出力され、自己位置推定結果に基づいて、移動体１１の自律的な移動が制御される。
＜時系列情報自己位置推定処理＞
次に、図７のフローチャートを参照して、時系列情報自己位置推定処理について説明する。
ステップＳ３１において、LIDAR２０１は、移動体１１の周囲の物体までの距離を３次元点群データとして検出し、検出部１３１を介して、自己位置推定部１３２の時系列情報自己位置推定部２２１に時系列情報として出力する。
ステップＳ３２において、車輪エンコーダ２０２は、移動体１１の位置情報、姿勢、速度、加速度、および角速度を検出し、検出部１３１を介して、時系列情報自己位置推定部２２１に時系列情報として出力する。
ステップＳ３３において、時系列情報自己位置推定部２２１は、最新の時系列情報を取得し、時系列情報DB２２２に登録する。
ステップＳ３４において、時系列情報自己位置推定部２２１は、時系列情報DB２２２に登録されている最新の時系列情報と、過去の時系列情報とから、例えば、カルマンフィルタや粒子フィルタを用いて、自己位置を推定する。そして、時系列情報自己位置推定部２２１は推定結果である自己位置を時系列情報自己位置情報として自己位置推定結果統合部２２６に出力する。
以上の処理により、LIDAR２０１および車輪エンコーダ２０２により検出される時系列情報が順次検出されて、時系列情報DB２２２に順次蓄積されて、時系列に蓄積された過去から現在までの時系列に蓄積された時系列情報に基づいて、自己位置が推定されて、時系列情報自己位置として自己位置推定結果統合部２２６に出力される。
＜現在情報自己位置推定処理＞
次に、図８のフローチャートを参照して、現在情報自己位置推定処理について説明する。
ステップＳ５１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
ステップＳ５２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
ステップＳ５３において、特徴量抽出部２２３は、生成されたデプス画像に基づいて、画像特徴量を抽出する。
ステップＳ５４において、現在情報自己位置推定部２２４は、位置と画像特徴量とが対応付けて記憶されている位置画像特徴量DB２２５より、抽出した画像特徴量に対応する位置の情報に基づいて、自己位置を推定する。そして、現在情報自己位置推定部２２４は、推定結果である自己位置を現在情報自己位置として自己位置推定結果統合部２２６に供給する。
以上の処理により、ステレオカメラ２０３により視差画像が現在情報として撮像され、視差画像よりデプス画像が生成され、生成されたデプス画像の画像特徴量が抽出されて、画像特徴量に対応付けて登録されている位置情報に基づいて、現在情報自己位置が推定され、自己位置推定結果統合部２２６に出力される。
＜図４の自律移動制御部による位置画像特徴量登録処理＞
次に、図９のフローチャートを参照して、図４の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
ステップＳ７１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
ステップＳ７２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
ステップＳ７３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換し、非特徴領域マスク生成部２２７に出力する。
ステップＳ７４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を読み出す。そして、非特徴領域マスク生成部２２７は、場所関連非特徴部に基づいて、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
ステップＳ７５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
ステップＳ７６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
ステップＳ７７において、位置画像特徴量登録部２２９は、時系列情報自己位置と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な画像特徴量が生成される。
結果として、他の位置との区別に有用な画像特徴量を用いた現在情報自己位置の推定が実現されるので、周辺に類似する物体が多く存在するような環境であっても、高精度に自己位置を推定することが可能となる。
＜場所関連非特徴部の応用例＞
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報であるが、場所を抽象化した場所属性を定義して、場所属性に対して、位置の区別に有用な画像特徴量が多く含まれる範囲の情報を対応付けるテーブルを設定することで、全ての場所に対して、場所関連非特徴部が設定されていない状態であっても、場所関連非特徴部を利用することが可能となる。
すなわち、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」、「特徴点が多い高速道路」、「オフィスビル」、および「シティホテル」という、場所それぞれに対して抽象化された場所属性を定義し、それぞれの場所属性と、場所関連非特徴部とを対応付けたテーブルを設定するようにしてもよい。場所属性のそれぞれに対して設定される場所関連非特徴部としては、例えば、図１０の右部で示されるように、「特徴点が少ない高速道路」に対して、「標識以外（標識以外をマスクして、標識の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。また、「特徴点が多い高速道路」に対して、「壁面と風景以外（壁面と風景以外をマスクして、壁面と風景の範囲の特徴量を利用する）」が対応付けて設定されるようにしてもよい。さらに、「オフィスビス」に対して、「天井と窓側面（天井と窓側面をマスクして、天井と窓側面以外の範囲の特徴量を利用する）」が設定されるようにしてもよい。また、「シティホテル」に対して、「無し（全面をマスクせず、全面の特徴量を利用する）」が対応付けて設定されるようにしてもよい。
図１０の右部のように場所属性と場所関連非特徴部とが対応付けられたテーブルを設定することにより、例えば、図１０の左部で示されるように、「東名高速」と「特徴点が少ない高速道路」、「中国自動車道」と「特徴点が少ない高速道路」、「ABCビル」と「オフィスビル」、および、「XXホテル」と「シティホテル」とが対応付けられることにより、場所に対応付けて場所関連非特徴部が対応付けられていなくても、場所の抽象化概念である場所属性が特定できれば、場所関連非特徴部を読み出すことができるので、適切に非特徴領域マスクを設定することが可能となる。
換言すれば、場所が抽象化された場所属性と場所関連非特徴部とが定義されることにより、具体的な場所が特定できない場合でも、場所よりも抽象的な場所属性が特定されるだけで、場所関連非特徴部を特定することが可能となり、場所関連非特徴部を利用する上での自由度を向上させることが可能となる。
以上においては、場所関連非特徴部は、場所と対応付けられる、デプス画像のうちの、位置の区別に有用な画像特徴量が多く含まれる範囲の情報としては、画像内の特定の位置や方向を指定する例について説明してきたが、位置の区別に有用ではないものが含まれない範囲であればよい。例えば、場所関連非特徴部は、画像内に写り込んだディスプレイに表示された物体の範囲、時間の経過に伴って変化するような、例えば、木々、木漏れ日、空の領域、および動くものの範囲としてもよい。
＜＜３．第２の実施の形態＞＞
以上においては、場所関連非特徴部DB２２８に、予め場所に対応付けて、場所関連非特徴部が登録されている例について説明してきたが、位置画像特徴量DB２２５には、自己位置が特定される度に、位置と画像特徴量とが新たに登録されるので、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにしてもよい。
図１１は、位置画像特徴量DB２２５に新たに登録された位置と対応付けて登録された画像特徴量を利用して、場所関連非特徴部を新たに生成して、場所関連非特徴部DB２２８に登録させるようにした自己位置推定部１３２の構成例が示されている。尚、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図１１の自己位置推定部１３２において、図４の自己位置推定部１３２と異なる点は、場所関連非特徴部生成登録部２４１が新たに設けられている点である。
場所関連非特徴部生成登録部２４１は、位置が特定される度に更新される位置画像特徴量DB２２５に登録されている位置に対応する場所を求め、同一の場所に対応付けて登録されている複数の画像特徴量を読み出し、統計的に比較して、所定の閾値以上に類似した画像特徴量が多く存在する範囲を場所関連非特徴部として抽出し、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
すなわち、同一の位置に対応付けられている複数の画像特徴量のうち、所定の閾値よりも類似した画像特徴量が多く存在する範囲は、同一の位置を識別する上で不要であるため、その範囲を場所関連非特徴部とすることで、誤検出の発生を抑制することが可能となる。
＜場所関連非特徴部生成登録処理＞
次に、図１２のフローチャートを参照して、場所関連非特徴部生成登録処理について説明する。
ステップＳ９１において、場所関連非特徴部生成登録部２４１は、位置画像特徴量DB２２５にアクセスし、位置に基づいて特定される場所について、同一の場所に対応付けられている複数の画像特徴量を読み出す。
ステップＳ９２において、場所関連非特徴部生成登録部２４１は、同一の場所に対応付けられている複数の画像特徴量を、統計的に処理し、所定の閾値よりも類似している画像特徴量を多く含む範囲を、新規の場所関連非特徴部として生成する。
ステップＳ９３において、場所関連非特徴部生成登録部２４１は、生成した新規の場所関連非特徴部を、場所に対応付けて、場所関連非特徴部DB２２８に登録する。
以上の処理により、位置画像特徴量DB２２５に登録される画像特徴量のうち、同一の場所に対応付けられる画像特徴量において、所定の閾値よりも類似する画像特徴量が多く含まれる、すなわち、場所を区別するために必要のない画像特徴量が含まれる範囲からなる場所関連非特徴部が生成されることになるので、同一の場所を特定する画像特徴量を必要最小限にすることが可能となり、誤検出の発生を抑制することが可能となる。
＜＜４．第３の実施の形態＞＞
以上においては、同一の位置において区別するために必要のない画像特徴量を排除して位置画像特徴量DB２２５を生成して、周囲に類似する物体が存在するような環境でも高精度に自己位置推定を実現する例について説明してきた。
ところで、移動体が抱き上げられる、滑る、急激な段差に落ち込む、電源投入直後などにより、直前の移動状態から急激な変化が発生することにより、自己位置不定状態となることがあるが、このような場合、時系列情報自己位置の推定結果は誤差が大きくなるため、現在情報自己位置のみを利用して自己位置を推定することになる。
このような場合、現在情報自己位置が高精度に検出されているか否かを判定することで自己位置不定状態から脱したか否かを判定し、判定結果に応じて、時系列情報自己位置の使用を復帰させるようにしてもよい。
より詳細には、予め場所関連非特徴部の情報に基づいて、デプス画像に対して自己位置の特定に有用でない画像特徴量を含む特徴領域をマスクして得られる非特徴領域特徴量を位置に対応付けて登録した位置非特徴領域特徴量DBを生成する。そして、自己位置不定状態となった場合には、現在情報自己位置に対応付けられた場所関連非特徴部により、デプス画像から得られる非特徴領域特徴量を求めると共に、推定された現在情報自己位置に対応付けて位置非特徴領域特徴量DBに登録されている非特徴領域特徴量を読み出し、両者の類似度に基づいて、推定された現在情報自己位置が適正であるか否かを判定するようにしてもよい。
図１３は、予め位置非特徴領域特徴量DBを生成し、自己位置不定状態において、現在情報自己位置が適正であるか否かにより、自己位置不定状態を脱したか否かを判定するようにした自己位置推定部１３２の構成例を示している。
図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２における構成と同一の機能を備えた構成については、同一の符号を付しており、その説明は適宜省略する。
すなわち、図１３の自己位置推定部１３２において、図１１の自己位置推定部１３２と異なる点は、非特徴領域特徴量抽出部２５１、自己位置検査部２５２、特徴領域マスク生成部２５３、特徴量抽出部２５４、位置非特徴領域特徴量登録部２５５、位置非特徴領域特徴量DB２５６、および位置場所変換部２５７（位置場所変換部２３０と同様のもの）が新たに設けられ、自己位置推定結果統合部２２６に自己位置不定判定部２７１が設けられた点である。
自己位置不定判定部２７１は、例えば、時系列の自己位置の推定結果の変化量や電源投入直後などで、自己位置不定状態になったか否かを判定し、自己位置不定状態であるとみなされた場合、動作モードを通常モードから自己位置不定モードに遷移させ、自己位置推定結果統合部２２６を制御して、現在情報自己位置を自己位置推定結果として選択させる。
非特徴領域特徴量抽出部２５１は、自己位置不定モードにおいて、位置場所変換部２５７により現在情報自己位置に基づいて、位置場所変換部２５７により変換された場所の情報より、場所関連非特徴部DB２２８より場所関連非特徴部を読み出す。そして、非特徴領域特徴量抽出部２５１は、デプス画像生成部２２０より供給されるデプス画像から特徴領域をマスクした画像より得られる特徴量を、非特徴領域特徴量として抽出して自己位置検査部２５２に供給する。
自己位置検査部２５２は、自己位置不定モードにおいて、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置の推定結果に対応付けて、予め登録されている非特徴領域特徴量を読み出す。そして、自己位置検査部２５２は、非特徴領域特徴量抽出部２５１より供給される非特徴領域特徴量との類似度に基づいて、現在情報自己位置を検査し、検査結果として、類似度の情報を自己位置推定結果統合部２２６に出力する。
自己位置推定結果統合部２２６の自己位置不定判定部２７１は、類似度が所定値よりも高く、求められる現在情報自己位置の精度が十分であるとみなせるときには、動作モードを、自己位置不定モードから通常モードに復帰させる。
特徴領域マスク生成部２５３は、位置画像特徴量登録処理において、時系列情報自己位置推定部２２１より供給される時系列情報自己位置により特定される場所に基づいて、場所と場所関連非特徴部とを対応付けて登録している場所関連非特徴部DB２２８より、対応付けて登録されている場所関連非特徴部を読み出す。そして、特徴領域マスク生成部２５３は、読み出した場所関連非特徴部に基づいて、特徴領域マスクを生成して、デプス画像生成部２２０によりステレオカメラ２０３のステレオ画像から生成されたデプス画像に対して、特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より特徴量を抽出して、非特徴領域特徴量として位置非特徴領域特徴量登録部２５５に出力する。
位置非特徴領域特徴量登録部２５５は、位置画像特徴量登録処理において、特徴量抽出部２５４より供給される画像特徴量である非特徴領域特徴量を、時系列情報自己位置推定結果と対応付けて位置非特徴領域特徴量DB２５６に登録する。
場所関連非特徴部DB２２８において、場所に対応付けて登録されている場所関連非特徴部とは、例えば、図５の左部で示されるように、場所に対応付けて予め登録される、現在情報自己位置を特定するために用いられるデプス画像内のうち、他の位置との区別に有用でない特徴量が多く存在する範囲を特定する情報である。
＜図１３の自律移動制御部による位置画像特徴量登録処理＞
次に、図１４のフローチャートを参照して、図１３の自律移動制御部１１０による位置画像特徴量登録処理について説明する。
ステップＳ１０１において、ステレオカメラ２０３は、移動体１１の周囲の視差画像を撮像して、検出部１３１を介して、デプス画像生成部２２０に現在情報として出力する。
ステップＳ１０２において、デプス画像生成部２２０は、ステレオカメラ２０３より供給される視差画像に基づいて、デプス画像（距離画像）を生成する。
ステップＳ１０３において、位置場所変換部２３０は、時系列情報自己位置推定部２２１の推定結果である時系列情報自己位置を取得し、時系列情報自己位置に対応する場所の情報に変換して、非特徴領域マスク生成部２２７および特徴領域マスク生成部２５３に供給する。
ステップＳ１０４において、非特徴領域マスク生成部２２７は、場所関連非特徴部DB２２８にアクセスし、場所に対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする非特徴領域マスクを生成する。
ステップＳ１０５において、非特徴領域マスク生成部２２７は、デプス画像に対して、生成した非特徴領域マスクを付加して、特徴量抽出部２２３に出力する。
ステップＳ１０６において、特徴量抽出部２２３は、非特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、位置画像特徴量登録部２２９に出力する。
ステップＳ１０７において、位置画像特徴量登録部２２９は、時系列情報自己位置の推定結果と、画像特徴量とを対応付けて、位置画像特徴量DB２２５に登録する。
ステップＳ１０８において、特徴領域マスク生成部２５３は、場所関連非特徴部DB２２８にアクセスし、時系列情報自己位置に基づいて、対応付けて登録されている場所関連非特徴部を読み出し、デプス画像内における、位置の特定に有用でない特徴量を多く含む範囲をマスクする特徴領域マスクを生成する。
ステップＳ１０９において、特徴領域マスク生成部２５３は、デプス画像に対して、生成した特徴領域マスクを付加して、特徴量抽出部２５４に出力する。
ステップＳ１１０において、特徴量抽出部２５４は、特徴領域マスクが付加されたデプス画像より画像特徴量を抽出し、非特徴領域特徴量として、位置非特徴領域特徴量登録部２５５に出力する。
ステップＳ１１１において、位置非特徴領域特徴量登録部２５５は、時系列情報自己位置の推定結果と、非特徴領域特徴量とを対応付けて、位置非特徴領域特徴量DB２５６に登録する。
以上の処理により、位置に対応付けて登録される画像特徴量は、デプス画像のうち、他の位置との区別に有用ではない画像特徴量が多く含まれる範囲がマスクされて、画像特徴量が抽出され、他の位置との区別に有用な多くの画像特徴量が生成されると共に、さらに、位置に対応付けて登録される非特徴領域特徴量は、デプス画像のうち、他の位置との区別に有用な画像特徴量が多く含まれる範囲がマスクされて、非特徴領域特徴量として抽出され、他の位置との区別に有用でない多くの非特徴領域特徴量が位置に対応付けて位置非特徴領域特徴量DB２５６が生成される。
＜図１３の自律移動制御部による自律移動制御処理＞
次に、図１５のフローチャートを参照して、図１３の自律移動制御部１１０における自律移動制御処理について説明する。
ステップＳ１２１において、時系列情報自己位置推定部２２１は、時系列情報自己位置推定処理を実行して、時系列情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、時系列情報自己位置推定処理については、図７のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
ステップＳ１２２において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
ステップＳ１２３において、自己位置推定結果統合部２２６は、時系列情報自己位置および現在情報自己位置を、例えば、カルマンフィルタや粒子フィルタにより統合し、統合した自己位置の情報を自己位置推定結果として状況認識部１５２に出力する。
ステップＳ１２４において、自己位置不定判定部２７１は、自己位置不定状態であるか否かを判定する。例えば、自己位置不定判定部２７１は、例えば、それまでの自己位置推定結果の変化量が所定値より大きく変化しているか否か、または、電源投入直後であるか否かに基づいて、自己位置不定状態であるか否かを判定する。
ステップＳ１２４において、自己位置不定状態ではないと判定された場合、処理は、ステップＳ１２５に進む。
ステップＳ１２５において、自己位置推定結果統合部２２６は、自己位置推定結果と、その自己位置推定結果を特定するために利用した現在情報である視差画像より求められたデプス画像の特徴量とを対応付けて位置画像特徴量DB２２５に登録する。
ステップＳ１２６において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
ステップＳ１２７において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
ステップＳ１２８において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
ステップＳ１２９において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
ステップＳ１３０において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
ステップＳ１３１において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１２１に戻る。すなわち、自己位置不定状態とならない限り、ステップＳ１２１乃至Ｓ１３１の処理、すなわち、動作状態が通常モードである場合の処理が繰り返されて、移動体１１は、自律的な移動を継続する。
一方、ステップＳ１２４において、自己位置不定状態であるとみなされた場合、処理は、ステップＳ１３２に進む。
ステップＳ１３２において、自己位置不定判定部２７１は、動作モードを自己位置不定モードに切り替えて、自己位置不定モード処理を実行させ、現在情報自己位置による自律移動制御処理を実現できるように制御する。そして、現在情報自己位置が適切に推定できる状態になるまで、自己位置不定モードの処理が継続され、適切な現在情報自己位置が推定できる状態になった場合、動作モードが、自己位置不定モードから通常モード（ステップＳ１２１乃至Ｓ１３１の処理）に復帰する。
＜自己位置不定モード処理＞
次に、図１６のフローチャートを参照して、自己位置不定モード処理について説明する。
ステップＳ１５１において、現在情報自己位置推定部２２４は、現在情報自己位置推定処理を実行して、現在情報自己位置を推定して、自己位置推定結果統合部２２６および位置場所変換部２５７に出力する。尚、現在情報自己位置推定処理については、図８のフローチャートを参照して説明した処理と同様の処理であるので、その説明は省略する。
ステップＳ１５２において、位置場所変換部２５７は、現在情報自己位置に対応付けて登録されている場所の情報を読み出して非特徴領域特徴量抽出部２５１に出力する。
ステップＳ１５３において、非特徴領域特徴量抽出部２５１は、場所関連非特徴部DB２２８にアクセスし、現在情報自己位置に対応する場所に対応付けて登録されている場所関連非特徴部を抽出する。
ステップＳ１５４において、非特徴領域特徴量抽出部２５１は、現在情報自己位置に応じた場所に対応付けて登録されている場所関連非特徴部に基づいて、デプス画像に対して特徴領域をマスクして、画像特徴量を抽出し、非特徴領域特徴量として自己位置検査部２５２に出力する。
ステップＳ１５５において、自己位置検査部２５２は、位置非特徴領域特徴量DB２５６にアクセスし、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量を読み出す。
ステップＳ１５６において、自己位置検査部２５２は、現在情報自己位置推定結果に対応付けて登録されている非特徴領域特徴量と、デプス画像より抽出された非特徴領域特徴量との類似度を計算する。
ステップＳ１５７において、自己位置検査部２５２は、類似度が所定の閾値よりも高いか否かにより、現在情報自己位置が所定の精度で求められているか否かを判定する。すなわち、現在情報自己位置が十分な精度で求められていれば、両者は一致するため、類似度は所定の閾値よりも高くなるはずであるが、現在情報自己位置が十分な精度で求められていなければ、両者は一致せず、類似度も所定の閾値よりも低くなる。例えば、類似度が所定の閾値よりも低く、現在情報自己位置の精度が十分ではないとみなされた場合、処理は、ステップＳ１５８に進む。
ステップＳ１５８において、自己位置推定結果統合部２２６は、現在情報自己位置を自己位置推定結果として、状況認識部１５２に出力する。
ステップＳ１５９において、状況認識部１５２は、自己位置推定結果に基づいて、移動体の状況、および移動体の周囲の状況の認識処理を行い、認識結果を行動計画処理部１２２に出力する。
ステップＳ１６０において、行動計画処理部１２２のルート計画部１６１は、目的地までのルートを計画し、行動計画部１６２に出力する。
ステップＳ１６１において、行動計画部１６２は、目的地までのルートに基づいて、行動を計画し、行動計画として動作計画部１６３に出力する。
ステップＳ１６２において、動作計画部１６３は、行動計画部１６２より供給された行動計画に基づいて、動作を計画し、動作計画として行動制御処理部１２３に出力する。
ステップＳ１６３において、行動制御処理部１２３は、動作計画に基づいて、アクチュエータ群１１３の各アクチュエータ２３ａの動作を制御して、移動体１１の行動を制御する。
ステップＳ１６４において、終了が指示されたか否かが判定され、終了が指示されていないとみなされた場合、処理は、ステップＳ１５１に戻る。すなわち、終了が指示されるまで、ステップＳ１５１乃至Ｓ１６４の処理が繰り返されて、移動体１１は、自己位置不定モードのまま、現在情報自己位置に基づいて、自律的な移動を継続する。
一方、ステップＳ１６４において、終了が指示された場合、自律移動制御処理が終了する。すなわち、この場合、自己位置不定モードのまま自律移動制御処理が終了する。
また、ステップＳ１５７において、類似度が所定の閾値よりも高く、現在情報自己位置推定結果により予め求められている非特徴領域特徴量が、現在情報自己位置に対応して求められる場所関連非特徴部に基づいて、デプス画像から得られる非特徴領域特徴量と一致する場合、現在情報自己位置が所定の精度以上であるとみなせる。このため、処理は、図１５のステップＳ１３１に戻り、動作モードが、自己位置不定モードから通常モードに戻り、それ以降の処理が繰り返される。
すなわち、時系列情報自己位置は、絶対位置を取得することができないので、自己位置不定状態となった場合については、一度は現在情報自己位置により、絶対位置を取得する必要がある。そこで、以上のような処理により、自己位置不定状態となった場合については、現在情報自己位置が所定の精度で絶対位置を取得できる状態になるまで、現在情報自己位置を自己位置推定結果として利用し、自己位置推定結果がある程度の精度となった後のタイミングから時系列情報自己位置とを併せて、自己位置を推定させるようにする。
尚、以上においては、現在情報自己位置推定処理にあたっては、ステレオカメラ２０３により撮像されたステレオ画像よりデプス画像生成部２２０によりデプス画像を生成して、デプス画像に対して、場所関連非特徴部に応じたマスクを施した後、画像特徴量を抽出することで、位置画像特徴量DB２２５より対応付けて登録された位置情報を読み出すことで、現在情報自己位置を推定する例について説明してきたが、ステレオカメラ２０３に代えて、例えば、LIDARを用いた３次元点群データを３次元画像として利用することにより、現在情報自己位置を推定するようにしてもよい。
また、２次元の画像と、ToF（Time of Flight）センサとを組み合わせて、デプス画像を生成して現在情報自己位置を推定するようにしてもよい。
＜＜５．ソフトウェアにより実行させる例＞＞
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどに、記録媒体からインストールされる。
図１７は、汎用のコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。
入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。
CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１ら読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。
以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
尚、図１７におけるCPU１００１が、図３における自律移動制御部１１０の機能を実現させる。また、図１７における記憶部１００８が、図３における記憶部１０９を実現する。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本開示の実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本開示は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
尚、本開示は、以下のような構成も取ることができる。
＜１＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含む
制御装置。
＜２＞ 前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
＜１＞に記載の制御装置。
＜３＞ 前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
＜２＞に記載の制御装置。
＜４＞ 前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
＜１＞乃至＜３＞のいずれかに記載の制御装置。
＜５＞ 前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
＜４＞に記載の制御装置。
＜６＞ 前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
＜５＞に記載の制御装置。
＜７＞ 前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
＜５＞に記載の制御装置。
＜８＞ 前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
＜７＞に記載の制御装置。
＜９＞ 前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
＜１＞乃至＜８＞のいずれかに記載の制御装置。
＜１０＞ 前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
＜９＞に記載の制御装置。
＜１１＞ 前記撮像部は、ステレオカメラであり、
前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
＜１＞乃至＜１０＞のいずれかに記載の制御装置。
＜１２＞ 前記自己位置推定部は、
時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
＜１＞乃至＜１１＞のいずれかに記載の制御装置。
＜１３＞ 前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
＜１２＞に記載の制御装置。
＜１４＞ 自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含む
制御方法。
＜１５＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
してコンピュータを機能させるプログラム。
＜１６＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と
を含む移動体。
＜１７＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御装置。
＜１８＞ 自己位置を推定する自己位置推定処理と、
周囲の画像を撮像する撮像処理と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
制御方法。
＜１９＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
プログラム。
＜２０＞ 自己位置を推定する自己位置推定部と、
周囲の画像を撮像する撮像部と、
前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とをさらに含み、
前記現在情報自己位置を推定する場合、
前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
移動体。
１１ 移動体， ２１ センサ群， ２１ａ，２１ａ－１乃至２１ａ－ｎ センサ， ２２ 自律移動制御部， ２３ アクチュエータ群， ２３ａ，２３ａ－１乃至２３ａ－ｎ アクチュエータ， ３１ 認識処理部， ３２ 行動計画処理部， ３３ 行動制御処理部， ４１ ルート計画部， ４２ 行動計画部， ４３ 動作計画部， １０２ データ取得部， １０５ 出力制御部， １０６ 出力部， １０７ 駆動系制御部， １０８ 駆動系システム， １１０ 自律移動制御部， １１２ センサ群， １１３ アクチュエータ群， １２１ 認識処理部， １２２ 行動計画処理部， １２３ 行動制御処理部， １３４ 計画部， １６１ ルート計画部， １６２ 行動計画部， １６３ 動作計画部， ２０１ LIDAR， ２０２ 車輪エンコーダ， ２０３ ステレオカメラ， ２２０ デプス画像生成部， ２２１ 時系列情報自己位置推定部， ２２２ 時系列情報DB， ２２３ 特徴量抽出部， ２２４ 現在情報自己位置推定部， ２２５ 位置画像特徴量DB， ２２６ 自己位置推定結果統合部， ２２７ 非特徴領域マスク生成部， ２２８ 場所関連非特徴部DB， ２２９ 位置画像特徴量登録部， ２３０ 位置場所変換部， ２４１ 場所関連非特徴部生成登録部， ２５１ 非特徴領域特徴量抽出部， ２５２ 自己位置検査部， ２５３ 特徴領域マスク生成部， ２５４ 特徴量抽出部， ２５５ 位置非特徴領域特徴量登録部， ２５６ 位置非特徴領域特徴量DB， ２５７ 位置場所変換部， ２７１ 自己位置不定状態判定部

Claims (19)

  1. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含み、
    前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    制御装置。
  2. 前記場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースをさらに含み、
    前記第１のマスク生成部は、前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部データベースに登録された前記場所関連非特徴部に基づいて、前記周囲の画像にいて前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    請求項１に記載の制御装置。
  3. 前記第１の特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より、画像特徴量を抽出し、
    前記データベースにおいて、前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する現在情報自己位置推定部をさらに含む
    請求項１に記載の制御装置。
  4. 前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する統合部をさらに含み、
    前記統合部は、前記自己位置推定結果と、前記第１の特徴量抽出部により抽出された画像特徴量とを対応付けて、前記データベースに登録する
    請求項３に記載の制御装置。
  5. 前記自己位置に対応する場所に対応付けて、前記場所関連非特徴部を登録する場所関連非特徴部データベースと、
    前記データベースに登録された位置に基づいて特定される同一の場所における複数の前記画像特徴量において、統計的に類似する範囲を、前記同一の場所に対応付けて、新規の前記場所関連非特徴部として生成し、前記場所関連非特徴部データベースに登録する場所関連非特徴部生成登録部をさらに含む
    請求項４に記載の制御装置。
  6. 前記周囲の画像において自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である特徴領域にマスクを生成する第２のマスク生成部と、
    前記第２のマスク生成部によりマスクされた前記周囲の画像より画像特徴量を非特徴領域特徴量として抽出する第２の特徴量抽出部と、
    前記非特徴領域特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けて位置非特徴領域特徴量データベースに登録する位置非特徴領域特徴量データベース登録部と、
    前記現在情報自己位置に対応する場所の場所関連非特徴部に基づいて、前記周囲の画像に対して、非特徴領域特徴量を抽出する非特徴領域特徴量抽出部と、
    前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応付けて、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査する検査部とをさらに含む
    請求項４に記載の制御装置。
  7. 前記統合部より出力される自己位置推定結果の時系列の変化量に基づいて、または、電源投入の有無により、自己位置不定状態であるか否かを判定する自己位置不定状態判定部をさらに含み、
    前記自己位置不定状態である場合、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
    前記検査部は、前記非特徴領域特徴量抽出部により抽出された前記非特徴領域特徴量と、前記現在情報自己位置に対応して、前記位置非特徴領域特徴量データベースに登録されている前記非特徴領域特徴量との類似度により、前記現在情報自己位置を検査し、
    前記類似度が所定の閾値よりも低い場合、前記自己位置不定状態であるものとみなし、前記統合部は、前記現在情報自己位置を自己位置推定結果として出力し、
    前記類似度が所定の閾値よりも高い場合、前記自己位置不定状態が解消したものとみなし、前記統合部は、前記現在情報自己位置推定部により推定された現在情報自己位置と、前記自己位置推定部により推定された自己位置とを統合し、自己位置推定結果として出力する
    請求項６に記載の制御装置。
  8. 前記場所関連非特徴部は、前記自己位置に対応する場所と、場所関連非特徴部とのテーブルより構成される
    請求項１に記載の制御装置。
  9. 前記場所関連非特徴部は、前記自己位置に対応する場所と、前記場所を抽象化した場所属性とのテーブル、および、前記場所属性と、前記場所関連非特徴部とのテーブルより構成される
    請求項８に記載の制御装置。
  10. 前記撮像部は、ステレオカメラであり、
    前記ステレオカメラにより撮像される、前記周囲の画像は、ステレオ画像であり、
    前記ステレオ画像に基づいて、デプス画像を生成するデプス画像生成部をさらに含み、
    前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記デプス画像からなる前記周囲の画像にマスクを生成し、
    前記第１の特徴量抽出部は、前記デプス画像からなる、前記マスクされた前記周囲の画像より、画像特徴量を抽出する
    請求項１に記載の制御装置。
  11. 前記自己位置推定部は、
    時系列に供給されるセンサ情報からなる時系列情報を用いて、前記自己位置を推定し、推定結果を時系列情報自己位置として出力する時系列情報自己位置推定部を含む
    請求項１に記載の制御装置。
  12. 前記時系列情報は、LIDAR（Light Detection and Ranging、Laser Imaging Detection and Ranging）により検出される３次元点群データ、および車輪エンコーダにより検出される位置情報、姿勢、速度、加速度、および角速度である
    請求項１１に記載の制御装置。
  13. 自己位置を推定する自己位置推定処理と、
    周囲の画像を撮像する撮像処理と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成処理と、
    第１のマスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出処理と、
    前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理とを含み、
    前記第１のマスク生成処理は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    制御方法。
  14. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部としてコンピュータを機能させ、
    前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    プログラム。
  15. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成する第１のマスク生成部と、
    第１のマスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する第１の特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部とを含み、
    前記第１のマスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成する
    移動体。
  16. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
    前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とを含み、
    前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、
    前記現在情報自己位置を推定する場合、
    前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    制御装置。
  17. 自己位置を推定する自己位置推定処理と、
    周囲の画像を撮像する撮像処理と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成処理と、
    マスク生成処理によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出処理と、
    前記画像特徴量と、前記自己位置推定処理により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録処理と、
    前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定処理とを含み、
    前記マスク生成処理は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、
    前記現在情報自己位置を推定する場合、
    前記特徴量抽出処理は、前記撮像処理により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    前記現在情報自己位置推定処理は、前記データベースにおいて、前記特徴量抽出処理により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    制御方法。
  18. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースに登録する登録部と、
    前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部としてコンピュータを機能させ、
    前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、
    前記現在情報自己位置を推定する場合、
    前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    プログラム。
  19. 自己位置を推定する自己位置推定部と、
    周囲の画像を撮像する撮像部と、
    前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像にマスクを生成するマスク生成部と、
    マスク生成部によりマスクされた前記周囲の画像より、画像特徴量を抽出する特徴量抽出部と、
    前記画像特徴量と、前記自己位置推定部により推定された自己位置の位置情報とを対応付けてデータベースとして登録する登録部と、
    前記データベースに基づいて、現在情報自己位置を推定する現在情報自己位置推定部とを含み、
    前記マスク生成部は、前記自己位置に対応する場所に応じて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲を表す場所関連非特徴部に基づいて、前記周囲の画像において前記自己位置を特定するのに有用でない範囲である非特徴領域にマスクを生成し、
    前記現在情報自己位置を推定する場合、
    前記特徴量抽出部は、前記撮像部により撮像された前記周囲の画像より前記画像特徴量を抽出し、
    前記現在情報自己位置推定部は、前記データベースにおいて、前記特徴量抽出部により抽出された前記画像特徴量に対応付けて登録されている前記位置情報を現在情報自己位置として推定する
    移動体。
JP2019562988A 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体 Active JP7151725B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017253150 2017-12-28
JP2017253150 2017-12-28
PCT/JP2018/046018 WO2019131198A1 (ja) 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体

Publications (2)

Publication Number Publication Date
JPWO2019131198A1 JPWO2019131198A1 (ja) 2020-12-24
JP7151725B2 true JP7151725B2 (ja) 2022-10-12

Family

ID=67067216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019562988A Active JP7151725B2 (ja) 2017-12-28 2018-12-14 制御装置、および制御方法、プログラム、並びに移動体

Country Status (4)

Country Link
US (1) US11822341B2 (ja)
JP (1) JP7151725B2 (ja)
DE (1) DE112018006730T5 (ja)
WO (1) WO2019131198A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
US11714411B2 (en) * 2018-03-19 2023-08-01 Honda Motor Co., Ltd. Autonomous traveling work machine
CN109344801A (zh) * 2018-10-26 2019-02-15 京东方科技集团股份有限公司 一种物体检测方法及装置
JP7273696B2 (ja) * 2019-11-15 2023-05-15 株式会社東芝 位置推定装置及びシステム
CN111079669A (zh) * 2019-12-20 2020-04-28 京东方科技集团股份有限公司 一种图像处理方法、装置及存储介质
JP7283378B2 (ja) * 2019-12-26 2023-05-30 株式会社豊田自動織機 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム
JP7415853B2 (ja) * 2020-08-28 2024-01-17 株式会社豊田自動織機 自律走行車
WO2023085183A1 (ja) * 2021-11-10 2023-05-19 ソニーグループ株式会社 情報処理装置、情報処理方法および移動体
WO2023090213A1 (ja) * 2021-11-18 2023-05-25 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155699A (ja) 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
JP2010219573A (ja) 2008-05-20 2010-09-30 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム
US20160003637A1 (en) 2013-11-01 2016-01-07 Yahoo! Inc. Route detection in a trip-oriented message data communications system
WO2017038012A1 (ja) 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
JP2017187911A (ja) 2016-04-05 2017-10-12 シャープ株式会社 販売管理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11219435A (ja) 1998-02-03 1999-08-10 Honda Motor Co Ltd 自動車用白線検出装置
US6936414B2 (en) 1999-12-22 2005-08-30 Abbott Laboratories Nucleic acid isolation method and kit
JP4672175B2 (ja) 2000-05-26 2011-04-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP5148669B2 (ja) * 2000-05-26 2013-02-20 本田技研工業株式会社 位置検出装置、位置検出方法、及び位置検出プログラム
JP4953313B2 (ja) 2007-09-10 2012-06-13 公立大学法人首都大学東京 環境認識システム、自律型移動体および環境認識プログラム
JP2010033447A (ja) 2008-07-30 2010-02-12 Toshiba Corp 画像処理装置および画像処理方法
JP5036084B2 (ja) * 2010-10-14 2012-09-26 シャープ株式会社 映像処理装置、映像処理方法、及びプログラム
JP5699697B2 (ja) 2011-03-07 2015-04-15 セイコーエプソン株式会社 ロボット装置、位置姿勢検出装置、位置姿勢検出プログラム、および位置姿勢検出方法
JP2014512522A (ja) * 2011-03-18 2014-05-22 ブリヂストン アメリカズ タイヤ オペレイションズ エルエルシー 停止距離性能効率を分析する方法
US20140085205A1 (en) * 2011-04-21 2014-03-27 Cheolwoo Kim Universal motion controller in which a 3d movement and a rotational input are possible
US9632504B1 (en) * 2015-04-30 2017-04-25 X Development Llc Robotic navigation based on building surface contours
US10091436B2 (en) * 2015-05-13 2018-10-02 Samsung Electronics Co., Ltd. Electronic device for processing image and method for controlling the same
JP6645051B2 (ja) 2015-07-07 2020-02-12 トヨタ自動車株式会社 自己位置推定装置、自己位置推定方法及びプログラム
JP6849330B2 (ja) * 2015-08-28 2021-03-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
JP6736334B2 (ja) * 2016-04-07 2020-08-05 東芝テック株式会社 画像処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007155699A (ja) 2005-12-08 2007-06-21 Korea Electronics Telecommun カメラ及び標識を用いた移動ロボットの測位システム及び方法
JP2010219573A (ja) 2008-05-20 2010-09-30 Ricoh Co Ltd 画像処理装置、撮像装置、画像処理方法、及び、コンピュータプログラム
US20160003637A1 (en) 2013-11-01 2016-01-07 Yahoo! Inc. Route detection in a trip-oriented message data communications system
WO2017038012A1 (ja) 2015-08-28 2017-03-09 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 地図生成方法、自己位置推定方法、ロボットシステム、およびロボット
JP2017187911A (ja) 2016-04-05 2017-10-12 シャープ株式会社 販売管理システム

Also Published As

Publication number Publication date
WO2019131198A1 (ja) 2019-07-04
DE112018006730T5 (de) 2020-10-01
JPWO2019131198A1 (ja) 2020-12-24
US20200402256A1 (en) 2020-12-24
US11822341B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JP7151725B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7259749B2 (ja) 情報処理装置、および情報処理方法、プログラム、並びに移動体
JP7156305B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
KR102625488B1 (ko) 제어 장치 및 제어 방법, 프로그램, 그리고 이동체
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7259274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
US20200278208A1 (en) Information processing apparatus, movable apparatus, information processing method, movable-apparatus control method, and programs
JP7147142B2 (ja) 制御装置、および制御方法、プログラム、並びに移動体
WO2021153176A1 (ja) 自律移動装置、自律移動制御方法、並びにプログラム
US11906970B2 (en) Information processing device and information processing method
WO2021033591A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
US20220043458A1 (en) Information processing apparatus and method, program, and mobile body control system
WO2021187299A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211101

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220621

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220815

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220830

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220912

R151 Written notification of patent or utility model registration

Ref document number: 7151725

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151