JP7143857B2 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
JP7143857B2
JP7143857B2 JP2019550982A JP2019550982A JP7143857B2 JP 7143857 B2 JP7143857 B2 JP 7143857B2 JP 2019550982 A JP2019550982 A JP 2019550982A JP 2019550982 A JP2019550982 A JP 2019550982A JP 7143857 B2 JP7143857 B2 JP 7143857B2
Authority
JP
Japan
Prior art keywords
self
weight
unit
visible image
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019550982A
Other languages
English (en)
Other versions
JPWO2019082669A1 (ja
Inventor
政彦 豊吉
駿 李
啓太郎 山本
真一郎 阿部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019082669A1 publication Critical patent/JPWO2019082669A1/ja
Application granted granted Critical
Publication of JP7143857B2 publication Critical patent/JP7143857B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、移動体の自己位置推定を行う場合に用いて好適な情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
従来、移動体の上部に上向きに搭載した広角カメラで外乱要素とランドマークを検出し、外乱要素に影響されないランドマークを選択し、移動体に複数台搭載された標準カメラの姿勢を制御し、選択したランドマークを追跡することにより、自己位置推定の環境耐性を向上させることが提案されている（例えば、特許文献１参照）。
国際公開第２０１６／０１６９５５号
しかしながら、特許文献１に記載の発明では、外乱要素に影響されないランドマークを選択し、複数の標準カメラの姿勢を個別に制御して、選択したランドマークを追跡する必要があり、処理が複雑になる。
本技術は、このような状況に鑑みてなされたものであり、移動体の自己位置推定の環境耐性を容易に向上させるようにするものである。
本技術の第１の側面の情報処理装置は、可視画像を用いて移動体の自己位置推定を行う第１の自己位置推定部と、赤外画像を用いて前記移動体の自己位置推定を行う第２の自己位置推定部と、前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部とを備える。
本技術の第１の側面の情報処理方法は、情報処理装置が、可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する。
本技術の第１の側面のプログラムは、可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する処理をコンピュータに実行させる。
本技術の第２の側面の移動体は、可視画像を撮影する可視画像センサと、赤外画像を撮影する赤外画像センサと、前記可視画像を用いて自己位置推定を行う第１の自己位置推定部と、前記赤外画像を用いて自己位置推定を行う第２の自己位置推定部と、前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部とを備える。
本技術の第１の側面又は第２の側面においては、可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定が行われ、前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みが前記移動体が置かれている状況に基づいて設定され、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果が統合される。
本技術の第１の側面又は第２の側面によれば、移動体の自己位置推定の環境耐性を容易に向上させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術が適用され得る車両制御システムの概略的な機能の構成例を示すブロック図である。 本技術を適用したマップ生成システムの一実施の形態を示すブロック図である。 マップ生成処理を説明するためのフローチャートである。 本技術を適用した自己位置推定システムの一実施の形態を示すブロック図である。 自己位置推定処理を説明するためのフローチャートである。 重みの設定方法を説明するための表である。 車両の推定位置の誤差のモデルの例を示す図である。 自己位置推定の方法を比較した表である。 コンピュータの構成例を示す図である。
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
１．車両制御システムの構成例
２．実施の形態
３．変形例
４．その他
＜＜１．車両制御システムの構成例＞＞
図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
＜＜２．実施の形態＞＞
次に、図２乃至図９を参照して、本技術の実施の形態について説明する。
なお、本技術は、図１の車両制御システム１００のうち主にデータ取得部１０２及び自己位置推定部１３２の処理、並びに、自己位置推定処理に用いられる地図データの生成処理に関連する技術である。
＜マップ生成システムの構成例＞
図２は、本技術を適用したマップ生成システムの一実施の形態を示すブロック図である。
マップ生成システム２００は、例えば、図１の車両制御システム１００が設けられる車両１０とは異なる車両１１に設けられる。そして、マップ生成システム２００は、車両制御システム１００において自己位置推定処理に用いられるマップを生成する。
マップ生成システム２００は、マップ生成用データ取得部２０１、マップ生成処理部２０２、及び、マップ記憶部２０３を備える。
マップ生成用データ取得部２０１は、マップの生成に用いられるデータであるマップ生成用データを取得する。マップ生成用データ取得部２０１は、ステレオカメラ２１１、赤外画像センサ２１２、及び、センサ部２１３を備える。
ステレオカメラ２１１は、左可視画像センサ２１１Ｌ及び右可視画像センサ２１１Ｒを備える。左可視画像センサ２１１Ｌ及び右可視画像センサ２１１Ｒは、可視光領域に対して感度を有する画像センサからなり、左右の異なる方向から車両１１の前方の撮影（ステレオ撮影）を行う。左可視画像センサ２１１Ｌ及び右可視画像センサ２１１Ｒは、撮影の結果得られるカラーの可視画像をマップ生成部２１４の特徴点検出部２２１及びランドマーク検出部２２２に供給する。
なお、以下、左可視画像センサ２１１Ｌにより撮影される可視画像と右可視画像センサ２１１Ｒにより撮影される可視画像とを個々に区別する場合、前者を左可視画像と称し、後者を右可視画像と称する。
赤外画像センサ２１２は、例えば、所定の赤外線の波長域（例えば、遠赤外線の波長域のうちの所定の波長域）に対して感度を有する画像センサからなり、車両１１の前方の撮影を行う。赤外画像センサ２１２は、撮影の結果得られる赤外画像をマップ生成部２１４のランドマーク検出部２２３に供給する。
なお、赤外画像は、一般的に可視画像より解像度が低く、ノイズが多くなる。
センサ部２１３は、例えば、車両１１の自己位置推定に用いるデータを検出する各種のセンサを備える。例えば、センサ部２１３は、車両１１の加速度及び角速度等を検出するＩＭＵ（Inertial Measurement Unit）、ＧＮＳＳ（Global Navigation Satellite System）衛星からＧＮＳＳ信号を受信するＧＮＳＳ受信機、ＬｉＤＡＲ（Light Detection And Ranging）等を備える。センサ部２１３は、各センサから出力されるセンサデータをマップ生成処理部２０２の自己位置推定部２２４に供給する。
マップ生成処理部２０２は、車両制御システム１００において自己位置推定処理に用いられるマップを生成し、マップ記憶部２０３に記憶させる処理を行う。マップ生成処理部２０２は、特徴点検出部２２１、ランドマーク検出部２２２、ランドマーク検出部２２３、自己位置推定部２２４、及び、マップ生成部２２５を備える。
特徴点検出部２２１は、左可視画像及び右可視画像内の特徴点の検出を行い、検出結果をマップ生成部２２５に供給する。
ランドマーク検出部２２２は、左可視画像及び右可視画像内のランドマークの検出を行い、検出結果をマップ生成部２２５に供給する。
ランドマーク検出部２２３は、赤外画像内のランドマークの検出を行い、検出結果をマップ生成部２２５に供給する。
自己位置推定部２２４は、センサ部２１３から供給されるセンサデータに基づいて、車両１１の自己位置推定を行い、推定結果をマップ生成部２２５に供給する。
マップ生成部２２５は、左可視画像及び右可視画像内の特徴点の検出結果、及び、車両１１の自己位置の推定結果に基づいて、特徴点マップを生成する。また、マップ生成部２２５は、左可視画像及び右可視画像内のランドマークの検出結果、及び、車両１１の自己位置の推定結果に基づいて、可視ランドマークマップを生成する。さらに、マップ生成部２２５は、赤外画像内のランドマークの検出結果、及び、車両１１の自己位置の推定結果に基づいて、赤外ランドマークマップを生成する。マップ生成部２２５は、特徴点マップ、可視ランドマークマップ、及び、赤外ランドマークマップをマップ記憶部２０３に記憶させる。
マップ記憶部２０３は、特徴点マップ、可視ランドマークマップ、及び、赤外ランドマークマップを記憶する。
なお、マップ記憶部２０３は、必ずしも車両１１に設ける必要はなく、例えば、外部のサーバ等に設けてもよい。
＜マップ生成処理＞
次に、図３のフローチャートを参照して、マップ生成システム２００により実行されるマップ生成処理について説明する。この処理は、例えば、マップ生成システム２００に対して、マップ生成処理の開始の指令が入力されたとき開始され、マップ生成処理の終了の指令が入力されたとき終了する。
ステップＳ１において、マップ生成用データ取得部２０１は、マップ生成用データを取得する。
具体的には、左可視画像センサ２１１Ｌ及び右可視画像センサ２１１Ｒは、車両１１の前方を撮影し、それぞれ得られた左可視画像及び右可視画像を特徴点検出部２２１及びランドマーク検出部２２２に供給する。
赤外画像センサ２１２は、車両１１の前方を撮影し、得られた赤外画像をランドマーク検出部２２２に供給する。
センサ部２１３の各センサは、それぞれ各種のデータの検出処理を行い、検出結果を示すセンサデータを自己位置推定部２２４に供給する。
ステップＳ２において、自己位置推定部２２４は、自己位置推定を行う。具体的には、自己位置推定部２２４は、所定の方法により、車両１１の位置及び姿勢を推定し、推定結果をマップ生成部２２５に供給する。
なお、車両１１の位置及び姿勢の推定方法には、任意の手法を用いることができる。例えば、ＲＴＫ（Real Time Kinematic）－ＧＮＳＳやＬｉＤＡＲ等を用いた高精度な推定方法が用いられる。
ステップＳ３において、マップ生成処理部２０２は、特徴点及びランドマークの検出処理を行う。
具体的には、特徴点検出部２２１は、左可視画像及び右可視画像内の特徴点の検出、及び、検出した各特徴点の特徴量の算出を行い、それらの結果を示すデータをマップ生成部２２５に供給する。
なお、特徴点の検出方法には、例えば、ハリスコーナ、ＤｏＧ（Difference of Gaussian）、ＬｏＧ（Laplacian of Gaussian）等の任意の手法を用いることができる。また、特徴量の算出方法には、例えば、ＳＩＦＴ（Scale-Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Features）、Ｈａａｒ-Ｌｉｋｅ、ＡＫＡＺＥ等の任意の手法を用いることができる。
ランドマーク検出部２２２は、左可視画像及び右可視画像内のランドマークの検出処理を行い、検出結果を示すデータをマップ生成部２２５に供給する。
なお、例えば、道路の区画線、道路標示、道路標識等が、ランドマークとして検出される。
また、ランドマークの検出方法には、任意の手法を用いることができる。例えば、ランドマーク検出部２２２は、左可視画像及び右可視画像を鳥瞰図に変換する。次に、ランドマーク検出部２２２は、テンプレートマッチング、直線検出等により、ランドマークの位置、種類、角度、及び、スケール等を検出する。次に、ランドマーク検出部２２２は、左可視画像及び右可視画像の視差等に基づいて、各ランドマークまでの距離を算出する。
なお、ランドマークの検出方法の詳細は、例えば、"Bahman Soheilian、外２名、"Landmark based localization: LBA refinement using MCMC-optimized projections of RJMCMC-extracted road marks"、Intelligent Vehicles Symposium (IV)、2016 IEEE"等に記載されている。
ランドマーク検出部２２３は、赤外画像内のランドマークの検出処理を行い、検出結果を示すデータをマップ生成部２２５に供給する。
なお、ランドマーク検出部２２３のランドマークの検出方法には、例えば、ランドマーク検出部２２２と同様の手法が用いられる。ただし、各ランドマークまでの距離の算出には、例えば、最新のフレームの赤外画像と１つ前のフレームの赤外画像との視差等が用いられる。
ステップＳ４において、マップ生成部２２５は、マップデータを生成し、登録する。
例えば、マップ生成部２２５は、自己位置推定部２２４により推定された車両１１の位置及び姿勢に基づいて、特徴点検出部２２１により検出された各特徴点の位置をワールド座標系上の絶対位置に変換する。マップ生成部２２５は、各特徴点の絶対位置及び特徴量を含むデータを、マップ記憶部２０３に記憶されている特徴点マップに登録する。
また、マップ生成部２２５は、自己位置推定部２２４により推定された車両１１の位置及び姿勢に基づいて、ランドマーク検出部２２２により検出された各ランドマークの位置をワールド座標系上の絶対位置に変換する。マップ生成部２２５は、各ランドマークの種類、絶対位置、角度、及び、スケールを含むデータを、マップ記憶部２０３に記憶されている可視ランドマークマップに登録する。
さらに、マップ生成部２２５は、自己位置推定部２２４により推定された車両１１の位置及び姿勢に基づいて、ランドマーク検出部２２３により検出された各ランドマークの位置をワールド座標系上の絶対位置に変換する。マップ生成部２２５は、各ランドマークの種類、絶対位置、角度、及び、スケールを含むデータを、マップ記憶部２０３に記憶されている赤外ランドマークマップに登録する。
その後、処理はステップＳ１に戻り、ステップＳ１以降の処理が実行される。
＜自己位置推定システムの構成例＞
図４は、本技術を適用した自己位置推定システムの一実施の形態を示すブロック図である。
自己位置推定システム３００は、図１の車両制御システム１００の主に自己位置推定部１３２の処理に対応する処理を行うシステムである。具体的には、自己位置推定システム３００は、マップ生成システム２００により生成されたマップを用いて、自己位置推定システム３００が設けられている車両１０の位置及び姿勢を推定する自己位置推定処理を行う。
自己位置推定システム３００は、観測データ取得部３０１、自己位置推定部３０２、及び、マップ記憶部３０３を備える。
観測データ取得部３０１は、自己位置推定処理に用いられるデータ（以下、観測データと称する）を取得する。観測データ取得部３０１は、ステレオカメラ３１１、赤外画像センサ３１２、及び、センサ部３１３を備える。
ステレオカメラ３１１は、左可視画像センサ３１１Ｌ及び右可視画像センサ３１１Ｒを備える。左可視画像センサ３１１Ｌ及び右可視画像センサ３１１Ｒは、可視光領域に対して感度を有する画像センサからなり、左右の異なる方向から車両１０の前方の撮影（ステレオ撮影）を行う。左可視画像センサ３１１Ｌ及び右可視画像センサ３１１Ｒは、撮影の結果得られるカラーの可視画像を、自己位置推定部３０２の特徴点検出部３４１、ランドマーク検出部３５１、及び、状況検出部３２３に供給する。
なお、以下、左可視画像センサ３１１Ｌにより撮影される可視画像と右可視画像センサ３１１Ｒにより撮影される可視画像とを個々に区別する場合、前者を左可視画像と称し、後者を右可視画像と称する。
赤外画像センサ３１２は、図２のマップ生成システム２００の赤外画像センサ２１２と同様の赤外線の波長域に対して感度を有する画像センサからなり、車両１０の前方の撮影を行う。赤外画像センサ３１２は、撮影の結果得られる赤外画像を、自己位置推定部３０２のランドマーク検出部３６１及び状況検出部３２３に供給する。
なお、赤外画像は、一般的に可視画像より解像度が低く、ノイズが多くなる。
センサ部３１３は、車両１０が置かれている状況の検出に用いるデータを検出する各種のセンサを備える。例えば、センサ部３１３は、車両１０の加速度及び角速度等を検出するＩＭＵ、ＧＮＳＳ衛星からＧＮＳＳ信号を受信するＧＮＳＳ受信機、照度計、風量センサ、風向センサ、レーダ、偏光カメラ等を備える。センサ部３１３は、各センサから出力されるセンサデータを、自己位置推定部３０２の状況検出部３２３に供給する。
自己位置推定部３０２は、車両１０の自己位置推定処理を行う。自己位置推定部３０２は、可視画像自己位置推定部３２１、赤外画像自己位置推定部３２２、状況検出部３２３、及び、統合部３２４を備える。
可視画像自己位置推定部３２１は、可視画像を用いて車両１０の自己位置推定処理を行う。可視画像自己位置推定部３２１は、特徴点自己位置推定部３３１及びランドマーク自己位置推定部３３２を備える。
特徴点自己位置推定部３３１は、可視画像内の特徴点に基づいて車両１０の自己位置推定処理を行う。特徴点自己位置推定部３３１は、特徴点検出部３４１、特徴点照合部３４２、及び、演算部３４３を備える。
特徴点検出部３４１は、可視画像内の特徴点を検出し、検出結果を示すデータを特徴点照合部３４２に供給する。
特徴点照合部３４２は、可視画像内の特徴点と、マップ記憶部３０３に記憶されている特徴点マップ内の特徴点との照合を行い、照合結果を示すデータを演算部３４３に供給する。
演算部３４３は、可視画像内の特徴点と特徴点マップ内の特徴点との照合結果に基づいて、車両１０の位置及び姿勢を算出し、算出結果を示すデータを統合部３２４に供給する。
ランドマーク自己位置推定部３３２は、可視画像内のランドマークに基づいて車両１０の自己位置推定処理を行う。ランドマーク自己位置推定部３３２は、ランドマーク検出部３５１、ランドマーク照合部３５２、及び、演算部３５３を備える。
ランドマーク検出部３５１は、可視画像内のランドマークを検出し、検出結果を示すデータをランドマーク照合部３５２に供給する。
ランドマーク照合部３５２は、可視画像内のランドマークと、マップ記憶部３０３に記憶されている可視ランドマークマップ内のランドマークとの照合を行い、照合結果を示すデータを演算部３５３に供給する。
演算部３５３は、可視画像内のランドマークと可視ランドマークマップ内のランドマークとの照合結果に基づいて、車両１０の位置及び姿勢を算出し、算出結果を示すデータを統合部３２４に供給する。
赤外自己位置推定部３３３は、赤外画像内のランドマークに基づいて車両１０の自己位置推定処理を行う。赤外自己位置推定部３３３は、ランドマーク検出部３６１、ランドマーク照合部３６２、及び、演算部３６３を備える。
ランドマーク検出部３６１は、赤外画像内のランドマークを検出し、検出結果を示すデータをランドマーク照合部３６２に供給する。
ランドマーク照合部３６２は、赤外画像内のランドマークと、マップ記憶部３０３に記憶されている赤外ランドマークマップ内のランドマークとの照合を行い、照合結果を示すデータを演算部３６３に供給する。
演算部３６３は、赤外画像内のランドマークと赤外ランドマークマップ内のランドマークとの照合結果に基づいて、車両１０の位置及び姿勢を算出し、算出結果を示すデータを統合部３２４に供給する。
なお、左可視画像センサ３１１Ｌ、右可視画像センサ３１１Ｒ、及び、赤外画像センサ３１２の設置位置及び向き、内部行列、並びに、各センサ間の相対位置及び相対姿勢等の自己位置推定に用いられるパラメータは、予め求められ、自己位置推定部３０２に設定される。
状況検出部３２３は、可視画像、赤外画像、及び、センサデータに基づいて、車両１０の置かれている状況を検出し、検出結果を示すデータを統合部３２４に供給する。
統合部３２４は、車両１０の置かれている状況に基づいて重みを調整しながら、特徴点自己位置推定部３３１による車両１０の位置及び姿勢の推定結果、ランドマーク自己位置推定部３３２による車両１０の位置及び姿勢の推定結果、及び、赤外画像自己位置推定部３２２による車両１０の位置及び姿勢の推定結果を統合する。統合部３２４は、統合後の車両１０の位置及び姿勢の推定結果を出力する。
マップ記憶部３０３は、図２のマップ生成システム２００により生成される特徴点マップ、可視ランドマークマップ、及び、赤外ランドマークマップを記憶する。
なお、マップ記憶部３０３は、必ずしも車両１０に設ける必要はなく、外部のサーバ等に設けてもよい。マップ記憶部２０３及びマップ記憶部３０３がともに外部のサーバに設けられる場合、例えば、図２のマップ記憶部２０３とマップ記憶部３０３を共通化することも可能である。
＜自己位置推定処理＞
次に、図５のフローチャートを参照して、自己位置推定システム３００により実行される自己位置推定処理について説明する。なお、この処理は、自己位置推定システム３００が設けられている車両１０を起動し、運転を開始するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
ステップＳ１０１において、観測データ取得部３０１は、観測データを取得する。
具体的には、左可視画像センサ３１１Ｌ及び右可視画像センサ３１１Ｒは、車両１０の前方を撮影し、それぞれ得られた左可視画像及び右可視画像を特徴点検出部３４１、ランドマーク検出部３５１、及び、状況検出部３２３に供給する。
赤外画像センサ３１２は、車両１０の前方を撮影し、得られた赤外画像をランドマーク検出部３６１及び状況検出部３２３に供給する。
センサ部３１３の各センサは、それぞれ各種のデータの検出処理を行い、検出結果を示すセンサデータを状況検出部３２３に供給する。
ステップＳ１０２において、自己位置推定部３０２は、特徴点及びランドマークの検出処理を行う。
具体的には、特徴点検出部３４１は、図２のマップ生成システム２００の特徴点検出部２２１と同様の方法により、左可視画像及び右可視画像内の特徴点の検出処理を行う。特徴点検出部３４１は、特徴点の検出処理の結果を示すデータを特徴点照合部３４２に供給する。
ランドマーク検出部３５１は、マップ生成システム２００のランドマーク検出部２２２と同様の方法により、左可視画像及び右可視画像内のランドマークの検出処理を行う。ランドマーク検出部３５１は、ランドマークの検出処理の結果を示すデータをランドマーク照合部３５２に供給する。
ランドマーク検出部３６１は、マップ生成システム２００のランドマーク検出部２２３と同様の方法により、赤外画像内のランドマークの検出処理を行う。ランドマーク検出部３６１は、ランドマークの検出処理の結果を示すデータをランドマーク照合部３６２に供給する。
ステップＳ１０３において、自己位置推定部３０２は、自己位置推定を行う。
特徴点照合部３４２は、左可視画像及び右可視画像内の特徴点と、マップ記憶部３０３に記憶されている特徴点マップ内の特徴点との照合を行う。特徴点照合部３４２は、特徴点の照合結果を示すデータを演算部３４３に供給する。特徴点の照合結果を示すデータには、左可視画像及び右可視画像内の特徴点と特徴点マップ内の特徴点との対応関係を示すデータ等が含まれる。また、このとき、左可視画像及び右可視画像内の特徴点のうち、特徴点マップ内の特徴点と照合が取れない特徴点が破棄される。
演算部３４３は、左可視画像及び右可視画像内の特徴点と特徴点マップ内の特徴点との対応関係に基づいて、車両１０の位置及び姿勢を算出する。
なお、演算部３４３が車両１０の位置及び姿勢を算出する方法には、任意の手法を用いることができる。
例えば、まず、演算部３４３は、左可視画像内の特徴点に対する左可視画像センサ３１１Ｌの相対的な位置及び姿勢を算出する。
具体的には、例えば、演算部３４３は、ＲＡＮＳＡＣ（RANdom SAmple Consensus）等の手法を用いて、左可視画像及び右可視画像内の特徴点のうち、位置及び姿勢の推定に悪影響を及ぼす外れ値となる特徴点を破棄する。
次に、演算部３４３は、左可視画像内の残った特徴点を右可視画像に投影した場合の特徴点の位置と、実際の右可視画像内の特徴点の位置との間の誤差をコストとして定義する。そして、演算部３４３は、このコストの最小化問題を最小二乗法を用いて解く。これにより、左可視画像内の特徴点に対する左可視画像センサ３１１Ｌの相対的な位置（例えば、並進行列）及び姿勢（例えば、回転行列）が算出される。
そして、演算部３４３は、左可視画像内の特徴点と特徴点マップ内の特徴点との対応関係に基づいて、左可視画像センサ３１１Ｌのワールド座標系における絶対位置及び絶対姿勢を、車両１０の位置及び姿勢として算出する。演算部３４３は、車両１０の位置及び姿勢の算出結果を統合部３２４に供給する。
演算部３５３は、演算部３４３と同様の手法により、左可視画像及び右可視画像内のランドマークと可視ランドマークマップ内のランドマークとの対応関係に基づいて、左可視画像センサ３１１Ｌのワールド座標系における絶対位置及び絶対姿勢を、車両１０の位置及び姿勢として算出する。演算部３５３は、車両１０の位置及び姿勢の算出結果を統合部３２４に供給する。
演算部３６３は、演算部３５３と同様の手法により、赤外画像内のランドマークと赤外ランドマークマップ内のランドマークとの対応関係に基づいて、赤外画像センサ３１２のワールド座標系における絶対位置及び絶対姿勢を算出する。そして、演算部３６３は、赤外画像センサ３１２と左可視画像センサ３１１Ｌとの間の相対位置及び相対姿勢に基づいて、左可視画像センサ３１１Ｌのワールド座標系における絶対位置及び絶対姿勢を、車両１０の位置及び姿勢として算出する。演算部３６３は、車両１０の位置及び姿勢の算出結果を統合部３２４に供給する。
なお、以上の説明では、車両１０の位置及び姿勢として、左可視画像センサ３１１Ｌのワールド座標系における絶対位置及び絶対姿勢を算出する例を示したが、右可視画像センサ３１１Ｒ、赤外画像センサ３１２、又は、車両１０のその他の部分の絶対位置及び絶対姿勢を算出するようにしてもよい。
ステップＳ１０４において、状況検出部３２３は、現在の状況を検出する。具体的には、状況検出部３２３は、左可視画像、右可視画像、赤外画像、及び、センサ部３１３からのセンサデータ等に基づいて、車両１０が現在置かれている状況を検出する。状況検出部３２３は、状況の検出結果を示すデータを統合部３２４に供給する。
ここで、例えば、可視画像内の特徴点及びランドマークの検出精度、並びに、赤外画像内のランドマークの検出精度に影響を与えると想定される状況が検出対象に設定される。例えば、可視画像及び赤外画像の画質（例えば、各画像内の被写体の鮮明度）に影響を与えると想定される状況が検出対象に設定される。
例えば、状況検出部３２３は、左可視画像及び右可視画像に基づいて、周囲の明るさ及び天候等を検出する。例えば、状況検出部３２３は、図示せぬ時計を用いて、現在時刻を検出する。例えば、状況検出部３２３は、センサ部２１３から供給されるＧＮＳＳ信号に基づいて、走行中の場所及び道路の種類等を検出する。走行中の場所は、例えば、市街地及び郊外に分類される。道路の種類は、例えば、高速道、一般道等に分類される。
ステップＳ１０５において、統合部３２４は、現在の状況に基づいて、自己位置の推定結果の統合に用いる重みを設定する。すなわち、統合部３２４は、特徴点自己位置推定部３３１及びランドマーク自己位置推定部３３２による可視画像に基づく自己位置の推定結果に対する重み（以下、可視画像重みと称する）、並びに、赤外画像自己位置推定部３２２による赤外画像に基づく自己位置の推定結果に対する重み（以下、赤外画像重みと称する）を設定する。
例えば、可視画像重み及び赤外画像重みは、状況検出部３２３により検出された各状況が可視画像の画質及び赤外画像の画質に与える影響に基づいて設定される。より具体的には、可視画像重み及び赤外画像重みは、各状況が可視画像の画質に与える影響と赤外画像の画質に与える影響との相対関係に基づいて設定される。
図６は、各状況における可視画像重みと赤外画像重みの設定方法の具体例を示している。例えば、可視画像重みと赤外画像重みは、まず所定の規定値に設定された後、以下に述べる方法により調整される。
例えば、車両１０が昼間に走行中の場合、可視画像は明るくなり、画質が向上するため、可視画像内の特徴点及びランドマークの検出精度が向上する。その結果、可視画像に基づく自己位置の推定精度が向上する。一方、赤外画像は可視画像より解像度が低く、ノイズが多いため、赤外画像内のランドマークの検出精度は、可視画像内のランドマークの検出精度より低くなる。そして、可視画像に基づく自己位置の推定精度が十分に高くなるため、赤外画像に基づく自己位置の推定結果を用いなくても、自己位置の推定精度が良好に保たれる。従って、可視画像重みが増やされ、赤外画像重みが減らされる。
なお、この場合、太陽光により赤外画像センサ２１２が痛む可能性があるため、赤外画像重みを０に設定して、赤外画像センサ２１２の撮影を停止するようにしてもよい。
一方、車両１０が夜間に走行中の場合、可視画像では、車両のライト、街灯、道路照明灯、ビルや店舗の照明等により照らされている範囲以外において、被写体をほとんど認識できなくなる。また、可視画像では、例えば、対向車のヘッドライト等によりフレアが発生する場合がある。その結果、可視画像内の特徴点及びランドマークの検出精度が低下し、可視画像に基づく自己位置の推定精度が低下する。一方、赤外画像の画質は、昼間に撮影する場合とほとんど変化しない。その結果、赤外画像内のランドマークの検出精度がほとんど低下しないため、赤外画像に基づく自己位置の推定精度もほとんど低下しない。従って、可視画像重みが減らされ、赤外画像重みが増やされる。
なお、昼間と夜間は、例えば、予め定められた時刻、又は、日の出時刻及び日没時刻等により区別される。或いは、例えば、周囲の明るさに基づいて、昼間と夜間を区別するようにしてもよい。
例えば、車両１０が霧が出ている中を走行中の場合、可視画像では、霧により被写体をほとんど認識できなくなる。また、可視画像では、例えば、対向車のヘッドライト等によりフレアが発生する場合がある。その結果、可視画像内の特徴点及びランドマークの検出精度が大幅に低下し、可視画像に基づく自己位置の推定精度が大幅に低下する。一方、赤外画像の画質は、霧によりほとんど変化しない。その結果、赤外画像内のランドマークの検出精度がほとんど低下しないため、赤外画像に基づく自己位置の推定精度もほとんど低下しない。従って、可視画像重みが大幅に減らされ、赤外画像重みが大幅に増やされる。
なお、車両１０が霧の中を走行中の場合、可視画像重みを０に設定して、赤外画像に基づく自己位置の推定結果のみを用いるようにしてもよい。
例えば、車両１０が雪の降る中を走行中の場合、可視画像では、雪により被写体を認識しづらくなる。その結果、可視画像内の特徴点及びランドマークの検出精度が低下し、可視画像に基づく自己位置の推定精度が低下する。一方、赤外画像でも、雪により被写体を認識しづらくなるが、可視画像と比べてその影響は少ない。その結果、赤外画像内のランドマークの検出精度が低下し、赤外画像に基づく自己位置の推定精度も低下するが、自己位置の推定精度の低下の度合いは、可視画像と比較して抑制される。従って、可視画像重みが減らされ、赤外画像重みが増やされる。
例えば、車両１０が市街地を走行中の場合、可視画像は、一般的にテクスチャが豊富で明るくなる。その結果、可視画像内の特徴点及びランドマークの検出精度が向上し、可視画像に基づく自己位置の推定精度が向上する。一方、上述したように、赤外画像は可視画像より解像度が低く、ノイズが多いため、赤外画像内のランドマークの検出精度は、可視画像内のランドマークの検出精度より低くなる。そして、可視画像に基づく自己位置の推定精度が十分に高くなるため、赤外画像に基づく自己位置の推定結果を用いなくても、自己位置の推定精度が良好に保たれる。従って、可視画像重みが増やされ、赤外画像重みが減らされる。
なお、市街地と郊外の区別は、例えば、市街地と郊外を分類した地図データに基づいて行われる。
例えば、車両１０が高速走行している場合、より高い自己位置の推定精度が要求される。これに対して、上述したように、赤外画像は可視画像より解像度が低く、ノイズが多いため、赤外画像に基づく自己位置の推定精度は、可視画像に基づく自己位置の推定精度より低くなる。従って、可視画像重みが増やされ、赤外画像重みが減らされる。
なお、高速走行か否かの判定は、例えば、予め定められている閾値に基づいて行われる。
なお、以上に挙げた状況の例は、その一例であり、必要に応じて状況の種類を増やしたり減らしたりしても良い。
また、例えば、複数の状況を組み合わせて重みを調整するようにすることも可能である。例えば、車両１０が夜間に高速走行している場合、夜間の条件のみだと、可視画像重みが減らされ、赤外画像重みが増やされる一方、高速走行の条件のみだと、可視画像重みが増やされ、赤外画像重みが減らされる。従って、両方の重みとも変化させないようにしたり、重みを増減する量を小さくしたりしてもよい。
さらに、各状況の程度により、重みを増減する量を調整するようにしてもよい。例えば、霧の濃さに応じて、重みを増減する量を調整するようにしてもよい。また、車両１０が夜間に又は霧の中を走行中の場合、可視画像内のフレアの有無により、可視画像重みを減らす量を調整するようにしてもよい。例えば、可視画像内にフレアが検出された場合、可視画像重みを減らす量を大きくし、可視画像内にフレアが検出されない場合、可視画像重みを減らす量を小さくするようにしてもよい。さらに、例えば、車両１０の速度が速くなるほど、可視画像重みを増やす量及び赤外画像重みを減らす量を大きくするようにしてもよい。
ステップＳ１０６において、統合部３２４は、自己位置の推定結果を統合する。
例えば、統合部３２４は、特徴点自己位置推定部３３１、ランドマーク自己位置推定部３３２、及び、赤外画像自己位置推定部３２２による車両１０の位置及び姿勢の推定結果を、拡張カルマンフィルタ（ＥＫＦ）を用いて統合する。ここで、拡張カルマンフィルタを用いて推定結果を統合する方法の例を簡単に説明する。
例えば、各自己位置推定部による車両１０の推定位置の誤差が、図７に示されるように、平均０及び分散σ2の正規分布に従うと仮定される。なお、図７の円の中心は推定位置を示し、円の半径が標準偏差σを表している。
そして、重みが大きくなるほど、分散σ2が小さくされ、重みが小さくなるほど、分散σ2が大きくされる。例えば、特徴点自己位置推定部３３１による車両１０の推定位置の誤差の分散をσ１2とすると、分散σ１2は、可視画像重みが大きくなるほど小さくされ、可視画像重みが小さくなるほど大きくされる。同様に、ランドマーク自己位置推定部３３２による車両１０の推定位置の誤差の分散をσ２2とすると、分散σ２2は、可視画像重みが大きくなるほど小さくされ、可視画像重みが小さくなるほど大きくされる。また、赤外画像自己位置推定部３２２による車両１０の推定位置の誤差の分散をσ３2とすると、分散σ３2は、赤外画像重みが大きくなるほど小さくされ、赤外画像重みが小さくなるほど大きくされる。
そして、車両１０の推定位置が、例えば、次式（１）により統合される。
Ｐｆ＝Ｋ×Ｐｅ＋Ｇ１×（Ｐｏ１－Ｐｅ）＋Ｇ２×（Ｐｏ２－Ｐｅ）
＋Ｇ３×（Ｐｏ３－Ｐｅ） ・・・（１）
なお、Ｐｆは、統合後の車両１０の推定位置を示す。Ｋは、係数行列を示す。Ｐｅは、状態方程式による車両１０の予測位置を示す。この状態方程式は、例えば、車両１０が等加速度運動を行うと仮定して構築される。Ｐｏ１は、特徴点自己位置推定部３３１による車両１０の推定位置を示す。Ｐｏ２は、ランドマーク自己位置推定部３３２による車両１０の推定位置を示す。Ｐｏ３は、赤外画像自己位置推定部３２２による車両１０の推定位置を示す。Ｇ１乃至Ｇ３は、カルマンゲインを示す。
カルマンゲインＧ１は、例えば、推定位置Ｐｏ１の誤差の分散σ１2が小さくなるほど大きくされる。その結果、推定位置Ｐｆが推定位置Ｐｏ１に近づく。従って、可視画像重みが大きくなるほど、推定位置Ｐｆが推定位置Ｐｏ１に近づく。
カルマンゲインＧ２は、例えば、推定位置Ｐｏ２の誤差の分散σ２2が小さくなるほど大きくされる。その結果、推定位置Ｐｆが推定位置Ｐｏ２に近づく。従って、可視画像重みが大きくなるほど、推定位置Ｐｆが推定位置Ｐｏ２に近づく。
カルマンゲインＧ３は、例えば、推定位置Ｐｏ３の誤差の分散σ３2が小さくなるほど大きくされる。その結果、推定位置Ｐｆが推定位置Ｐｏ３に近づく。従って、赤外画像重みが大きくなるほど、推定位置Ｐｆが推定位置Ｐｏ３に近づく。
なお、車両１０の推定姿勢についても、推定位置と同様の方法により統合される。
従って、可視画像重みが大きくなるほど、可視画像に基づく車両１０の推定位置及び推定姿勢がより重視される。すなわち、統合後の車両１０の推定位置及び推定姿勢と、可視画像に基づく車両１０の推定位置及び推定姿勢との相関が高くなり、統合後の車両１０の推定位置及び推定姿勢が、可視画像に基づく車両１０の推定位置及び推定姿勢に近づく。一方、可視画像重みが小さくなるほど、可視画像に基づく車両１０の推定位置及び推定姿勢がより軽視される。すなわち、統合後の車両１０の推定位置及び推定姿勢と、可視画像に基づく車両１０の推定位置及び推定姿勢との相関が低くなる。
同様に、赤外画像重みが大きくなるほど、赤外画像に基づく車両１０の推定位置及び推定姿勢がより重視される。すなわち、統合後の車両１０の推定位置及び推定姿勢と、赤外画像に基づく車両１０の推定位置及び推定姿勢との相関が高くなり、統合後の車両１０の推定位置及び推定姿勢が、赤外画像に基づく車両１０の推定位置及び推定姿勢に近づく。一方、赤外画像重みが小さくなるほど、赤外画像に基づく車両１０の推定位置及び推定姿勢がより軽視される。すなわち、統合後の車両１０の推定位置及び推定姿勢と、赤外画像に基づく車両１０の推定位置及び推定姿勢との相関が低くなる。
なお、上述した車両１０の推定位置及び推定姿勢の統合方法は、その一例であり、他の方法を用いてもよい。ただし、いずれの方法を用いても、可視画像重みが大きくなるほど、統合後の車両１０の推定位置及び推定姿勢が、可視画像に基づく車両１０の推定位置及び推定姿勢に近づき、赤外画像重みが大きくなるほど、統合後の車両１０の推定位置及び推定姿勢が、赤外画像に基づく車両１０の推定位置及び推定姿勢に近づくように、車両１０の推定位置及び推定姿勢の統合が行われる。
統合部３２４は、統合後の車両１０の位置及び姿勢の推定結果を出力する。例えば、統合後の車両１０の位置及び姿勢の推定結果は、図１のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給され、自律走行又は運転支援等の自動運転に関する制御に用いられる。
その後、処理はステップＳ１０１に戻り、ステップＳ１０１以降の処理が実行される。
以上のようにして、車両１０の自己位置推定の環境耐性を容易に向上させることができる。また、自己位置推定の環境耐性が向上することにより、車両１０の自己位置推定の精度が向上する。
図８は、可視画像センサ、赤外画像センサ、又は、ＬｉＤＡＲをそれぞれ用いて自己位置推定を行う場合と、本技術（自己位置推定システム３００）を用いて自己位置推定を行う場合とを比較した表である。なお、各項目に対する評価は、二重丸、丸、三角、バツの４段階により示されている。すなわち、評価の高い方から、二重丸、丸、三角、バツの順になる。
可視画像センサを用いた場合、上述したように、昼間及び高速走行時において、自己位置の推定精度は低下しない。一方、上述したように、夜間及び降雪中において、自己位置の推定精度は低下し、霧中及び対向車のヘッドライトにより照らされた状態において、自己位置の推定精度は大幅に低下する。雨中も、雨により可視画像内の被写体を認識しづらくなるため、自己位置の推定精度は低下する。
また、可視画像センサには、安価、高解像度、広視野角といった利点がある。さらに、可視画像センサは、製品の種類が豊富である。例えば、可視画像センサのシャッタには、ローリングシャッタ、グローバルシャッタ等の複数の種類がある。
赤外画像センサを用いた場合、上述したように、夜間、霧中、及び、対向車のヘッドライトにより照らされた状態において、自己位置の推定精度は低下しない。一方、上述したように、降雪中において、自己位置の推定精度は低下し、高速走行時において、自己位置の推定精度は大幅に低下する。また、上述したように、昼間は、太陽光により赤外画像センサが痛む可能性がある。雨中も、雨により赤外光の検出精度が低下するため、自己位置の推定結果は低下する。
また、赤外画像センサは、可視画像センサより少し高価であるが、ＬｉＤＡＲと比較すると、大幅に安価である。さらに、赤外画像センサには、気温の変化等によりノイズが増加したり、シャッタの種類がローリングシャッタに限定される等の欠点がある。
ＬｉＤＡＲを用いた場合、昼間と夜間の違いにより、自己位置の推定精度は低下しない。また、自己位置の推定精度は、対向車のヘッドライトの影響を受けない。一方、降雪中及び霧中は、レーザが雪又は霧により遮られるため、自己位置の推定精度は大幅に低下する。また、雨中もレーザが雨により遮られるため、自己位置の推定精度は低下する。さらに、高速走行時は、レーザの戻り光の受信性能が低下するため、自己位置の推定精度は大幅に低下する。
また、ＬｉＤＡＲは、被写体までの距離を高精度に測定できるという利点がある。一方、ＬｉＤＡＲは、可視画像センサ及び赤外画像センサに比べて、非常に高価であり、また、解像度が低くなる。
これに対して、自己位置推定システム３００では、可視画像センサ及び赤外画像センサの両方を用いて自己位置推定を行い、推定結果を統合するため、両者の利点を得ることができる。具体的には、雨中を除いて、自己位置の推定精度が低下しない。また、ＬｉＤＡＲを用いた場合と比較して、安価に実現することができる。
また、自己位置推定システム３００では、上述した特許文献１に記載の発明のように、広角カメラを設けたり、可視画像センサ及び赤外画像センサの姿勢を制御したりする必要がない。さらに、可視画像に基づく自己位置推定処理、及び、赤外画像に基づく自己位置推定処理を互いに連携させることなく、個別に独立して実行させることができる。そのため、処理が容易になる。
以上のように、本技術を用いることにより、環境耐性に優れ、推定精度が高い自己位置推定システムを容易かつ低コストで実現することができる。
＜＜３．変形例＞＞
以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
以上の説明では、左可視画像センサ３１１Ｌ及び右可視画像センサ３１１Ｒの２つの可視画像センサを用いる例を示したが、例えば、１つの可視画像センサのみを用いて、フレーム間の視差等に基づいて、特徴点やランドマークまでの距離を算出するようにしてもよい。
また、例えば、可視画像内の特徴点及びランドマークの一方のみを用いて、自己位置推定を行うようにしてもよい。
さらに、本技術は、車両の位置及び姿勢のうち少なくとも１つのみを推定する場合にも適用することができる。
また、本技術は、例えば、可視画像センサにより撮影されたモノクロの可視画像に基づいて自己位置推定を行う場合にも適用することができる。
さらに、例えば、各状況が可視画像の画質に与える影響と赤外画像の画質に与える影響との相対関係を考慮せずに、両者の影響を個別に考慮して、可視画像重み及び赤外画像重みを設定するようにしてもよい。すなわち、可視画像重み及び赤外画像重みを独立して設定するようにしてもよい。
また、本技術は、先に例示した車両以外にも、自動二輪車、自転車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械（トラクター）等の各種の移動体の自己位置推定処理を行う場合にも適用することができる。また、本技術が適用可能な移動体には、例えば、ドローン、ロボット等のユーザが搭乗せずにリモートで運転（操作）する移動体も含まれる。
＜＜４．その他＞＞
＜コンピュータの構成例＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ５００において、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータ５００では、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ５００（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータ５００では、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
＜構成の組み合わせ例＞
本技術は、以下のような構成をとることもできる。
（１）
可視画像を用いて移動体の自己位置推定を行う第１の自己位置推定部と、
赤外画像を用いて前記移動体の自己位置推定を行う第２の自己位置推定部と、
前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部と
を備える情報処理装置。
（２）
前記移動体が置かれている状況は、天候、明るさ、時間、及び、場所のうち少なくとも１つを含む
前記（１）に記載の情報処理装置。
（３）
前記統合部は、昼間の場合、前記第１の重みを増やし、前記第２の重みを減らす
前記（２）に記載の情報処理装置。
（４）
前記統合部は、夜間の場合、前記第１の重みを減らし、前記第２の重みを増やす
前記（２）又は（３）に記載の情報処理装置。
（５）
前記統合部は、前記移動体が市街地にいる場合、前記第１の重みを増やし、前記第２の重みを減らす
前記（２）乃至（４）のいずれかに記載の情報処理装置。
（６）
前記統合部は、前記移動体の速度が所定の閾値以上である場合、前記第１の重みを増やし、前記第２の重みを減らす
前記（２）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記統合部は、霧が出ている場合、前記第１の重みを減らし、前記第２の重みを増やす
前記（２）乃至（６）のいずれかに記載の情報処理装置。
（８）
前記統合部は、降雪中である場合、前記第１の重みを減らし、前記第２の重みを増やす
前記（２）乃至（７）のいずれかに記載の情報処理装置。
（９）
前記第１の重み及び前記第２の重みは、各状況が可視画像の画質及び赤外画像の画質に与える影響に基づいて設定される
前記（１）乃至（８）のいずれかに記載の情報処理装置。
（１０）
前記第１の重み及び前記第２の重みは、各状況が可視画像の画質に与える影響と赤外画像の画質に与える影響との相対関係に基づいて設定される
前記（９）に記載の情報処理装置。
（１１）
可視画像の画質が高くなる状況ほど、前記第１の重みが増やされ、
赤外画像の画質が高くなる状況ほど、前記第２の重みが増やされる
前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記統合部は、前記第１の重みが大きくなるほど、前記第１の推定結果に対する誤差の分散を小さくし、前記第２の重みが大きくなるほど、前記第２の推定結果に対する誤差の分散を小さくして、拡張カルマンフィルタを用いて前記第１の推定結果及び前記第２の推定結果を統合する
前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
前記第１の自己位置推定部及び前記第２の自己位置推定部は、前記移動体の位置及び姿勢のうち少なくとも１つを推定する
前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
前記第１の自己位置推定部は、前記可視画像内の特徴点及びランドマークのうち少なくとも１つに基づいて、前記移動体の自己位置推定を行い、
前記第２の自己位置推定部は、前記赤外画像内のランドマークに基づいて、前記移動体の自己位置推定を行う
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記移動体が置かれている状況を検出する状況検出部を
さらに備える前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
前記可視画像は、可視画像センサにより撮影され、
前記赤外画像は、赤外画像センサにより撮影される
前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
情報処理装置が、
可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、
前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する
情報処理方法。
（１８）
可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、
前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する
処理をコンピュータに実行させるためのプログラム。
（１９）
可視画像を撮影する可視画像センサと、
赤外画像を撮影する赤外画像センサと、
前記可視画像を用いて自己位置推定を行う第１の自己位置推定部と、
前記赤外画像を用いて自己位置推定を行う第２の自己位置推定部と、
前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部と
を備える移動体。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
１０，１１ 車両， １００ 車両制御システム， １１２ 自動運転制御部， １３２ 自己位置推定部， ２００ マップ生成システム， ２０２ マップ生成処理部， ３００ 自己位置推定システム， ３０１ 観測データ取得部， ３０２ 自己位置推定部， ３１１Ｌ，３１１Ｒ 可視画像センサ， ３１２ 赤外画像センサ， ３１３ センサ部， ３２１ 可視画像自己位置推定部， ３２２ 赤外画像自己位置推定部， ３２３ 状況検出部， ３２４ 統合部， ３３１ 特徴点自己位置推定部， ３３２ ランドマーク自己位置推定部

Claims (19)

  1. 可視画像を用いて移動体の自己位置推定を行う第１の自己位置推定部と、
    赤外画像を用いて前記移動体の自己位置推定を行う第２の自己位置推定部と、
    前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部と
    を備える情報処理装置。
  2. 前記移動体が置かれている状況は、天候、明るさ、時間、及び、場所のうち少なくとも１つを含む
    請求項１に記載の情報処理装置。
  3. 前記統合部は、昼間の場合、前記第１の重みを増やし、前記第２の重みを減らす
    請求項２に記載の情報処理装置。
  4. 前記統合部は、夜間の場合、前記第１の重みを減らし、前記第２の重みを増やす
    請求項２に記載の情報処理装置。
  5. 前記統合部は、前記移動体が市街地にいる場合、前記第１の重みを増やし、前記第２の重みを減らす
    請求項２に記載の情報処理装置。
  6. 前記統合部は、前記移動体の速度が所定の閾値以上である場合、前記第１の重みを増やし、前記第２の重みを減らす
    請求項２に記載の情報処理装置。
  7. 前記統合部は、霧が出ている場合、前記第１の重みを減らし、前記第２の重みを増やす
    請求項２に記載の情報処理装置。
  8. 前記統合部は、降雪中である場合、前記第１の重みを減らし、前記第２の重みを増やす
    請求項２に記載の情報処理装置。
  9. 前記第１の重み及び前記第２の重みは、各状況が可視画像の画質及び赤外画像の画質に与える影響に基づいて設定される
    請求項１に記載の情報処理装置。
  10. 前記第１の重み及び前記第２の重みは、各状況が可視画像の画質に与える影響と赤外画像の画質に与える影響との相対関係に基づいて設定される
    請求項９に記載の情報処理装置。
  11. 可視画像の画質が高くなる状況ほど、前記第１の重みが増やされ、
    赤外画像の画質が高くなる状況ほど、前記第２の重みが増やされる
    請求項９に記載の情報処理装置。
  12. 前記統合部は、前記第１の重みが大きくなるほど、前記第１の推定結果に対する誤差の分散を小さくし、前記第２の重みが大きくなるほど、前記第２の推定結果に対する誤差の分散を小さくして、拡張カルマンフィルタを用いて前記第１の推定結果及び前記第２の推定結果を統合する
    請求項１に記載の情報処理装置。
  13. 前記第１の自己位置推定部及び前記第２の自己位置推定部は、前記移動体の位置及び姿勢のうち少なくとも１つを推定する
    請求項１に記載の情報処理装置。
  14. 前記第１の自己位置推定部は、前記可視画像内の特徴点及びランドマークのうち少なくとも１つに基づいて、前記移動体の自己位置推定を行い、
    前記第２の自己位置推定部は、前記赤外画像内のランドマークに基づいて、前記移動体の自己位置推定を行う
    請求項１に記載の情報処理装置。
  15. 前記移動体が置かれている状況を検出する状況検出部を
    さらに備える請求項１に記載の情報処理装置。
  16. 前記可視画像は、可視画像センサにより撮影され、
    前記赤外画像は、赤外画像センサにより撮影される
    請求項１に記載の情報処理装置。
  17. 情報処理装置が、
    可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、
    前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する
    情報処理方法。
  18. 可視画像及び赤外画像をそれぞれ用いて移動体の自己位置推定を行い、
    前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを前記移動体が置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する
    処理をコンピュータに実行させるためのプログラム。
  19. 可視画像を撮影する可視画像センサと、
    赤外画像を撮影する赤外画像センサと、
    前記可視画像を用いて自己位置推定を行う第１の自己位置推定部と、
    前記赤外画像を用いて自己位置推定を行う第２の自己位置推定部と、
    前記可視画像を用いた自己位置推定による第１の推定結果に対する第１の重み、及び、前記赤外画像を用いた自己位置推定による第２の推定結果に対する第２の重みを、置かれている状況に基づいて設定し、前記第１の重み及び前記第２の重みを用いて前記第１の推定結果及び前記第２の推定結果を統合する統合部と
    を備える移動体。
JP2019550982A 2017-10-24 2018-10-11 情報処理装置、情報処理方法、プログラム、及び、移動体 Active JP7143857B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017205178 2017-10-24
JP2017205178 2017-10-24
PCT/JP2018/037838 WO2019082669A1 (ja) 2017-10-24 2018-10-11 情報処理装置、情報処理方法、プログラム、及び、移動体

Publications (2)

Publication Number Publication Date
JPWO2019082669A1 JPWO2019082669A1 (ja) 2020-12-10
JP7143857B2 true JP7143857B2 (ja) 2022-09-29

Family

ID=66246518

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019550982A Active JP7143857B2 (ja) 2017-10-24 2018-10-11 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (5)

Country Link
US (1) US11100675B2 (ja)
JP (1) JP7143857B2 (ja)
CN (1) CN111226094A (ja)
DE (1) DE112018004691T5 (ja)
WO (1) WO2019082669A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7143733B2 (ja) * 2018-11-14 2022-09-29 トヨタ自動車株式会社 環境状態推定装置、環境状態推定方法、環境状態推定プログラム
JP7298343B2 (ja) * 2019-07-01 2023-06-27 日本電信電話株式会社 故障影響推定装置、故障影響推定方法、及びプログラム
DE102019120778A1 (de) * 2019-08-01 2021-02-04 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Lokalisierung eines Fahrzeugs in einer Umgebung
WO2021117079A1 (ja) * 2019-12-09 2021-06-17 日本電気株式会社 自己位置推定装置、自己位置推定方法及びプログラム
JP7342753B2 (ja) 2020-03-18 2023-09-12 株式会社デンソー 車両用位置特定装置及び車両用位置特定方法
US20230242102A1 (en) * 2020-08-11 2023-08-03 Hitachi Astemo, Ltd. Position estimation system
CN112950712B (zh) * 2021-02-25 2023-03-24 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质
CN116007626B (zh) * 2022-12-12 2024-02-20 南京小网科技有限责任公司 一种一体化综合定位系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223605A (ja) 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
JP2013187862A (ja) 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2016156973A (ja) 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
WO2017043067A1 (ja) 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2009414A1 (en) * 1999-01-14 2008-12-31 Panasonic Corporation Infrared imaging device, vehicle with the same, and infrared image adjusting device
US8368741B2 (en) * 2007-06-27 2013-02-05 General Instrument Corporation Apparatus and system for improving image quality
US20120299702A1 (en) * 2011-05-26 2012-11-29 Caterpillar Inc. Hybrid positioning system
US10210628B2 (en) * 2014-03-03 2019-02-19 Mitsubishi Electric Corporation Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space
WO2016016955A1 (ja) 2014-07-30 2016-02-04 株式会社日立製作所 自律移動装置及び自己位置推定方法
EP2993645B1 (en) * 2014-09-02 2019-05-08 Nintendo Co., Ltd. Image processing program, information processing system, information processing apparatus, and image processing method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005223605A (ja) 2004-02-05 2005-08-18 Sumitomo Electric Ind Ltd 画像処理方法、画像処理システムおよび画像処理装置
JP2013187862A (ja) 2012-03-09 2013-09-19 Topcon Corp 画像データ処理装置、画像データ処理方法および画像データ処理用のプログラム
JP2016156973A (ja) 2015-02-25 2016-09-01 パイオニア株式会社 地図データ記憶装置、制御方法、プログラム及び記憶媒体
WO2017043067A1 (ja) 2015-09-11 2017-03-16 富士フイルム株式会社 走行支援装置及び走行支援装置による走行支援方法

Also Published As

Publication number Publication date
JPWO2019082669A1 (ja) 2020-12-10
US20200250854A1 (en) 2020-08-06
DE112018004691T5 (de) 2020-06-18
US11100675B2 (en) 2021-08-24
CN111226094A (zh) 2020-06-02
WO2019082669A1 (ja) 2019-05-02

Similar Documents

Publication Publication Date Title
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
US11531354B2 (en) Image processing apparatus and image processing method
WO2019130945A1 (ja) 情報処理装置、情報処理方法、プログラム、及び移動体
CN108139211B (zh) 用于测量的装置和方法以及程序
JP7180670B2 (ja) 制御装置、制御方法、並びにプログラム
JP7320001B2 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
WO2019077999A1 (ja) 撮像装置、画像処理装置、及び、画像処理方法
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2019082670A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
WO2020031812A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、及び移動体
US20210179142A1 (en) Mobile object, information processing apparatus, information processing method, and program
US20200230820A1 (en) Information processing apparatus, self-localization method, program, and mobile body
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
WO2020090320A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2020036044A1 (ja) 画像処理装置と画像処理方法およびプログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210827

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R151 Written notification of patent or utility model registration

Ref document number: 7143857

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151