JP7479108B2 - 情報処理装置、情報処理方法 - Google Patents

Description

本開示は、情報処理装置、および情報処理方法に関する。

従来、車両が走行する周囲に存在する物体の特徴に基づき地図データを作成する技術が開示されている。そして、作成された地図データと、車両に搭載された撮影装置により取得された画像とを比較することにより、当該車両が地図データのうちのどこに位置するかを推定する処理である自己位置推定を実行し、走行する経路に沿って自動走行を行う技術が開示されている。

特開２０１９－１３３３１８号公報

ところで、一般に、このような技術では、自動走行を行う場所で予めユーザが手動で車両を走行（以下、教師走行と称する。）し、当該の場所で自動走行を行うために必要となる自己位置推定に用いる地図データおよび走行経路を示す走行経路データを作成し、それ以降は作成された地図データおよび走行経路データを用いることで、自動走行を実現する。

自動走行の際に、自己位置推定に用いられる地図データは、実景中に存在する物体の特徴点の三次元位置を記憶したデータである。自動走行時に、車両により撮影された画像から特徴点を抽出し、その特徴点が地図データに含まれる何れの特徴点であるかを照合する。このとき、地図データと一致する特徴点の数が所定数以上であれば、車両の自己位置を推定できたと判定する。

しかし、凹凸、色の変化、の何れもない物体に囲まれた場所等、車両周囲の環境の特徴が十分でない場所で、その周囲の地図データを作成するために車両を走行させる教師走行を行った場合、作成された地図データに含まれる特徴点の数が自己位置推定するために必要な所定数に対して不足するため、自己位置推定ができない可能性が高い。しかしながら、従来技術では、実際に自動走行を行うまで、教師走行を行った場所で自動走行できない可能性が高いことをユーザが確認することができなかった。

本開示が解決しようとする課題は、教師走行を行った場所で自動走行できない可能性が高いことを、自動走行を行うことなくユーザが確認することができる、情報処理装置、および情報処理方法を提供することである。

本開示の情報処理装置は、ユーザが手動で車両を教師走行した際の走行経路を示す走行経路データに基づき、自動走行を行う情報処理装置であって、抽出部と、判定部と、出力制御部と、を備える。抽出部は、教師走行の際に、移動体の周辺を撮影した情報である画像情報を受け取り、受け取った画像情報から得られる自己位置推定に用いる情報を抽出する。判定部は、走行経路において、抽出部により抽出された自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判定する。出力制御部は、判定部により自己位置推定に用いる情報の量が所定値に対して不足していると判定された場合に、自己位置推定に用いる情報の量が所定値に対して不足していない場合と異なる指示情報を出力部に出力する。教師走行の開始位置は自動走行の開始位置である。教師走行の開始位置は自動走行におけるユーザの降車位置である。出力制御部は、判定部により自己位置推定に用いる情報の量が所定値に対して不足していないと判定された場合、ユーザに教師走行の正常終了を報知する。指示情報は、走行経路データに基づく自動走行を行うよりも前に出力される。

本開示に係る情報処理装置、および情報処理方法によれば、教師走行した場所で自動走行できない可能性が高いことを、自動走行を行うことなくユーザが確認することができる。

図１は、実施形態１に係る、移動体の一例を示す図である。 図２は、実施形態１に係る、撮影装置の設置位置の一例を示す模式図である。 図３は、実施形態１に係る、情報処理装置のハードウェア構成図の一例を示す図である。 図４は、実施形態１に係る、移動体の機能的構成の一例を示すブロック図である。 図５は、実施形態１に係る、移動体の適用場面の一例を示す模式図である。 図６は、実施形態１に係る、指示画像の一例を示す模式図である。 図７は、実施形態１に係る、教師走行の情報処理の手順の一例を示すフローチャートである。 図８は、実施形態１に係る、自動走行の情報処理の手順の一例を示すフローチャートである。 図９は、変形例２に係る、教師走行の情報処理の手順の一例を示すフローチャートである。 図１０は、変形例２に係る、自動走行の情報処理の手順の一例を示すフローチャートである。 図１１は、実施形態２に係る、移動体の機能的構成の一例を示すブロック図である。 図１２は、実施形態２に係る、教師走行の情報処理の手順の一例を示すフローチャートである。 図１３は、実施形態２に係る、自動走行の情報処理の手順の一例を示すフローチャートである。

＜実施形態１＞
以下に添付図面を参照して、本開示に係る情報処理装置、情報処理方法、および移動体の実施形態について説明する。

図１は、本実施の形態の移動体１０の一例を示す図である。

移動体１０は、情報処理装置２０と、出力部１０Ａと、入力部１０Ｂと、内界センサ１０Ｃと、撮影装置１０Ｄと、駆動制御部１０Ｆと、駆動部１０Ｇと、を備える。

情報処理装置２０は、例えば、専用または汎用コンピュータである。本実施の形態では、情報処理装置２０が、移動体１０に搭載された形態を一例として説明する。

移動体１０は、移動可能な物である。本実施の形態では、移動体１０は、ユーザが乗車可能な物である。移動体１０は、例えば、車両である。車両は、二輪自動車、三輪自動車、または、四輪自動車などである。また、移動体１０は、例えば、人による運転操作を介して進行する移動体、または、人による運転操作を介さずに自動的に進行（自律進行）可能な移動体である。本実施の形態では、移動体１０が、車両である場合を一例として説明する。

出力部１０Ａは、情報を出力する。本実施の形態では、出力部１０Ａは、情報処理装置２０で生成された指示情報などの情報を出力する。指示情報の詳細は後述する。

出力部１０Ａは、情報を表示する表示機能を備える。なお、出力部１０Ａは、情報を外部装置などへ送信する通信機能、音を出力する音出力機能、光を点灯または点滅させる機能、などを更に備えていてもよい。例えば、出力部１０Ａは、表示部１０Ｋと、通信部１０Ｈ、スピーカ１０Ｉ、および照明部１０Ｊの少なくとも１つと、を含む。本実施の形態では、出力部１０Ａは、通信部１０Ｈ、スピーカ１０Ｉ、照明部１０Ｊ、表示部１０Ｋを含む場合を、一例として説明する。

通信部１０Ｈは、情報を他の装置へ送信する。例えば、通信部１０Ｈは、公知の通信回線を介して情報を他の装置へ送信する。スピーカ１０Ｉは、音を出力する。照明部１０Ｊは、光を点灯または点滅させるライトである。表示部１０Ｋは、情報を表示する。表示部１０Ｋは、例えば、公知の有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、または投影装置などである。

出力部１０Ａの設置位置は、移動体１０に乗車したユーザが出力部１０Ａから出力される情報を確認可能な位置であればよい。

例えば、移動体１０は、複数の表示部を備える（以下、総称として「表示部１０Ｋ」と称する。）。これらの複数の表示部１０Ｋは、移動体１０の車室内における、互いに異なる位置に配置されている。なお、移動体１０に設けられた表示部１０Ｋの数は、１つでもよく、複数に限定されない。本実施の形態では、移動体１０は、１つの表示部１０Ｋを備える形態を一例として説明する。

詳細には、表示部１０Ｋは、移動体１０に乗車したユーザＵが表示面を視認可能となるように、表示面の向きが予め調整されている。

図１に戻り説明を続ける。入力部１０Ｂは、ユーザＵからの指示または情報の入力を受け付ける。入力部１０Ｂは、例えば、ユーザＵの操作入力により入力を受付ける指示入力デバイス、および、音声の入力を受付けるマイク、の少なくとも一方である。指示入力デバイスは、例えば、ボタン、マウスまたはトラックボール等のポインティングデバイス、または、キーボードなどである。指示入力デバイスは、表示部１０Ｋと一体的に設けられたタッチパネルにおける入力機能であってもよい。

内界センサ１０Ｃは、移動体１０自体の情報を観測するセンサである。内界センサ１０Ｃは、移動体１０の位置、移動体１０の速度、または移動体１０の加速度などを検出する。

内界センサ１０Ｃは、例えば、慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ）、速度センサ、またはＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等である。

撮影装置１０Ｄは、移動体１０の周辺を観測するセンサである。撮影装置１０Ｄは、移動体１０に搭載されていてもよいし、該移動体１０の外部に搭載されていてもよい。移動体１０の外部とは、例えば、他の移動体または外部装置などを示す。

移動体１０の周辺とは、移動体１０から予め定めた範囲内の領域である。この範囲は、撮影装置１０Ｄの観測可能な範囲である。この範囲は、予め設定すればよい。

撮影装置１０Ｄは、移動体１０の周辺を観測し、周辺情報を取得する。周辺情報は、移動体１０の周辺の画像、および、移動体１０の周辺の物体と移動体１０との距離および方向を示す情報、の少なくとも一方を含む。

撮影装置１０Ｄは、撮影によって撮影画像データ（以下、撮影画像と称する。）を得る。この撮影装置は、デジタルカメラ、ステレオカメラ、などである。撮影画像は、画素ごとに画素値を規定したデジタル画像データである。

本実施の形態では、撮影装置１０Ｄが取得する周辺情報は、移動体１０の周辺の撮影画像である場合を一例として説明する。以下、移動体１０の周辺の撮影画像を、周辺画像と称して説明する。

撮影装置１０Ｄは、移動体１０の周囲を撮影可能となるように、設置位置および画角が予め調整されている。本実施の形態では、移動体１０は、撮影方向の異なる複数の撮影装置１０Ｄを備える。

図２は、撮影装置１０Ｄの設置位置の一例を示す模式図である。例えば、移動体１０は、４つの撮影装置１０Ｄを備える。なお、移動体１０に設けられる撮影装置１０Ｄの数は４つに限定されない。

なお、撮影装置１０Ｄは、水平面における、移動体１０を中心とした略全領域（例えば、３６０°）の方向の撮影画像を取得可能となるように、設置位置および数が調整されていればよく、図２に示す設置位置および数に限定されない。

図１に戻り説明を続ける。駆動部１０Ｇは、移動体１０に搭載された駆動デバイスである。駆動部１０Ｇは、例えば、エンジン、モータ、車輪、などである。

駆動制御部１０Ｆは、移動体１０を自動的に運転するために、駆動部１０Ｇを制御する。駆動制御部１０Ｆは、内界センサ１０Ｃまたは撮影装置１０Ｄから得られる情報、または情報処理装置２０から受付けた情報などに基づいて、駆動部１０Ｇを制御する。駆動制御部１０Ｆの制御によって、移動体１０のアクセル量、ブレーキ量、操舵角などが制御される。例えば、駆動制御部１０Ｆは、情報処理装置２０から受付けた情報によって示される経路に移動体１０を進入させて、停車または走行するように、移動体１０の制御を行う。

次に、情報処理装置２０のハードウェア構成を説明する。図３は、情報処理装置２０のハードウェア構成図の一例である。

情報処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１Ｃ、およびＩ／Ｆ１１Ｄ等がバス１１Ｅにより相互に接続されており、通常のコンピュータを利用したハードウェア構成となっている。

ＣＰＵ１１Ａは、本実施の形態の情報処理装置２０を制御する演算装置である。ＲＯＭ１１Ｂは、ＣＰＵ１１Ａによる処理を実現するプログラム等を記憶する。ＲＡＭ１１Ｃは、ＣＰＵ１１Ａによる処理に必要なデータを記憶する。Ｉ／Ｆ１１Ｄは、データを送受信するためのインターフェースである。

本実施の形態の情報処理装置２０で実行される情報処理を実行するためのプログラムは、ＲＯＭ１１Ｂ等に予め組み込んで提供される。なお、本実施の形態の情報処理装置２０で実行されるプログラムは、情報処理装置２０にインストール可能な形式または実行可能な形式のファイルでコンピュータで読み取り可能な記憶媒体（例えば、フラッシュメモリ）に記憶されて提供するように構成してもよい。

次に、移動体１０の機能的構成を説明する。図４は、移動体１０の機能的構成の一例を示すブロック図である。

移動体１０は、情報処理装置２０と、出力部１０Ａと、入力部１０Ｂと、内界センサ１０Ｃと、撮影装置１０Ｄと、駆動制御部１０Ｆと、駆動部１０Ｇと、を備える。

情報処理装置２０、出力部１０Ａ、入力部１０Ｂ、内界センサ１０Ｃ、撮影装置１０Ｄ、および駆動制御部１０Ｆは、バス１０Ｌを介してデータまたは信号を授受可能に接続されている。駆動制御部１０Ｆは、駆動部１０Ｇとデータまたは信号を授受可能に接続されている。

情報処理装置２０は、記憶部２０Ｂと、処理部２０Ａと、を有する。処理部２０Ａおよび記憶部２０Ｂは、バス１０Ｌを介してデータまたは信号を授受可能に接続されている。また、出力部１０Ａ、入力部１０Ｂ、内界センサ１０Ｃ、撮影装置１０Ｄ、および駆動制御部１０Ｆと、処理部２０Ａとは、バス１０Ｌを介してデータまたは信号を授受可能に接続されている。

なお、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｈ、スピーカ１０Ｉ、照明部１０Ｊ、表示部１０Ｋ）、入力部１０Ｂ、内界センサ１０Ｃ、撮影装置１０Ｄ、および駆動制御部１０Ｆの少なくとも１つは、有線または無線で処理部２０Ａに接続すればよい。また、記憶部２０Ｂ、出力部１０Ａ（通信部１０Ｈ、スピーカ１０Ｉ、照明部１０Ｊ、表示部１０Ｋ）、入力部１０Ｂ、内界センサ１０Ｃ、撮影装置１０Ｄ、および駆動制御部１０Ｆの少なくとも１つと、処理部２０Ａとを、ネットワークを介して接続してもよい。

記憶部２０Ｂは、データを記憶する。記憶部２０Ｂは、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等である。なお、記憶部２０Ｂは、情報処理装置２０の外部に設けられた記憶装置であってもよい。また、記憶部２０Ｂは、プログラムまたは情報を、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）またはインターネットなどを介してダウンロードして記憶または一時記憶したものであってもよい。また、記憶部２０Ｂを、複数の記憶媒体から構成してもよい。

移動体は、ユーザの指示に応じて、複数の走行モードのうちの何れかの走行モードで走行する。走行モードは、移動体の周辺の地図データを作成するためにユーザが教師走行を実施するモードである教師走行モードと、教師走行を行った場所で移動体を自動走行させるモードである自動走行モードとを含む。

処理部２０Ａは、教師走行モードにおける処理を行う教師走行処理部２０Ａ１と、自動走行モードにおける処理を行う自動走行処理部２０Ａ２と、を含む。教師走行処理部２０Ａ１は、教師走行モードを実行する処理部２０Ａである。自動走行処理部２０Ａ２は、自動走行モードを実行する処理部２０Ａである。

教師走行処理部２０Ａ１は、取得部２０Ｃと、抽出部２０Ｄと、作成部２０Ｅと、判定部２０Ｆと、特定部２０Ｇと、出力制御部２０Ｈと、受付部２０Ｉと、を含む。

取得部２０Ｃと、抽出部２０Ｄと、作成部２０Ｅと、判定部２０Ｆと、特定部２０Ｇと、出力制御部２０Ｈおよび受付部２０Ｉは、例えば、１または複数のプロセッサにより実現される。例えば上記各部は、ＣＰＵなどのプロセッサにプログラムを実行させること、すなわちソフトウェアにより実現してもよい。上記各部は、専用のＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのプロセッサ、すなわちハードウェアにより実現してもよい。上記各部は、ソフトウェアおよびハードウェアを併用して実現してもよい。複数のプロセッサを用いる場合、複数のプロセッサの各々は、複数の各部のうち１つを実現してもよいし、複数の各部のうち２以上を実現してもよい。

プロセッサは、記憶部２０Ｂに保存されたプログラムを読み出し実行することで、上記複数の各部を実現する。なお、記憶部２０Ｂにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成してもよい。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで、上記複数の各部を実現する。

取得部２０Ｃは、撮影装置１０Ｄから周辺情報を取得する。上述したように、本実施の形態では、撮影装置１０Ｄは、周辺情報として、移動体１０の周辺の撮影画像である周辺画像４０を得る。このため、取得部２０Ｃは、撮影装置１０Ｄから移動体１０の周辺画像４０を取得する。

撮影装置１０Ｄは、時系列に沿って所定のタイミングごとに周辺画像４０を得る。そして、撮影装置１０Ｄは、周辺画像４０を取得するごとに、取得した周辺画像４０を教師走行処理部２０Ａ１へ出力する。このため、教師走行処理部２０Ａ１の取得部２０Ｃは、撮影装置１０Ｄから順次、周辺画像４０を取得する。

抽出部２０Ｄは、取得部２０Ｃが撮影装置１０Ｄから取得した周辺画像４０を解析することで、移動体１０の走行した経路周辺の特徴点を抽出する。

抽出部２０Ｄによる特徴点の抽出方法には、公知の方法を用いればよく、抽出方法は限定されない。

抽出部２０Ｄは、抽出した特徴点に識別情報を付与し、該識別情報と、実空間における特徴点の位置および範囲を示す情報と、を対応付けて記憶部２０Ｂへ記憶する。抽出部２０Ｄは、内界センサ１０Ｃから取得した移動体１０の位置情報などを用いて、実空間における特徴点の位置および範囲を示す情報を抽出すればよい。

作成部２０Ｅは、抽出部２０Ｄが抽出した特徴点の位置情報を有する地図データを作成する。

作成部２０Ｅによって作成される地図データは、自己位置推定に用いる情報であり、予め広域（移動体１０の周囲の領域を含む）で得られた実景中の複数の特徴点各々について、実空間における三次元位置と、地図データ作成時に撮影された画像情報から抽出された特徴点の特徴を示すデータである特徴量と、を関連付けて記憶する。地図データとして記憶される特徴点は、例えば、実景中において目印となり得る物体（例えば、建物、標識、または看板等）の画像情報から特徴的な画像パターンが得られる部分（例えば、コーナー部）である。また、実景中の位置情報として、位置マーカなどの予め記憶されたランドマークが用いられてもよい。なお、地図データの複数の特徴点は、例えば、識別番号によって各別に識別可能に記憶されている。

地図データに記憶される特徴点の実空間における三次元位置は、例えば、緯度、経度および高さを基準として、三次元の直交座標系（Ｘ、Ｙ、Ｚ）で表されている。なお、特徴点の実空間における三次元位置は、例えば、複数の位置で撮影されたカメラ画像から三角測量の原理による測定や、ＬＩＤＡＲ(Light Detection and Ranging)やステレオカメラを用いた測定によって記憶されている。

地図データに記憶される特徴点の特徴量としては、画像情報の輝度や濃度の他、ＳＩＦＴ（Scale Invariant Feature Transform）特徴量、またはＳＵＲＦ（Speeded Up Robust Features）特徴量等が用いられる。なお、地図データに記憶される特徴点の特徴量データは、同一の三次元位置の特徴点であっても、当該特徴点を撮影したときの撮影装置の撮影位置や撮影方向ごとに別個に記憶されていてもよい。また、地図データに記憶される特徴点の特徴量データは、当該特徴点を有する物体の画像情報と関連付けて記憶されていてもよい。

作成部２０Ｅによる地図データ作成方法には、公知の方法を用いればよく、地図データ作成方法は限定されない。例えば、作成部２０Ｅは、抽出部２０Ｄが抽出した特徴点の位置を示す位置情報を作成することで、特徴点の位置情報を有する地図データを作成する。

図５は、本実施の形態の移動体１０の適用場面の一例を示す模式図である。例えば、移動体１０を地点Ａから地点Ｂまで矢印に沿って自動走行させるために、その経路を学習させることを目的として、ユーザＵが移動体１０を地点Ａから地点Ｂまで教師走行をしている場面を想定する。地点Aは、例えば、ユーザＵが移動体１０から降りる位置であり、且つ、移動体１０を無人で自動走行させる開始位置である。地点Ｂは、例えば、移動体１０の駐車目標位置である。ドライバＵ１は、移動体１０に乗車したユーザＵの一例である。

この場合、移動体１０に設けられた撮影装置１０Ｄが移動体１０の周辺を撮影することで、取得部２０Ｃが該周辺の周辺画像４０を取得する。このため、抽出部２０Ｄは、移動体１０の周辺の周辺画像４０を、取得部２０Ｃから取得する。そして、抽出部２０Ｄは、周辺画像４０を解析することで、周辺画像４０に含まれる特徴点を抽出する。さらに、作成部２０Ｅは、抽出部２０Ｄが抽出した特徴点の位置情報を有する地図データを作成する。作成部２０Ｅは、作成した地図データを地図データ記憶部２０Ｂ３に保存する。

図４に戻り説明を続ける。判定部２０Ｆは、移動体１０が走行した経路を、予め定めた所定条件により一部を抽出し、抽出された経路（以下、「部分経路」と称する。）のそれぞれにおいて、抽出された特徴点の数が自己位置推定するために必要な所定数に対して不足しているか否か判定する。抽出された特徴点の数が所定数より多ければ、自己位置推定が成功する可能性が高い場所であると考えられる。なお、所定条件は、例えば、所定の距離（例えば２０ｃｍ）を車両が移動すること、もしくは撮影装置１０Ｄにより取得された時間的に連続する画像内に、同一とされる特徴点が所定数以上抽出され続けること、などである。

判定部２０Ｆは、部分経路ごとに判定を繰り返し、特徴点の数が所定数に対して不足している箇所を特定する。

特定部２０Ｇは、自動走行を行う際に移動体１０の位置を特定するために、自己位置推定を実行する。特定部２０Ｇは、作成部２０Ｅによって作成された地図データと、移動体１０に搭載された撮影装置１０Ｄにより取得された画像とを比較する。これにより、特定部２０Ｇは、当該移動体１０が作成された地図データのうちのどこに位置するかを特定することができる。

次に、出力制御部２０Ｈについて説明する。出力制御部２０Ｈは、情報を出力部１０Ａへ出力する。本実施の形態では、出力制御部２０Ｈは、指示情報を出力部１０Ａへ出力する。

指示情報は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足していない場合と異なる情報を示す。なお、指示情報は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足していることを示す情報であってもよい。また、指示情報は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足している箇所を示す情報であってもよい。併せて、指示情報は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、位置情報を地図データに追加するために、特徴量を多く含む物体（以下、特徴物と称する。）、もしくは予め教師走行処理部２０Ａ１に記憶されたランドマークである位置マーカを設置する場所を報知する情報であってもよい。特徴物もしくは位置マーカを設置する場所は、特徴物もしくは位置マーカが設置された状態で再度教師走行をした場合に、特徴点の数の不足が解消される可能性が高い場所である。つまり、その場所は、特徴点の数の不足を解消するのに効果的な場所である。

本実施の形態では、指示情報は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、位置情報を地図データに追加するために、特徴物もしくは位置マーカを設置する場所を報知する形態を、一例として説明する。

指示情報は、画像によって表される指示画像、音声によって表される指示音声、および、テキストによって表される指示文字、の何れであってもよい。また、これらの組合せであってもよい。なお、指示情報が画像である場合、指示情報を指示画像と称して説明する。

図６は、指示画像５２の一例を示す模式図である。図６に示すように、指示画像５２は移動体１０の周辺において、位置情報を地図データに追加するために、特徴物もしくは位置マーカを設置すべき場所を報知する画像である。

出力制御部２０Ｈは、作成部２０Ｅが作成した地図データと、判定部２０Ｆが部分経路ごとに特徴点の数が所定数に対して不足しているか否か判定した情報と、特定部２０Ｇが推定した移動体１０の位置情報と、を用いて、指示画像５２を生成する。

例えば、出力制御部２０Ｈは、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足している箇所を示す指示画像５２を生成する。詳細には、出力制御部２０Ｈは、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足している箇所について、特徴物もしくは位置マーカを設置すべき場所として、指示画像５２を生成する。

ここで、移動体１０の自己位置を推定するために必要な所定数に対して特徴点の数が不足する部分経路を以下、自動走行不可経路ＲＰと称する。図６に示すように、出力制御部２０Ｈは、自動走行不可経路ＲＰを強調した指示画像５２を生成することが好ましい。例えば、自動走行不可経路ＲＰは、自動走行不可経路ＲＰを示す画像である枠線画像、または、自動走行不可経路ＲＰの色をユーザＵの注意を喚起する色で示した画像である色画像である。注意を喚起する色は、例えば、黄色または赤色であるが、これらの色に限定されない。指示情報として、画像を用いてユーザに示すことで、自動走行不可経路ＲＰがどこであるかの具体的位置をユーザが知ることができる。

そして、出力制御部２０Ｈは、教師走行終了の指示に応じて、生成した指示画像５２を、出力部１０Ａへ出力する。

本実施の形態では、出力制御部２０Ｈは、移動体１０に設けられた複数の表示部１０Ｋのうちの１つもしくは複数へ指示画像５２を表示する。

なお、出力制御部２０Ｈは、指示情報として、音声によって表される指示音声を用いる場合に、指示音声をスピーカ１０Ｉから出力すればよい。例えば、出力制御部２０Ｈは、「自動運転が難しいと思われる場所が存在します。教師走行を終了します。」などの指示音声を、スピーカ１０Ｉから出力すればよい。併せて、指示画像の表示も行ってもよい。

図４に戻り説明を続ける。次に、受付部２０Ｉについて説明する。受付部２０Ｉは、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、指示画像５２における教師走行の再試行の指示の入力を受付ける。

例えば、表示部１０Ｋに、図６に示す指示画像５２が表示されたと想定する。ユーザＵは、指示画像５２において、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足している箇所について、特徴物もしくは位置マーカを設置したのちに、教師走行の再試行の指示を入力する。

ユーザＵは、例えば、入力部１０Ｂを操作することで、指示画像５２において教師走行の再試行の指示を入力する。詳細には、入力部１０Ｂがタッチパネルである場合、ユーザＵは、このタッチパネル上に表示された再試行ボタンをタッチすることで、教師走行の再試行の指示を入力する。受付部２０Ｉは、ユーザＵによって指示された情報を入力部１０Ｂから受付けることで、教師走行の再試行の指示の入力を受付ける。

なお、受付部２０Ｉは、ユーザＵのジェスチャ、または、ユーザＵから発せられた音声を解析することで、教師走行の再試行の指示の入力を受付けてもよい。

また、例えば、ユーザＵは、教師走行を所望することを示す音声を、発する。この場合、受付部２０Ｉは、入力部１０Ｂとしてのマイクで集音された音声の音声データを、公知の音声解析方法を用いて解析することで、教師走行の再試行の指示の入力を受付ければよい。

受付部２０Ｉは、教師走行の再試行の指示に応じて、教師走行の再試行の指示を示す情報を、自動走行処理部２０Ａ２へ出力する。

自動走行処理部２０Ａ２は、記憶部２０Ｂに保存された地図データをもとに自己位置推定を行い、自動走行を行う。

記憶部２０Ｂは、教師走行プログラム２０Ｂ１と、自動走行プログラム２０Ｂ２と、地図データ記憶部２０Ｂ３と、を含む。

教師走行処理部２０Ａ１により教師走行プログラム２０Ｂ１が読み出されると、教師走行プログラム２０Ｂ１に基づいて教師走行モードの処理が実行される。自動走行処理部２０Ａ２により自動走行プログラム２０Ｂ２が読み出されると、自動走行プログラム２０Ｂ２に基づいて自動走行モードの処理が実行される。地図データ記憶部２０Ｂ３は、作成部２０Ｅにより作成された地図データを保存する。

次に、移動体１０が実行する実施形態１における教師走行の情報処理の手順の一例を説明する。図７は、移動体１０が実行する実施形態１における教師走行の情報処理の手順の一例を示すフローチャートである。

まず、取得部２０Ｃが、撮影装置１０Ｄから周辺画像４０を取得する（ステップＳ１０１）。次に、抽出部２０Ｄが、ステップＳ１０１で取得した周辺画像４０から、特徴点を抽出する（ステップＳ１０３）。つまり、ステップＳ１０１で取得した周辺画像４０から、自己位置推定に用いる情報を抽出する。

ステップＳ１０５では、作成部２０Ｅは、ステップＳ１０３で抽出した特徴点の位置情報を有する地図データを地図データ記憶部２０Ｂ３に追加する（ステップＳ１０５）。

ステップＳ１０７では、判定部２０Ｆが、作成された地図データにおいて、予め定めた所定条件により部分経路を抽出する（ステップＳ１０７）。なお、所定条件は、例えば、撮影装置１０Ｄにより取得された時間的に連続する画像内に、同一とされる特徴点が所定数以上抽出され続けること、などである。

次に、判定部２０Ｆが部分経路ごとに、特徴点の数が所定数に対して不足しているか否か、つまり所定数より少ないか否かを記憶する（ステップＳ１０９）。

ステップＳ１１１では、入力部１０Ｂが、ユーザから教師走行が終了したか否かを判断する（ステップＳ１１１）。教師走行が終了した場合（ステップＳ１１１：Ｙｅｓ）、ステップＳ１１３へ進む。教師走行が終了していない場合（ステップＳ１１１：Ｎｏ）、上記ステップＳ１０１へ戻る。なお、教師走行終了地点に到達したことを認識する方法には、公知の方法を用いればよく、その方法は限定されない。例えば、入力部１０Ｂを介してユーザから教師走行終了の指示を受け付けることで、教師走行終了地点に到達したことを認識する。または、シフトレバーがパーキングレンジに入ったことによって、教師走行終了地点に到達したことを認識してもよい。

次に、判定部２０Ｆが、部分経路ごとに、特徴点の数が自己位置を推定するために必要な所定数に対して不足しているか否かを判断する（ステップＳ１１３）。つまり、自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判断する。教師走行した経路のうち各部分経路の何れも特徴点の数が所定数に対して不足していない場合、つまり、所定数より多い場合（ステップＳ１１３：Ｎｏ）、ステップＳ１１５へ進む。ステップＳ１１５では、ユーザに教師走行の正常終了を報知し、本ルーチンを終了する。なお、ユーザに教師走行の終了を報知する際に、自動走行モードでの自動走行が可能であることとともに教師走行の終了を報知してもよい。教師走行した経路のうち抽出された各経路の何れか１つ以上が、特徴点の数が所定数に対して不足している場合、つまり、所定数より少ない場合（ステップＳ１１３：Ｙｅｓ）、ステップＳ１１７へ進む。

抽出された各経路の何れか１つ以上が、特徴点の数が所定数に対して不足している場合、つまり、所定数より少ない場合（ステップＳ１１３：Ｙｅｓ）、出力制御部２０Ｈが、指示情報を出力部１０Ａへ出力する（ステップＳ１１７）。指示情報は、例えば、表示部１０Ｋが、指示画像５２において自動走行できない可能性が高い箇所があることを報知するための情報である。これにより、ユーザは、この教師走行の後、自動走行できない可能性が高い箇所があることを知ることができる。つまり、ユーザは、自動走行を試行しなくても、自動走行できない可能性が高いことを知ることができる。なお、この指示情報は、音声で報知するようにしてもよい。音声で指示情報を報知する場合、ドライバＵ１は、表示部１０Ｋを見ることなく、自動走行できない可能性が高いことを知ることができる。これにより、ドライバＵ１が表示部１０Ｋ以外の箇所を見ている場合に、自動走行できない可能性が高いことを知ることができる。

次に、入力部１０Ｂは、教師走行の再試行の指示を入力されたか否かを判断する（ステップＳ１１９）。例えば、入力部１０Ｂは、表示部１０Ｋがタッチパネルである場合はこのタッチパネル上に表示された再試行ボタンであり、ユーザＵは、表示部１０Ｋにおいて再試行ボタンをタッチすることで、教師走行の再試行の指示を入力する。教師走行の再試行の指示が入力された場合（ステップＳ１１９：Ｙｅｓ）、上記ステップＳ１０１へ戻る。教師走行の再試行の指示が入力されなかった場合（ステップＳ１１９：Ｎｏ）、ステップＳ１２１へ進む。

ステップS１２１では、指示情報を報知してから（ステップＳ１１７）、所定時間が経過したか否かを判断する。所定時間は、例えば、５分間である。所定時間が経過したと判断した場合（ステップＳ１２１：Ｙｅｓ）、ステップＳ１２３へ進む。ステップＳ１２３では、ユーザに教師走行が正常に終わらなかったことを示す異常終了を報知し、本ルーチンを終了する。なお、ユーザに教師走行の終了を報知する際は、ステップＳ１１５とステップＳ１２３とで報知の仕方が異なるようにすればよい。所定時間が経過していないと判断した場合（ステップＳ１２１：Ｎｏ）、上記ステップＳ１１９へ戻る。

次に、移動体１０が実行する実施形態１における自動走行の情報処理の手順の一例を説明する。図８は、移動体１０が実行する実施形態１における自動走行の情報処理の手順の一例を示すフローチャートである。

まず、自動走行処理部２０Ａ２は、地図データ記憶部２０Ｂ３に保存された地図データと撮影された画像とをもとに初期位置推定を行う（ステップＳ２００）。推定された初期位置を自己位置とする（ステップＳ２０１）。次に、自動走行処理部２０Ａ２は、ステップＳ２０１で推定した自己位置から、自動走行を行う（ステップＳ２０３）。ステップＳ２０５では、自動走行処理部２０Ａ２が、移動体１０が目的地に到着したか否かを判断する（ステップＳ２０５）。移動体１０が目的地に到着していないと判断した場合（ステップＳ２０５：Ｎｏ）、上記ステップＳ２０１へ戻る。移動体１０が目的地に到着していないと判断した場合（ステップＳ２０５：Ｎｏ）、ステップＳ２０１からステップ２０５までの処理を繰り返し行う。繰り返し行うステップＳ２０１では、地図データ記憶部２０Ｂ３に保存された地図データと撮影された画像とをもとに自己位置推定を行う。また、ステップＳ２０５で、移動体１０が目的地に到着したと判断した場合（ステップＳ２０５：Ｙｅｓ）、本ルーチンを終了する。

このように、自動走行を実際に行わなくても、自動走行できない可能性が高いことをユーザが知ることができ、ユーザの利便性が向上する。

＜変形例１＞
図７における教師走行では、特徴点の数が所定数に対して不足する場合、ステップＳ１１７で自動走行できない可能性が高い箇所があることを報知する。しかし、ユーザが特徴点の数が所定数に対して不足している箇所を確認できないため、円滑に特徴点の数を補い、自動走行可能な状態にしたうえで教師走行を終了することができない可能性がある。そこで、ステップＳ１１７で、図６に示すような指示画像を用いて、特徴点の数が所定数に対して不足している箇所を、特徴物を設置すべき場所として報知するようにしてもよい。このようにすることで、ユーザは特徴物を設置すべき場所を知ることができる。ユーザは、特徴物を設置すべき場所を知ることができれば、特徴物をその場所へ設置することで、教師走行時には自動走行できない場所においても、自動走行可能な周囲環境を整備することができる。

＜変形例２＞
変形例１における教師走行では、特徴点の数が不足する場合、特徴点の数が所定数に対して不足している部分経路を、特徴物を設置すべき場所として報知するようにしたが、特徴物の代わりに位置マーカを設置すべき場所として報知するようにしてもよい。図９は、移動体１０が実行する変形例２における教師走行の情報処理の手順の一例を示すフローチャートである。以下に、図９に示す変形例２における教師走行の情報処理の手順を説明する。

まず、判定部２０Ｆが、予め定めた所定条件により部分経路を抽出する（ステップＳ３０１）。なお、所定条件は、例えば、撮影装置１０Ｄにより取得された時間的に連続する画像内に、同一とされる特徴点が所定数以上抽出され続けること、などである。次に、取得部２０Ｃが、ステップＳ３０１で抽出した部分経路の周辺画像４０を取得する（ステップＳ３０３）。

ステップS３０５では、抽出部２０Ｄが、ステップS３０３で取得した部分経路の周辺画像４０から、位置マーカを抽出したか否かを判断する（ステップＳ３０５）。つまり、ステップＳ３０３で取得した部分経路の周辺画像４０から、自己位置推定に用いる情報を抽出したか否かを判断する。部分経路の周辺画像４０から、位置マーカが抽出されなかった場合（ステップＳ３０５：Ｎｏ）、ステップＳ３１１へ進む。部分経路の周辺画像４０から、位置マーカが抽出された場合（ステップＳ３０５：Ｙｅｓ）、ステップＳ３０７へ進む。

ステップＳ３０７では、作成部２０Ｅは、ステップＳ３０７で抽出した位置マーカの位置情報を有する地図データを地図データ記憶部２０Ｂ３に記憶する（ステップＳ３０７）。２回目以降であれば、記憶されている地図データに、今回抽出した位置マーカの位置を追加する。

次に、判定部２０Ｆが、部分経路の位置マーカの数が自己位置を推定するために必要な所定数に対して不足しているか否かを判断する（ステップＳ３０９）。つまり、自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判断する。部分経路の位置マーカの数が自己位置を推定するために必要な所定数に対して不足していない場合、つまり、所定数より多い場合（ステップＳ３０９：Ｎｏ）、ステップＳ３１７へ進む。部分経路の位置マーカの数が自己位置を推定するために必要な所定数に対して不足している場合、つまり、所定数より少ない場合（ステップＳ３０９：Ｙｅｓ）、ステップＳ３１１へ進む。

ステップＳ３１１では、抽出部２０Ｄが、ステップＳ３０３で取得した部分経路の周辺画像４０から、特徴点を抽出する（ステップＳ３１１）。次に、作成部２０Ｅは、ステップＳ３１１で抽出した特徴点の位置情報を有する地図データを地図データ記憶部２０Ｂ３に追加する（ステップＳ３１３）。次に、ステップＳ３１５では、判定部２０Ｆが、部分経路の特徴点の数が所定数に対して不足しているか否か、つまり、所定数より少ないか否かを記憶する（ステップＳ３１５）。

ステップＳ３１７では、教師走行終了地点までの全ての部分経路の周辺画像４０に対して、ステップＳ３０１からステップＳ３１５までの処理を行ったか否かを判断する（ステップＳ３１７）。なお、教師走行終了地点に到達したことを認識する方法には、公知の方法を用いればよく、その方法は限定されない。例えば、入力部１０Ｂを介してユーザから教師走行終了の指示を受け付けることで、教師走行終了地点に到達したことを認識する。または、シフトレバーがパーキングレンジに入ったことによって、教師走行終了地点に到達したことを認識してもよい。

教師走行終了地点までの全ての部分経路について周辺画像４０を処理したと判断した場合（ステップＳ３１７：Ｙｅｓ）、ステップＳ３１９へ進む。教師走行終了地点までの全ての部分経路について周辺画像４０を処理していないと判断した場合（ステップＳ３１７：Ｎｏ）、上記ステップＳ３０１へ戻る。

ステップＳ３１９では、位置マーカが所定数に対して不足している部分経路の全てのうち、特徴点の数が所定数に対して不足している部分経路があるか否かを判断する（ステップＳ３１９）。位置マーカが所定数に対して不足している部分経路の全てのうち、特徴点の数が所定数に対して不足している部分経路がない場合（ステップＳ３１９：Ｎｏ）、ステップＳ３２１へ進む。ステップＳ３２１では、ユーザに教師走行の正常終了を報知し、本ルーチンを終了する。なお、ユーザに教師走行の終了を報知する際に、自動走行モードでの自動走行が可能であることとともに教師走行の終了を報知してもよい。位置マーカが所定数に対して不足している部分経路の全てのうち、特徴点の数が所定数に対して不足している部分経路がある場合、つまり、教師走行で走行した経路に、位置マーカの数および特徴点の数の何れも所定数に対して不足している部分経路が含まれる場合（ステップＳ３１９：Ｙｅｓ）、ステップＳ３２３へ進む。

ステップＳ３２３では、出力制御部２０Ｈが、指示情報を出力部１０Ａへ出力する（ステップＳ３２３）。指示情報は、例えば、表示部１０Ｋが、特徴物もしくは位置マーカの設置場所を報知するための情報である。

次に、入力部１０Ｂは、教師走行の再試行の指示が入力されたか否かを判断する（ステップＳ３２５）。例えば、入力部１０Ｂは、表示部１０Ｋがタッチパネルである場合はこのタッチパネル上に表示された再試行ボタンであり、ユーザＵは、表示部１０Ｋにおいて再試行ボタンをタッチすることで、教師走行の再試行の指示を入力する。教師走行の再試行の指示が入力された場合（ステップＳ３２５：Ｙｅｓ）、上記ステップＳ３０１へ戻る。教師走行の再試行の指示が入力されなかった場合（ステップＳ３２５：Ｎｏ）、ステップＳ３２７へ進む。

ステップＳ３２７では、指示情報を報知してから（ステップＳ３２３）、所定時間が経過したか否かを判断する。所定時間は、例えば、５分間である。所定時間が経過したと判断した場合（ステップＳ３２７：Ｙｅｓ）、ステップＳ３２９へ進む。ステップＳ３２９では、ユーザに教師走行が正常に終わらなかったことを示す異常終了を報知し、本ルーチンを終了する。なお、ユーザに教師走行の終了を報知する際は、ステップＳ３２１とステップＳ３２９とで報知の仕方が異なるようにすればよい。所定時間が経過していないと判断した場合（ステップＳ３２９：Ｎｏ）、上記ステップＳ３２５へ戻る。

次に、移動体１０が実行する変形例２における自動走行の情報処理の手順の一例を説明する。図１０は、移動体１０が実行する変形例２における自動走行の情報処理の手順の一例を示すフローチャートである。

まず、自動走行処理部２０Ａ２は、初期位置推定を行う（ステップＳ４０１）。次に、ステップＳ４０３では、自動走行処理部２０Ａ２は、移動体１０の周辺に位置マーカがあるか否かを判断する（ステップＳ４０３）。移動体１０の周辺に位置マーカがあると判断した場合（ステップＳ４０３：Ｙｅｓ）、ステップＳ４０５へ進む。ステップＳ４０５では、自動走行処理部２０Ａ２は、地図データ記憶部２０Ｂ３に保存された地図データから位置マーカの位置を特定する（ステップＳ４０５）。次に、ステップＳ４０７では、自動走行処理部２０Ａ２は、ステップＳ４０５で特定された位置マーカの位置から自己位置を推定する。（ステップＳ４０７）。

ステップＳ４０３で、移動体１０の周辺に位置マーカがないと判断した場合（ステップＳ４０３：Ｎｏ）、ステップＳ４０９へ進む。ステップＳ４０９では、自動走行処理部２０Ａ２は、地図データ記憶部２０Ｂ３に保存された地図データから特徴点の位置を特定する（ステップＳ４０９）。次に、ステップＳ４１１では、自動走行処理部２０Ａ２は、ステップＳ４０９で特定された特徴点の位置から自己位置を推定する。（ステップＳ４１１）。次に、自動走行処理部２０Ａ２は、ステップＳ４０７またはステップＳ４１１で推定した自己位置から、自動走行を行う（ステップＳ４１２）。

ステップＳ４１３では、自動走行処理部２０Ａ２は、目的地に到着したか否かを判断する（ステップＳ４１３）。目的地に到着していないと判断した場合（ステップＳ４１３：Ｎｏ）、上記ステップＳ４０１へ戻る。目的地に到着したと判断した場合（ステップＳ４１３：Ｙｅｓ）、本ルーチンを終了する。

以上説明したように、本実施の形態の情報処理装置２０は、抽出部２０Ｄと、判定部２０Ｆと、出力制御部２０Ｈと、を備える。抽出部２０Ｄは、移動体の周辺を撮影した情報である画像情報を受け取り、受け取った画像情報の特徴点を抽出する。判定部２０Ｆは、抽出部２０Ｄにより抽出された特徴点の数が所定数に対して不足しているか否かを判定する。出力制御部２０Ｈは、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足していない場合と異なる指示情報（指示画像５２）を出力する。

ここで、従来技術では、凹凸、色の変化、の何れもない物体に囲まれた場所等、車両周囲の環境の特徴が十分でない場所で、その周囲の地図データを作成するために車両を走行させる教師走行を行った場合、作成された地図データに含まれる特徴点の数が自己位置を推定するために必要な所定数に対して不足するため、自己位置推定ができない可能性が高い。しかしながら、従来技術では、実際に自動走行を行うまで、教師走行を行った場所で自動走行できない可能性が高いことをユーザが確認できなかった。

一方、本実施の形態の情報処理装置２０は、教師走行により、移動体の周辺の特徴点の数が所定数に対して不足している場合に、特徴点の数が所定数に対して不足していない場合と異なる指示画像５２を出力する。このため、情報処理装置２０は、判定部２０Ｆにより特徴点の数が所定数に対して不足していると判定された場合に、特徴点の数が所定数に対して不足していることを示す指示画像５２を出力することが出来る。例えば、ユーザＵが実際に自動走行を行うことなく、特徴点の数が所定数に対して不足している箇所を示す情報を出力することができる。

従って、本実施の形態の情報処理装置２０では、ユーザは、教師走行した場所で自動走行できない可能性が高いことを、自動走行を行うことなく確認することができる。また、特徴量を多く含む物体がどのようなものであるかユーザが判断することが難しい場合があるため、予め教師走行のために用意された位置マーカをユーザに提供し、ユーザが位置マーカを用いることにより、自動走行できない可能性が高い環境をより簡便な方法で自動走行ができる環境に変えることができる。

<実施形態２>
実施形態１では、自己位置推定に用いる情報の量は、特徴点の数を用いたが、実施形態２では、自己位置推定に用いる情報として、連続する画像情報から抽出された同一の特徴点を追跡する処理であるトラッキング処理により得られる情報を用い、自己位置推定に用いる情報の量は、このトラッキング処理の結果、トラッキングされた特徴点の数を用いる。以下、実施形態２について詳細に述べるが、実施形態１と同一の構成については、同一の符号を付して説明を省略する。

図１１は、実施形態２における移動体１０の機能的構成の一例を示すブロック図である。実施形態２では、マッチング処理部２０Ｊと、トラッキング処理部２０Ｋと、作成部２０Ｅが、実施形態１の図４の構成と異なる。

マッチング処理部２０Ｊは、特徴量の類似性を利用して、連続する画像から抽出された特徴点が同一であるか否かを判定する（以下、該処理をマッチング処理と称する。）。つまり、マッチング処理に用いられる画像のうち、過去の画像であるフレームＡに含まれる特徴点ａ１と、現在の画像であるフレームＢに含まれる特徴点ｂ１とが、同じ特徴点であるか否かを判定する。フレーム間における特徴点が同じであるか否かを判定する方法であるマッチング方法には、公知の方法を用いればよく、マッチング方法は限定されない。

トラッキング処理部２０Ｋは、マッチング処理においてマッチングされた特徴点に対しトラッキング処理を行う。トラッキング処理部２０Ｋは、フレームＡから抽出された特徴点ａ１がフレームＢにおいて推定された位置Xと、フレームＢから抽出された特徴点ｂ１の位置Ｙとの距離が所定値より小さいか否かを判定する（以下、該処理をトラッキング処理と称する。）。推定された位置Ｘと抽出された位置Yとの距離が所定値より小さい場合、特徴点はトラッキングされたとする。所定値は、例えば、５ピクセルである。なお、トラッキング方法には、公知の方法を用いればよく、トラッキング方法は限定されない。例えば、移動体１０の速度やタイヤ角などから撮影装置の移動量を推定することで、画像Ａにおける特徴点の位置から画像Ｂにおける特徴点の位置を推定することが可能である。特徴点の位置とは、例えば、画像上の座標である。トラッキングされた特徴点の数が所定数より多ければ、自己位置推定が成功する可能性が高い場所であると考えられる。

作成部２０Ｅは、トラッキングされた特徴点の位置情報を有する地図データを作成する。なお、作成部２０Ｅは、抽出部２０Ｄが抽出した特徴点の位置として、トラッキングされなかった特徴点を含めないようにしてもよい。

図１２は、移動体１０が実行する実施形態２における教師走行の情報処理の手順の一例を示すフローチャートである。

まず、取得部２０Ｃが撮影装置１０Ｄから周辺画像４０を取得する（ステップＳ５０１）。次に、抽出部２０Ｄが、ステップＳ５０１で取得した周辺画像４０から、特徴点を抽出する（ステップＳ５０３）。つまり、ステップＳ５０１で取得した周辺画像４０から、自己位置推定に用いる情報を抽出する。

ステップＳ５０５では、マッチング処理部２０Ｊが、現在の画像から抽出された特徴点と、現在の画像と連続する過去の画像から抽出された特徴点との間でマッチング処理を行う（ステップＳ５０５）。次に、トラッキング処理部２０Ｋが、ステップＳ５０５でマッチングされた特徴点についてトラッキング処理を行う（ステップＳ５０７）。

ステップＳ５０９では、作成部２０Ｅは、ステップＳ５０７でトラッキングされた特徴点の位置情報を有する地図データを作成し、地図データ記憶部２０Ｂ３に記憶する（ステップＳ５０９）。２回目以降のステップＳ５０９の処理では、既に記憶されている地図データに今回作成した地図データを追加する。

ステップＳ５１１では、判定部２０Ｆが、地図データにおいて、予め定めた所定条件により部分経路を抽出する（ステップＳ５１１）。なお、所定条件は、例えば、撮影装置１０Ｄにより取得された時間的に連続する画像内に、同一とされる特徴点が所定数以上抽出され続けること、などである。

次に、判定部２０Ｆが抽出された部分経路ごとに、特徴点の数が所定数に対して不足しているか否か、つまり所定数より少ないか多いかを記憶する（ステップＳ５１３）。

ステップＳ５１５では、入力部１０Ｂが、ユーザから教師走行終了の指示が入力されたか否かを判断する（ステップＳ５１５）。

次に、判定部２０Ｆが、部分経路ごとに、トラッキングされた特徴点の数が自己位置を推定するために必要な所定数に対して不足しているか否かを判断する（ステップＳ５１７）。つまり、自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判断する。各部分経路の何れも特徴点の数が所定数に対して不足していない場合、つまり、所定数より多い場合（ステップＳ５１７：Ｎｏ）、ステップＳ５１９へ進む。ステップＳ５１９では、ユーザに教師走行の正常終了を報知し、本ルーチンを終了する。なお、ユーザに教師走行の終了を報知する際に、自動走行モードでの自動走行が可能であることとともに教師走行の終了を報知してもよい。抽出された各経路の何れか１つ以上が、トラッキングされた特徴点の数が所定数に対して不足している場合、つまり、所定数より少ない場合（ステップＳ５１７：Ｙｅｓ）、ステップＳ５２１へ進む。

抽出された各経路の何れか１つ以上が、トラッキングされた特徴点の数が所定数に対して不足している場合、つまり、所定数より少ない場合（ステップＳ５１７：Ｙｅｓ）、出力制御部２０Ｈが、自動走行できない可能性が高い箇所があることを示す指示情報を出力部１０Ａへ出力する（ステップＳ５２１）。指示情報は、例えば、表示部１０Ｋが、指示画像５２において自動走行できないことを報知するための情報である。これにより、ユーザは、この教師走行の後、自動走行できないことを知ることができる。つまり、ユーザは、自動走行を試行しなくても、自動走行できないことを知ることができる。なお、この指示情報は、音声で報知するようにしてもよい。音声で指示情報を報知する場合、ドライバＵ１は、表示部１０Ｋを見ることなく、自動走行できないことを知ることができる。これにより、ドライバＵ１が表示部１０Ｋ以外の箇所を見ている場合に、自動走行ができないことを知ることができる。

次に、入力部１０Ｂは、教師走行の再試行の指示を入力されたか否かを判断する（ステップＳ５２３）。例えば、入力部１０Ｂは、表示部１０Ｋがタッチパネルである場合はこのタッチパネル上に表示された再試行ボタンであり、ユーザＵは、表示部１０Ｋにおいて再試行ボタンをタッチすることで、教師走行の再試行の指示を入力する。教師走行の再試行の指示が入力された場合（ステップＳ５２３：Ｙｅｓ）、上記ステップＳ５０１へ戻る。教師走行の再試行の指示が入力されなかった場合（ステップＳ５２３：Ｎｏ）、ステップＳ５２５へ進む。

ステップＳ５２５では、指示情報を報知してから（ステップＳ５２１）、所定時間が経過したか否かを判断する。所定時間は、例えば、５分間である。所定時間が経過したと判断した場合（ステップＳ５２５：Ｙｅｓ）、本ルーチンを終了する。所定時間が経過していないと判断した場合（ステップＳ５２５：Ｎｏ）、上記ステップＳ５２３へ戻る。

次に、移動体１０が実行する実施形態２における自動走行の情報処理の手順の一例を説明する。図１３は、移動体１０が実行する実施形態２における自動走行の情報処理の手順の一例を示すフローチャートである。

まず、自動走行処理部２０Ａ２は、地図データ記憶部２０Ｂ３に保存された地図データと撮影された画像とをもとに自己位置推定を行う（ステップＳ６０１）。次に、自動走行処理部２０Ａ２は、ステップＳ６０１で推定した自己位置から、自動走行を行う（ステップＳ６０３）。ステップＳ６０５では、自動走行処理部２０Ａ２が、移動体１０が目的地に到着したか否かを判断する。（ステップＳ６０５）。移動体１０が目的地に到着していないと判断した場合（ステップＳ６０５：Ｎｏ）、上記ステップＳ６０１へ戻る。移動体１０が目的地に到着したと判断した場合（ステップＳ６０５：Ｙｅｓ）、本ルーチンを終了する。

このように、自動走行を実際に行わなくても、自動走行できない可能性が高いことをユーザが知ることができる。

＜その他の実施形態＞
変形例１では、特徴点の数が所定数に対して不足している部分経路を、特徴物を設置すべき場所として報知するようにし、変形例２では、特徴物の代わりに位置マーカを設置すべき場所として報知するようにしたが、特徴点の数が所定数に対して不足している部分経路を、特徴物または位置マーカ、若しくは、特徴物および位置マーカの両方を設置すべき場所として報知するようにしてもよい。これにより、設置する物体の自由度が高まり、ユーザの利便性をさらに向上させることができる。

また、本実施の形態では、情報処理装置２０を、移動体１０に搭載した形態を一例として説明した。しかし、情報処理装置２０を、移動体１０の外部に搭載した構成としてもよい。この場合、情報処理装置２０は、移動体１０に搭載された内界センサ１０Ｃなどの電子機器の各々と、ネットワークを介して通信可能な構成とすればよい。

なお、上述した実施の形態における、上記情報処理を実行するためのプログラムは、上記複数の機能部の各々を含むモジュール構成となっており、実際のハードウェアとしては、例えば、ＣＰＵ（プロセッサ回路）がＲＯＭまたはＨＤＤから情報処理プログラムを読み出して実行することにより、上述した複数の機能部の各々がＲＡＭ（主記憶）上にロードされ、上述した複数の機能部の各々がＲＡＭ（主記憶）上に生成されるようになっている。なお、上述した複数の機能部の各々の一部または全部を、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの専用のハードウェアを用いて実現することも可能である。

なお、上記には、実施の形態を説明したが、上記実施の形態は、例として提示したものであり、本開示の範囲を限定することは意図していない。上記新規な実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。上記実施の形態は、本開示の範囲または要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 移動体
１０Ａ 出力部
１０Ｂ 入力部
１０Ｃ 内界センサ
１０Ｄ 撮影装置
１０Ｆ 駆動制御部
１０Ｇ 駆動部
１０Ｈ 通信部
１０Ｉ スピーカ
１０Ｊ 照明部
１０Ｋ 表示部
１０Ｌ バス
１１Ａ ＣＰＵ
１１Ｂ ＲＯＭ
１１Ｃ ＲＡＭ
１１Ｄ Ｉ／Ｆ
１１Ｅ バス
２０ 情報処理装置
２０Ａ 処理部
２０Ａ１ 教師走行処理部
２０Ａ２ 自動走行処理部
２０Ｂ 記憶部
２０Ｂ１ 教師走行プログラム
２０Ｂ２ 自動走行プログラム
２０Ｂ３ 地図データ記憶部
２０Ｃ 取得部
２０Ｄ 抽出部
２０Ｅ 作成部
２０Ｆ 判定部
２０Ｇ 特定部
２０Ｈ 出力制御部
２０Ｉ 受付部
２０Ｊ マッチング処理部
２０Ｋ トラッキング処理部

Claims (14)

1. ユーザが手動で車両を教師走行した際の走行経路を示す走行経路データに基づき、自動走行を行う情報処理装置において、
   前記教師走行の際に、移動体の周辺を撮影した情報である画像情報を受け取り、受け取った前記画像情報から得られる自己位置推定に用いる情報を抽出する抽出部と、
   前記走行経路において、前記抽出部により抽出された前記自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判定する判定部と、
   前記判定部により前記自己位置推定に用いる情報の量が前記所定値に対して不足していると判定された場合に、前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合と異なる指示情報を出力部に出力する出力制御部と、
   を備え、
   前記教師走行の開始位置は前記自動走行の開始位置であり、
   前記教師走行の開始位置は前記自動走行における前記ユーザの降車位置であり、
   前記出力制御部は、前記判定部により前記自己位置推定に用いる情報の量が前記所定値に対して不足していないと判定された場合、前記ユーザに教師走行の正常終了を報知し、
   前記指示情報は、前記走行経路データに基づく前記自動走行を行うよりも前に出力される、
   情報処理装置。
2. 前記指示情報は、前記判定部により前記自己位置推定に用いる情報の量が前記所定値に対して不足していると判定された場合に、前記自己位置推定に用いる情報の量が前記所定値に対して不足していることを示す情報である、
   請求項１に記載の情報処理装置。
3. 前記指示情報は、前記判定部により前記自己位置推定に用いる情報の量が前記所定値に対して不足していないと判定された場合に、前記自己位置推定に用いる情報の量が前記所定値に対して不足していないことを示す情報である、
   請求項１に記載の情報処理装置。
4. 前記抽出部により抽出された前記自己位置推定に用いられる情報から地図データを作成する作成部をさらに備え、
   前記指示情報は、前記判定部により前記自己位置推定に用いる情報の量が前記所定値に対して不足していると判定された場合に、前記地図データのうち前記自己位置推定に用いる情報の量が前記所定値に対して不足している箇所を示す情報である、
   請求項１または請求項２に記載の情報処理装置。
5. 前記指示情報は、前記自己位置推定に用いる情報の量が前記所定値に対して不足している箇所に対応して、前記自己位置推定に用いる情報の量を多く含む物体を用いて、前記自己位置推定に用いる情報を前記地図データに追加するように前記物体を設置する場所を報知する情報である、
   請求項４に記載の情報処理装置。
6. 前記指示情報は、前記自己位置推定に用いる情報の量が前記所定値に対して不足している箇所に対応して、位置マーカなどの予め記憶されたランドマークを用いて、前記自己位置推定に用いる情報を前記地図データに追加するように前記ランドマークを設置する場所を報知する情報である、
   請求項４または請求項５に記載の情報処理装置。
7. 前記出力制御部は、
   前記判定部で判定された前記自己位置推定に用いる情報の量が前記所定値に対して不足している場合、前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合と異なる情報を示す指示音声を、前記指示情報として出力する、
   請求項１または請求項２に記載の情報処理装置。
8. 前記出力制御部は、
   前記判定部で判定された前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合、前記自己位置推定に用いる情報の量が前記所定値に対して不足していないことを示す指示音声を、前記指示情報として出力する、
   請求項３に記載の情報処理装置。
9. 前記出力制御部は、
   前記判定部で判定された前記自己位置推定に用いる情報の量が前記所定値に対して不足している場合、前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合と異なる情報を示す指示画像を、前記指示情報として出力する、
   請求項１，２，４，５，６，７の何れか１項に記載の情報処理装置。
10. 前記出力制御部は、
    前記判定部で判定された前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合、前記自己位置推定に用いる情報の量が前記所定値に対して不足していないことを示す指示画像を、前記指示情報として出力する、
    請求項３または請求項８に記載の情報処理装置。
11. 前記自己位置推定に用いる情報の量は、特徴点の数で表される、
    請求項１乃至請求項１０の何れか１項に記載の情報処理装置。
12. 前記特徴点は、物体のコーナー部である、
    請求項１１に記載の情報処理装置。
13. 前記自己位置推定に用いる情報は、連続する前記画像情報から抽出された同一の特徴点を追跡する処理であるトラッキング処理により得られる情報であり、
    前記自己位置推定に用いる情報の量は、前記トラッキング処理の結果、トラッキングされた特徴点の数で表される、
    請求項１乃至請求項１２の何れか１項に記載の情報処理装置。
14. ユーザが手動で車両を教師走行した際の走行経路を示す走行経路データに基づき、自動走行を行う情報処理方法において、
    前記教師走行の際に、抽出部が、移動体の周辺を撮影した情報である画像情報を受け取り、受け取った前記画像情報から得られる自己位置推定に用いる情報を抽出するステップと、
    前記走行経路において、判定部が、前記抽出部により抽出された、移動体の周辺の自己位置推定に用いる情報の量が所定値に対して不足しているか否かを判定するステップと、
    判定された前記自己位置推定に用いる情報の量が前記所定値に対して不足している場合に、前記自己位置推定に用いる情報の量が前記所定値に対して不足していない場合と異なる指示情報を、出力制御部が出力部に出力するステップと、
    を含み、
    前記教師走行の開始位置は前記自動走行の開始位置であり、
    前記教師走行の開始位置は前記自動走行における前記ユーザの降車位置であり、
    前記出力制御部は、前記自己位置推定に用いる情報の量が前記所定値に対して不足していないと判定された場合、前記ユーザに教師走行の正常終了を報知し、
    前記指示情報は、前記走行経路データに基づく前記自動走行を行うよりも前に出力される、
    情報処理方法。

Images