JP4672190B2 - 映像ナビゲーション装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、車載情報端末や携帯情報端末を用いて道順案内などの指示情報を映像によりドライバーや歩行者に提供する映像ナビゲーション装置に関するものである。
【０００２】
【従来の技術】
従来の映像ナビゲーション装置の例としては、例えば特開平９−３３２７１号公報（以下、公報１という）に開示されたナビゲーション装置や特開平１１−１０８６８４号公報（以下、公報２という）に開示されたカーナビゲーションシステムが知られている。これら公報１、２の映像ナビゲーション装置に共通する原理を図２３に示す。
【０００３】
図２３において、位置・角度センサー１は、カメラ２の位置および角度を検知するためのものである。位置センサーとしては例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）衛星を用いて現在位置を知るセンサーがある。また、角度センサーとしては、磁気を利用したものやジャイロの原理を利用したもの、またはそれらを組み合わせたものなどがある。
【０００４】
この位置・角度センサー１によって検知されたカメラ２の位置を示す位置情報および角度を示す角度情報は、位置・角度情報記憶手段３に記憶される。カメラ２は、車両に搭載され当該車両前方の情景を画像情報として取り込んで、情景画像記憶手段４に記憶する。利用者に対して提供すべき進行方向などの指示情報（例えば矢印や記号、文字などの情報）は、機械的または人為的に生成され、指示情報記憶手段５に記憶される。指示画像生成手段６は、位置・角度情報記憶手段３に記憶されている位置情報及び角度情報を指示情報記憶手段５に記憶されている指示情報に基づいて加工すると共に、この加工処理した結果と情景画像記憶手段４に記憶されている情景画像データとを合成した上で表示装置７に表示する。
【０００５】
以上のような原理により、実際の情景に矢印や記号、文字を埋め込んだ映像を用いて利用者を目標地へ誘導することができる。
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の映像ナビゲーション装置では、位置・角度センサー１すなわち位置センサーに加えて角度センサーを装備する必要があり、このため装置が大きく、また重くなってしまうという問題があった。特に、携帯電話や携帯情報端末を用いて映像ナビゲーションを行う場合は、利用者が簡単に持ち歩けるように装置を小型軽量化する必要があるが、位置・角度センサー１を装備し、かつ携帯に適した小型軽量の装置を得ることが難しいという問題があった。
【０００７】
また、例えば位置センサーとしてＧＰＳを利用した場合は、トンネルや建物の影などＧＰＳ衛星の電波の届かない位置においては正確な位置を知ることができないという問題がある。そのため、位置・角度センサー１にこのような誤差が生じる場合は、その誤差に応じて指示画像生成手段６によって実際の情景に埋め込む矢印や記号、文字の位置にずれが生じることとなり、よって利用者を誤った方向に誘導してしまう恐れがあるという問題があった。
【０００８】
ところで、カメラの現在の位置を正確に知りたいという課題に対しては、例えば特開平９−１５２３４８号公報（以下、公報３という）に開示されたカーナビゲーション装置が知られている。この公報３には、予め用意した画像とカメラで撮像した画像（カメラ画像）とを比較し、この比較した結果に基づいてＧＰＳ等を用いた測位結果の誤差を補正する方法が開示されている。この方法は、信号機や道路標識などの予め登録した特定のパターン（一般にテンプレートと呼ばれる）をカメラ画像と照合して、カメラの位置を推定しようとするものである。すなわち、先ずパターンマッチングによりカメラ画像の中からテンプレートに合致する部分画像を見つけ出す。次に、テンプレートに合致する部分が見つかったら当該部分画像の大きさに基づき、カメラから信号機や道路標識までの距離を推定する。一般的に信号機や道路標識は交差点に設置されるものであるという知識を使えば、交差点の位置に関する情報に基づきカメラの位置を推定することができる。
【０００９】
しかしながら、上記公報３に開示された測位結果の誤差を補正する方法では、以下のような問題が発生する。すなわち、信号機や道路標識のように形状がほぼ固定した目印になる対象物が存在する地点においては、この対象物を目印にカメラ位置を推定することができるものの、信号機や道路標識のように形状が固定した対象物を予め目印として設定できない地点では、カメラ位置を推定することができない。
【００１０】
また、上述した測位結果の誤差を補正する方法では、時々刻々変化するカメラ画像の中から予め設定された複数のテンプレートに合致する部分画像を探索する必要がある。しかし、パターンマッチングの処理は探索範囲が広くなると処理量が増え、かつ精度が低下するという傾向があるため、上述した測位結果の誤差を補正する方法では、パターンマッチングを短時間に、しかも精度良く処理することが難しいという問題があった。
【００１１】
この発明は上記に鑑みてなされたもので、角度センサーまたは位置センサーの一方のセンサーからの情報のみを用いて、または位置及び角度センサーからの誤差を含んだ情報を用いて、短時間に精度良くカメラの位置情報および角度情報を推定することにより、実際の情景に的確に矢印や記号、文字などの指示情報を埋め込んで利用者を誘導することができる映像ナビゲーション装置を得ることを第１の目的としている。
【００１２】
次に、上記公報１、２に記載された映像ナビゲーション装置を含む従来の映像ナビゲーション装置をフォークリフトやクレーン車、ブルドーザなどの作業車に搭載し、ドライバーに作業手順の指示を行う場合を考える。これらの作業車は所定の区域内で作業するのが通常であるから同じ地点を繰り返し通過することが多い。ところが、上記従来の映像ナビゲーション装置では、矢印などの指示情報を予め特定の地点に対応づけておくようになっているため、たとえば同じ地点Ａにおいて、１回目は左折し、２回目は右折するなどの手順の場合、地点Ａには左折の矢印と右折の矢印が両方表示されてしまい、的確な誘導ができない、という問題がある。
【００１３】
この発明は上記に鑑みてなされたもので、一連の作業手順を、その順を追って指示することができる映像ナビゲーション装置を得ることを第２の目的としている。
【００１４】
【課題を解決するための手段】
上記第１の目的を達成するためこの発明にかかる映像ナビゲーション装置は、情景を撮像する撮像手段と、該撮像手段の位置および角度を推定する推定手段と、該推定手段によって推定された撮像手段の位置および角度の推定値に対応して推定画像を生成する推定画像生成手段と、該推定画像生成手段によって生成された推定画像と前記撮像手段によって撮像された情景画像とを照合すると共に、この照合した結果に応じて前記推定手段によって推定された推定値を補正する照合手段と、該照合手段による補正処理された後の前記撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき予め指示される指示情報を加工して指示画像を生成する指示画像生成手段と、該指示画像生成手段によって生成された指示画像を表示する表示手段と、を備えたことを特徴とする。
【００１５】
この発明によれば、推定画像生成手段が、推定手段によって推定された撮像手段の位置および角度の推定値に対応して推定画像を生成し、また、照合手段が、この推定画像と撮像手段によって撮像された情景画像とを照合すると共に、この照合した結果に応じて推定手段によって推定された推定値を補正し、さらに、指示画像生成手段が、前記補正処理された後の撮像手段の位置を示す位置情報および角度を示す角度情報に基づき予め指示される指示情報を加工して指示画像を生成する。
【００１６】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記指示画像生成手段は、前記位置情報および角度情報に基づき前記指示情報を加工し、この加工した結果と前記撮像手段により撮像された情景画像または前記推定画像生成手段により生成された推定画像のいずれかの画像とを合成して指示画像を生成することを特徴とする。
【００１７】
この発明によれば、指示画像生成手段が、位置情報および角度情報に基づき指示情報を加工し、この加工した結果と情景画像または推定画像のいずれかの画像とを合成して指示画像を生成する。
【００１８】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記推定手段は、現在までの撮像手段の位置および角度の情報の履歴をもとに現在の撮像手段の位置および角度を推定することを特徴とする。
【００１９】
この発明によれば、推定手段が、現在までの撮像手段の位置および角度の情報の履歴をもとに現在の撮像手段の位置および角度を推定する。
【００２０】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記推定画像生成手段は、予め設定される空間情報に基づき、前記撮像手段の位置および角度の推定値に対応した推定画像を生成することを特徴とする。
【００２１】
この発明によれば、推定画像生成手段が、空間情報に基づき、撮像手段の位置および角度の推定値に対応した推定画像を生成する。
【００２２】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記推定画像生成手段は、前記撮像手段の位置および角度の推定値に対応した実写画像を推定画像として生成することを特徴とする。
【００２３】
この発明によれば、推定画像生成手段が、撮像手段の位置および角度の推定値に対応した実写画像を推定画像として生成する。
【００２４】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記推定手段は、前記指示情報に基づき次に利用者が目標とすべき位置を推定値とすることを特徴とする。
【００２５】
この発明によれば、推定手段は、指示情報に基づき次に利用者が目標とすべき位置を推定値とする。
【００２６】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記撮像手段に対して、前記指示情報に基づき決定される所定の角度を維持するように制御する制御手段を更に備えたことを特徴とする。
【００２７】
この発明によれば、制御手段が、撮像手段に対して、指示情報に基づき決定される所定の角度を維持するように制御する。
【００２８】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、 前記照合手段は、前記情景画像と前記推定画像との合致度または当該合致度の変化を示す情報を利用者に報知することを特徴とする。
【００２９】
この発明によれば、照合手段が、情景画像と推定画像との合致度または当該合致度の変化を示す情報を利用者に報知する。
【００３０】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記撮像手段の位置および角度を示す情報の系列を記憶する第１の記憶手段と、前記情景画像の系列を記憶する第２の記憶手段と、を更に備え、前記照合手段は、前記第１の記憶手段に記憶されている撮像手段の位置および角度を示す情報の系列が所定の条件を満たさない場合は、前記第１及び第２の記憶手段の記憶内容に基づいて、当該系列をさかのぼって推定画像と情景画像との照合をやり直すことを特徴とする。
【００３１】
この発明によれば、照合手段は、第１の記憶手段に記憶されている撮像手段の位置および角度を示す情報の系列が所定の条件を満たさない場合は、第１及び第２の記憶手段の記憶内容に基づいて、当該系列をさかのぼって推定画像と情景画像との照合をやり直す。
【００３２】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記指示画像生成手段は、前記撮像手段と前記指示情報に対応する位置との間の距離および前記撮像手段と前記指示情報に対応する位置とを結ぶ直線の方向と当該撮像手段の視線方向との成す角の角度、または前記撮像手段、前記指示情報に対応する位置および空間上の構成物の位置関係に基づき指示情報を取捨選択し、この取捨選択した指示情報を加工して指示画像を生成することを特徴とする。
【００３３】
この発明によれば、指示画像生成手段が、撮像手段と指示情報に対応する位置との間の距離および撮像手段と指示情報に対応する位置とを結ぶ直線の方向と当該撮像手段の視線方向との成す角の角度、または撮像手段、指示情報に対応する位置および空間上の構成物の位置関係に基づき指示情報を取捨選択し、この取捨選択した指示情報を加工して指示画像を生成する。
【００３４】
次に上記第２の目的を達成するためこの発明にかかる映像ナビゲーション装置は、情景を撮像する撮像手段と、該撮像手段の位置および角度を推定する推定手段と、予め設定される作業手順を示す作業手順情報と当該作業手順に基づいて実施される作業の進行状況を示す進行状況情報とに基づき指示情報を生成する指示情報生成手段と、前記推定手段によって推定された前記撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき前記指示情報生成手段によって生成された指示情報を加工して指示画像を生成する指示画像生成手段と、該指示画像生成手段によって生成された指示画像を表示する表示手段と、を備えたことを特徴とする。
【００３５】
この発明によれば、指示情報生成手段が、作業手順情報と進行状況情報とに基づき指示情報を生成すると、指示画像生成手段が、推定手段によって推定された撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき、指示情報生成手段によって生成された指示情報を加工して指示画像を生成する。
【００３６】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、前記作業手順情報と前記推定手段によって推定された前記位置情報または角度情報の推定値とに基づき、作業の進行状況を判断し、この判断した結果を記憶する進行状況記憶手段を更に備えたことを特徴とする。
【００３７】
この発明によれば、進行状況記憶手段は、作業手順情報と位置または角度の推定値とに基づき、作業の進行状況を判断し、この判断した結果を記憶する。
【００３８】
つぎの発明にかかる映像ナビゲーション装置は、上記の発明において、作業する車両に搭載されると共に、前記作業手順情報と現在の前記車両の状態とに基づき、作業の進行状況を判断し、この判断した結果を記憶する進行状況記憶手段を更に備えたことを特徴とする。
【００３９】
この発明によれば、進行状況記憶手段は、作業手順情報と現在の車両の状態とに基づき、作業の進行状況を判断し、この判断した結果を記憶する。
【００４０】
【発明の実施の形態】
以下に添付図面を参照して、この発明にかかる映像ナビゲーション装置の好適な実施の形態を詳細に説明する。
【００４１】
実施の形態１.
図１は、本発明の映像ナビゲーション装置の構成図を示したものであり、図２は、本発明の映像ナビゲーション装置を自動車に組み込む場合の形態での当該映像ナビゲーション装置の外観図を示している。
【００４２】
図２において、映像ナビゲーション装置は、例えば可視カメラであるカメラ１０と装置本体２０と表示装置３０とから構成されている。
【００４３】
カメラ１０は、車両の屋根の上または車内のフロントガラス付近など、ドライバーの視野に近い情景が得られるように設置されると共に、ケーブル４１により装置本体２０と接続される。カメラ１０の出力である映像信号は例えばＮＴＳＣと呼ばれる形式によりケーブル４１を経て装置本体２０に伝えられる。
【００４４】
装置本体２０は、ＣＰＵ（中央処理装置）と記憶装置とを含むコンピュータにより構成され、詳細については後述するが、情景画像に的確に指示情報を埋め込んだ指示画像の生成処理を実行する。なお、装置本体２０には図示しないデータ入出力インタフェースが備えられている。
【００４５】
表示装置３０は、液晶ディスプレイなどにより実現され車内のドライバーから見やすい位置に設置され、装置本体２０とはケーブル４２で接続される。
【００４６】
さて、図１に示すように、位置センサー及び／又は角度センサー（以下、位置・角度センサーという）４０を、図示しないケーブルを介して装置本体２０の図示しないデータ入出力インタフェースに接続することができる。この図示しないデータ入出力インタフェースには、位置・角度センサー４０として、位置センサーと角度センサーの両方を接続するようにしても良いし、位置センサーまたは角度センサーのいずれか１つを接続するようにしても良い。この実施形態では、位置・角度センサー４０として、ＧＰＳを用いた位置センサーのみを接続し、角度センサーは接続しないものとする。
【００４７】
図１において、装置本体２０は、カメラ１０により撮像された情景画像を記憶する情景画像記憶手段２１と、空間情報を記憶する空間情報記憶手段２２と、指示情報を記憶する指示情報記憶手段２３と、カメラ１０の位置および角度を推定する位置・角度情報推定手段（特許請求の範囲の推定手段に対応する）２４と、カメラ１０の位置および角度の推定値を記憶する位置・角度情報記憶手段（特許請求の範囲の推定値記憶手段に対応する）２５と、カメラ１０の位置・角度の推定値に対応して推定画像を生成する推定画像生成手段２６と、推定画像生成手段２６によって生成された推定画像を記憶する推定画像記憶手段２７と、推定画像記憶手段２７に記憶されている推定画像と情景画像記憶手段２１に記憶されている情景画像とを照合すると共に、この照合した結果に応じて位置・角度情報記憶手段２５に記憶されている位置情報および角度情報を補正する照合手段２８と、位置・角度情報記憶手段２５に記憶されている補正後の位置情報および角度情報に基づき指示情報記憶手段２３に記憶されている指示情報を加工して指示画像を生成する指示画像生成手段２９とから構成されている。
【００４８】
情景画像記憶手段２１は、装置本体２０に拡張ボードとして挿入されたフレームグラバ（図示せず）により実現される。このフレームグラバはカメラ１０からの映像信号をディジタル形式の画像データに変換して記憶する機能を持ったものである。
【００４９】
また、空間情報記憶手段２２、指示情報記憶手段２３、位置・角度情報推定手段２４、位置・角度情報記憶手段２５、推定画像生成手段２６、推定画像記憶手段２７、照合手段２８および指示画像生成手段２９の各々は、それぞれの上述した処理又は機能を遂行するための、上記コンピュータで動作するソフトウェア（プログラム）を、上記ＣＰＵが上記記憶装置から読み出して実行することにより実現される。
【００５０】
次に、かかる映像ナビゲーション装置の処理動作について、図３を参照して説明する。
【００５１】
映像ナビゲーション装置では、空間情報記憶手段２２への空間情報の設定が行われ（ステップＳ１１０）、また、指示情報記憶手段２３への指示情報の設定が行われると（ステップＳ１２０）、位置・角度情報推定手段２４は、位置・角度センサー４０からのセンサー情報を基にカメラ１０の位置および角度の推定値を決定して、これらの情報を位置・角度情報記憶手段２５に記憶する（ステップＳ１３０）。
【００５２】
次に、推定画像生成手段２６は、空間情報記憶手段２２に記憶されている空間情報と、位置・角度情報記憶手段２５に記憶されているカメラ１０の位置および角度の推定値とに基づいて推定画像を生成して、推定画像記憶手段２７に記憶する（ステップＳ１４０）。
【００５３】
次いで、情景画像記憶手段２１すなわちフレームグラバが、カメラ１０から入力した映像信号を取り込み記憶すると（ステップＳ１５０）、照合手段２８は、推定画像記憶手段２７に記憶されている推定画像と情景画像記憶手段２１に記憶されている情景画像とを照合して、位置・角度情報の推定値が正しいかどうかを検証し（ステップＳ１６０）、この検証の結果、位置情報および角度情報の推定値に誤差があると判定した場合には、位置・角度情報記憶手段２５に記憶されている位置・角度情報の補正を行う（ステップＳ１７０）。
【００５４】
そして、指示画像生成手段２９は、位置・角度情報記憶手段２５に記憶されている補正後の位置情報および角度情報に基づき指示情報記憶手段２３に記憶されている指示情報を加工すると共に、この加工された指示画像を情景画像記憶手段２１に記憶されている情景画像に埋め込むことにより指示画像を生成し、その後、この指示画像を表示装置３０に表示する（ステップＳ１８０）。
【００５５】
次に、上述した映像ナビゲーション装置の処理動作を示す処理手順の各処理内容について詳細に説明する。
【００５６】
（１）空間情報の設定（ステップＳ１１０の処理）
空間情報記憶手段２２には、予め車両が走行する空間をモデル化して記憶しておく。これは３次元コンピュータグラフィックスの分野で知られている手法を用いる。すなわち、空間上の建物などの各構成物を多面体で近似し、多面体を構成する各多角形を各頂点の座標列により記述する。
【００５７】
図４に街区の情報を空間情報として記述した例を示す。この例では、図４（ａ）に示すように各街区の周囲を多角形で記述し、図４（ｂ）に示すように、図４（ａ）に示される多角形の各頂点の座標を多角形の辺をたどって順番に並べることにより、その街区の位置を示している。同じ要領で建物の壁面なども頂点の座標列により記述することができる。
【００５８】
（２）指示情報の設定（ステップＳ１２０の処理）
指示情報は、利用者に伝えるべき道順情報であり、進行方向を指示する矢印や目印となる建物の案内情報などが指示情報の例となる。このような指示情報は指示情報記憶手段２３に予め記憶される。
【００５９】
図５（ａ）に指示情報の一例を示す。この例では、交差点における進行経路がＡ→Ｂ→Ｃの順番になるように設定されている。この進行経路を指示するための情報として、図５（ａ）に示すように、例えば点Ａ、点Ｂ、点Ｃなどの点情報（ポイント情報）と経路情報とからなる情報が設定されている。ここで、点情報は各点の位置情報（座標情報）を含み、また、経路情報は各点を順番（この例ではＡ、Ｂ、Ｃの順番）に繋いだリストにより表現される。
【００６０】
このような指示情報は、地図情報を利用することにより、例えば利用者の目的地の情報に基づき機械的に生成することができる。
【００６１】
ここで、図５（ａ）に示した指示情報を地図に重ねて示した様子を図５（ｂ）に示す。この図５（ｂ）において３つの記号△はそれぞれＡ、Ｂ、Ｃの各点の位置を示している。
【００６２】
（３）位置・角度情報の推定（ステップＳ１３０の処理）
位置・角度情報推定手段２４は、図６に示すように、カメラ１０の現在の位置を示す座標（ｘ，ｙ，ｚ）及びカメラ１０の現在の角度を示す３つの角度α、β、γについて周期的に推定を行い、位置・角度情報記憶手段２５に記憶する。
【００６３】
ここで、（ｘ，ｙ，ｚ）は、図７（ａ）に示すように所定の基準点を原点とした３次元の座標系（世界座標系と呼ばれる）における座標を示し、α、β、γは、図７（ｂ）に示すように、それぞれカメラ１０のパン（pan）、チルト（tilt）、ローテート（rotate）に対応した角度を示している。
【００６４】
カメラ１０の現在の位置は、外部に接続した位置・角度センサー４０としてのＧＰＳ位置センサーの出力を周期的に取り込むことにより検知して推定する。ただし、カメラ１０の高さｙの値は、車両に取り付けた場合はほぼ固定されるので、予め固定値を設定しておいても良い。最新の位置センサーのデータが得られない場合は、直近のいくつかのデータを基に現在の位置を推定する。
【００６５】
カメラ１０の角度は、直近のいくつかのデータを基に現在の角度を推定する。ここでは、１秒周期で処理を繰り返すものとし、１秒前の角度情報をそのまま推定値として利用するものとする。この場合、最初の角度情報を何らかの方法で設定する必要があるが、例えば、位置情報の変化に基づいて車両の進行方向を推定し、それに基づきカメラの角度の推定値を決定する方法がある。すなわち、時刻ｔにおける位置がＸｔ、時刻ｔ’における位置がＸｔ’であるとした場合には、（Ｘｔ’−Ｘｔ）をカメラ１０の角度の推定値として設定すれば良い。
【００６６】
位置・角度情報推定手段２４は、以上のようにしてカメラの位置・角度情報の推定値を決定する。
【００６７】
（４）推定画像の生成（ステップＳ１４０の処理）
図７（ａ）に示される、世界座標系における点（ｘ，ｙ，ｚ）と、これに対応する情景画像における点（ｕ，ｖ）との間には、図７（ｃ）に示す関係の式が成立することが知られている。
【００６８】
ここで、行列Ｒは回転行列と呼ばれるカメラの角度α、β、γによって決定される３×３行列である。カメラ定数ｆはカメラ固有の値であり予め測定して設定しておくことができる。
【００６９】
従って、得られたカメラ１０の位置および角度の推定値を利用すれば、与えられた３次元空間における座標（ｘ，ｙ，ｚ）に対して情景画像中の座標（ｕ，ｖ）を決定することができる。
【００７０】
推定画像生成手段２６では、上述した原理を予め設定された空間情報の各構成要素に適用することで推定画像を生成することができるので、このようにして生成した推定画像を推定画像記憶手段２７に記憶する。
【００７１】
（５）情景画像の取り込み（ステップＳ１５０の処理）
装置本体２０に拡張ボードとして挿入されたフレームグラバ（情景画像記憶手段２１）では、例えば１秒間に１回など所定の周期でカメラ１０から入力した映像信号を取り込み記憶する。
【００７２】
（６）情景画像と推定画像との照合（ステップＳ１６０の処理）
次に、照合手段２８は、上記推定画像と上記情景画像とを照合して位置情報および角度情報の推定値が正しいかどうかを検証する。照合手段２８による検証処理に際しては、図８に示す処理手順が実行される。
【００７３】
すなわち、まず、推定画像において照合のための窓を定義する（ステップＳ１６１）。この窓は、空間情報において、頂点として定義されている点、すなわち道路の角や建物の角に対応する点毎にこの点を中心とした小さな領域により定義する。
【００７４】
次に、情景画像において、探索領域を定義する（ステップＳ１６２）。上記ステップＳ１６１において定義した１つの窓の中心を（ｕ０，ｖ０）とすると、これに対応する情景画像側の同じ位置（ｕ０，ｖ０）を中心として窓より少し大きな領域を探索領域として定義する。
【００７５】
そして、推定画像における窓の中の画像を情景画像の探索領域の中で少しずつ移動させて最も合致する箇所を探す。いわゆるパターンマッチングを行う（ステップＳ１６３）。ここで、合致するか否かを判定する評価関数としては、相互相関係数などが利用できる。最も合致する箇所の情景画像における座標が（ｕ０，ｖ０）であったとすると、（ｕ０，ｖ０）と（ｕ１，ｖ１）との間の差異が、位置情報および角度情報の推定値の正しさを判定する指標となる。このような照合をいくつかの窓に対して行い（すなわち、窓毎に、ステップＳ１６１〜Ｓ１６３を繰り返す）、得られた座標の差異の値を総合して（例えば平均値が予め設定した閾値を超えるか否かに応じて）位置情報および角度情報の推定値が正しいか否かを判定する（ステップＳ１６４）。
【００７６】
一般に、位置および角度が異なる２つのカメラから同じ点に対応する点の組（対応点）を求める処理は多くの計算量を必要とし、また、任意の画像に対して十分精度良く対応点を求めることが容易ではないことが知られている。しかし、この実施形態では、所定の周期（例えば１秒ごと）で同じ処理を繰り返すようにしており、しかも前回（例えば１秒前）の処理結果から得られた位置情報および角度情報の推定値を利用するので、前回の処理結果が正しい場合には、推定値と実際の値との間の誤差はそれほど大きくないことが期待される。このため、対応点の探索もその点の近傍だけを探索すれば良く、少ない計算量で精度良く対応点を求めることができる。
【００７７】
ステップＳ１６４において位置情報および角度情報の推定値が正しくない場合（これらの情報の推定値に誤差がある場合）には、カメラ１０の位置情報および角度情報の補正が成される（ステップＳ１７０）。
【００７８】
（７）位置・角度情報の補正（ステップＳ１７０の処理）
次に、照合手段２８は、位置情報および角度情報の推定値に誤差があると判定した場合は、位置情報および角度情報の補正を行う。
【００７９】
ここで、図９（ａ）に示すようにカメラ１０の位置情報および角度情報の推定値をそれぞれ（ｘ０，ｙ０，ｚ０）および（α０，β０，γ０）とする。これらの推定値および、推定画像２１０と情景画像２２０との照合の結果により、情景画像２２０に対するカメラ１０の位置情報および角度情報として、図９（ｂ）に示すように、それぞれ（ｘ１，ｙ１，ｚ１）および（α１，β１，γ１）を決定することが目標となる。
【００８０】
ここでは、位置・角度センサー４０としての位置センサーは十分な精度を持っており、誤差は無視しても良い程度小さいものとすると、位置情報（ｘ１，ｙ１，ｚ１）＝位置情報（ｘ０，ｙ０，ｚ０）の関係の式が成立する。
【００８１】
ここで、世界座標系における点（ｘ，ｙ，ｚ）が、情景画像２２０においては点（ｕ１，ｖ１）にあり、推定画像２１０では（ｕ０，ｖ０）にあったとする。図７に示した世界座標とカメラ座標の関係から、（ｕ０，ｖ０）と（ｕ１，ｖ１）の間には図９（ｃ）に示した関係の式が成立する。
【００８２】
図９（ｃ）に示した関係の式において、カメラ定数ｆは予め測定して知ることができる定数なので、十分な数の対応点の組が得られると、最小二乗法等により行列Ｒを決定することができる。これにより目標とするカメラ１０の角度情報（α１，β１，γ１）を決定することができる。
【００８３】
以上の処理によって得られた位置情報および角度情報を位置・角度情報記憶手段２５に記憶（上書き）することにより位置情報および角度情報の誤差が補正される。この補正された位置情報および角度情報は、指示画像生成手段２９によって指示情報を加工して指示画像を生成するために使用されるのに加え、次の周期（例えば１秒後）においてカメラ１０の位置情報および角度情報の推定値を得るための基準値として使用される。
【００８４】
（８）指示画像の生成・表示（ステップＳ１８０の処理）
次に、指示画像生成手段２９は、指示情報を加工して情景画像記憶手段に記憶されている情景画像に埋め込む処理を行う。
【００８５】
世界座標系における点（ｘ，ｙ，ｚ）と、それに対応する情景画像における点（ｕ，ｖ）との間には、上述したように図７（ｃ）に示す関係の式が成立することが知られている。
【００８６】
従って、カメラ１０の位置情報および角度情報が得られれば、与えられた３次元空間における座標（ｘ，ｙ，ｚ）に対して情景画像中の座標（ｕ，ｖ）を決定することができる。
【００８７】
いま、指示情報として経路「Ａ→Ｂ→Ｃ」が設定され、各ポイントＡ，Ｂ，Ｃには世界座標系における座標が与えられているとする。このような前提条件の下で、これらの各座標に上述した図７（ｃ）に示す関係の式を適用した場合に、情景画像における座標（ｕＡ，ｖＡ）、（ｕＢ，ｖＢ）、（ｕＣ，ｖＣ）が得られるものとする。そして、これらの座標間を矢印で結ぶと、情景画像２２０に対応した経路情報２３０が得られる（図１０参照）。
【００８８】
指示画像生成手段２９は、このようにして得られた指示情報としての経路情報２３０を情景画像２２０と合成することにより、図１０に示すような指示画像２４０を生成する。
【００８９】
指示画像生成手段２９が、指示情報（例えば経路情報２３０）が埋め込まれた情景画像（例えば情景画像２２０）すなわち指示画像２４０を表示装置３０に表示することにより、ドライバーは現在自分が見ている情景に埋め込まれた指示情報により的確に正しい進行方向を知ることができる。
【００９０】
なお、上述した実施の形態１では、自動車に映像ナビゲーション装置を組み込んで、当該自動車の搭乗したドライバーに情報を提供する形態について説明したが、本発明はこれに限定されることなく、携帯情報端末に上述した映像ナビゲーション装置を組み込み、当該携帯情報端末を携帯する歩行者に道案内情報を提供するようにしても良い。
【００９１】
この場合は、自動車に映像ナビゲーション装置を組み込んだ場合の処理と同様の処理が行われる。
【００９２】
以上説明したように実施の形態１によれば、装置本体には位置センサーのみを接続すれば良く、角度センサーを接続しなくてもカメラの位置および角度を正しく把握することができ、これにより情景画像に的確に指示情報を埋め込んだ指示画像を生成することができる。従って、小型・軽量の映像ナビゲーション装置を得ることができる。
【００９３】
実施の形態２.
つぎに、この発明の実施の形態２について説明する。この実施の形態２に係る映像ナビゲーション装置は、図１に示した映像ナビゲーション装置の構成において、位置・角度センサー４０として角度センサーおよび位置センサーの両方を採用し、これらのセンサーを図示しないケーブルを介して図示しない入出力データインタフェースに接続した構成になっている。なお、位置センサーは例えば実施の形態１の場合と比較して高精度のものでなくても良い。
【００９４】
位置・角度センサー４０として角度センサーおよび位置センサーの両方を採用するようにしたのは、装置本体に比較的精度の良い位置センサーのみを接続したとしても、位置センサーの種類によっては十分な精度が得られない場合もあるので、位置センサーの精度があまり良くない場合に、角度センサーおよび位置センサーの両方からのセンサー情報に基づいてカメラ１０の位置および角度を推定し、この推定した結果を基に情景画像と推定画像と照合し、この照合の結果に応じて位置センサーの誤差を補正するためである。
【００９５】
この実施の形態２においては、基本的には上述した実施の形態１と同様の処理が行われるものの、図３に示した処理手順のステップＳ１３０、１７０が上述した実施の形態１の場合とは多少異なっている。そこで、その異なっている点について詳細に説明する。
【００９６】
（Ａ）位置・角度情報の推定（ステップＳ１３０の処理）
位置・角度情報推定手段２４は、原則として位置センサーと角度センサーのセンサー出力を取り込んでそのまま推定値として位置・角度情報記憶手段２５に記憶する。ただし、状況によって位置センサーまたは角度センサーのセンサー出力が満足に得られない場合は、上述した実施の形態１の場合と同様に現在までの位置情報および角度情報の履歴を基に推定するようにしても良い。
【００９７】
（Ｂ）位置・角度情報の補正（ステップＳ１７０の処理）
この実施の形態２では角度センサーの誤差は無視しても差し支えないものとする。すると、角度情報（α１，β１，γ１）＝角度情報（α０，β０，γ０）の関係の式が成立するので、カメラ１０の角度情報（α１，β１，γ１）は決定されることとなり、カメラ１０の位置情報（ｘ１，ｙ１，ｚ１）を決定することが目標となる。
【００９８】
ここで、世界座標系における点（ｘ，ｙ，ｚ）が、情景画像２２０においては点（ｕ１，ｖ１）にあり（図１１（ｂ）参照）、推定画像２１０では（ｕ０，ｖ０）にあったとする（図１１（ａ）参照）。図７（ｃ）に示した世界座標とカメラ座標の関係を考慮すれば、（ｕ０，ｖ０）と（ｕ１，ｖ１）の間には図１１（ｃ）に示した関係の式が成立する。
【００９９】
図１１（ｃ）に示した関係の式において、カメラ定数ｆは予め測定して知ることができる定数なので、十分な数の対応点の組が得られると、最小二乗法等により目標とするカメラ１０の位置情報（ｘ１，ｙ１，ｚ１）を決定することができる。
【０１００】
以上説明したように実施の形態２によれば、角度センサーおよび位置センサーの両方からのセンサー情報に基づいてカメラ１０の位置および角度を推定し、この推定した結果を基に情景画像と推定画像と照合し、この照合の結果に応じて位置センサーの誤差を補正するようにしたので、高精度の位置センサーを使用する必要がなくなり、安価に装置を構成することができるという利点が得られる。
【０１０１】
実施の形態３.
つぎに、この発明の実施の形態３について説明する。図１２は、実施の形態３に係る映像ナビゲーション装置の構成図を示したものである。この実施の形態３に係る映像ナビゲーション装置は、図１に示した映像ナビゲーション装置の構成において、空間情報記憶手段２２を削除し、実写画像記憶手段３００を追加した構成になっている。なお、同図１２において、図１に示した構成要素と同様の機能を果たす部分には同一の符号を付すものとする。
【０１０２】
実写画像記憶手段３００は、カメラ１０の位置情報および角度情報と、その位置から撮影された実写画像とを組にして予め記憶しておくものである。実写画像記憶手段３００には、予め複数の地点で撮影された実写画像が記憶される。
【０１０３】
このように位置情報および角度情報と実写画像とを組にして予め記憶するようにしているのは、上記実施の形態１、２の如くコンピュータグラフィックスの分野で用いられる手法を用いて予め３次元の空間情報を作成しておき、その空間情報とカメラの位置および角度の推定値とに基づき推定画像を作成する形態にあっては、道案内を行う広い範囲について予め３次元の空間情報を作成しておくのは多大な労力を必要とするので、比較的少ない労力で道案内のためのデータを準備するためである。
【０１０４】
この実施の形態３では、車載情報端末（映像ナビゲーション装置を自動車に組み込む場合の形態）、携帯情報端末のいずれにも適用することができるが、ここでは歩行者に案内情報を提供する携帯情報端末を想定している。
【０１０５】
ここでは、携帯情報端末は、図１３に示すように装置本体２０と表示装置３０とが一体化されている（装置本体兼表示装置３１０を有する）ものとする。カメラ１０は装置本体２０とは別になっており、歩行者の帽子、メガネ、または衣服などに取り付けて常に歩行者の前方の情景が取り込めるように配置しておく。また、装置（装置本体兼表示装置３１０）を小型化するため、装置本体２０には情景画像記憶手段２１としてのフレームグラバを挿入するのではなく、カメラ１０において直接ディジタル画像を生成し、ディジタル画像データとして装置本体２０に転送する形態とする。さらに、カメラ１０は装置本体２０からの指示により自由に向きが変えられるものとし、歩行者の動きに関わらず、所定の向きを維持することができるものとする。
【０１０６】
次に、かかる映像ナビゲーション装置の処理動作について、図１４を参照して説明する。映像ナビゲーション装置では、実写画像記憶手段３００への実写画像の設定が行われ（ステップＳ４１０）、また、指示情報記憶手段２３への指示情報の設定が行われると（ステップＳ４２０）、位置・角度情報推定手段２４は、指示情報として設定された経路情報と、現在の歩行者の位置情報と、実写画像記憶手段３００に記憶されている実写画像情報とに基づき、カメラ１０の位置および角度の推定値を決定して、これらの情報を位置・角度情報記憶手段２５に記憶する（ステップＳ４３０）。
【０１０７】
次に、推定画像生成手段２６は、実写画像記憶手段３００の中からカメラ１０の位置および角度の推定値に対応する実写画像を選択し、これを推定画像として推定画像記憶手段２７に記憶する（ステップＳ４４０）。
【０１０８】
次いで、カメラ１０は、例えば１秒間に１回など所定の周期で画像を取り込み装置本体２０に転送する。装置本体２０では、転送された画像を情景画像記憶手段２１に記憶する（ステップＳ４５０）。すると、照合手段２８は、推定画像記憶手段２７に記憶されている推定画像（実際には実写画像）と情景画像記憶手段２１に記憶されている情景画像とを照合して、位置・角度情報の推定値が正しいかどうかを検証し（ステップＳ４６０）、この検証の結果、位置・角度情報の推定値に誤差があると判定した場合には、位置・角度情報記憶手段２５に記憶されている位置情報および角度情報の補正を行う（ステップＳ４７０）。
【０１０９】
そして、指示画像生成手段２９は、位置・角度情報記憶手段２５に記憶されている補正後の位置情報および角度情報に基づき指示情報記憶手段２３に記憶されている指示情報を加工すると共に、この加工された指示画像を推定画像記憶手段２７に記憶されている推定画像すなわち実写画像に埋め込むことにより指示画像を生成して、この指示画像を表示装置３０に表示する（ステップＳ４８０）。
【０１１０】
次に、上述した映像ナビゲーション装置の処理動作を示す処理手順の各処理内容について詳細に説明する。
【０１１１】
（１）実写画像の設定（ステップＳ４１０の処理）
歩行者を案内する経路に沿って、例えば１０メートル程度の間隔で地点を選んで写真撮影し、これを実写画像として収集する。撮影地点は、看板や建物、モニュメントなど、歩行時に目印となる特徴的な対象物が視野に入るように選ぶことが望ましい。
【０１１２】
図１５（ａ）に、実写画像の設定例を示す。この例では、地点Ａ〜Ｅの５地点で撮影を行い、それぞれの地点における実写画像とカメラ１０の位置情報および角度情報とを組にして実写画像記憶手段３００に記憶している。この例では、目標物として、地点Ａでは看板Ｐ、地点Ｂでは建物Ｑが視野に入るようにカメラ１０の位置および角度を調節している。
【０１１３】
また、ビデオカメラを持って経路に沿って移動し、得られたビデオ映像の中から適当に画像を取り出して、これを実写画像としても良い。
【０１１４】
さらに、撮影と同時に、カメラ１０の位置情報および角度情報を記録しておき、これを実写画像と組にして実写画像記憶手段３００に記憶する。カメラ１０の位置情報および角度情報は、例えば撮影時に位置センサーおよび角度センサーの出力を記録することにより得ることができる。
【０１１５】
（２）指示情報の設定（ステップＳ４２０の処理）
この場合は実施の形態１と同様の処理であるので、ここではその説明を省略する。
【０１１６】
（３）位置・角度情報の推定（ステップＳ４３０の処理）
位置・角度情報推定手段２４は、指示情報として設定された経路情報、現在の歩行者の位置情報、および実写画像記憶手段３００に記憶されている実写画像情報に基づき、位置および角度の推定を行う。
【０１１７】
ここでは、現在のカメラ１０の位置および角度を推定するのではなく、実写画像が設定されている地点の中から歩行者が次に目標とすべき地点を選択し、その選択された地点での実写画像に対応したカメラ１０の位置情報および角度情報を推定値とする。
【０１１８】
例えば、図１５（ａ）に示す例において、歩行者が、現在、地点Ａと地点Ｂとの間の地点Ｊに存在しているものとし、また、指示情報には経路「Ｘ→Ｙ→Ｚ」が設定されているものとした場合には、実写画像が存在する地点の中で次に目標とすべき地点は地点Ｂとなる。従って、地点Ｂにおけるカメラ１０の位置情報および角度情報が推定値として設定され、位置・角度情報記憶手段２５に記憶される。
【０１１９】
（４）推定画像の生成（ステップＳ４４０の処理）
推定画像生成手段２６は、実写画像記憶手段３００の中からカメラ１０の位置情報および角度情報の推定値に対応する実写画像を選択し、これを推定画像とする。
【０１２０】
例えば、図１５（ａ）に示す例において、歩行者が、現在、地点Ａと地点Ｂとの間の地点Ｊに存在しているものとした場合には、カメラ１０の位置情報および角度情報の推定値は実写画像Ｂに対応する値となるので、推定画像としては実写画像Ｂが選ばれ、推定画像記憶手段２７に記憶される。
【０１２１】
（５）情景画像の取り込み（ステップＳ４５０の処理）
カメラ１０は、例えば１秒間に１回など所定の周期で画像を取り込み装置本体２０に転送する。装置本体２０では、情景画像記憶手段２１に転送されてきた画像を記憶する。
【０１２２】
ここで、カメラ１０を歩行者に装着して使用する場合は、カメラ１０の向きが安定しないという問題がある。また、この実施の形態３では推定画像として実写画像を使用しているので、任意の位置および角度に対して推定画像を生成することができない。そこで、カメラ１０は歩行者の体勢や向きに関わらず装置本体２０からの指示により自由に向きを変えられるものとし、角度が位置・角度情報推定手段２４による推定処理に基づく推定値に等しくなるようにカメラ１０の向きを制御するようにする。
【０１２３】
このようにカメラ１０の向きを制御することにより、歩行者が次の目標地点に到達した段階で情景画像と推定画像とは構図が略一致する。
【０１２４】
図１６は、カメラ１０の向きの制御を実現するためのカメラ１０の構成図を示している。
【０１２５】
カメラ１０はカメラ可動部１１とカメラ固定部１２に分かれる。歩行者はカメラ固定部１２を衣服や帽子、メガネなどに固定する。カメラ可動部１１はレンズ部分を含み、モーター１３によって撮像する向きを変えられるように設定されている。理想的にはカメラ１０のパン（pan）、チルト（tilt）、ローテート（rotate）の３つの軸についてそれぞれ自由に向きを変えられることが望ましい。カメラ１０のカメラ固定部１２に角度センサー５００が設けられており、この角度センサー５００のセンサー出力は制御部１４に入力される。
【０１２６】
次に、制御部１４によるカメラ１０に対する向きの制御処理について図１７を参照して説明する。
【０１２７】
制御部１４は、位置・角度情報記憶手段２５から角度の推定値（すなわち次に目標とする地点で実写画像と一致するような情景画像を得ることができるカメラの角度）を取得し（ステップＳ５１０）、これに基づきカメラ１０の向きを制御する。
【０１２８】
ここで、角度の推定値をｄ＝（α，β，γ）とする。この推定値ｄは世界座標系を基準にした角度である。ところで、カメラ１０のモーター１３はカメラ固定部１２の角度を基準にしてカメラ可動部１１の角度を制御するものである。このカメラ固定部１２の角度は、歩行者の向きや体勢が変化すると、その変化に応じて変化するものであるから、現在のカメラ固定部１２の世界座標系における角度を知る必要がある。そのため、制御部１４は、カメラ１０のカメラ固定部１２に設けられた角度センサー５００のセンサー出力（角度情報）を取得する。
【０１２９】
制御部１４は、角度センサー５００により計測されたカメラ固定部１２からの角度ｄ０を取得すると共に（ステップＳ５２０）、カメラ可動部１１の角度が推定値ｄから角度ｄ０を減算つまり「ｄ−ｄ０」を演算した値の角度となるようにモーター１３を制御する（ステップＳ５３０）。
【０１３０】
そして、制御部１４は、上記（ｄ−ｄ０）の角度を逐次計算してモーター１３に指示することにより（ステップＳ５１０〜Ｓ５３０の繰り返し）、この指示に従ってモーター１３がカメラ可動部１１の角度を調整するので、カメラ１０の撮像方向は常に所望の向きを向くように制御される。
【０１３１】
（６）情景画像と推定画像の照合（ステップＳ４６０の処理）
この場合の照合の方法は上述した実施の形態１とほぼ同様である。ただし、推定画像は空間情報から生成したものではなく、実写画像なので、照合の基準となる窓をどのように設定すればよいかについて考える必要がある。これに対しては、周囲の画素との輝度の差が大きな画素などを画像処理により特徴点として抽出し、この特徴点を中心とした領域を窓として照合を行う方法がある。
【０１３２】
照合手段２８は、照合した結果得られた情景画像と推定画像との合致度を音などにより歩行者に通知する。これは、照合の結果得られた合致度に応じて音の高さを変化させるなどにより実現する。歩行者は、周期的に通知される合致度の通知音を聞きながら、なるべく合致度が向上するように行動する。歩行者は通知音により合致度が徐々に向上することにより自分が正しい方向に進行していると確信することができる。逆に、合致度が向上しない場合は、道順を再度確認することにより間違いに早く気づくことができる。
【０１３３】
次に、情景画像と推定画像との合致度の求め方について以下に２通りの方法を説明する。
【０１３４】
第１の方法は、画像平面上での対応点間の位置のずれによる。上記実施の形態１で説明したように、情景画像と推定画像との間でカメラの位置および角度が一致している場合は、対応点（ｕ０，ｖ０）と対応点（ｕ１，ｖ１）との間のズレすなわち「対応点（ｕ０，ｖ０）−対応点（ｕ１，ｖ１）」を演算した結果（位置のずれ）は０に近くなる。しかし、カメラの位置および角度が一致しない場合は位置のずれが生じるので、この対応点間の距離をすべての対応点の組について平均した値を合致度と定義する。
【０１３５】
第２の方法は、カメラ位置のずれによる。上述した実施の形態２における位置情報および角度情報の補正の方法と同様の方法により情景画像に対するカメラ位置を推定する。このカメラ位置と推定画像に対するカメラ位置との間の距離を合致度と定義する。
【０１３６】
いずれの方法でも、情景画像と推定画像とがほぼ完全に一致すると合致度を示す値は約０に近づき、一方、ずれが大きくなるに従って合致度を示す値が大きくなってゆく。したがって、この合致度を示す値またはこの値の変化を示す旨を歩行者に通知することにより、利用者に対して、合致度が向上するように、すなわち合致度を示す値が減少するように行動を促すことができる。
【０１３７】
次に合致度を歩行者に通知する方法として、以下に２つの方法を示す。第１の方法は、歩行者に合致度の大小を通知する方法である。すなわち、合致度を示す値に対して例えば通知音の高さを対応づける。歩行者はこの音程の変化によって正しい方向に進んでいるかどうかを判断することができる。第２の方法は、歩行者に合致度の変化を通知する方法である。すなわち、音色の違う２種類の通知音「Ｒｉｇｈｔ」（正当な旨を示す通知音）と通知音「Ｗｒｏｎｇ」（不適当な旨を示す通知音）を用意し、前の周期（例えば１秒前）と比べて合致度が向上した場合は通知音「Ｒｉｇｈｔ」、合致度が向上しなかった場合は第２の通知音「Ｗｒｏｎｇ」を出すようにする。これにより、歩行者は音色によって正しい方向に進んでいるかどうかを判断することができる。
【０１３８】
（７）位置・角度情報の補正（ステップＳ４７０の処理）
照合手段２８では、情景画像と推定画像とを照合した結果得られた合致度を評価することにより、位置情報および角度情報の推定値が正しいか否かを判断することができる。歩行者が情景画像と推定画像との合致度が大きくなるように行動した結果、歩行者の実際の位置と推定値とが一致したと判断された段階で、位置情報および角度情報の更新を行う。この更新に際しては、推定値が、歩行者が次に目標とする地点の値となるようにする。
【０１３９】
例えば、図１５（ａ）に示す例において、歩行者が地点Ｂに到達した場合には、その時点で位置情報および角度情報の推定値は実写画像Ｄに対応するものに更新され、次の周期からは地点Ｄを新たな目標地点として処理が行われる。
【０１４０】
（８）指示画像の生成・表示（ステップＳ４８０の処理）
この場合、上記実施の形態１と同様の方法で情景画像に指示情報を埋め込んで表示するようにしても良いが、この実施の形態３では、位置情報および角度情報を処理周期毎に補正することは行わず、歩行者が、実写画像が存在する地点に到達した段階で、位置情報および角度情報を設定し直している。従って、位置情報および角度情報は、現在の情景画像ではなく、歩行者が次に目標とすべき地点の実写画像に合致したものとなっている。そこで、実施の形態３では、指示画像は、情景画像ではなく推定画像すなわち予め用意した実写画像に指示情報を埋め込んで表示することにする。
【０１４１】
図１５（ｂ）、（ｃ）に示す例では、実写画像に指示情報に基づき生成した矢印を埋め込んで表示している。例えば、図１５（ｂ）に示す例においては、実写画像Ｂに対して指示情報に基づき生成された矢印が埋め込まれた指示画像が表示されている。
【０１４２】
以上説明したように実施の形態３によれば、予め用意した実写画像を現在の情景画像と照合することにより歩行者の道案内を行うようにしたので、３次元の空間情報を作成する必要がないこととなり、よって比較的少ない労力で道案内のためのデータを準備することができる。
【０１４３】
また、実施の形態３によれば、歩行者は、次に目標とすべき地点で目印となる目標物と、その地点における進行方向などを視覚的に知ることができる。
【０１４４】
さらに、実施の形態３によれば、現在の情景画像と次に目標とすべき地点の実写画像とを照合した結果が音などの通知情報が歩行者に対して通知されるので、歩行者は目標とすべき地点に近づいていることを逐次確認しながら進むことができる。
【０１４５】
実施の形態４.
つぎに、この発明の実施の形態４について説明する。この実施の形態４に係る映像ナビゲーション装置は、基本的には、図１に示した実施の形態１に係る映像ナビゲーション装置の構成、または図１２に示した実施の形態３に係る映像ナビゲーション装置の構成と同様であるが、情景画像記憶手段２１には情景画像の系列を蓄積することができるようになっており、また、位置・角度情報記憶手段２５には位置情報および角度情報の系列を蓄積することができるようになっている。ここでは、実施の形態４に係る映像ナビゲーション装置の構成は、図１に示した実施の形態１に係る映像ナビゲーション装置と同様であるとする。
【０１４６】
ところで、実施の形態１〜３においては、１枚の推定画像と１枚の情景画像とを照合することにより位置情報および角度情報を補正するようにしたのに対し、この実施の形態４では、推定画像および情景画像をそれぞれ複数枚用意するようにし、これらの画像を用いて照合処理を実施するようにしている。これにより、より高い照合精度を得ることが期待できる。
【０１４７】
実施の形態４は、基本点には、図３に示した実施の形態１と同様の処理が行われるものの、その処理手順でのステップＳ１３０、Ｓ１５０及びＳ１６０の処理が異なっている。そこで、次にその異なる点について説明する。
【０１４８】
（Ａ）位置・角度情報の推定（ステップＳ１３０の処理）
位置・角度情報推定手段２４は、実施の形態１と同様にして位置情報および角度情報を推定し、位置・角度情報記憶手段２５に記憶する。位置情報および角度情報の推定は例えば１秒間に１回行い、例えば過去１０秒間の位置情報および角度情報の系列を常に保持するようにしておく。
【０１４９】
（Ｂ）情景画像の取り込み（ステップＳ１５０の処理）
フレームグラバから１秒間に１回などの所定の周期で映像信号を取り込み、情景画像記憶手段２１に記憶する。情景画像についても、例えば過去１０秒間の情景画像を常に保持するようにしておく。
【０１５０】
（Ｃ）情景画像と推定画像の照合（ステップＳ１６０の処理）
照合手段２８は、まず、実施の形態１と同様の方法で最新時刻に対応する情景画像と推定画像との照合を行い、位置情報および角度情報の補正を行う。次に、照合手段２８は、通常車両は一定速度で進行するという性質を考慮して補正後の位置情報および角度情報の系列を評価する。すなわち、補正後の位置情報および角度情報の系列を調べ、ほぼ一定速度で進行しているとみなせる場合は位置情報および角度情報の系列は正しいものと判断し、一方、急激な速度の変化や方向の変化が見られる場合は位置情報および角度情報の系列に誤りがあるものと判断する。
【０１５１】
ここで、照合手段２８は、位置情報および角度情報の系列に誤りがあると判断した場合は、情景画像と推定画像との照合の処理をやり直す。すなわち、対応点の求め方に別の候補がないか調べ、別の候補が見つかったら、その対応点の組を基に位置情報および角度情報を補正する。
【０１５２】
このような照合処理のやり直しを実施したにも関わらず、満足な位置情報および角度情報の系列が得られない場合は、過去の適当な系列、例えば１秒前の位置情報および角度情報と情景画像の組まで遡り、照合の処理を系列に沿ってやり直す。
【０１５３】
ところで、ある時刻で位置情報および角度情報を誤って補正した場合、この誤りに引きずられて、それ以降の処理をすべて誤る可能性があるため、必要に応じて過去に遡って誤りを修正する処理を行うと有効である。
【０１５４】
このような処理は、現在までの所定の期間について、情景画像の系列と位置情報および角度情報の系列を保持することにより可能となる。
【０１５５】
以上説明したように実施の形態４によれば、照合手段２８は、位置情報および角度情報の系列が所定の条件を満たさない場合は系列を遡って推定画像と情景画像との照合をやり直すので、位置情報および角度情報の補正の精度を高めることができる。
【０１５６】
実施の形態５.
つぎに、この発明の実施の形態５について説明する。この実施の形態５に係る映像ナビゲーション装置の構成は、基本的には、実施の形態１〜４と同様である。
【０１５７】
ところで、実施の形態１〜４では、指示画像生成手段２９は、空間の特定の位置に関連づけられた指示情報すべてについてそれぞれ位置情報および角度情報に基づく加工を行い指示画像を生成するようにしているので、カメラ１０の視野内に存在する全ての指示情報が指示画像に埋め込まれることになる。しかし、空間内に多数の指示情報が関連づけられている場合、指示画像中に多数の指示情報が表示されて画像が見難くなるという問題がある。
【０１５８】
そこで、この実施の形態５では、指示画像生成手段２９は、カメラ１０と指示情報に対応する位置と間の距離、および角度情報に基づき指示情報を取捨選択して、指示画像を生成するようにしている。
【０１５９】
次に、実施の形態５の処理動作に説明する。ここでは、以下に示す処理（Ａ）以外の処理は実施の形態１〜４と同様である。
【０１６０】
（Ａ）指示画像の生成・表示
指示画像生成手段２９は、空間の特定の位置に関連づけられた各々の指示情報について、以下に示す方法で表示するか否かの判断を行い、表示すると判断した指示情報のみについて実施の形態１〜４と同様にして指示画像に埋め込んで表示する。
【０１６１】
表示するか否かの判断は次のようにして行う。すなわち、指示情報は予め空間内の特定の位置に関連付けられており、この位置（ｘ，ｙ，ｚ）は指示情報記憶手段２３から取得できる。また、カメラ１０の位置情報（ｘ０，ｙ０，ｚ０）および角度情報（α，β，γ）は位置・角度情報記憶手段２５から取得できる。これらの情報から、カメラ１０から指示情報に対応する位置までの距離ｄを求めることができる。また、カメラ位置（ｘ０，ｙ０，ｚ０）から指示情報の位置（ｘ，ｙ，ｚ）に向けて引いた直線の方向とカメラ視線方向との間の角度θを求めることができる。
【０１６２】
例えば距離ｄが３０メートル以内、角度θが６０度以内等の条件を満たす指示情報は表示し、それ以外の指示情報は表示しないことにする。
【０１６３】
また、ビルなど空間上の構成物に対して向こう側の指示情報は表示しないようにすることも考えられる。空間上の構成物の位置は空間情報記憶手段に記憶されているので、カメラ位置（ｘ０，ｙ０，ｚ０）と指示情報に対応する位置（ｘ，ｙ，ｚ）との間に構成物が存在するか否かを判定し、構成物が存在する場合は指示情報を表示しないようにする。
【０１６４】
以上説明したように実施の形態５によれば、カメラ１０と指示情報に対応する位置との間の距離、角度情報、またはカメラ１０、指示情報、空間上の構成物の位置関係を考慮することにより、表示する指示情報を少なくし、見やすい指示画像を生成することができる。
【０１６５】
ところで、上述した実施の形態１乃至５では、カメラ１０として情景画像の撮像には通常の可視カメラを使用することを前提としているが、本発明はこれに限定されることなく、夜間の使用を考慮して赤外線カメラを使用しても良く、また、超音波センサーやミリ波レーダーなどを使用しても良い。
【０１６６】
実施の形態６.
つぎに、この発明の実施の形態６について説明する。図１８は、実施の形態６に係る映像ナビゲーション装置の構成図を示したものである。この映像ナビゲーション装置は、図１に示した実施の形態１の場合と同様に、カメラ１０と、装置本体２０と、表示装置３０と、位置・角度センサー４０とから構成されている。装置本体２０は、情景画像記憶手段６０１と、推定手段６０２と、推定値記憶手段６０３と、作業手順記憶手段６０４と、進行状況記憶手段６０５と、指示情報生成手段６０６と、指示画像生成手段６０７とから構成されている。
【０１６７】
情景画像記憶手段６０１、推定手段６０２および推定値記憶手段６０３は、それぞれ図１に示した情景画像記憶手段２１、位置・角度情報推定手段２４および位置・角度情報記憶手段２５と同様の機能を有している。
【０１６８】
作業手順記憶手段６０４は、作業手順を示す作業手順情報を記憶する。進行状況記憶手段６０５は、作業の進行状況を示す進行状況情報を記憶する。指示情報生成手段６０６は、作業手順記憶手段６０４に記憶された作業手順情報と進行状況記憶手段６０５に記憶された進行状況情報とに基づき指示情報を生成する。指示画像生成手段６０７は、推定値記憶手段６０３に記憶されているカメラ１０の位置を示す位置情報および角度を示す角度情報に基づき指示情報生成手段６０６によって生成された指示情報を加工して指示画像を生成する。
【０１６９】
なお、装置本体２０は、実施の形態１の場合と同様に、ＣＰＵと記憶装置とを含むコンピュータにより構成されている。また、装置本体２０は、表示装置３０と一体化して構成するようにしても良いし、表示装置３０とは別の装置として構成して、ドライバーの足元の空間などに配置するようにしても良い。さらに、装置本体２０を構成する上記構成要素６０２〜６０７の各々は、それぞれの上述した処理又は機能を遂行するための、上記コンピュータで動作するソフトウェア（プログラム）を、上記ＣＰＵが上記記憶装置から読み出して実行することにより実現される。
【０１７０】
次に、かかる映像ナビゲーション装置の処理動作について、図１９を参照して説明する。
【０１７１】
図１９に示すように、映像ナビゲーション装置では、予め設定される作業手順を示すデータを作業手順記憶手段６０４に記憶すると共に（ステップＳ６１０）、情景画像記憶手段６０１すなわちフレームグラバが、カメラ１０から入力した映像信号を取り込み記憶し（ステップＳ６２０）、さらに、推定手段６０２が、位置・角度センサー４０からのセンサー情報を基にカメラ１０の位置および角度の推定値を決定して、これらの情報を推定値記憶手段６０３に記憶する（ステップＳ６３０）。
【０１７２】
次に、指示情報生成手段６０６が、作業手順記憶手段６０４に記憶されている作業手順情報と進行状況記憶手段６０５に記憶されている進行状況情報とに基づき指示情報を生成すると（ステップＳ６４０）、指示画像生成手段６０７は、推定値記憶手段６０３に記憶されているカメラ１０の位置を示す位置情報および角度を示す角度情報に基づき指示情報生成手段６０６によって生成された指示情報を加工して指示画像を生成し、その後、この指示画像を表示装置３０に表示する（ステップＳ６５０）。
【０１７３】
次に、上述した映像ナビゲーション装置の処理動作を示す処理手順の各処理内容について詳細に説明する。ここでは、フォークリフトに当該映像ナビゲーション装置を積み、貨物の積み下ろしの作業手順をドライバーに指示する形態について説明する。
【０１７４】
（１）作業手順の設定（ステップＳ６１０の処理）
図２０（ａ）は作業手順の一例を示したものであり、図２０（ｂ）はその作業手順にしたがった作業内容を説明するための図を示したものである。
【０１７５】
さて、図２０（ａ）に示す作業手順例では、地点Ａから地点Ｂまで貨物Ｘを運んだあと、地点Ｃへ移動して貨物Ｙを積み込むという作業を６つの手順に分けて記述している。各手順は、作業の種類と作業の対象を示したものとなっている。作業の種類としては、「移動」、「貨物を積む」、「貨物を下ろす」、の３つがある。さらに、移動に対しては「対象として目的地」を記述し、貨物の積み下ろしに対しては「対象として貨物の名前」を記述している。
【０１７６】
このような作業手順を示すデータ（作業手順情報）は、人為的に作成して映像ナビゲーション装置内の記憶装置に予め記憶させておいても良いし、または、通信手段を用いて外部のコンピュータから送りこむようにしても良い（すなわち、映像ナビゲーション装置が、通信手段を介して外部のコンピュータから作業手順を示すデータをダウンロードする）。
【０１７７】
（２）情景画像の取り込み（ステップＳ６２０の処理）
この処理では、情景画像記憶手段６０１すなわちフレームグラバが、実施の形態１〜５の場合と同様に、例えば１秒間に１回など所定の周期でカメラ１０から画像を取り込む。
【０１７８】
（３）位置・角度情報の推定（ステップＳ６３０の処理）
この処理では、推定手段６０２が、位置・角度センサー（位置センサーおよび角度センサー）４０の出力を取り込み、カメラ１０の現在の位置を示す位置情報（ｘ、ｙ、ｚ座標値）および角度を示す角度情報（パン、チルト、ローテートに対応した角度）を推定する。なお、この実施の形態６においても、実施の形態１〜５の場合と同様に、推定値に基づき推定画像を生成し、この生成した推定画像と、情景画像記憶手段６０１に記憶されている情景画像とを照合することにより推定値を補正するようにしても良い。この場合、より一層、精度の向上または装置の小型化を図ることができる。
【０１７９】
（４）指示情報の生成（ステップＳ６４０の処理）
作業の進行状況に応じた指示画像を生成するためには、現在、作業がどこまで進行しているかを管理する必要がある。そこで進行状況記憶手段６０５には、「次に実行すべき手順」を記憶しておくこととする。これは例えば以下のようにして実現する。
【０１８０】
まず、当該映像ナビゲーション装置において現在の位置情報および角度情報並びに現在の車両（作業車）の状態を常に把握できるようにしておく。現在の位置情報および角度情報は推定値記憶手段６０３に記憶されている情報を用いる。一方、現在の車両の状態としては、貨物を積んでいる状態か貨物を下ろした状態かを機械的に検知するようにする。ところで、作業手順を示すデータを基に、現在実行中の作業手順が完了したときの位置、角度、車両状態がわかる。すなわち、現在の位置、角度、車両状態を、次に実行すべき手順が完了したときの位置、角度、車両状態と比較し、一致した場合に、この手順（次に実行すべき手順）が完了したものとし、さらに、次に実行すべき手順を次の手順に更新する。
【０１８１】
例えば、進行状況記憶手段６０５には、図２１に示すように、次に実行すべき手順は手順２であることを示す情報たとえば「次の手順：手順２」という情報が記憶されているとする。また、図２１に示す作業手順記憶手段６０４の記憶内容は、図２０（ａ）に示した作業手順例と同一であるものとする。さて、手順２が完了したときは、図２０（ｂ）に示したように、車両（つまりカメラ１０）の位置は地点Ａ、角度は北方向、車両状態は貨物を積んでいる状態であるはずである。したがって、進行状況記憶手段６０５は、現在の状態を定期的に調べて、この状態になったことを検知した段階で手順２が完了したと判断する。そして進行状況記憶手段６０５は、次に実行すべき手順は手順３であることを示す情報たとえば「次の手順：手順３」という情報を記憶する。このようにすれば、進行状況記憶手段６０５には、常に、次に実行すべき手順が示されていることになる。
【０１８２】
そして、指示情報生成手段６０６は、作業手順記憶手段６０４に記憶されている作業手順を示すデータ、および進行状況記憶手段６０５に記憶されている情報に基づき指示情報を生成する。例えば、次に実行すべき手順が手順２であるとすると、指示情報として図２１中符号６６０で示される指示情報が生成される。すなわち、地図上の地点Ａ（図２０（ｂ）参照）に対応する地点に、貨物を積むことを意味する上向きの矢印を挿入する。また、貨物Ｘを積むことを示すために、貨物Ｘの位置に「貨物Ｘ」という文字列を挿入する。
【０１８３】
さらに次に実行すべき手順が進行して、次に実行すべき手順が手順４であるとすると、地点Ｂ（図２０（ｂ）参照）に対応する地点に貨物を下ろすことを意味する下向きの矢印を挿入する。また、貨物Ｘを下ろすことを示すために、貨物を下ろすべき位置に「貨物Ｘ」という文字列を挿入する。
【０１８４】
（５）指示画像の生成・表示（ステップＳ６５０の処理）
この処理では、指示画像生成手段６０７は、指示情報生成手段６０６によって生成された指示情報に基づき、指示画像を生成する。ここで、図２０（ａ）に示した作業手順中の手順２に対して生成された指示画像の一例を、図２２（ａ）に示し、また、前記作業手順中の手順４に対して生成された指示画像の一例を、図２２（ｂ）に示す。これらの指示画像の生成方法は、実施の形態１〜５の場合と同様である。すなわち、世界座標系により設定された矢印や文字列などの指示情報をカメラ１０の位置および角度に対応して座標変換し、これを情景画像と重ね合わせることにより指示画像が生成される。
【０１８５】
因みに、図２２（ａ）においては、貨物Ｘを積むことを示す旨の上向きの矢印が示されており、一方、図２２（ｂ）においては、貨物Ｘを下ろすことを示す旨の下向きの矢印が示されている。
【０１８６】
以上説明したように実施の形態６によれば、指示情報生成手段６０６が、予め設定された作業手順情報と、現在の作業の進行状況情報とに基づき指示情報を生成すると、指示画像生成手段６０７が、この生成された指示情報と情景画像とに基づいて指示画像を生成するので、一連の作業手順を、その順を追って指示することができる。よって、作業車のドライバーは、作業手順における各手順に応じて表示される指示画像を参照しながら、作業操作を実施することができることとなり、作業効率を向上させることができる。
【０１８７】
また、実施の形態６によれば、進行状況記憶手段６０５が、作業手順記憶手段６０４に記憶された作業手順情報と位置または角度の推定値とに基づき、または前記作業手順情報と現在の作業車（車両）の状態とに基づき、作業の進行状況を判断するので、作業の進行状況を自動的に把握して次の作業手順を指示することができる。
【０１８８】
【発明の効果】
以上説明したように、この発明によれば、照合手段は、推定画像と情景画像とを照合して位置情報および角度情報を補正するので、位置情報および角度情報の精度を向上することができ、利用者の正確な位置や向きに適応した指示画像を生成して提供することができる。また、高精度の位置センサーや角度センサーを用いなくても位置情報および角度情報を正確に知ることができるので、映像ナビゲーション装置の小型化及び軽量化を図ることができる。
【０１８９】
つぎの発明によれば、指示画像生成手段は、撮像手段の位置情報および角度情報に基づき指示情報を加工し、この加工した結果と情景画像または推定画像とを合成して指示画像を生成するので、実際の情景と指示情報との関係を直感的に把握することができる。
【０１９０】
つぎの発明によれば、推定手段は現在までの位置情報および角度情報の履歴を基に位置および角度を推定するので、推定値の誤差を抑制（小さく）することができ、よって情景画像と推定画像との照合における処理量を削減し、かつ照合の精度を高めることができる。これにより少ない計算量で正確な位置情報および角度情報を得ることができる。
【０１９１】
つぎの発明によれば、推定画像生成手段は、予め設定される空間情報に基づき撮像手段の位置および角度の推定値に対応した推定画像を生成するので、撮像手段の任意の位置および角度に対して推定画像を生成することができる。
【０１９２】
つぎの発明によれば、推定画像生成手段は撮像手段の位置および角度の推定値に対応した実写画像を推定画像として生成するので、比較的少ない労力で予めデータを準備することができる。
【０１９３】
つぎの発明によれば、推定手段は、指示情報に基づき次に利用者が目標とすべき位置を推定値とするので、生成された推定画像は利用者が次に目標とすべき対象物を表したものとなり、この推定画像と情景画像を照合することにより利用者が次の目標位置に近づいているか否かを判定することができる。
【０１９４】
つぎの発明によれば、撮像手段は利用者が次に目標とすべき所定の角度に維持されるので、利用者が次に目標とすべき位置に到達したときは、撮像手段によって確実に対象物を捕らえることができる。
【０１９５】
つぎの発明によれば、照合手段は、情景画像と推定画像との合致度を利用者に通知して、利用者が情景画像と推定画像との合致度が向上するように行動を促すので、当該利用者を的確に次に目標とすべき位置に誘導することができる。
【０１９６】
つぎの発明によれば、照合手段は、位置情報および角度情報の系列が所定の条件を満たさない場合は系列をさかのぼって推定画像と情景画像との照合をやり直すので、位置情報および角度情報の補正の精度を高めることができる。
【０１９７】
つぎの発明によれば、撮像手段と指示情報に対応する位置との間の距離および角度、または撮像手段、指示情報に対応する位置、空間上の構成物の位置関係に基づき指示情報を取捨選択するので、表示すべき指示情報の数を抑制した（減らした）、見やすい指示画像を生成することができる。
【０１９８】
つぎの発明によれば、指示情報生成手段が、予め設定された作業手順情報と、現在の作業の進行状況情報とに基づき指示情報を生成すると、指示画像生成手段が、この生成された指示情報と情景画像とに基づいて指示画像を生成するので、一連の作業手順を、その順を追って指示することができる。よって、作業車のドライバーは、作業手順における各手順に応じて表示される指示画像を参照しながら、作業操作を実施することが可能となる。
【０１９９】
つぎの発明によれば、進行状況記憶手段は作業手順情報と位置または角度の推定値とに基づき、作業の進行状況を判断するので、作業の進行状況を自動的に把握して次の作業手順を指示することができる。
【０２００】
つぎの発明によれば、作業手順情報と現在の車両の状態とに基づき、作業の進行状況を判断するので、作業の進行状況を自動的に把握して次の作業手順を指示することができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１である映像ナビゲーション装置の構成を示すブロック図である。
【図２】 この発明の実施の形態１である映像ナビゲーション装置の概略外観を示す外観図である。
【図３】 図１に示した映像ナビゲーション装置の処理手順を示すフローチャートである。
【図４】 図１に示した映像ナビゲーション装置の空間情報記憶手段に記憶される空間情報の一例を説明するための図である。
【図５】 図１に示した映像ナビゲーション装置の指示情報記憶手段に記憶される指示情報の一例を説明するための図である。
【図６】 図１に示した映像ナビゲーション装置の位置・角度情報記憶手段に記憶される位置情報および角度情報の一例を説明するための図である。
【図７】 各座標系の関係について説明する図である。
【図８】 図１に示した映像ナビゲーション装置の照合手段の処理手順を示すフローチャートである。
【図９】 図１に示した映像ナビゲーション装置の照合手段の照合処理過程を説明するための図である。
【図１０】 図１に示した映像ナビゲーション装置の指示画像生成手段の指示画像生成処理過程を説明するための図である。
【図１１】 本発明の実施の形態２である映像ナビゲーション装置の照合手段の照合処理過程を説明するための図である
【図１２】 この発明の実施の形態３である映像ナビゲーション装置の構成を示すブロック図である。
【図１３】 この発明の実施の形態３である映像ナビゲーション装置の概略外観を示す外観図である。
【図１４】 図１２に示した映像ナビゲーション装置の処理手順を示すフローチャートである。
【図１５】 図１２に示した映像ナビゲーション装置における情景画像の取り込み処理、指示画像の生成及び表示処理を説明するための図である。
【図１６】 図１２に示した映像ナビゲーション装置のカメラの構成を示すブロック図である。
【図１７】 図１６に示したカメラの制御部の処理手順を示すフローチャートである。
【図１８】 この発明の実施の形態６である映像ナビゲーション装置の構成を示すブロック図である。
【図１９】 図１８に示した映像ナビゲーション装置の処理手順を示すフローチャートである。
【図２０】 図１８に示した映像ナビゲーション装置の作業手順記憶手段に記憶される作業手順情報の一例を説明するための図である。
【図２１】 図１８に示した映像ナビゲーション装置の指示情報生成手段により生成される指示情報の一例を説明するための図である。
【図２２】 図１８に示した映像ナビゲーション装置の指示画像生成手段により生成される指示画像の一例を示す図である。
【図２３】 従来の映像ナビゲーション装置の構成を示すブロック図である。
【符号の説明】
１０ カメラ、１１ カメラ可動部、１２ カメラ固定部、１３ モーター、１４ 制御部、２０ 装置本体、２１，６０１ 情景画像記憶手段、２２ 空間情報記憶手段、２３ 指示情報記憶手段、２４ 位置・角度情報推定手段、２５位置・角度情報記憶手段、２６ 推定画像生成手段、２７ 推定画像記憶手段、２８ 照合手段、２９，６０７ 指示画像生成手段、３０ 表示装置、４０ 位置・角度センサー、３００ 実写画像記憶手段、３１０ 装置本体兼表示装置、５００ 角度センサー、６０２ 推定手段、６０３ 推定値記憶手段、６０４作業手順記憶手段、６０５ 進行状況記憶手段、６０６ 指示情報生成手段。

Claims (12)

1. 情景を撮像する撮像手段と、
   前記撮像手段の位置および角度を推定する推定手段と、
   前記推定手段によって推定された撮像手段の位置および角度の推定値に対応して推定画像を生成する推定画像生成手段と、
   前記推定画像生成手段によって生成された推定画像と前記撮像手段によって撮像された情景画像とを照合すると共に、この照合した結果に応じて前記推定手段によって推定された推定値を補正する照合手段と、
   前記照合手段による補正処理された後の前記撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき予め指示される指示情報を加工して指示画像を生成する指示画像生成手段と、
   前記指示画像生成手段によって生成された指示画像を表示する表示手段と、
   を備えたことを特徴とする映像ナビゲーション装置。
2. 前記指示画像生成手段は、
   前記位置情報および角度情報に基づき前記指示情報を加工し、この加工した結果と前記撮像手段により撮像された情景画像または前記推定画像生成手段により生成された推定画像のいずれかの画像とを合成して指示画像を生成する
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
3. 前記推定手段は、
   現在までの撮像手段の位置および角度の情報の履歴をもとに現在の撮像手段の位置および角度を推定する
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
4. 前記推定画像生成手段は、
   予め設定される空間情報に基づき、前記撮像手段の位置および角度の推定値に対応した推定画像を生成する
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
5. 前記推定画像生成手段は、
   前記撮像手段の位置および角度の推定値に対応した実写画像を推定画像として生成する
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
6. 前記推定手段は、
   前記指示情報に基づき次に利用者が目標とすべき位置を推定値とする
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
7. 前記撮像手段に対して、前記指示情報に基づき決定される所定の角度を維持するように制御する制御手段
   を更に備えたことを特徴とする請求項１に記載の映像ナビゲーション装置。
8. 前記照合手段は、
   前記情景画像と前記推定画像との合致度または当該合致度の変化を示す情報を利用者に報知する
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
9. 前記撮像手段の位置および角度を示す情報の系列を記憶する第１の記憶手段と、
   前記情景画像の系列を記憶する第２の記憶手段と、
   を更に備え、
   前記照合手段は、
   前記第１の記憶手段に記憶されている撮像手段の位置および角度を示す情報の系列が所定の条件を満たさない場合は、前記第１及び第２の記憶手段の記憶内容に基づいて、当該系列をさかのぼって推定画像と情景画像との照合をやり直す
   ことを特徴とする請求項１に記載の映像ナビゲーション装置。
10. 前記指示画像生成手段は、
    前記撮像手段と前記指示情報に対応する位置との間の距離および前記撮像手段と前記指示情報に対応する位置とを結ぶ直線の方向と当該撮像手段の視線方向との成す角の角度、または前記撮像手段、前記指示情報に対応する位置および空間上の構成物の位置関係に基づき指示情報を取捨選択し、この取捨選択した指示情報を加工して指示画像を生成する
    ことを特徴とする請求項１に記載の映像ナビゲーション装置。
11. 情景を撮像する撮像手段と、
    前記撮像手段の位置および角度を推定する推定手段と、
    予め設定される作業手順を示す作業手順情報と当該作業手順に基づいて実施される作業の進行状況を示す進行状況情報とに基づき指示情報を生成する指示情報生成手段と、
    前記推定手段によって推定された前記撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき前記指示情報生成手段によって生成された指示情報を加工して指示画像を生成する指示画像生成手段と、
    前記指示画像生成手段によって生成された指示画像を表示する表示手段と、
    を備え、
    前記作業手順情報と前記推定手段によって推定された前記位置情報または角度情報の推定値とに基づき、作業の進行状況を判断し、この判断した結果を記憶する進行状況記憶手段
    を更に備えたことを特徴とする映像ナビゲーション装置。
12. 情景を撮像する撮像手段と、
    前記撮像手段の位置および角度を推定する推定手段と、
    予め設定される作業手順を示す作業手順情報と当該作業手順に基づいて実施される作業の進行状況を示す進行状況情報とに基づき指示情報を生成する指示情報生成手段と、
    前記推定手段によって推定された前記撮像手段の位置を示す位置情報および当該撮像手段の角度を示す角度情報に基づき前記指示情報生成手段によって生成された指示情報を加工して指示画像を生成する指示画像生成手段と、
    前記指示画像生成手段によって生成された指示画像を表示する表示手段と、
    を作業する車両に搭載し、
    前記作業手順情報と現在の前記車両の状態とに基づき、作業の進行状況を判断し、この判断した結果を記憶する進行状況記憶手段
    を更に備えたことを特徴とする映像ナビゲーション装置。

Images