JP4250391B2 - 指標検出装置、指標検出方法 - Google Patents

指標検出装置、指標検出方法 Download PDF

Info

Publication number
JP4250391B2
JP4250391B2 JP2002268832A JP2002268832A JP4250391B2 JP 4250391 B2 JP4250391 B2 JP 4250391B2 JP 2002268832 A JP2002268832 A JP 2002268832A JP 2002268832 A JP2002268832 A JP 2002268832A JP 4250391 B2 JP4250391 B2 JP 4250391B2
Authority
JP
Japan
Prior art keywords
index
external
image
position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002268832A
Other languages
English (en)
Other versions
JP2004106596A5 (ja
JP2004106596A (ja
Inventor
智泰 中津留
清秀 佐藤
恒夫 吉川
泰義 横小路
大亮 衛藤
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to JP2002268832A priority Critical patent/JP4250391B2/ja
Priority claimed from US10/660,637 external-priority patent/US6956503B2/en
Publication of JP2004106596A publication Critical patent/JP2004106596A/ja
Publication of JP2004106596A5 publication Critical patent/JP2004106596A5/ja
Application granted granted Critical
Publication of JP4250391B2 publication Critical patent/JP4250391B2/ja
Application status is Expired - Fee Related legal-status Critical
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、環境中に複数存在する外部指標を画像から検出する為の技術に関するものである。
【0002】
【従来の技術】
カーナビゲーションシステム(以下カーナビ)は、近年の高機能化や低価格化などによりその普及が進んでいる。ITS(Intelligent Transport Systems)の進展に伴い、カーナビディスプレイは、ナビゲーション情報以外にも運転者を補佐するさまざまな情報を提示する端末としての役割を担うことが期待されている。
【0003】
しかし、従来のカーナビは、運転者がディスプレイを見るためには一度視線を車内に向けなければならなかった。したがって、ディスプレイを見ている間は道路の状況を周辺視によってでしか把握することが出来ず、前方への注意が一瞬途切れてしまうという問題があった。
【0004】
この問題を解決する技術に、HUD(Head Up Display)がある。HUDは、車両のフロントウィンドウ上に画像を投影表示する装置である。これにより、実シーンから視線をそらすことなくナビゲーション情報を獲得することが可能となる。
【0005】
また、従来のカーナビは、ディスプレイに提示されるナビゲーション情報(多くの場合、地図上に重畳表示される)と実シーンとの関連付けを運転者自身が行わなくてならず、直感的に理解しにくいという問題があった。
【0006】
この問題に対して従来技術では、「On-the-Scene HUD」と称する装置が提案されている。On-the-Scene HUDは、車両のフロントウィンドウをシースルーディスプレイとみなして、運転者が必要とするナビゲーション情報が実シーン上の適切な位置に重畳して観察されるように、フロントウィンドウ上にナビゲーション情報を提示するものである(例えば、非特許文献1を参照)。
【0007】
On-the-Scene HUDを用いれば運転者がより短い時間でナビゲーション情報を認識できることが、上記非特許文献1には示されている。しかし、ナビゲーション情報を実シーン上の適切な位置に重畳して提示するための具体的な位置合わせ方法については示していなかった。
【0008】
一般に、実シーン上の所定の位置に所定の情報を重畳して表示する技術は、複合現実感技術と呼ばれている。複合現実感提示装置の一般的構成では、観察者は透過型のHMD(Head Mounted Display)を頭部に装着することで、ディスプレイ上に表示される画像と、ディスプレイ越しに観察される実シーンを同時に観察することができる。このとき、実シーン上の所定の位置に所定の像を重畳するためには、実シーン中における観察者の視点の位置及び姿勢を計測し、それに従った画像を生成する必要がある。
【0009】
観察者の視点の位置及び姿勢の計測は、様々な方法によって行うことができる。HMDに磁気センサや超音波センサを装着する方法が一般的であるが、磁気や超音波の発生源を実シーン中に設置する必要があるため、観察者の移動可能範囲が限定されるという問題がある。また、これらの方法は、十分な計測精度が得られないという問題も有している。
【0010】
一方、計測範囲の制限を受けず、高い精度で視点の位置及び姿勢の計測可能な方法として、HMDにビデオカメラを装着し、撮影された映像から実シーン中の指標を検出し、それに基づいて視点の位置及び姿勢を計測する方法が提案されている。例えば従来では、画像上から抽出した指標の画像座標を拡張カルマンフィルタへの入力として用いることで、視点の位置及び姿勢を状態変数として推定している(例えば、非特許文献2を参照)。
【0011】
しかし、上記のようなHMDを用いた複合現実感提示装置における位置合わせ手法によって、On-the-Scene HUDにおける位置合わせを実現することは出来ない。これは、HMDでは観察者の視点がディスプレイに固定されているのに対して、HUDでは観察者(運転者)の視点とディスプレイの相対的な位置関係が固定されていないことに起因する。
【0012】
ディスプレイと視点との位置関係が固定されていないタイプの複合現実感提示装置は、例えば従来では、位置合わせを行うためには、実シーン中におけるディスプレイ面の位置及び姿勢と、ディスプレイ面に対する観察者の位置の計測が必要であることが示されている(例えば、特許文献1を参照)。
【0013】
一方、車両の位置及び方位の計測に関しては、GPS(Global Positioning System)と慣性航法に基づいた車両計測装置が、従来のカーナビにおいて利用されている。
【非特許文献1】
J.Fukano, S.Okabayashi, M.Sakata:Automotive Head-Up Displays for Navigation Use, The 14th International Technical Conference on Enhanced Safety of Vehicles,no.94-S2-O-02,pp.306-314, 1994.
【非特許文献2】
横小路泰義, 菅原嘉彦, 吉川恒夫:画像と加速度計を用いたHMD上での映像の正確な重ね合わせ, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.589-598, 1999.
【特許文献1】
特開2000−276613号公報
【発明が解決しようとする課題】
しかし、上記特許文献1に記載の装置は、表示部を手に保持して使用することを前提とした装置であって、表示部の位置及び姿勢の計測は磁気センサや超音波センサを用いることを想定しており、広範囲を移動する車両の計測を行う手法は示されていなかった。
【0014】
また、上記非特許文献2に記載の手法は、任意の位置及び姿勢をとりうる人間の頭部を計測するための手法であるために解の自由度が大きく、誤った推定値を出力する場合があるという問題を有していた。
【0015】
また、上記非特許文献2に記載の手法は、ビデオカメラの視立体に含まれるであろう全ての指標に対して検出処理を行うために、実シーン中の他の物体に隠蔽されているために画像上で観測されていない指標があった場合でも、その指標の検出処理を行ってしまい、これが指標の誤検出を引き起こす原因となり、誤った位置及び姿勢の推定値を出力してしまう場合があるという問題を有していた。
【0016】
また、GPSと慣性航法に基づいた車両計測装置は精度が低く、特に、交差点での進行方向指示や事前の車線方向指示のような、実シーンとの正確な位置合わせが必須とされる用途への適用は困難であった。
【0017】
本発明は、指標の隠蔽を考慮して高精度に指標を識別することができるようにすることにより、指標の誤識別を低減することを目的とする。
【0018】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の指標検出装置は以下の構成を備える。
【0023】
すなわち、環境中に複数存在する外部指標を画像から検出する指標検出装置であって、
位置に関する情報を含む前記外部指標の指標情報を予め保持する指標情報保持手段と、
撮影部を用いて前記環境を撮影することにより得られた画像を取得する画像取得手段と、
前記指標情報保持手段に保持されている指標情報と前記撮影部の位置姿勢の推定値とに基づき、前記外部指標の前記画像における座標を推定し、前記画像内に含まれる外部指標を選択する選択手段と、
前記撮像部の位置姿勢の推定値と前記選択手段により選択された外部指標に対応する前記指標情報保持手段に保持されている指標情報とから、該選択された外部指標が隠蔽されているか否かを判定する判定手段と、
前記判定手段により隠蔽されていないと判定された外部指標を、前記画像から検出する検出手段と
を有することを特徴とする。
【0028】
本発明の目的を達成するために、例えば本発明の指標検出方法は以下の構成を備える。
【0029】
すなわち、環境中に複数存在する外部指標を画像から検出する為の指標検出装置であって、位置に関する情報を含む前記外部指標の指標情報を予め保持する指標情報保持手段を備える指標検出装置が行う指標検出方法であって、
撮影部を用いて前記環境を撮影することにより得られた画像を取得する画像取得工程と、
前記指標情報保持手段に保持されている指標情報と前記撮影部の位置姿勢の推定値とに基づき、前記外部指標の前記画像における座標を推定し、前記画像内に含まれる外部指標を選択する選択工程と、
前記撮像部の位置姿勢の推定値と前記選択工程で選択された外部指標に対応する前記指標情報保持手段に保持されている指標情報とから、該選択された外部指標が隠蔽されているか否かを判定する判定工程と、
前記判定工程で隠蔽されていないと判定された外部指標を、前記画像から検出する検出工程と
を有することを特徴とする。
【0030】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施形態について詳細に説明する。
【0031】
[第1の実施形態]
図1は、車両に取り付けられた本実施形態に係る画像表示装置の機能構成を示すブロック図である。本実施形態における画像表示装置は、外部撮影用カメラ100、外部指標検出部105、回転速度計110、車両計測部120、搭乗者撮影用カメラ130、頭部指標検出部135、頭部計測部140、画像生成部150、プロジェクタ160、コンバイナ170、によって構成されている。
【0032】
車両の搭乗者132(本実施形態では搭乗者は即ち車両の運転者でもある)はフロントウィンドウ部131を通して外界の物体151が目視可能であると共に、フロントウィンドウ部131に取り付けられたコンバイナ170に表示される、画像表示装置による後述の処理によって生成されるナビゲーション情報を示す画像も目視可能である。すなわち、搭乗者132は、ナビゲーション情報を上記外界の物体151に重畳されている状態で目視することができる。
【0033】
外部撮影用カメラ100、外部指標検出部105、回転速度計110、車両計測部120によって構成される車両計測手段について説明する。外部撮影用カメラ100は、車両のボンネット部に車両の前方を向いて装着されており、車外の外界の実シーンを撮影し、撮影した画像を外部指標検出部105へと出力する。図9に車両900のボンネット部に取り付けられた外部撮影用カメラ100を示す。外部指標検出部105は、外部撮影用カメラ100が出力する撮影画像を入力し、実シーン中に設定されている後述の外部指標を画像から検出し、検出した外部指標の画像における位置(座標)を車両計測部120へと出力する。回転速度計110は、車両の右後輪および左後輪に接続されており、各車輪の回転速度を計測し、その計測結果を車両計測部120へと出力する。車両計測部120は、外部指標検出部105が出力する外部指標の画像座標と、回転速度計110が出力する各車輪の回転速度を入力し、これに基づいて世界座標系における車両の位置、及び方位を計測し、その結果を画像生成部150へと出力する。
【0034】
搭乗者撮影用カメラ130、頭部指標検出部135、頭部計測部140によって構成される頭部計測手段について説明する。搭乗者撮影用カメラ130は、フロントウィンドウ131上部に搭乗者132の頭部を向いて装着されており、頭部を撮影し、撮影した映像を頭部指標検出部135へと出力する。頭部指標検出部135は、搭乗者撮影用カメラ130が出力する撮影画像を入力し、搭乗者132の頭部に設定されている後述の頭部指標を画像から検出し、検出した頭部指標の画像における位置(座標)を頭部計測部140へと出力する。頭部計測部140は、頭部指標検出部135が出力する頭部指標の画像座標を入力し、これに基づいて車両内で定義される後述の座標系における搭乗者132の頭部の位置を計測し、その結果を画像生成部150へと出力する。
【0035】
次に、制御手段としての画像生成部150について説明する。画像生成部150は、車両計測部120から車両の位置と方位を入力し、また、頭部計測部140から搭乗者132の頭部の位置を入力し、これらの情報に基づいて、実シーンの所定の位置(同図の例では、物体151の前面(搭乗者132側の面))に所定のナビゲーション情報を示す画像が重畳して観察されるように表示画像の生成を行い、これをプロジェクタ160に出力する。
【0036】
次に、プロジェクタ160としての表示装置について説明する。プロジェクタ160はフロントウィンドウ131下部に設置されており、画像生成部150が出力する表示画像を入力し、コンバイナ170に向けて投影する。コンバイナ170はフロントウィンドウ131上に設置されている。プロジェクタ160によって投影される画像はコンバイナ170上で反射し、搭乗者132には上記ナビゲーション情報を示す画像を含む画像が虚像171として観察される。
【0037】
図2に虚像171の例を示す。同図の例では、ナビゲーション情報として矢印200が表示されている。同図の虚像171は矢印の画像200以外の領域には何も表示されていない。図3に、搭乗者132によって観察されるフロントウィンドウ部の状態を示す。同図に示すとおり搭乗者132はフロントウィンドウ部を介して外界の物体151が観察可能であると共に、これに重畳された虚像171,即ち矢印の画像200をも観察することができる。
【0038】
次に、上記車両計測手段、頭部計測手段、制御手段、表示装置について更に詳細に説明するが、まず初めに、以下で用いる主な変数について示す。
【0039】
Σ:座標系。例えばΣはeによって定義される座標系を表す。
【0040】
x:x座標を表すスカラー値。例えばe1e2は座標系Σe1におけるe2のx座標を表す。
【0041】
y:y座標を表すスカラー値。例えばe1e2は座標系Σe1におけるe2のy座標を表す。
【0042】
z:z座標を表すスカラー値。例えばe1e2は座標系Σe1におけるe2のz座標を表す。
【0043】
r:位置を表す3値ベクトル。例えばe1e2は座標系Σe1におけるe2の位置を表す。
【0044】
p:画像位置を表す2値ベクトル。例えばe2は画像Iにおけるe2の位置を表す。
【0045】
R:姿勢を表す3×3行列。例えばe1e2は座標系Σe1におけるe2の姿勢を表す。
【0046】
φ:オイラー角表現による姿勢を表す3値ベクトル。
【0047】
ω:各軸まわりの角速度を表す3値ベクトル。
【0048】
b:実シーン。Σは実シーン座標系(世界座標系)を表す。
【0049】
w:車両10。Σは車両座標系を表す。
【0050】
u:搭乗者132の頭部。Σは頭部座標系を表す。
【0051】
c1:外部撮影用カメラ100。座標系Σc1は外部撮影用カメラ座標系を表す。
【0052】
c2:搭乗者撮影用カメラ130。座標系Σc2は搭乗者撮影用カメラ座標系を表す。
【0053】
d:虚像面。座標系Σは虚像面座標系を表す。
【0054】
I:撮影画像。座標系Σは画像座標系(2次元)を表す。
【0055】
g:ナビゲーション情報の重畳対象物体(例えば外界の物体151)。
【0056】
q:ナビゲーション情報として表示する像(例えば矢印200)。
【0057】
ζ:方位角(x−y平面内におけるy軸に対する角度)を表すスカラー値。ζは実シーン中における車両の方位角を表す。
【0058】
x’:x方向の速度成分を表すスカラー値。
【0059】
y’:y方向の速度成分を表すスカラー値。
【0060】
ζ’:方位角速度を表すスカラー値。
【0061】
t:時刻。例えばr(t)は時刻tにおける車両の位置を表す。
【0062】
k:サンプル時刻を表す整数。例えばtはk番目の処理における時刻。
【0063】
Δt:サンプリング間の微小時刻。すなわち、tk+1=t+Δt。
【0064】
m:外部指標101。mはi番目に検出された外部指標を表す。
【0065】
M:画像I上で検出された外部指標の総数。
【0066】
n:頭部指標133。nはi番目に検出された頭部指標を表す。
【0067】
N:画像I上で検出される頭部指標の総数。
【0068】
ψ’:車輪の回転角速度(計測値)。
【0069】
v:車両の速度を表すスカラー値。
【0070】
A:右後輪と左後輪の中間点から両後輪までの距離であって、既知。
【0071】
B:車輪の直径であって、既知。
【0072】
:外部撮影用カメラ100の焦点距離を表すスカラー値。既知。
【0073】
:搭乗者撮影用カメラ130の焦点距離を表すスカラー値。既知。
【0074】
:観測量ベクトル
:観測量ベクトルの推定値
:状態量ベクトル
:状態量ベクトルの推定値
(x):状態方程式
(x):観測方程式
:カルマンゲイン
また、以下では、各座標系が以下のように定義されているものという前提で説明を行う。すなわち、基準となる実シーンの座標系Σは、水平面上の適当な位置に原点Oをとり、水平面内で夫々直交する方向にX及びY軸を、水平面の法線方向にZ軸をとる。車両座標系Σは、車両上の適当な位置に原点Oをとり、運転席に座って左から右に向かう方向にX軸を、後ろから前に向かう方向にY軸を、下から上へ向かう方向にZ軸をとるものとする。
【0075】
頭部座標系Σは、搭乗者132の両目の中点に原点Oをとり、左眼から右眼に向かう方向にX軸を、両目の中点と鼻を結ぶ方向にY軸を、搭乗者132の正面方向にZ軸をとるものとする。外部撮影用カメラ座標系Σc1及び搭乗者撮影用カメラ座標系Σc2は、それぞれ光軸の前方に向けてZ軸を、画像の左から右に向かう方向にX軸を、画像の上から下に向かう方向にY軸をとるものとする。また、虚像面座標系Σは、プロジェクタが投影する虚像面上に原点Oをとり、向かって右から左方向にX軸を、上から下方向にY軸を、虚像面の法線方向にZ軸をとるものとする。
【0076】
<車両計測手段>
図4は車両計測手段が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。車両の計測は、拡張カルマンフィルタの枠組みに従って行われる。
【0077】
以下では、拡張カルマンフィルタの状態量ベクトルx(6次元)を、時刻tにおける実シーン座標系Σにおける車両のx座標、y座標、方位角と、それぞれの時間微分値を並べたベクトルとして定義する。
【0078】
【数1】
【0079】
ステップS400において、車両計測部120は、時刻tk−1における状態量ベクトルxk−1を拡張カルマンフィルタの状態方程式f(x)に代入することで、時刻tにおける状態量ベクトルの推定値x を算出する。状態方程式f(x)は、各サンプリング間では車両が等速で運動するという仮定を置くと、次式のように定義できる。
【0080】
【数2】
【0081】
ステップS410において、回転速度計110は、右後輪および左後輪の回転速度の計測を行う。車両計測部120は、これらの情報を時刻tにおける回転角速度ψ’(t),ψ’(t)として記憶する。
【0082】
ステップS420において、外部指標検出部105は、外部撮影用カメラ100から入力される入力画像I上の各外部指標mの画像座標I1mi(i=1,2,‥,M)を検出する。ここで外部指標とは外界に存在する様々な物体の特徴的な部位のうち、用いるべき指標として予め画像表示装置に登録しておいた部位のことで、例えば建物の角や看板の文字などである。外部指標、及び外部指標の検出処理に関する詳細については後述する。車両計測部120は、検出された時刻tにおける各指標mの画像座標I1mi(t)を記憶する。
【0083】
ステップS430において、車両計測部120は、ステップS410及びステップS420で入力した情報を用いて、拡張カルマンフィルタの観測量ベクトルy((2M+2)次元)を、次式によって作成する。
【0084】
【数3】
【0085】
ステップS440において、車両計測部120は、式(4)で定義される拡張カルマンフィルタの観測方程式h(x)に状態量ベクトルの推定値x を代入することで、時刻tにおける観測量ベクトルの推定値y を算出する。
【0086】
【数4】
【0087】
ここで、式(4)中のvは、以下の式によりxから算出する。
【0088】
【数5】
【0089】
また、式(4)中のI1 miは、入力画像I1上で観測されている各指標mの画像座標の推定値であり、以下の式により算出する。
【0090】
【数6】
ただし、c1mic1mic1miは、外部撮影用カメラ座標系Σc1における指標mの位置であり、以下の式によりxから算出する。
【0091】
【数7】
【0092】
ここで、miは実シーン座標系Σにおける指標mの位置、c1c1は車両座標系Σにおける外部撮影用カメラ100の位置及び姿勢であり、予め計測されているものとする。また、(t)は実シーン座標系Σにおける車両の姿勢であり、ζ(t)に基づいて算出する。一方、(t)は実シーン座標系Σにおける車両の位置であり、(t)と(t)に基づいて算出する。なお、本実施形態では、実シーン座標系Σのx−y平面に対する車両の傾斜角(ロール角およびピッチ角)は一定値であり、予め既知の値として記憶されているものと仮定している。また、実シーン座標系Σにおける車両のz座標は一定値であり、予め既知の値として記憶されているものと仮定している。
【0093】
ステップS450において、車両計測部120は、状態量ベクトルの推定値x 、観測量ベクトルの推定値y 、観測量ベクトルyに基づいて、次式により、状態ベクトルの更新を行う。
【0094】
【数8】
【0095】
ここで、カルマンゲインKは、状態方程式f(x)、観測方程式h(x)、及び状態量ベクトルxk−1に基づいて定義される係数行列(6×(2M+2))である。カルマンゲインの算出方法は、例えば、西山清:最適フィルタリング、培風館、2001.において開示されているので、ここでは詳細な説明を省略する。
【0096】
ステップS460において、車両計測手段は、更新された状態量ベクトルxから車両の位置(t),(t)と方位ζ(t)を得て、制御手段である画像生成部150に出力する。
【0097】
ステップS470において、車両計測手段は、処理を終了するかどうかの判定を行う。処理を継続する場合には、kをk+1として、再びステップS400以降の処理を実行する。なお、外部指標検出部105及び車両計測部120は、例えば1台の汎用コンピュータにより構成することが可能である。
【0098】
次に、図5を用いて、回転速度計110の詳細を説明する。図5は右後輪の回転速度を検出するための構成を示す図で、左後輪についても同様の構成により回転速度を検出することができる。右後輪500Rの回転速度の計測は、ロータリーエンコーダ510Rと車輪520Rによって行われる。車輪520Rは、ロータリーエンコーダ510Rの回転軸に取り付けられており、さらに、車輪520Rは、右後輪500Rに接触するように設置されている。ロータリーエンコーダ510Rは、車輪520Rの回転角速度ψ’を測定し、右後輪500Rの回転速度を表す情報としてこれを出力する。不図示の左後輪500Lの計測も同様の構成によって実現され、不図示の車輪520Lの回転角速度ψ’が出力される。
【0099】
次に、図6を用いて、外部指標検出部105における処理の詳細を説明する。図6は外部指標検出部105の基本構成を示すブロック図である。外部指標検出部105は、推定座標算出部600、指標選択部610、画像処理部620によって構成されている。指標選択部610はさらに、隠蔽判定部630と、指標情報保持部640によって構成されている。
【0100】
推定座標算出部600は、車両計測部120で算出された車両の位置及び方位の推定値を入力し、式(6)および式(7)を用いて全ての外部指標に対して入力画像I上における画像座標の推定値I1 miを算出する。得られた推定値が撮像面の範囲に含まれている識別子が、隠蔽判定部630へと出力される。指標情報保持部640は、指標の検出を行うためのテンプレート画像を撮影した際の車両の位置及び方位を、各々の指標毎に保持している。
【0101】
隠蔽判定部630は、推定座標算出部600から得た推定値が撮像面の範囲に含まれる各々の指標に対して、隠蔽の有無の判定を行う。具体的には、車両計測部120で算出された車両の位置及び方位の推定値と、指標情報保持部640が保持している注目指標の検出を行うためのテンプレート画像を撮影した際の車両の位置及び方位とが著しく離れている場合には、この注目指標は隠蔽されていると判定される。この判定により隠蔽されていないと判定された指標の識別子が、検出処理対象として画像処理部620へと出力される。
【0102】
なお、テンプレート画像撮影時の位置及び方位と現在の位置及び方位の相違の比較は、例えば2地点間の距離に基づいて行っても良いし、方位角の相違によって行っても良い。また、判定の閾値は全ての指標に共通の閾値を用いても良いし、指標ごとに異なる閾値を定めても良い。なお、車両の位置及び方位ではなく、外部撮影用カメラ100の位置及び姿勢を基準としても同様な機能が実現できることは言うまでもない。
【0103】
画像処理部620は、指標選択部610によって選択された指標を処理対象として、予め登録されている各指標のテンプレート画像を用いたテンプレートマッチングにより、画像Iから指標の検出を行う。このとき、推定座標算出部600が算出した画像座標の推定値I1 miを用いることで探索範囲の限定を行うことが好ましい。
【0104】
以上の処理手順によって、実シーン座標系Σにおける車両の位置及び方位ζが計測される。
【0105】
<頭部計測手段>
図7は頭部計測手段が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。頭部の計測も、車両の計測と同様に拡張カルマンフィルタの枠組みに従って行われる。
【0106】
以下では、状態量ベクトルx(12次元)を、時刻tにおける車両座標系Σにおける搭乗者132の頭部の位置、姿勢φ、速度r’、及び角速度ωを並べたベクトルとして定義する。
【0107】
【数9】
【0108】
ステップS700において、頭部計測部140は、時刻tk−1における状態量ベクトルxk−1を状態方程式f(x)に代入することで、時刻tにおける状態量ベクトルの推定値x を算出する。状態方程式f(x)は、各サンプリング間は各位置及び各姿勢が等速で変化するという仮定を置くと、次式のように定義できる。
【0109】
【数10】
【0110】
ここで、φ’は姿勢φの時間微分値であり、姿勢φ及び角速度ωの関数として導出できることが一般に知られている。その詳細は、例えば Donald B. Gennery:Visual tracking of known three-dimensional objects, International Journal of Computer Vision, vol.7, no.3, pp.243-270, 1992.に開示されているので、説明を省略する。
【0111】
ステップS710において、頭部指標検出部135は、予め登録されている各頭部指標のテンプレート画像を用いて、搭乗者撮影用カメラ130から入力される入力画像I上で観測されている各頭部指標nの画像座標I2ni(i=1,2,‥,N)を検出する。ここで頭部指標とは、頭部(顔)に存在する目、鼻、口などやそれらの部分領域のうち、用いるべき指標として予め画像表示装置に登録しておいたものを指す。頭部計測部140は、これらの情報を時刻tにおける各指標nの画像座標I2ni(t)として記憶する。頭部指標検出部135における処理は外部指標検出部105における処理と同様であるので、詳細な説明は省略する。
【0112】
ステップS720において、頭部計測部140は、ステップS700で入力した情報を用いて、観測量ベクトルy(2N次元)を次式によって作成する。
【0113】
【数11】
【0114】
ステップS730において、頭部計測部140は、式(12)で定義される観測方程式h(x)に状態量ベクトルの推定値x を代入することで、時刻tにおける観測量ベクトルの推定値y を算出する。
【0115】
【数12】
【0116】
ここで、I2 niは、入力画像I上で観測されている各指標nの画像座標の推定値であり、以下の式により算出する。
【0117】
【数13】
【0118】
ただし、c2nic2nic2niは、頭部撮影用カメラ座標系Σc2における指標nの位置であり、以下の式により状態量ベクトルxに基づいて算出する。
【0119】
【数14】
【0120】
ここで、niは頭部座標系Σにおける頭部指標nの位置、c2c2は車両座標系Σにおける搭乗者撮影用カメラ130の位置及び姿勢であり、予め計測されているものとする。また、(t)は車両座標系Σにおける搭乗者132の頭部の姿勢を表す行列であり、φ(t)に基づいて算出する。
【0121】
ステップS740において、頭部計測部140は、観測量ベクトルy、状態量ベクトルの推定値x 、観測量ベクトルの推定値y に基づいて、式(8)により、状態ベクトルの更新を行う。カルマンゲインKの算出方法は公知であるので、ここでは詳細な説明を省略する。
【0122】
ステップS750において、頭部計測手段は、更新された状態量ベクトルxから頭部の位置(t)を得て、制御手段である画像生成部150に出力する。
【0123】
ステップS760において、頭部計測手段は、処理を終了するかどうかの判定を行う。処理を継続する場合には、kをk+1として、再びステップS700以降の処理を実行する。なお、頭部指標検出部135及び頭部計測部140は、例えば1台の汎用コンピュータにより構成することが可能である。以上の処理手順によって、車両座標系Σにおける搭乗者132の頭部の位置が計測される。
【0124】
<制御手段>
図8は制御手段である画像生成部150が行う処理のフローチャートである。以下、同図を参照して、同処理について説明する。ステップS800において、画像生成部150は、車両計測手段によって計測された実シーン座標系Σにおける車両の位置及び方位ζを入力し、位置ベクトルと姿勢行列に変換する。
【0125】
ステップS810において、画像生成部150は、頭部計測手段によって計測された車両座標系Σにおける搭乗者132の頭部の位置を入力する。
【0126】
ステップS820において、画像生成部150は、虚像面座標系Σにおける重畳対象物体151の位置を、以下の式により算出する。
【0127】
【数15】
【0128】
ここで、は実シーン座標系Σにおける重畳対象物体151の位置、は車両座標系Σにおける虚像面の位置及び姿勢であり、予め計測されているものとする。
【0129】
ステップS830において、画像生成部150は、虚像面座標系Σにおける搭乗者132の頭部の位置を、以下の式により算出する。
【0130】
【数16】
【0131】
ステップS840において、画像生成部150は、虚像面座標系Σにおけるナビゲーション情報(矢印200)を示す画像の表示位置を、以下の式により算出する。
【0132】
【数17】
【0133】
ステップS850において、画像生成部150は、虚像面上の位置にナビゲーション情報(矢印200)を示す画像が表示されるように表示画像を生成し、これを表示装置であるプロジェクタ160に出力する。
【0134】
ステップS860において、プロジェクタ160は生成された表示画像をコンバイナ170に向けて投影する。
【0135】
ステップS870において、制御手段である画像生成部150は、処理を終了するかどうかの判定を行う。処理を継続する場合には、kをk+1として、再びステップS800以降の処理を実行する。なお、画像生成部150は、例えば1台の汎用コンピュータにより構成することが可能である。
【0136】
以上の処理手順によって、ナビゲーション情報(矢印200)を示す画像が重畳対象物体151に重畳して観測されるような表示が実現される。
【0137】
また本実施形態では、車両の位置、方位を求めるために、GPSを用いたデータではく、重畳対象である外界の物体と車両との相対的な位置関係を直接計測しているので、GPSに比べてより高い精度で車両の位置、方位を求めることができる。
【0138】
また本実施形態では、車両の位置姿勢に応じてだけでなく、搭乗者の頭部位置に応じた(フロントウィンドウ部の)位置にナビゲーション情報を示す画像が表示されるので、搭乗者の頭部が前後左右に移動しても、搭乗者に対して常に適切な位置にナビゲーション情報を示す画像を提示することができる。
【0139】
[第2の実施形態]
上記実施形態では車両計測部120において、式(2)によって状態方程式f(x)を定義していた。式(2)は、車両が前後左右に自由に移動しうるというモデルに基づく状態方程式であるため、これによって得られる車両の位置の推定値が実際と大きく異なってしまう場合があった。本実施形態では、車体は横滑りしないという仮定に基づく非ホロノミック拘束を導入し、式(2)に替えて、次式のように改良した状態方程式f(x)を設定する。
【0140】
【数18】
【0141】
なお、上記式は状態量ベクトルの推定に非ホロノミック拘束を考慮しただけであり、状態量ベクトルの次元そのものは縮退していない。ゆえに、適当なシステムノイズ特性の導入によって車体の横滑りを考慮することができる。よって本実施形態に係る上記方法により、完全な非ホロノミック拘束を前提として状態方程式を定式化した場合や、上記実施形態のように非ホロノミック拘束を全く考慮せずに状態方程式を定式化した場合のいずれよりも、車両の位置及び方位の推定を正確に行うことができる。その結果、車両計測部120における車両の位置及び方位の計測精度を高めることができる。
【0142】
[第3の実施形態]
上記実施形態における回転速度計110は、ロータリーエンコーダを用いて車輪の回転速度を計測していたが、回転速度計110の構成はこれに限定されるものではなく、車輪の回転速度を計測する目的が同じであれば、他のいずれの構成によって実現しても良い。例えば、回転速度計110として、車両の姿勢制御等の目的で両後輪に装着されているパルスセンサを用いてもよい。本実施形態においては、式(4)中のBの値として、車輪520ではなく後輪500の直径を用いればよい。
【0143】
また、回転速度計110を、一般的なカーナビの慣性航法に用いられている車速センサとジャイロセンサによって構成することでも、同様な効果を得ることができる。車速センサによって計測される車速をμ、ジャイロセンサによって計測される車両の方位角速度をξ’とすると、この場合の回転速度計110は、計測されたμ及びξ’に基づいて次式によって両後輪の回転速度ψ’R及びψ’Lを導出し、これを車両計測部120へと出力する。
【0144】
【数19】
【0145】
[第4の実施形態]
上記実施形態では両車輪の回転速度を求めるために回転速度計110を用いていたが、他のセンサによって計測される車両の速度に関連するデータを利用しても、同様な効果を得ることができる。例えば、回転速度計110の代わりに、一般的なカーナビの慣性航法に用いられているプロペラシャフトの回転パルス計測等に基づく車速センサと、ジャイロセンサを有していてもよい。その場合、車両計測部120は、外部指標検出部105が検出した外部指標の画像座標I1mi(t)と、車速センサによって計測される車速μ(t)及びジャイロセンサによって計測される車両の方位角速度ξ’(t)とを入力し、これらの入力データに基づいて車両の位置及び方位を計測する。その場合、観測ベクトルy及び観測方程式h(x)を次式のように定義することで、上記実施形態と同様の手順によって車両の位置及び方位が計測される。
【0146】
【数20】
【0147】
【数21】
【0148】
ここで、vは車両の速度の推定値であり、式(5)によって状態量ベクトルxから算出する。
【0149】
[第5の実施形態]
また、上記車両計測手段を、外部撮影用カメラ100、外部指標検出部105及び車両計測部120のみによって構成してもよい。すなわち、車両計測部120において、外部指標検出部105から入力される外部指標の画像座標I1mi(t)に基づいて車両の位置及び方位の計測を行う。この場合、観測ベクトルy及び観測方程式h(x)を次式のように定義することで、上記実施形態と同様の手順によって車両の位置及び方位が計測される。
【0150】
【数22】
【0151】
【数23】
【0152】
[第6の実施形態]
上記実施形態における車両計測手段が有する外部撮影用カメラ100は1台であったが、複数台の外部撮影用カメラ100を有していてもよい。この場合、外部指標検出部105も外部撮影用カメラ100に対応する数だけ有することが好ましい。この場合、車両計測部120は、複数の外部指標検出部105で検出された外部指標の画像座標をそれぞれ入力し、それらをもとに観測ベクトルy及び観測方程式h(x)を定義する。観測方程式の導出過程において使用するC1C1及びaの各パラメータを、入力された画像座標のそれぞれに対応する外部撮影用カメラ100に固有な値とすること以外は、上記実施形態と同様な手順によって車両の位置及び姿勢を求めることができる。これにより、より多くの指標座標を安定して検出できるようになるため、車両の位置及び方位の計測精度の向上が期待できる。
【0153】
尚、上記実施形態においては、外部撮影用カメラ100は車両の前方にむけて車両のボンネット部に設置されていたが、実シーン中の外部指標を観測できる位置及び向きであれば、外部撮影用カメラ100の設置位置がこれに限定されるものでないことは言うまでもない。すなわち、車両の後方あるいは側方を向いていてもよいし、車両のフェンダー部や屋根等に設置してもよい。
【0154】
また、頭部計測手段も同様に、複数の頭部撮影用カメラ130を有する構成をとることが可能であり、これにより頭部位置の計測精度を向上させる効果が期待できる。また、頭部撮影用カメラ130の設置位置も、頭部指標が観測できる位置であれば何れの位置であってもよい。
【0155】
[第7の実施形態]
上記実施形態における頭部計測手段は、搭乗者132の頭部の位置計測を常に行っていたが、頭部の位置計測は必ずしも連続的に行わなくても良い。すなわち、頭部計測手段は、所定の時点でのみ頭部の位置計測を行い、計測した頭部位置を制御手段へと出力する。制御手段は、頭部計測手段から最後に入力した頭部位置を保持し、頭部位置を用いて画像の生成を行う。ここで所定の時点とは、画像表示装置を起動した時点としてもよいし、あるいは、搭乗者132が搭乗した時点または運転を開始した時点を検出する手段を更に有する構成として、その検出時点を用いてもよい。また、搭乗者からの指示を入力する手段を更に有する構成として、搭乗者が指示を出した時点に頭部計測処理を行ってもよい。
【0156】
[第8の実施形態]
上記実施形態において、指標選択部610は、車両計測部120で算出された車両の位置及び方位の推定値と、指標のテンプレート画像を撮影した際の車両の位置及び方位に基づいて隠蔽の判定を行っていたが、これ以外の構成で隠蔽の判定を行ってもよい。
【0157】
例えば、指標情報保持部640に、指標の向きに関する情報を保持し、指標の向きと外部撮影用カメラ100の姿勢とから指標の隠蔽を判定してもよい。
【0158】
例えば、指標情報保持部640は、指標の向きに関する情報として指標mの法線方向を表す法線ベクトルηmiを各々の指標毎に保持しており、隠蔽判定部630は、時刻tk−1までに算出された車両の姿勢に基づいて外部撮影用カメラ100の姿勢を算出し、−c1Z軸と法線ベクトルηmiとのなす角が所定の閾値以上の場合には、この指標は隠蔽されているものと判定してもよい。なお、閾値に関しては、全ての指標に共通の閾値を用いてもよいし、指標ごとに異なる閾値を定めてもよい。
【0159】
この方法によれば、壁の裏側に配置されている指標などの明らかに隠蔽されているであろう指標を、簡単に判定することができる。なお、指標の向きに関する情報として他の情報を用いても構わない。
【0160】
[第9の実施形態]
指標選択部610は、実シーンの物体の形状モデルを保持する形状モデル保持手段をさらに有し、また、指標情報保持部640は、指標mの位置miを各々の指標毎に保持しており、隠蔽判定部630は、時刻tk−1までに算出された車両の姿勢に基づいて外部撮影用カメラ100の位置及び姿勢を算出し、それに基づいて、形状モデル保持手段が保持する実シーンの物体の形状モデルと、指標情報保持部640が保持する指標mの位置miから、実シーンの指標以外の物体と各々の指標との前後判定を行うことで指標が隠蔽されているか否かを判定してもよい。
【0161】
[第10の実施形態]
指標選択部610は、上記のいずれかの隠蔽判定手段を併用するものであってもよい。また、必ずしも指標選択部610を有さなくてもよく、推定座標算出部600において撮像面の範囲に含まれると判断された全ての指標に対して画像処理部620における検出処理を行ってもよい。
【0162】
[第11の実施形態]
本実施形態では、指標選択部610は、車両計測部120において車両の位置及び方位の計測を行う処理により有効な指標のみを選択する優先度判定部を更に有している。優先度判定部は、隠蔽判定部630が出力する指標の識別子を入力し、隠蔽判定部630から入力した指標の総数(N)が、画像処理部620が同時に検出可能な指標の総数(N)を超える(すなわちN>N)場合に、N個の指標からN個を選択してその識別子を画像処理部620へと出力する。
【0163】
選択は、例えば、N個の指標からN個の指標を選択する組み合わせの夫々に対して、観測方程式h(x)をxで偏微分したヤコビ行列(これは一般にイメージヤコビアンと呼ばれている)を生成し、その特異値分解の結果得られる条件数が最も1に近くなる組み合わせを選択することで行う。このとき、時刻tk−1における処理で画像処理部620が検出した指標のうちの最低N個(N<N)を組み合わせの中に入れるという制約を設けることで、組み合わせ数の削減による計算量の軽減と、位置合わせの不連続性を除去するという効果を得ることができる。
【0164】
[第12の実施形態]
車両計測手段は、GPS受信手段をさらに有し、車両の大まかな位置及び方位の情報を車両計測部120に供給する。これにより、車両計測部120は、GPS受信手段115から供給される大まかな位置及び方位をたとえば状態量ベクトルxの初期値として用いたり、外部指標検出部105によっていずれの指標も検出されない場合のバックアップとして用いることができる。
【0165】
[第13の実施形態]
上記実施形態においては、車両計測部120は、状態方程式f(xk−1)によって時刻tにおける状態量ベクトルの推定値x を算出していた。本実施形態においては、車両計測手段では、車両の回転及び並進運動の加速度を計測する加速度計を更に有しており、車両計測部120は、加速度計が計測した車両の回転及び並進運動の加速度とf(xk−1)とによって、状態量ベクトルの推定値x を算出する。なお、物体の回転及び並進運動の加速度を計測する加速度計の構成方法や、物体の回転及び並進運動の加速度の計測値を位置姿勢とその時間微分成分を表す状態量ベクトルの推定に利用する方法については、例えば、横小路泰義, 菅原嘉彦, 吉川恒夫:画像と加速度計を用いたHMD上での映像の正確な重ね合わせ, 日本バーチャルリアリティ学会論文誌, vol.4, no.4, pp.589-598, 1999. に述べられているので、詳細な説明は省略する。
【0166】
これにより、特に車両の状態が激しく変化するような状況下における推定値x の精度が向上し、このような状況においてもナビゲーション情報を正確に表示できるという効果が期待できる。尚、頭部計測手段に関しても、搭乗者132の頭部の回転及び並進運動の加速度を計測する加速度計を有する構成をとることが可能であり、頭部計測において同様な効果が期待できる。
【0167】
[第14の実施形態]
上記実施形態においては、実シーン座標系Σにおける車両のz座標は固定値であると仮定していた。しかし本実施形態では、を計測し、これを動的に設定することにより、車両の高度が変化した場合における正確な情報表示を実現する。の値は、例えば、GPSによって受信した高さ情報を用いて設定することができる。同様に、上記実施形態においては、車両の傾斜角(ロール角およびピッチ角)は一定であると仮定していた。本実施形態では、車両の傾斜角を計測しこれを動的に設定することにより、車両の傾斜角が変化した場合における正確な情報表示を実現する。傾斜角の計測は、例えば車両に装着した傾斜計によって行うことができる。
【0168】
[第15の実施形態]
上記実施形態では、プロジェクタ160及びコンバイナ170によってフロントウィンドウ上への画像表示を行っていたが、これに限定されるものではなく、他のいずれのHUDを用いてもよい。例えば、ホログラフィを用いた公知のHUDを用いることで、虚像を対象物体付近に結像させることが期待できる。
【0169】
[第16の実施形態]
上記実施形態では、画像表示装置の一部として車両計測手段が構成されていたが、これに限定されるものではなく、車両の位置及び/または方位を計測する他の何れの用途に上記車両計測手段を適用することが可能である。
【0170】
[第17の実施形態]
上記各実施形態で説明した指標選択部610は、画像上で隠蔽されていないであろう指標を選択するという用途に対してであれば、上記使用目的以外にも適用可能である。特に、複合現実感提示装置におけるHMD装着カメラの撮影する画像に基づいて当該カメラあるいはHMD装着者の視点の位置及び姿勢を計測する目的において、その指標検出の過程に指標選択部610を適用することが有効である。なお、指標は上記実施形態のようなテンプレートマッチングによって検出されるテクスチャ様の指標でなくても良く、例えば、特定の色や形状を有するマーカのように、画像上での位置を特定することを目的とした何れの指標であっても、指標選択部610を用いることが可能であることは言うまでもない。また、画像上で検出された指標の候補となる画像特徴の同定処理を行う際に、現実空間中の指標のなかから対応すべき指標あるいはその候補を選択するような処理においても、指標選択部610は効果を発揮する。
【0171】
[他の実施形態]
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0172】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0173】
本発明を上記記憶媒体に適用する場合、その記憶媒体には先に説明した(図4、及び/または図7、及び/または図8に示す)フローチャートに対応するプログラムコードが格納されることになる。
【0174】
【発明の効果】
以上説明したように、本発明によれば、指標の隠蔽を考慮して高精度に指標を識別することができるようにすることにより、指標の誤識別を低減することができる。
【図面の簡単な説明】
【図1】車両に取り付けられた本発明の第1の実施形態に係る画像表示装置の機能構成を示すブロック図である。
【図2】虚像171の例を示す図である。
【図3】搭乗者132によって観察されるフロントウィンドウ部の状態を示す図である。
【図4】車両計測手段が行う処理のフローチャートである。
【図5】右後輪の回転速度を検出するための構成を示す図である。
【図6】外部指標検出部105の基本構成を示すブロック図である。
【図7】頭部計測手段が行う処理のフローチャートである。
【図8】制御手段である画像生成部150が行う処理のフローチャートである。
【図9】車両900のボンネット部に取り付けられた外部撮影用カメラ100を示す図である。

Claims (7)

  1. 環境中に複数存在する外部指標を画像から検出する指標検出装置であって、
    位置に関する情報を含む前記外部指標の指標情報を予め保持する指標情報保持手段と、
    撮影部を用いて前記環境を撮影することにより得られた画像を取得する画像取得手段と、
    前記指標情報保持手段に保持されている指標情報と前記撮影部の位置姿勢の推定値とに基づき、前記外部指標の前記画像における座標を推定し、前記画像内に含まれる外部指標を選択する選択手段と、
    前記撮像部の位置姿勢の推定値と前記選択手段により選択された外部指標に対応する前記指標情報保持手段に保持されている指標情報とから、該選択された外部指標が隠蔽されているか否かを判定する判定手段と、
    前記判定手段により隠蔽されていないと判定された外部指標を、前記画像から検出する検出手段と
    を有することを特徴とする指標検出装置
  2. 前記指標情報保持手段は、前記指標情報としてさらに、前記外部指標の各々を検出するためのテンプレート画像と、該テンプレート画像を撮影した際の前記撮影部の位置姿勢に関する情報を少なくとも保持しており、
    前記検出手段が行う外部指標の検出は、前記指標情報保持手段が保持する前記外部指標各々のテンプレート画像を用いたテンプレートマッチングによるものであり、
    前記判定手段は、前記指標情報保持手段が保持する前記撮影部の位置姿勢に関する情報と、前記撮影部の位置姿勢の推定値との比較によって、当該外部指標の隠蔽の有無を判定することを特徴とする請求項1に記載の指標検出装置
  3. 前記指標情報保持手段は、前記指標情報としてさらに、前記外部指標各々の向きに関する情報を少なくとも保持しており、
    前記判定手段は、前記指標情報保持手段が保持する前記外部指標各々の向きに関する情報、前記撮影部の姿勢の推定値との比較によって、当該外部指標の隠蔽の有無を判定することを特徴とする請求項に記載の指標検出装置
  4. 撮影される現実のシーンの形状を表す形状モデルを保持する形状モデル保持手段をさらに有し、
    前記判定手段は、前記外部指標各々の位置と、前記撮影部の位置姿勢の推定値と、前記形状モデル保持手段が保持する現実のシーンの形状モデルとに基づいて、当該外部指標の隠蔽の有無を判定することを特徴とする請求項に記載の指標検出装置
  5. 更に、前記撮影部の位置姿勢を算出する手段を備えることを特徴とする請求項1乃至4の何れか1項に記載の指標検出装置
  6. コンピュータを、請求項1乃至5の何れか1項に記載の指標検出装置が有する各手段として機能させるためのコンピュータプログラム。
  7. 環境中に複数存在する外部指標を画像から検出する為の指標検出装置であって、位置に関する情報を含む前記外部指標の指標情報を予め保持する指標情報保持手段を備える指標検出装置が行う指標検出方法であって、
    撮影部を用いて前記環境を撮影することにより得られた画像を取得する画像取得工程と、
    前記指標情報保持手段に保持されている指標情報と前記撮影部の位置姿勢の推定値とに基づき、前記外部指標の前記画像における座標を推定し、前記画像内に含まれる外部指標 を選択する選択工程と、
    前記撮像部の位置姿勢の推定値と前記選択工程で選択された外部指標に対応する前記指標情報保持手段に保持されている指標情報とから、該選択された外部指標が隠蔽されているか否かを判定する判定工程と、
    前記判定工程で隠蔽されていないと判定された外部指標を、前記画像から検出する検出工程と
    を有することを特徴とする指標検出装置
JP2002268832A 2002-09-13 2002-09-13 指標検出装置、指標検出方法 Expired - Fee Related JP4250391B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002268832A JP4250391B2 (ja) 2002-09-13 2002-09-13 指標検出装置、指標検出方法

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2002268832A JP4250391B2 (ja) 2002-09-13 2002-09-13 指標検出装置、指標検出方法
US10/660,637 US6956503B2 (en) 2002-09-13 2003-09-12 Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method
EP03255724.1A EP1398601A3 (en) 2002-09-13 2003-09-12 Head up display for navigation purposes in a vehicle
CNB031569358A CN1296680C (zh) 2002-09-13 2003-09-15 测量装置和方法
US11/180,524 US7423553B2 (en) 2002-09-13 2005-07-14 Image display apparatus, image display method, measurement apparatus, measurement method, information processing method, information processing apparatus, and identification method

Publications (3)

Publication Number Publication Date
JP2004106596A JP2004106596A (ja) 2004-04-08
JP2004106596A5 JP2004106596A5 (ja) 2005-11-04
JP4250391B2 true JP4250391B2 (ja) 2009-04-08

Family

ID=32266950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002268832A Expired - Fee Related JP4250391B2 (ja) 2002-09-13 2002-09-13 指標検出装置、指標検出方法

Country Status (1)

Country Link
JP (1) JP4250391B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4771047B2 (ja) * 2005-03-22 2011-09-14 株式会社デンソー 車両用情報表示システム
JP4958497B2 (ja) * 2006-08-07 2012-06-20 キヤノン株式会社 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体
JP2009223659A (ja) * 2008-03-17 2009-10-01 Nissan Motor Co Ltd 視覚情報提示装置
JP2010256878A (ja) * 2009-03-30 2010-11-11 Aisin Aw Co Ltd 情報表示装置
US9342998B2 (en) * 2010-11-16 2016-05-17 Microsoft Technology Licensing, Llc Techniques to annotate street view images with contextual information
KR101359660B1 (ko) * 2011-07-26 2014-02-07 한국과학기술원 헤드업 디스플레이를 위한 증강현실 시스템
US20130187845A1 (en) * 2012-01-20 2013-07-25 Visteon Global Technologies, Inc. Adaptive interface system
US20170240047A1 (en) * 2016-02-18 2017-08-24 Sony Corporation Active window for vehicle infomatics and virtual reality

Also Published As

Publication number Publication date
JP2004106596A (ja) 2004-04-08

Similar Documents

Publication Publication Date Title
US9325969B2 (en) Image capture environment calibration method and information processing apparatus
US10029700B2 (en) Infotainment system with head-up display for symbol projection
EP2993490A1 (en) Operating device, operating system, operating method, and program therefor
EP3008708B1 (en) Vision augmented navigation
US20170132806A1 (en) System and method for augmented reality and virtual reality applications
US9529426B2 (en) Head pose tracking using a depth camera
Alonso et al. Accurate global localization using visual odometry and digital maps on urban environments
EP2678758B1 (en) Providing a corrected view based on the position of a user with respect to a mobile platform
US9171225B2 (en) Device, method, and recording medium for detecting and removing mistracked points in visual odometry systems
Atia et al. Integrated indoor navigation system for ground vehicles with automatic 3-D alignment and position initialization
Panahandeh et al. Vision-aided inertial navigation based on ground plane feature detection
JP5787896B2 (ja) 慣性測定ユニット(imu)のための空間的方向付け判断
Lobo et al. Vision and inertial sensor cooperation using gravity as a vertical reference
EP2434256B1 (en) Camera and inertial measurement unit integration with navigation data feedback for feature tracking
JP5383801B2 (ja) 位置及び経路地図表示用の位置及び経路地図データを生成する装置及び当該データ提供方法
You et al. Fusion of vision and gyro tracking for robust augmented reality registration
AU2005332711B2 (en) Navigation device with camera-info
US7193636B2 (en) Image processing device and method therefor and program codes, storing medium
EP2820618B1 (en) Scene structure-based self-pose estimation
CN102829785B (zh) 基于序列图像和基准图匹配的飞行器全参数导航方法
US9071829B2 (en) Method and system for fusing data arising from image sensors and from motion or position sensors
US8395490B2 (en) Blind spot display apparatus
US8340349B2 (en) Moving target detection in the presence of parallax
JP4940168B2 (ja) 駐車スペース認識装置
US8310684B2 (en) System and method for localizing a carrier, estimating a posture of the carrier and establishing a map

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050913

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090109

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090119

R150 Certificate of patent or registration of utility model

Ref document number: 4250391

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees