JPWO2012132257A1 - 画像表示装置 - Google Patents

Abstract

三次元の実写画像とその撮像位置の二次元の地図画像を画面上で分割して表示する場合に、実写画像と地図画像の全体の対応関係を一目で理解することができる画像表示装置を提供する技術が開示され、その技術によればカメラ１３により撮像された実写画像と、カメラ１３の撮像位置の地図画像を画像表示部３３の画面上で分割して表示する場合に、地図描画部２４は、位置センサ２１及び方位センサ２２からそれぞれカメラの位置情報（ｘ，ｙ）及びカメラの方位角度φを読み込むとともに、視野角制御部１１に蓄積しているカメラの視野角θを読み込み、カメラの位置情報（ｘ，ｙ）を用いて地図データ保存部２３からカメラの撮像範囲周辺の地図データを読み込み、視野角θ及び方位角度φを用いてカメラにより撮像された実写画像の視野角θ及び方位角度φと一致するように地図画像を加工して描画する。

Description

本発明は、実写画像とその撮像位置の地図画像を、画面を分割して表示する画像表示装置に関し、特に、画面上で分割されて表示される実写画像と地図画像との対応関係を明確にすることで視認性を高めた画像を表示することによってユーザが地理的情報をより直感的に理解することができる画像表示装置に関する。

ユーザに地理的情報を教示する表示装置として、車載或いは携帯型のカーナビゲーション装置が広く普及している。さらに近年、ナビゲーション装置として、ユーザがユーザの周辺情報をより直感的に理解できるように、車載カメラによって実際の風景を撮像した実写画像とナビゲーション地図画像を、画面を例えば左右に２分割して表示し、画面上で実写画像上の構造物と地図画像上の構造物の一方がユーザにより指定された場合に、他方の構造物を強調表示するものが知られている（例えば下記の特許文献１参照）。

特開２００７−１２７４３７号公報（請求項１、図２）

しかしながら、従来の表示装置においては、実写画像上の構造物と地図画像上の構造物の一方がユーザにより指定された場合に、他方の構造物を単に強調表示するのみであるので、視覚的に実写画像が三次元画像、地図画像が二次元画像であるため、ユーザにとって実写画像と地図画像の全体の対応関係が一目で理解しがたいという問題があった。

本発明は上記従来例の問題点に鑑み、三次元の実写画像とその撮像位置の二次元の地図画像を画面上で分割して表示する場合に、実写画像と地図画像の全体の対応関係を一目で理解することができる画像表示装置を提供することを目的とする。

本発明は上記目的を達成するために、撮像手段により撮像された実写画像と、地図画像を画面上で分割して表示する画像表示装置であって、
前記撮像手段の視野角、撮像位置及び撮像方位を取得する手段と、
前記取得した撮像位置近傍の地図画像の方向が前記取得した撮像方位と一致するように、かつ前記地図画像の視野角が前記取得した前記撮像手段の視野角と一致するように前記地図画像を加工する手段とを、
備えた構成とした。

この構成により、三次元の実写画像とその撮像位置の二次元の地図画像を画面上で分割して表示する場合に、実写画像と地図画像の方位及び視野角が一致して表示されるので、実写画像と地図画像の全体の対応関係を一目で理解することができる。

本発明によれば、三次元の実写画像とその撮像位置の二次元の地図画像を画面上で分割して表示する場合に、実写画像と地図画像の全体の対応関係を一目で理解することができる。

本発明の実施の形態における画像表示装置のブロック図 本発明の実施の形態における画像表示装置の視野角を示す説明図 本発明の実施の形態における画像表示装置の実写画像と地図画像の表示領域を示す説明図 本発明の実施の形態における画像表示装置のカメラの撮像方向の方位角を示す説明図 本発明の実施の形態における画像表示装置のカメラの撮像範囲周辺地図と地図画像の保存領域を示す説明図 本発明の実施の形態における画像表示装置の実写画像と地図画像の合成画像を示す説明図 本発明の実施の形態における画像表示装置の処理を説明するためのフローチャート

以下、本発明の実施の形態における画像表示装置について図面を参照しながら説明する。図１は本発明の実施の形態における画像表示装置のブロック図である。図１において、視野角制御部１１は、画像表示部３３の表示領域に上下に２分割されて表示される実写画像と地図画像の視野角を一致させるために水平方向の視野角θをカメラ１３と地図描画部２４に共に設定する。表示領域制御部１２は、画像表示部３３の表示領域（幅ｗ、高さｈ＝ｈ１＋ｈ２）を上下に２分割したウィンドウ領域（幅ｗ，高さｈ１）、（幅ｗ，高さｈ２）をそれぞれ実写画像及び地図画像に割当てるために、ウィンドウ領域（ｗ，ｈ１）、（ｗ，ｈ２）をそれぞれ実写画像拡縮部１５と地図画像拡縮部２６に設定する。

カメラ１３は、焦点距離を調整して水平方向の視野角θに対応する実写画像を撮像し、実写画像メモリ部１４は、カメラ１３により撮像された実写画像を保存する。実写画像拡縮部１５は、表示領域制御部１２により設定された上側のウィンドウ領域（ｗ，ｈ１）と一致するようにこの実写画像を拡大縮小して画像合成部３１に出力する。

位置センサ２１は、カメラ１３が位置する緯度ｘ及び経度ｙからなる位置情報（ｘ，ｙ）を計測し、また、方位センサ２２は、カメラ１３のレンズ中心の光軸の指す方位角度φを計測する。地図データ保存部２３は、地図を描画するために必要な地図データを保存しており、地図描画部２４は、位置情報（ｘ，ｙ）に基づいてカメラ１３の撮像範囲周辺の地図データを読み出し、さらに視野角θ及び方位角度φを用いて、カメラ１３により撮像された実写画像の視野角θ及び方位角φと一致するように地図画像を加工して描画する。地図画像メモリ部２５は、地図描画部２４により描画された地図データを保存する。地図画像拡縮部２６は、表示領域制御部１２により設定された下側のウィンドウ領域（ｗ，ｈ２）と一致するようにこの地図画像を切取り、拡大縮小して画像合成部３１に出力する。画像合成部３１は、これらの実写画像と地図画像を上下に連結して合成画像を作成して合成画像を合成画像メモリ部３２に保存し、画像表示部３３は、この合成画像を表示する。

以下に、詳しく説明する。視野角制御部１１は、カメラ１３の撮像範囲を決めるパラメータである水平方向の視野角θとして、あらかじめ決めた角度を１つ以上蓄積するＲＯＭなどの記憶装置であって、ユーザがダイヤル操作などにより、蓄積した複数の視野角の中から１つの視野角θを選択して指定することができる。図２は本発明の実施の形態における画像表示装置１００の視野角θを示す図である。図２において、カメラ１３を水平に構えた場合に、カメラレンズの中央の光軸の向きである撮像方向１１２の両側の撮像範囲１１３の二等辺三角形の頂角の角度が視野角θである。ここで、視野角θの範囲は、０＜θ＜１８０°である。

表示領域制御部１２は、画像表示部３３の表示領域を上下に分割して、それぞれの分割領域を実写画像及び地図画像の表示領域に割り当てるために、あらかじめ決めた各分割領域の横及び縦の画素数を蓄積するＲＯＭなどの記憶装置である。図３は本発明の実施の形態における画像表示装置１００の実写画像と地図画像の表示領域を示す図である。ここで、図３では、全体表示領域１２１を上下に分割し、上側が実写画像表示領域１２２、下側が地図画像表示領域１２３で、全体表示領域１２１の横及び縦方向の画素数がそれぞれｗ及びｈ（＝ｈ１＋ｈ２）であって、上側の実写画像表示領域１２２の縦方向の画素数がｈ１、下側の地図画像表示領域１２３の縦方向の画素数がｈ２であるとする。

カメラ１３は、いわゆるズーム機能付きデジタルカメラであり、視野角制御部１１に蓄積している視野角θを読み込み、視野角がθとなるようにレンズの焦点距離を調整し、あらかじめ決めた一定時間置きにＣＣＤなどの撮像素子で撮像した実写画像をＲＧＢデータに変換して、実写画像メモリ部１４に書き込む。実写画像メモリ部１４は、実写画像を蓄積するＤＲＡＭなどの記憶装置であって、撮像した実写画像をＲＧＢデータの形式で一次保存する。

実写画像拡縮部１５は、表示領域制御部１２から実写画像表示領域１２２のサイズを読み込むとともに、実写画像メモリ部１４から実写画像を読み込み、実写画像表示領域１２２のサイズと一致するように拡大縮小した実写画像のＲＧＢデータを作成する。例えば、実写画像のサイズとして、横方向がＷ〔画素〕、縦方向がＨ〔画素〕で、実写画像表示領域１２２のサイズとして、横方向がｗ〔画素〕、縦方向がｈ１〔画素〕の場合、実写画像を横方向に（ｗ／Ｗ）倍、縦方向に（ｈ１／Ｈ）倍する。

位置センサ２１は、ＧＰＳ（Global Positioning System）を利用し、緯度経度データをあらかじめ決めた一定時間置きに連続的に計測し、カメラ１３の位置情報（ｘ，ｙ）をシリアル通信などで外部に通信するセンサ装置である。方位センサ２２は、電子コンパスを利用し、北を基準とした方位角度をあらかじめ決めた一定時間置きに連続的に計測し、カメラ１３のレンズ中心の光軸が指す撮像方向の方位角度φをシリアル通信などで外部に通信するセンサ装置である。図４は本発明の実施の形態における画像表示装置１００のカメラ１３の撮像方向の方位角φを示す図であり、カメラ１３の撮像方向１１２が真北方向（Ｎ）１３３となす角度が方位角φである。

地図データ保存部２３は、地図を描画するために必要な地図データを蓄積するフラッシュメモリなどの記憶装置である。地図描画部２４は、位置センサ２１及び方位センサ２２からそれぞれカメラ１３の位置情報（ｘ，ｙ）及びカメラ１３の方位角度φをシリアル通信経由で読み込むとともに、視野角制御部１１に蓄積している視野角θを読み込む。そして、地図描画部２４は、カメラ１３の位置情報（ｘ，ｙ）、方位角度φ及び視野角θに応じて、地図データ保存部２３からカメラ１３の撮像範囲周辺の地図データを読み込み、視野角θ及び方位角度φを用いて、カメラ１３により撮像された実写画像の視野角θ及び方位角φと一致するように地図画像を加工して描画する。地図画像メモリ部２５は、地図画像を蓄積するＤＲＡＭなどの記憶装置であって、描画した地図画像をＲＧＢデータの形式で一次保存する。

図５は本発明の実施の形態における画像表示装置１００のカメラ１３の撮像範囲周辺地図１４５と地図画像の保存領域１４６を示す図である。図５において、カメラ１３の位置情報（ｘ，ｙ）である緯度経度データより算出した地図上のカメラ１３の位置をカメラ位置Ｏとして、カメラ１３の撮像方向１１２が地図の真上になるようにカメラ１３を置いた場合、視野角θの場合の地図上の撮像範囲は１１３、方位角φの場合の地図上の真北方向は１３３、カメラ位置Ｏを中心に方位角φだけ回転した地図が撮像範囲周辺地図１４５であり、撮像範囲１１３の境界上の任意の点Ａと、撮像方向１３２について点Ａに対称な点Ｂを頂点とし、カメラ位置Ｏを辺上にもつ矩形領域が地図画像の保存領域１４６である。地図描画部２４は、この画像保存領域１４６の地図画像をＲＧＢデータに変換して、地図画像メモリ部２５に書き込む。

地図画像拡縮部２６は、表示領域制御部１２から地図画像表示領域１２３のサイズを読み込み、地図画像メモリ部２５から地図画像を読み込み、地図画像表示領域１２３のサイズと一致するように拡大縮小した地図画像のＲＧＢデータを作成する。例えば、地図画像のサイズとして、横方向がＭ〔画素〕、縦方向がＮ〔画素〕で、地図画像表示領域１２３のサイズが横方向がｗ〔画素〕、縦方向がｈ２〔画素〕の場合、実写画像を横方向に（ｗ／Ｍ）倍、縦方向に（ｈ２／Ｎ）倍する。

画像合成部３１は、実写画像拡縮部１５で作成した実写画像のＲＧＢデータと、地図画像拡縮部２６で作成した地図画像のＲＧＢデータをそれぞれ読み込み、上下に連結して合成画像を作成し、合成画像メモリ部３２にＲＧＢデータの形式で書き込む。合成画像メモリ部３２は、合成画像を蓄積するＤＲＡＭなどの記憶装置であり、作成した合成画像をＲＧＢデータの形式で一次保存する。画像表示部３３は、画像を表示する液晶モニタなどのディスプレイであり、合成画像メモリ部３２に蓄積している合成画像のＲＧＢデータを一定時間置きに読み込み、表示する。

図６は本発明の実施の形態における画像表示装置１００の実写画像と地図画像の合成画像を示す図である。図６において、全体表示領域１２１は実写画像表示領域１２２と地図画像表示領域１２３を上下に連結して作成する。地図画像表示領域１２３には、地図上のカメラ位置を表すカメラ画像１３ａと、カメラの撮像範囲１１３のカメラの撮像方向１１２にある塔１６５や、撮像方向１１２と異なる方向にある建物１６６が表示されるとともに、建物１６６の方向を示す補助線１６４が表示される。

ここで、実写画像と地図画像の境界線の端点をＡ、Ｂ、補助線１６４と境界線ＡＢとの交点をＣとおくと、Ａ，Ｂ上では実写画像と地図画像の視野角θが一致しているため、境界線ＡＢ上の点Ｃにおいても、実写画像と地図画像の見かけの方位角が一致する。このため、実写画像表示領域１２２には、撮像方向１１２の延長線上に、地図上の塔１６５に対応する実写画像上の塔１６７が表示される。また、交点Ｃの上に、地図上の建物１６６に対応する実写画像上の建物１６８が表示される。

以上のように構成された画像表示装置について、以下にその処理動作を説明する。図７は、本発明の実施の形態における画像表示装置１００の処理のフローチャートである。まず、ステップＳ１０１で、カメラ１３及び地図描画部２４がそれぞれ、視野角制御部１１より視野角θを読み込む。さらに、地図描画部２４が、位置センサ２１よりカメラの位置情報（ｘ，ｙ）として緯度経度データを、また、方位センサ２２より方位角φを読込む。

次に、ステップＳ１０２で、カメラ１３が視野角θで撮像した実写画像を実写画像メモリ部１４に書き込む。その後、ステップＳ１０３で、実写画像拡縮部１５が表示領域制御部１２より実写画像表示領域１２２のサイズとして横縦の画素数ｗ及びｈ１を読み込む。さらに、ステップＳ１０４で、実写画像拡縮部１５が、実写画像メモリ部１４から実写画像を読み込み、横、縦の画素数がｗ、ｈ１と一致するように実写画像を拡大縮小する。

また、ステップＳ１０５において、地図描画部２４が、地図データ保存部２３より地図データを読み込んで、カメラの視野角θ、撮像方向１１２、撮像範囲１１３と一致するように撮像範囲周辺地図１４５を加工して描画し、画像保存領域１４６の地図画像を地図画像メモリ部２５に書き込む。その後、ステップＳ１０６で、地図画像拡縮部２６が表示領域制御部１２より地図画像表示領域１２３のサイズとして横縦の画素数ｗ及びｈ２を読み込む。さらに、ステップＳ１０７で、地図画像拡縮部２６が、地図画像メモリ部２５より地図画像を読み込み、横、縦の画素数がｗ、ｈ２と一致するように地図画像を拡大縮小する。

ステップＳ１０８では、画像合成部３１が、実写画像表示領域１２２にステップＳ１０４で作成した実写画像を、地図画像表示領域１２３にステップＳ１０７で作成した地図画像をそれぞれ読み込み、全体表示領域に合成画像を作成し、合成画像メモリ部３２に書き込む。次いで、ステップＳ１０９で、画像表示部３３が、合成画像メモリ部３２より合成画像を読み込み、ディスプレイの表示を更新する。最後に、ステップＳ１１０で終了確認をして、終了でない場合はステップＳ１０１に戻る。

以上のように本実施の形態によれば、三次元の実写画像と二次元の地図画像の視野角を一致させて連続性を持つ画像に加工して表示するので、ユーザが任意の構造物を指定する操作をしなくとも、実写画像と地図画像の全体の対応関係が一目で理解することができる。なお、上記の実施の形態では、地図画像の視野角を実写画像と一致させる加工を地図描画部２４で行っているが、代わりに地図画像拡縮部２６で行ってもよい。

なお、上記実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又はすべてを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。例えば、バイオ技術の適用などが可能性としてあり得る。

本発明の画像表示装置は、三次元の実写画像とその撮像位置の二次元の地図画像を画面上で分割して表示する場合に、実写画像と地図画像の全体の対応関係を一目で理解することができるという効果を有し、車載のカーナビゲーション装置、歩行者向けナビゲーション装置、車載の情報端末装置、携帯用の情報端末装置の設計・製造の分野で利用可能である。

Claims (2)

1. 撮像手段により撮像された実写画像と、地図画像を画面上で分割して表示する画像表示装置であって、
   前記撮像手段の視野角、撮像位置及び撮像方位を取得する手段と、
   前記取得した撮像位置近傍の地図画像の方向が前記取得した撮像方位と一致するように、かつ前記地図画像の視野角が前記取得した前記撮像手段の視野角と一致するように前記地図画像を加工する手段とを、
   備えた画像表示装置。
2. 前記画面を上下方向に２分割して、上側の分割領域に前記実写画像を表示するとともに、下側の分割領域に前記加工された地図画像を表示し、さらに前記撮像手段の視野角を前記下側の分割領域に前記加工された地図画像とともに表示することを特徴とする請求項１に記載の画像表示装置。

Images