JP5168313B2

JP5168313B2 - 画像表示装置

Info

Publication number: JP5168313B2
Application number: JP2010103288A
Authority: JP
Inventors: 伸明田中
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2013-03-21
Anticipated expiration: 2030-04-28
Also published as: JP2011232982A

Description

本発明は見えにくい場所にある建物の壁面の画像を表示する画像表示装置に関するものである。

従来の画像表示装置は、ランドマークなどの画像表示の際に、位置、方向と関連付けてサーバに格納した画像を、表示する視線と画像撮影時の方向の差が少ないものから順に表示することによって肉眼で見た時との差が少なくなるように、鳥瞰図と合成して表示する。（例えば、特許文献１参照）。また、表示する物体の方向と距離を指定し、サーバからその位置で撮影された画像を取得して表示するとしているものもある。（例えば、非特許文献１参照）。

特開２００８−２１９３９０号公報

Flaneur : digital see-through telescope(慶応大学加藤浩他), International Conference on Computer Graphics and Interactive Techniques, ACM SIGGRAPH ASIA 2008, SESSION: Emerging technologies, Pages 43-43 Analysis and Machine Intelligence, 22(11):1330-1334, 2000., "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. CAD・CGのための基礎数学、島田静雄、インターネット時代の数学シリーズ７、共立出版、2000年.

しかしながら、前記従来の構成では、ビルが並んだ通りを歩いている時に、通りの自分が歩いている側のビルの側面を表示しようとした場合にも、視線と同じ方向の画像から順に表示されるため、肉眼で見る場合と同様に壁面と視線方向は平行に近いままであり、視認性の向上は図れないという課題を有していた。

非特許文献１は遮蔽物の背景を表示する技術だが、これも同じ方向を示すのみであり、視線と平行な壁面の表示を行う際の視認性の向上のための技術については開示されていない。

一方、Google社のStreet Viewサービスを用いて、ビルの壁面の垂直方向から撮影した壁面画像を取得して画面上に表示することは可能だが、その画像だけでは現実の風景との関連を認識するのが難しく、壁面上の１点、例えば店舗までの距離を認識することは難しく、また操作も煩雑であるという課題を有していた。

本発明は、前記従来の課題を解決するもので、視線と平行に近いビルの壁面を見やすく、かつ距離を容易に把握できるように表示する画像表示装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像表示装置は、撮影手段と、撮影手段が撮影している方角を検出する方角検出手段と、撮影手段の仰角を検出する仰角検出手段と、撮影手段の傾き角を検出する傾き角検出手段と、位置情報を検出する位置検出手段と、位置情報より地図情報を取得する地図情報取得手段と、方角、位置情報、および地図情報より撮影手段が撮影している方角と平行に近い建物の壁面を検出する壁面検出手段と、壁面が検出された際に、ネットワーク上のサーバから取得した風景画像より壁面の壁面画像を取得する壁面画像取得手段とを備えた。また、撮影手段が撮影している方角、位置情報、地図情報より、壁面が面する道のどちら側に装置が存在するかを判定し、地図情報の中から各壁面が面している道の中心線および両端の線分の情報を取得し、更に両端の線分のうち装置の位置に近い線分を撮影手段が存在する側の壁面が地表と接する線分、その反対側の線分を反対側の壁面が地表と接する線分と決定し、それぞれの対応する線分より壁面の形状情報を地図情報より検索し、壁面が面する道の撮影手段が存在する側とは反対側の建物の壁面の位置を、壁面画像表示位置として決定する画像表示位置決定手段を備えた。また、壁面画像の各画素を、各画素から道の中心線に垂直な直線を引き、その直線が反対側の壁面と交わる点を射影する点として壁面画像を壁面画像表示位置に射影する射影手段と、射影された壁面画像と撮影手段によって撮影された撮影画像とを嵌め込んで合成する嵌め込み手段と、合成された画像を表示する画像表示手段とを備えた。

本発明の画像表示装置によれば、視線と平行に近い壁面の画像を見やすく、かつ撮影地点からの距離を認識しやすいように画面上に表示することができる。

本発明の実施の形態における画像表示装置の構成図本発明の実施の形態における建物と視点の配置を示す図本発明の実施の形態における利用シーンを示す図本発明の実施の形態における画像の射影の方向、位置を示す図

以下本発明を実施するための形態について、図面を参照しながら説明する。

図１は、本発明の実施の形態における画像表示装置の構成図である。図１において、位置検出部１０１は装置の位置を検出する。地図情報取得部１０２は位置検出部１０１から得られた位置周辺の地図情報を取得する。方角検出部１０３、仰角検出部１０４、傾き角検出部１０５はそれぞれ、撮影部１０７の方角、仰角、水平からの傾きを検出する。焦点距離検出部１０６は撮影部１０７のレンズの焦点距離を検出する。撮影部１０７は画像を撮影する。

壁面検出部１０８は、位置検出部１０１より得られた位置、地図情報取得部１０２より得られた地図情報、方角検出部１０３より得られた方角を元に、撮影している方角に、方角と平行に近い建物の壁面が存在するか否かを検出し、検出した壁面の位置と範囲を壁面画像取得部１０９に渡す。検出部の検出方法の詳細については後述する。

壁面画像取得部１０９は壁面検出部１０８が検出した壁面の画像を取得する。この取得方法の詳細については後述する。

画像表示位置決定部１１０は、位置検出部１０１より得られた位置、地図情報取得部１０２より得られた地図情報、方角検出部１０３より得られた方角、および壁面検出部１０８が検出した壁面の位置の情報より、壁面検出部１０８が決定した壁面の画像を地図上のどの位置に表示するかを決定する。この決定方法の詳細については後述する。

射影部１１３は、壁面画像取得部１０９が取得した画像を、画像表示位置決定部１１０が決定した位置に射影する。この射影の処理方法については後述する。

嵌め込み合成部１１１は、壁面画像取得部１０９が取得した画像を、方角検出部１０３が検出した方角、仰角検出部１０４が検出した仰角、傾き角１０５検出部が検出した傾き角、焦点距離検出部１０６が検出した焦点距離を用いて、位置とサイズを一致させて、撮影部１０７が撮影した画像に嵌め込んで合成し、画像を生成する。この嵌め込み、合成の方法については後述する。表示部１１２は嵌め込み合成部１１１が生成した画像を表示する。

図２は、後述する画面例を説明する際に仮定した建物、視点、および街路の配置を示す図である。図２において、ビルＡ２０１ＡからビルＦ２０１Ｆは、画面表示に関わる建物、壁面ＡからＦは、画面表示に関わる壁面である。方向Ａは、画像表示を行う際の撮影部の方角である。視点は、撮影部１０７の存在する位置である。

図３は、本発明の実施の形態における画面例である。本画面例は前述の構成を行う際に、ビルＡ２０１ＡからビルＣ２０１Ｃのビル群を示すビル群Ｘと、ビルＤからビルＦのビル群を示すビル群Ｙの間の街路で本発明による画像表示装置を用いた場合の画面である。撮影方向と平行に近い壁面の画像をビル群Ｘの側面の壁面であるＡの位置からＢの位置に街路Ｚを挟んで正対する位置に移動することにより、ＡよりＢの位置のほうが、視認性が良く、現在位置からの距離も把握しやすくなる。

次に、壁面検出部１０８が行う平行壁面の検出方法について図２を参照しながら詳しく述べる。

壁面検出部１０８は、地図情報取得部１０２より得られた地図情報の中から、周囲の建物の壁面の区間の情報を取り出す。図２の場合、地図には壁面Ａから壁面Ｆの６区間が壁面として選択される。次に壁面検出部１０８は、位置検出部１０１より位置を、方角検出部１０３より方角を取得する。次に壁面検出部１０８は、位置と方角を元に、位置を通り方角と平行な直線を求める。次に壁面検出部１０８はその直線と、先に得た壁面の区間を前後に直線的に延長した直線とが交わる角度を求める。次に壁面検出部１０８はその角度が一定値以下である壁面を、画像を表示すべき壁面として選択し、壁面画像取得部１０９に渡す。図２の例においては、壁面Ａ、壁面Ｂ、壁面Ｃが選択される。

次に、壁面画像取得部１０９が行う、壁面画像の取得方法について図２を参照しながら述べる。ここでは、壁面検出部１０８によって、表示すべき壁面として壁面Ａ、壁面Ｂ、壁面Ｃが選択されているものとして説明する。また、各ビルの周辺の道の区間は、地図情報より得られるものとする。

壁面画像取得部１０９は、まず、撮影点を各壁面の中央の垂直方向の点に設定し、区間と直交する方向を撮影方向とした風景撮影画像を、サーバから取得する。図２においては、壁面ＡからＣにそれぞれ対応して、撮影点ＡからＣを設定し、サーバから風景画像を取得する。一般的な風景画像提供サービスでは緯度、経度と方角を指定することにより、風景画像を取得することができるため、このサービスを用いることにより、背景画像を取得するために必要な風景画像を取得できる。

次に壁面画像取得部１０９は、取得した風景画像の歪みを補正する。Ｇｏｏｇｌｅ社のＳｔｒｅｅｔＶｉｅｗサービスは広角レンズにより風景を撮影し蓄積しているため、得られる画像がレンズの歪みを含む。そのため、本実施の形態においては、歪み除去を行い、平面画像を生成し利用することによって処理の簡略化と画像精度の向上を図る。代表的なレンズの歪み除去技術には非特許文献２がある。

次に壁面画像取得部１０９は、歪み除去の結果得られた風景画像の中から、区間の背景画像として利用する画像を切り出す。地図上では、区間の背後の建物、および、建物のない道の空間を背景画像として設定する。また、上下方向では、地表から一定の高さまでの画像を切り出す。一定の高さは、ビルの高さとして一般的に考えられる高さを設定する。この高さは地域によって設定可能としてもよいし、地図情報に建物の高さ情報が含まれている場合はその地図情報をもとに各区間に対応する建物のもっとも高い高さに設定してもよい。この時、画像には画像の各頂点の座標をともに記録しておく。

次に、画像表示位置決定部１１０が行う壁面画像の表示位置決定方法について、図２、および図４を参照しながら述べる。図４において、２０１Ａから２０１Ｆは図２と同じなので説明を省略する。図４において、壁面Ａ画像４０１Ａから壁面Ｆ画像４０１Ｆは、図２における壁面Ａから壁面Ｆに対応する画像である。

まず、画像表示位置決定部１１０は、壁面検出部１０８が検出した、カメラの方角Ａと平行に近い壁面の位置を取得する。

次に、画像表示位置決定部１１０は、各壁面が面している道の情報を地図情報の中から取得する。道の情報には、道の中心線の線分の位置、道の両端のそれぞれの線分の位置が含まれるものとする。次に画像表示位置決定部１１０は、位置検出部１０１から位置情報を取得し、その位置と、道の両端のそれぞれの線分との距離を求める。次に画像表示位置決定部１１０は、求めた２つの距離を比較し、距離の近いほうの端に、画像表示装置が位置していると判断する。次に画像表示位置決定部１１０は、その道の反対側の壁面を求める。次に、画像表示位置決定部１１０は、検出した街路Ａの縁に垂直で、壁面Ａ〜壁面Ｃのそれぞれに垂直な直線をそれぞれの壁面の各頂点から街路の反対方向に引く。

次に、画像表示位置決定部１１０は、上記のステップで引いた直線と、街路を挟んで正対するビルの壁面との交点を求め、その組合せを各壁面画像が表示される位置として決定する。この場合は各ビルが正対して建っているため、壁面Ａ、Ｂ、Ｃに対してそれぞれ、壁面Ｄ、Ｅ、Ｆが画像表示位置として決定される。また、画像中の各画素の位置は、街路Ａを挟んで正対する位置に移動するものとする。

次に、嵌め込み合成部１１１の動作について説明する。

３次元空間内の平面上の画像のカメラ座標系への変換については、非特許文献３が詳しい。

非特許文献３において、カメラ座標系への変換（５．４．２項）、透視変換と射影変換（５．４．３項）の技術が示されており、これらを組み合わせることにより、３次元空間上の平面画像とその位置と範囲が得られ、かつ、カメラの位置と方向と焦点距離が得られる場合のカメラ座標系への射影変換は可能となる。具体的には非特許文献３の下記の計算方法を用いて、背景画像中の各座標を、撮影部１０７の撮像素子上の位置に変換する。

まず、カメラの向きを示す単位ベクトルは、方角、仰角、傾き角から求められる。また、方角、仰角、傾き角を３軸の加速度センサーと３軸の地磁気センサーを用いて求める方式については既知である。

次に、（数１）を用いて、カメラのx, y, z軸の向きを表す単位ベクトル(a,b,c)と、カメラの位置ベクトルdとを縦ベクトル成分とする変換行列Ｔを求める。

次に、（数２）、および（数３）を用いて、上記の行列Ｔに対して、逆変換を表す３×４変換行列、つまり対象物の世界座標をカメラ座標系に直す変換行列Ｔｗを求める。

次に、上記の変換行列を使って、（数４）によって、対象物の世界座標x, y, zをカメラ座標系の座標値x’, y’, z’に変換する。

次に、（数５）を用いて、x’, y’, z’を、視点２０３からｆの距離に置いた投影面（撮像素子）上の位置x’’, y’’, z’’に変換する。

上記計算式では座標変換の方法を示したが、背景画像中の各画素について上記の座標変換を行い、撮影部１０７の撮像素子上の位置に変換し、変換後の位置における補間、平均などによる画像処理を行い、撮像素子上の画像を生成する。この画像処理については一般的な処理であるためここでは細部については述べない。

かかる構成によれば壁面検出部１０８にて撮影中の方角と平行に近い建物の壁面を検出し、その壁面の画像を壁面画像取得部で取得し、その壁面画像を表示する位置を地図情報を元に街路の正対する位置に移動する画像表示位置決定部を持ち、移動後の画像を撮影部の撮影した画像に位置を合わせて嵌め込み表示することにより、視線と交差する角度が小さい壁面の画像を街路を挟んだ反対側の壁面に表示することが可能となり、より距離感を感じやすく、視認性を向上させた画像表示を行うことができる。

本発明にかかる画像表示装置は、ビルの多い街路において、より距離感を感じやすく、視認性を向上させた画像表示を行うことが可能になるので、徒歩での移動時に経路案内をするナビゲーションシステムでの表示装置等として有用である。

１０１位置検出部
１０２地図情報取得部
１０３方角検出部
１０４仰角検出部
１０５傾き角検出部
１０６焦点距離検出部
１０７撮影部
１０８壁面検出部
１０９壁面画像取得部
１１０画像表示位置決定部
１１１嵌め込み合成部
１１２表示部
２０１Ａ〜２０１Ｆビル
２０３視点
４０１Ａ〜４０１Ｆ壁面Ａ画像〜壁面Ｆ画像
４０２Ａ〜４０２Ｂ射影Ａ〜射影Ｂ

Claims

撮影手段と、
前記撮影手段が撮影している方角を検出する方角検出手段と、
前記撮影手段の仰角を検出する仰角検出手段と、
前記撮影手段の傾き角を検出する傾き角検出手段と、
位置情報を検出する位置検出手段と、
前記位置情報より地図情報を取得する地図情報取得手段と、
前記方角、前記位置情報、および前記地図情報より、前記撮影手段が撮影している方角と平行に近い建物の壁面を検出する壁面検出手段と、
前記壁面が検出された際に、ネットワーク上のサーバから取得した風景画像より前記壁面の壁面画像を取得する壁面画像取得手段と、
前記撮影手段が撮影している方角、前記位置情報、前記地図情報より、前記壁面が面する道のどちら側に装置が存在するかを判定し、前記地図情報の中から各壁面が面している道の中心線および両端の線分の情報を取得し、更に前記両端の線分のうち装置の位置に近い線分を撮影手段が存在する側の壁面が地表と接する線分、その反対側の線分を反対側の壁面が地表と接する線分と決定し、それぞれの対応する線分より壁面の形状情報を地図情報より検索し、前記壁面が面する道の前記撮影手段が存在する側とは反対側の建物の壁面の位置を、壁面画像表示位置として決定する画像表示位置決定手段と、
前記壁面画像の各画素を、各画素から道の中心線に垂直な直線を引き、その直線が反対側の壁面と交わる点を射影する点として前記壁面画像を前記壁面画像表示位置に射影する射影手段と、
射影された前記壁面画像と前記撮影手段によって撮影された撮影画像とを嵌め込んで合成する嵌め込み手段と、
合成された画像を表示する画像表示手段と、を備えた画像表示装置。
前記壁面検出手段は、前記位置情報、前記撮影手段が撮影している方角、前記地図情報より、前記撮影手段が撮影している方角にある建物の壁面の向いている方角を抽出し、前記壁面の向いている方角と、前記撮影手段が撮影している方角とが交差する角度によって、前記撮影手段が撮影している方角と平行に近い壁面であるか否かを判定することを特徴とする、請求項１に記載の画像表示装置。
前記射影手段は、前記壁面画像を、前記壁面が面する道を挟んで正対する建物の壁面上の正対する位置に、射影変換することを特徴とする、請求項１または請求項２に記載の画像表示装置。
前記壁面画像取得手段は、位置、および方角と関連付けして格納された撮影画像をサーバから取得することを特徴とする、請求項１から請求項３のいずれかに記載の画像表示装置。
前記壁面画像取得手段は、取得した画像の歪みを補正し、壁面画像として利用することを特徴とする請求項１から請求項４のいずれかに記載の画像表示装置。