WO2007026839A1

WO2007026839A1 - 画像表示装置及び画像生成装置

Info

Publication number: WO2007026839A1
Application number: PCT/JP2006/317257
Authority: WO
Inventors: Atsushi Iisaka; Kenji Nishimura; Toshiaki Mori; Akihiro Yamamoto
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2005-09-02
Filing date: 2006-08-31
Publication date: 2007-03-08
Also published as: CN101243300A; EP1921419A1; US20090256906A1; EP1921419A4; JP4207941B2; JP2007064924A

Abstract

　移動中のユーザが直感的に把握し易い地図画像を表示又は生成すること。画像提供システムにおいて、画像生成装置２は、外部の撮像装置１と通信可能に接続され、画像表示装置３は、画像生成装置２と通信可能に接続される。画像表示装置３において、自身が搭載された移動体周辺の第１の地図画像を、表示部３４は表示する。通信部３５は、表示された第１の地図画像の視点角度及び視線方向を送信して、画像生成装置２に視点変換画像を要求する。画像生成装置２において、中央処理部３３は、通信部３５の要求に応答して、撮像装置１から取得した撮影画像の視点角度及び視線方向を、第１の地図画像の視点角度及び視線方向に合わせた視点変換画像を生成する。通信部３５は、中央処理部３３で生成された視点変換画像を、画像表示装置３に送信する。画像表示装置３の表示部３４は、視点変換画像が重畳されている第２の地図画像を表示する。

Description

明細書

画像表示装置及び画像生成装置

技術分野

[0001] 本発明は、撮像装置により取得される撮影画像が重畳された地図画像を表示及び生成する画像表示装置及び画像生成装置に関する。

背景技術

[0002] 従来、地図表示装置としては下記のようなものがある。従来の地図表示装置は、交通管制ネットワークを介して、各交通信号機に設置された撮像装置と通信可能に接続されている。各交通信号機は、交差点の東側、西側、南側及び北側に 1つずっ設置される。東側の交通信号機に設置された撮像装置は、自身と対向する道路、つまり西方向から交差点に入ってくる道路の状況を撮影し、それによつて得られる映像を、交通管制ネットワークを通じて地図表示装置に送信する。また、西側、南側及び北側の撮像装置も、それぞれに対向する道路、つまり東側、北側及び南側から交差点に入ってくる道路の状況を表す映像を、交通管制ネットワークを介して地図表示装置に送信する。

[0003] 地図表示装置は、交差点が印刷されている地図形情報表示板と、東西南北 4方向のいずれかが割り当てられた 4個のモニタを含む。東側用のモニタは、地図形情報表示板に印刷された交差点の東側部分に埋め込まれている。西側用、南側用及び北側用のモニタは、地図形情報表示板に印刷された交差点の西側部分、南側部分及び北側部分に埋め込まれる。

[0004] 地図表示装置は、交差点の東側の道路を表す映像を西側の撮像装置から取得し左方向（反時計回り）に回転させた後に、回転後の映像を東側用のモニタに表示する。同様に、西側用のモニタには、交差点西側の道路の状況を表す映像を右方向（時計回り）に回転させたものが表示される。また、南側用のモニタには、交差点南側の道路の状況を表す映像を上下反転（180度回転)させたものが表示される。さらに、北側用のモニタには、交差点北側の道路の状況を表す映像が表示される。

[0005] 上記のような処理によって、地図形情報表示板には、あた力も交差点周辺を真上から見たような映像が表示されることになる。これによつて、監視者は、交差点の状態を直感的に把握することができる。

特許文献 1：特開平 11 161888号公報

発明の開示

発明が解決しょうとする課題

[0006] 上記地図形情報表示板に表示される映像の視点は、撮像装置の視点、つまりカメラ視点のままである。それに対して、地図形情報表示板に描かれている交差点、つまり道路地図の視点は交差点の真上に設定されている。つまり、両視点は互いに異なる。このような地図形表示板の内容を、交通管制センタ内のように静止した空間で見るのであれば、監視者は容易に把握できる。

[0007] し力しながら、例えば車内のような移動空間では、映像と道路地図との視点は互いに相違するため、ドライバが地図形情報表示板の表示内容を直感的に把握しづらいという問題点があった。

[0008] それ故に、本発明の目的は、移動中のユーザが直感的に把握し易い地図画像を表示又は生成する表示装置又は生成装置を提供することである。

課題を解決するための手段

[0009] 上記目的を達成するために、本発明の第 1の局面は、外部に設置されている少なくとも 1個の撮像装置及び画像生成装置と通信ネットワークを介して接続されており、少なくとも 2種類の地図画像を表示可能な画像表示装置に向けられて、る。画像表示装置は、画像表示装置が搭載された移動体周辺の第 1の地図画像を表示する第 1の表示部と、第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を画像生成装置に少なくとも送信することで、画像生成装置に視点変換画像を要求する要求送信部とを備える。ここで、画像生成装置は、要求送信部からの要求に応答して、撮像装置カゝら撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、要求送信部により送信された視点角度及び視線方向に合わせた視点変換画像を生成し、画像表示装置に提供する。画像表示装置はさらに、画像生成装置により提供される視点変換画像が重畳された第 2の地図画像を表示する第 2の表示部とを備える。 [0010] 画像表示装置において、要求送信部は、移動体の進行方向を画像生成装置にさらに送信する。この場合、画像生成装置は、要求送信部からの要求に応答して、撮像装置カゝら撮影画像を取得し、要求送信部から送られてくる進行方向に基づいて、取得した撮影画像の一部が切り出された中間画像を生成し、さらに、生成した中間画像を使って視点変換画像を生成し、画像表示装置に提供する。

[0011] 画像生成装置が、互いに異なる場所に設置された複数の撮像装置と通信ネットヮークを介して接続されている。この場合、画像表示装置において、要求送信部は、いずれかの撮像装置の設置場所を画像生成装置にさらに送信することで、その設置場所の視点変換画像を画像生成装置に要求する。画像生成装置は、要求送信部からの要求に応答して、要求された設置場所に設置された撮像装置から撮影画像を取得して視点変換画像を生成し、画像表示装置に提供する。画像表示装置において、第 2の表示部は、要求送信部により要求された設置場所の視点変換画像が重畳されて、る第 2の地図画像を表示する第 2の表示部とを備える。

[0012] 第 2の地図画像において、視点変換画像は好ましくは、撮像装置の設置場所に相当する位置又は設置場所周辺又は撮像装置によって撮像されている場所に相当する位置に重畳される。

[0013] また、本発明の第 2の局面は、外部に設置されている少なくとも 1個の撮像装置及び画像生成装置と通信ネットワークを介して接続されており、少なくとも 2種類の地図画像を表示可能な画像表示装置に向けられている。画像表示装置は、画像表示装置が搭載された移動体周辺の第 1の地図画像を生成する第 1の生成部と、第 1の生成部により生成された第 1の地図画像を表示する第 1の表示部と、第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を画像生成装置に送信することで、画像生成装置に視点変換画像を要求する要求送信部とを備える。ここで、画像生成装置は、要求送信部からの要求に応答して、撮像装置から撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、第 1の地図画像の視点角度及び視線方向に合わせた視点変換画像を生成して、画像表示装置に提供する。画像表示装置はさらに、画像生成装置により提供される視点変換画像が重畳された第 2 の地図画像を生成する第 2の生成部と、第 2の生成部により生成された第 2の地図画像を表示する第 2の表示部とを備える。

[0014] 画像表示装置において、要求送信部は、移動体の進行方向を画像生成装置にさらに送信する。画像生成装置は、要求送信部からの要求に応答して、撮像装置から撮影画像を取得し、要求送信部から送られてくる進行方向に基づいて、取得した撮影画像の一部を切り出した中間画像を生成し、さらに、生成した中間画像を使って視点変換画像を生成し、地図画像表示装置に提供する。

[0015] 画像生成装置が、互いに異なる場所に設置された複数の撮像装置と通信ネットヮークを介して接続されている。この場合において、画像表示装置において、要求送信部は、いずれかの撮像装置の設置場所を画像生成装置にさらに送信することで、その設置場所の視点変換画像を画像生成装置に要求する。画像生成装置は、要求送信部からの要求に応答して、要求された設置場所に設置された撮像装置から撮影画像を取得して視点変換画像を生成し、地図画像表示装置に提供する。画像表示装置において、第 2の表示部は、要求送信部により要求された設置場所の視点変換画像が重畳されている第 2の地図画像を表示する第 2の表示部とを備える。

[0016] 第 2の生成部は、画像生成装置により提供される視点変換画像を撮像装置の設置場所に相当する位置又は設置場所周辺又は撮像装置によって撮像されている場所に相当する位置に重畳して第 2の地図画像を生成する。

[0017] また、本発明の第 3の局面は、画像提供システムに向けられている。画像提供システムは、外部に設置されている少なくとも 1個の撮像装置と通信可能に接続された画像生成装置と、画像生成装置と通信可能に接続され、少なくとも 2種類の地図画像を表示可能な画像表示装置とを備える。ここで、画像表示装置は、画像表示装置が搭載された移動体周辺の第 1の地図画像を表示する第 1の表示部と、第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を画像生成装置に送信することで、画像生成装置に視点変換画像を要求する要求送信部とを含む。また、画像生成装置は、要求送信部からの要求に応答して、撮像装置から撮影画像を取得する画像取得部と、画像取得部により取得された撮影画像の視点角度及び視線方向を、第 1の地図画像の視点角度及び視線方向に合わせた視点変換画像を生成する視点変換処理部と、視点変換処理部により生成された視点変換画像を、画像表示装置に送信する送信部とを含む。画像表示装置はさらに、画像生成装置により提供される視点変換画像が重畳されている第 2の地図画像を表示する第 2の表示部を含む。

[0018] また、本発明の第 4の局面は、外部に設置されている少なくとも 1個の撮像装置と通信ネットワークを介して接続されており、少なくとも 2種類の地図画像を生成可能な画像生成装置に向けられている。画像生成装置は、外部の移動体の周辺地図を表す第 1の地図画像を生成する第 1の生成部と、移動体力送出された要求に応答して、撮像装置から撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、第 1の地図画像の視点角度及び視線方向に合わせて、視点変換画像を生成する視点変換処理部と、視点変換処理部により生成された視点変換画像が重畳された第 2の地図画像を生成する第 2の生成部と、第 2の生成部により生成された第 2の地図画像を移動体に向けて送信する送信部とを備える。

発明の効果

[0019] 上記各局面によれば、第 2の地図画像において、視点変換画像の向き及び視点角度は、第 1の地図画像自体の向き及び視点角度との整合が確立されているので、移動空間内のユーザは、第 2の地図画像を観たとき、それに重畳されている視点変換画像の内容を直感的に把握することが可能となる。

図面の簡単な説明

[0020] [図 1]図 1は、本発明の第 1の実施形態に係る画像提供システムの全体構成を示すブロック図である。

[図 2]図 2は、図 1に示す画像生成装置 2の詳細な構成を示すブロック図である。

[図 3]図 3は、図 1に示す画像表示装置 3の詳細な構成を示すブロック図である。

[図 4]図 4は、図 1に示す画像生成装置 2及び画像表示装置 3それぞれの処理の手順を示すフローチャートである。

[図 5]図 5は、図 4に示すステップ S12で表示される第 1の地図画像を例示する模式図である。

[図 6]図 6は、図 4に示すステップ S14で表示されるサービスポイント地図画像を例示する模式図である。

[図 7]図 7は、図 4に示すステップ S16で生成される視点変換画像要求のデータ構造を例示する模式図である。

[図 8]図 8は、図 4に示すステップ S18で生成される第 2の地図画像を例示する模式図である。

[図 9]図 9は、図 4に示すステップ S18で生成される第 2の地図画像の代替例を示す模式図である。

[図 10]図 10は、図 4に示すステップ S18で生成される第 2の地図画像の代替例を示す模式図である。

[図 11]図 11は、図 4に示すステップ S14で表示されるサービスポイント地図画像を例示する模式図である。

符号の説明

1 撮像装置

2 画像生成装置

3 画像表示装置

4 通信ネットワーク

21、 35 通信部

22、 32 記憶装置

23、 33 中央処理部

31 入力装置

34 表示部

発明を実施するための最良の形態

[0022] 図 1は、本発明の第 1の実施形態に係る画像提供システムの全体構成を示すブロック図である。図 1において、画像提供システムには、少なくとも 1個の撮像装置 1と、画像生成装置 2と、画像表示装置 3とが通信ネットワーク 4を通じて通信可能に接続されている。

[0023] 撮像装置 1は、現実の道路周辺に設置されており、自身のカメラ視点で道路の様子を撮影し、得られた撮影画像を通信ネットワーク 4に送出する。次に、撮像装置 1の設置例について説明する。図 1の例では、撮像装置 1は、道路の中央線の上方に設置されており、その道路の上り側及び下り側の両車線に向けて設置される。この場合、撮像装置 1は、上記道路の両車線の様子を自身のカメラ視点で撮影した撮影画像を通信ネットワーク 4に送出する。

[0024] 画像生成装置 2は、例えば、通信ネットワーク 4上のサーバ装置であって、視点変換画像を画像表示装置 3に提供する。視点変換画像の詳細については後で詳説する。

[0025] ここで、図 2は、図 1に示す画像生成装置 2の詳細な構成を示すブロック図である。

図 2において、画像生成装置 2は、通信部 21と、記憶装置 22と、中央処理部 23とを備える。

[0026] 通信部 21は、通信ネットワーク 4を通じて送られてくる各種データを中央処理部 23 に渡し、中央処理部 23から受け取った各種データを通信ネットワーク 4に送出する。記憶装置 22は、図 2に示すように、通信ネットワーク 4上の各撮像装置 1について視点角度、視線方向、設置位置、撮像位置及び識別情報を少なくとも管理するためのデータベースを格納する。視点角度は、道路の路面に対する撮像装置 iの光軸の角度であり、視線方向は、水平面内での撮像装置 1の視線方向 (方位に相当する)であり、撮像位置は撮像装置 1により撮像されている道路エリアに関する位置情報である

[0027] 中央処理部 23は、典型的には、 CPU, ROM及び RAMを含んでいる。 CPUは、 ROMに予め格納されて!ヽるコンピュータプログラムを、作業領域としての RAMを使つて実行する。なお、中央処理部 23の具体的な処理については、フローチャート等を参照して後で説明する。

[0028] 画像表示装置 3は典型的には、移動空間としての車両に設置される情報端末装置又はナビゲーシヨン装置であって、特徴的な処理として、画像生成装置 2に対して視点変換画像を要求し、画像生成装置 2から送られてくる視点変換画像を地図画像に合成 (重畳）して表示する。

[0029] ここで、図 3は、図 1に示す画像表示装置 3の詳細な構成を示すブロック図である。

図 3において、画像表示装置 3は、入力装置 31と、記憶装置 32と、中央処理部 33と、表示部 34と、通信部 35とを備えている。

[0030] 入力装置 31は例示的には、画像表示装置 3のユーザにより操作されるタツチパネル又はボタンである。

[0031] 記憶装置 32は、図 3に示すように、画像生成装置 2が視点変換画像を提供可能な地点 (以下、提供可能地点と称する)を特定可能な情報の集まりである地点データべースを格納する。記憶装置 32はさらに、例えば日本全国のように、所定範囲の地図を表す地図データベースを格納する。地図データは、表示部 34に表示される地図の視点角度を上下方向及び Z又は左右方向に変更可能に構成される。また、地図データベースはさらに、表示部 34の画面（以下、表示画面と称する）に対する地図の向き（ノースアップ又はヘッディングアップ)を変更可能に構成される。

[0032] 中央処理部 33は、典型的には、 CPU, ROM及び RAMを含んでいる。 CPUは、 ROMに予め格納されて!ヽるコンピュータプログラムを、作業領域としての RAMを使つて実行する。なお、中央処理部 33の具体的な処理については、フローチャート等を参照して後で説明する。

[0033] 表示部 34は、中央処理部 33で作成された各種画像を表示する。

[0034] 通信部 35は、通信ネットワーク 4を通じて送られてくる各種データを中央処理部 33 に渡し、中央処理部 33から受け取った各種データを通信ネットワーク 4に送出する。

[0035] 次に、図 4のフローチャートを参照して、以上の画像生成装置 2及び画像表示装置 3の詳細な処理にっ、て説明する。

[0036] まず、画像表示装置 3において、中央処理部 33は、第 1の地図画像を生成する（図 4 ;ステップ Sl l)。具体的には、中央処理部 33は、図示しない GPS受信機及び自律航法センサの出力を使って、画像表示装置 3が設置された車両の現在位置を導出した後、現在位置の周辺を表す地図データを、記憶装置 32の地図データベースから読み出す。中央処理部 33は、読み出した地図データを使って、第 1の地図画像を生成する。ここで、生成された第 1の地図画像の向き及び視点角度は、入力装置 31をユーザが操作することにより設定される力、予め定められて、る。

[0037] 以上のように生成された基本地図データは、中央処理部 33から表示部 34へと転送され、表示部 34は、図 5に示すような第 1の地図画像を表示画面に表示する (ステツプ S12)。なお、第 1の地図画像にはさらに、周知の経路探索処理で導出された経路が合成されてヽても構わな、。 [0038] ここで、視点変換画像を表示部 34に表示させたい場合、ユーザは、入力装置 31を予め定められたように操作する。すると、入力装置 31は、視点変換画像の表示要求を中央処理部 33に与える。中央処理部 33は、このような視点変換画像の表示要求を受け取ると (ステップ S13)、提供可能地点に所定のマーク（以下、提供可能地点マークと称する）が合成されたサービスポイント地図（図 6を参照）を生成する (ステップ S 14)。なお、図 6において、提供可能地点マークは、參を用いて表現されているが、ユーザに対してカメラ映像が提供されることを分力りやすく表示することが望ましぐたとえばカメラマークやカメラのイラストを含むアイコンにしてもよい。さらに、道路にカメラが多数設置され道路の映像を得られるエリアが連続してヽる場合には図 11に示すように提供可能エリアとして表示しても良い。また、サービスポイント地図が表示された時点で地図の向きをノースアップにしてもよい。これは、ヘッディングアップで走行している場合、視点変換画像を要求した時点と受信した時点で地図の向きが若干変わって!/、る可能性があることや、地図の向き（車の向!、て!/、る方位）が変わる毎に視点変換画像の向きを変更しなければならな、ためである。

[0039] ステップ S14の処理を具体的に説明すると、まず、上述と同様にして、現在位置の周辺を表す地図データが読み出される。中央処理部 33はさらに、地図データがカバ一する範囲内に含まれる提供可能地点情報を、地点データベース力読み出す。中央処理部 33は、読み出した地図データが表す地図において、読み出した提供可能地点情報で特定される位置に提供可能地点マークを合成してサービスポイント地図を生成する。

[0040] 以上のサービスポイント地図（図 6を参照）は、中央処理部 33から表示部 34へと転送され、表示部 34により表示される（ステップ S14)。

[0041] なお、ステップ S14にお、ては、読み出した提供可能地点情報で特定される全提供可能地点はリスト形式で表示されても構わない。また、ステップ S 13で Noと判断された場合、処理は、ステップ S 11に戻る。

[0042] サービスポイント地図画像が表示されると、入力装置 31を操作して、ユーザは、自身が希望する提供可能地点を指定する。これによつて、中央処理部 33には、指定された提供可能地点情報が与えられる (ステップ S 15)。 [0043] 次に、中央処理部 33は、画像表示装置 3が画像生成装置 2に対して視点変換画像を要求するための情報 (以下、視点変換画像要求と称する)を生成する (ステップ S 16)。ここで、視点変換画像要求は、図 7に示すように、画像生成装置 2及び画像表示装置 3のそれぞれを通信ネットワーク 4上で一意に特定するための識別情報にカロえ、現在設定されている地図の向き及び視点角度を示す情報と、ステップ S 15で取得された提供可能地点情報とを含む。

[0044] 以上のようにして生成された視点変換画像要求は、通信部 35を介して、通信ネットワーク 4に送出され (ステップ S16)、通信ネットワーク 4上を伝送され、画像生成装置 2の通信部 21により受信される（図 4のシーケンス SQ1)。

[0045] 画像生成装置 2において、中央処理部 23は、通信部 21からの視点変換画像要求を受け取ると (ステップ S21)、それに含まれる提供可能地点に設置された撮像装置 1 に対して撮影画像を要求するための撮影画像要求を生成する (ステップ S22)。また、中央処理部 23は、受け取った提供可能地点を撮像位置として認識し、撮像画像を要求するための撮像画像要求を生成してもよヽ。

[0046] ステップ S22の処理を具体的に説明すると、中央処理部 23は、受け取った視点変換画像要求に含まれる提供可能地点情報に一致する設置位置に存在する撮像装置 1の識別情報を、記憶装置 22内のデータベース（図 2を参照)から取り出す。取り出した識別情報を含む撮影画像要求を、中央処理部 23は生成する。

[0047] 以上のようにして生成された撮影画像要求は、通信部 21を介して、通信ネットヮーク 4に送出され (ステップ S22)、該撮影画像要求に含まれる識別情報が割り当てられた撮像装置 1により受信される（図 4のシーケンス SQ2)。撮像装置 1は、撮影画像要求の受信に応答して、前述のような撮影画像を生成し、画像生成装置 2に返す (シーケンス SQ3)。

[0048] 画像生成装置 2において、中央処理部 23は、通信部 21を介して、撮影画像を受け取ると (ステップ S23)、撮影画像の視点変換処理を行う（ステップ S 24)。

[0049] ステップ S24の処理を具体的に説明すると、中央処理部 23は、今回受信した撮影画像の送信元となる撮像装置 1の視点角度及び視線方向を、記憶装置 22内のデータベース（図 2を参照)から取り出す。取り出した視点角度は、画像表示装置 2で現在設定されている地図の視点角度とは相違するので、中央処理部 23は、今回の撮影画像の視点角度を、地図の視点角度にあわせる。中央処理部 23はさらに、取り出した視線方向により特定される視点変換済みの撮影画像の向きを、現在の地図の向きにあわせ、これによつて、視点変換画像が生成される。

[0050] 以上のようにして生成された視点変換画像は、通信部 21を介して、通信ネットヮーク 4に送出され (ステップ S 24)、視点変換画像要求の送信元である画像表示装置 3 の通信部 35により受信される（図 4のシーケンス SQ4)。

[0051] 画像表示装置 3において、中央処理部 33は、通信部 35を介して視点変換画像を受け取ると (ステップ S17)、視点変換画像が合成された第 2の地図画像を生成する（ステップ S 18)。

[0052] ステップ S18の処理を具体的に説明すると、中央処理部 33は、ステップ S15で指定された地点の周辺を表す地図データを、記憶装置 32の地図データベース力も読み出す。中央処理部 33は、読み出した地図データが表す地図画像における指定提供可能地点に、今回受け取った視点変換画像を合成して、図 8に示すような第 2の地図画像を生成する。

[0053] なお、図 8の例では、視点変換画像は、指定提供可能地点に合成されているが、撮像装置 1の設置場所周辺、撮像装置によって撮像されている場所に相当する位置に重畳されてもよい。図 9に示すように、視点変換画像は、指定提供可能地点との関連性がユーザにより認識されるように合成されても構わない。また、図 8に示す第 2の地図画像を生成するか、図 9に示すものを生成するかは、ユーザが入力装置 31を操作することで変更可能に画像表示装置 3は構成されても構わない。

[0054] また、図 10に示す様に視点変換画像の両端に三角ボタンを設け、三角ボタンを押すことで視点変換画像に表示される道路の位置を移動させる様にしてもよい。

[0055] 以上のように生成された第 2の地図画像は、中央処理部 33から表示部 34へと転送され、表示部 34は、受け取った第 2の地図画像を表示画面に表示する (ステップ S19 ) oこのような第 2の地図画像において、視点変換画像の向き及び視点角度と、地図画像自体の向き及び視点角度との整合が確立されているので、移動空間内のユーザは、視点変換画像の内容を直感的に把握することが可能となる。 [0056] なお、本実施形態では、道路の両車線が映った視点変換画像が生成されて、た。しかし、これに限らず、画像表示装置 3が車両の進行方向を画像生成装置 2に送信することで、画像生成装置 2は、車両の進行方向を認識できるので、車両が走行して V、る車線だけが映って、る中間画像を生成した後に、上述したような視点変換画像を生成し、画像表示装置 3に提供するようにしても構わない。これによつて、車両の進行方向に応じて、視点変換画像のカバー範囲が変更された視点変換画像を、画像生成装置 2は画像表示装置 3に対して提供することが可能となる。この場合、画像表示装置 3は、車両の走行車線のみが映った視点変換画像が重畳された第 2の地図画像を生成し表示する。これによつて、ユーザは、対向車線の様子を観ることがなくなり、自分にとって関心の高い走行車線の状況をより直感的に把握することが可能となる。

[0057] また、ステップ S 19の後に、処理はステップ S 11に戻っても構わないが、ステップ S1 9の後にステップ S 14が実行されることで、ユーザは、別の提供可能地点を指定することが可能になり、画像表示装置 3は、別の箇所が映った視点変換画像を取得することが可能になる。これによつて、ユーザは、別の第 2の地図画像を観ることが可能になる。

[0058] また、本実施形態では、第 1及び第 2の地図画像は、画像表示装置 3側で生成される例について説明したが、これに限らず、第 1及び第 2の地図画像は、画像生成装置 2側で生成されても構わない。この場合、画像表示装置 3は、第 1及び第 2の地図画像の生成に必要な情報を画像生成装置 2に送信する必要がある。さらに、画像表示装置 3が直接撮像装置 1と通信可能な場合には、本実施形態では画像生成装置 2で行われていた視点変換処理を、画像表示装置 3側で行っても構わない。また、ユーザがあら力じめ設定した地点や設定ルート上の特定の地点 (インターネット上にアツプされている渋滞が多く発生する交差点やポイントなど）について、画像生成装置 2 または画像表示装置 3によって動画を自動的に監視し、画像処理により交通流計測を行って、渋滞が発生した場合や渋滞が解消するなどの交通状況に変化が有った場合などに、自動的にその地点の画像を表示することもできる。また、自動的に動画を監視するポイントは設定したルート上を順次変更しながら渋滞発生箇所を調べても良ぐさらに FM多重放送や道路上の発信機カゝら送信される交通情報システム (VICS (Vehicle Information and Communication System) )等による渋滞†青報と一致しなヽポイントについて、画像を表示してもよい。

産業上の利用可能性

本発明に係る画像表示装置は、移動中のユーザが地図画像を直感的に把握することが要求される車載の情報端末装置及びナビゲーシヨン装置等に有用である。また、本発明に係る画像生成装置は、上記のような情報端末装置及びナビゲーシヨン装置等と通信ネットワークを介して接続されたサーバ装置等に有用である。

Claims

請求の範囲

[1] 外部に設置されている少なくとも 1個の撮像装置及び画像生成装置と通信ネットヮークを介して接続されており、少なくとも 2種類の地図画像を表示可能な画像表示装置であって、

前記画像表示装置は、

前記画像表示装置が搭載された移動体周辺の第 1の地図画像を表示する第 1の表示部と、

前記第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を前記画像生成装置に少なくとも送信することで、前記画像生成装置に視点変換画像を要求する要求送信部とを備え、

前記画像生成装置は、

前記要求送信部からの要求に応答して、前記撮像装置から撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、前記要求送信部により送信された視点角度及び視線方向に合わせた視点変換画像を生成し、前記画像表示装置に提供し、

前記画像表示装置はさらに、

前記画像生成装置により提供される視点変換画像が重畳された第 2の地図画像を表示する第 2の表示部とを備える、画像表示装置。

[2] 前記画像表示装置において、前記要求送信部は、前記移動体の進行方向を前記画像生成装置にさらに送信し、

前記画像生成装置は、

前記要求送信部からの要求に応答して、前記撮像装置から撮影画像を取得し、前記要求送信部から送られてくる進行方向に基づヽて、取得した撮影画像の一部が切り出された中間画像を生成し、さらに、生成した中間画像を使って視点変換画像を生成し、前記画像表示装置に提供する、請求項 1に記載の画像表示装置。

[3] 前記画像生成装置が、互いに異なる場所に設置された複数の撮像装置と前記通信ネットワークを介して接続されており、

前記画像表示装置において、前記要求送信部は、いずれかの撮像装置の設置場所を前記画像生成装置にさらに送信することで、その設置場所の視点変換画像を前記画像生成装置に要求し、

前記画像生成装置は、前記要求送信部からの要求に応答して、要求された設置場所に設置された撮像装置から撮影画像を取得して視点変換画像を生成し、前記画像表示装置に提供し、

前記画像表示装置において、前記第 2の表示部は、前記要求送信部により要求された設置場所の視点変換画像が重畳されている第 2の地図画像を表示する第 2の表示部とを備える、請求項 1に記載の画像表示装置。

[4] 前記第 2の地図画像におヽて、視点変換画像は、前記撮像装置の設置場所に相当する位置又は設置場所周辺又は撮像装置によって撮像されている場所に相当する位置に重畳される、請求項 1に記載の画像表示装置。

[5] 外部に設置されている少なくとも 1個の撮像装置及び画像生成装置と通信ネットヮークを介して接続されており、少なくとも 2種類の地図画像を表示可能な画像表示装置であって、

前記画像表示装置は、

前記画像表示装置が搭載された移動体周辺の第 1の地図画像を生成する第 1の生成部と、

前記第 1の生成部により生成された第 1の地図画像を表示する第 1の表示部と、前記第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を前記画像生成装置に送信することで、前記画像生成装置に視点変換画像を要求する要求送信部とを備え、

前記画像生成装置は、

前記要求送信部からの要求に応答して、前記撮像装置から撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、前記第 1の地図画像の視点角度及び視線方向に合わせた視点変換画像を生成して、前記画像表示装置に提供し前記画像表示装置はさらに、

前記画像生成装置により提供される視点変換画像が重畳された第 2の地図画像を生成する第 2の生成部と、

前記第 2の生成部により生成された第 2の地図画像を表示する第 2の表示部とを備える、画像表示装置。

[6] 前記画像表示装置において、前記要求送信部は、前記移動体の進行方向を前記画像生成装置にさらに送信し、

前記画像生成装置は、

前記要求送信部からの要求に応答して、前記撮像装置から撮影画像を取得し、前記要求送信部から送られてくる進行方向に基づヽて、取得した撮影画像の一部を切り出した中間画像を生成し、さらに、生成した中間画像を使って視点変換画像を生成し、前記地図画像表示装置に提供する、請求項 5に記載の画像表示装置。

[7] 前記画像生成装置が、互いに異なる場所に設置された複数の撮像装置と前記通信ネットワークを介して接続されており、

前記画像生成装置は、

前記要求送信部からの要求に応答して、要求された設置場所に設置された撮像装置から撮影画像を取得して視点変換画像を生成し、前記地図画像表示装置に提供し、

前記画像表示装置において、前記第 2の表示部は、前記要求送信部により要求された設置場所の視点変換画像が重畳されている第 2の地図画像を表示する第 2の表示部とを備える、請求項 5に記載の画像表示装置。

[8] 前記第 2の生成部は、前記画像生成装置により提供される視点変換画像を前記撮像装置の設置場所に相当する位置又は設置場所周辺又は撮像装置によって撮像されている場所に相当する位置に重畳して第 2の地図画像を生成する、請求項 5に記載の画像表示装置。

[9] 画像提供システムであって、前記システムは、

外部に設置されている少なくとも 1個の撮像装置と通信可能に接続された画像生成装置と、

前記画像生成装置と通信可能に接続され、少なくとも 2種類の地図画像を表示可能な画像表示装置とを備え、

前記画像表示装置は、

前記第 1の表示部で表示された第 1の地図画像の視点角度及び視線方向を前記画像生成装置に送信することで、前記画像生成装置に視点変換画像を要求する要求送信部とを含み、

前記画像生成装置は、

前記要求送信部からの要求に応答して、前記撮像装置から撮影画像を取得する画像取得部と、

前記画像取得部により取得された撮影画像の視点角度及び視線方向を、前記第 1の地図画像の視点角度及び視線方向に合わせた視点変換画像を生成する視点変換処理部と、

前記視点変換処理部により生成された視点変換画像を、前記画像表示装置に送信する送信部とを含み、

前記画像表示装置はさらに、

前記画像生成装置により提供される視点変換画像が重畳されている第 2の地図画像を表示する第 2の表示部を含む、画像提供システム。

外部に設置されている少なくとも 1個の撮像装置と通信ネットワークを介して接続されており、少なくとも 2種類の地図画像を生成可能な画像生成装置であって、前記画像生成装置は、

外部の移動体の周辺地図を表す第 1の地図画像を生成する第 1の生成部と、前記移動体から送出された要求に応答して、前記撮像装置から撮影画像を取得した後、取得した撮影画像の視点角度及び視線方向を、前記第 1の地図画像の視点角度及び視線方向に合わせて、視点変換画像を生成する視点変換処理部と、前記視点変換処理部により生成された視点変換画像が重畳された第 2の地図画像を生成する第 2の生成部と、

前記第 2の生成部により生成された第 2の地図画像を前記移動体に向けて送信する送信部とを備える、画像生成装置。