WO2008068990A1 - 画像表示システム、表示装置、表示方法 - Google Patents

Abstract

　ユーザが地図画像上で位置を指定することで、その位置で撮像された画像を見ることができるようにする。移動体に装着された撮像装置（撮像表示装置１又は撮像装置３０）は、撮像画像データを撮像地点の位置情報を含む付加データとともにサーバ装置に送信し、サーバ装置で格納されるようにする。即ちサーバ装置では多数の撮像装置が各地で撮像した画像データを位置情報とともに蓄積するようにする。表示装置（撮像表示装置１又は表示装置４０）のユーザは、地図画像上で位置を指定する。そして表示装置は位置指定情報をサーバ装置に送信することで、サーバ装置は位置指定情報に基づいて画像データを検索し、位置指定情報に対応する画像データを表示装置に送信する。表示装置では受信した画像データを表示する。

Description

明 細 書

画像表示システム、表示装置、表示方法

技術分野

[0001] 本発明は、画像表示システム、表示装置、表示方法に関し、特に表示装置側での 地図画像上での位置指定に基づ!/、て、外部の撮像装置により撮像された画像表示 を行う技術に関する。

背景技術

[0002] 特開 2005— 341604号公報にはデータ通信システムの一例が述べられている。

[0003] 特開 2005— 337863号公報にはカメラによって撮像された画像を用いて、カーナ ビグーシヨンシステムが有する立体地図を更新する技術が示されている。

[0004] 特表 2004— 538681号公報、特表 2004— 537193号公報、特表 2004— 5386

79号公報には、放送済み ·記録済みの番組を胃 W (World Wide Web)上で拡張し て楽しむ試みが開示されている。

[0005] しかしながら従来は、地図画像に対してユーザが任意に位置を指定し、その位置の 画像を見ることができるようにする技術は提案されて!/、なレ、。

[0006] そこで本発明は、ユーザが地図画像上で、或る位置を指定することで、その位置で 実際に撮像された画像を見ることができるようにすることを目的とする。

発明の開示

[0007] 本発明の画像表示システムは、表示装置と、移動体に装着されて画像撮像を行う 撮像装置と、サーバ装置とを有して成り、上記表示装置と上記撮像装置は、それぞ れ上記サーバ装置と通信可能とされている。そして上記撮像装置は、画像撮像を行 う撮像手段と、位置情報を検出する位置検出手段と、上記撮像手段の撮像により得 られた画像データと少なくともその画像データの撮像の際に上記位置検出手段で検 出された位置情報を含む付加データを上記サーバ装置に対して送信させる送信制 御処理を行う制御手段とを備える。上記サーバ装置は、上記撮像装置から送信され てくる上記画像データ及び上記付加データを格納する格納手段と、上記表示装置か ら送信されてくる位置指定情報に基づいて、上記格納手段に格納された画像データ の検索を行レ、、検索された画像データを再生して上記表示装置に送信させる検索送 信制御処理を行う制御手段とを備える。上記表示装置は、画像表示を行う表示手段 と、上記表示手段に地図画像を表示させる地図表示処理、上記地図画像に対する 入力に基づいて位置指定情報を設定する位置指定処理、上記サーバ装置に上記 位置指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求 送信処理に応じて上記サーバ装置から送信されてくる画像データを受信し受信した 画像データに基づく表示動作を上記表示手段に実行させる表示処理を行う制御手 段とを備える。

[0008] 上記撮像装置が装着される上記移動体は、人、又は人以外の生物、又は地上移 動機器、又は海上移動機器、又は海中移動機器、又は航空移動機器、又は宇宙移 動機器のいずれかである。

[0009] また上記撮像装置は、さらに現在日時を検出する日時検出手段を備え、上記撮像 装置の制御手段は、上記付加データに、画像データの撮像の際に上記日時検出手 段で検出された日時情報を含むようにし、上記表示装置の制御手段は、 日時を指定 する日時指定情報を設定する日時指定処理を行うとともに、上記画像要求送信処理 では、上記位置指定情報とともに上記日時指定情報を上記サーバ装置に送信し、上 記サーバ装置の制御手段は、上記検索送信制御処理の際に、上記表示装置から送 信されてくる位置指定情報と日時指定情報に基づいて、上記格納手段に格納された 画像データの検索を行う。

[0010] 本発明の表示装置は、画像表示を行う表示手段と、外部のサーバ装置との間でデ ータ通信を行う通信手段と、上記表示手段に地図画像を表示させる地図表示処理、 上記地図画像に対する入力に基づいて位置指定情報を設定する位置指定処理、上 記通信手段により上記サーバ装置に上記位置指定情報を送信して画像データを要 求する画像要求送信処理、上記画像要求送信処理に応じて上記サーバ装置から送 信されてくる画像データを上記通信手段により受信させ受信した画像データに基づく 表示動作を上記表示手段に実行させる表示処理を行う制御手段とを備える。

[0011] また上記制御手段は、上記位置指定処理において、上記地図画像に対して指定 入力された地点の緯度 ·経度の情報を、上記位置指定情報とする。 [0012] また上記制御手段は、さらに、 日時を指定する日時指定情報を設定する日時指定 処理を行うとともに、上記画像要求送信処理では、上記位置指定情報とともに上記日 時指定情報を上記サーバ装置に送信する処理を行う。

[0013] また上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を 行う構造とされる。

[0014] また画像撮像を行う撮像手段と、位置情報を検出する位置検出手段とをさらに備え 、上記制御手段は、上記撮像手段の撮像により得られた画像データと、少なくとも、 その画像データの撮像の際に上記位置検出手段で検出された位置情報を含む付加 データを、上記通信手段から上記サーバ装置に対して送信させる送信制御処理も実 行可能とされる。

[0015] 本発明の表示方法は、地図画像を表示させる地図表示処理ステップと、上記地図 画像に対する入力に基づいて位置指定情報を設定する位置指定処理ステップと、外 部のサーバ装置に上記位置指定情報を送信して画像データを要求する画像要求送 信処理ステップと、上記画像要求送信処理に応じて上記サーバ装置から送信されて くる画像データを受信し、受信した画像データに基づく表示を行う表示ステップとを 備える。

[0016] 以上の本発明では、表示装置の使用者 (ユーザ）は、地図画像上で位置を指定す ることで、その指定した位置にお!/、て実際に撮像装置で撮像された画像を見ることが できる。

[0017] 例えば、外部の撮像装置として、他人が装着している撮像装置や、自動車、電車等 に取り付けられた撮像装置、更には動物や鳥などに装着された撮像装置などを考え る。そしてこれらの撮像装置によって撮像された画像データ（動画や静止画）が、撮 像地点の位置情報を含む付加データとともにサーバ装置に送信され、サーバ装置に お!/、て格納される。従ってサーバ装置では多数の撮像装置が各地で撮像した画像 データが、位置情報とともに蓄積されていくことになる。

[0018] このようにしておくと、表示装置側で位置を指定して位置指定情報をサーバ装置に 送信することで、サーバ装置は位置指定情報に基づいて画像データを検索できる。 サーバ装置は位置指定情報に対応する画像データを検索し、それを表示装置に送 信する。表示装置では受信した画像データを表示する。すると表示装置のユーザは 、表示画像として、指定した地点で撮像された光景を見ることができる。

[0019] なお、本発明でいう地図画像とは、単に地上での道、地形、建物、自然物等を表し た「地図」の画像のことだけでなぐ海洋図、海中地形図、航空図、宇宙図など、或る 特定の場所を指定することのできる各種の図の画像を含むものとする。

[0020] 本発明によれば、表示装置のユーザは、地図画像上で位置を指定することで、そ の指定した位置にお!/、て実際に撮像装置で撮像された画像を見ることができる。これ により本発明は、地図上で指定できる或る場所の光景を見て楽しみたい場合、地図 上で指定できる或る場所の状況を知りた!/、場合など、ユーザの多様なニーズに対応 できるシステム及び装置となる。また、地図画像上で位置を指定して、その位置の撮 像画像を見ることができるということは、指定した位置の状況として、例えば地形、周り の建物や自然物の風景、道路の幅や車線数、 日時に応じた様子などを知ることがで きるものであるため、レ、わゆるナビゲーシヨンシステムとして拡張的な情報提供を行う ことも可能となる。

図面の簡単な説明

[0021] [図 1]図 1は、本発明の実施の形態の撮像表示装置の外観例の説明図である。

[図 2]図 2は、実施の形態の撮像装置、表示装置の外観例の説明図である。

[図 3]図 3は、実施の形態のシステム構成例の説明図である。

[図 4]図 4は、実施の形態の撮像表示装置のブロック図である。

[図 5]図 5は、実施の形態の撮像装置のブロック図である。

[図 6]図 6は、実施の形態の表示装置のブロック図である。

[図 7]図 7は、実施の形態の撮像装置及び表示装置のブロック図である。

[図 8]図 8は、実施の形態のサーバ装置のブロック図である。

[図 9]図 9は、実施の形態のシステム動作例の説明図である。

[図 10]図 10は、実施の形態の地点画像データベースの説明図である。

[図 11]図 11は、実施の形態のシステム動作例のフローチャートである。

[図 12]図 12は、実施の形態での地図画像を用いた指定の際の画像の説明図である [図 13]図 13は、実施の形態で表示される指定地点の撮像画像の説明図である。 発明を実施するための最良の形態

[0022] 以下、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明する 。実施の形態においては、撮像表示装置 1又は表示装置 40が、本発明請求項でい う表示装置に該当し、撮像表示装置 1又は表示装置 40の処理として本発明の表示 方法が実行される。また撮像表示装置 1又は撮像装置 30が、本発明請求項でいう撮 像装置に該当する。なお、従って実施の形態の撮像表示装置 1は、本発明請求項で V、う表示装置、撮像装置の双方として機能できるものである。

[0023] 説明は次の順序で行う。

[0024] [1.撮像表示装置、撮像装置、表示装置の外観例]

[2.システム形態]

[3.撮像表示装置、撮像装置、表示装置、サーバ装置の構成例]

[4.システム動作例]

[5.実施の形態の効果、及び変形例、拡張例]

[1.撮像表示装置、撮像装置、表示装置の外観例]

図 1に実施の形態の撮像表示装置 1の外観例を示す。この撮像表示装置 1は眼鏡 型ディスプレイカメラとしてユーザが装着できるものとしている。

[0025] 撮像表示装置 1は、例えば両側頭部から後頭部にかけて半周回するようなフレーム の構造の装着ユニットを持ち、図のように両耳殻にかけられることでユーザに装着さ れる。

[0026] そしてこの撮像表示装置 1は、図 1のような装着状態において、ユーザの両眼の直 前、即ち通常の眼鏡におけるレンズが位置する場所に、左眼用と右眼用の一対の表 示パネル部 2a、 2bが配置される構成とされている。この表示パネル部 2a、 2bには、 例えば液晶パネルが用いられ、透過率を制御することで、図のようなスルー状態、即 ち透明又は半透明の状態とできる。表示パネル部 2a, 2bがスルー状態とされること で、眼鏡のようにユーザが常時装着していても、通常の生活には支障がない。

[0027] またユーザが装着した状態において、ユーザの視界方向を被写体方向として撮像 するように、前方に向けて撮像レンズ 3aが配置されている。 [0028] また撮像レンズ 3aによる撮像方向に対して照明を行う発光部 4aが、例えば LED (L ight Emitting Diode)等により設けられる。

[0029] また、図では左耳側しか示されていないが、装着状態でユーザの右耳孔及び左耳 孔に揷入できる一対のイヤホンスピーカ 5aが設けられる。

[0030] また右眼用の表示部 2の右方と、左眼用の表示部 2の左方に、外部音声を集音す るマイクロホン 6a, 6bが配置される。

[0031] なお図 1は一例であり、撮像表示装置 1をユーザが装着するための構造は多様に 考えられる。一般に眼鏡型、或いは頭部装着型とされる装着ユニットで形成されれば よぐその状態で例えばユーザの眼の前方に近接して表示パネル部 2a、 2bが設けら れ、また撮像レンズ 3aによる撮像方向がユーザの視界方向、つまりユーザの前方と なるようにされていればよい。また表示パネル部 2a, 2bとして両眼に対応して表示部 がー対設けられる構成の他、片側の眼に対応して 1つ表示部が設けられる構成でも よい。

[0032] また撮像レンズ 3aによる撮像方向が、ユーザの後方、側方など、視界方向以外の 方向とされていてもよい。

[0033] またイヤホンスピーカ 5aは、左右のステレオスピーカとせずに、一方の耳にのみ装 着するために 1つ設けられるのみでもよい。またマイクロホンも、マイクロホン 6a, 6bの うちの一方でもよい。さらには、撮像表示装置 1としてマイクロホンやイヤホンスピーカ を備えない構成も考えられる。

[0034] また発光部 4aを設けな!/、構成も考えられる。

[0035] 撮像表示装置 1として眼鏡型或いは頭部装着型の装着ユニットを有する例を示した

1S 例えばヘッドホン型、ネックバンドタイプ、耳掛け式など、どのような装着ユニット でユーザに装着されるものであってもよい。さらには、例えば通常の眼鏡やバイザ一 、或いはヘッドホン等に、クリップなどの取付具で取り付けることでユーザに装着させ る形態であってもよい。また必ずしもユーザの頭部に装着されるものでなくても良い。

[0036] ところで図 1の撮像表示装置 1は、撮像のための構成部分と画像をモニタできる表 示パネル部 2a, 2bがー体に形成されてユーザに装着される機器とした例であるが、 ユーザが装着する機器としては、図 2の（a) (b)に示すような撮像装置 30や表示装置 40も考えられる。

[0037] 図 2の（a)の撮像装置 30は、所定の装着フレームによりユーザの側頭部に装着さ れる。そして装着状態においてユーザの視界方向を被写体方向として撮像するよう に、前方に向けて撮像レンズ 3a及び発光部 4aが配置されている。また、外部音声を 集音するマイクロホン 6aが設けられて!/、る。

[0038] 即ちこの撮像装置 30は、表示機能は持たな!/、が、ユーザに装着された状態でユー ザの視界光景の撮像を行う装置とされる。なお、このような撮像装置 30についても、 上記撮像表示装置 1と同じぐ形状、装着構造、構成要素などは多様に考えられる。

[0039] 図 2の (b)の表示装置 40は、腕時計型の表示装置とした例であり、リストバンドによ つてユーザの手首に装着された状態で、ユーザが視認できる表示パネル部 2aが形 成されたものである。

[0040] なお、ここでは腕時計型の表示装置 40を示している力 S、ユーザが装着又は所持す る表示装置 40として多様な形状や装着構造が想定される。表示装置 40としては例え ば携帯用の小型機器としてユーザが所持できるものであってもよい。また、図 1のよう な眼鏡型の形状でユーザが装着できる表示装置 40 (図 1の撮像表示装置 1から撮像 機能を無くした装置)も考えられる。

[0041] さらにユーザが携帯できる表示装置 40を考えた場合、モニタリング表示のみの専用 装置だけでなぐ携帯電話機、携帯ゲーム機、 PDA (Personal Digital Assistant)など の表示機能を有する機器も、本例の表示装置 40となり得る。

[0042] また、ユーザが装着又は携帯する機器以外に、据置型の表示装置、コンピュータ 装置、テレビジョン受像器、車載用ディスプレイモニタ機器なども、本例の表示装置 4 0として採用できる。

[0043] また図 2の（a) (b)の撮像装置 30、表示装置 40は、それぞれを個別に使用しても良 いが、ユーザが、この撮像装置 30、表示装置 40の両方を装着し、 2つの機器で、撮 像表示装置として使用する形態も想定される。例えば撮像装置 30、表示装置 40が データ通信を行って、表示装置 40で撮像装置 30での撮像画像のモニタリングや、 外部機器から送信されてきた画像表示を行うようにする場合である。

[0044] ところで本例においては、撮像表示装置 1、表示装置 40はユーザ（人）が使用する ことを想定するが、撮像装置 30については、人に限らず各種の移動体に装着されて 用いられることが想定されており、移動体とは人を含めて多様に考えられる。上記図 2 の（a)のような撮像装置 30は人が装着して、人の視界光景を撮像するものとされた例 である力 S、人以外の移動体に装着される撮像装置 30も多様に考えられる。

[0045] 人以外の移動体とは、人以外の生物、又は地上移動機器、又は海上移動機器、又 は海中移動機器、又は航空移動機器、又は宇宙移動機器などである。

[0046] 人以外の生物としては、鳥類、ほ乳類、は虫類、両生類、魚類、昆虫類その他の各 種の生物である。

[0047] 地上移動機器としては、乗用車、トラック、バス、タクシー、オートバイ等の自動車両 や、 自転車、人力車、遊具車など人力で移動する車両がある。また、電車、蒸気機関 車などの鉄道車両も想定される。さらに遊園地等における乗り物、工場その他の施設 における業務用の乗り物も想定される。また、人が乗る移動体でないものもある。例え ば業務用や遊具としての各種ロボット、 V、わゆるラジコン等の遊具なども考えられる。

[0048] 海上移動機器としては、各種船舶、水上バイク、サーフボード、手こぎボート、浮き 輪、筏などが想定される。

[0049] 海中移動機器としては、潜水艦、潜水ロボット、アクアラング等の潜水器具などが想 定される。

[0050] 航空移動機器としては、各種航空機、ヘリコプター、グライダー、パラシュート、気球

、 などが想定される。

[0051] 宇宙移動機器としては、ロケット、宇宙探査機、人工衛星などが想定される。

[0052] 移動体としての具体例は更に多様に考えられる力 撮像装置 30は、それぞれ装着 される移動体に応じた形状や装着構造とされればょレ、。

[0053] [2.システム形態]

実施の形態では、撮像表示装置 1又は表示装置 40のユーザは、表示された地図 画像において位置を指定することで、他の撮像表示装置 1又は撮像装置 30で、該当 位置で撮像された画像を見ることができる。つまり撮像表示装置 1又は表示装置 40 のユーザは、地図を見ているときに、実際に地図上で示した場所の光景の画像を、 自分の撮像表示装置 1又は表示装置 40で見ることができる。このためのシステム形 態の例を図 3に示す。

[0054] なお「地図画像」とは、上述のように地上の地図だけでなぐ海洋図、海中図、航空 図なども含むものとする。

[0055] 図 3には、撮像表示装置 1、表示装置 40,撮像装置 30、サーバ装置 70がネットヮ ーク 60を介して通信するシステム形態を示して!/、る。

[0056] なお、ネットワーク 60としてはインターネットなどの広域ネットワークが考えられるが、 もちろん LAN (Local Area Network)その他の狭域ネットワークも想定される。

[0057] ここでは、ユーザ A, B, Cは、例えば図 1のような撮像表示装置 1を装着していると する。またユーザ Dは例えば図 2の（b)のような表示装置 40を装着し、ユーザ Eは図 2 の（a)のような撮像装置 30を装着して!/、るとする。

[0058] さらにユーザ Fは、図 2の（a)の撮像装置 30と図 2の (b)の表示装置 40を共に装着 し、 2つの機器で撮像表示装置として機能するようにしているとする。

[0059] また、移動体 G、移動体 Hに搭載された撮像装置 30とは、所要の形状で自動車、 鉄道車両、航空機その他の移動体 (人以外の移動体）に装着された撮像装置である とする。

[0060] この場合、ユーザ Eが装着する撮像装置 30や、移動体 G、 Hに搭載された撮像装 置 30は、常時、或いは定期的、或いは任意のタイミングで、ネットワーク 60を介した 通信によりサーバ装置 70に対して撮像した画像データ及び少なくとも撮像場所の位 置情報を含む付加データをアップロードする。

[0061] またユーザ A, B, Cが装着している撮像表示装置 1も、常時、或いは定期的、或い は任意のタイミングで、ネットワーク 60を介した通信によりサーバ装置 70に対して撮 像した画像データ及び少なくとも撮像場所の位置情報を含む付加データをアップ口 ード'すること力 Sでさる。

[0062] サーバ装置 70は、撮像表示装置 1又は撮像装置 30を後述する地点画像データべ ースに登録して格納する。

[0063] 一方、ユーザ A, B, Cが装着して!/、る撮像表示装置 1や、ユーザ D、 Fが使用する 表示装置 40は、ユーザが地図画像上で位置を指定することに応じて、ネットワーク 6 0を介した通信でサーバ装置 70にアクセスし、位置指定情報を送信して画像要求を 行う。

[0064] サーバ装置 70は位置指定情報に基づいて地点画像データベースを検索し、位置 指定情報で指定された位置で撮像された画像データを抽出する。そしてその画像デ ータを、撮像表示装置 1又は表示装置 40に送信する。

[0065] 撮像表示装置 1又は表示装置 40では、サーバ装置 70から送信されてくる画像デ ータを受信し、それを表示する。

[0066] これによりユーザ A、 B、 C、 D、 Fは、地図上で指定した位置で実際に撮像された光 景を見ること力 Sでさる。

[0067] [3.撮像表示装置、撮像装置、表示装置、サーバ装置の構成例]

撮像表示装置 1、撮像装置 30、表示装置 40、サーバ装置 70の各構成例を図 4〜 図 8で説明する。

[0068] まず図 4に、撮像表示装置 1の構成例を示す。

[0069] システムコントローラ 10は、例えば CPU (Central Processing Unit)、 ROM (Read O nly Memory)、 RAM (Random Access Memory)、不揮発十生メモリ部、インターフエ一 ス部を備えたマイクロコンピュータにより構成され、撮像表示装置 1の全体を制御する 制御部とされる。このシステムコントローラ 10は内部の ROM等に保持したプログラム に基づいて、各種演算処理やバス 13を介した各部と制御信号等のやりとりを行い、 各部に所要の動作を実行させる。

[0070] 撮像表示装置 1内では、ユーザの視界方向の光景の撮像のための構成として、撮 像部 3が設けられる。

[0071] 撮像部 3は、撮像光学系、撮像素子部、撮像信号処理部を有する。

[0072] 撮像部 3における撮像光学系では、図 1に示した撮像レンズ 3aや、絞り、ズームレン ズ、フォーカスレンズなどを備えて構成されるレンズ系や、レンズ系に対してフォー力 ス動作やズーム動作を行わせるための駆動系等が備えられる。

[0073] また撮像部 3における撮像素子部では、撮像光学系で得られる撮像光を検出し、 光電変換を行うことで撮像信号を生成する固体撮像素子アレイが設けられる。固体 撮像素子アレイは、例えば CCD (Charge Coupled Device)センサアレイや、 CMOS ( Complementary Metal Oxide Semiconductor)センサアレイとされる。 [0074] また撮像部 3における撮像信号処理部では、固体撮像素子によって得られる信号 に対するゲイン調整や波形整形を行うサンプルホールド/ AGC(Automatic Gain Co ntrol)回路や、ビデオ A/Dコンバータを備え、デジタルデータとしての撮像画像デー タを得る。また撮像画像データに対してホワイトバランス処理、輝度処理、色信号処 理、ぶれ補正処理などを行う。

[0075] これらの撮像光学系、撮像素子部、撮像信号処理部を有する撮像部 3により、撮像 が行われ、撮像による画像データが得られる。

[0076] システムコントローラ 10は、この撮像部 3における撮像動作のオン/オフ制御、撮 像光学系のズームレンズ、フォーカスレンズの駆動制御、撮像素子部の感度ゃフレ ームレート制御、撮像信号処理部の各処理のパラメータや実行処理の設定などを行

5。

[0077] この撮像部 3の撮像動作によって得られた撮像画像データは、画像処理部 15を介 して表示部 2、ストレージ部 25,通信部 26に供給することができる。

[0078] 画像処理部 15は、システムコントローラ 10の制御に従って、撮像画像データを所 定の画像データフォーマットに変換する処理や、表示部 2でモニタ表示させるための 所要の信号処理を行う。表示部 2でモニタ表示させるための信号処理とは、例えば輝 度レベル調整、色補正、コントラスト調整、シャープネス（輪郭強調)調整、画面分割 処理、キャラクタ画像の合成処理、拡大又は縮小画像の生成、モザイク画像/輝度 反転画像/ソフトフォーカス/画像内の一部の強調表示/画像全体の色の雰囲気 の可変などの画像エフェクト処理などである。

[0079] また画像処理部 15は、撮像部 3,表示部 2,ストレージ部 25、通信部 26の間の画 像データの転送処理も行う。即ち、撮像部 3からの撮像画像データを表示部 2,ストレ ージ部 25,通信部 26に供給する処理や、ストレージ部 25で再生された画像データ を表示部 2に供給する処理や、通信部 26で受信した画像データを表示部 2に供給す る処理も行う。

[0080] 撮像表示装置 1にお!/、てユーザに対して表示を行う構成としては、表示部 2が設け られる。この表示部 2は、上述した液晶パネル等による表示パネル部 2a、 2bと、表示 パネル部 2a、 2bを表示駆動する表示駆動部が設けられる。 [0081] 表示駆動部は、画像処理部 15から供給される画像信号を、例えば液晶ディスプレ ィとされる表示パネル部 2a, 2bにおいて表示させるための画素駆動回路で構成され ている。即ち表示パネル部 2a, 2bにおいてマトリクス状に配置されている各画素につ V、て、それぞれ所定の水平/垂直駆動タイミングで映像信号に基づく駆動信号を印 加し、表示を実行させる。この処理により、撮像部 3での撮像モニタとしての表示や、 ストレージ部 25で再生された再生画像の表示、さらには通信部 26で受信された受信 画像の表示が、表示パネル部 2a、 2bにおいて行われる。

[0082] また表示駆動部は、表示パネル部 2a、 2bの各画素の透過率を制御して、スルー状 態 (透明又は半透明の状態）とすることもできる。

[0083] システムコントローラ 10は、この表示部 2における表示動作のオン/オフ（スルー） 制御、表示する画像データに対する処理パラメータの指示、画面領域設定制御、キ ャラクタ発生指示などを行う。

[0084] また撮像表示装置 1には、音声入力部 6、音声処理部 16,音声出力部 5が設けら れる。

[0085] 音声入力部 6は、図 1に示したマイクロホン 6a, 6bと、そのマイクロホン 6a, 6bで得 られた音声信号を増幅処理するマイクアンプ部や A/D変換器を有し、音声データ を出力する。

[0086] 音声入力部 6で得られた音声データは音声処理部 16に供給される。

[0087] 音声処理部 16は、システムコントローラ 10の制御に応じて、音声データの転送を制 御する。即ち音声入力部 6で得られた音声データを、音声出力部 5、ストレージ部 25

、通信部 26に供給する。或いは、ストレージ部 25で再生された音声データや、通信 部 26で受信された音声データを音声出力部 5に供給する。

[0088] また音声処理部 16は、システムコントローラ 10の制御に基づいて、音量調整、音質 調整、音響エフェクト等の処理を行う。

[0089] 音声出力部 5は、図 1に示した一対のイヤホンスピーカ 5aと、そのイヤホンスピーカ

5aに対するアンプ回路や D/A変換器を有する。

[0090] 即ち音声処理部から供給された音声データは D/A変換器でアナログ音声信号に 変換され、アンプ回路で増幅されてイヤホンスピーカ 5aから音声として出力される。こ れによりユーザは外部音声を聞いたり、ストレージ部 25で再生された音声データや 通信部 26で受信した音声データによる音声を聞くことができる。

[0091] なお音声出力部 5は、いわゆる骨伝導スピーカを用いた構成とされてもよい。

[0092] ストレージ部 25は、所定の記録媒体に対して画像データ（及び音声データ）の記録 再生を行う部位とされる。例えば HDD (Hard Disk Drive)として実現される。もちろん 記録媒体としては、フラッシュメモリ等の固体メモリ、固体メモリを内蔵したメモリカード 、光ディスク、光磁気ディスク、ホログラムメモリなど各種考えられ、ストレージ部 25とし ては採用する記録媒体に応じて記録再生を実行できる構成とされればよい。

[0093] このストレージ部 25は、システムコントローラ 10の制御に基づいて、撮像によって得 られる画像データ（及び音声データ）や、通信部 26で受信された画像データ（及び音 声データ）を記録媒体に記録する。即ち、画像処理部 15を介して供給される画像デ ータゃ音声処理部 16を介して供給される音声データ、或いは通信部 26で受信され た画像データや音声データに対して、記録媒体への記録のためのエンコード処理を 行い、記録媒体に記録する。

[0094] またストレージ部 25はシステムコントローラ 10の制御に従って、記録した画像デー タ、音声データを再生することができる。再生した画像データは画像処理部 15を介し て表示部 2に供給され、音声データは音声処理部 16を介して音声出力部 5に供給さ れる。また再生した画像データ/音声データは、外部機器に送信するデータとして 通信部 26に供給することもできる。

[0095] 通信部 26は図 3のネットワーク 60を介して外部機器、特にサーバ装置 70との間で のデータの送受信を fiう。

[0096] この通信部 26は、無線 LAN、ブルートゥースなどの方式で、例えばネットワークァク セスポイントに対する近距離無線通信を介してネットワーク通信を行う構成とすること が考えられる。

[0097] 通信部 26に対しては、撮像部 3で得られた撮像画像データが画像処理部 15を介 して供給される。また音声入力部 6で得られた音声データが音声処理部 16を介して 供給される。通信部 26は、この画像データ及び音声データについて通信用のェンコ ード処理を行い、無線送信のための変調を行って外部機器に送信することができる。 つまりこの撮像表示装置 1で現在撮像及び集音されている画像データ/音声データ を、外部機器 (サーバ装置 70)に送信すること力 Sできる。

[0098] また、ストレージ部 25で再生された画像データ及び音声データについて通信用の エンコード処理を行い、無線送信のための変調を行って外部機器に送信することも できる。

[0099] なお、この撮像表示装置 1で現在撮像及び集音されている画像データ/音声デー タを例えばサーバ装置 70に送信する際には、システムコントローラ 10は付加データ を生成し、画像データ/音声データとともに通信部 26でエンコードさせて送信させる 。付加データは、画像データの管理情報や、後述する位置検出部 12で検出される 現在位置情報や、 日時計数部 28で計数されてレ、る現在日時情報を含むものとされ

[0100] また、撮像及び集音されている画像データ/音声データをストレージ部 25に一旦 記憶し、後の時点でストレージ部 25から読み出して、通信部 26からサーバ装置 70に 送信するという動作も考えられるが、その場合、システムコントローラ 10は、画像デー タ/音声データをストレージ部 25に記憶する際に、上記の内容を含む付加データを 生成し、共にストレージ部 25に記録させる。記録した画像データ/音声データをスト レージ部 25から読み出してサーバ装置 70に送信する際には、共に記録されている 付加データも、送信されることになる。

[0101] システムコントローラ 10が、このような処理を行うことで、サーバ装置 70に対して画 像データ/音声データを送信する際には、その画像データ/音声データに関しての 撮像時点の位置情報と、 日時情報も、サーバ装置 70に送信されることになる。

[0102] また通信部 26は外部機器 (サーバ装置 70)から送信されてきた画像データ/音声 データを受信し、復調して画像処理部 15及び音声処理部 16に供給する。この場合 、表示部 2と音声出力部 5により、受信した画像及び音声の出力が行われる。

[0103] もちろん、通信部 26で受信した画像データ/音声データをストレージ部 25に供給 して記録媒体に記録することも可能である。

[0104] また撮像表示装置 1には照明部 4と照明制御部 14が設けられる。照明部 4は、図 1 、図 2に示した発光部 4aとその発光部 4a (例えば LED)を発光させる発光回路から 成る。照明制御部 14は、システムコントローラ 10の指示に基づいて、照明部 4に発光 動作を実行させる。

[0105] 照明部 4における発光部 4aが図 1又は図 2に示したように取り付けられていることで 、照明部 4は撮像レンズ 3aによる被写体方向に対する照明動作を行うことになる。

[0106] この撮像表示装置 1では、ユーザの操作のために操作入力部 11が設けられる。

[0107] 操作入力部 11は、例えばキー、ダイヤル等の操作子を有するようにし、キー操作等 としてのユーザの操作を検知する構成としてもょレ、し、或!/、はユーザの意識的な挙動 を検知する構成としても良い。

[0108] 操作子を設ける場合、例えば、電源オン/オフ操作、撮像系の操作 (例えばズーム 等の操作や、信号処理の指示操作）、表示関連操作 (例えば表示内容の選択や表 示調整操作）、更には後述する外部装置の指定のための操作に用いる操作子が形 成されればよい。

[0109] またユーザの挙動を検知する構成とする場合は、加速度センサ、角速度センサ、振 動センサ、圧力センサ等を設けることが考えられる。

[0110] 例えばユーザが撮像表示装置 1を側面側からコッコッと軽く叩くといったことを、カロ 速度センサ、振動センサ等で検知し、例えば横方向の加速度が一定値を越えたとき にシステムコントローラ 10がユーザの操作として認識するようにすることができる。また

、加速度センサや角速度センサによりユーザが右側から側部（眼鏡のツルに相当す る部分）を叩いた力、、左側から側部を叩いたかを検出できるようにすれば、それらを、 それぞれ所定の操作として判別することもできる。

[0111] またユーザが頭を回す、首を振るなどとすることを加速度センサや角速度センサで 検知し、これをシステムコントローラ 10がユーザの操作として認識することができる。

[0112] また、撮像表示装置 1の左右の側部（眼鏡のツルに相当する部分）等に圧力センサ を配置し、右側部をユーザが指で押したときは望遠方向のズーム操作、左側部をュ 一ザが指で押したときは広角方向のズーム操作などとすることもできる。

[0113] さらには、生体センサとしての構成を備えるようにし、ユーザの生体情報を検出して 、操作入力と認識するようにしても良い。生体情報とは、脈拍数、心拍数、心電図情 報、筋電、呼吸情報 (例えば呼吸の速さ、深さ、換気量など）、発汗、 GSR (皮膚電気 反応）、血圧、血中酸素飽和濃度、皮膚表面温度、脳波（例えば α波、 /3波、 Θ波、 δ波の情報）、血流変化、眼の状態などである。

[0114] そしてシステムコントローラ 10は生体センサの検出情報を、ユーザの操作入力とし て認識するようにしてもよい。例えばユーザの意識的な挙動として目の動き（視線方 向の変化やまばたき）が考えられるが、ユーザが 3回まばたきをしたことを検知したら、 それを特定の操作入力と判断するなどである。さらには、上記生体情報の検知により ユーザが撮像表示装置 1を装着したことや外したこと、あるいは特定のユーザが装着 したことなども検出可能であり、システムコントローラ 10がその検出に応じて電源オン /オフなどを行うようにしてもよい。

[0115] 操作入力部 11は、このように操作子、加速度センサ、角速度センサ、振動センサ、 圧力センサ、生体センサ等として得られる情報をシステムコントローラ 10に供給し、シ ステムコントローラ 10はこれらの情報によりユーザの操作を検知する。

[0116] また撮像表示装置 1は位置検出部 12を備える。位置検出部 12は例えば GPS受信 部とされる。 GPS受信部は、 GPS (Global Positioning System)の衛星からの電波を 受信し、現在位置としての緯度 ·経度の情報をシステムコントローラ 10に出力する。

[0117] サーバ装置 70に対して画像データ/音声データ及び付加データの送信を行う際 には、この位置検出部 12によって検出された撮像時の位置情報力 付加データに含 まれることになる。

[0118] なお、位置検出部 12としては、 WiFi (Wireless Fidelity)や携帯電話会社が提供す る位置情報サービスを利用するものとしてもょレ、し、それらや GPSを組み合わせて利 用しても良い。

[0119] また、歩行速度（自動車等に搭載される装置の場合は車速等）を検出することで、 検出位置を補正できるようにすることも考えられる。

[0120] 日時計数部 28は、現在日時 (年月日時分秒）を計数する。システムコントローラ 10 は日時計数部 28での計数値により現在日時を認識できる。

[0121] サーバ装置 70に対して画像データ/音声データ及び付加データの送信を行う際 には、この日時計数部 28によって検出された撮像時の日時情報力 付加データに含 まれることになる。 [0122] 撮像表示装置 1は、表示部 2において地図画像を表示することができる。この地図 画像の表示のために地図データベース 29が備えられる。なお、地図データベース 2 9は、例えばストレージ部 25が HDD等とされる場合に、その一部領域に格納されるも のとしてあよい。

[0123] 地図データベース 29は、いわゆるナビゲーシヨンシステムと同様に地図表示を行う ための情報として、位置情報に対応した地図画像生成情報や各地点の名称等の付 加的な情報、検索情報等がデータベース化されたものである。

[0124] システムコントローラ 10は、地図データベース 29を利用した地図検索及び地図表 示処理を実行できる。

[0125] 次に撮像装置 30の構成を図 5に示す。なお図 4と同一部分は同一符号を付して重 複説明を避ける。図 5の撮像装置 30は、図 4の撮像表示装置 1における画像及び音 声の出力系である表示部 2,音声出力部 5と、地図表示のための情報となる地図デ ータベース 29を無くした構成である。

[0126] 即ちこの撮像装置 30は、図 2のようにユーザに装着されたり、上述したように各種の 移動体に装着された状態において、撮像部 3により撮像を行い、撮像画像データを 通信部 26から外部装置に送信したり、ストレージ部 25において記録することができる

[0127] システムコントローラ 10は撮像動作、通信動作、記録動作等の制御を行う。

[0128] 表示装置 40の構成例は図 6のようになる。ここでも図 4と同一部分は同一符号を付 して重複説明を避ける。図 6の表示装置 40は、図 4の撮像表示装置 1における画像 撮像及び音声入力の機能のための撮像部 3,音声入力部 6を無くした構成である。ま た撮像のための補助となる照明部 4 ,照明制御部 14も設けられな!/、。

[0129] また表示装置 40はサーバ装置 70に対して画像データ/音声データを送信する機 器とはならないため、送信時の付加データに含む位置情報、 日時情報を生成するた めという意味では、位置検出部 12や日時計数部 28が設けられなくて良い。

[0130] 当然システムコントローラ 10は、画像データ/音声データのサーバ装置 70への送 信制御処理を実行する機能を持たなくて良い。

[0131] この表示装置 40は、図 2の（b)のような形態でユーザに装着されたり、或いはユー ザが所持したり、或いはユーザが家庭や自動車等に設置する機器として所有する機 器であり、外部装置力 送信されてくる画像データ/音声データを通信部 26で受信 する。そして受信した画像データ/音声データを表示部 2,音声出力部 5から出力し たり、ストレージ部 25において記録する。

[0132] システムコントローラ 10は通信動作、表示動作、音声出力動作、記録動作等の制 御を行う。

[0133] また家庭等に固定的に設置する形態の表示装置を考えた場合、通信部 26は有線 接続によりネットワーク通信を行う構成とされても良い。

[0134] ところで、図 3のユーザ Fの所持する機器として述べたように、図 2の（a) (b)のような 撮像装置 30と表示装置 40の両方を用いて撮像表示装置 1と同等の機能を持つよう にしても良い。

[0135] その場合、撮像装置 30と表示装置 40として図 7のような構成例が考えられる。

[0136] この図 7の例では、撮像装置 30において、図 4の撮像表示装置 1とほぼ同様の構 成を備えるようにする。但し撮像装置 30において表示部 2は設けられず、代わりに送 信部 27が設けられる。

[0137] 送信部 27は、画像処理部 15から表示モニタ用として供給される画像データについ て、表示装置 40への送信の為のエンコード処理を行う。そしてエンコードした画像デ ータを表示装置 40に送信する。

[0138] また表示装置 40には、受信部 41、表示制御部 42、表示部 2が設けられる。

[0139] 受信部 41は、撮像装置 30の送信部 21との間でデータ通信を行う。そして撮像装 置 30から送信されてくる画像データを受信し、デコード処理をおこなう。

[0140] 受信部 41でデコードされた画像データは、表示制御部 42に供給される。表示制御 部 42は、画像データについて表示のための信号処理や画面分割、キャラクタ合成等 の処理を行って表示用の画像信号を生成し、例えば液晶ディスプレイとされる表示パ ネル部 2aを有する表示部 2に供給する。

[0141] 表示部 2では、表示用の画像信号に応じて、マトリクス状に配置されている表示パ ネル部 2aの各画素につ!/、て、それぞれ所定の水平/垂直駆動タイミングで映像信 号に基づく駆動信号を印加し、表示を実行させる。 [0142] このように構成することで、例えば図 3のユーザ Fのように撮像装置 30と表示装置 4

0を装着したユーザ力 S、これらを撮像表示装置 1と同様に使用することができる。

[0143] 次に図 8にサーバ装置 70の構成例を示す。

[0144] サーバ装置 70は、サーバ制御部 72、ネットワークストレージ部 71、通信部 73を備

X·る。

[0145] ネットワークストレージ部 71は、例えば HDD等により実現され、後述する地点画像 データベースを格納する。後に図 10で述べるが、地点画像データベースとは、撮像 装置 30又は撮像表示装置 1からネットワーク 60を介して送信されてくる画像データ /音声データ及び付加データを蓄積したデータベースである。

[0146] 通信部 73は、撮像表示装置 1、撮像装置 30、表示装置 40の通信部 26との間で、 ネットワーク 60を介したデータ通信を行う。

[0147] サーバ制御部 72は、サーバ装置 70としての必要な動作制御を行う。具体的には撮 像表示装置 1、撮像装置 30、表示装置 40との間の通信動作や、画像データ/音声 データのネットワークストレージ部 71への格納処理、検索処理などを行う。

[0148] 以上、撮像表示装置 1、撮像装置 30、表示装置 40、サーバ装置 70の構成を示し た力 これらはそれぞれ一例にすぎない。実際に実施されるシステム動作例や機能 に応じて各種の構成要素の追加や削除は当然考えられる。また撮像装置 30、撮像 表示装置 1が搭載 (装着）される移動体の別や、表示装置 30の形態 (例えば腕時計 型、携帯型、据置型など）の別に応じて、それぞれ適切な構成が考えられることはいう までもない。

[0149] [4.システム動作例]

以下、本実施の形態として行われるシステム動作例について説明していく。

[0150] なお、以下の説明では、「装置 A」「装置 B」という名称を用いる。

[0151] 装置 Aとは、図 3における撮像表示装置 1又は表示装置 40のことである。また装置 Bとは、図 3における撮像表示装置 1又は撮像装置 30のことである。

[0152] つまり装置 Aは、或るユーザが使用して、他の移動体で撮像された画像をサーバ装 置 70から受信して表示する側の機器であり、本発明請求項でいう「表示装置」に該当 する機器である。 [0153] 一方装置 Bは、サーバ装置 70に対して画像をアップロードする側の機器であり、人 、生物、車両、その他の上述した移動体に装着/搭載される機器であって、本発明 請求項でいう「撮像装置」に該当する機器である。

[0154] 図 9は装置 Aとしての撮像表示装置 1、表示装置 40と、サーバ装置 70と、装置 Bと しての撮像表示装置 1、撮像装置 30を示している。

[0155] 装置 Bとしての撮像装置 30、撮像表示装置 1は、撮像した画像データ（及び音声デ ータ）をサーバ装置 70に送信する処理を行う。

[0156] 例えば常時撮像を行って、撮像画像データ（及び音声データ）をサーバ装置 70に 送信するものとしてもよいし、或いは時限的に撮像を行う際には、その撮像実行時に は常に撮像画像データ（及び音声データ）をサーバ装置 70に送信するものとしてもよ い。時限的に撮像/送信を行う場合としては、例えば定期的に撮像/送信を行うよう にしたり、装置 Bがユーザが装着する機器の場合はユーザ操作に基づいて撮像/送 信を行うようにすること力 S考えられる。また、サーバ装置 70が位置情報を指定して撮 像依頼データを送信しておくことで、装置 Bのシステムコントローラ 10が、現在位置が 依頼された位置であると判別したときに、自動的に撮像/送信を行うようにすることも 考えられる。

[0157] また上述のように、装置 Bとしての撮像装置 30、撮像表示装置 1は、画像データ/ 音声データをサーバ装置 70に送信する際には、付加データも加えて送信する。

[0158] 付加データとは、送信する画像データ/音声データについての画像管理情報と、 撮像場所の位置情報と、撮像時の日時情報を含むものとされる。

[0159] サーバ装置 70は、撮像表示装置 1、撮像装置 30のそれぞれから送信されてくる画 像データ（及び音声データ）や付加データを、ネットワークストレージ部 71において地 点画像データベースに蓄積する。

[0160] 即ちサーバ制御部 72は、通信部 73により装置 Bからの画像データ（及び音声デー タ）と付加データを受信することに応じて、その受信したデータをネットワークストレー ジ部 71における地点画像データベースに登録する処理を行う。

[0161] 図 10に、地点画像データベースの記録内容を模式的に示す。

[0162] 地点画像データベースには、装置 Bとしてのそれぞれの撮像表示装置 1や撮像装 置 30から送信されてくる画像が、所定単位で 1つのエントリ # 1、 # 2 · · ·として登録さ れる。所定単位とは画像データサイズ、再生時間などに応じて上限が決められる単 位でも良いし、装置 Bから画像データが継続的な動画として送信されてくるような場合 、撮像位置としての位置情報が変化するポイントで 1つの単位が設定されても良い。 どのような単位で 1つのエントリとしての画像データを区切るかは、装置 Bからの画像 送信態様、送信継続時間、地点画像データベースの管理情報の都合、サーバ装置 70の画像提供サービスの都合などに応じて適宜決められればよい。

[0163] 図 10に示すように、各エントリとして、画像データ（音声データも含む) VD1、 VD2 、 VD3 ' · ·が記録されていくが、これらの画像データにそれぞれ対応して、位置情報 PI , P2, Ρ3 · · ·、 日時情報 Datel、 Date2、 Date3—、画像管理情報 CI , C2, C3 - • ·が記録される。

[0164] 位置情報、 日時情報、画像管理情報は、画像データとともに付加データとして装置

Bから送信されてきた情報である。

[0165] 従って例えばエントリ # 1について言えば、位置情報 P1は、画像データ VD1を撮 像した場所としての位置情報であり、例えば緯度、経度の情報である。

[0166] また日時情報 Datelは、画像データ VD1を撮像した時点の年月日時分秒の情報 である。

[0167] 画像管理情報 C1は、画像データ VD1の管理情報であり、例えば画像種別（動画 /静止画の別など）、データサイズ、圧縮方式、装置 Bの識別情報、撮像地点の名称 情報などの撮像位置関連情報である。なお撮像位置関連情報は、装置 Bとしての撮 像表示装置 1又は撮像装置 30における地図データベース 29から、撮像時の現在位 置情報に基づいて検索し、装置 Bのシステムコントローラ 10が、これを付加データとし て加えてサーバ装置 70に送信してもよ!/、し、サーバ装置 70が地図データベースを 備え、位置情報 P1から地図データベースを検索して取得するようにしてもよい。

[0168] 図 9のように装置 Bとしての撮像表示装置 1又は撮像装置 30が、画像データと付加 データを送信する動作を行うことで、この図 10のような地点画像データベースに、各 地点の画像データが蓄積されていくことになる。

[0169] このように各地点の撮像画像がサーバ装置 70において蓄積されていくことで、サー バ装置 70は装置 Aのユーザに対して、画像提供サービスを行うことが可能となる。即 ち装置 Aからの画像要求に応じて、地点画像データベースに蓄積された画像データ を再生し、その再生画像データを装置 Aに送信できる。

[0170] 以下、装置 Aとしての撮像表示装置 1又は表示装置 40が、サーバ装置 70との間で 通信を行い、サーバ装置 70からの画像データを取得して表示する動作例を説明す る。つまり装置 Aのユーザがサーバ装置 70による画像提供サービスを享受する際の 動作例である。

[0171] 図 11に示す装置 Aの処理は、撮像表示装置 1又は表示装置 40のシステムコント口 ーラ 10の制御処理であり、サーバ装置 70の処理はサーバ制御部 72の制御処理と 考えること力 Sできる。

[0172] 装置 A側では、まずステップ F100として地図画像を用いた位置指定処理を行う。

例えば装置 Aのシステムコントローラ 10は、地図データベース 29のデータを用いて 地図表示を行う。またユーザの操作に応じて地図上の或る地域の検索やスクロール 表示なども行う。これにより、ユーザが特定の地方、地域の地図画像を表示部 2で見 ることカでさるようにする。

[0173] 例えばユーザが地名や縮尺を指定したり、スクロール操作を行うことに応じて、シス テムコントローラ 10は表示される地域や縮尺を変化させることで、例えば図 12の（a) のように或る地区の地図画像を表示させる。

[0174] システムコントローラ 10は、このような地図画像上では例えば図 12の（b)のようにポ インタ PTを表示させ、ポインタ PTがユーザ操作に基づ!/、て地図画像上で移動され るようにする。即ちユーザは、ポインタ PTを地図画像上の任意の位置に移動させて、 所定の操作を行うことで、地図画像上の特定の位置を指定することができる。

[0175] なお、もちろんポインタ PTによるものではなぐ例えば表示部 2にタツチパネル操作 機能を付加し、地図画像に対してユーザが指でタツチした位置が指定位置となるよう にすることあでさる。

[0176] これらのようにして、ユーザが地図画像上で或る地点を指定する操作を行うことに応 じて、システムコントローラ 10は位置指定情報を生成する。即ち地図上でユーザが指 定したポイントの緯度、経度の値を含む位置指定情報を生成する。 [0177] 装置 Aのシステムコントローラ 10は、ステップ F100で位置指定情報を生成したら、 次にステップ F101で、サーバ装置 70にアクセスする。即ちサーバ装置 70との間で 通信接続状態を確立する。そしてこのとき、画像要求の情報と、位置指定情報をサー バ装置 70に送信する。

[0178] サーバ装置 70のサーバ制御部 72は、ステップ F300で、装置 Aとの通信接続を確 立し、画像要求と位置指定情報を受け付ける。

[0179] そしてステップ F301で再生画像を特定する。即ち受信した位置指定情報に基づい てネットワークストレージ部 71の地点画像データベースを検索する。そして地点画像 データベースにおける位置情報力 S、位置指定情報に一致するエントリを抽出する。

[0180] 又は位置指定情報で指定された緯度 ·経度の位置から近辺とみなすことのできる所 定範囲内としての位置情報を有するエントリを抽出してもよい。

[0181] そして抽出したエントリの画像データを再生画像として特定する。

[0182] なお、複数のエントリが検索された場合は、 日時情報を参照して、最新の日時のェ ントリの画像データを再生画像として選択してもよいし、全てのエントリを順番に再生 する再生画像として決定してもよ!/ヽ。

[0183] また、位置指定情報に基づく検索で、 1つのエントリも抽出されない場合もある。即 ち位置指定情報で示される位置 (もしくは近辺位置）に関して、これまで装置 Bによる 画像データのアップロードがされてレ、なレ、場合である。

[0184] そのような場合は、図 11では示していないが、サーバ制御部 72は装置 Aに対して 該当する画像データが存在せず、画像提供不能ということの通知を行うことになる。こ れに応じて装置 A側では、画像提供不能の旨をユーザに提示して処理を終える。

[0185] サーバ制御部 72は、地点画像データベースの検索を行って再生するエントリ（画像 データ）を特定したら、続いてステップ F302で、再生画像として特定した画像データ を、ネットワークストレージ部 71から再生させ、再生された画像データ及び音声デー タを、通信部 73から装置 Aに対して送信させる。

[0186] 装置 A側ではステップ 102で、サーバ装置 70から送信されてくる画像データの受信 及び表示を実行する。即ち装置 Aのシステムコントローラ 10は、通信部 26で受信及 び復調される画像データ（及び音声データ）を、画像処理部 15及び音声処理部 16 に供給させ、表示部 2での表示出力と音声出力部 5での音声出力を実行させる。

[0187] 装置 Aのシステムコントローラ 10はステップ F103でサーバ装置から通信解除要求 が送信されてきたか否力、を監視する。

[0188] またステップ F104で画像表示の終了か否かを判断する。例えばユーザが操作入 力部 11により表示終了の操作を行ったら、終了と判断する。或いは、受信及び表示 を所定時間行ったら自動的に終了とするような処理も考えられる。

[0189] ステップ F103で通信解除要求の受信が確認される力、、或いはステップ F104で表 示終了と判断されるまで、ステップ F102で受信したデータの表示出力（及び音声出 力）を継続的に実行する。

[0190] またサーバ装置 70では、ステップ F303で、再生しているエントリの画像データの再 生が終了したか否かを監視し、またステップ F304で装置 Aからの通信解除要求があ るか否かを監視しており、これらの状況が検知されるまでは、画像再生及び画像デー タ（及び音声データ）の送信を継続する。

[0191] 従ってこの間、装置 Aのユーザは、自分で地図画像上で指定した位置において、 過去に装置 Bで撮像された実光景の画像を見ることができる。

[0192] 装置 Aのシステムコントローラ 10は、ステップ F104で、ユーザ操作或いは他の終了 条件により表示終了と判断したら、ステップ F105に進み、通信部 26からサーバ装置

70に対して通信解除要求を送信させ、ステップ F106に進む。サーバ装置 70は、通 信解除要求を受信したら、ステップ F304から F306に進む。

[0193] または、サーバ制御部 72は、再生対象となったエントリの再生及び送信を完了した と判断したら、ステップ F303から F305に進み、通信部 73から装置 Aに対して通信 解除要求を送信させる。装置 Aのシステムコントローラ 10は、通信解除要求を受信し たら、ステップ F103力、ら F106に進む。

[0194] そして装置 Aのシステムコントローラ 10はステップ F106でサーバ装置 70との間の 通信接続解除処理を行う。またサーバ装置 70のサーバ制御部 72はステップ F306 で装置 Aとの通信及びサーバ処理を終了させる。以上でシステム動作を終える。

[0195] 以上の処理により、装置 Aのユーザは、地図画像上で、任意に或る位置を指定する ことで、その位置で装置 Bによって撮像された光景を、自分が装着又は所持している 装置 Aにお!/ヽて見ること力 Sできる。

[0196] 装置 Aのユーザが見ることのできる画像の例を図 13に示す。

[0197] 例えば装置 Aのユーザ力 S、地図上で或る道路の地点を指定したら、図 13の（a) (b) のように、その地点において過去に装置 Bにおいて撮像された画像を見ることができ る。例えば自動車に取り付けられた撮像装置 30や、運転手が装着していた撮像装置 30又は撮像表示装置 1によって、その指定地点で撮像されて!/、た画像である。

[0198] また例えば装置 Aのユーザ力 地図上で或る鉄道線路上の地点を指定したら、図 1 3の（c)のように、その地点において過去に鉄道車両に装着された撮像装置 30、もし くは鉄道運転士が装着していた撮像装置 30又は撮像表示装置 1としての装置 Bにお Vヽて撮像された画像を見ることができる。

[0199] また例えば装置 Aのユーザ力 地図上で或るリゾート地の地点を指定したら、図 13 の（d)のように、過去にその地点に居た人物が装着していた撮像装置 30又は撮像表 示装置 1としての装置 Bにおいて撮像された画像を見ることができる。

[0200] 例えば以上の例のように、装置 Aのユーザは、地図上の地点を指定することで、そ の地点で実際に撮像された画像を見ることができる。

[0201] なお、上記の説明では、装置 Aのユーザは地図画像上で位置のみを指定するもの とした力 図 11のステップ F100に付記しているように、 日時指定も行うこと力 Sできるよ うにしても良い。

[0202] 例えばステップ F100の時点で、システムコントローラ 10は上述のように地図画像を 表示させた状態でのユーザの位置指定操作に応じて、指定位置情報を生成するが、 このときに、ユーザに、メニュー形式もしくは数 入力形式で、 日時を指定する入力も 実行させるようにする。

[0203] 例えば特定に年月日、特定の時刻等を指定入力させるようにしたり、或る日付け範 囲（例えば何月何日から何月何日まで）や時刻範囲（例えば何時から何時まで）を指 定入力させるようにする。また入力した日時に基づいた検索条件を選択させるように してもよい。検索条件として、「指定した日時を含む」「指定の日時範囲内」「指定日時 以前」「指定日時以降」などとする。そして指定日時、又は指定日時と検索条件を、 日 時指定情報として設定する。 [0204] 装置 Aのシステムコントローラ 10は、ステップ F101でサーバアクセスを行う際には、 システムコントローラ 10は位置指定情報と共に、 日時指定情報も送信する。サーバ制 御部 72は、ステップ F300で、位置指定情報と共に日時指定情報を受け付ける。

[0205] そしてサーバ制御部 72はステップ F301では、位置指定情報と日時指定情報の両 方を用いて、地点画像データベースの検索を行う。

[0206] 即ち、地点画像データベースにおける位置情報力 位置指定情報に一致 (又は近 辺）となるエントリを抽出し、さらに、地点画像データベースにおける日時情報が、 日 時指定情報の条件に合致するエントリを絞り込む。

[0207] このような検索により、位置及び撮像日時がユーザの指定に合致したエントリを抽 出し、そのエントリの画像データを再生画像として特定する。

[0208] このように日時指定を行うようにすることで、装置 Aのユーザは、見たい画像を時期 的に選定して見ることができる。

[0209] 例えば或る地点の或る時期の光景、或る地点の最近の光景、或る地点の或る時期 より前の光景、或る地点の特定の日の光景、或る地点の特定の時刻の光景、或る地 点の夜の光景' · ·などを、任意に選択して見ることができる。

[0210] これにより、任意の或る地点の光景として、より多様な光景を見ることができる。

[0211] [5.実施の形態の効果、及び変形例、拡張例]

以上、実施の形態を説明してきたが、上記した装置 Aに相当する撮像表示装置 1 又は表示装置 40のユーザは、地図画像上で位置を指定することで、その指定した位 置にぉレ、て実際に撮像装置 30で撮像された画像を見ることができる。これにより地図 上で指定できる或る場所の光景を見て楽しみたい場合、地図上で指定できる或る場 所の状況を知りたレ、場合など、ユーザの多様なニーズに対応できるシステム及び装 置を実現できる。

[0212] また、地図画像上で位置を指定して、その位置の撮像画像を見ることができるという ことは、指定した位置の状況として、例えば地形、周りの建物や自然物の風景、道路 の幅や車線数、 日時に応じた様子などを知ることができるものであるため、いわゆる ナビゲーシヨンシステムに適用して拡張的な情報提供を行うことも可能となる。

[0213] また、 日時指定情報によって提供を受ける画像データを選定することによって、 日 時的な条件で異なる画像を見ることもできる。

[0214] 例えば或る場所で或る時期より以前の撮像画像として、或る場所で或る建物が建 設される前の光景を指定して見ることなども可能となる。

[0215] また装置 Bとなる撮像表示装置 1又は撮像装置 30は、人を含めた移動体に装着さ れるものとすることで、いわゆる定点カメラのような固定的な設備を設けることが不要 である。

[0216] そして移動体に装着された撮像表示装置 1又は撮像装置 30は、当然、多様な地点 を移動しながら撮像するため、多様な地点での実撮像画像を集めて地点画像データ ベースの登録画像を充実させて!/、くことが容易であるとレ、う利点もある。

[0217] なお、本発明の画像表示システム、表示装置、表示方法の実施の形態を説明して きたが、上記実施の形態の例に限らず多様な変形例や拡張例が考えられる。

[0218] 本発明の表示装置に該当する装置 Aとしての撮像表示装置 1又は表示装置 40の 構成例や処理例、さらに本発明請求項でいう撮像装置に該当する装置 Bとしての撮 像表示装置 1又は撮像装置 30の構成例や処理例、さらにサーバ装置 70の構成例 や処理例は、それぞれ多様に考えられる。

[0219] 例えば装置 B側で、通常の撮像だけでなぐ多様な撮像動作で撮像を行ってサー バ装置 70にアップロード送信したり、或いはサーバ装置 70が多様な撮像動作を要 求できるようにしてもよい。例えば、望遠撮像、広角撮像、望遠から広角までの間のズ ームインもしくはズームアウトを行いながらの撮像、画像拡大撮像、画像縮小撮像、フ レームレートの可変撮像（高フレームレートでの撮像や低フレームレートでの撮像な ど）、高輝度撮像、低輝度撮像、コントラスト可変撮像、シャープネス可変撮像、撮像 感度上昇状態の撮像、赤外線撮像感度上昇状態の撮像、紫外線撮像感度上昇状 態の撮像、特定波長帯域をカットした撮像、撮像画像データに対するモザイク処理 /輝度反転処理/ソフトフォーカス処理/画像内の一部の強調処理/画像全体の 色の雰囲気の可変処理などの画像エフェクトを加えた撮像、静止画撮像などである。

[0220] また、装置 Aからサーバ装置 70に画像を要求する際に、地点画像データベースに 登録された画像の通常再生画像とする以外に、特殊再生画像を要求できるようにし てもよい。 [0221] 例えば動画として格納されている或る画像データについて、 1フレーム分のみの静 止画を送信するように要求できるようにしたり、或いはスロー再生、高速再生などとし ての画像データを要求できるようにしてもょレ、。

[0222] 特に移動体に装着された装置 Bによって撮像された画像データであるため、地点 画像データベースに登録された画像データは、或る速度で移動しながら撮像した画 像データである場合も多い。従って、サーバ装置 70がそのような画像データについ て変速再生させ、それを装置 Aに送信することで、装置 Aのユーザは、高速で移動し たときの光景の画像や、ゆっくり移動したときの光景の画像などを擬似的に見ることが できる。

[0223] また装置 A側では、サーバ装置 70から送信されてきた画像データを、位置情報と 共にストレージ部 25に記録しても良い。即ちシステムコントローラ 10はストレージ部 2

5に、受信した画像データを、位置情報 (例えば図 11のステップ F100で設定した位 置指定情報）に対応させて記録しておく。

[0224] このようにしておくことで、以降は、地図上で同一の地点を指定したら、ストレージ部

25に格納されている画像データをリプレイさせてみることができるようにもなる。

[0225] また装置 A側で、或る地点からの移動方向を指定できるようにしてもよい。

[0226] 装置 Bでは、位置検出部 12で移動方向も検出し、付加データに含めてサーバ装置

70に送信するようにする。サーバ装置 70では、地点画像データベースに、移動方向 の情報も付加して登録する。

[0227] すると、装置 A側で移動方向も検索条件として指定すれば、ユーザが見たい移動 方向の状態で撮像された画像データを選択するようにサーバ装置 70に要求できるこ とになる。

[0228] 例えば南北につながる或る道路の光景として、南から北へ移動しながら撮像された 光景と、北から南へ移動しながら撮像された光景は異なる力 これらの移動方向を指 定条件に加えることで、装置 Aのユーザが見たい移動方向の条件で画像データが検 索され、装置 Aに提供されるようにすることカでさる。

[0229] また上記例では、地上の地図画像で位置指定を行うものとしたが、海洋図、海中地 形図、航空図、宇宙図など力も或る位置を指定することも可能である。 [0230] 例えばサーバ装置 70では、船舶、潜水艦、航空機、衛星などで撮像された画像デ ータを、その位置情報等とともに地点画像データベースに登録するようにしておけば 、これら海洋図等による指定に基づいて、画像を検索し、装置 Aに提供することがで きる。もちろん海中、空、宇宙などの位置情報としては、緯度、経度だけでなく高度、 深度の情報も加えても良い。

[0231] 例えば宇宙図により衛星軌道上の或る場所を指定すると、その地点又は近辺で人 ェ衛星で撮像された画像を見ることができるようにするなどである。

[0232] また、実施の形態の動作例では、装置 A側で地図データベース 29を備えて地図表 示を行うようにした力 サーバ装置 70が地図データベースを備え、サーバ装置 70が 地図データベースに基づいて地図画像を送信して装置 A側で表示するようにしても よい。

[0233] 例えば装置 Aのユーザ力 S、特定の地名や住所を入力し、その地名や住所等を位置 指定情報としてサーバ装置 70に送信する。サーバ装置 70は、地名等から表示させ るべき地図画像データを生成し、装置 Aに送信して表示させる。

[0234] このようにすれば、装置 A側で地図データベース 29を備える必要を無くすこともでき る。言い換えれば、地図データベース 29を装備しない撮像表示装置 1又は表示装置 40において、本発明の動作を実現することもできる。

[0235] また、画像データと音声データを装置 Bからサーバ装置 70にアップロードし、サー バ装置 70から装置 Aに提供されるものとしたが、画像データのみを対象とする例も考 X_られる。

[0236] 或いは本発明を、音声データのみを対象とするシステムとして適用することもできる

Claims

請求の範囲

表示装置と、移動体に装着されて画像撮像を行う撮像装置と、サーバ装置とを有し て成り、上記表示装置と上記撮像装置は、それぞれ上記サーバ装置と通信可能とさ

上記撮像装置は、

画像撮像を行う撮像手段と、

位置情報を検出する位置検出手段と、

上記撮像手段の撮像により得られた画像データと、少なくとも、その画像データの 撮像の際に上記位置検出手段で検出された位置情報を含む付加データを、上記サ ーバ装置に対して送信させる送信制御処理を行う制御手段と、

を備え、

上記サーバ装置は、

上記撮像装置から送信されてくる上記画像データ及び上記付加データを格納する 格納手段と、

上記表示装置から送信されてくる位置指定情報に基づ!/、て、上記格納手段に格納 された画像データの検索を行い、検索された画像データを再生して上記表示装置に 送信させる検索送信制御処理を行う制御手段と、

を備え、

上記表示装置は、

画像表示を行う表示手段と、

上記表示手段に地図画像を表示させる地図表示処理、上記地図画像に対する入 力に基づいて位置指定情報を設定する位置指定処理、上記サーバ装置に上記位 置指定情報を送信して画像データを要求する画像要求送信処理、上記画像要求送 信処理に応じて上記サーバ装置から送信されてくる画像データを受信し受信した画 像データに基づく表示動作を上記表示手段に実行させる表示処理、を行う制御手段 を備えたことを特徴とする画像表示システム。

上記移動体は、人、又は人以外の生物、又は地上移動機器、又は海上移動機器、 又は海中移動機器、又は航空移動機器、又は宇宙移動機器のいずれかであること を特徴とする請求項 1に記載の画像表示システム。

[3] 上記撮像装置は、さらに現在日時を検出する日時検出手段を備え、上記撮像装置 の制御手段は、上記付加データに、画像データの撮像の際に上記日時検出手段で 検出された日時情報を含むようにし、

上記表示装置の制御手段は、 日時を指定する日時指定情報を設定する日時指定 処理を行うとともに、上記画像要求送信処理では、上記位置指定情報とともに上記日 時指定情報を上記サーバ装置に送信し、

上記サーバ装置の制御手段は、上記検索送信制御処理の際に、上記表示装置か ら送信されてくる位置指定情報と日時指定情報に基づいて、上記格納手段に格納さ れた画像データの検索を行うことを特徴とする請求項 1に記載の画像表示システム。

[4] 上記サーバ装置は、位置情報を指定した撮像依頼データを送信する送信手段を 備え、

上記撮像装置の制御手段は、当該撮像装置の現在位置が、上記撮像依頼データ で指定された位置であると判別された場合、上記撮像手段での撮像を実行させること を特徴とする請求項 1に記載の画像表示システム。

[5] 上記撮像装置の制御手段は、当該撮像装置の現在位置が、上記撮像依頼データ で指定された位置であると判別された場合、上記撮像手段の撮像により得られた画 像データと、少なくとも、その画像データの撮像の際に上記位置検出手段で検出さ れた位置情報を含む付加データを、上記サーバ装置に対して送信させることを特徴 とする請求項 1に記載の画像表示システム。

[6] 上記表示手段の制御手段は、上記サーバ装置より複数の画像データを受信した場 合には、当該複数の画像データが上記サーバ装置にアップロードされた順に従って 当該複数の画像データを上記表示手段に表示させることを特徴とする請求項 1記載 の画像表示システム。

[7] 上記表示手段の制御手段は、上記サーバ装置より複数の画像データを受信した場 合には、当該複数の画像データが有する日時情報に基づいて当該複数の画像デー タを上記表示手段に表示させることを特徴とする請求項 3に記載の画像表示システム [8] 画像表示を行う表示手段と、

外部のサーバ装置との間でデータ通信を行う通信手段と、

上記表示手段に地図画像を表示させる地図表示処理、上記地図画像に対する入 力に基づいて位置指定情報を設定する位置指定処理、上記通信手段により上記サ ーバ装置に上記位置指定情報を送信して画像データを要求する画像要求送信処理 、上記画像要求送信処理に応じて上記サーバ装置から送信されてくる画像データを 上記通信手段により受信させ受信した画像データに基づく表示動作を上記表示手 段に実行させる表示処理、を行う制御手段と、

を備えたことを特徴とする表示装置。

[9] 上記制御手段は、上記位置指定処理において、上記地図画像に対して指定入力 された地点の緯度 ·経度の情報を、上記位置指定情報とすることを特徴とする請求項 8に記載の表示装置。

[10] 上記制御手段は、さらに、 日時を指定する日時指定情報を設定する日時指定処理 を行うとともに、上記画像要求送信処理では、上記位置指定情報とともに上記日時指 定情報を上記サーバ装置に送信する処理を行うことを特徴とする請求項 8に記載の 表示装置。

[11] 上記表示手段は、使用者の目の前方に位置するように配置されて画像表示を行う 構造とされることを特徴とする請求項 8に記載の表示装置。

[12] 画像撮像を行う撮像手段と、位置情報を検出する位置検出手段とをさらに備え、 上記制御手段は、上記撮像手段の撮像により得られた画像データと、少なくとも、 その画像データの撮像の際に上記位置検出手段で検出された位置情報を含む付加 データを、上記通信手段から上記サーバ装置に対して送信させる送信制御処理も実 行可能とされることを特徴とする請求項 8に記載の表示装置。

[13] 地図画像を表示させる地図表示処理ステップと、

上記地図画像に対する入力に基づいて位置指定情報を設定する位置指定処理ス 外部のサーバ装置に上記位置指定情報を送信して画像データを要求する画像要 求送信処理ステップと、

上記画像要求送信処理に応じて上記サーバ装置から送信されてくる画像データを 受信し、受信した画像データに基づく表示を行う表示ステップと、

を備えたことを特徴とする表示方法。

[14] 上記画像データは、上記サーバ装置に当該画像データが撮像された日時を示す 日時情報を付加データとして上記サーバ装置に格納されており、

上記画像要求送信処理ステップは、上記位置指定情報とともに指定された日時指 定情報とを上記サーバ装置に送信することを特徴とする請求項 13に記載の表示方 法。

[15] 上記表示ステップは、複数の画像データを受信した場合には、当該複数の画像デ ータが上記サーバ装置にアップロードされた順に従って当該複数の画像データを表 示することを特徴とする請求項 13に記載の表示方法。

[16] 上記表示ステップは、複数の画像データを受信した場合には、当該複数の画像デ ータが有する日時情報に基づいて当該複数の画像データを表示することを特徴とす る請求項 13に記載の表示方法。