JP5231598B2 - 実況映像を利用した現在位置確認システム - Google Patents

実況映像を利用した現在位置確認システム Download PDF

Info

Publication number
JP5231598B2
JP5231598B2 JP2011096202A JP2011096202A JP5231598B2 JP 5231598 B2 JP5231598 B2 JP 5231598B2 JP 2011096202 A JP2011096202 A JP 2011096202A JP 2011096202 A JP2011096202 A JP 2011096202A JP 5231598 B2 JP5231598 B2 JP 5231598B2
Authority
JP
Japan
Prior art keywords
live video
coordinate data
user
route
position coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2011096202A
Other languages
English (en)
Other versions
JP2011199876A5 (ja
JP2011199876A (ja
Inventor
雅信 鯨田
Original Assignee
雅信 鯨田
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雅信 鯨田 filed Critical 雅信 鯨田
Priority to JP2011096202A priority Critical patent/JP5231598B2/ja
Publication of JP2011199876A publication Critical patent/JP2011199876A/ja
Publication of JP2011199876A5 publication Critical patent/JP2011199876A5/ja
Application granted granted Critical
Publication of JP5231598B2 publication Critical patent/JP5231598B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Description

本発明は、各場所の実況映像をユーザー側に提供することができる、実況映像提供システムに関する。
従来より、各地点の映像をCD−ROM又はハードディスクなどの記録媒体に記録しておき、それを所定のキーワード等の検索データに基づいて検索して表示するシステムが存在している。また、従来より、「匂いのデータ化、記録、通信、及び再生」の技術が提案されている(特許文献1参照)。
特開平7−55742号公報
しかしながら、前記の記録媒体に記録された映像は、「過去のもの」である(「生のもの」ではない)。そのため、実際の景色などは、季節の移り変わり、その日の天候、道路や建物の工事状況などにより、日々刻々変遷していくものであるのに、ユーザーが見ることができるのは「古い(新鮮でない)」ものでしかないという問題がある。また、仮にその記録媒体に記録された映像が更新直後のものだとしても、「今現在のこの瞬間のリアルタイムの状況を見たい」というユーザーの希望に応えることはできない。さらに、記録媒体への映像データの更新を頻繁に行うことは非常にコストがかかってしまうという問題もある。
本発明はこのような従来技術の問題点に着目してなされたもので、ユーザーに、任意の地点の実際の状況を映像でリアルタイムに提供することができる実況映像提供システムを提供し、且つ、この実況映像を利用して、ユーザーがGPS受信機などのデータから推測された「推測現在位置」に対応する地図上の地点が「実際の現在位置」と一致しているかどうかを確認することができる、実況映像を利用した現在位置確認システムを提供することを目的とする。
(関連技術)
本発明の「従来技術」に該当するかどうか(本願の「優先日(1996年6月11日)」より前から公知の事実であるかどうか)は明らかではないが、本願(特許法41条の国内優先日主張を伴う後の出願)の出願日の時点で本発明者が認識している「関連技術」としては、次のようなものが存在している。
(イ)ダイヤモンド社発行「週間ダイヤモンド別冊 1996.8号 インターネット超時間術」では、次のような記述がある。
「インターネットではいま、テレビカメラを据えて、観光名所を同時中継しているケースが多くなってきた。自宅の机の上から、スフィンクスの前とか、パリ凱旋門、ヒマラヤを望む丘など世界的な文化遺産、観光名所のジャストナウを、やがて眺めることができるだろう。」(同書 76頁)
「ホテルがロビーや玄関前にカメラを置いて、そのカメラをオンラインにしてリモコンで見るというのはどうですか。ウェブでそれを見て、「けっこう混んでるな」とか「おっ、あいつがいる」とか。そういうオンラインのカメラというのはウェブ上にも増えつつあるんです。」(同書 82頁)
インターネットのホームページの紹介として、「歴史街道 http://www.kiis.or/rekishi/ 泰 恵子さん
歴史街道のメインルートである伊勢、飛鳥、奈良、京都、大阪、神戸を説明文と写真(100枚以上)で散策することができます。(中略)各項目へのアクセスは地域別、時代別による検索と地図上でのマウスによる選択(クリッカブルマップ)があります。現在の情報提供は説明文と写真のみですが、(今後は)動画や音声情報も提供していく予定です。」(同書 133頁)
(ロ)1996年6月16日付け日本経済新聞は、「魔法の箱を駆使 世界の見方覆す」とい見出しの記事で、コンピュータ・アーティスト藤幡正樹氏を紹介する記事の中で、次のように述べている。
「最近は教鞭をとる慶応大学の学生らとインターネットを使ったプロジェクトに没頭している。例えば湘南藤沢キャンパスに取り付けたカメラが写す富士山の映像を、24時間リアルタイムで発信する試みを始めた。1日千人に上る世界中からのアクセス・ユーザーは、自分のパソコンでカメラの向きを変えたり、ズームインしたりすることもできる。」
(ハ)ダイヤモンド社により1996年8月31につ発行された「週間ダイヤモンド」の84頁には、「超整理日記 地図と写真の仮想旅行術(野口悠紀雄)」という記事の中に、次のような記載がある。
「インターネットで「バーチャル・ツアー」というものがある。画面に出ている地図をクリックすると、その地点の写真が現れるというものだ。」
(ニ)1996年9月3日付け日本経済新聞の広告欄において、「操作性高まる地図情報システム 住友電工システムズ」という見出しで、次のような記述がある。
「住友電工システムズがこの度開発、販売したWindows95(登録商標)専用デジタル道路地図「AtlaMate/Windows95(登録商標)版」は、…。(中略) 同製品はマルチメディア機能として、地図上に静止画や動画、音声の張り付けが可能となっている。」
また、この広告欄の中の「AtlaMate/Windows95(登録商標)版」の仕様書の記載の中に、次のような記載がある。
「豊富な登録機能 写真などの静止画、ビデオなどの動画、また音声などを地図上に登録可能」
(ホ)1996年9月30日付け日本経済新聞は、「インターネット活用 自宅で自然を感じて」とい見出しの記事で、次のように述べている。
「高知県佐川町はNECと共同で、インターネットで自然の風景を生中継で楽しめる「さかわインターネット放送局」を開設した。同町の虚空蔵山(標高675m)山頂にカメラを設置し、自宅や職場のパソコンからカメラを自由に動かして、足摺岬から室戸岬までの眺望を楽しめる。佐川地場産センターに開局した。カメラの映像を約3km離れたふもとの町営施設、永野町民館のカメラ制御装置に無線で伝送し、静止画像をインターネット上に提供する。パソコンからカメラを自由に遠隔操作し、左右約300度、上下約60度のパノラマを最大10倍のズームで楽しめる。インターネット放送局のアドレスはhttp://www/meshnet.or.jp/sakawa/ NECは5月からインターネット放送局を全国展開している。北海道の松前町、美瑛町、佐呂間町で開局し、2〜3年以内に100ケ所の観光地、景勝地にカメラを設置する計画。」
以上のように、本発明に関連する技術は、さまざまものがある。しかし、これらはいずれも、本発明と関連しているが、本発明はこれらの関連技術をさらに発展させたものであり、これらの関連技術は本発明の進歩性を否定するものではない。
前述のような従来技術の課題を解決するための本発明による実況映像を利用した現在位置確認システムは、次のようなものである(実施例としては、例えば、段落番号0017,0018などの説明を参照)。
すなわち、本発明は、地図上の複数の地点に対応する実際の地点にそれぞれ設けられ、その地点の周辺の実況映像をリアルタイムに入力する映像入力手段であって、それぞれがネットワークに接続されている映像入力手段と、ユーザーの現在位置を推測する現在位置推測手段と、この現在位置推測手段により得られた推測現在位置に対応する地図上の地点を求める手段と、この地図上の地点を求める手段により求められた地点に対応する実際の地点に設けられた前記映像入力手段からの実況映像をネットワークを介して取り込む取り込み手段と、この取込まれた実況映像を表示する表示手段と、を備えたことを特徴とする実況映像を利用した現在位置確認システムである。
また、本発明は、公衆への開示が可能な多数の実況地点の実況映像をそれぞれリアルタイムに常時入力するために各実況地点にそれぞれ設けられた映像入力手段と、前記各実況映像を互いに識別するための実況映像識別データ(緯度データ及び経度データの座標データなどから成る)を記録する実況映像識別データ記録手段と、ユーザーの現在位置を特定する現在位置特定手段(従来より公知のGPS受信機など)と、この現在位置特定手段により特定されたユーザーの現在位置(緯度データ及び経度データの座標データなどから成る)に基づいて、その現在位置に近い一つ又は複数の実況地点に対応又は関連する一つ又は複数の実況映像識別データを選択する実況映像識別データ選択手段と、この選択された実況映像識別データに基づいて、対応する実況映像をオンラインで取り込む(ネットワークを介してアクセスして閲覧する場合と送信させる場合などを含む)映像取り込み手段と、この映像取り込み手段により取り込まれた実況映像(動画又は静止画)をリアルタイムに表示する表示手段と、からなるものである。
また、本発明では、前記映像入力手段は、前記各実況地点から複数の方向に向かって見える映像をそれぞれ撮像するものであり、前記各実況映像を互いに識別するための実況映像識別データは、前記映像入力手段が設けられた各実況地点の位置を示す位置データとその映像入力手段が撮影する方向を示す方向データと、から構成されており、前記現在位置特定手段は、ユーザーの現在位置を特定する手段とユーザーの進行方向を特定する手段とを含んでおり、前記実況映像識別データ選択手段は、前記現在位置特定手段により特定さたれユーザーの現在位置を示すデータ(緯度データ及び経度データから成る位置座標データなど)及び進行方向を示すデータ(東西南北など)に基づいて、ユーザーの現在位置からユーザーの進行する方向に位置し且つユーザーの現在地点に近い位置にある実況地点の実況映像であってしかもユーザーの進行方向に近い方向を写す実況映像(動画又は静止画)を特定するための実況映像地点識別データを選択するものである。
また、本明細書で開示されている発明の中で、本願の特許請求の範囲には記載されていない発明としては、次のものが存在する。
(1)本発明による実況映像提供システムは、公衆への開示が可能な多数の実況地点の実況映像をそれぞれリアルタイムに常時入力するために各実況地点に設けられた映像入力手段と、前記各実況地点の実況映像を互いに識別するための実況映像識別データを、地図データベースの地図上の各地点とそれぞれ関連・対応付けながら、記録する実況映像識別データベース手段と、前記地図データベースの地図上で指定された地点に基づいて、前記実況映像識別データベース手段から、対応する一つ又は複数の実況映像識別データを検索する検索手段と、この検索手段により検索された実況映像識別データに基づいて、対応する実況映像をリアルタイムに無線又は有線で取り込む(ネットワークで送信させること又はインターネット用ブラウジング・ソフトウェアでアクセスして閲覧することなどの方法により取り込む)映像取り込み手段と、この映像取り込み手段により取り込まれた実況映像(動画又は静止画)を出力する表示手段と、からなるものである。
(2)また本発明は、公衆への開示が可能な多数の実況地点の実況映像をそれぞれリアルタイムに常時入力するために各実況地点に設けられた映像入力手段と、地図とその地図上の各地点を特定するための座標データとを記録する地図データベースと、前記地図データベースの中の座標データと、前記各実況映像を互いに識別するための実況映像識別データとを、互いに関連又は対応付けながら、記録する実況映像識別データベース手段と、ある実況映像を表示している場合に、その実況映像を互いに識別する実況映像識別データをキーとして、前記実況映像識別データベースから、その実況映像の実況地点に対応又は関連する一つ又は複数の地図上の地点を検索する検索手段と、この検索手段により検索された地図上の地点を含む所定領域の地図を示す地図データを抽出する地図データ抽出手段と、この地図データ抽出手段により抽出された地図データにより地図を出力する表示手段と、からなるものである。
(3)また、本発明による実況映像提供システムは、公衆への開示が可能な多数の実況地点の実況映像をそれぞれリアルタイムに常時入力するために各実況地点に設けられた映像入力手段と、前記各実況映像を互いに識別するための実況映像識別データを、文字列・記号列・図形又は映像などから成るキーと関連付けながら、記録する実況映像識別データベース手段と、前記の文字列・記号列・図形又は映像などから成るキーを入力するキー入力手段と、このキー入力手段から入力されたキーに基づいて、前記実況映像識別データベース手段から、関連する一つ又は複数の実況映像識別データを検索する検索手段と、この検索手段により検索された実況映像識別データに基づいて、対応する実況映像を取り込む(ネットワークより送信させるとインターネット用ブラウザーにより閲覧する場合などを含む)映像取り込み手段と、この映像取り込み手段により取り込まれた実況映像(動画又は静止画)を出力する表示手段と、からなるものである。
(4)なお、本発明において、前記映像入力手段は一つの実況地点から複数の方向の映像を撮像するものであり(例えば、一つのビデオカメラを旋回してある複数の方向に来たときに撮像する場合や、複数のビデオカメラを複数の方向にそれぞれ備え付けて同時に撮像する場合など)、前記各実況映像を特定するための実況映像識別データは、前記映像入力手段が設けられた各実況地点の位置を示す位置データとその映像入力手段が撮影する方向を示す方向データとから構成されていることが望ましい。
(5)また、本発明では、前記表示手段に表示された実況映像(動画又は静止画)の中のユーザーが指定した部分に対して他の部分と区別するためのマーキングをするためのマーキング手段を備えるのがよい。
(6)また、本発明において、前記映像入力手段は、その地点において発生している音声をリアルタイムに入力する手段をも備えているのがよい。
(7)また本発明では、さらに、前記映像入力手段の近傍に備えられ、匂いセンサと、この匂いセンサからの信号を匂いデジタルデータに変換する手段とから構成され、前映像入力手段の設置された地点又はその周辺の匂いを入力するための匂い入力手段と、この匂い入力手段からの匂いデータを、その匂いに近似した匂いを発生させるための芳香剤調合データに変換する変換手段と、前記表示手段の近傍に備えられ、前記芳香剤調合データから芳香剤を調合して所望の匂いを発生させる匂い発生手段と、を含むのがよい。なお、この(8)において、前記の「その匂いに近似した匂いを発生させるための芳香剤調合データに変換する変換手段」は、前記匂い入力手段と直接に接続され、この変換手段がコンピュータ通信ネットワークを介して前記匂い発生手段に接続されていてもよいし、あるいは、前記入力入力手段とコンピュータ通信ネットワークを介して接続され、この変換手段が直接に前記匂い発生手段に接続されていてもよい。
本発明では、ユーザーの推測現在位置をGPS受信機などの現在位置推測手段(現在位置特定手段と呼ぶこともある)により求め、この「求められた推測現在位置に対応する実況地点の実況映像」をオンラインで取り出して表示するようにしている。
したがって、ユーザーは、例えば、次のような使い方が可能になる。例えば、自分が車両などに乗って移動しているとき、GPS受信機からのデータにより自分の「推測現在位置」を求めて、その「推測現在位置に対応する地図上の地点」を地図画面上で求めて見る(このためのシステムは、従来より、自動車用の目的地までのルートの地図探索・運転案内システムとして実用化されている)。また、同時に、ユーザーは、通信ネットワークを介して該当する映像入力手段にアクセスし、前記の「推測現在位置に対応する地図上の地点」に対応する実況映像を、オンラインで取り出して画面上に表示させて見る。これにより、ユーザーは、目的地へのルートを記載した地図を見ながら、地図上に表示されている推測現在位置(GPS受信機により計測されるユーザーの推測現在位置が画面の地図上に矢印などで表示されるシステムは、自動車の運転案内システムとして既に多数市販されている)と実況映像とが一致しているかどうかを確認し、一致していれば、GPS受信機のデータから得られた「推測現在位置」が計測誤差なく正しいことを確認できる。また一致していなければ、GPS受信機のデータから得られた「推測現在位置」が間違っていることが分かる。
すなわち、ユーザーがGPS受信機からの推測現在位置に基づいて地図データベースから推測現在位置を含む所定領域の地図を読み出して表示し、その表示された地図の上の「推測現在位置に近い一つ又は複数の実況地点の実況映像」をオンラインで取り出すようにすれば、GPS受信機からの「推測現在位置」が正しいかどうかをユーザー自身が確認できる。すなわち、従来より存在しているGPS受信機を利用して、GPS受信機からの「推測現在位置」(緯度データと経度データの座標データ)に基づいて地図データベースから推測現在位置を含む所定領域の地図を読み出して表示し、その表示された地図上に表示された「推測現在位置(座標データ)又はそれと近い地点の実況映像」をオンラインで取り出すようにすれば、GPS受信機からの「推測現在位置」が計測誤差などが無く正しいものかどうかを、確認することができる。つまり、「表示された実況映像」が「ユーザーの現在の位置から実際に見えるもの」と一致していれば、GPS受信機からの[推測現在位置]は正しいものと判定できる(従来は、ユーザーは、地図だけでは、GPS受信機による現在位置が正しいかどうかを自分で確かめることが困難だった)。
また、本発明では、前記映像入力手段は、前記各実況地点から複数の方向に向かって見える映像を撮像するものであり、前記各実況地点を互いに識別するための実況地点識別データは、前記映像入力手段が設けられた各実況地点の位置を示す位置データとその映像入力手段が撮影する方向を示す方向データとから構成されており、前記現在位置特定(推測)手段は、ユーザーの現在位置を特定(推測)する手段とユーザーの進行方向を特定する手段とを含んでおり、前記実況地点識別データ選択手段は、前記現在位置特定(推測)手段により特定(推測)さたれユーザーの推測現在位置(緯度データ及び経度データによる座標データなど)及びユーザーの進行方向(東西南北など)に基づいて、ユーザーの「推測現在位置に(最も)近い実況地点」を示し且つユーザーの進行方向に(最も)近い方向の実況地点識別データを選択するものである。よって、車両などで移動中のユーザーは、画面に表示された「地図上の自分の推測現在位置(GPS受信機からの自分の推測現在位置が矢印などで表示される)」を見ながら、同時に、前記GPS受信機からの「推測現在位置に対応する地図上の地点を示す実況映像」を見ることができ、「推測現在位置に対応する地図上の地点を示す実況映像」と「自分の位置から実際に見える風景」とを照らし合わせて、GPSにより計測された「推測現在位置」が本当に正しいかどうかを確認することができる。
本発明を実施するための最良の形態は、以下の実施例1について述べるような形態である。
次に、図1〜4を参照して、本発明の実施例1を説明する。図1において、1はユーザーが使用するパーソナルコンピュータ(パソコン)で、CPU及び通信モデム等より成る制御装置2と、コンピュータプログラム及びデータが記録されたハードディスク装置3と、コンピュータプログラム及びデータが記録されたCD−ROM4を駆動するためのCD−ROMドライブ5と、データ入力するためのキーボード6及びマウス6aと、画像を出力するためのディスプレイ7と、音声を出力するためのスピーカ8とより、構成されている。
前記制御装置2は、インターネット等のコンピュータネットワーク用公衆回線10を介して、中継サービス用コンピュータ11に接続されている。この中継サービス用コンピュータ11には、多数の実況地点にそれぞれ設置されたビデオカメラ12,12a,12b及び集音マイク13,13a,13bを制御し且つこれらのビデオカメラ12及び集音マイク13からのデータを記録し通信ネットワークを介して閲覧させるためのコンピュータ(サーバー)14,14a,14bが、接続されている。これらの多数のビデオカメラ12及びマイク13等により入力された映像データ及び音声データは、ユーザー側からの要求により、コンピュータ14及び中継サービス用コンピュータ11を介して、ユーザー側に送信できるようになっている。なお、前記ビデオカメラ12は、各実況地点において、それぞれ4個ずつ設置され、それらの4個のビデオカメラは、それぞれ東西南北の4つの方向の映像を撮像するように、設置されていることが望ましい。
また、前記中継用サービスコンピュータ11は、他の多数の中継用サービスコンピュータ12などとも接続されており、例えば、ある中継サービス用コンピュータ11に接続されたユーザーは、この中継サービス用コンピュータ11を介して他の中継サービス用コンピュータ12などから、それに接続されたコンピュータ(サーバー)を介してビデオカメラ及びマイクから入力されたデータを取り込めるようになっている。
この場合の映像や音声の取り込みの方法は、そのビデオカメラやマイクからの情報を電子メールに添付させて送信させる方法や、そのビデオカメラ及びマイクの入力情報を提供するためのホームページがコンピュータ・ネットワーク上に開設されており、このホームページをユーザー側がインターネット用のブラウザー・ソフトウェア(閲覧ソフト)により取り込みにいく方法(いわば、コンピュータ・ネットワーク上のホームページをユーザー側のバソコンのハードディスクのように使用する方法)などの様々な方法が有り得る。
この実施例1では、前記CD−ROM4には、地図データとこの地図上の各地点を特定するためのアドレスデータとを関連させて記録する地図データベースと、このアドレスデータと、前記各実況地点(前記ビデオカメラ12及びマイク13が設置された各場所)の実況映像を識別するための映像識別データとを、互いに関連付け・対応付けて記録する実況映像データベースと、これらの前記地図データベースを再生する再生プログラムと、前記実況映像データベースを検索する検索プログラムと、この検索された実況映像識別データからそれに対応する実況映像を取り込んで表示するためのプログラムとが、記録されている。
今、例えば大阪に住んでいるユーザーが、「自分の故郷の神奈川県の夏の湘南海岸の海岸線に沈む夕陽の景色を見たい」と考えたとする。その場合、例えば、ユーザーが地図データベースを再生させて湘南海岸を含む所定領域の地図を画面表示させ、その画面上で前記の湘南海岸の地点をマウス6aでクリックしたとする。すると、制御装置2は、この入力に基づいて、前記地点データベースから、この地図上の地点に対応するアドレスデータを検索する。そして、この検索されたアドレスデータに基づいて、前記実況映像データベースから、対応する実況地点の実況映像を示す実況映像識別データを検索する。そして、この検索された実況映像識別データに基づいて、中継サービス用コンピュータ11にアクセスして、前記の実況映像識別データに対応する実況地点に設置されたビデオカメラ及びマイク(且つ、前記実況映像識別データが撮像方向をも特定したものであるときは、その撮像方向と対応する方向に設置されたビデオカメラ及びマイク)からの映像データ及び音声データをオンラインで取り込んで、ディスプレイ7及びスピーカ8によりリアルタイムに出力する。このとき出力される映像及び音声は、現時点のリアルタイムの映像及び音声なので、ユーザーはあたかもその現場に実際にいるような感覚・感動を得ることができる。
すなわち、従来からも、例えば湘南海岸などの海岸の映像を記録し、それらをキーワードなどで検索して出力できるCD−ROMなどは存在している。そして、これらのCD−ROMに記録された映像は、プロのカメラマンが絶好の日和・時刻(例えば夕陽のきれいな時刻)の絶好の角度から美しく撮影したものである。これに対して、この実施例で提供される映像は、雨天のときも曇りのときもあるし、時刻も絶好の景色が見られる時刻ではないかもしれない。しかし、ユーザーにとっては、「今この時点・この瞬間の映像(二度とない映像)である」ということが、ひとつの「臨場感」「感動」を生むことになる。つまり、「今、湘南海岸に沈む夕陽を見たい」とユーザーが思った場合、過去の記録に過ぎない記録された「湘南海岸の夕陽」の映像ではなく、「今この瞬間の湘南海岸の夕陽」の映像を見られなければ、ユーザーにとっては大きな感動は得られない。この実施例はこのようなユーザーの希望に答えることができるものなのである。
なお、ここで、以上の図1について説明した実施例の構成を図2を参照してもう一度説明する。この図2は、実施例の構成を機能的・概念的に示したものである。図2において、符号32は、コンピュータネットワーク(コンピュータ通信網)30に接続され、各地の実況映像と音声をリアルタイムに入力するためのビデオカメラ及びマイクから成る実況映像入力部である。また、符号24は、前記地図データベース26とその再生プログラムとその検索プログラム、前記実況映像データベース25とその検索プログラム、及び前記実況映像識別データから通信ネットワークを介して該当する実況映像を取り込むためのプログラムなどが記録されたCD−ROMである。
また図2において、21は前記CD−ROM24に記録された前記地図データベース26を再生するための地図データベース再生部、22はこの地図データベース再生部21からの信号を受けて表示部27及びスピーカ28を制御して所定の画像及び音声を出力する制御部である。また23は、前記制御部22からの信号を受けて、前記地図データベースが再生された画面上でユーザーが指定(マウスでクリック)した地点のアドレスデータに基づいて、前記実況映像データベース25から、対応する実況映像の識別データを検索する検索部である。制御部22は、この検索部23からの実況映像の識別データに基づいて、映像取り込み部(例えばインターネットのホームページ閲覧用ソフトウェアであるブラウザーを記録し実行する装置)26を制御して、コンピュータネットワーク用通信回線30を介して映像入力部32にアクセスし、そこから、オンラインで、リアルタイムの実況映像及び音声を取り込む。制御部22は、このオンラインで取り込まれた実況映像と音声を、前記地図データベース26からの再生画像(地図画像)と関連させながら、前記表示部27及びスピーカ28によりリアルタイムに出力させる。
次に、前記の図1の制御装置2に制御されながら、前記ディスプレイ7により表示される画面を、図3及び図4に基づいて説明する。前記CD−ROM4に記録された各プログラムにより、ディスプレイ7には、図3に示すように、その上半分7aに実況映像が表示され、その下半分7bに地図が表示されるようになっている。この実施例1を使用するときは、ユーザーは、まず図1の前記CD−ROM4を駆動して、前記地図データベースから前記ディスプレイ7の下半分7bに希望する地図を表示させる。CD−ROM4に記録された地図データベースの中のどの部分の地図を表示させるかは、例えば、地名などのキーワードから地図データを検索して表示させればよい(このような技術は従来より公知である)。
そして、本実施例では、この表示された地図には、例えば図4のア、イ、ウ、エ、オ、カ、キに示すように、各地点を示す点が所定の色(例えば赤色)に着色されて表示されている。これらの図4のア、イ、ウ、エ、オ、カ、キで示す各点の中で、図4のア、イ、ウ、及びエは、図1のビデオカメラ12及びマイク13に対応している。すなわち、この実施例1では、図1のビデオカメラ12は、それぞれ互いに異なる方向を撮像するように図4のア、イ、ウ、及びエの位置に設置された4個のビデオカメラにより構成されている。また、図1のマイク13は、それぞれ互いに異なる方向を集音するように設置された4個のマイクにより構成されている。
つまり、ビデオカメラ12について説明すると、ビデオカメラ12を構成する4個のビデオカメラの中で、図4のアの位置に設置されたビデオカメラは、図の西方向(左方向)に向けて撮像しており、“1428A”の映像識別データを有する実況映像を生成する。また、図4のイの位置に設置されたビデオカメラは、図の南方向(下方向)に向けて撮像しており、“1428B”の映像識別データを有する実況映像を生成する。また、図4のウの位置に設置されたビデオカメラは、図の東方向(右方向)に向けて撮像しており、“1428C”の映像識別データを有する実況映像を生成する。また、図4のエの位置に設置されたビデオカメラは、図の北方向(上方向)に向けて撮像しており、“1428D”の映像識別データを有する実況映像を生成する。
また、前記の図4のア、イ、ウ、エ、オ、カ、キで示す各点の中で、図4のオ、カ、及びキは、図1のビデオカメラ12a及びマイク13aに対応している。すなわち、この実施例1では、図1のビデオカメラ12aは、それぞれ互いに異なる方向を撮像するように図4のオ、カ、及びキの位置に設置された3個のビデオカメラにより構成されている。また、図1のマイク13aは、それぞれ互いに異なる方向を集音するように設置された3個のマイクにより構成されている。つまり、ビデオカメラ12aについて説明すると、ビデオカメラ12aを構成する3個のビデオカメラの中で、図4のオの位置に設置されたビデオカメラは、図の北西方向(左上方向)に向けて撮像しており、“1429A”の映像識別データを有する実況映像を生成する。また、図4のカの位置に設置されたビデオカメラは、図の東南方向(右下方向)に向けて撮像しており、“1429B”の映像識別データを有する実況映像を生成する。また、図4のキの位置に設置されたビデオカメラは、図の東方向(右方向)に向けて撮像しており、“1429C”の映像識別データを有する実況映像を生成する。
以上のように、この図4を参照して説明する実施例では、地図上の各地点を識別するためのアドレスデータ(“1428”や“1429”など)と同一実況地点での各ビデオカメラの撮像方向を示すデータ(“A”“B”“C”“D”など)との組合せと、各地点の実況映像を識別するための実況映像識別データ(“1428A”や“1429A”など)とを、互いに対応させて記録している。
より詳細に述べると、この図4の例では、地図上の1つのアドレスデータ“1428”(図4の中央の交差点の領域を識別するアドレスデータ)については、“1428A”“1428B”“1428C”及び“1428D”の4つの撮像方向をそれぞれ示す4つの実況映像識別データが、対応させて記録されている。また、地図上の1つのアドレスデータ“1429”(図4の図示左側の交差点の領域を識別するアドレスデータ)については、“1429A”“1429B”及び“1429C”の3つの撮像方向を示す3つの実況映像識別データが、対応させて記録されている。
なお、この図4の例では、実況映像識別データ(例えば“1428A”)を、地図上のアドレスデータ(例えば“1428”)と方向データ(例えば“A”)との組合せにより構成しているが、本発明では、必ずしも、実況識別データの中に地図上のアドレスデータをそのまま使用する必要はない。例えば、地図上のアドレスデータは地図全体を均等に割り付けて構成した番地データ(又は座標データ)とし、実況映像識別データはビデオカメラが実際に取り付けてある地点の識別コード(例えば、ビデオカメラの設置順の連続番号)と方向データとの組合せにより構成する、などのようにすることもできる。
この図4の例では、前記各ビデオカメラ12及びマイク13がそれぞれ映像及び音声を入力して得られる実況映像(ここでの「実況映像」という用語は、原則として、ビデオカメラで入力した映像データとマイクで入力した音声データとの両者を含む意味で使用している)の識別データには、その地点を示すデータとそのビデオカメラ12が撮影している方向(これはマイク13が集音しようとする方向と一致している)とから、構成されている。つまり、実況映像は、各地点とその撮像方向とで互いに識別されており、「実況映像識別データ」は、各地点を示すデータと撮影又は集音の方向を示すデータとから、構成されている。だから、同じ地点でも、撮影する方向(東西南北などの方向)が違えば別の識別データを有する別の実況映像となる。
このことを図4で説明すると、図4の“ア”で示すアドレスデータ(1428A)を有する地点は、(1428A)という映像識別データを有する実況映像と対応しており、この(1428A)という識別データを示す実況映像は、図4の“ア”の地点からAの方向(図面に向かって左の方向)を撮影した映像である。また、図4の“イ”で示すアドレスデータ(1428B)を有する地図上の地点は、(1428B)という識別データを有する実況映像と対応しており、この(1428B)という識別データを示す実況映像は、図3の“イ”の地点からBの方向(図面に向かって下の方向)を撮影した映像である。また、図4の“ウ”で示すアドレスデータ(1428C)を有する地点は、(1428C)という識別データを有する実況映像と対応しており、この(1428C)という識別データを示す実況映像は、図4の“ウ”の地点からCの方向(図面に向かって右の方向)を撮影した映像である。また、(1428D)というアドレスデータを有する図4の“エ”で示す地点は、(1428D)という識別データを有する実況映像と1対1に対応しており、この(1428D)という識別データを示す実況映像は、図4の“エ”の地点からDの方向(図面に向かって上の方向)を撮影した映像である。
さらに、図4において、アドレスデータ(1429A)を有する“オ”で示す地点は、(1429A)という識別データを有する実況映像と対応しており、この(1429A)という識別データを示す実況映像は、図4の“オ”の地点からAの方向(図面に向かって左上の方向)を撮影した映像である。また、図4の(1429B)というアドレスデータを有する“カ”で示す地点は、(1429B)という識別データを有する実況映像と対応しており、この(1429B)という識別データを示す実況映像は、図4の“カ”の地点からBの方向(図面に向かって右下の方向)を撮影した映像である。また、図4の(1429C)というアドレスデータを有する“キ”で示す地点は、(1429C)という識別データを有する実況映像と対応しており、この(1429C)という識別データを示す実況映像は、図4の“キ”の地点からCの方向(図面に向かって右の方向)を撮影した映像である。
以上から分かるように、この図4の例では、1428は、図4の地図の中央に位置する交差点の領域(この図4の例では、この交差点の領域を「実況地点」という言葉で呼んでいる)を示す地図上のアドレスデータであり、A,B,C,Dはその交差点領域(実況地点)からの撮影(及び集音)の方向を示している。
また同様に、図4の例では、1429は、図4の地図の左端の交差点の領域(実況地点)を示す地図上のアドレスデータであり、A,B,Cはその交差点(実況地点)内の各場所からの撮影(及び集音)の方向を示している。
また、この図4の例では、実況映像の識別データは、前記地図上の各実況地点の位置を示すアドレスデータ(“1428”,“1429”など)と前記方向を示すデータ(A,B,C,Dなど)との組合せにより、構成されている。
したがって、ユーザーは、この図4の地図を見ながら、自分がこれから行きたいと思う場所が例えば図4の1428で示す交差点の領域だとして、「今、この交差点の状況はどうなっているか(混雑しているのかどうか、どういう人達がどういう服装で通行しているのか、など)知りたい、そのために実況映像を見たい」と思えば、図4で示す地図上のア〜エの地点のいずれかをマウスなどのポインティングデバイスでクリックすればよい。すると、前記制御装置2により、その地図上のアドレスデータに対応する実況映像識別データが検索され(前記実況映像データベースから)、この検索された実況映像識別データに基づいて、該当する実況映像がコンピュータ・ネットワークを介して取り込まれて、ディスプレイ7の上半分7aに表示される。
またユーザーは、これから自分が行きたいと思う場所と今自分が居る場所との間の交通経路を地図上で求めて(これは従来から公知の技術で既に実現されている)、その経路上にある地点の実況映像を順番に表示していく(一つの実況映像の表示時間を例えば5秒として、5秒毎に次の実況映像を順番に表示していく)こともできる。
またユーザーは、自分が自動車を運転しているとき、GPS受信機で受信した測位情報や各種のセンサにより得た測位情報から現在の位置を地図上で求め(これは従来より公知の技術で既に実現されている)、その地図上で求めた自分の現在位置に対応する地点から、前記実況映像の識別データを求めて、その識別データに基づいてネットワーク上のサーバー(例えば図1の中継サービス用コンピュータ11)を通して対応する実況映像を取り込んで表示する、こともできる。これにより、ユーザーは、地図上の現在位置(GPS受信機やセンサからの情報に基づいて推測した現在位置)と実際の現在位置とが本当に一致しているのかどうかを目視により確認することができる。つまり、上記のようにして求められた実況映像識別データに基づいてディスプレイ7に表示された実況映像と自分が自動車の内部から外部を見て得られる実際の景色とが一致していれば、前記のGPSにより推測した現在位置は計測誤差がなく正しいということになるが、一致していなければ前記の推測した現在位置は正しくないということになる。
なお、前記制御装置2と中継サービス用コンピュータ11の接続は無線でもよいこと、前記中継サービス用コンピュータと各ビデオカメラ12及びマイク13との接続も無線でもよいこと、及び、前記「地図データベース」、「実況映像データベース」、これらの検索プログラム、及び地図データベース再生プログラムは、CD−ROM4から読み取るのではなく、前記中継サービス用コンピュータ11などのネットワーク上のサーバー(コンピュータ)から取り込むようにしてもよい。特に、上記のように、図1のパソコン1を移動中の自動車内で使用する場合(自分が自動車を運転しているとき、GPS受信機で受信した測位情報や各種のセンサにより得た測位情報から現在の位置を画面表示された地図上で求め、この「自分の現在位置に対応する実況地点の実況映像で且つ自分の進行方向に対応する撮像方向の実況映像」を、パソコン1のディスプレイ7に表示させる場合)は、前記パソコン1の制御装置2と前記中継サービス用コンピュータとの間は無線で送受信する必要がある。
次に、本発明の実施例2を図1により説明する。図1において、1はユーザーが使用するパーソナルコンピュータ(パソコン)で、CPU及び通信モデム等より成る制御装置2と、コンピュータプログラム及びデータが記録されたハードディスク装置3と、コンピュータプログラム及びデータが記録されたCD−ROM4を駆動するためのCD−ROMドライブ5と、データ入力するためのキーボード6と、画像を出力するためのディスプレイ7と、音声を出力するためのスピーカ8とより、構成されている。
前記制御装置2は、公衆回線10を介して、中継サービス用コンピュータ11に接続されている。この中継サービス用コンピュータ11には、多数の地点にそれぞれ設置されたビデオカメラ12及び集音マイク13が、コンピュータ(サーバー)14を介して、接続されている。これらの多数のビデオカメラ12及びマイク13等により入力された映像データ及び音声データは、ユーザーからの要求により、前記コンピュータ(サーバー)14及び中継サービス用コンピュータ11を介して、ユーザーに送信できるようになっている。
また、図1の多数のビデオカメラ12及び集音マイク13は、識別データにより互いに識別できるようになっている。したがって、また、各ビデオカメラ12及び集音マイク13からの実況映像及び音声は、互いに識別できるようになっている。また、これらの多数のビデオカメラ12及びマイク13等により入力された映像データ及び音声データは、ユーザーからの要求により、中継サービス用コンピュータ11を介して、ユーザーがオンラインで閲覧できるようになっている(例えば、インターネット・ホームページ閲覧用ソフトウェアのブラウザーを使用して、閲覧できるようになっている)。
また、前記中継用サービスコンピュータ11は、他の多数の中継用サービスコンピュータ12などとも接続されており、例えば、中継サービス用コンピュータに接続されたユーザーは、この中継サービス用コンピュータ11を介して他の中継サービス用コンピュータ12などから、それに接続されたビデオカメラ及びマイクから入力されたデータを取り込めるようになっている。
この実施例2では、前記CD−ROM4には、前記各地点(前記ビデオカメラ12及びマイク13が設置された各場所)の実況映像を識別するための映像識別データと多数のキーワードとを互いに関連付けた実況映像データベースと、これらのキーワードから前記映像識別データを検索するプログラムとが、記録されている。この実況映像データベースに記録されているキーワードには、地名、場所のジャンル(海岸、町角、港町、山、交差点、建物、レストラン、劇場、映画館、スポーツ施設、野球場、温泉、寺院など)、行動のジャンル(スポーツ、演劇、映画、食事、散歩など)、などの様々なものが含まれている。
今、例えば大阪に住んでいるユーザーが、「自分の故郷の神奈川県の夏の湘南海岸の海岸線に沈む夕陽の景色を見たい」と考えたとする。その場合、例えば、ユーザーが前記キーボード6により「神奈川県、夏、湘南海岸、海岸線、夕陽」などのキーワードを入力すると、制御装置2は、これらの入力されたキーワードに基づいて、CD−ROM4に記録された実況映像識別データの中から対応するものを検索する。そして、この検索された実況映像識別データに基づいて、中継サービス用コンピュータ11にアクセスして、その識別データに対応する地点に設置されたビデオカメラ及びマイクからの映像データ及び音声データをリアルタイムに取り込んで、ディスプレイ7及びスピーカ8から出力することができる。このとき出力される映像及び音声は、現時点のリアルタイムの映像及び音声なので、ユーザーはあたかもその現場に実際にいるような感動を得ることができる。 また、同様に、この実施例2では、ユーザーが例えば「寺院、京都」というキーワードを入力すれば、前記制御装置2がそれに該当する複数の映像識別データを検索し、それらを順次ディスプレイ7に表示する。また、例えば長期入院しているユーザーが、実際には行けないが「九州各地の温泉巡りをしてみたい」と思えば、「九州各地、温泉巡り」などのキーワードを入力すれば、前記制御装置2が、それに該当する複数の映像識別データを検索し、それらの識別データに対応する実際映像を受信して、順次ディスプレイ7に表示する。これは、ユーザーにとっては、実際には行っていないのに実際に行っているのと同じ感動を得ることができる。このように、この実施例2は、ユーザーにとってあたかも旅行に行っていないの行っているのと同様の感動を得られる「バーチァル・トラベル(仮想旅行)」を実現できるシステムであると言える。
また同様に、ユーザーが「横浜の港町を食べ歩きしたい」と思えば、「横浜、港町、食べ歩き」というキーワードを入力すれば、前記制御装置2がこれらのキーワードに基づいて対応する複数の映像識別データを検索し、これらに対応する複数の前記各地点からの実況映像のデータを取り込んでくれる(この場合、公衆への映像提供を承諾したレストランの内部に前記ビデオカメラとマイクを設置しておけば、その内部の状況、例えば客の今の混み具合や店内の雰囲気なども知ることができる)。また、同様に、ユーザーが「日本全国の劇場巡り(野球場巡り)をしてみたい」と思えば、「日本、劇場巡り(野球場巡り)」というキーワードを入力すれば、前記制御装置2がこれらのキーワードに基づいて対応する映像識別データを検索し、それらに対応する実況映像をリアルタイムに出力してくれる。この場合、各劇場又は各野球場に、所定時間のみ劇の内容(又は試合内容)の送信を承諾してもらっておけば、ユーザーは所定時間のみではあるが、その劇(又は試合)の内容を言わばインデックス代わりに見ることができる。
次に、本発明の実施例3を説明する。この実施例3では、前記の実施例1の構成に加えて、次のようなものが備えられている。
まず、前記ビデオカメラ12やマイク13の近傍に備えられた匂い入力装置が備えられている。この匂い入力装置には、匂いセンサと、この匂いセンサからの信号を匂いのデジタルデータにコード化するコード化部が備えられている。前記匂いセンサは、既存の複数の匂いセンサから構成され、各センサからの匂い量検出値はすべて前記コード化部(エンコーダ)に供給される。コード化部(エンコーダ)では、この供給された匂い量検出値を符号化する。この符号化された匂いデータ(デジタルデータ)は、記録装置に記録されると共に、遠隔のユーザーが、コンピュータ通信ネットワーク網を介してリアルタイムに閲覧し取り込めるようになっている。なお、前記の匂いセンサは、感知できる匂いの種類毎に複数用意しておき、できるだけ現場の元の匂いを忠実に再現できるだけの情報を得られるようにすることが望ましい。
次に、ユーザー側には、前記の閲覧し取り込んだ匂いデータ(デジタルデータ)を、現場の匂いに近似した匂いを発生させるための芳香剤調合データに変換する変換装置と、前記ディスプレイ7(図1)の近傍に備えられ、前記芳香剤調合データから芳香剤を調合して所望の匂いを発生させる匂い発生装置と、が備えられている。
まず、前記の「前記閲覧し取り込んだ匂いデータ(デジタルデータ)を、現場の匂いに近似した匂いを発生させるための芳香剤調合データに変換する変換装置」を説明する。前記変換装置は、各匂いセンサの検出値のパターンを各芳香剤の出力値のパターンに変換する。より具体的には、様々な種類の匂いのそれぞれについて、その匂いを匂いセンサに検出させると検出値がどのような値をとるかを予め調査・記録しておく。そして、この匂いと匂いセンサの検出値パターンとの関係を記録したデータと、各匂いと芳香剤(の成分)との関係を記録したデータとから、各匂いセンサの検出値のパターンと複数種類の芳香剤の出力値のパターンとを対応付けて記録しておくようにする。前記変換装置は、この対応付けられた情報に基づいて、匂いセンサの検出値のパターンを芳香剤(の成分)の出力値のパターン(これが「芳香剤調合データ」となる)に変換するものである。このことをより詳細に述べると、次のとおりである。前記変換装置には、各匂いを匂いセンサで検出したときの匂いセンサの検出値と、その匂いを後述の匂い発生装置で発生させるときの各芳香剤の出力値との対応関係が記録されたセンサ芳香剤量変換テーブルが、予め記録されている。そして、変換装置は、前記匂いセンサの検出値データに基づいて、このセンサ芳香剤量変換テーブルを参照して、各匂いセンサ毎の検出値を各芳香剤毎の出力値に変換する。
次に、前記の「前記芳香剤調合データから芳香剤を調合して所望の匂いを発生させる匂い発生装置」を説明する。匂い発生装置は、予め複数種類の芳香剤を用意しておき、前記の「芳香剤調合データ」(前記の芳香剤出力パターンデータ。各芳香剤からの匂い成分をどれだけ発生させるかを示すデータ)に基づいて、必要な種類の匂いの成分(芳香剤からの成分)を必要な分量だけ発生させる。匂い発生装置の形態としては、ある空間中においてその空間全体に匂いを行き渡らせる据置型のものと、ユーザーの鼻の付近又は鼻の中に装着して装着した人にのみ匂いを感得させる個人携帯型のものと、が考えられる。
例えば、前記の据置型のものとしては、次のようなものが考えられる。すなわち、箱の底に芳香剤の入った容器を並べて、芳香剤と空気とが接する面積を任意に調整できる蓋を各容器に付けておき、箱の後ろ側には、必要に応じて送風機を設ける。そして、前記の「芳香剤出力パターン」のデータに応じて、各芳香剤の成分を所定量ずつ放出できるように、対応する各芳香剤の容器の蓋の開閉具合を調節する。また、前記携帯型のものについては、基本的構成は据置型のものと同様でよいが、これを小型化し、これをヘルメット型、ヘッドセット型、メガネ型、マスク型などの頭部支持具によりユーザーの鼻の付近に装着できるようにする。
なお、この実施例3では、前記の「前記閲覧し取り込んだ符号化された匂いデータを、現場の匂いに近似した匂いを発生させるための芳香剤調合データに変換する変換装置」をユーザー側のパソコン1側に備えるようにしているが、本発明ではこれに限られるものではなく、例えば、現場のビデオカメラ12やマイク13が設置された地点に備えるようにしてもよいし、コンピュータ・ネットワーク上の中継サービス用コンピュータ(サーバー)11に備えるようにしてもよい。また、以上の実施例3で説明した「匂いのデータ化、記録、通信、及び再生」の技術は、例えば特開平7−55742号公報などに開示された公知の技術である。
図5は本発明の実施例4を示すブロック図である。図5において、21は液晶ディスプレイ(LCD)である。また図5において、22は従来より市販されているGPS(Grobal Positioning System)受信機で、人工衛星からの電波の遅延時間を計測し、軌道からの距離からユーザーの現在位置を求めるためのものである。このGPS受信機22は、人工衛星から送信されるGPS電波を受信するGPS受信アンテナと、このGPS電波から現在位置を緯度データ及び経度データとして認識する位置認識部(CPUにより構成される)を含んでいる。前記GPSアンテナは、GPS衛星からの例えば1.5GHzの電波を受信し、その信号を前記位置認識部に送る。前記位置認識部では、稼働中のGPS衛星のうち受信可能な4個以上の衛星の電波を受信し、既知である衛星の位置と受信電波とから算出した各衛星−受信点間の距離とを基にして、受信点の現在位置を取得し、緯度データ及び経度データを算出する。なお、以上のGPS受信機2の詳細な構成及び使用方法は従来より公知である(例えば、特開平5−45171号公報、特開平7−306054号公報、特開平8−94735号公報などを参照)ので、詳細な説明は省略する。
また、図5において、26は進行方向入力部で、ユーザーが徒歩、車両、鉄道などにより移動中のときのその進行方向(東西南北など)を地磁気などを利用して計測しその進行方向を求める進行方向入力部である。この実施例4では、前記GPS受信機22と進行方向入力部26とにより、本発明によるユーザーの「現在位置特定手段」を構成している。
また図5において、23はこのGPS受信機22からの現在位置情報としての座標データ(緯度データ及び経度データ)と前記進行方向入力部26からの進行方向データを受け取り、該当する衛星画像を選択し、それを前記LCD21に表示するための制御部で、パーソナル・コンピュータなどにより構成されている。
また、図5において、24は、前記制御部23とインターネットなどのコンピュータ通信用公衆回線網20を介して接続された地図データベース用サーバー(コンピュータ)である。この地図用サーバー24は、例えば日本全国の地図を、座標データ(緯度データ及び経度データ)、地名、施設名、施設の識別データ(施設の電話番号など)などの位置識別データと関連付けながら、データベースとして記録している。この地図用サーバー24は、公衆回線網20により前記制御部23とオンラインで接続されている。なお、この公衆回線網20は、有線通信網だけでなく、携帯電話網、PHS(パーソナル・ハンディホン・システム)網、自動車電話網及び人工衛星通信網などの無線通信網をも含むものであることが望ましい。
また図5において、25は、インターネットなどのコンピュータ通信用公衆回線網20に接続された実況映像入力装置で、各実況地点それぞれ設けられ、各実況地点における複数方向の実況映像(各実況地点から複数方向に向かって見える実況映像)をそれぞれリアルタイムに常時入力する複数のデジタル・ビデオカメラと、これらのデジタル・ビデオカメラからのデジタル映像データを、インターネットなどのコンピュータ通信網を介してアクセスして来た複数のユーザーに対してオンラインで提供するための実況映像提供用コンピュータと、から構成されている。
この実況映像提供用コンピュータは、各地点の実況映像を、座標データ(緯度データ及び経度データ)、地名、施設名、施設の識別データ(施設の電話番号など)などの位置識別データ及び東西南北などの方向データと関連付けながら、データベースとして記録している。この実況映像提供用コンピュータは、前記通信網20により前記制御部3とオンラインで接続されている。なお、この通信網20は、有線通信網だけでなく、携帯電話網、PHS(パーソナル・ハンディホン・システム)網、自動車電話網及び人工衛星通信網などの無線通信網をも含むものであることが望ましい。
制御部23は、ユーザーのキーボード26又はマウス27などの入力装置による指示により、前記地図用サーバー24にアクセスして、そこから、ユーザーが希望する地点(前記入力装置で指定した地点)を含む所定領域の地図のデータをオンラインで取り出して、LCD21に表示させる。
また、前記制御部23は、ユーザーがこの表示された地図の任意の地点をマウス27で指示しその地点を含む所定領域の実況映像の表示を指令したとき、前記各実況地点の前記実況映像提供用コンピュータを含む映像入力装置25にアクセスして、該当する所定領域の実況映像のデータをオンラインで取り出して、その実況映像をLCD21にリアルタイムに表示させる。
また、制御部23は、ユーザーが、例えば、表示を希望する地点の地名、施設名、施設の識別データなどを入力して該当する実況地点の実況映像又はその実況地点を含む地図の表示を希望したとき、前記映像入力装置25又は地図用サーバー24にアクセスして、該当する実況映像又は地図をオンラインで取り出して、それらをLCD21に表示させる。
また、制御部23は、ユーザーが自分が現在居る現在地点から進行方向に向かう方向で且つ最も近くの場所にある実況地点の実況映像であって、その進行方向に向かって見える実況映像を表示せよと指令したときは、前記GPS受信機22及び進行方向入力部26からユーザーの現在位置及び進行方向を座標データ(緯度データ及び経度データ)及び方向データとして受け取り、その座標データ及び方向データに基づいて、該当する前記各実況地点の映像入力装置25にアクセスして、オンラインで該当の実況映像の提供を受けて、LCD21に表示させる。なお、この場合の、前記制御部23が前記映像入力装置25から該当する実況映像の提供を受ける方法としては、従来のインターネット用のブラウジング・ソフトウェア(閲覧ソフトウェア)などによりこの各地の映像入力装置25にそれぞれ直接アクセスして取り込む方法と、前記映像入力装置25に対して該当する実況映像データを電子メールに添付したファイルとして送信してもらうように依頼してその送信により受け取る方法など、様々な方法が有り得る。
また、この実施例4では、前記制御部23は、ユーザーが、ある実況映像が前記LCD21に表示されているとき、その表示された実況映像の中のある部分だけを、例えば特定の建築物や特定の橋や特定の道路などの部分だけを、他の部分と見分けやすいように所定のマーキングをしたいと指令したときは、その部分を他と異なって目立つようにマーキングできる手段(プログラム)を含むのがよい。この場合のマーキングは、例えば、他と異なる色で着色して色別する方法、その部分のみに網掛け処理を行う方法、その部分を他の部分よりも太い実線で表示する方法、などの様々な方法がある。
次に、図6は本発明の実施例5を示すブロック図である。図6において、符号21,22,23,26,27は図4におけると同様なので説明を省略する。図6において、34は制御部23に接続されたCD−ROMプレーヤ(再生装置)、35はこのCD−ROMプレーヤ34に読み取れらるCD−ROMである。このCD−ROM35には、例えば日本国の全体の地図を、座標データ(緯度・経度データ)、地名、施設名、施設識別データなどの位置識別データと関連付けて記録した地図データベースが記録されている。また図6において、31は、インターネットなどのコンピュータ通信網30に接続された映像入力装置で、図4の映像入力装置25と同様のものである。
前記制御部3は、前記CD−ROMプレーヤ14によりCD−ROM15を読み取ることにより、ユーザーが希望する位置を含む所定領域の地図を読み取ってLCD1に表示させることができる。また、前記制御部3は、前記コンピュータ通信網30を介して映像入力装置31にアクセスすることにより、ユーザーが希望する実況地点からのユーザーが希望する所定方向の実況映像を取り込み、LCD21に表示させることができる。
また、制御部23は、ユーザーが、「自分が現在居る現在地点から進行方向に向かう方向にある地点で且つ現在地点から最も近い実況地点の実況映像であって、その地点から自分の進行方向に向かって撮像した実況映像を、表示せよ」と指令したときは、前記GPS受信機22からユーザーの現在位置を座標データ(緯度データ及び経度データ)として受け取り、且つ、前記進行方向入力部26からユーザーの進行方向のデータを受け取り、その座標データ及び進行方向データに基づいて、前記映像入力装置31にアクセスして、該当の座標データに近い場所にある実況地点のもので且つユーザーの進行方向に近い方向の実況映像のデータをオンラインで読み取り、その実況映像をリアルタイムにLCD21に表示させる。
なお、ここで、本明細書で開示した諸発明の中で、本願の特許請求の範囲に記載していない発明について、その効果を説明しておく。
(1)本発明による実況映像提供システムによれば、ユーザーは、地図を見ながら、例えば希望の地点をポインティングデバイスで指定する(例えばマウスでクリックする)だけで、その地点の今の現時点の状況を実況映像で見ることができる。また、ユーザーは、いちいちポインティングデバイスで指定しなくても、予めコンピュータプログラムで実況映像を希望する複数の地点の地点識別データを順次入力するようにしておけば、コンピュータにより次々と希望する地点に対応する実況映像を表示させることができる。よって、ここでも、ユーザーは地図を見ながら、実際には行っていないのに実際に行っているのと同じ感動を得られる「バーチァル・トラベル(仮想旅行)」を実現できるようになる。
また、例えば、全世界の地図から全世界の各地の実況映像をみながら、全世界のユーザーが一つの宝を探していくというような、コンピュータ通信ネットワークの世界の中での「宝探し」ゲームを世界中で同時に競うことも可能になる。
(2)また、本発明による実況映像提供システムによれば、ユーザーは、ある地点の実況映像を見ながら、その実況映像の識別データから、対応する地図上の地点を表示させることができるので、ある実況映像を見て、その実況映像が見える場所が地図上のどこなのか(どういう地名・施設名なのかなど)を、容易に知ることができるようになる。
(3)また本発明による実況映像提供システムによれば、ユーザーは、自分の希望する文字列等により構成される検索データを入力することにより、その検索データに対応する一つ又は複数の地点の実況映像を、その場でリアルタイムに見ることが可能になる。特に、遠隔の複数の地点における今この瞬間の実況を映像でリアルタイムに順次見ることができる「バーチャル・トラベル(仮想旅行)」を提供できるようになる。
(4)なお、本発明において、前記各実況映像を特定するための実況映像識別データを、前記映像入力手段が設けられた各地点を示す位置データとその映像入力手段が撮影した方向を示す方向データとから構成するようにすれば、同じ地点でも、見る方向によって異なる実況映像を提供できるようになり、「生の現場」をより詳細にリアルタイムに再現できる実況映像を提供できるようになる。
(5)また、本発明では、前記表示手段に表示された実況映像の中のユーザーが指定した部分に対して他の部分と区別するためのマーキングをするためのマーキング手段を備えることにより、実況映像(動画でも静止画でもよい)の中のある部分(例えば、特定の建造物、橋、道路、河川、公園など)のみをマーキングできるので、実況映像を自分の目的に応じて見やすい形に加工できるようになる。
(6)また、本発明において、前記映像入力手段に、その地点において発生している音声をリアルタイムに入力する手段をも含ませ、これらの入力された音声をそれぞれリアルタイムに無線又は有線で取り込む(インターネット用ブラウザーによる閲覧する場合や通信ネットワークにより送信させる場合などを含む)ことにより、ユーザーは、実況映像(現場の生の映像。動画又は静止画)だけでなく、「現場の生の音声」をも併せて知ることが可能になる。
(7)また本発明では、さらに、前記映像入力手段の近傍に備えられ、匂いセンサと、この匂いセンサからの信号を匂いデジタルデータに変換する手段とから構成され、前映像入力手段の設置された地点又はその周辺の匂いを入力するための匂い入力手段と、この匂い入力手段からの匂いデータを、その匂いに近似した匂いを発生させるための芳香剤調合データに変換する手段と、前記表示手段の近傍に備えられ、前記芳香剤調合データから芳香剤を調合して所望の匂いを発生させる匂い発生手段と、を含むようにすることにより、ユーザーは、前記の実況映像と実際の音声だけでなく、現場の実際の匂いをも、リアルタイムに遠隔地において感得することができるようになる。
本発明の実施例1又は2のハードウェア構成を示す図である。 本発明の実施例1又は2の概念的構成を示す図である。 本発明の実施例1のディスプレイの構成を示す図である。 本発明の実施例1においてディスプレイに表示される地図の一例を示す図である。 本発明の実施例4を示すブロック図である。 本発明の実施例5を示すブロック図である。
1 パーソナルコンピュータ(パソコン)
2 制御装置
3 ハードディスク装置
4 CD−ROM
5 CD−ROMドライブ5
6 キーボード
7 ディスプレイ
7a ディスプレイの上半分
7b ディスプレイの下半分
8 スピーカ
10 公衆回線
11 中継サービス用コンピュータ
12,12a,12b ビデオカメラ
13,13a,13b マイク
21 LCD. 22 GPS受信機. 23 制御部.
24 地図データベース用サーバー(コンピュータ).
25 映像入力装置. 26 キーボード. 27 マウス.
30 コンピュータ通信網. 31 映像入力装置.
34 CD−ROMプレーヤ. 35 CD−ROM

Claims (22)

  1. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの実況映像を取得、入力、または受信する実況映像取得等手段であって、或る場所または地点の実況映像を、「前記場所または地点に関する位置座標データ、前記場所もしくは地点を特定するための識別データ、または前記場所もしくは地点の実況映像を特定するための識別データ」と対応付けて、取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報」を取得または受信する経路取得等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  2. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの情報を取得、入力、もしくは受信する実況映像取得等手段であって、或る場所または地点の実況映像を、前記場所もしくは地点に関する位置座標データ、又は、「前記場所もしくは地点、又は前記場所もしくは地点の実況映像」を特定するための映像対象識別データと対応付けて、取得、入力、もしくは受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データを含む)」を取得もしくは受信する経路取得等手段と、
    「前記の取得もしくは受信された『経路情報』の中に含まれている、前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」とに基づいて、「『前記経路上に若しくは前記経路に沿って存在する一つ又は複数の場所もしくは地点であって、前記ユーザーの現在位置から遠隔に在る場所もしくは地点を含む場所もしくは地点』に関する位置座標データ、又は、前記場所もしくは地点または前記場所もしくは地点の実況映像を特定するための映像対象識別データ」を抽出、選択または特定する抽出等手段と、
    「前記抽出等された『位置座標データ又は映像対象識別データ』に対応する、一つ又は複数の場所もしくは地点の実況映像」を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  3. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの情報を取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データを含む)」を取得または受信する経路取得等手段と、
    「前記の取得または受信された『経路情報』の中に含まれている、前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」と、ユーザーから入力または送信された、文字列、図形または画像などから成る施設検索キー(劇場、野球場、寺院その他の名所旧跡、レストランその他の店舗などの施設を検索するためのキーとなり得る情報であって、施設のジャンル、スポーツや観劇や買物や食事などの行動のジャンル、又は地名などを示す情報)とに基づいて、「前記経路上に若しくは前記経路に沿って存在し且つ前記施設検索キーに適合する、一つ又は複数の施設の外観もしくはその内部の実況映像」を特定、選択または抽出する実況映像特定等手段と、
    前記特定等された実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  4. 複数の場所もしくは地点の実況映像をそれぞれ取得、入力、または送信するために各場所または地点にそれぞれ位置する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等されたユーザーの現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データとに基づいて、前記実況映像取得等手段により取得等された実況映像の中、前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像を、ユーザー側に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
  5. 複数の各場所または地点の実況映像を、各場所または地点に関する位置座標データとそれぞれ関連付けて、取得、受信または入力する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データとに基づいて、前記実況映像取得等手段により取得等される複数の場所もしくは地点の実況映像の中から、前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像を、特定、選択または抽出する実況映像特定等手段と、
    前記特定等された一つ又は複数の場所もしくは地点の実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
  6. 複数の各場所または地点の実況映像を、各場所または地点の位置座標データとそれぞれ関連付けて、取得、受信または入力する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    ユーザーが希望する情報に関する文字列、図形または画像などから成るキー・データを取得、受信または入力するキー・データ取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データと、前記キー・データ取得等手段により取得等されたキー・データとに基づいて、前記実況映像取得等手段により取得等される複数の場所または地点の実況映像の中から、前記経路上に又は経路に沿って存在し且つ前記キー・データに適合する一つ又は複数の場所もしくは地点の実況映像を、特定、選択または抽出する実況映像特定等手段と、
    前記特定等された一つ又は複数の場所もしくは地点の実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
  7. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの実況映像を取得、入力、または受信する実況映像取得等手段であって、或る場所または地点の実況映像を、「前記場所または地点に関する位置座標データ、前記場所もしくは地点を特定するための識別データ、または前記場所もしくは地点の実況映像を特定するための識別データ」と対応付けて、取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上または前記経路に沿って存在する1つ又は複数の場所または地点に関する位置座標データを含む)」を取得または受信する経路取得等手段と、
    「前記の取得もしくは受信された『経路情報』の中に含まれている、前記経路上または前記経路に沿って存在する1つ又は複数の場所または地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得等される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」とを、互いに比較または照合する座標データ比較等手段と、
    前記比較または照合の結果に基づいて、「『前記経路上または前記経路に沿って存在する一つ又は複数の場所もしくは地点であって、前記ユーザーの現在位置から遠隔に在る場所もしくは地点を含む場所もしくは地点』の実況映像、前記場所もしくは地点に関する位置座標データ、前記場所もしくは地点を特定するための識別データ、または前記場所もしくは地点の実況映像を特定するための識別データ」を、ユーザーのために略リアルタイムに表示可能な実況映像又はそれを特定するための識別データとして、抽出、選択または特定する抽出等手段と、
    を備えたことを特徴とすることを特徴とする略リアルタイム実況映像提供システム。
  8. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの実況映像を取得、入力、または受信する実況映像取得等手段であって、或る場所または地点の実況映像を、前記場所または地点に関する位置座標データ又は前記場所または地点を特定するための識別データと対応付けて、取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上または前記経路に沿って存在する1つ又は複数の場所または地点に関する位置座標データを含む)」を取得もしくは受信する経路取得等手段と、
    「前記の取得または受信された『経路情報』の中に含まれている、前記経路上または前記経路に沿って存在する1つ又は複数の場所または地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得等される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」とを、互いに比較または照合する座標データ比較等手段と、
    前記座標データ比較等手段による比較または照合の結果と、ユーザーから入力または送信された、文字列・図形・画像などから成る施設検索キー(劇場、野球場、寺院その他の名所旧跡、レストランその他の店舗などの施設を検索するためのキーとなり得る情報であって、施設のジャンル、スポーツや観劇や買物や食事などの行動のジャンル、又は地名などを示す情報)とに基づいて、「前記経路上または前記経路に沿って存在し且つ前記施設検索キーに適合する、一つ又は複数の施設の外観またはその内部の実況映像、前記施設を特定するための識別データ、または前記実況映像を特定するための識別データ」を、ユーザーのために略リアルタイムに表示可能な実況映像として又はそれを特定するための識別データとして、抽出、選択または特定する、抽出等手段と、
    を備えたことを特徴とすることを特徴とする略リアルタイム実況映像提供システム。
  9. 複数の場所または地点の実況映像をそれぞれ入力、取得、または送信するために各場所または地点にそれぞれ位置する映像入力等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等されたユーザーの現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所または地点に関する位置座標データを含む)を取得または受信する経路取得手段と、
    前記取得等された経路上に又は経路に沿って存在する場所または地点に関する位置座標データと、前記映像入力等手段が位置する場所または地点に関する位置座標データとを比較または照合する座標データ比較等手段と、
    前記座標データ比較等手段による比較等結果に基づいて、「前記映像入力等手段により入力等された実況映像、前記実況映像を特定するための識別データ、又は前記実況映像の対象となっている場所もしくは地点を特定するための識別データ」の中から、「前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像、前記場所もしくは地点を特定するための識別データ、又は前記実況映像を特定するための識別データ」を、ユーザーのために略リアルタイムに表示可能な実況映像として又はそれを特定するための識別データとして、抽出、選択または特定する、抽出等手段と、
    を備えたことを特徴とする略リアルタイム実況映像提供システム。
  10. 複数の各場所または地点の実況映像を、各場所または地点に関する位置座標データとそれぞれ関連付けて、取得、入力、または受信する映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所または地点に関する位置座標データを含む)を取得または受信する経路取得手段と、
    前記取得または受信された経路上に又は経路に沿って存在する場所または地点に関する位置座標データと、前記映像取得等手段が位置する場所または地点に関する位置座標データとを比較または照合する座標データ比較等手段と、
    前記座標データ比較等手段による比較等結果に基づいて、「前記各映像取得等手段により取得等される複数の場所または地点の実況映像、前記場所もしくは地点を特定するための識別データ、又は前記実況映像を特定するための識別データ」の中から、「前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像、前記場所もしくは地点を特定するための識別データ、又は前記実況映像を特定するための識別データ」を、ユーザーのために略リアルタイムに表示可能な実況映像として又はそれを特定するための識別データとして、抽出、選択または特定する、抽出等手段と、
    を備えたことを特徴とする略リアルタイム実況映像提供システム。
  11. 複数の各場所または地点の実況映像を、各場所または地点の位置座標データとそれぞれ関連付けて、取得、入力、または受信する映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所または地点に関する位置座標データを含む)を取得または受信する経路取得手段と、
    前記取得等された経路上に又は経路に沿って存在する場所または地点に関する位置座標データと、前記映像取得等手段が位置する又は前記映像取得等手段が実況映像を取得等する対象となる場所または地点に関する位置座標データとを比較または照合する座標データ比較等手段と、
    ユーザーが希望する情報に関する文字列・図形・画像などから成るキー・データを取得、入力、または受信するキー・データ取得等手段と、
    前記座標データ比較等手段による比較等結果と、前記キー・データ取得等手段により取得等されたキー・データとに基づいて、「前記各映像取得等手段により取得等される複数の場所または地点の実況映像、前記場所もしくは地点を特定するための識別データ、又は前記実況映像を特定するための識別データ」の中から、「前記経路上または経路に沿って存在し且つ前記キー・データに適合する一つ又は複数の場所もしくは地点又はその実況映像、前記場所もしくは地点を特定するための識別データ、又は前記実況映像を特定するための識別データ」を、ユーザーのために略リアルタイムに表示可能な実況映像として又はそれを特定するための識別データとして、抽出、選択または特定する、抽出等手段と、
    を備えたことを特徴とする略リアルタイム実況映像提供システム。
  12. 複数の実況地点の実況映像をそれぞれ入力または取得するために各実況地点にそれぞれ位置する映像入力等手段と、
    ユーザーの現在位置を取得または入力するための現在位置取得等手段と、
    ユーザーが希望する目的地の情報を入力または取得する目的地入力等手段と、
    前記現在位置取得等手段からの現在位置情報と前記目的地入力等手段からの目的地情報とに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの移動経路を求めるための経路取得手段と、
    前記経路取得手段からの移動経路情報と前記実況位置情報記録手段に記録された位置情報とに基づいて、前記映像入力等手段により入力当等された実況映像の中、前記移動経路の途中に存在する一つ又は複数の実況地点の実況映像を、前記映像送信手段からオンラインで取り込むための映像取り込み手段と、
    前記映像取り込み手段により取り込まれた実況映像を略リアルタイムに表示するための映像表示手段と、
    を備えたことを特徴とする実況映像提供システム。
  13. 複数の場所の実況映像を、各場所の位置座標データとそれぞれ関連付けて取得または入力する映像取得等手段と、
    移動体であるユーザーの現在位置座標データを取得または入力するための現在位置取得等手段と、
    ユーザーが希望する目的地の情報を入力または取得する目的地入力等手段と、
    移動体であるユーザーの現在位置とユーザーの目的地とに基づいて、前記現在位置から前記目的地への経路を求めるための経路取得手段と、
    前記現在位置取得等手段からの座標データと目的地への経路上の複数地点の座標データとを比較する座標データ比較手段と、
    前記座標データ比較手段による比較結果に基づいて、前記各映像取得等手段により取得等される複数の場所の映像の中から、前記経路の途中に存在する一つ又は複数の場所の映像を、ユーザー側で略リアルタイムに表示する映像として、略リアルタイムに特定するための映像特定手段と、
    前記映像特定手段により特定された一つ又は複数の場所の映像を、ユーザー側に略リアルタイムに表示させるために、オンラインで略リアルタイムにユーザー側に送信するための映像送信手段と、
    を備えたことを特徴とする略リアルタイム映像提供装置。
  14. 複数の場所の実況映像を、各場所の位置座標データとそれぞれ関連付けて取得または入力する映像取得等手段と、
    移動体であるユーザーの現在位置座標データを取得または入力するための現在位置取得等手段と、
    ユーザーが希望する目的地の情報を入力または取得する目的地入力等手段と、
    移動体であるユーザーの現在位置とユーザーの目的地とに基づいて、前記現在位置から前記目的地への経路を求めるための経路取得手段と、
    前記現在位置取得等手段からの座標データと目的地への経路上の複数地点の座標データとを比較する座標データ比較手段と、
    前記各実況映像又はその場所を互いに識別するための実況映像識別データを、所定の文字列・図形・画像などから成るキー・データと関連付けて記録するための実況映像識別データベース手段と、
    ユーザーが希望する情報に関する文字列・図形・画像などから成るキー・データを取得するためのキー・データ取得手段と、
    前記座標データ比較手段による比較結果、及び前記キー・データ取得手段により取得されたキー・データに基づいて、前記各映像取得等手段により取得等される複数の場所の映像の中から、前記経路の途中に存在し且つ前記キー・データに適合する一つ又は複数の場所の映像を、ユーザー側で略リアルタイムに表示する映像として、略リアルタイムに特定するための映像特定手段と、
    前記映像特定手段により特定された一つ又は複数の場所の映像を、ユーザー側に略リアルタイムに表示させるために、オンラインで略リアルタイムにユーザー側に向けて送信するための映像送信手段と、
    を備えたことを特徴とする略リアルタイム映像提供装置。
  15. 遠隔地にある飲食店の店内の雰囲気や客の混雑状況などをユーザーが略リアルタイムに知ることができる飲食店内実況映像等提供システムであって、
    複数の飲食店内の実況映像をそれぞれ略リアルタイムに取得または入力するために各飲食店内にそれぞれ位置する実況映像取得等手段と、
    前記各実況映像の場所を示す実況場所位置情報(この実況場所位置情報は実況映像識別データを兼ねるものであってもよい)を記録しておくための実況場所位置情報記録手段と、
    前記各実況映像又はその場所を互いに識別するための「実況映像識別データ(この実況映像識別データは、前記各実況映像の場所を示す実況場所位置情報であってもよい)」を、所定の文字列・図形・画像などから成るキー・データと関連付けて記録するための実況映像識別データベース手段と、
    ユーザーの現在位置情報を取得または入力するための現在位置取得等手段と、
    ユーザーが希望する目的地の情報を入力または取得する目的地入力等手段と、
    前記現在位置取得等手段からの現在位置情報と前記目的地入力等手段からの目的地情報とに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの移動経路を求めるための移動経路取得手段と、
    前記移動経路取得手段からの移動経路情報及び前記実況場所位置情報に基づいて、前記映像取得等手段により取得等された実況映像の中、前記移動経路の途中に存在し且つ前記キー・データと適合する一つ又は複数の飲食店内の実況映像を、ユーザー側に送信する映像送信手段と、
    を備えたことを特徴とする飲食店内実況映像等提供システム。
  16. 遠隔地にある飲食店の店内の雰囲気や客の混雑状況などをユーザーが略リアルタイムに知ることができる飲食店内実況映像等提供システムであって、
    各飲食店内の実況映像をそれぞれ略リアルタイムに取得または入力するために各飲食店内にそれぞれ位置する実況映像取得等手段と、
    前記各実況映像の場所を示す実況場所位置情報(この実況場所位置情報は実況映像識別データを兼ねるものであってもよい)を記録しておくための実況場所位置情報記録手段と、
    前記各実況映像又はその場所を互いに識別するための「実況映像識別データ(この実況映像識別データは、前記各実況映像の場所を示す実況場所位置情報であってもよい)」を、所定の文字列・図形・画像などから成るキー・データと関連付けて記録するための実況映像識別データ記録手段と、
    ユーザーが希望する情報に関する文字列・図形・画像などから成るキー・データを取得するためのキー・データ取得手段と、
    ユーザーが希望する目的地の情報を入力または取得する目的地入力等手段と、
    前記現在位置取得等手段からの現在位置情報と前記目的地入力等手段からの目的地情報とに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの移動経路を求めるための移動経路取得手段と、
    前記移動経路情報と、前記ユーザーから入力または送信されたキー・データに基づいて、前記実況映像識別データ記録手段から前記取得したキー・データとに基づいて、前記経路上に存在しており且つ前記キー・データに適合する実況映像識別データを特定する実況映像識別データ特定手段と、
    前記実況映像特定手段により特定された実況映像識別データに対応する実況映像をユーザー側に送信する映像送信手段と、
    を備えたことを特徴とする飲食店内実況映像等提供システム。
  17. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの実況映像を取得、入力、または受信する実況映像取得等手段であって、或る場所または地点の実況映像を、「前記場所または地点に関する位置座標データ、前記場所もしくは地点を特定するための識別データ、または前記場所もしくは地点の実況映像を特定するための識別データ」と対応付けて、取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上または前記経路に沿って存在する1つ又は複数の場所または地点に関する位置座標データを含む)」を取得または受信する経路取得等手段と、
    「『前記経路上または前記経路に沿って存在する一つ又は複数の場所もしくは地点であって、前記ユーザーの現在位置から遠隔に在る場所もしくは地点を含む場所もしくは地点』の実況映像、前記『場所もしくは地点』を特定するための識別データ、または『場所もしくは地点』の実況映像を特定するための識別データ」を、ユーザー側の端末に表示可能な実況映像又はそれを特定するための情報として、抽出、選択または特定する抽出等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  18. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの情報を取得、入力、もしくは受信する実況映像取得等手段であって、或る場所または地点の実況映像を、前記場所もしくは地点に関する位置座標データ、又は、「前記場所もしくは地点、又は前記場所もしくは地点の実況映像」を特定するための映像対象識別データと対応付けて、取得、入力、もしくは受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データを含む)」を取得もしくは受信する経路取得等手段と、
    「前記の取得もしくは受信された『経路情報』の中に含まれている、前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」とに基づいて、「『前記経路上に若しくは前記経路に沿って存在する一つ又は複数の場所もしくは地点であって、前記ユーザーの現在位置から遠隔に在る場所もしくは地点を含む場所もしくは地点』に関する位置座標データ、又は、前記場所もしくは地点または前記場所もしくは地点の実況映像を特定するための映像対象識別データ」を抽出、選択または特定する抽出等手段と、
    「前記抽出等された『位置座標データ又は映像対象識別データ』に対応する、一つ又は複数の場所もしくは地点の実況映像」を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  19. 複数の場所または地点にそれぞれ位置する撮像手段を備える、又は前記撮像手段からの情報を取得、入力、または受信する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、入力、または受信する現在位置取得等手段と、
    ユーザーの目的地に関する位置座標データを取得、入力、または受信する目的地取得等手段と、
    前記現在位置に関する位置座標データと前記目的地に関する位置座標データとに基づいて、「ユーザーの現在位置から目的地へ向かう経路に関する情報(前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データを含む)」を取得または受信する経路取得等手段と、
    「前記の取得または受信された『経路情報』の中に含まれている、前記経路上に若しくは前記経路に沿って存在する1つ又は複数の場所もしくは地点に関する位置座標データ」と、「前記各実況映像取得等手段により取得される実況映像の対象となる各場所もしくは地点、または前記各実況映像取得等手段がそれぞれ位置する各場所もしくは地点に関する位置座標データ」と、ユーザーから入力または送信された、文字列、図形または画像などから成る施設検索キー(劇場、野球場、寺院その他の名所旧跡、レストランその他の店舗などの施設を検索するためのキーとなり得る情報であって、施設のジャンル、スポーツや観劇や買物や食事などの行動のジャンル、又は地名などを示す情報)とに基づいて、「前記経路上に若しくは前記経路に沿って存在し且つ前記施設検索キーに適合する、一つ又は複数の施設の外観もしくはその内部の実況映像」を特定、選択または抽出する実況映像特定等手段と、
    前記特定等された実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とすることを特徴とする実況映像提供システム。
  20. 複数の場所もしくは地点の実況映像をそれぞれ取得、入力、または送信するために各場所または地点にそれぞれ位置する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等されたユーザーの現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データとに基づいて、前記実況映像取得等手段により取得等された実況映像の中、前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像を、ユーザー側に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
  21. 複数の各場所または地点の実況映像を、各場所または地点に関する位置座標データとそれぞれ関連付けて、取得、受信または入力する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データとに基づいて、前記実況映像取得等手段により取得等される複数の場所もしくは地点の実況映像の中から、前記経路上に又は経路に沿って存在する一つ又は複数の場所もしくは地点の実況映像を、特定、選択または抽出する実況映像特定等手段と、
    前記特定等された一つ又は複数の場所もしくは地点の実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
  22. 複数の各場所または地点の実況映像を、各場所または地点の位置座標データとそれぞれ関連付けて、取得、受信または入力する実況映像取得等手段と、
    ユーザーの現在位置に関する位置座標データを取得、受信または入力する現在位置取得等手段と、
    ユーザーが希望する目的地に関する位置座標データを取得、受信または入力する目的地取得等手段と、
    前記取得等された現在位置に関する位置座標データと前記取得等された目的地に関する位置座標データとに基づいて、ユーザーの現在位置からユーザーが希望する目的地までの経路の情報(経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データを含む)を取得または受信する経路取得等手段と、
    ユーザーが希望する情報に関する文字列、図形または画像などから成るキー・データを取得、受信または入力するキー・データ取得等手段と、
    前記取得等された経路上に又は経路に沿って存在する場所もしくは地点に関する位置座標データと、前記実況映像取得等手段が位置する場所もしくは地点又は前記実況映像取得等手段が取得する実況映像の対象となる場所もしくは地点に関する位置座標データと、前記キー・データ取得等手段により取得等されたキー・データとに基づいて、前記実況映像取得等手段により取得等される複数の場所または地点の実況映像の中から、前記経路上に又は経路に沿って存在し且つ前記キー・データに適合する一つ又は複数の場所もしくは地点の実況映像を、特定、選択または抽出する実況映像特定等手段と、
    前記特定等された一つ又は複数の場所もしくは地点の実況映像を、ユーザー側の端末に送信または出力する実況映像送信等手段と、
    を備えたことを特徴とする実況映像提供システム。
JP2011096202A 1996-06-11 2011-04-22 実況映像を利用した現在位置確認システム Expired - Lifetime JP5231598B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011096202A JP5231598B2 (ja) 1996-06-11 2011-04-22 実況映像を利用した現在位置確認システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP08172930 1996-06-11
JP1996172930 1996-06-11
JP2011096202A JP5231598B2 (ja) 1996-06-11 2011-04-22 実況映像を利用した現在位置確認システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2007318841A Division JP4891209B2 (ja) 1996-06-11 2007-12-10 略リアルタイム実況映像提供システム

Publications (3)

Publication Number Publication Date
JP2011199876A JP2011199876A (ja) 2011-10-06
JP2011199876A5 JP2011199876A5 (ja) 2012-02-16
JP5231598B2 true JP5231598B2 (ja) 2013-07-10

Family

ID=15950995

Family Applications (3)

Application Number Title Priority Date Filing Date
JP11033557A Withdrawn JP2000193481A (ja) 1996-06-11 1999-02-12 実況映像を利用した現在位置確認システム
JP2007318841A Expired - Lifetime JP4891209B2 (ja) 1996-06-11 2007-12-10 略リアルタイム実況映像提供システム
JP2011096202A Expired - Lifetime JP5231598B2 (ja) 1996-06-11 2011-04-22 実況映像を利用した現在位置確認システム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP11033557A Withdrawn JP2000193481A (ja) 1996-06-11 1999-02-12 実況映像を利用した現在位置確認システム
JP2007318841A Expired - Lifetime JP4891209B2 (ja) 1996-06-11 2007-12-10 略リアルタイム実況映像提供システム

Country Status (1)

Country Link
JP (3) JP2000193481A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002262259A (ja) * 2001-03-01 2002-09-13 Pixela Corp 動画像リアルタイム配信システム
JP2003037836A (ja) * 2001-07-24 2003-02-07 Ntt Docomo Inc 画像配信方法、画像配信システム、コンピュータ読取可能な記録媒体及びコンピュータ・プログラム
FI119953B (fi) 2005-05-09 2009-05-15 Eija Lehmuskallio Menetelmä, järjestelmä ja palvelutuote kohteiden tunnistamiseksi
CN112164299B (zh) * 2020-10-14 2022-06-17 广州科技贸易职业学院 一种网络布线模拟教学装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3377100B2 (ja) * 1991-10-22 2003-02-17 パイオニア株式会社 ナビゲーション装置
JP3109758B2 (ja) * 1992-02-19 2000-11-20 富士写真フイルム株式会社 画像入力装置
JP3385624B2 (ja) * 1992-03-02 2003-03-10 松下電器産業株式会社 ナビゲーション装置
JPH06284330A (ja) * 1993-03-29 1994-10-07 Mitsubishi Electric Corp 地図情報連動監視カメラ制御装置
JPH07306054A (ja) * 1994-05-11 1995-11-21 Brother Ind Ltd ナビゲーションシステム
JP3232897B2 (ja) * 1994-08-22 2001-11-26 富士電機株式会社 河川巡回監視装置

Also Published As

Publication number Publication date
JP4891209B2 (ja) 2012-03-07
JP2000193481A (ja) 2000-07-14
JP2011199876A (ja) 2011-10-06
JP2008148320A (ja) 2008-06-26

Similar Documents

Publication Publication Date Title
US9292516B2 (en) Generation, organization and/or playing back of content based on incorporated parameter identifiers
JP5184217B2 (ja) 画像撮影装置、付加情報提供サーバ及び付加情報フィルタリングシステム
JPH11316769A (ja) バ―チャルトラベルシステム
JP7192923B2 (ja) 装置、方法、プログラム、システム
JP4323123B2 (ja) 関心のあるサイトを識別する携帯システム
JP4637889B2 (ja) 仮想空間放送装置
US20050192025A1 (en) Method and apparatus for an interactive tour-guide system
JP2010170518A (ja) 画像データベース形成方法、ナビゲーション方法、データベースシステム、ナビゲーション用モバイル装置、ナビゲーションシステムおよび画像データベースを形成するためのプログラム
JP2003227722A (ja) ナビゲーション装置
US20080034328A1 (en) Navigation Method
JP4591932B2 (ja) バーチャルトラベルなどのために使用するのに適した実況映像を視させる装置
US20150242767A1 (en) Aerial view, web-based trip planning techniques using geotagged video and images syncd to a map
JP5231598B2 (ja) 実況映像を利用した現在位置確認システム
JP6390992B1 (ja) ストリートビューワーシステム
JPH1066058A (ja) 実況映像提供システム
JP2003202235A (ja) 配信装置及び表示装置及び配信方法及び情報配信・表示方式
JP2013232238A (ja) 在宅旅行システム
JP2000035973A5 (ja)
JP2000035973A (ja) 遠隔匂い発生システム
JP2019091455A (ja) 情報処理システム、情報処理システムの制御方法、プログラム、及び記録媒体
JP4473216B2 (ja) 映像及び匂い提供システム
JP2005102236A (ja) 現在位置近傍映像の略リアルタイム提供システム
JP2008118691A (ja) 在宅旅行システム
JP2002223432A (ja) 在宅旅行システム
JP2018206396A (ja) ストリートビューワーシステム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110727

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111226

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121127

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160329

Year of fee payment: 3

S802 Written request for registration of partial abandonment of right

Free format text: JAPANESE INTERMEDIATE CODE: R311802

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term