JP4934922B2 - 情報処理装置および方法、記録媒体、並びにプログラム - Google Patents
情報処理装置および方法、記録媒体、並びにプログラム Download PDFInfo
- Publication number
- JP4934922B2 JP4934922B2 JP2001230351A JP2001230351A JP4934922B2 JP 4934922 B2 JP4934922 B2 JP 4934922B2 JP 2001230351 A JP2001230351 A JP 2001230351A JP 2001230351 A JP2001230351 A JP 2001230351A JP 4934922 B2 JP4934922 B2 JP 4934922B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- moving image
- importance
- unit
- bit rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介したデータの配信において、そのデータ中の重要度に応じて、効率よくデータを配信できるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ネットワークを介して様々なデータを配信する技術が一般に普及しつつある。
【０００３】
例えば、従来のカーナビゲーション装置は、目的地が入力されると、GPS（Global Positioning System）や、加速度センサにより求められる情報により現在位置を算出し、現在位置から目的地までのルートをCD（Compact Disc）や、DVD（Digital Versatile Disc）に予め記録された地図データから探索し、対応する地図データをCG（Computer Graphics）などにより表示していた。しかしながら、実際のルート表示においては、単に、地図上でルートを表示するだけでは、不案内な道を走行しているユーザには、正しい道を選択することができない事も多いため、ルート上の画像を表示させるようにするという要求がある。ところが、地図データと共に、ルート上の画像データをCDやDVDに記録させるには、そのデータ量が膨大であり、さらに、ルート上の状況は、例えば、街路樹などがあると、季節により葉の色や多さなどが変化するため、その状況に対応した画像データを記憶しておくにしても、データ量が膨大で、実際に扱えるデータ量には限界があるという問題があった。
【０００４】
そこで、この問題を解決すべく、特開２０００−３２３７４においては、このルート上の画像データを生成するデータ生成装置と、データ生成装置により生成された画像データをネットワークを介してサーバで管理し、必要に応じてカーナビゲーション装置としての端末装置に転送させて、表示させるようにすることが提案されている。
【０００５】
図１は、特開２０００−３２３７４において開示されている、ネットワークを利用した、カーナビゲーションシステムを示す図である。サーバ１は、複数の様々な地域に設置されたデータ生成装置２−１乃至２−ｎにより撮像された画像データを、地図上の位置に対応付けて記憶する。一方、各ユーザが自らが運転する自動車などに搭載されるカーナビゲーション装置としての端末装置３−１乃至３−ｎは、従来のカーナビゲーション装置のように、目的地が入力されると現在位置からのルートを探索し、対応する画像データをネットワーク４を介して、サーバ１より受信し、表示する。尚、以下の説明において、データ生成装置２−１乃至２−ｎ、または、端末装置３−１乃至３−ｎを個々に区別する必要がないとき、単にデータ生成装置２、または、端末装置３と称するものとする。また、その他の装置も同様とする。
【０００６】
制御部１３は、CPU（Central Processing Unit）、RAM（Random Access Memory）、および、ROM（Read Only Memory）より構成されるいわゆるマイクロコンピュータであり、ROMに予め記憶されたプログラムをRAMに展開させて実行し、バス１５を介して接続された画像検索部１１、通信部１２、および、記憶部１４を制御している。また、制御部１３は、通信部１２を制御して、データ生成装置２よりネットワーク４を介して送信されて画像データを位置情報と共に記憶部１４に記憶させる。さらに、制御部１３は、通信部１２よりネットワーク４を介して端末装置３より入力されたルート情報に基づいて、記憶部１４に記憶された画像データを検索し、検索した画像データを通信部１２を制御して、ネットワーク４を介して端末装置３に送信する。
【０００７】
図２は、データ生成装置２の構成を示している。
【０００８】
データ生成装置２は、例えば、自動車などに装着され、サーバ１の記憶部１４にルート画像データに使用される画像データを撮像して、サーバ１に送信するものである。
【０００９】
データ生成装置２の制御部３３は、CPU、RAM、および、ROMより構成されるいわゆるマクロコンピュータであり、データ生成装置２の全体の動作を制御している。撮像部３１は、制御部３３により制御され、例えば、CCD（Charge Coupled Device）などから構成されており、撮像した静止画像データを記憶部３４に出力し、記憶させると共に、内蔵するジャイロ３１ａによりその角速度を求めて制御部３３に出力する。GPS受信部３２は、図示せぬ複数の静止衛星より発せられている電波を受信して、地球上の緯度、および、経度の位置情報を測定し、制御部３３に出力する。制御部３３は、撮像部３１により撮像された画像データを、対応する角速度、並びに、緯度、および、経度を含めた位置情報と共に記憶部３４に記憶させる。また、制御部３３は、通信部３５を制御し、ネットワーク４を介して記憶部３４に記憶された画像データをサーバ１に送信する。
【００１０】
端末装置３は、ユーザが使用する自動車などに装備される、いわゆる、カーナビゲーション装置である。制御部５６は、CPU、RAM、および、ROMなどからなるいわゆるマイクロコンピュータであり、バス５８に接続された画像検索部５１、位置検出部５２、画像表示部５３、通信部５４、記憶部５５、および、入力部５７を制御している。
【００１１】
入力部５７より、例えば、目的地が入力されると、位置検出部５２により検出される現在位置に基づいて、記憶部５５に記憶された地図データから現在位置から目的地までの最短ルートを探索する。このとき、画像検索部５１は、記憶部５５に記憶された対応するルート上の画像データを検索し、検索できないとき、通信部５４が制御され、ネットワーク４を介して、サーバ１に対してルートの情報を送信し、画像データを要求する。また、通信部５４は、画像データをサーバ１より受信すると記憶部５５に記憶させる。このとき、画像検索部５１は、ルートに対応する画像データを読み出し、画像表示部５３に表示させる。
【００１２】
次に、サーバ１がデータ生成装置２２より送信されてくる画像データを記録する処理について説明する。データ生成部２の撮像部３１は、検索されるルート上の画像を撮像し、その画像データを記憶部３４に記憶させる。このとき、制御部３３は、ジャイロ３１ａから出力される角速度とGPS受信部３２より入力される位置情報を、撮像した画像データに対応して記憶部３４に記憶させる。さらに、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データを位置情報と対応付けて送信する。すなわち、図４で示すように、撮像部３１が位置情報ＡＡの位置で撮像した静止画像データのID（Identifier）をＸ、また、位置情報ＢＢの位置で撮像した静止画像データのIDをＹとするなどして記憶させる。
【００１３】
さらに、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データを図４で示したように、位置情報と共にサーバ１に送信させる。
【００１４】
サーバ１の制御部１３は通信部１２を制御して、ネットワーク４を介してデータ生成装置２より送信されてくる画像データを受信し、位置情報と共に、記憶部１４に記憶させる。
【００１５】
次に、端末装置３からのルート情報に基づいて、サーバ１が画像データを配信し、端末装置３が表示する処理について説明する。
【００１６】
端末装置３の入力部５７がユーザにより操作されて目的地が入力されると、制御部５６は、位置検出部５２に問い合わせて現在位置を認識し、記憶部５５に記憶された地図データに基づいて、現在位置から目的までのルートを探索する。画像検索部５１は、探索されたルート情報に基づいて、記憶部５５に記憶された画像データを検索し、記憶部５５に所望とする画像データが記憶されていなかった場合、制御部５６は、通信部５４を制御して、ルート情報をサーバ１に送信させ、対応する画像データを要求する。
【００１７】
サーバ１の制御部１３は、通信部１２を制御し、端末装置３からのルート情報と画像データを要求する信号を受信する。制御部１３は、画像検索部１１を制御して、端末装置３より送信されてきたルート情報に基づいて、記憶部１４に記憶された画像データを検索させる。このとき、画像検索部１１は、ルート情報に基づいて、図４で示すように位置情報に対応する静止画像データIDを検索し、対応する静止画像データを検索する。制御部１３は、通信部１２を制御して、画像検索部１１により検索された画像データをネットワーク４を介して端末装置３に送信する。
【００１８】
端末装置３の制御部５６は、通信部５４を制御してサーバ１からの画像データを受信し、記憶部５５に記憶させると共に、位置検出部５２より入力される位置情報に対応する画像データを、記憶部５５より読み出して、画像表示部５３に表示させる。
【００１９】
このような処理により、端末装置３は、サーバ１より探索されたルートに対応する画像データを取得し、表示させるようにすることができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、図１で示すようなサーバ１を用いるカーナビゲーションシステムの場合、ネットワーク（伝送媒体）４の伝送可能帯域や伝送トラフィックの混雑状態、端末装置３の性能等に関わらず、記憶部１４に記憶されていた画像データが配信されてしまうため、通信時間がかかりすぎてしまうばかりではなく、通信コストも増大させてしまうという課題があった。
【００２１】
また、端末装置３がある地点Ａから別の地点Ｂまでのルートに相当する画像データを要求した場合、サーバ１の記憶部１４に、要求されたルート情報に対応する画像データが必ずしも記憶されているとは限らないので、あらゆるルートの組み合わせに対応するためには、サーバ１の記憶部１４は全てのルートに対する膨大な量の画像データを記憶する事が可能な大容量のものを用意することになり、記憶装置のコストがかかってしまうという問題があった。
【００２２】
また、逆に、サーバ１の記憶部１４の記憶容量に限定された画像データのみでは、サーバ１が端末装置３に提供できるルートが限定されてしまうと言う問題があった。そこで、記憶部１４に記憶されている画像から選択を行うようにしたとして、もし地点Ａと地点Ｂを内包する画像が存在したとしても、前後に不要な範囲を含む画像が配信されてしまい、無駄な通信コストがかかってしまうという問題があった。
【００２３】
さらに、図１乃至図３で示すカーナビゲーションシステムでは、常に端末装置３からの要求に対して画像等のデータを選択して返信することしかできないため、多数の端末装置３へ同報配信したいという要求には応えられないという課題があった。
【００２４】
本発明はこのような状況に鑑みてなされたものであり、データをネットワークを介して効率よく配信できるようにするものである。
【００２５】
【課題を解決するための手段】
本発明の一側面の情報処理装置は、ルートガイド用の動画像データを記録する動画像データ記録手段と、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得手段と、前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定手段と、前記動画像データと前記重要度を記憶する記憶手段と、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化手段と、前記低ビットレート化手段により低ビットレート化された動画像データを他の情報処理装置に送信する送信手段とを備えることを特徴とする。
【００２６】
前記送信手段には、前記動画像データに加えて、さらに、前記重要度を他の情報処理装置に送信させるようにすることができる。
【００２７】
前記低ビットレート化手段には、前記重要度に基づいて、前記動画像データのフレームレートを変化させることにより動画像データを間引きして、間引きデータを生成する間引き手段をさらに設けるようにさせることができ、前記間引き手段により生成される間引きデータをもって、前記動画像データを低ビットレート化し、前記送信手段には、前記低ビットレート化された動画像データとして、前記間引きデータを前記他の情報処理装置に送信させるようにすることができる。
【００２８】
前記動画像データが、時間的に前後するフレーム間の予測関係を用いて符号化されていた場合、前記間引き手段には、前記重要度に基づいて、前記フレーム間の予測関係に影響しない範囲のフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成させるようにすることができる。
【００２９】
自らの移動速度を測定する移動速度測定手段をさらに設けるようにさせることができ、前記間引き手段には、前記重要度に加えて、前記移動速度に応じて、そのフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成させるようにすることができる。
【００３０】
前記重要度設定手段には、前記動画像データの画像に含まれる認識された対象物の数量に応じた重要度を設定させるようにすることができる。
【００３１】
前記重要度設定手段には、前記特徴量に応じて設定される無段階の設定値、または、所定の関数に、前記特徴量に応じた重みを付加した値を代入することにより求められる設定値を重要度として設定させるようにすることができる。
【００３７】
本発明の一側面の情報処理方法は、ルートガイド用の動画像データを記録する動画像データ記録ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定ステップと、動画像データと重要度を記憶する記憶ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化ステップと、前記低ビットレート化ステップの処理により低ビットレート化された動画像データを他の情報処理装置に送信する送信ステップとを含むことを特徴とする。
【００３８】
本発明の一側面の記録媒体のプログラムは、ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、動画像データと重要度の記憶を制御する記憶制御ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００３９】
本発明の一側面のプログラムは、ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、動画像データと重要度の記憶を制御する記憶制御ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。
【００５０】
本発明の一側面においては、ルートガイド用の動画像データが記録され、動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量が取得され、動画像データの特徴量に基づいて、前記ルートガイド上の重要度が設定され、動画像データと重要度が記憶され、前記重要度に応じて、動画像データのビットレートが低くされることで、前記動画像データが低ビットレート化され、低ビットレート化された動画像データが他の情報処理装置に送信される。
【００５２】
【発明の実施の形態】
図５は、本発明に係るカーナビゲーションシステムの一実施の形態の構成を示す図である。尚、図５以降の図面の説明においては、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００５３】
サーバ１０１は、上述のサーバ１と基本的には同様の処理を行うが、サーバ１０１は、出発地から目的地までのルート検索を行い、検索されたルートの動画像データを所定の方法で符号化し端末装置１０２に送信する。
【００５４】
制御部１１１は、CPU、RAM、および、ROMから構成された、いわゆるマイクロコンピュータであり、サーバ１０１の全体の動作を制御している。また、制御部１１１は、バス１１８を介して接続されたドライブ１００１に装着された磁気ディスク１０１１、光磁気ディスク１０１２、光ディスク１０１３、および、半導体メモリ１０１４に記録されたプログラムを読み込んで実行すると共に、必要に応じて、各種のデータなどを記録させる。符号化部１１２は、画像データを端末装置１０２に転送する際、転送しようとする画像データを所定の方式で符号化する。尚、符号化方法については、後述する。
【００５５】
画像認識部１１３は、データ生成装置２より送信されてくる画像データのうち、撮像された画像の特徴を示す情報を認識し、画像データの重要度を算出する。記憶部１１４は、いわゆるハードディスクドライブなどから構成されており、データ生成装置１０３より送信されてくる画像データ、および、ルート探索に必要な地図データなどを記録している。すなわち、複数のデータ生成装置２より送信されてくる動画像データが蓄積されていくに連れて、ルート上の動画像データのデータベースが構築されていくようになる。
【００５６】
通信部１１５は、いわゆるモデムなどから構成されており、電話回線網や無線通信網により構成されるネットワーク４を介して端末装置１０２、データ生成装置１０３、および、課金サーバ１０４と通信する。
【００５７】
データ処理部１１６は、ルート検索部１１６ａ、データ検索部１１６ｂ、および、出た変換部１１６ｃから構成され、各種のデータ処理を実行する。ルート検索部１１６ａは、端末装置１０２より入力された出発地と目的地の情報から、記憶部１１４に記憶された地図データに基づいて、最短となるルート情報を検索する。データ検索部１１６ｂは、ルート検索部１１６ａにより探索されたルート情報、または、端末装置３から送信されてきたルート情報に基づいて、そのルート上の動画像データを記憶部１１４に記憶された動画像データの中から検索し読み出す。データ変換部１１６ｃは、データ検索部１１６ｂにより検索された画像データを必要に応じて編集し、必要な動画像データに変換する。
【００５８】
認証課金部１１７は、ルート検索処理や、対応する画像データの送信に係る料金を端末装置１０２より送信されてくるIDに基づいて、ユーザを特定し、ネットワーク４を介して課金サーバ１０４に対して課金処理を実行する。課金処理は、課金サーバ１０４を介してユーザの指定口座からの引き落とし処理を実行するようにしてもよいし、例えば、プリペイドカードなどの図示せぬ読取装置を設けて、料金分のポイントを減算させていくようにしてもよいし、課金処理結果を蓄積し、例えば、1ヶ月に1回ユーザの指定口座から引き落とすようにしてもよい。
【００５９】
次に、図６を参照して、端末装置１０２の構成について説明する。端末装置１０２は、自動車に搭載された、いわゆる、カーナビゲーション装置である。
【００６０】
通信部１３１は、いわゆるモデムなどから構成されており、制御部１３５により制御され、サーバ１０１に対して出発地と目的地の情報を送信すると共に、サーバ１より送信されてくるルート情報と画像データを受信する。復号部１３２は、符号化された状態で受信され、記憶部１３４に一旦記憶された画像データを復号し、LCD（Liquid Crystal Display）などから構成された表示部１３３に出力して表示する。
【００６１】
記憶部１３４は、いわゆるハードディスクドライブなどから構成されており、制御部１３５に制御されて通信部１３１により受信された画像データを記憶したり、復号部１３２により復号された画像データを表示部１３３に出力し、表示させると共に、端末装置１０２自身を識別するIDの情報を記憶する。制御部１３５は、CPU、RAM、および、ROMより構成された、いわゆる、マイクロコンピュータであり、端末装置１０２の全体の動作を制御している。また、制御部１３５は、バス１３７を介して接続されているドライブ１１０１に装着された磁気ディスク１１１１、光磁気ディスク１１１２、光ディスク１１１３、および、半導体メモリ１１１４に記録されたプログラムを読み出して実行すると共に、適宜必要に応じてデータを書き込む。入力部１３６は、タブレットボタンやキーボードなどから構成されており、出発地や目的地を指定するときユーザにより操作される。
【００６２】
図７を参照して、データ生成装置１０３について説明する。
【００６３】
図７のデータ生成装置１０３は、図２のデータ生成装置２と基本的には、同一の構成となっている。異なるのは、撮像部３１に代えて、動画撮像部１２１が設けられている点である。動画撮像部１２１は、動画像を撮像して動画像データとして記憶部３４に出力し、位置情報と対応付けて記憶される。尚、この動画像撮像部１２１は、当然の事ながらモードを切り替える事により静止画像の撮像も可能である。
【００６４】
次に、図８のフローチャートを参照して、データ生成装置１０３より送信されてくる画像データを、サーバ１０１が蓄積する処理について説明する。
【００６５】
ステップＳ１において、データ生成装置１０３の撮像部１２１は、撮像した動画像の画像データを記憶部３４に記憶させる。ステップＳ２において、制御部３３は、ジャイロ３１ａとGPS受信機３２により取得される角速度、緯度、および、経度の情報より位置情報を生成し、動画像データに対応付けて記憶部３４に記憶させる。ステップＳ３において、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データをネットワーク４を介してサーバ１０１に送信させる。
【００６６】
ステップＳ１１において、サーバ１０１の制御部１１１は、通信部１１５を制御して、ネットワーク４を介して、データ生成装置１０３より送信されてくる画像データを受信し、記憶部１１４に記憶させる。
【００６７】
ステップＳ１２において、画像認識部１１３は、記憶部１１４に記憶された画像データに基づいて、重要度算出処理を実行する。
【００６８】
ここで、図９のフローチャートを参照して、画像認識部１１３の重要度算出処理について説明する。ステップＳ２１において、画像認識部１１３は、記憶部１１４に記憶された画像データを読み出して画像データの特徴量を抽出する。すなわち、画像データ中の特徴量とは、例えば、図１０で示すような画像の画像データに関しては、信号機があるので、丸型で、青、黄色、赤のものが３個並んでいることが検出されたとき、それらの情報を数値化して特徴量として抽出（算出）する。また、図１０の画像の場合、交差点でもあるので、直線で表される道がほぼ直角に交差しているといった情報も数値化して特徴量として抽出（算出）される。
【００６９】
ステップＳ２２において、画像認識部１１３は、抽出した特徴量を、予め記憶した特徴量と比較し、対象物を認識する。すなわち、図１０で示す画像のような場合、丸型のもので、かつ、青、黄色、赤が３個並んでいるという情報の特徴量から、予め記憶された特徴量と（それぞれ数値を）比較し、信号機が、目印としての対象物として撮像されている事を認識する。または、画像中の直線で表される道がほぼ直角に交差しているので、交差点が存在する事を認識する。
【００７０】
ステップＳ２３において、画像認識部１１３は、認識した対象物により重要度を算出する。例えば、図１０の場合、信号機と交差点が対象物として認識されることになるので、画像上の特徴が２個あるので、重要度を２と計算し、信号機、または、交差点のいずれか一方だけが認識された場合、重要度を１と計算し、さらに、対象物となるものが認識されなかった場合、重要度を０として計算する。この重要度の値は、これ以外の値を設定するようにしてもよい。
【００７１】
ステップＳ２４において、画像認識部１１３は、重要度が変更されたか否かを判定する。すなわち、動画像データの重要度は、デフォルトの状態で０として設定しており、目印となるような対象物がない動画像データが続くと、重要度は変更されないことになる。例えば、図１０で示すような画像が撮像された場合、信号機と交差点という目印となる対象物が存在するので、重要度は変更したものと判定され、その処理は、ステップＳ２５に進む。
【００７２】
ステップＳ２５において、画像認識部１１３は、画像データに対応する重要度を記録し、その処理を終了する。
【００７３】
ステップＳ２４において、重要度が変更されなかった場合、ステップＳ２５の処理はスキップされて、その処理は終了する。
【００７４】
このような処理により、画像データは、撮像された画像に応じて重要度が設定されることになるが、重要度は、地図データから設定するようにしてもよい。例えば、図１１（Ａ）で示すようなルート上の動画像データの場合、例えば、出発地（図中［Ａ］で示す）の付近である（図中［Ａ］で示す）位置Ｐ１乃至Ｐ２においては、図１１（Ｂ）で示すように、重要度が２に設定され、位置Ｐ３乃至Ｐ４においては、目印となる信号機Ｓの直前であるので重要度が１に設定される。図１１（Ａ）で示すように、位置Ｐ５乃至Ｐ６においては、もっとも大きな目印となる大きな道と交差する交差点の直前であるので、図１１（Ｂ）で示すように、重要度が最も高い３に設定される。図１１（Ａ）で示すように、位置Ｐ７乃至Ｐ８においては、目印となる建物Ｂがあるので、図１１（Ｂ）で示すように、重要度が２に設定される。図１１（Ａ）で示すように、位置Ｐ９乃至Ｐ１０においては、図１１目印となる曲がり角であるので、図１１（Ｂ）で示すように、重要度は２に設定される。図１１（Ａ）で示すように、位置Ｐ１１乃至Ｐ１２においては、目的地（図中［Ｂ］で示す）の付近であるので、図１１（Ｂ）で示すように、重要度は２に設定される。そして、図１１（Ａ）で示すように、それ以外の位置Ｐ２乃至Ｐ３，Ｐ４乃至Ｐ５，Ｐ６乃至Ｐ７，Ｐ８乃至Ｐ９、およびＰ１０乃至Ｐ１１においては、特に目印などがないので、図１１（Ｂ）で示すように、重要度は０として設定される。
【００７５】
このように、以上の例においては、特徴量の抽出として画像認識部１１３により画像として認識される形状や色などの特徴量に基づいて重要度を設定する例について説明してきたが、例えば、図１１で示すように、位置Ｐ５乃至Ｐ６の大きな交差点の直前位置や、位置Ｐ９乃至Ｐ１０の曲がり角については、記憶部１４に予め記憶された地図データに基づいて重要度を設定するようにしてもよい。また、重要度の設定値として、以上の例においては０乃至３の整数により設定していたが、設定値は無段階にしてもよいし、特徴量に重み付けを施し、関数により演算で求められるようにしてもよい。この他にも、地図上の情報として、駅、建物、標識、高速道路の出入口などの一般に地図上のランドマークとされるものに高い重要度を設定するようにしてもよい。
【００７６】
ここで、図８のフローチャートの説明に戻る。
【００７７】
ステップＳ１３において、制御部１１１は、抽出した重要度と対応する画像データと位置情報を記憶部１１４に記憶する。すなわち、制御部１１１は、動画像データ毎に動画像IDを設定し、その動画像データに位置情報、重要度、および、動画像データ上のアドレスが記憶される。例えば、図１２で示すように、動画像IDとして１が設定された動画像データには、その動画像データの撮像された位置を示す位置情報として「Ｐ１−Ｐ２」として、図１０の位置Ｐ１乃至Ｐ２に対応する画像データを示し、その重要度として２が設定されていることが示されている。さらに、アドレス情報として、動画像データの先頭フレームの番号が記録され、今の場合、アドレス情報としてフレーム番号Ａ１乃至Ａ２−１において、位置Ｐ１乃至Ｐ２の画像データが記録されており、フレーム番号Ａ２からそれ以降で、位置Ｐ２乃至Ｐ３の画像データが記録されているといった情報が記録されることになる。
【００７８】
以上のような処理によりサーバ１０１は、画像データを位置情報、および、重要度と対応付けて記憶する。サーバ１０１は、ネットワーク４を介して端末装置１０２より出発地と目的地の情報が入力されると、ルートを検索し、検索した画像データを端末装置１０２に送信する。
【００７９】
次に、図１３のフローチャートを参照して、端末装置１０２がサーバ１０１にルート画像データを要求し、サーバ１０１からルート画像データを送信して、表示させる処理について説明する。
【００８０】
ステップＳ３１において、入力部１３６が操作されて、出発地、および、目的地が入力される。今の場合、出発地は、入力部１３６により入力されているが、例えば、GPS受信部などからなる位置検出部５２により検出された緯度、および、経度の情報から求められる位置情報から出発地を求めるようにしてもよい。ステップＳ３２において、制御部１３５は、通信部１３１を制御して、出発地と目的地の情報と共に、端末装置１０２自身を識別するID（または、ユーザを識別するID）を、ネットワーク４を介してサーバ１に送信させる。
【００８１】
ステップＳ４１において、サーバ１０１の制御部１１１は、通信部１１５を制御して、端末装置１０２より送信されてくる出発地と目的地の情報、および、ＩＤを受信し記憶部１１４に記憶させる。ステップＳ４２において、制御部１１１は、ルート画像生成処理を実行させる。
【００８２】
ここで、図１４のフローチャートを参照して、ルート画像生成処理を説明する。
【００８３】
ステップＳ５１において、データ処理部１１６のルート検索部１１６ａは、端末装置１０２より受信した出発地と目的地の情報から、記憶部１１４に記憶された地図データに基づいて最短となるルートを探索し、データ検索部１１６ｂに供給する。
【００８４】
ステップＳ５２において、データ検索部１１６ｂは、探索されたルートに対応する動画像データを記憶部１１４に記憶された動画像データより検索する。より詳細には、制御部１１１は、探索されたルート上の位置情報と、図１２で示したように記憶されている画像データの位置情報を照合し、対応する動画像データをフレーム単位で検索し、データ変換部１１６ｃに出力する。
【００８５】
ステップＳ５３において、データ変換部１１６ｃは、入力された動画像データを編集する。より詳細には、例えば、図１５で示すように、出発地Ａと目的地Ｂが指定されていた場合、記憶部１１４に、出発地Ａから目的地Ｂまでのルートを内包する動画像データが検索されたとき、データ変換部１１６ｃは、必要とされる動画像データのみを抽出するようにして編集処理を実行する。すなわち、要求された動画像データは、図１６（Ａ），（Ｂ）で示すように、記憶部１１４に記憶された動画像データのうち、位置情報が出発地のＡに対応するアドレスｐＡから位置情報が目的地ＢまでのアドレスｐＢまでの動画像データである。そこで、この位置情報とアドレス情報に基づいて図１６（Ｃ）で示すように、必要な動画像データのフレームのみを抽出することにより編集処理を実行する。この処理により、元々必要とされる区間以外の動画像データを削除することができ、端末装置１０２に送信する動画像データのデータ量を小さくすることが可能となる。
【００８６】
また、図１７で示すように、出発地Ａから目的地Ｂまでの区間を内包した動画像データが存在せず、出発地Ａから、出発地Ａと目的地Ｂの間の位置Ｃまでの区間のルート画像データを内包する動画像データ（動画像ID-m）と、位置Ｃから目的地Ｂまでの区間を内包するルート画像データ（動画像ID-n）が、それぞれ別個に存在するとき、図１８で示すように、それぞれの区間の動画像データを抽出して、結合するように編集する事で出発地Ａから目的地Ｂまでの画像データを生成する事ができる。すなわち、データ変換部１１６ｃは、図１８（Ａ）で示すように、動画像データID-ｍより、位置情報Ａに対応するアドレスｐＡから位置情報Ｃに対応するアドレスｐＣの動画像データを、図１８（Ｂ）で示すように、動画像データID-ｎの動画像データより、位置情報Ｃに対応するアドレスｐＣ'から位置情報Ｂに対応するアドレスｐＢの画像データをそれぞれ抽出して、図１８（Ｃ）で示すようにそれらを結合することにより、所望とするルート画像データを生成する。
【００８７】
この処理により、元々必要とされる区間の動画像データが存在しないような場合でも、複数の動画像データより所望とする動画像データを組み合わせて生成する事ができる上、端末装置１０２に送信する画像データのデータ量を小さくすることが可能となる。
【００８８】
尚、以上の処理においては、２個の動画像データから所望とする動画像データを生成する例について説明してきたが、当然の事ながら、それ以上の個数の画像データから、必要な部分を抽出して結合し、所望の画像データを生成するようにしてもよい。
【００８９】
ここで、図１４のフローチャートの説明に戻る。
【００９０】
ステップＳ５４において、符号化部１１２は、データ処理部１１６のルート検索部１１６ａ、データ検索部１１６ｂ、および、データ変換部１１６ｃにより生成された画像データを重要度に応じて符号化し、ルート画像データを生成する。すなわち、より詳細には、符号化部１１２は、重要度に応じてフレームレートを変化させて、画像データを符号化する。例えば、図１９（Ａ），（Ｂ）で示すように、図１１で示した位置Ｐ４乃至Ｐ５の区間は、重要度が低くなっている。そこで、符号化部１１２は、図１９（Ｃ）で示すように、位置Ｐ４乃至Ｐ５の範囲の画像データ中のフレームＦ１乃至Ｆ１３のフレーム数を、図１９（Ｄ）で示すように、例えば、１／３に間引きして（２フレーム毎に１フレームを抽出して）、フレームＦ１，Ｆ４，Ｆ７，Ｆ１０，Ｆ１３のみを抽出し、それ以外のフレームＦ２，Ｆ３，Ｆ５，Ｆ６，Ｆ８，Ｆ９，Ｆ１１，Ｆ１２を削除する。一方、図２０（Ａ），（Ｂ）で示すように、図１１で示した位置Ｐ５乃至Ｐ６の区間は、重要度が高くなっているので、図２０（Ｃ）で示すように、フレームＦ３１乃至Ｆ３２の間の全てのフレームを間引くことなく、図２０（Ｄ）で示すように符号化する。
【００９１】
このような符号化処理を実行する事により、図２１（Ａ）（図１１に対応する）で示すようなルートに対応して編集された、図２１（Ｂ）で示すような画像データは、図１１（Ｂ）で示すような重要度に基づいて、図２１（Ｃ）で示すような画像データに符号化される。すなわち、重要度の高い位置Ｐ１乃至Ｐ２、Ｐ３乃至Ｐ４、Ｐ５乃至Ｐ６、Ｐ７乃至Ｐ８、Ｐ９乃至Ｐ１０、およびＰ１１乃至Ｐ１２の画像データ中のフレームは間引きされることなく符号化され、重要度の低い位置Ｐ２乃至Ｐ３、Ｐ４乃至Ｐ５、Ｐ６乃至Ｐ７、Ｐ８乃至Ｐ９、および、Ｐ１０乃至Ｐ１１の画像データ中のフレームは、１／３に間引き処理されて符号化される。結果として、編集された動画像データのルート表示に必要な情報を損なうことなくデータ量を小さくすることが可能となる。
【００９２】
ここで、図１３のフローチャートの説明に戻る。
【００９３】
ステップＳ４２において、ルート画像生成処理が実行された後、ステップＳ４３において、制御部１１１は、認証課金部１１３を制御して、端末装置１０２より送信されてきたIDに基づいて認証処理を実行し、ルート画像データの料金についての課金処理を、通信部１１５、および、ネットワーク４を介して課金サーバ１０４に対して実行する。尚、以下の説明においては、認証処理で特に問題が生じることなく、課金サーバ１０４に対して課金処理が実行できた場合について説明を進めるが、認証処理に問題があり、課金処理が実行できなかった場合、その処理は終了する。
【００９４】
ステップＳ４４において、制御部１１３は、通信部１１５を制御して生成したルート画像データを、ネットワーク４を介して端末装置１０２に送信する。
【００９５】
ステップＳ３３において、端末装置１０２の制御部１３５は、通信部１３１を制御してネットワーク４を介してサーバ１０１より送信されてくるルート画像データを受信し、復号部１３２に出力する。ステップＳ３４において、復号部１３２は、入力された符号化されたルート画像データを復号し、表示部１３３に表示させる。このとき、表示部１３３に表示されるルート画像は、図２０（Ｃ）で示すように、目印となるような目標物（信号、交差点、建物、または、曲がり角など）の付近の画像は、通常のフレーム数なので通常の再生速度で再生され、それ以外の特に道案内に必要な情報を多く含まない、重要度の低い画像は、フレームレートが低下されている分だけ、早送りされたような画像が表示されることになる。
【００９６】
以上のような処理により、ユーザは、これから目的地に向かおうとするときに、端末装置１０２の入力部１３６を操作して、目的地を入力し、サーバ１より目的地までのルート画像データを受信し、表示されたルート画像を見る事で、事前にルートと、そのルート上の目標物を効率よく確認することができる。また、転送されてくるルート画像データは、重要度に応じて、フレームレートを変えて符号化されて送信されてくるので、通信に要する時間とコストを小さくすることが可能となる。
【００９７】
尚、以上の例において、符号化方法は、MPEG（MPEG１，２，４を含む）や、Motion Jpegなどの動画像データを圧縮できる符号化方式であれば、何れの方法であってもよい。ただし、MPEGの場合、前後のフレームを参照し、予測処理を行って動画像を再生する必要があるため、図１９、および、図２０を参照して、説明したようにフレームを単純に所定間隔で間引くような処理を施すと復号画像が乱れてしまう恐れがある。そこで、MPEGのような場合、特願2000-178999、または、特願2000-179000で記載されているように、リピートピクチャと呼ばれているスプライシング用ビデオデータを挿入するなどして、前後のフレームの関係を破綻させないフレームを生成したのち、間引き処理を行う必要がある。
【００９８】
以上の例においては、サーバ１０１と端末装置１０２が1対１で処理を行う場合について説明してきたが、例えば、図２２で示すように、サーバ１０１から放送番組などに多重化させて、所定の目的地に向かうルート画像データを配信範囲Ａ１の範囲内の複数の端末装置１０２に送信（配信）させるようにしてもよい。
【００９９】
このとき、端末装置１０２は、配信範囲Ａ１内に入った場合にのみ、ルート画像データを受信することができるため、想定される目的地Ｐ１０１に向かうルートとしては、位置Ｐ１１１から目的地Ｐ１０１に向かうルート１、位置Ｐ１１２から目的地Ｐ１０１に向かうルート２、位置Ｐ１１３から目的地Ｐ１０１に向かうルート３、および、位置Ｐ１１４から目的地Ｐ１０１に向かうルート４の合計４個が想定されることになる。そこで、サーバ１０１は、これらの４個のルート画像データを合成して配信し、携帯端末１０２は、これらのルート画像データを受信して、表示するようにする。
【０１００】
そこで、図２３を参照して、ルート画像データを放送番組に多重化させて複数の端末装置１０２に配信するサーバ１０１の構成について説明する。図２２のサーバ１０１は、図５のサーバ１０１と基本的な構成は同じであるが、ビデオ信号符号化部１４１、オーディオ信号符号化部１４２、多重化部１４３、および、放送配信部１４４が新たに設けられている。
【０１０１】
ビデオ信号符号化部１４１、および、オーディオ信号符号化部１４２は、それぞれラジオ放送やテレビジョン放送用に入力されるビデオ信号、および、オーディオ信号を配信用に符号化し、多重化部１４３に出力する。多重化部１４３は、ビデオ信号符号化部１４１、および、オーディオ信号符号化部１４２より入力された符号化されたビデオ信号、および、オーディオ信号、並びに、ルート画像データを、時分割多重化して放送配信部１４４に出力する。放送配信部１４４は、アンテナなどからなる放送信号送信装置であり、多重化部１４３より入力されてくる多重化信号を配信データとして放送する。
【０１０２】
次に、図２４を参照して、ルート画像データが多重化された放送番組を受信する端末装置１０２について説明する。図２４の端末装置１０２は、図６の端末装置と基本的な構成は同じであるが、受信部１５１、多重化分離部１５２、ビデオ信号復号部１５３、オーディオ信号復号部１５４、および、スピーカ１５５が設けられている。
【０１０３】
受信部１５１は、図２３のサーバ１０１の放送配信部１４４より放送されてきた配信データを受信するアンテナである。多重化分離部１５２は、配信データに時分割多重化されている、ビデオ信号、オーディオ信号、および、ルート画像データをそれぞれ分離し、ビデオ信号をビデオ信号復号部１５３、オーディオ信号をオーディオ信号復号部１５４に、ルート画像データを記憶部１３４に出力する。
【０１０４】
ビデオ信号復号部１５３とオーディオ信号復号部１５４は、それぞれ入力された符号化されているビデオ信号とオーディオ信号を復号処理し、ビデオ信号を表示部１３３に表示させると共に、オーディオ信号をスピーカ１５５に出力する。
【０１０５】
次に、図２５のフローチャートを参照して、サーバ１０１の配信処理と端末装置１０２のルート表示処理について説明する。
【０１０６】
ステップＳ７１において、サーバ１０１のビデオ信号符号化部１４１とオーディオ信号符号化部１４２は、入力されたラジオ放送、または、テレビジョン放送用のビデオ信号とオーディオ信号を符号化して多重化部１４３に出力する。
【０１０７】
ステップＳ７２において、制御部１１１は、所定の出発地と目的地の情報を記憶部１１４に記憶させる。ステップＳ７３において、制御部１１１は、ルート画像生成処理を実行する。尚、ルート画像生成処理については、図１４のフローチャートの処理と同様であるので省略する。このとき、ルート画像データは、図２２で示したルート１乃至４のそれぞれについて生成されて、ステップＳ７４において、制御部１１１は、多重化部１４３を制御して生成したルート画像データ、符号化されたビデオ信号、および、オーディオ信号を多重化させて、放送配信部１４４に出力させる。ステップＳ７５において、制御部１１１は、放送配信部１４４を制御して、多重化部１４３により多重化された配信データを放送させる。
【０１０８】
ステップＳ９１において、端末装置１０２の制御部１３５は、受信部１５１を制御して配信データを受信させ、多重化分離部１５２に出力させる。ステップＳ９２において、多重化分離部１５２は、入力された配信データを多重化分離し、ルート画像データを記憶部１１４に、ビデオ信号をビデオ信号復号部１５３に、オーディオ信号をオーディオ信号復号部１５４にそれぞれ出力する。
【０１０９】
ステップＳ９３において、ビデオ信号復号器１５３は、ビデオ信号を復号して表示部１３３に出力し、オーディオ信号復号器１５４は、オーディオ信号を復号してスピーカ１５５より音声を出力させ、さらに、復号部１３２は、記憶部１３４に記憶されたルート画像データを復号して表示部１３３に出力する。
【０１１０】
すなわち、例えば、端末装置１０２が、図２２中の位置Ｐ１２１に存在していた場合、端末装置１０２は、サーバ１０１より配信されてくる配信データに多重化されているルート１乃至４のルート画像データを受信する。この状態で、入力部１３６が、ユーザにより操作されることにより、ルート１のルート画像データが選択されて表示部１３３に表示されることになる。
【０１１１】
また、端末装置１０２にGPS受信装置などを設けて、自らの位置が測定できるようにする事で、配信データのうち、必要とされるルート画像データを選択的に復号するようにしてもよい。すなわち、GPS受信装置などの位置計測装置により、図２２のような場合、端末装置１０２は自らの位置がP１２１に存在するので、ルート１のルート画像データが復号できればよい事になる。そこで、配信データのうち、ルート１のルート画像データのみを復号し、それ以外のルート２乃至４のルート画像データは、予め復号しないようにしてもよい。
【０１１２】
さらに、以上の例の場合、表示部１３３には、復号部１３２により復号されたルート画像データとビデオ信号復号部１５３より復号されたビデオ信号が入力されることになるが、いずれの画像も同時に表示できるように、２画面表示させるようにしてもよいし、入力部１３６からの信号により、いずれか一方の画面を表示するようにしてもよい。
【０１１３】
また、ステップＳ７２，Ｓ７３の処理は、配信範囲Ａ１内において、ルート１乃至４のルート画像生成処理は、同じ処理が繰り返されるだけなので、予めルート画像データを記憶部１１４に生成しておいて、繰り返し使用するようにしてもよい。
【０１１４】
このような処理により、例えば、ある店舗の宣伝番組を放送するような場合、その宣伝番組に店舗までのルート画像データを多重化して送信させるようにすることで、宣伝に興味を持ったユーザは、その店舗までのルート画像データを表示することができ、店舗までのルートを知ることが可能となるので、これまで、宣伝に興味はあったが、店舗の位置を自ら確認してまで行こうしなかったユーザでも、店舗までのルート画像を簡単に入手し、確認することができるので、店舗の宣伝効果を、より高めることが可能となる。
【０１１５】
これまでの例においては、データ生成装置２により生成された画像データに基づいて、サーバ１０１が画像データを蓄積し、蓄積した画像データからルート画像データを生成して、端末装置１０２に配信する例について説明してきたが、データ生成装置２によりルート画像データを生成し、直接端末装置１０２に送信するような構成としてもよい。
【０１１６】
そこで、図２６，図２７を参照してルート画像データを生成するデータ生成装置２０１が、直接ルート画像データを端末装置２０２に送信して、表示させる場合のデータ生成装置２０１と端末装置２０２の構成について説明する。
【０１１７】
データ生成装置２０１は、撮像部２１１、画像認識部２１２、符号化部２１３、記憶部２１４、通信部２１５、ジャイロ２１６、GPS受信部２１７、車両操作センサ２１８、制御部２１９、および、ドライブ１２０１が、バス２２０に接続されて設けられており、これらのうちデータ生成装置２０１の撮像部２１１、画像認識部２１２、符号化部２１３、記憶部２１４、通信部２１５、ジャイロ２１６、GPS受信部２１７、制御部２１９、および、ドライブ１２０１は、それぞれ、図２のデータ生成装置２に設けられた撮像部３１、図５のサーバ１０１に設けられた画像認識部１１３、符号化部１１２、記憶部２１４、通信部１１５、図２のデータ生成装置２に設けられたジャイロ３１ａ、GPS受信部３２、制御部１１１、および、ドライブ１００１に対応しており、同様の機能を有するものである。このため、それぞれの機能の説明は省略する。データ生成装置２０１に新たに設けられている車両操作センサ２１８は、例えば、自動車などの車両を操作するハンドルなどの舵角などを検出し、さらに、加速度計などから移動距離を求めて、自動車などの車両の移動距離や移動速度を求めるものである。従って、ジャイロ２１６、GPS受信部２１７、および、車両操作センサ２１８は、いずれも、位置の検出を目的とした装置であり、それら各々の情報、または、いずれかの装置からの情報を組み合わせる事により、画像データが生成された位置情報を取得するものである。
【０１１８】
端末装置２０２は、通信部２３１、復号部２３２、表示部２３３、記憶部２３４、制御部２３５、入力部２３６、GPS受信部２３７、および、ドライブ１３０１がそれぞれバス２３７に接続されて設けられており、それぞれが、図６の端末装置１０２の通信部１３１、復号部１３２、表示部１３３、記憶部１４４、制御部１３５、入力部１３６、図２６のGPS受信部２１７、および、図６のドライブ１１０１に対応しており、同様の機能を果たすものである。このため、それぞれの機能の説明は省略する。
【０１１９】
尚、データ生成装置２０１から端末装置２０２に直接ルート画像データを送信する場合、複数のデータ生成装置２０１のうちの何れのデータ生成装置２０１から所定の端末装置２０２にルート画像データを送信するかに関する指示と、課金処理はサーバ１０１により実行される。このため、所定の端末装置２０２は、サーバ１０１に対してルート画像データを要求し、サーバ１０１が、この要求に応じて、ルートを検索し、課金処理を行った後、検索されたルート上の最寄のデータ生成装置２０１に対して所定の端末装置２０２にルート画像データを送信するように指令する事になる。
【０１２０】
次に、図２８のフローチャートを参照して、データ生成装置２０１からルート画像データを端末装置２０２に送信するときのルート画像表示処理について説明する。
【０１２１】
ステップＳ１０１において、端末装置２０２の入力部２３６がユーザにより操作されて、出発地と目的地が入力される。当然の事ながら、出発地は、GPS受信部２３７により受信された情報から求められる位置情報に対応した出発地であってもよい。ステップＳ１０２において、制御部２３５は、通信部２３１を制御して、出発地と目的地の情報、および、自らのIDの情報をサーバ１０１に送信する。
【０１２２】
ステップＳ１１１において、サーバ１０１の制御部１１１は、通信部１１５を制御して端末装置２０２より送信されてきた出発地と目的地の情報、および、IDの情報を記憶部１１４に記憶させる。ステップＳ１１２において、制御部１１１は、課金処理部１１３を制御して、ルート画像データの料金の課金処理を実行させる。ステップＳ１１３において、制御部１１１は、記憶部１１４に記憶された出発地と目的地に基づいて、地図データと照合してルートを探索し、探索されたルート上のデータ生成装置２０１に対して、記憶されたIDに対応する端末装置２０２に対してルート画像データを送信するように指令する。
【０１２３】
ステップＳ１２１において、端末装置２０２の制御部２１９は、通信部２１５を制御して、サーバ１より送信されてきた指令を受信させる。ステップＳ１２２において、撮像部２１１は、撮像した画像データを記憶部２１４に記憶させる。ステップＳ１２３において、制御部２１９は、ジャイロ２１６、GPS受信部２１７、および、車両センサ２１８より位置情報を取得し、記憶部２１４に記憶させる。
【０１２４】
ステップＳ１２４において、データ生成装置２０１の制御部２１９は、重要度の算出処理を実行する。尚、この処理は、図９のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１２５】
ステップＳ１２５において、制御部２１９は、符号化部２１３を制御して重要度を照合させて、重要度と対応して動画像データを符号化させ、ルート画像データを生成する。ステップＳ１２６において、制御部２１９は、通信部２１５を制御して、生成したルート画像データをIDに対応する端末装置２０２に送信する。
【０１２６】
ここで、重要度に対応させて画像データを符号化させるとは、例えば、図１１（Ｂ）で示すように重要度が設定された場合、図２９（Ａ）で示すように、位置Ｐ４乃至Ｐ５においては、図２９（Ｂ）で示すように重要度が低いので、その間の符号化データは、図２９（Ｃ）で示すように、２フレーム毎に１フレームを抽出して符号化する。すなわち、図２９（Ｃ）で示すように、フレームＦ５１，Ｆ５４，Ｆ５７，Ｆ６０，Ｆ６３を抽出し、それ以外のフレームＦ５２，Ｆ５３，Ｆ５５，Ｆ５６，Ｆ５８，Ｆ５９，Ｆ６１，Ｆ６２は間引き処理して削除する。逆に、図３０（Ａ）で示すように、位置Ｐ５乃至Ｐ６においては、図３０（Ｂ）で示すように重要度が高いので、その間の符号化データは、図３０（Ｃ）で示すように、全フレームを抽出する。すなわち、図３０（Ｃ）で示すように、フレームＦ７１乃至Ｆ７２までの全てのフレームを抽出して符号化する。
【０１２７】
ステップＳ１０３において、端末装置２０２の制御部２３５は、データ生成装置２０１より送信されてくるルート画像データを受信させ、復号部２３２に出力させる。復号部２３２は、受信した符号化データを復号して表示部２３３に表示させる。
【０１２８】
このような処理により、ルート画像データをデータ生成装置２０１より直接端末装置２０２に送信させるようにする事ができる。また、重要度に応じてフレームレートを変化させることで通信速度を向上させることが可能になると共に、通信コストを低減させることが可能となる。さらには、低ビットレートでの送信が可能となるので、ネットワーク上で通信状態が込み合っているような状態でもルート画像データの転送が可能となる。
【０１２９】
尚、以上の例においては、データ生成装置２０１は、撮像した画像をリアルタイムで送信する場合について説明してきたが、例えば、予め撮像した画像データを記憶部２１４に一旦記憶しておいて、その記憶された画像データを、端末装置２０２に送信するようにしてもよい。
【０１３０】
以上の説明においては、重要度に応じたルート画像データのフレームレートの変換を符号化部２１３により符号化処理する際に行う例について説明してきたが、例えば、図２８のフローチャート中のステップＳ１２２において、撮像部２１１により撮像された画像データを記憶部２１４に記憶させる際にフレームレートを変換させるようにしてもよい。この場合、ステップＳ１２４における重要度算出処理は、撮像された画像データを記憶させる前に実行しておく必要がある。
【０１３１】
また、データ生成装置２０１の車両操作センサ２１８により計測される位置情報などから移動速度を求めて、撮像部２１１により撮像される画像データのフレームレートを変化させるようにしてもよい。すなわち、データ生成装置２０１は、図３１（Ａ）で示すように、移動速度ｖ１で移動する際、データ生成装置２０１ａの撮像部２１１で撮像する視野Ｖａは、移動時間Δｔで距離Ｄ１だけ移動してデータ生成装置２０１ｂの視野Ｖｂを撮像する。
【０１３２】
しかしながら、図３１（Ｂ）で示すように、移動速度ｖ２（例えば、ｖ２＝（ｖ１）／６）でデータ生成装置２０１ｃが移動する場合、移動時間Δｔでは、距離Ｄ２（例えば、Ｄ２＝（Ｄ１）／６）だけなので、データ生成装置２０１ｃの視野Ｖｃからデータ生成装置２０１ｄの視野Ｖｄまでの変化しか生じない。このため、距離Ｄ１までデータ生成装置２０１ｃが移動するまでの間に、移動時間２Δｔにおいて、データ生成装置２０１ｅの視野Ｖｅ、移動時間３Δｔにおいて、データ生成装置２０１ｆの視野Ｖｆ、移動時間４Δｔにおいて、データ生成装置２０１ｇの視野Ｖｇ、移動時間５Δｔにおいて、データ生成装置２０１ｈの視野Ｖｈがそれぞれ撮像される事になる。結果として、撮像される画像データは、速度が遅いほど冗長性が増加する事になる。そこで、図３２で示すように、移動速度に合わせて、フレームレートを変換させるようにする事で、画像データの冗長性を低減させて、フレームレートを低減させることができる。すなわち、データ生成装置２０１の移動速度がｖ１の場合、フレームレートがＲ１であるとすると、移動速度に比例して、移動速度がｖ２に低下した場合、比例してフレームレートをＲ１からＲ２に低減させるようにする事ができる。
【０１３３】
また、上述の重要度に対応した、または、移動速度に対応したフレームレートの変換処理は、端末装置２０２で実行させるようにしてもよく、この場合、重要度、または、データ生成装置２０１の移動速度の情報は、ルート画像データと共に端末装置２０２に送信されることになる。このとき、端末装置２０２は、復号部２３２が、重要度に対応した、または、移動速度に対応したフレームレートの変換処理を実行しながら復号処理するようにしてもよいし、表示部２３３がルート画像データを表示する際にフレームレートを変換するようにしてもよい。
【０１３４】
さらに、以上の例においては、ルート画像データについて説明してきたが、転送させるデータ画像データのみならずそれ以外のデータであってもよく、例えば、音声データやテキストデータなどであってもよい。この場合、音声データで、特に、音楽のとき、例えば、歌手の歌声が記録された部分を高い重要度に設定し（高いビットレートで変換し）、間奏部分を低い重要度に設定してもよい（高いビットレートで変換してもよい）。また、テキストデータのとき、例えば、論文などでは、概要部分や結論の部分に高い重要度を設定し、それ以外の重要度を低く設定するなどしてもよい。
【０１３５】
以上の説明において、動画像データを圧縮する方法は、フレームレートを変換する例について説明してきたが、動画像データを圧縮する方法は、これに限らず、例えば、画枠の変換、符号化方式の変換、または、復号した後、ビットレートやフレームレートを変えて再符号化するようにしてもよい。
【０１３６】
また、以上においては、課金処理において、ルート画像データの配信に係る料金がユーザの指定口座などから引き落とされたり、または、ポイントが引き去られていたが、例えば、ユーザがデータ生成装置２０１と端末装置２０２の両方を所有しているか、または、それらが一体となった装置を所有していたとき、データ生成装置２０１で撮像した画像データをサーバ１０１に送信する（アップロードする）ことで、ルート画像データに係る料金を、データ生成装置２０１から送信されてきた画像データの対価により相殺するようにしてもよい。
【０１３７】
以上によれば、端末装置２０２においても、ルート画像データを削減することができるので、データ生成装置２０１より送信されてくるルート画像データを受信しながら、または、表示しながらルート画像データのデータ量を削減することができ、通信コストと通信速度に加えて、表示速度を向上させることが可能となる。また、同じルート画像データを配信するだけで済むので、ルート画像データの生成処理を簡素化することが可能となる。
【０１３８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１３９】
この記録媒体は、図５，および、図２２に示すサーバ１０１、図６、および、図２３に示す端末装置１０２、図２５に示すデータ生成装置２０１、並びに、図２６で示す端末装置２０２のように、予め組み込まれた状態でユーザに提供される、プログラムが記録されている記憶部１１４，１３４，２１４、および２３４だけではなく、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１０１１，１１１１，１２１１、および１３１１（フレキシブルディスクを含む）、光ディスク１０１２，１１１２，１２１２、および１３１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１０１３，１１１３，１２１３、および１３１３（MD（Mini-Disc）（登録商標）を含む）、もしくは半導体メモリ１０１４，１１１４，１２１４、および１３１４（Memory Stickを含む）などよりなるパッケージメディアにより構成される。
【０１４０】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４１】
【発明の効果】
本発明の一側面によれば、ルートガイド用の動画像データを記録し、動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得し、動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定し、動画像データと重要度を記憶し、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化し、低ビットレート化された動画像データを他の情報処理装置に送信するようにした。
【０１４３】
結果として、データの端末装置に配信するためのデータ量が低減され、通信コストと通信速度を向上させることが可能となる。
【図面の簡単な説明】
【図１】従来のサーバの構成を説明する図である。
【図２】従来のデータ生成装置を説明する図である。
【図３】従来の端末装置を説明する図である。
【図４】従来の画像データの記録方法を説明する図である。
【図５】本発明を適用したサーバの一実施の形態の構成を説明する図である。
【図６】本発明を適用した端末装置の構成を説明する図である。
【図７】本発明を適用したデータ生成装置を説明する図である。
【図８】データ蓄積処理を説明する図である。
【図９】重要度算出処理を説明するフローチャートである。
【図１０】画像データの特徴量の検出を説明する図である。
【図１１】重要度を説明する図である。
【図１２】本発明の画像データの記録方法を説明する図である。
【図１３】ルート表示処理を説明するフローチャートである。
【図１４】ルート画像生成処理を説明するフローチャートである。
【図１５】ルート画像データを説明する図である。
【図１６】ルート画像データの編集を説明する図である。
【図１７】ルート画像データの編集を説明する図である。
【図１８】ルート画像データの編集を説明する図である。
【図１９】ルート画像データの重要度に応じた符号化を説明する図である。
【図２０】ルート画像データの重要度に応じた符号化を説明する図である。
【図２１】ルート画像データの重要度に応じた符号化を説明する図である。
【図２２】ルート画像データの配信を説明する図である。
【図２３】ルート画像データを配信するサーバの構成を説明する図である。
【図２４】配信されたルート画像データ受信する端末装置の構成を説明する図である。
【図２５】図２４のサーバのルート画像データの配信処理と、図２４の端末装置による配信されたルート画像データの表示処理を説明するフローチャートである。
【図２６】ルート画像データを送信するその他のデータ生成装置の構成を説明する図である。
【図２７】図２６のデータ生成装置より送信されてきたルート画像データ受信する端末装置の構成を説明する図である。
【図２８】図２４のサーバのルート画像データの配信処理と、図２４の端末装置による配信されたルート画像データの表示処理を説明するフローチャートである。
【図２９】ルート画像データの重要度に応じた符号化を説明する図である。
【図３０】ルート画像データの重要度に応じた符号化を説明する図である。
【図３１】ルート画像データのデータ生成装置の移動速度に応じた符号化を説明する図である。
【図３２】ルート画像データのデータ生成装置の移動速度に応じた符号化を説明する図である。
【符号の説明】
１ サーバ，２，２−１乃至２−ｎ データ生成装置，３ 端末装置，４ ネットワーク，１１ 画像検索部，１２ 通信部，１３ 制御部，１４ 記憶部，３１ 撮像部，３１ａ ジャイロ，３２ GPS受信部，３３ 制御部，３４ 記憶部，３５ 通信部，５１ 画像検索部，５２ 位置検索部，５３ 画像表示部，５４ 通信部，５５ 記憶部，５６ 入力部，１０１ サーバ，１０２，１０２−１乃至１０２−ｎ 端末装置，１０３ 課金サーバ，１１１ 制御部，１１２ 符号化部，１１３ 画像認識部，１１４ 記憶部，１１５ 通信部，１１６データ処理部，１１６ａ ルート検索部，１１６ｂ データ検索部，１１６ｃデータ変換部，１１７ 認証課金部，１３１ 通信部，１３２ 復号部，１３３ 表示部，１３４ 記憶部１４５ 制御部，１３６ 入力部，１４１ ビデオ符号化部，１４２ オーディオ符号化部，１４３ 多重化部，１４４ 放送配信部，１５１ 受信部，１５２ 多重化分離部，１５３ ビデオ信号復号部，１５４ オーディオ信号復号部，１５５ スピーカ，２０１ データ生成装置，２１１ 撮像部，２１２ 画像認識部，２１３ 符号化部，２１４ 記憶部，２１５通信部，２１６ ジャイロ，２１７ GPS受信部，２１８ 車両操作センサ，２１９ 制御部，２３１ 通信部，２３２ 復号部，２３３ 表示部，２３４ 記憶部，２３５ 制御部，２３６ 入力部，２３７ GPS受信部
【発明の属する技術分野】
本発明は、情報処理装置および方法、記録媒体、並びにプログラムに関し、特に、ネットワークを介したデータの配信において、そのデータ中の重要度に応じて、効率よくデータを配信できるようにした情報処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
ネットワークを介して様々なデータを配信する技術が一般に普及しつつある。
【０００３】
例えば、従来のカーナビゲーション装置は、目的地が入力されると、GPS（Global Positioning System）や、加速度センサにより求められる情報により現在位置を算出し、現在位置から目的地までのルートをCD（Compact Disc）や、DVD（Digital Versatile Disc）に予め記録された地図データから探索し、対応する地図データをCG（Computer Graphics）などにより表示していた。しかしながら、実際のルート表示においては、単に、地図上でルートを表示するだけでは、不案内な道を走行しているユーザには、正しい道を選択することができない事も多いため、ルート上の画像を表示させるようにするという要求がある。ところが、地図データと共に、ルート上の画像データをCDやDVDに記録させるには、そのデータ量が膨大であり、さらに、ルート上の状況は、例えば、街路樹などがあると、季節により葉の色や多さなどが変化するため、その状況に対応した画像データを記憶しておくにしても、データ量が膨大で、実際に扱えるデータ量には限界があるという問題があった。
【０００４】
そこで、この問題を解決すべく、特開２０００−３２３７４においては、このルート上の画像データを生成するデータ生成装置と、データ生成装置により生成された画像データをネットワークを介してサーバで管理し、必要に応じてカーナビゲーション装置としての端末装置に転送させて、表示させるようにすることが提案されている。
【０００５】
図１は、特開２０００−３２３７４において開示されている、ネットワークを利用した、カーナビゲーションシステムを示す図である。サーバ１は、複数の様々な地域に設置されたデータ生成装置２−１乃至２−ｎにより撮像された画像データを、地図上の位置に対応付けて記憶する。一方、各ユーザが自らが運転する自動車などに搭載されるカーナビゲーション装置としての端末装置３−１乃至３−ｎは、従来のカーナビゲーション装置のように、目的地が入力されると現在位置からのルートを探索し、対応する画像データをネットワーク４を介して、サーバ１より受信し、表示する。尚、以下の説明において、データ生成装置２−１乃至２−ｎ、または、端末装置３−１乃至３−ｎを個々に区別する必要がないとき、単にデータ生成装置２、または、端末装置３と称するものとする。また、その他の装置も同様とする。
【０００６】
制御部１３は、CPU（Central Processing Unit）、RAM（Random Access Memory）、および、ROM（Read Only Memory）より構成されるいわゆるマイクロコンピュータであり、ROMに予め記憶されたプログラムをRAMに展開させて実行し、バス１５を介して接続された画像検索部１１、通信部１２、および、記憶部１４を制御している。また、制御部１３は、通信部１２を制御して、データ生成装置２よりネットワーク４を介して送信されて画像データを位置情報と共に記憶部１４に記憶させる。さらに、制御部１３は、通信部１２よりネットワーク４を介して端末装置３より入力されたルート情報に基づいて、記憶部１４に記憶された画像データを検索し、検索した画像データを通信部１２を制御して、ネットワーク４を介して端末装置３に送信する。
【０００７】
図２は、データ生成装置２の構成を示している。
【０００８】
データ生成装置２は、例えば、自動車などに装着され、サーバ１の記憶部１４にルート画像データに使用される画像データを撮像して、サーバ１に送信するものである。
【０００９】
データ生成装置２の制御部３３は、CPU、RAM、および、ROMより構成されるいわゆるマクロコンピュータであり、データ生成装置２の全体の動作を制御している。撮像部３１は、制御部３３により制御され、例えば、CCD（Charge Coupled Device）などから構成されており、撮像した静止画像データを記憶部３４に出力し、記憶させると共に、内蔵するジャイロ３１ａによりその角速度を求めて制御部３３に出力する。GPS受信部３２は、図示せぬ複数の静止衛星より発せられている電波を受信して、地球上の緯度、および、経度の位置情報を測定し、制御部３３に出力する。制御部３３は、撮像部３１により撮像された画像データを、対応する角速度、並びに、緯度、および、経度を含めた位置情報と共に記憶部３４に記憶させる。また、制御部３３は、通信部３５を制御し、ネットワーク４を介して記憶部３４に記憶された画像データをサーバ１に送信する。
【００１０】
端末装置３は、ユーザが使用する自動車などに装備される、いわゆる、カーナビゲーション装置である。制御部５６は、CPU、RAM、および、ROMなどからなるいわゆるマイクロコンピュータであり、バス５８に接続された画像検索部５１、位置検出部５２、画像表示部５３、通信部５４、記憶部５５、および、入力部５７を制御している。
【００１１】
入力部５７より、例えば、目的地が入力されると、位置検出部５２により検出される現在位置に基づいて、記憶部５５に記憶された地図データから現在位置から目的地までの最短ルートを探索する。このとき、画像検索部５１は、記憶部５５に記憶された対応するルート上の画像データを検索し、検索できないとき、通信部５４が制御され、ネットワーク４を介して、サーバ１に対してルートの情報を送信し、画像データを要求する。また、通信部５４は、画像データをサーバ１より受信すると記憶部５５に記憶させる。このとき、画像検索部５１は、ルートに対応する画像データを読み出し、画像表示部５３に表示させる。
【００１２】
次に、サーバ１がデータ生成装置２２より送信されてくる画像データを記録する処理について説明する。データ生成部２の撮像部３１は、検索されるルート上の画像を撮像し、その画像データを記憶部３４に記憶させる。このとき、制御部３３は、ジャイロ３１ａから出力される角速度とGPS受信部３２より入力される位置情報を、撮像した画像データに対応して記憶部３４に記憶させる。さらに、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データを位置情報と対応付けて送信する。すなわち、図４で示すように、撮像部３１が位置情報ＡＡの位置で撮像した静止画像データのID（Identifier）をＸ、また、位置情報ＢＢの位置で撮像した静止画像データのIDをＹとするなどして記憶させる。
【００１３】
さらに、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データを図４で示したように、位置情報と共にサーバ１に送信させる。
【００１４】
サーバ１の制御部１３は通信部１２を制御して、ネットワーク４を介してデータ生成装置２より送信されてくる画像データを受信し、位置情報と共に、記憶部１４に記憶させる。
【００１５】
次に、端末装置３からのルート情報に基づいて、サーバ１が画像データを配信し、端末装置３が表示する処理について説明する。
【００１６】
端末装置３の入力部５７がユーザにより操作されて目的地が入力されると、制御部５６は、位置検出部５２に問い合わせて現在位置を認識し、記憶部５５に記憶された地図データに基づいて、現在位置から目的までのルートを探索する。画像検索部５１は、探索されたルート情報に基づいて、記憶部５５に記憶された画像データを検索し、記憶部５５に所望とする画像データが記憶されていなかった場合、制御部５６は、通信部５４を制御して、ルート情報をサーバ１に送信させ、対応する画像データを要求する。
【００１７】
サーバ１の制御部１３は、通信部１２を制御し、端末装置３からのルート情報と画像データを要求する信号を受信する。制御部１３は、画像検索部１１を制御して、端末装置３より送信されてきたルート情報に基づいて、記憶部１４に記憶された画像データを検索させる。このとき、画像検索部１１は、ルート情報に基づいて、図４で示すように位置情報に対応する静止画像データIDを検索し、対応する静止画像データを検索する。制御部１３は、通信部１２を制御して、画像検索部１１により検索された画像データをネットワーク４を介して端末装置３に送信する。
【００１８】
端末装置３の制御部５６は、通信部５４を制御してサーバ１からの画像データを受信し、記憶部５５に記憶させると共に、位置検出部５２より入力される位置情報に対応する画像データを、記憶部５５より読み出して、画像表示部５３に表示させる。
【００１９】
このような処理により、端末装置３は、サーバ１より探索されたルートに対応する画像データを取得し、表示させるようにすることができる。
【００２０】
【発明が解決しようとする課題】
しかしながら、図１で示すようなサーバ１を用いるカーナビゲーションシステムの場合、ネットワーク（伝送媒体）４の伝送可能帯域や伝送トラフィックの混雑状態、端末装置３の性能等に関わらず、記憶部１４に記憶されていた画像データが配信されてしまうため、通信時間がかかりすぎてしまうばかりではなく、通信コストも増大させてしまうという課題があった。
【００２１】
また、端末装置３がある地点Ａから別の地点Ｂまでのルートに相当する画像データを要求した場合、サーバ１の記憶部１４に、要求されたルート情報に対応する画像データが必ずしも記憶されているとは限らないので、あらゆるルートの組み合わせに対応するためには、サーバ１の記憶部１４は全てのルートに対する膨大な量の画像データを記憶する事が可能な大容量のものを用意することになり、記憶装置のコストがかかってしまうという問題があった。
【００２２】
また、逆に、サーバ１の記憶部１４の記憶容量に限定された画像データのみでは、サーバ１が端末装置３に提供できるルートが限定されてしまうと言う問題があった。そこで、記憶部１４に記憶されている画像から選択を行うようにしたとして、もし地点Ａと地点Ｂを内包する画像が存在したとしても、前後に不要な範囲を含む画像が配信されてしまい、無駄な通信コストがかかってしまうという問題があった。
【００２３】
さらに、図１乃至図３で示すカーナビゲーションシステムでは、常に端末装置３からの要求に対して画像等のデータを選択して返信することしかできないため、多数の端末装置３へ同報配信したいという要求には応えられないという課題があった。
【００２４】
本発明はこのような状況に鑑みてなされたものであり、データをネットワークを介して効率よく配信できるようにするものである。
【００２５】
【課題を解決するための手段】
本発明の一側面の情報処理装置は、ルートガイド用の動画像データを記録する動画像データ記録手段と、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得手段と、前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定手段と、前記動画像データと前記重要度を記憶する記憶手段と、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化手段と、前記低ビットレート化手段により低ビットレート化された動画像データを他の情報処理装置に送信する送信手段とを備えることを特徴とする。
【００２６】
前記送信手段には、前記動画像データに加えて、さらに、前記重要度を他の情報処理装置に送信させるようにすることができる。
【００２７】
前記低ビットレート化手段には、前記重要度に基づいて、前記動画像データのフレームレートを変化させることにより動画像データを間引きして、間引きデータを生成する間引き手段をさらに設けるようにさせることができ、前記間引き手段により生成される間引きデータをもって、前記動画像データを低ビットレート化し、前記送信手段には、前記低ビットレート化された動画像データとして、前記間引きデータを前記他の情報処理装置に送信させるようにすることができる。
【００２８】
前記動画像データが、時間的に前後するフレーム間の予測関係を用いて符号化されていた場合、前記間引き手段には、前記重要度に基づいて、前記フレーム間の予測関係に影響しない範囲のフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成させるようにすることができる。
【００２９】
自らの移動速度を測定する移動速度測定手段をさらに設けるようにさせることができ、前記間引き手段には、前記重要度に加えて、前記移動速度に応じて、そのフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成させるようにすることができる。
【００３０】
前記重要度設定手段には、前記動画像データの画像に含まれる認識された対象物の数量に応じた重要度を設定させるようにすることができる。
【００３１】
前記重要度設定手段には、前記特徴量に応じて設定される無段階の設定値、または、所定の関数に、前記特徴量に応じた重みを付加した値を代入することにより求められる設定値を重要度として設定させるようにすることができる。
【００３７】
本発明の一側面の情報処理方法は、ルートガイド用の動画像データを記録する動画像データ記録ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定ステップと、動画像データと重要度を記憶する記憶ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化ステップと、前記低ビットレート化ステップの処理により低ビットレート化された動画像データを他の情報処理装置に送信する送信ステップとを含むことを特徴とする。
【００３８】
本発明の一側面の記録媒体のプログラムは、ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、動画像データと重要度の記憶を制御する記憶制御ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップとを含むことを特徴とする。
【００３９】
本発明の一側面のプログラムは、ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、動画像データと重要度の記憶を制御する記憶制御ステップと、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップとをコンピュータに実行させることを特徴とする。
【００５０】
本発明の一側面においては、ルートガイド用の動画像データが記録され、動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量が取得され、動画像データの特徴量に基づいて、前記ルートガイド上の重要度が設定され、動画像データと重要度が記憶され、前記重要度に応じて、動画像データのビットレートが低くされることで、前記動画像データが低ビットレート化され、低ビットレート化された動画像データが他の情報処理装置に送信される。
【００５２】
【発明の実施の形態】
図５は、本発明に係るカーナビゲーションシステムの一実施の形態の構成を示す図である。尚、図５以降の図面の説明においては、従来の場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【００５３】
サーバ１０１は、上述のサーバ１と基本的には同様の処理を行うが、サーバ１０１は、出発地から目的地までのルート検索を行い、検索されたルートの動画像データを所定の方法で符号化し端末装置１０２に送信する。
【００５４】
制御部１１１は、CPU、RAM、および、ROMから構成された、いわゆるマイクロコンピュータであり、サーバ１０１の全体の動作を制御している。また、制御部１１１は、バス１１８を介して接続されたドライブ１００１に装着された磁気ディスク１０１１、光磁気ディスク１０１２、光ディスク１０１３、および、半導体メモリ１０１４に記録されたプログラムを読み込んで実行すると共に、必要に応じて、各種のデータなどを記録させる。符号化部１１２は、画像データを端末装置１０２に転送する際、転送しようとする画像データを所定の方式で符号化する。尚、符号化方法については、後述する。
【００５５】
画像認識部１１３は、データ生成装置２より送信されてくる画像データのうち、撮像された画像の特徴を示す情報を認識し、画像データの重要度を算出する。記憶部１１４は、いわゆるハードディスクドライブなどから構成されており、データ生成装置１０３より送信されてくる画像データ、および、ルート探索に必要な地図データなどを記録している。すなわち、複数のデータ生成装置２より送信されてくる動画像データが蓄積されていくに連れて、ルート上の動画像データのデータベースが構築されていくようになる。
【００５６】
通信部１１５は、いわゆるモデムなどから構成されており、電話回線網や無線通信網により構成されるネットワーク４を介して端末装置１０２、データ生成装置１０３、および、課金サーバ１０４と通信する。
【００５７】
データ処理部１１６は、ルート検索部１１６ａ、データ検索部１１６ｂ、および、出た変換部１１６ｃから構成され、各種のデータ処理を実行する。ルート検索部１１６ａは、端末装置１０２より入力された出発地と目的地の情報から、記憶部１１４に記憶された地図データに基づいて、最短となるルート情報を検索する。データ検索部１１６ｂは、ルート検索部１１６ａにより探索されたルート情報、または、端末装置３から送信されてきたルート情報に基づいて、そのルート上の動画像データを記憶部１１４に記憶された動画像データの中から検索し読み出す。データ変換部１１６ｃは、データ検索部１１６ｂにより検索された画像データを必要に応じて編集し、必要な動画像データに変換する。
【００５８】
認証課金部１１７は、ルート検索処理や、対応する画像データの送信に係る料金を端末装置１０２より送信されてくるIDに基づいて、ユーザを特定し、ネットワーク４を介して課金サーバ１０４に対して課金処理を実行する。課金処理は、課金サーバ１０４を介してユーザの指定口座からの引き落とし処理を実行するようにしてもよいし、例えば、プリペイドカードなどの図示せぬ読取装置を設けて、料金分のポイントを減算させていくようにしてもよいし、課金処理結果を蓄積し、例えば、1ヶ月に1回ユーザの指定口座から引き落とすようにしてもよい。
【００５９】
次に、図６を参照して、端末装置１０２の構成について説明する。端末装置１０２は、自動車に搭載された、いわゆる、カーナビゲーション装置である。
【００６０】
通信部１３１は、いわゆるモデムなどから構成されており、制御部１３５により制御され、サーバ１０１に対して出発地と目的地の情報を送信すると共に、サーバ１より送信されてくるルート情報と画像データを受信する。復号部１３２は、符号化された状態で受信され、記憶部１３４に一旦記憶された画像データを復号し、LCD（Liquid Crystal Display）などから構成された表示部１３３に出力して表示する。
【００６１】
記憶部１３４は、いわゆるハードディスクドライブなどから構成されており、制御部１３５に制御されて通信部１３１により受信された画像データを記憶したり、復号部１３２により復号された画像データを表示部１３３に出力し、表示させると共に、端末装置１０２自身を識別するIDの情報を記憶する。制御部１３５は、CPU、RAM、および、ROMより構成された、いわゆる、マイクロコンピュータであり、端末装置１０２の全体の動作を制御している。また、制御部１３５は、バス１３７を介して接続されているドライブ１１０１に装着された磁気ディスク１１１１、光磁気ディスク１１１２、光ディスク１１１３、および、半導体メモリ１１１４に記録されたプログラムを読み出して実行すると共に、適宜必要に応じてデータを書き込む。入力部１３６は、タブレットボタンやキーボードなどから構成されており、出発地や目的地を指定するときユーザにより操作される。
【００６２】
図７を参照して、データ生成装置１０３について説明する。
【００６３】
図７のデータ生成装置１０３は、図２のデータ生成装置２と基本的には、同一の構成となっている。異なるのは、撮像部３１に代えて、動画撮像部１２１が設けられている点である。動画撮像部１２１は、動画像を撮像して動画像データとして記憶部３４に出力し、位置情報と対応付けて記憶される。尚、この動画像撮像部１２１は、当然の事ながらモードを切り替える事により静止画像の撮像も可能である。
【００６４】
次に、図８のフローチャートを参照して、データ生成装置１０３より送信されてくる画像データを、サーバ１０１が蓄積する処理について説明する。
【００６５】
ステップＳ１において、データ生成装置１０３の撮像部１２１は、撮像した動画像の画像データを記憶部３４に記憶させる。ステップＳ２において、制御部３３は、ジャイロ３１ａとGPS受信機３２により取得される角速度、緯度、および、経度の情報より位置情報を生成し、動画像データに対応付けて記憶部３４に記憶させる。ステップＳ３において、制御部３３は、通信部３５を制御して、記憶部３４に記憶された画像データをネットワーク４を介してサーバ１０１に送信させる。
【００６６】
ステップＳ１１において、サーバ１０１の制御部１１１は、通信部１１５を制御して、ネットワーク４を介して、データ生成装置１０３より送信されてくる画像データを受信し、記憶部１１４に記憶させる。
【００６７】
ステップＳ１２において、画像認識部１１３は、記憶部１１４に記憶された画像データに基づいて、重要度算出処理を実行する。
【００６８】
ここで、図９のフローチャートを参照して、画像認識部１１３の重要度算出処理について説明する。ステップＳ２１において、画像認識部１１３は、記憶部１１４に記憶された画像データを読み出して画像データの特徴量を抽出する。すなわち、画像データ中の特徴量とは、例えば、図１０で示すような画像の画像データに関しては、信号機があるので、丸型で、青、黄色、赤のものが３個並んでいることが検出されたとき、それらの情報を数値化して特徴量として抽出（算出）する。また、図１０の画像の場合、交差点でもあるので、直線で表される道がほぼ直角に交差しているといった情報も数値化して特徴量として抽出（算出）される。
【００６９】
ステップＳ２２において、画像認識部１１３は、抽出した特徴量を、予め記憶した特徴量と比較し、対象物を認識する。すなわち、図１０で示す画像のような場合、丸型のもので、かつ、青、黄色、赤が３個並んでいるという情報の特徴量から、予め記憶された特徴量と（それぞれ数値を）比較し、信号機が、目印としての対象物として撮像されている事を認識する。または、画像中の直線で表される道がほぼ直角に交差しているので、交差点が存在する事を認識する。
【００７０】
ステップＳ２３において、画像認識部１１３は、認識した対象物により重要度を算出する。例えば、図１０の場合、信号機と交差点が対象物として認識されることになるので、画像上の特徴が２個あるので、重要度を２と計算し、信号機、または、交差点のいずれか一方だけが認識された場合、重要度を１と計算し、さらに、対象物となるものが認識されなかった場合、重要度を０として計算する。この重要度の値は、これ以外の値を設定するようにしてもよい。
【００７１】
ステップＳ２４において、画像認識部１１３は、重要度が変更されたか否かを判定する。すなわち、動画像データの重要度は、デフォルトの状態で０として設定しており、目印となるような対象物がない動画像データが続くと、重要度は変更されないことになる。例えば、図１０で示すような画像が撮像された場合、信号機と交差点という目印となる対象物が存在するので、重要度は変更したものと判定され、その処理は、ステップＳ２５に進む。
【００７２】
ステップＳ２５において、画像認識部１１３は、画像データに対応する重要度を記録し、その処理を終了する。
【００７３】
ステップＳ２４において、重要度が変更されなかった場合、ステップＳ２５の処理はスキップされて、その処理は終了する。
【００７４】
このような処理により、画像データは、撮像された画像に応じて重要度が設定されることになるが、重要度は、地図データから設定するようにしてもよい。例えば、図１１（Ａ）で示すようなルート上の動画像データの場合、例えば、出発地（図中［Ａ］で示す）の付近である（図中［Ａ］で示す）位置Ｐ１乃至Ｐ２においては、図１１（Ｂ）で示すように、重要度が２に設定され、位置Ｐ３乃至Ｐ４においては、目印となる信号機Ｓの直前であるので重要度が１に設定される。図１１（Ａ）で示すように、位置Ｐ５乃至Ｐ６においては、もっとも大きな目印となる大きな道と交差する交差点の直前であるので、図１１（Ｂ）で示すように、重要度が最も高い３に設定される。図１１（Ａ）で示すように、位置Ｐ７乃至Ｐ８においては、目印となる建物Ｂがあるので、図１１（Ｂ）で示すように、重要度が２に設定される。図１１（Ａ）で示すように、位置Ｐ９乃至Ｐ１０においては、図１１目印となる曲がり角であるので、図１１（Ｂ）で示すように、重要度は２に設定される。図１１（Ａ）で示すように、位置Ｐ１１乃至Ｐ１２においては、目的地（図中［Ｂ］で示す）の付近であるので、図１１（Ｂ）で示すように、重要度は２に設定される。そして、図１１（Ａ）で示すように、それ以外の位置Ｐ２乃至Ｐ３，Ｐ４乃至Ｐ５，Ｐ６乃至Ｐ７，Ｐ８乃至Ｐ９、およびＰ１０乃至Ｐ１１においては、特に目印などがないので、図１１（Ｂ）で示すように、重要度は０として設定される。
【００７５】
このように、以上の例においては、特徴量の抽出として画像認識部１１３により画像として認識される形状や色などの特徴量に基づいて重要度を設定する例について説明してきたが、例えば、図１１で示すように、位置Ｐ５乃至Ｐ６の大きな交差点の直前位置や、位置Ｐ９乃至Ｐ１０の曲がり角については、記憶部１４に予め記憶された地図データに基づいて重要度を設定するようにしてもよい。また、重要度の設定値として、以上の例においては０乃至３の整数により設定していたが、設定値は無段階にしてもよいし、特徴量に重み付けを施し、関数により演算で求められるようにしてもよい。この他にも、地図上の情報として、駅、建物、標識、高速道路の出入口などの一般に地図上のランドマークとされるものに高い重要度を設定するようにしてもよい。
【００７６】
ここで、図８のフローチャートの説明に戻る。
【００７７】
ステップＳ１３において、制御部１１１は、抽出した重要度と対応する画像データと位置情報を記憶部１１４に記憶する。すなわち、制御部１１１は、動画像データ毎に動画像IDを設定し、その動画像データに位置情報、重要度、および、動画像データ上のアドレスが記憶される。例えば、図１２で示すように、動画像IDとして１が設定された動画像データには、その動画像データの撮像された位置を示す位置情報として「Ｐ１−Ｐ２」として、図１０の位置Ｐ１乃至Ｐ２に対応する画像データを示し、その重要度として２が設定されていることが示されている。さらに、アドレス情報として、動画像データの先頭フレームの番号が記録され、今の場合、アドレス情報としてフレーム番号Ａ１乃至Ａ２−１において、位置Ｐ１乃至Ｐ２の画像データが記録されており、フレーム番号Ａ２からそれ以降で、位置Ｐ２乃至Ｐ３の画像データが記録されているといった情報が記録されることになる。
【００７８】
以上のような処理によりサーバ１０１は、画像データを位置情報、および、重要度と対応付けて記憶する。サーバ１０１は、ネットワーク４を介して端末装置１０２より出発地と目的地の情報が入力されると、ルートを検索し、検索した画像データを端末装置１０２に送信する。
【００７９】
次に、図１３のフローチャートを参照して、端末装置１０２がサーバ１０１にルート画像データを要求し、サーバ１０１からルート画像データを送信して、表示させる処理について説明する。
【００８０】
ステップＳ３１において、入力部１３６が操作されて、出発地、および、目的地が入力される。今の場合、出発地は、入力部１３６により入力されているが、例えば、GPS受信部などからなる位置検出部５２により検出された緯度、および、経度の情報から求められる位置情報から出発地を求めるようにしてもよい。ステップＳ３２において、制御部１３５は、通信部１３１を制御して、出発地と目的地の情報と共に、端末装置１０２自身を識別するID（または、ユーザを識別するID）を、ネットワーク４を介してサーバ１に送信させる。
【００８１】
ステップＳ４１において、サーバ１０１の制御部１１１は、通信部１１５を制御して、端末装置１０２より送信されてくる出発地と目的地の情報、および、ＩＤを受信し記憶部１１４に記憶させる。ステップＳ４２において、制御部１１１は、ルート画像生成処理を実行させる。
【００８２】
ここで、図１４のフローチャートを参照して、ルート画像生成処理を説明する。
【００８３】
ステップＳ５１において、データ処理部１１６のルート検索部１１６ａは、端末装置１０２より受信した出発地と目的地の情報から、記憶部１１４に記憶された地図データに基づいて最短となるルートを探索し、データ検索部１１６ｂに供給する。
【００８４】
ステップＳ５２において、データ検索部１１６ｂは、探索されたルートに対応する動画像データを記憶部１１４に記憶された動画像データより検索する。より詳細には、制御部１１１は、探索されたルート上の位置情報と、図１２で示したように記憶されている画像データの位置情報を照合し、対応する動画像データをフレーム単位で検索し、データ変換部１１６ｃに出力する。
【００８５】
ステップＳ５３において、データ変換部１１６ｃは、入力された動画像データを編集する。より詳細には、例えば、図１５で示すように、出発地Ａと目的地Ｂが指定されていた場合、記憶部１１４に、出発地Ａから目的地Ｂまでのルートを内包する動画像データが検索されたとき、データ変換部１１６ｃは、必要とされる動画像データのみを抽出するようにして編集処理を実行する。すなわち、要求された動画像データは、図１６（Ａ），（Ｂ）で示すように、記憶部１１４に記憶された動画像データのうち、位置情報が出発地のＡに対応するアドレスｐＡから位置情報が目的地ＢまでのアドレスｐＢまでの動画像データである。そこで、この位置情報とアドレス情報に基づいて図１６（Ｃ）で示すように、必要な動画像データのフレームのみを抽出することにより編集処理を実行する。この処理により、元々必要とされる区間以外の動画像データを削除することができ、端末装置１０２に送信する動画像データのデータ量を小さくすることが可能となる。
【００８６】
また、図１７で示すように、出発地Ａから目的地Ｂまでの区間を内包した動画像データが存在せず、出発地Ａから、出発地Ａと目的地Ｂの間の位置Ｃまでの区間のルート画像データを内包する動画像データ（動画像ID-m）と、位置Ｃから目的地Ｂまでの区間を内包するルート画像データ（動画像ID-n）が、それぞれ別個に存在するとき、図１８で示すように、それぞれの区間の動画像データを抽出して、結合するように編集する事で出発地Ａから目的地Ｂまでの画像データを生成する事ができる。すなわち、データ変換部１１６ｃは、図１８（Ａ）で示すように、動画像データID-ｍより、位置情報Ａに対応するアドレスｐＡから位置情報Ｃに対応するアドレスｐＣの動画像データを、図１８（Ｂ）で示すように、動画像データID-ｎの動画像データより、位置情報Ｃに対応するアドレスｐＣ'から位置情報Ｂに対応するアドレスｐＢの画像データをそれぞれ抽出して、図１８（Ｃ）で示すようにそれらを結合することにより、所望とするルート画像データを生成する。
【００８７】
この処理により、元々必要とされる区間の動画像データが存在しないような場合でも、複数の動画像データより所望とする動画像データを組み合わせて生成する事ができる上、端末装置１０２に送信する画像データのデータ量を小さくすることが可能となる。
【００８８】
尚、以上の処理においては、２個の動画像データから所望とする動画像データを生成する例について説明してきたが、当然の事ながら、それ以上の個数の画像データから、必要な部分を抽出して結合し、所望の画像データを生成するようにしてもよい。
【００８９】
ここで、図１４のフローチャートの説明に戻る。
【００９０】
ステップＳ５４において、符号化部１１２は、データ処理部１１６のルート検索部１１６ａ、データ検索部１１６ｂ、および、データ変換部１１６ｃにより生成された画像データを重要度に応じて符号化し、ルート画像データを生成する。すなわち、より詳細には、符号化部１１２は、重要度に応じてフレームレートを変化させて、画像データを符号化する。例えば、図１９（Ａ），（Ｂ）で示すように、図１１で示した位置Ｐ４乃至Ｐ５の区間は、重要度が低くなっている。そこで、符号化部１１２は、図１９（Ｃ）で示すように、位置Ｐ４乃至Ｐ５の範囲の画像データ中のフレームＦ１乃至Ｆ１３のフレーム数を、図１９（Ｄ）で示すように、例えば、１／３に間引きして（２フレーム毎に１フレームを抽出して）、フレームＦ１，Ｆ４，Ｆ７，Ｆ１０，Ｆ１３のみを抽出し、それ以外のフレームＦ２，Ｆ３，Ｆ５，Ｆ６，Ｆ８，Ｆ９，Ｆ１１，Ｆ１２を削除する。一方、図２０（Ａ），（Ｂ）で示すように、図１１で示した位置Ｐ５乃至Ｐ６の区間は、重要度が高くなっているので、図２０（Ｃ）で示すように、フレームＦ３１乃至Ｆ３２の間の全てのフレームを間引くことなく、図２０（Ｄ）で示すように符号化する。
【００９１】
このような符号化処理を実行する事により、図２１（Ａ）（図１１に対応する）で示すようなルートに対応して編集された、図２１（Ｂ）で示すような画像データは、図１１（Ｂ）で示すような重要度に基づいて、図２１（Ｃ）で示すような画像データに符号化される。すなわち、重要度の高い位置Ｐ１乃至Ｐ２、Ｐ３乃至Ｐ４、Ｐ５乃至Ｐ６、Ｐ７乃至Ｐ８、Ｐ９乃至Ｐ１０、およびＰ１１乃至Ｐ１２の画像データ中のフレームは間引きされることなく符号化され、重要度の低い位置Ｐ２乃至Ｐ３、Ｐ４乃至Ｐ５、Ｐ６乃至Ｐ７、Ｐ８乃至Ｐ９、および、Ｐ１０乃至Ｐ１１の画像データ中のフレームは、１／３に間引き処理されて符号化される。結果として、編集された動画像データのルート表示に必要な情報を損なうことなくデータ量を小さくすることが可能となる。
【００９２】
ここで、図１３のフローチャートの説明に戻る。
【００９３】
ステップＳ４２において、ルート画像生成処理が実行された後、ステップＳ４３において、制御部１１１は、認証課金部１１３を制御して、端末装置１０２より送信されてきたIDに基づいて認証処理を実行し、ルート画像データの料金についての課金処理を、通信部１１５、および、ネットワーク４を介して課金サーバ１０４に対して実行する。尚、以下の説明においては、認証処理で特に問題が生じることなく、課金サーバ１０４に対して課金処理が実行できた場合について説明を進めるが、認証処理に問題があり、課金処理が実行できなかった場合、その処理は終了する。
【００９４】
ステップＳ４４において、制御部１１３は、通信部１１５を制御して生成したルート画像データを、ネットワーク４を介して端末装置１０２に送信する。
【００９５】
ステップＳ３３において、端末装置１０２の制御部１３５は、通信部１３１を制御してネットワーク４を介してサーバ１０１より送信されてくるルート画像データを受信し、復号部１３２に出力する。ステップＳ３４において、復号部１３２は、入力された符号化されたルート画像データを復号し、表示部１３３に表示させる。このとき、表示部１３３に表示されるルート画像は、図２０（Ｃ）で示すように、目印となるような目標物（信号、交差点、建物、または、曲がり角など）の付近の画像は、通常のフレーム数なので通常の再生速度で再生され、それ以外の特に道案内に必要な情報を多く含まない、重要度の低い画像は、フレームレートが低下されている分だけ、早送りされたような画像が表示されることになる。
【００９６】
以上のような処理により、ユーザは、これから目的地に向かおうとするときに、端末装置１０２の入力部１３６を操作して、目的地を入力し、サーバ１より目的地までのルート画像データを受信し、表示されたルート画像を見る事で、事前にルートと、そのルート上の目標物を効率よく確認することができる。また、転送されてくるルート画像データは、重要度に応じて、フレームレートを変えて符号化されて送信されてくるので、通信に要する時間とコストを小さくすることが可能となる。
【００９７】
尚、以上の例において、符号化方法は、MPEG（MPEG１，２，４を含む）や、Motion Jpegなどの動画像データを圧縮できる符号化方式であれば、何れの方法であってもよい。ただし、MPEGの場合、前後のフレームを参照し、予測処理を行って動画像を再生する必要があるため、図１９、および、図２０を参照して、説明したようにフレームを単純に所定間隔で間引くような処理を施すと復号画像が乱れてしまう恐れがある。そこで、MPEGのような場合、特願2000-178999、または、特願2000-179000で記載されているように、リピートピクチャと呼ばれているスプライシング用ビデオデータを挿入するなどして、前後のフレームの関係を破綻させないフレームを生成したのち、間引き処理を行う必要がある。
【００９８】
以上の例においては、サーバ１０１と端末装置１０２が1対１で処理を行う場合について説明してきたが、例えば、図２２で示すように、サーバ１０１から放送番組などに多重化させて、所定の目的地に向かうルート画像データを配信範囲Ａ１の範囲内の複数の端末装置１０２に送信（配信）させるようにしてもよい。
【００９９】
このとき、端末装置１０２は、配信範囲Ａ１内に入った場合にのみ、ルート画像データを受信することができるため、想定される目的地Ｐ１０１に向かうルートとしては、位置Ｐ１１１から目的地Ｐ１０１に向かうルート１、位置Ｐ１１２から目的地Ｐ１０１に向かうルート２、位置Ｐ１１３から目的地Ｐ１０１に向かうルート３、および、位置Ｐ１１４から目的地Ｐ１０１に向かうルート４の合計４個が想定されることになる。そこで、サーバ１０１は、これらの４個のルート画像データを合成して配信し、携帯端末１０２は、これらのルート画像データを受信して、表示するようにする。
【０１００】
そこで、図２３を参照して、ルート画像データを放送番組に多重化させて複数の端末装置１０２に配信するサーバ１０１の構成について説明する。図２２のサーバ１０１は、図５のサーバ１０１と基本的な構成は同じであるが、ビデオ信号符号化部１４１、オーディオ信号符号化部１４２、多重化部１４３、および、放送配信部１４４が新たに設けられている。
【０１０１】
ビデオ信号符号化部１４１、および、オーディオ信号符号化部１４２は、それぞれラジオ放送やテレビジョン放送用に入力されるビデオ信号、および、オーディオ信号を配信用に符号化し、多重化部１４３に出力する。多重化部１４３は、ビデオ信号符号化部１４１、および、オーディオ信号符号化部１４２より入力された符号化されたビデオ信号、および、オーディオ信号、並びに、ルート画像データを、時分割多重化して放送配信部１４４に出力する。放送配信部１４４は、アンテナなどからなる放送信号送信装置であり、多重化部１４３より入力されてくる多重化信号を配信データとして放送する。
【０１０２】
次に、図２４を参照して、ルート画像データが多重化された放送番組を受信する端末装置１０２について説明する。図２４の端末装置１０２は、図６の端末装置と基本的な構成は同じであるが、受信部１５１、多重化分離部１５２、ビデオ信号復号部１５３、オーディオ信号復号部１５４、および、スピーカ１５５が設けられている。
【０１０３】
受信部１５１は、図２３のサーバ１０１の放送配信部１４４より放送されてきた配信データを受信するアンテナである。多重化分離部１５２は、配信データに時分割多重化されている、ビデオ信号、オーディオ信号、および、ルート画像データをそれぞれ分離し、ビデオ信号をビデオ信号復号部１５３、オーディオ信号をオーディオ信号復号部１５４に、ルート画像データを記憶部１３４に出力する。
【０１０４】
ビデオ信号復号部１５３とオーディオ信号復号部１５４は、それぞれ入力された符号化されているビデオ信号とオーディオ信号を復号処理し、ビデオ信号を表示部１３３に表示させると共に、オーディオ信号をスピーカ１５５に出力する。
【０１０５】
次に、図２５のフローチャートを参照して、サーバ１０１の配信処理と端末装置１０２のルート表示処理について説明する。
【０１０６】
ステップＳ７１において、サーバ１０１のビデオ信号符号化部１４１とオーディオ信号符号化部１４２は、入力されたラジオ放送、または、テレビジョン放送用のビデオ信号とオーディオ信号を符号化して多重化部１４３に出力する。
【０１０７】
ステップＳ７２において、制御部１１１は、所定の出発地と目的地の情報を記憶部１１４に記憶させる。ステップＳ７３において、制御部１１１は、ルート画像生成処理を実行する。尚、ルート画像生成処理については、図１４のフローチャートの処理と同様であるので省略する。このとき、ルート画像データは、図２２で示したルート１乃至４のそれぞれについて生成されて、ステップＳ７４において、制御部１１１は、多重化部１４３を制御して生成したルート画像データ、符号化されたビデオ信号、および、オーディオ信号を多重化させて、放送配信部１４４に出力させる。ステップＳ７５において、制御部１１１は、放送配信部１４４を制御して、多重化部１４３により多重化された配信データを放送させる。
【０１０８】
ステップＳ９１において、端末装置１０２の制御部１３５は、受信部１５１を制御して配信データを受信させ、多重化分離部１５２に出力させる。ステップＳ９２において、多重化分離部１５２は、入力された配信データを多重化分離し、ルート画像データを記憶部１１４に、ビデオ信号をビデオ信号復号部１５３に、オーディオ信号をオーディオ信号復号部１５４にそれぞれ出力する。
【０１０９】
ステップＳ９３において、ビデオ信号復号器１５３は、ビデオ信号を復号して表示部１３３に出力し、オーディオ信号復号器１５４は、オーディオ信号を復号してスピーカ１５５より音声を出力させ、さらに、復号部１３２は、記憶部１３４に記憶されたルート画像データを復号して表示部１３３に出力する。
【０１１０】
すなわち、例えば、端末装置１０２が、図２２中の位置Ｐ１２１に存在していた場合、端末装置１０２は、サーバ１０１より配信されてくる配信データに多重化されているルート１乃至４のルート画像データを受信する。この状態で、入力部１３６が、ユーザにより操作されることにより、ルート１のルート画像データが選択されて表示部１３３に表示されることになる。
【０１１１】
また、端末装置１０２にGPS受信装置などを設けて、自らの位置が測定できるようにする事で、配信データのうち、必要とされるルート画像データを選択的に復号するようにしてもよい。すなわち、GPS受信装置などの位置計測装置により、図２２のような場合、端末装置１０２は自らの位置がP１２１に存在するので、ルート１のルート画像データが復号できればよい事になる。そこで、配信データのうち、ルート１のルート画像データのみを復号し、それ以外のルート２乃至４のルート画像データは、予め復号しないようにしてもよい。
【０１１２】
さらに、以上の例の場合、表示部１３３には、復号部１３２により復号されたルート画像データとビデオ信号復号部１５３より復号されたビデオ信号が入力されることになるが、いずれの画像も同時に表示できるように、２画面表示させるようにしてもよいし、入力部１３６からの信号により、いずれか一方の画面を表示するようにしてもよい。
【０１１３】
また、ステップＳ７２，Ｓ７３の処理は、配信範囲Ａ１内において、ルート１乃至４のルート画像生成処理は、同じ処理が繰り返されるだけなので、予めルート画像データを記憶部１１４に生成しておいて、繰り返し使用するようにしてもよい。
【０１１４】
このような処理により、例えば、ある店舗の宣伝番組を放送するような場合、その宣伝番組に店舗までのルート画像データを多重化して送信させるようにすることで、宣伝に興味を持ったユーザは、その店舗までのルート画像データを表示することができ、店舗までのルートを知ることが可能となるので、これまで、宣伝に興味はあったが、店舗の位置を自ら確認してまで行こうしなかったユーザでも、店舗までのルート画像を簡単に入手し、確認することができるので、店舗の宣伝効果を、より高めることが可能となる。
【０１１５】
これまでの例においては、データ生成装置２により生成された画像データに基づいて、サーバ１０１が画像データを蓄積し、蓄積した画像データからルート画像データを生成して、端末装置１０２に配信する例について説明してきたが、データ生成装置２によりルート画像データを生成し、直接端末装置１０２に送信するような構成としてもよい。
【０１１６】
そこで、図２６，図２７を参照してルート画像データを生成するデータ生成装置２０１が、直接ルート画像データを端末装置２０２に送信して、表示させる場合のデータ生成装置２０１と端末装置２０２の構成について説明する。
【０１１７】
データ生成装置２０１は、撮像部２１１、画像認識部２１２、符号化部２１３、記憶部２１４、通信部２１５、ジャイロ２１６、GPS受信部２１７、車両操作センサ２１８、制御部２１９、および、ドライブ１２０１が、バス２２０に接続されて設けられており、これらのうちデータ生成装置２０１の撮像部２１１、画像認識部２１２、符号化部２１３、記憶部２１４、通信部２１５、ジャイロ２１６、GPS受信部２１７、制御部２１９、および、ドライブ１２０１は、それぞれ、図２のデータ生成装置２に設けられた撮像部３１、図５のサーバ１０１に設けられた画像認識部１１３、符号化部１１２、記憶部２１４、通信部１１５、図２のデータ生成装置２に設けられたジャイロ３１ａ、GPS受信部３２、制御部１１１、および、ドライブ１００１に対応しており、同様の機能を有するものである。このため、それぞれの機能の説明は省略する。データ生成装置２０１に新たに設けられている車両操作センサ２１８は、例えば、自動車などの車両を操作するハンドルなどの舵角などを検出し、さらに、加速度計などから移動距離を求めて、自動車などの車両の移動距離や移動速度を求めるものである。従って、ジャイロ２１６、GPS受信部２１７、および、車両操作センサ２１８は、いずれも、位置の検出を目的とした装置であり、それら各々の情報、または、いずれかの装置からの情報を組み合わせる事により、画像データが生成された位置情報を取得するものである。
【０１１８】
端末装置２０２は、通信部２３１、復号部２３２、表示部２３３、記憶部２３４、制御部２３５、入力部２３６、GPS受信部２３７、および、ドライブ１３０１がそれぞれバス２３７に接続されて設けられており、それぞれが、図６の端末装置１０２の通信部１３１、復号部１３２、表示部１３３、記憶部１４４、制御部１３５、入力部１３６、図２６のGPS受信部２１７、および、図６のドライブ１１０１に対応しており、同様の機能を果たすものである。このため、それぞれの機能の説明は省略する。
【０１１９】
尚、データ生成装置２０１から端末装置２０２に直接ルート画像データを送信する場合、複数のデータ生成装置２０１のうちの何れのデータ生成装置２０１から所定の端末装置２０２にルート画像データを送信するかに関する指示と、課金処理はサーバ１０１により実行される。このため、所定の端末装置２０２は、サーバ１０１に対してルート画像データを要求し、サーバ１０１が、この要求に応じて、ルートを検索し、課金処理を行った後、検索されたルート上の最寄のデータ生成装置２０１に対して所定の端末装置２０２にルート画像データを送信するように指令する事になる。
【０１２０】
次に、図２８のフローチャートを参照して、データ生成装置２０１からルート画像データを端末装置２０２に送信するときのルート画像表示処理について説明する。
【０１２１】
ステップＳ１０１において、端末装置２０２の入力部２３６がユーザにより操作されて、出発地と目的地が入力される。当然の事ながら、出発地は、GPS受信部２３７により受信された情報から求められる位置情報に対応した出発地であってもよい。ステップＳ１０２において、制御部２３５は、通信部２３１を制御して、出発地と目的地の情報、および、自らのIDの情報をサーバ１０１に送信する。
【０１２２】
ステップＳ１１１において、サーバ１０１の制御部１１１は、通信部１１５を制御して端末装置２０２より送信されてきた出発地と目的地の情報、および、IDの情報を記憶部１１４に記憶させる。ステップＳ１１２において、制御部１１１は、課金処理部１１３を制御して、ルート画像データの料金の課金処理を実行させる。ステップＳ１１３において、制御部１１１は、記憶部１１４に記憶された出発地と目的地に基づいて、地図データと照合してルートを探索し、探索されたルート上のデータ生成装置２０１に対して、記憶されたIDに対応する端末装置２０２に対してルート画像データを送信するように指令する。
【０１２３】
ステップＳ１２１において、端末装置２０２の制御部２１９は、通信部２１５を制御して、サーバ１より送信されてきた指令を受信させる。ステップＳ１２２において、撮像部２１１は、撮像した画像データを記憶部２１４に記憶させる。ステップＳ１２３において、制御部２１９は、ジャイロ２１６、GPS受信部２１７、および、車両センサ２１８より位置情報を取得し、記憶部２１４に記憶させる。
【０１２４】
ステップＳ１２４において、データ生成装置２０１の制御部２１９は、重要度の算出処理を実行する。尚、この処理は、図９のフローチャートを参照して説明した処理と同様であるので、その説明は省略する。
【０１２５】
ステップＳ１２５において、制御部２１９は、符号化部２１３を制御して重要度を照合させて、重要度と対応して動画像データを符号化させ、ルート画像データを生成する。ステップＳ１２６において、制御部２１９は、通信部２１５を制御して、生成したルート画像データをIDに対応する端末装置２０２に送信する。
【０１２６】
ここで、重要度に対応させて画像データを符号化させるとは、例えば、図１１（Ｂ）で示すように重要度が設定された場合、図２９（Ａ）で示すように、位置Ｐ４乃至Ｐ５においては、図２９（Ｂ）で示すように重要度が低いので、その間の符号化データは、図２９（Ｃ）で示すように、２フレーム毎に１フレームを抽出して符号化する。すなわち、図２９（Ｃ）で示すように、フレームＦ５１，Ｆ５４，Ｆ５７，Ｆ６０，Ｆ６３を抽出し、それ以外のフレームＦ５２，Ｆ５３，Ｆ５５，Ｆ５６，Ｆ５８，Ｆ５９，Ｆ６１，Ｆ６２は間引き処理して削除する。逆に、図３０（Ａ）で示すように、位置Ｐ５乃至Ｐ６においては、図３０（Ｂ）で示すように重要度が高いので、その間の符号化データは、図３０（Ｃ）で示すように、全フレームを抽出する。すなわち、図３０（Ｃ）で示すように、フレームＦ７１乃至Ｆ７２までの全てのフレームを抽出して符号化する。
【０１２７】
ステップＳ１０３において、端末装置２０２の制御部２３５は、データ生成装置２０１より送信されてくるルート画像データを受信させ、復号部２３２に出力させる。復号部２３２は、受信した符号化データを復号して表示部２３３に表示させる。
【０１２８】
このような処理により、ルート画像データをデータ生成装置２０１より直接端末装置２０２に送信させるようにする事ができる。また、重要度に応じてフレームレートを変化させることで通信速度を向上させることが可能になると共に、通信コストを低減させることが可能となる。さらには、低ビットレートでの送信が可能となるので、ネットワーク上で通信状態が込み合っているような状態でもルート画像データの転送が可能となる。
【０１２９】
尚、以上の例においては、データ生成装置２０１は、撮像した画像をリアルタイムで送信する場合について説明してきたが、例えば、予め撮像した画像データを記憶部２１４に一旦記憶しておいて、その記憶された画像データを、端末装置２０２に送信するようにしてもよい。
【０１３０】
以上の説明においては、重要度に応じたルート画像データのフレームレートの変換を符号化部２１３により符号化処理する際に行う例について説明してきたが、例えば、図２８のフローチャート中のステップＳ１２２において、撮像部２１１により撮像された画像データを記憶部２１４に記憶させる際にフレームレートを変換させるようにしてもよい。この場合、ステップＳ１２４における重要度算出処理は、撮像された画像データを記憶させる前に実行しておく必要がある。
【０１３１】
また、データ生成装置２０１の車両操作センサ２１８により計測される位置情報などから移動速度を求めて、撮像部２１１により撮像される画像データのフレームレートを変化させるようにしてもよい。すなわち、データ生成装置２０１は、図３１（Ａ）で示すように、移動速度ｖ１で移動する際、データ生成装置２０１ａの撮像部２１１で撮像する視野Ｖａは、移動時間Δｔで距離Ｄ１だけ移動してデータ生成装置２０１ｂの視野Ｖｂを撮像する。
【０１３２】
しかしながら、図３１（Ｂ）で示すように、移動速度ｖ２（例えば、ｖ２＝（ｖ１）／６）でデータ生成装置２０１ｃが移動する場合、移動時間Δｔでは、距離Ｄ２（例えば、Ｄ２＝（Ｄ１）／６）だけなので、データ生成装置２０１ｃの視野Ｖｃからデータ生成装置２０１ｄの視野Ｖｄまでの変化しか生じない。このため、距離Ｄ１までデータ生成装置２０１ｃが移動するまでの間に、移動時間２Δｔにおいて、データ生成装置２０１ｅの視野Ｖｅ、移動時間３Δｔにおいて、データ生成装置２０１ｆの視野Ｖｆ、移動時間４Δｔにおいて、データ生成装置２０１ｇの視野Ｖｇ、移動時間５Δｔにおいて、データ生成装置２０１ｈの視野Ｖｈがそれぞれ撮像される事になる。結果として、撮像される画像データは、速度が遅いほど冗長性が増加する事になる。そこで、図３２で示すように、移動速度に合わせて、フレームレートを変換させるようにする事で、画像データの冗長性を低減させて、フレームレートを低減させることができる。すなわち、データ生成装置２０１の移動速度がｖ１の場合、フレームレートがＲ１であるとすると、移動速度に比例して、移動速度がｖ２に低下した場合、比例してフレームレートをＲ１からＲ２に低減させるようにする事ができる。
【０１３３】
また、上述の重要度に対応した、または、移動速度に対応したフレームレートの変換処理は、端末装置２０２で実行させるようにしてもよく、この場合、重要度、または、データ生成装置２０１の移動速度の情報は、ルート画像データと共に端末装置２０２に送信されることになる。このとき、端末装置２０２は、復号部２３２が、重要度に対応した、または、移動速度に対応したフレームレートの変換処理を実行しながら復号処理するようにしてもよいし、表示部２３３がルート画像データを表示する際にフレームレートを変換するようにしてもよい。
【０１３４】
さらに、以上の例においては、ルート画像データについて説明してきたが、転送させるデータ画像データのみならずそれ以外のデータであってもよく、例えば、音声データやテキストデータなどであってもよい。この場合、音声データで、特に、音楽のとき、例えば、歌手の歌声が記録された部分を高い重要度に設定し（高いビットレートで変換し）、間奏部分を低い重要度に設定してもよい（高いビットレートで変換してもよい）。また、テキストデータのとき、例えば、論文などでは、概要部分や結論の部分に高い重要度を設定し、それ以外の重要度を低く設定するなどしてもよい。
【０１３５】
以上の説明において、動画像データを圧縮する方法は、フレームレートを変換する例について説明してきたが、動画像データを圧縮する方法は、これに限らず、例えば、画枠の変換、符号化方式の変換、または、復号した後、ビットレートやフレームレートを変えて再符号化するようにしてもよい。
【０１３６】
また、以上においては、課金処理において、ルート画像データの配信に係る料金がユーザの指定口座などから引き落とされたり、または、ポイントが引き去られていたが、例えば、ユーザがデータ生成装置２０１と端末装置２０２の両方を所有しているか、または、それらが一体となった装置を所有していたとき、データ生成装置２０１で撮像した画像データをサーバ１０１に送信する（アップロードする）ことで、ルート画像データに係る料金を、データ生成装置２０１から送信されてきた画像データの対価により相殺するようにしてもよい。
【０１３７】
以上によれば、端末装置２０２においても、ルート画像データを削減することができるので、データ生成装置２０１より送信されてくるルート画像データを受信しながら、または、表示しながらルート画像データのデータ量を削減することができ、通信コストと通信速度に加えて、表示速度を向上させることが可能となる。また、同じルート画像データを配信するだけで済むので、ルート画像データの生成処理を簡素化することが可能となる。
【０１３８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行させることが可能な、例えば汎用のパーソナルコンピュータなどに記録媒体からインストールされる。
【０１３９】
この記録媒体は、図５，および、図２２に示すサーバ１０１、図６、および、図２３に示す端末装置１０２、図２５に示すデータ生成装置２０１、並びに、図２６で示す端末装置２０２のように、予め組み込まれた状態でユーザに提供される、プログラムが記録されている記憶部１１４，１３４，２１４、および２３４だけではなく、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク１０１１，１１１１，１２１１、および１３１１（フレキシブルディスクを含む）、光ディスク１０１２，１１１２，１２１２、および１３１２（CD-ROM(Compact Disk-Read Only Memory)，DVD（Digital Versatile Disk）を含む）、光磁気ディスク１０１３，１１１３，１２１３、および１３１３（MD（Mini-Disc）（登録商標）を含む）、もしくは半導体メモリ１０１４，１１１４，１２１４、および１３１４（Memory Stickを含む）などよりなるパッケージメディアにより構成される。
【０１４０】
尚、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理は、もちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理を含むものである。
【０１４１】
【発明の効果】
本発明の一側面によれば、ルートガイド用の動画像データを記録し、動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得し、動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定し、動画像データと重要度を記憶し、前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化し、低ビットレート化された動画像データを他の情報処理装置に送信するようにした。
【０１４３】
結果として、データの端末装置に配信するためのデータ量が低減され、通信コストと通信速度を向上させることが可能となる。
【図面の簡単な説明】
【図１】従来のサーバの構成を説明する図である。
【図２】従来のデータ生成装置を説明する図である。
【図３】従来の端末装置を説明する図である。
【図４】従来の画像データの記録方法を説明する図である。
【図５】本発明を適用したサーバの一実施の形態の構成を説明する図である。
【図６】本発明を適用した端末装置の構成を説明する図である。
【図７】本発明を適用したデータ生成装置を説明する図である。
【図８】データ蓄積処理を説明する図である。
【図９】重要度算出処理を説明するフローチャートである。
【図１０】画像データの特徴量の検出を説明する図である。
【図１１】重要度を説明する図である。
【図１２】本発明の画像データの記録方法を説明する図である。
【図１３】ルート表示処理を説明するフローチャートである。
【図１４】ルート画像生成処理を説明するフローチャートである。
【図１５】ルート画像データを説明する図である。
【図１６】ルート画像データの編集を説明する図である。
【図１７】ルート画像データの編集を説明する図である。
【図１８】ルート画像データの編集を説明する図である。
【図１９】ルート画像データの重要度に応じた符号化を説明する図である。
【図２０】ルート画像データの重要度に応じた符号化を説明する図である。
【図２１】ルート画像データの重要度に応じた符号化を説明する図である。
【図２２】ルート画像データの配信を説明する図である。
【図２３】ルート画像データを配信するサーバの構成を説明する図である。
【図２４】配信されたルート画像データ受信する端末装置の構成を説明する図である。
【図２５】図２４のサーバのルート画像データの配信処理と、図２４の端末装置による配信されたルート画像データの表示処理を説明するフローチャートである。
【図２６】ルート画像データを送信するその他のデータ生成装置の構成を説明する図である。
【図２７】図２６のデータ生成装置より送信されてきたルート画像データ受信する端末装置の構成を説明する図である。
【図２８】図２４のサーバのルート画像データの配信処理と、図２４の端末装置による配信されたルート画像データの表示処理を説明するフローチャートである。
【図２９】ルート画像データの重要度に応じた符号化を説明する図である。
【図３０】ルート画像データの重要度に応じた符号化を説明する図である。
【図３１】ルート画像データのデータ生成装置の移動速度に応じた符号化を説明する図である。
【図３２】ルート画像データのデータ生成装置の移動速度に応じた符号化を説明する図である。
【符号の説明】
１ サーバ，２，２−１乃至２−ｎ データ生成装置，３ 端末装置，４ ネットワーク，１１ 画像検索部，１２ 通信部，１３ 制御部，１４ 記憶部，３１ 撮像部，３１ａ ジャイロ，３２ GPS受信部，３３ 制御部，３４ 記憶部，３５ 通信部，５１ 画像検索部，５２ 位置検索部，５３ 画像表示部，５４ 通信部，５５ 記憶部，５６ 入力部，１０１ サーバ，１０２，１０２−１乃至１０２−ｎ 端末装置，１０３ 課金サーバ，１１１ 制御部，１１２ 符号化部，１１３ 画像認識部，１１４ 記憶部，１１５ 通信部，１１６データ処理部，１１６ａ ルート検索部，１１６ｂ データ検索部，１１６ｃデータ変換部，１１７ 認証課金部，１３１ 通信部，１３２ 復号部，１３３ 表示部，１３４ 記憶部１４５ 制御部，１３６ 入力部，１４１ ビデオ符号化部，１４２ オーディオ符号化部，１４３ 多重化部，１４４ 放送配信部，１５１ 受信部，１５２ 多重化分離部，１５３ ビデオ信号復号部，１５４ オーディオ信号復号部，１５５ スピーカ，２０１ データ生成装置，２１１ 撮像部，２１２ 画像認識部，２１３ 符号化部，２１４ 記憶部，２１５通信部，２１６ ジャイロ，２１７ GPS受信部，２１８ 車両操作センサ，２１９ 制御部，２３１ 通信部，２３２ 復号部，２３３ 表示部，２３４ 記憶部，２３５ 制御部，２３６ 入力部，２３７ GPS受信部
Claims (11)
- ルートガイド用の動画像データを記録する動画像データ記録手段と、
前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得手段と、
前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定手段と、
前記動画像データと前記重要度を記憶する記憶手段と、
前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化手段と、
前記低ビットレート化手段により低ビットレート化された動画像データを他の情報処理装置に送信する送信手段と
を備えることを特徴とする情報処理装置。 - 前記送信手段は、前記動画像データに加えて、さらに、前記重要度を他の情報処理装置に送信する
ことを特徴とする請求項１に記載の情報処理装置。 - 前記低ビットレート化手段は、
前記重要度に基づいて、前記動画像データのフレームレートを変化させることにより動画像データを間引きして、間引きデータを生成する間引き手段をさらに備え、
前記間引き手段により生成される間引きデータをもって、前記動画像データを低ビットレート化し、
前記送信手段は、前記低ビットレート化された動画像データとして、前記間引きデータを前記他の情報処理装置に送信する
ことを特徴とする請求項２に記載の情報処理装置。 - 前記動画像データが、時間的に前後するフレーム間の予測関係を用いて符号化されていた場合、前記間引き手段は、前記重要度に基づいて、前記フレーム間の予測関係に影響しない範囲のフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成する
ことを特徴とする請求項３に記載の情報処理装置。 - 自らの移動速度を測定する移動速度測定手段をさらに備え、
前記間引き手段は、前記重要度に加えて、前記移動速度に応じて、そのフレームレートを変化させることにより、前記動画像データを間引きして、間引きデータを生成する
ことを特徴とする請求項３に記載の情報処理装置。 - 前記重要度設定手段は、前記動画像データの画像に含まれる認識された対象物の数量に応じた重要度を設定する
ことを特徴とする請求項１または２に記載の情報処理装置。 - 前記重要度設定手段は、前記動画像データの画像に含まれる認識された対象物の種別に応じた重要度を設定する
ことを特徴とする請求項１または２に記載の情報処理装置。 - 前記重要度設定手段は、前記特徴量に応じて設定される無段階の設定値、または、所定の関数に、前記特徴量に応じた重みを付加した値を代入することにより求められる設定値を重要度として設定する
ことを特徴とする請求項１または２に記載の情報処理装置。 - ルートガイド用の動画像データを記録する動画像データ記録ステップと、
前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量を取得する特徴量取得ステップと、
前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度を設定する重要度設定ステップと、
前記動画像データと前記重要度を記憶する記憶ステップと、
前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データを低ビットレート化する低ビットレート化ステップと、
前記低ビットレート化ステップの処理により低ビットレート化された動画像データを他の情報処理装置に送信する送信ステップと
を含むことを特徴とする情報処理方法。 - ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、
前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、
前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、
前記動画像データと前記重要度の記憶を制御する記憶制御ステップと、
前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、
前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - ルートガイド用の動画像データの記録を制御する動画像データ記録制御ステップと、
前記動画像データの画像に含まれる認識された対象物の色および形状を含む特徴量の取得を制御する特徴量取得制御ステップと、
前記動画像データの特徴量に基づいて、前記ルートガイド上の重要度の設定を制御する重要度設定制御ステップと、
前記動画像データと前記重要度の記憶を制御する記憶制御ステップと、
前記重要度に応じて、動画像データのビットレートを低くすることで、前記動画像データの低ビットレート化を制御する低ビットレート化制御ステップと、
前記低ビットレート化制御ステップの処理により低ビットレート化された動画像データの他の情報処理装置への送信を制御する送信制御ステップと
をコンピュータに実行させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001230351A JP4934922B2 (ja) | 2001-07-30 | 2001-07-30 | 情報処理装置および方法、記録媒体、並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001230351A JP4934922B2 (ja) | 2001-07-30 | 2001-07-30 | 情報処理装置および方法、記録媒体、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003042796A JP2003042796A (ja) | 2003-02-13 |
| JP4934922B2 true JP4934922B2 (ja) | 2012-05-23 |
Family
ID=19062577
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001230351A Expired - Fee Related JP4934922B2 (ja) | 2001-07-30 | 2001-07-30 | 情報処理装置および方法、記録媒体、並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4934922B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5795177B2 (ja) * | 2011-03-29 | 2015-10-14 | 富士通テン株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
| KR102116090B1 (ko) | 2013-09-27 | 2020-05-27 | 한화테크윈 주식회사 | 동영상 데이터를 압축하는 카메라 |
| JP6503881B2 (ja) * | 2015-05-20 | 2019-04-24 | 株式会社リコー | コンテンツ提供システム、情報処理装置、プログラム、コンテンツ再生方法 |
| JP2019087969A (ja) * | 2017-11-10 | 2019-06-06 | 株式会社トヨタマップマスター | 走行現調支援装置 |
| JP7094748B2 (ja) * | 2018-03-26 | 2022-07-04 | 株式会社デンソーテン | 画像記録装置及び画像記録方法 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3472659B2 (ja) * | 1995-02-20 | 2003-12-02 | 株式会社日立製作所 | 映像供給方法および映像供給システム |
| JPH08340540A (ja) * | 1995-06-14 | 1996-12-24 | Matsushita Electric Ind Co Ltd | 画像フレームの符号化又は復号化の方法及びその装置 |
| JPH1082651A (ja) * | 1996-05-29 | 1998-03-31 | Aisin Aw Co Ltd | 車両用ナビゲーション装置 |
| JPH10214397A (ja) * | 1997-01-29 | 1998-08-11 | Aqueous Res:Kk | 経路案内装置 |
| JPH10239075A (ja) * | 1997-02-25 | 1998-09-11 | Nissan Motor Co Ltd | 情報呈示装置 |
| JPH11108671A (ja) * | 1997-10-06 | 1999-04-23 | Hitachi Ltd | 道路情報収集表示装置 |
| JP4270623B2 (ja) * | 1999-01-13 | 2009-06-03 | 三菱電機株式会社 | 時系列データ蓄積配信システム |
| JP2000267564A (ja) * | 1999-03-19 | 2000-09-29 | Sharp Corp | 移動体の位置表示装置およびこの装置を用いた位置表示方法、ならびに位置表示用の処理プログラムを記録した記録媒体 |
| JP3577426B2 (ja) * | 1999-04-05 | 2004-10-13 | 日本電信電話株式会社 | ナビゲーション映像要約方法およびナビゲーション映像要約プログラムを記録した記録媒体 |
| JP3323842B2 (ja) * | 1999-10-22 | 2002-09-09 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 映像の要約方法及び装置 |
-
2001
- 2001-07-30 JP JP2001230351A patent/JP4934922B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003042796A (ja) | 2003-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6694251B2 (en) | Information processing apparatus and method, recording medium, and program | |
| KR100703444B1 (ko) | 네비게이션 시스템에서 위치 정보에 관련된 영상의 다운로드 및 표시 장치 및 방법 | |
| US6617980B2 (en) | Broadcasting type information providing system and travel environment information collecting device | |
| CN1673686B (zh) | 导航系统 | |
| KR101147748B1 (ko) | 지리정보 제공 기능을 갖는 이동통신 단말기 및 이를이용한 지리 정보 제공 방법 | |
| US20110102637A1 (en) | Travel videos | |
| US20050137790A1 (en) | Information distribution system and information distribution method | |
| KR101235775B1 (ko) | 미디어 정보를 포함하는 교통 정보의 확인 및 이용 | |
| CN101002070A (zh) | 移动向导装置、便携移动向导装置、移动向导系统、移动向导方法、移动向导程序、和记录了该程序的记录介质 | |
| WO2006082886A1 (ja) | 画像編集装置、画像編集方法、画像編集プログラムおよびコンピュータに読み取り可能な記録媒体 | |
| JPWO2005098364A1 (ja) | 経路案内システム及び方法 | |
| US7383122B2 (en) | Navigation system, user terminal, navigation device, and information recording method | |
| JP2005526244A (ja) | 旅行関連情報をユーザに提供するための方法及び装置 | |
| JP4934922B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
| JP4652099B2 (ja) | 画像表示装置、画像表示方法、画像表示プログラム、および記録媒体 | |
| WO2006080492A1 (ja) | 番組録画装置、番組録画方法、番組録画プログラム、およびコンピュータに読み取り可能な記録媒体 | |
| JP2008014881A (ja) | ナビゲーション装置 | |
| JP2004151063A (ja) | ナビゲーションシステム | |
| JP3980770B2 (ja) | 放送型情報提供システム | |
| JP2009009225A (ja) | 情報表示装置 | |
| KR100800746B1 (ko) | 네비게이션 시스템의 위치정보 표시방법 | |
| KR100754691B1 (ko) | 네비게이션 시스템의 위치정보 표시방법 | |
| JP5923901B2 (ja) | 情報提供装置、情報提供システム、及び、情報提供方法 | |
| JP2015022703A (ja) | 端末装置、サーバ装置、情報処理方法、およびプログラム | |
| JP2009174970A (ja) | 画像出力装置、データ生成装置、ナビゲーションシステムおよびポイントデータのデータ構造 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080723 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101104 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110719 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110916 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4934922 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |