JPWO2005076751A1 - 映像種類判定システム、映像加工システム、映像加工方法および映像加工プログラム - Google Patents

Abstract

映像シーンの種類を判定し、映像シーンの種類に応じた加工方法に従って映像を加工できる映像加工システムが提供される。ランドマーク特徴量取得部は、撮影方位、撮影位置およびランドマーク情報にもとづいて、ランドマーク特徴量を算出する。移動特徴量取得部は、撮影位置、移動速度および経路情報にもとづいて、移動特徴量を算出する。映像種類判定部は、ランドマーク特徴量および移動特徴量にもとづいて、映像シーンの種類を判定する。映像加工部は、映像シーンの種類および利用用途にもとづいて、映像の加工方法を決定する。また、映像加工部は、決定された加工方法に従って映像を加工する。表示部は、加工された映像を表示する。

Description

本発明は、移動カメラの映像を加工する技術に関する。特に、本発明は、映像コンテンツの種類を判定し映像を加工する映像加工システム、映像加工方法および映像加工プログラムに関する。また、本発明は、映像コンテンツの種類を判定する映像種類判定システム、映像種類判定方法および映像種類判定プログラムに関する。また、本発明は、映像加工システムのサーバおよび端末に関する。

ユビキタスカメラなどの移動カメラは、常時人間が携帯したり、車両に搭載されたりする。この場合、撮影者が意識的に映像を撮るのではなく、撮影者の通常の行動の映像が連続的に無意識に撮影される。そのため、移動カメラによる映像は、ユーザにとって重要と考えられないシーンを含むことが多い。移動カメラによる映像を効率的に閲覧するシステムを実現することが望まれる。

特開２０００−９２３８６号公報には、移動カメラ映像の閲覧システムが開示されている。図１は、この従来技術に係る移動カメラ映像の閲覧システムの構成例を示すブロック図である。図１に示されるように、この閲覧システムは、映像再生部９０２と、現在位置管理部９０３と、領域重要度管理部９０４と、映像省略部９０５と、映像表示部９０６とを備えている。映像再生部９０２は、移動カメラ映像を再生する。現在位置管理部９０３は、再生されている映像の現在位置が移動空間のどの場所であるかを管理する。移動空間はいくつかのエリアに分割され、エリアごとに予め重要度が付与される。領域重要度管理部９０４は、各エリアがどれくらい重要であるかを管理し、現在位置が属する領域の重要度を算出する。映像省略部９０５は、映像を再生する際に単位領域の重要度に応じて映像を省略する。映像表示部９０６は、通常再生または省略して再生された映像を表示する。

また、他の閲覧システムが、「T. Ueda et al., "Digest Creation of Video Data recorded by Wearable Cameras using Locational and Geographical Inoformation", Technical Report of the Institute of Electronics, Information and Communication Engineers, Vol.101, No. 193 (DE2001-101), pp.175-182, July, 2001」に開示されている。この映像処理システムによれば、撮影位置とランドマークとの距離および向きによりシーンの重要度が算出され、重要度が予め定められた閾値よりも大きいシーンのみが切り出され提供される。

以上に示された従来の閲覧システムによれば、映像の重要度が撮影位置に基づいて検出される。そして、重要度の高いシーンのみが切り出されたり、重要度の高さに応じて再生速度が変化させられる。

ユビキタスカメラなどが使用される場合、撮影者が意識的に映像を撮るのではなく、撮影者の通常の行動の映像が連続的に無意識に撮影される。そのため、撮影映像がそのまま再生された場合、閲覧者は不快な印象を受けることがある。例えば、撮影者が大きく左右に視線を変えたり、自動車が右折や左折をしたりする場合に撮影された映像においては、画像が大きく左右に揺れる。このような映像シーンは、高速で再生され表示されると、閲覧者に不快な印象を与えることがある。また、渋滞中を走行しているシーンなどの変化の無いシーンは、低速再生された場合などには、閲覧者に退屈感を感じさせることがある。

また、移動カメラによる映像における重要なシーンは、オブジェクトとの相対位置だけによって決定されるものではない。撮影装置自体が自ら移動しているので、移動情報そのものが重要シーンと深い相関がある場合がある。道を曲がったり停まったりという行動は、歩行者や自動車の運転手の意図が込められているので、道を曲がったり停まったりする場合の映像も重要度が高くなる。

しかし、上述の従来の閲覧システムでは、撮影位置やランドマークとの距離／向きに基づいて重要度が決定されているにすぎない。よって、従来の閲覧システムにおいて、映像シーンがどのような種類のものであるか適切に判断することはできない。また、映像シーンの種類に応じて映像を適切に再生することはできない。

更に、移動映像における重要度の基準は、閲覧者の映像を閲覧する目的によって変化する。従来の閲覧システムでは重要度の判定基準が固定されているで、閲覧者の目的の変化に対応することが困難である。例えば、ある目的地までの行き方の確認が目的の場合には、全行程の映像が重要で、特に曲がり角といったシーンが最も重要になる。一方、過去に行ったドライブの映像を振り返って見たいという目的の場合には、道なりに見えた山やビルなどのランドマークが重要になる。

尚、画像処理に関連する一般的な技術として以下のものが知られている。

特開２００２−１４２１８９号公報に開示された画像処理装置は、入力手段と、評価手段と、処理手段を有している。入力手段は、動画像データを有するデータストリームを入力する。評価手段は、動画像データを複数のシーンに分割し、互いに異なる複数の条件に従って、シーン毎に動画像データを評価する。処理手段は、評価手段による評価の結果に基づいて、シーンを選択する。

特開２００２−２７１７３３号公報には、サッカーの試合のダイジェスト映像を作成する装置が開示されている。このダイジェスト作成装置は、サッカーの試合映像を複数の時間帯で分割し、それぞれの時間帯における各チームの状態（攻勢、劣勢など）を判定することにより、試合の流れを示す情報を生成する。そして、ダイジェスト作成装置は、生成された情報と重要度を用いて映像シーンの抽出を行う。

特開２００２−３３０３９３号公報には、番組映像上のある時点における意味的な重要度を判定し、番組付加情報を受信しながら重要度を動的に算出するための映像ダイジェスト生成方法が開示されている。また、特開２００３−８７７１２号公報には、試合の経過を取り込んで事象の重要度を判定することができるスポーツ映像のダイジェスト作成方法が開示されている。

特開平８−９５５９６号公報には、音情報を用いて映像や音の外郭や雰囲気を短時間のうちに把握できる方法が開示されている。この方法は、画像情報と音情報からなる映像情報を入力するステップと、入力された映像情報中の音情報から種々の特徴量を抽出するステップと、抽出された特徴量に基づいて映像情報を加工するステップと、加工により生成された映像情報を出力するステップとを有する。

本発明の目的は、映像シーンの種類を判定できる映像種類判定システム、映像種類判定方法および映像種類判定プログラムを提供することにある。

本発明の他の目的は、映像シーンの種類を判定して、映像シーンの種類に応じた加工方法に従って映像を加工できる映像加工システム、映像加工方法、映像加工プログラム、映像加工システムのサーバおよび端末を提供することにある。

本発明の第１の観点において、映像種類判定システムは、移動する映像撮影装置により撮影された映像を入力する映像入力部と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、移動特徴量にもとづいて映像に含まれる映像シーンの種類を判定する映像種類判定部とを備える。

本発明の第２の観点において、映像加工システムは、映像入力部と、移動特徴量取得部と、映像種類判定部と、映像加工部とを備える。映像入力部は、移動する映像撮影装置により撮影された映像を入力する。移動特徴量取得部は、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する。映像種類判定部は、移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定する。映像加工部は、映像種類判定部によって判定された映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工する。

この映像加工システムは、映像加工部によって加工された映像を表示する表示部を更に備えてもよい。これにより、加工された映像を再生して表示することが可能となる。

移動特徴量取得部は、映像撮影装置の移動速度を取得する速度入力部と、映像撮影装置の撮影位置を取得する第１位置入力部と、撮影位置および移動速度にもとづいて、映像シーンに対応する移動特徴量を算出する移動特徴量算出部とを含んでもよい。

また、この映像加工システムは、移動中に通過し得る経路の属性情報である経路情報が格納された経路情報記憶部を更に備えてもよい。この時、移動特徴量算出部は、経路情報と映像撮影装置の撮影位置及び移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。予め記憶された経路情報を用いることによって、容易に移動特徴量が求められる。

上記経路情報は、経路の位置、種類、車線数、交差点の位置、分岐点の位置、及び信号の有無のうちの少なくとも１つを含む。

上記移動特徴量は、映像撮影装置の現在位置と設定ルートとのずれ量、走行速度、及び走行直進度のうちの少なくとも１つを含む。

また、映像加工システムは、映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するランドマーク特徴量取得部を更に備えてもよい。この時、映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。この場合、移動特徴量だけでなくランドマーク特徴量も用いられるので、より多くの映像シーンの種類を判定することが可能となる。

ランドマーク特徴量取得部は、映像撮影装置の撮影方位を取得する方位入力部と、映像撮影装置の撮影位置を取得する第２位置入力部と、ランドマークの属性情報であるランドマーク情報が格納されたランドマーク情報記憶部と、ランドマーク特徴量算出部とを備える。ランドマーク特徴量算出部は、ランドマーク情報、撮影位置、及び撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。この場合、映像方位及び撮影位置を用いることにより、容易にランドマーク特徴量を求めることが可能となる。

ランドマーク情報は、ランドマークの位置および形状を含む。ランドマーク特徴量は、ランドマークの画面上でのサイズおよび画面中心からのずれ量のうちの少なくとも１つを含む。

映像種類判定部は、移動特徴量およびランドマーク特徴量が閾値より大きいか否かを判断することによって、映像シーンの種類を判定してもよい。閾値判定を行うことによって、容易に映像シーンの種類を判定することが可能となる。移動特徴量およびランドマーク特徴量に対する閾値は、利用用途によって変更されてもよい。

映像種類判定部は、移動特徴量およびランドマーク特徴量のうちの少なくとも１つの値にもとづいて、映像シーンの重要度を算出してもよい。この時、映像種類判定部は、算出された重要度が閾値より大きい場合にのみ、映像シーンの種類を判定する。これにより、重要な映像シーンについてのみ画像処理を行うことが可能となる。

映像加工部は、特定の映像シーンの映像のみを加工してもよい。

表示部は、映像を表示するとともに、その映像が撮影された位置を含む地図を表示してもよい。

また、表示部は、映像の利用用途をユーザが設定入力するためのユーザインタフェイスを備えていてもよい。映像閲覧の利用用途とは、例えば、ドライブシミュレーションや観光ドライブ案内の用途のことを意味する。また、ユーザインタフェースは、例えば、利用用途を設定入力するためのスライドバーが表示部に表示されることによって実現される。

映像シーンの種類は、曲がり角シーン、ランドマークシーン、渋滞シーン、信号待ちシーン、及びその他のシーンのうちの少なくとも１つを含む。この場合、映像加工部は、曲がり角シーンと判定された映像シーンがスロー再生されるように映像を加工し、ランドマークシーンと判定された映像シーンに、ランドマーク情報のテロップが表示されるように映像を加工し、渋滞シーンと判定された映像シーンが削除されるように映像を加工し、信号待ちシーンと判定された映像シーンが削除されるように映像を加工し、その他のシーンと判定された映像シーンが高速再生されるように映像を加工する。

本発明の第３の観点において、映像撮影装置により撮影された映像を加工する映像加工システムのサーバが提供される。このサーバは、ランドマーク情報記憶部と、ランドマーク特徴量算出部と、経路情報を記憶する経路情報記憶部と、移動特徴量算出部と、映像種類判定部と、映像加工部と、サーバ側送信部とを備える。ランドマーク情報記憶部は、ランドマークの属性情報であるランドマーク情報を記憶する。ランドマーク特徴量算出部は、ランドマーク情報と、端末から受信した映像撮影装置の撮影位置および撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。移動特徴量算出部は、経路情報と、端末から受信した映像撮影装置の撮影位置および移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。映像加工部は、映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工する。サーバ側送信部は、映像加工部により加工された映像を、通信ネットワークを介して端末に送信する。

本発明の第４の観点において、映像撮影装置により撮影された映像を加工する映像加工システムのサーバが提供される。このサーバは、ランドマーク情報記憶部と、ランドマーク特徴量算出部と、経路情報を記憶する経路情報記憶部と、移動特徴量算出部と、映像種類判定部と、サーバ側送信部とを備える。ランドマーク情報記憶部は、ランドマークの属性情報であるランドマーク情報を記憶する。ランドマーク特徴量算出部は、ランドマーク情報と、端末から受信した映像撮影装置の撮影位置および撮影方位とに基づいて、映像シーンに対応するランドマーク特徴量を算出する。移動特徴量算出部は、経路情報と、端末から受信した映像撮影装置の撮影位置および移動速度とに基づいて、映像シーンに対応する移動特徴量を算出する。映像種類判定部は、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類を判定する。サーバ側送信部は、映像シーンの種類を、通信ネットワークを介して端末に送信する。この場合、映像がサーバに送信される場合と比較して、通信ネットワーク上の通信量を大幅に低減することができる。

本発明の第５の観点において、映像加工システムの端末は、映像を入力する映像入力部と、映像撮影装置の撮影方位を入力する方位入力部と、映像撮影装置の撮影位置を入力する位置入力部と、映像撮影装置の移動速度を入力する速度入力部と、映像を加工するサーバに、映像、撮影方位、撮影位置および移動速度を、通信ネットワークを介して送信する端末側送信部と、サーバから受信する加工後の映像を表示する映像表示部とを備える。

本発明の第６の観点において、映像加工システムの端末は、映像を入力する映像入力部と、映像撮影装置の撮影方位を入力する方位入力部と、映像撮影装置の撮影位置を入力する位置入力部と、映像撮影装置の移動速度を入力する速度入力部と、端末側送信部と、映像加工部と、映像表示部とを備える。端末側送信部は、映像シーンの種類を判定するサーバに、撮影方位、撮影位置および移動速度を、通信ネットワークを介して送信する。映像加工部は、サーバから受信する映像シーンの種類にもとづいて、映像の加工方法を決定し、決定された加工方法に従って映像を加工する。映像表示部は、映像加工部により加工された映像を表示する。この場合、映像がサーバに送信される場合と比較して、通信ネットワーク上の通信量を大幅に低減することができる。

本発明の第７の観点において、映像種類判定方法は、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップとを含む。

本発明の第８の観点において、映像加工方法は、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップと、（Ｄ）映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工するステップとを含む。

この映像加工方法は、更に、（Ｂ’）映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するステップを含んでもよい。この場合、上記（Ｃ）ステップにおいて、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類が判定される。

本発明の第９の観点において、映像種類判定プログラムは、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップとをコンピュータに実行させる。

本発明の第１０の観点において、映像加工プログラムは、（Ａ）移動する映像撮影装置により撮影された映像を入力するステップと、（Ｂ）映像撮影装置の移動状態の特徴を示す移動特徴量を取得するステップと、（Ｃ）移動特徴量にもとづいて、映像に含まれる映像シーンの種類を判定するステップと、（Ｄ）映像シーンの種類にもとづいて映像の加工方法を決定し、決定された加工方法に従って映像を加工するステップとをコンピュータに実行させる。

この映像加工プログラムは、更に、（Ｂ’）映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するステップをコンピュータに実行させてもよい。この場合、上記（Ｃ）ステップにおいて、ランドマーク特徴量と移動特徴量とにもとづいて、映像シーンの種類が判定される。

本発明によれば、移動特徴量にもとづいて、映像シーンの種類を判定することができる。また、本発明によれば、判定された映像シーンの種類に応じた加工方法に従って映像を加工することができる。

図１は、従来の移動カメラ映像の閲覧システムの構成例を示すブロック図である。 図２は、本発明の第１の実施の形態に係る映像加工システムの構成の例を示すブロック図である。 図３は、ランドマーク特徴量取得部の構成の一例を示すブロック図である。 図４は、移動特徴量取得部の構成の一例を示すブロック図である。 図５は、本発明の第２の実施の形態に係る映像加工システムの構成の例を示すブロック図である。 図６は、本発明の第３の実施の形態に係る映像加工システムの構成の例を示すブロック図である。 図７は、本発明に係る映像加工システムの動作を示すフローチャートである。 図８は、本発明による映像加工処理を説明するための図である。 図９は、本発明による映像加工処理を説明するための図である。 図１０は、本発明による映像加工処理を説明するための図である。 図１１は、直進度の算出方法の例を示す説明図である。 図１２は、映像加工処理における設定情報の例を示す説明図である。 図１３は、表示画面の一例を示す概念図である。 図１４は、本発明に係る映像加工システムの動作を示すフローチャートである。 図１５は、本発明による映像加工処理を説明するための図である。 図１６は、表示画面の他の例を示す概念図である。

（第１の実施の形態）
以下、本発明の第１の実施の形態を図面を参照して説明する。図２は、本発明の第１の実施の形態に係る映像加工システムの構成の一例を示すブロック図である。図２に示されるように、映像加工システムは、映像を取得する映像取得部１と、ランドマーク特徴量取得部２と、移動特徴量取得部３と、映像種類判定部４と、映像加工部５と、表示部６とを含む。

図３は、ランドマーク特徴量取得部２の構成の一例を示すブロック図である。図３に示されるように、ランドマーク特徴量取得部２は、映像撮影装置の方位を取得する方位取得部２０１と、映像撮影装置の位置を取得する位置取得部２０２と、ランドマーク情報を記憶するランドマーク情報記憶装置２０３と、方位取得部２０１が取得した方位、位置取得部２０２が取得した位置およびランドマーク情報にもとづいてランドマーク特徴量を算出するランドマーク特徴量算出部２０４とを含む。

なお、ランドマーク情報とは、ランドマークの位置、高さ、形状などランドマークの属性情報である。また、ランドマーク特徴量とは、映像中のランドマークの特徴を示す特徴量である。

図４は、移動特徴量取得部３の構成の一例を示すブロック図である。図４に示されるように、移動特徴量取得部３は、映像撮影装置の速度を取得する速度取得部３０１と、映像撮影装置の位置を取得する位置取得部３０２と、経路情報を記憶する経路情報記憶装置３０３と、速度取得部３０１が取得した方位、位置取得部３０２が取得した位置および経路情報にもとづいて移動特徴量を算出する移動特徴量算出部３０４とを含む。

なお、経路情報とは、経路の位置、種類、車線数、交差点／分岐点の位置および信号の有無など、映像撮影装置が移動中に通過しうる経路の属性情報である。また、移動特徴量とは、映像撮影装置の移動状態の特徴を示す特徴量である。

映像取得部１は、例えば、コンピュータの演算処理装置（図示されない）、プログラムおよび入力インタフェース（図示されない）によって実現される。映像取得部１は、移動撮影装置（映像撮影装置）により撮影された映像を入力する。移動撮影装置は、例えば、ＣＣＤデジタルカメラやビデオカメラなどの映像機器である。移動撮影装置は、車両、人物、船舶、航空機などの移動手段の位置や向きによって、撮影位置や撮影方向が変化する。

ランドマーク特徴量取得部２は、映像を撮影した映像撮影装置の方位および位置と、ランドマーク情報記憶装置２０３に予め登録されているランドマークの位置や高さの情報（ランドマーク情報）とにもとづいて、ランドマーク特徴量を算出する。

ランドマーク特徴量取得部２は、ランドマーク特徴量として、ランドマークの画面上の位置（画面中心からのずれ量）やサイズを求める。ランドマークとは、ビル、橋、塔のような人工建築物や、山や湖のような自然構造物など、位置および形状を記述可能な物体である。なお、移動位置および時刻が既知であれば、時刻と位置データとの組み合わせ集合によって記述することが可能な電車などの移動物体をランドマークとして用いてもよい。

ランドマークを記述するために、ランドマークの代表点が用いられる。例えば、ランドマークを記述するために、ランドマークの重心点の緯度、経度および高さが用いられる。また、例えば、ランドマークを構成するポリゴンなどの各点の位置の緯度、経度および高さを表したデータ群が用いられてもよい。

ランドマーク情報記憶装置２０３は、例えば、磁気ディスク装置によって実現される。ランドマーク情報記憶装置２０３は、ランドマーク情報として、ランドマークの位置、高さおよび形状を予め記憶する。なお、ランドマーク情報記憶装置２０３は、ランドマークの位置、高さおよび形状に加えて、ランドマークの歴史、利用料金、有名度などの付随情報をランドマーク情報として記憶してもよい。

位置取得部２０２は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。ここで、映像撮影装置の位置は、緯度、経度および高さを用いて記述される。位置取得部２０２は、映像撮影装置の緯度、経度および高さの情報を、例えば、ＧＰＳ（Global Positioning System）装置から入力する。

方位取得部２０１は、例えば、コンピュータの演算処理装置および入力インタフェースによって実現される。方位取得部２０１は、映像撮影装置の撮影方向（方位）を、磁気コンパス、電子コンパスまたはジャイロセンサから入力する。

ランドマーク特徴量算出部２０４は、例えば、コンピュータの演算処理装置及びプログラムによって実現される。画角は、映像撮影装置のカメラの焦点距離およびＣＣＤ素子のサイズから計算され、予め既知であるとする。ランドマーク特徴量算出部２０４は、ランドマーク情報記憶装置２０３に予め登録されているランドマークの位置を用いて、映像撮影装置の位置からみた場合のランドマークの各点の方向と距離とを算出する。ランドマーク特徴量算出部２０４は、撮影方向および画角とにもとづいて、ランドマークの相対位置をカメラの画面上の位置に変換してランドマーク特徴量として算出する。また、ランドマーク特徴量算出部２０４は、ランドマークの画面上のサイズをランドマーク特徴量として算出する。

移動特徴量取得部３は、映像撮影装置の移動状態の特徴を示す移動特徴量を算出する。移動特徴量取得部３は、映像撮影装置の位置、移動速度、および経路情報記憶装置３０３に予め登録されている経路情報にもとづいて、移動特徴量として、走行状態や直進度（走行直進度）、寄り道度、走行速度を算出する。

経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。経路情報記憶装置３０３は、経路情報として、経路の位置、種類（国道や私道など）、車線数、交差点／分岐点の位置および信号の有無などを予め記憶する。

位置取得部３０２は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。位置取得部３０２は、映像撮影装置の緯度、経度および高さの情報を、例えば、ＧＰＳからの入力によって取得する。なお、位置取得部３０２は、ランドマーク特徴量取得部２に含まれる位置取得部２０２と同じものであってもよい。

速度取得部３０１は、例えば、コンピュータの演算処理装置、プログラムおよび入力インタフェースによって実現される。速度取得部３０１は、映像撮影装置の移動速度を、例えば、スピードメータやカーナビゲーション装置から入力する。これにより、速度取得部３０１は、映像撮影装置の移動速度を取得する。

移動特徴量算出部３０４は、例えば、コンピュータの演算処理装置およびプログラムによって実現される。「走行状態」を求める場合、移動特徴量算出部３０４は、映像撮影装置の移動速度と、経路の位置、種類（国道や私道など）、車線数、交差点／分岐点の位置および信号の有無などの経路情報とを用いて、信号または渋滞で停止している状態か、低速走行状態か、通常走行状態かを判定する。なお、経路情報が利用できない場合には、移動特徴量算出部３０４は、映像撮影装置の移動速度のみを用いて状態判定を行う。

「直進度」を求める場合、移動特徴量算出部３０４は、連続する位置における速度ベクトルのなす角度の大きさに基づいて直線度を算出する。移動特徴量算出部３０４は、直進度と、経路情報に含まれる交差点位置情報とを用いた閾値判定によって、交差点を右折する状態であるか左折する状態であるかの状態判定を行うこともできる。なお、移動手段が自動車などである場合には、移動特徴量算出部３０４は、連続する位置を利用するとともに、ハンドルや車輪の回転角度を用いて直進度を求めてもよい。

また、移動特徴量算出部３０４は、ナビゲーションシステムなどにより目標地点へのルートが設定されている場合には、映像撮影装置の現在位置とルート（設定移動ルート）との距離のずれ（以下、ルートずれ量と記す）を、「寄り道度」として求める。

映像種類判定部４は、例えば、コンピュータの演算処理装置及びプログラムによって実現される。映像種類判定部４は、映像コンテンツの種類（映像シーンの種類）を、各映像シーンにおける「ランドマーク特徴量」および「移動特徴量」にもとづいて判定する。映像種類判定部４は、ランドマーク特徴量における画角内のランドマークの数、画面上の位置およびサイズと、移動特徴量における走行状態、直進度およびルートずれ量とをそれぞれ閾値判定することによって、映像シーンの種類を判定する。

なお、本実施の形態において、ランドマーク特徴量取得部２は必ずしも必須の構成要素ではない。映像加工システムがランドマーク特徴量取得部２を含まない場合には、映像種類判定部４は、移動特徴量取得部３が求めた移動特徴量のみにもとづいて、映像シーンの種類を判定する。

また、全ての映像シーンの種類を判定するのでなく、映像種類判定部４は、重要な映像シーンのみについて映像シーンの種類を判定するようにしてもよい。この場合、映像種類判定部４は、「移動特徴量」および「ランドマーク特徴量」にもとづいて映像シーンの重要度を求める。そして、映像種類判定部４は、求めた重要度にもとづいて重要と判断された映像シーンのみについて、映像シーンの種類を判定する。

映像加工部５は、例えば、コンピュータの演算処理装置、プログラムおよび記憶装置（図示されない）によって実現される。映像加工部５は、映像種類判定部４が種類を判定した映像シーンに対する加工方法を、映像コンテンツの利用用途（観光案内、ドライブルート把握、監視など）に応じて決定する。なお、「監視」の例として、移動型ロボットに搭載されたカメラを用いて病院や工場内の監視することが挙げられる。また、映像加工部５は、映像取得装置１が取得した映像を、映像コンテンツの利用用途に応じて決定した加工方法に従って加工し出力する。

なお、利用用途については、ユーザが指示／選択してもよいし、映像の撮影場所および抽出したランドマークによって自動的に選択されるようにしてもよい。

映像コンテンツの利用用途に対する加工方法は予め設定される。例えば、映像加工部５は、加工方法の設定情報を予め記憶している。映像加工部５は、加工方法設定として予め汎用な加工方法のパターンを使用してもよいし、ユーザが好みに応じて作成および変更したものを用いてもよい。

特に、ランドマークが存在することを理由に抽出されたシーンでは、そのランドマークの存在をユーザに知らせるために、ランドマーク名がテロップで表示されると効果的である。そのため、映像加工部５は、画面上にテロップ表示させる加工を行う。また、曲がり角であることを理由に抽出されたシーンでは、画面に映る風景が大きく左右に流れるので、映像加工部５は、通常またはスロー再生をさせる加工を行うとともに、曲る方向を表示させる加工を行う。

表示部６は、例えば、コンピュータの表示装置（図示されない）によって実現される。表示部６は、映像加工部５により加工された映像コンテンツを表示する。なお、表示部６は、映像とともに地図上での撮影位置および撮影方向を同期させて表示してもよい。

本実施の形態において、映像入力部は、映像取得部１に対応する。速度入力部は、速度取得部３０１に対応する。第１の位置入力部は、位置取得部３０２に対応する。経路情報記憶部は、経路情報記憶装置３０３に対応する。方位入力部は、方位取得部２０１に対応する。第２の位置入力部は、位置取得部２０２に対応する。ランドマーク情報記憶部は、ランドマーク情報記憶装置２０３に対応する。

また、本実施の形態において、映像加工システムを実現するためのコンピュータの記憶装置は、映像種類判定の処理や映像加工の処理を実行させるための各種プログラムを記憶している。例えば、映像加工システムを実現するコンピュータの記憶装置には、コンピュータに、映像撮影装置が撮影した映像を入力する映像入力処理と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得処理と、移動特徴量にもとづいて、入力した映像の映像シーンの種類を判定する映像種類判定処理とを実行させるための映像種類判定プログラムが格納されている。

また、例えば、映像加工システムを実現するコンピュータの記憶装置には、コンピュータに、映像撮影装置が撮影した映像を入力する映像入力処理と、映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得処理と、移動特徴量にもとづいて、入力した映像の映像シーンの種類を判定する映像種類判定処理と、判定した映像シーンの種類にもとづいて映像の加工方法を決定し、決定した加工方法に従って映像を加工する映像加工処理とを実行させるための映像加工プログラムが格納されている。

以上のように、本実施の形態によれば、映像加工システムは、移動特徴量及び／あるいはランドマーク特徴量にもとづいて、映像シーンの種類を判定することができる。また、映像加工システムは、映像シーンの種類および利用用途に応じた加工方法に従って映像を加工することができる。

また、本実施の形態によれば、映像シーンの種類を判定できるので、冗長な映像シーンであることや、画角が大きく変動する映像シーンであることを判定することが可能となる。その場合、各映像シーンに対して高速再生やスロー再生の加工を施すことによって、冗長性が高く変化の多い移動映像を見やすくなるように加工することが可能となる。また、本実施の形態によれば、利用目的に応じて、各映像シーンに対応する加工方法を切り替えることによって、利用目的に応じた加工映像を提供することが可能となる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を図面を参照して説明する。図５は、本実施の形態に係る映像加工システムの構成の例を示すブロック図である。図５に示されるように、本実施の形態において、映像加工システムは、端末４０ａとサーバ５０ａとを含む。また、図５に示されるように、端末４０ａとサーバ５０ａとは、通信ネットワーク１００を介して接続されている。なお、本実施の形態では、通信ネットワーク１００が無線通信ネットワークであるとする。

端末４０ａは、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末である。図５に示されるように、端末４０ａは、映像取得部１、方位取得部２０１、位置取得部４０２、速度取得部３０１および表示部６を含む。

映像取得部１、方位取得部２０１、位置取得部４０２および速度取得部３０１は、端末４０ａの演算処理装置（図示されない）、演算処理装置によって実行されるプログラム、入力インタフェース（図示されない）およびネットワークインタフェース（図示されない）によって実現される。また、表示部６は、端末４０ａの演算処理装置、表示装置（図示されない）およびネットワークインタフェースによって実現される。

なお、映像取得部１が映像を取得する手順、方位取得部２０１が映像撮影装置の方位を取得する手順、速度取得部３０１が映像撮影装置の移動速度を取得する手順、および表示部６が映像コンテンツを表示する手順は、第１の実施の形態と同様である。また、位置取得部４０２が映像撮影装置の位置を取得する手順は、第１の実施の形態で示された位置取得部２０２および位置取得部３０２が映像撮影装置の位置を取得する手順と同様である。

サーバ５０ａは、図５に示されるように、ランドマーク情報記憶装置２０３、ランドマーク特徴量算出部２０４、経路情報記憶装置３０３、移動特徴量算出部３０４、映像種類判定部４および映像加工部５を含む。

ランドマーク情報記憶装置２０３および経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。ランドマーク特徴量算出部２０４、移動特徴量算出部３０４および映像加工部５は、サーバ５０ａの演算処理装置（図示されない）、プログラムおよびネットワークインタフェース（図示せず）によって実現される。映像種類判定部４は、サーバ５０ａの演算処理装置及びプログラムによって実現される。

ランドマーク情報記憶装置２０３が記憶するランドマーク情報、および経路情報記憶装置３０３が記憶する経路情報の内容については、第１の実施の形態と同様である。また、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順、移動特徴量算出部３０４が移動特徴量を算出する手順、映像種類判定部４が映像種類を判定する手順、および映像加工部５が映像を加工する手順は、第１の実施の形態と同様である。

本実施の形態では、端末４０ａは、映像、映像撮影装置の方位、位置および速度情報を、通信ネットワーク１００を介してサーバ５０ａ（映像加工部５、ランドマーク特徴量算出部２０４、移動特徴量算出部３０４）に送信する。サーバ５０ａは、受信した映像撮影装置の方位および位置にもとづいてランドマーク特徴量を算出する。また、サーバ５０ａは、受信した映像撮影装置の位置および速度情報にもとづいて移動特徴量を算出する。

サーバ５０ａ（映像種類判定部４）は、ランドマーク特徴量および移動特徴量にもとづいて映像の種類を判定する。また、サーバ５０ａ（映像加工部５）は、受信した映像を、映像の種類に応じて加工する。そして、サーバ５０ａは、加工した映像を、通信ネットワーク１００を介して端末４０ａに送信する。すると、端末４０ａ（表示部６）は、受信した加工後の映像を表示する。

本実施の形態において、ランドマーク情報記憶部は、サーバ５０ａのランドマーク情報記憶装置２０３に対応する。経路情報記憶部は、サーバ５０ａの経路情報記憶装置３０３に対応する。サーバ側送信部は、サーバ５０ａの制御部およびネットワークインタフェース部に対応する。

また、本実施の形態において、映像入力部は、端末４０ａの映像取得部１に対応する。方位入力部は、端末４０ａの方位取得部２０１に対応する。位置入力部は、端末４０ａの位置取得部４０２に対応する。速度入力部は、端末４０ａの速度取得部３０１に対応する。端末側送信部は、端末４０ａの演算処理装置およびネットワークインタフェースに対応する。映像表示部は、端末４０ａの表示部６に対応する。

本実施の形態によれば、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末は、映像、撮影方位、撮影位置および移動速度を取得してサーバに送信する。これにより、第１の実施の形態と同様に、映像シーンおよび利用用途に応じた加工方法に従って加工された映像を表示することが可能となる。

（第３の実施の形態）
次に、本発明の第３の実施の形態を図面を参照して説明する。図６は、本実施の形態に係る映像加工システムの構成の例を示すブロック図である。図６に示されるように、本実施の形態において、映像加工システムは、端末４０ｂとサーバ５０ｂとを含む。また、図６に示されるように、端末４０ｂとサーバ５０ｂとは、通信ネットワーク１００を介して接続される。なお、本実施の形態では、第２の実施の形態と同様に、通信ネットワーク１００が無線通信ネットワークであるとする。

端末４０ｂは、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末である。図６に示されるように、端末４０ｂは、映像取得部１、方位取得部２０１、位置取得部４０２、速度取得部３０１、映像加工部５および表示部６を含む。

映像取得部１は、端末４０ｂの演算処理装置（図示されない）、プログラムおよび入力インタフェース（図示されない）によって実現される。また、方位取得部２０１、位置取得部４０２および速度取得部３０１は、端末４０ｂの演算処理装置、プログラム、入力インタフェースおよびネットワークインタフェース（図示されない）によって実現される。また、映像加工部５は、端末４０ｂの演算処理装置、プログラムおよびネットワークインタフェースによって実現される。また、表示部６は、端末４０ｂの演算処理装置および表示装置（図示されない）によって実現される。

なお、映像取得部１が映像を取得する手順、方位取得部２０１が映像撮影装置の方位を取得する手順、速度取得部３０１が映像撮影装置の移動速度を取得する手順、映像加工部５が映像を加工する手順、および表示部６が映像コンテンツを表示する手順は、第１の実施の形態と同様である。また、位置取得部４０２が映像撮影装置の位置を取得する手順は、第１の実施の形態で示された位置取得部２０２および位置取得部３０２が映像撮影装置の位置を取得する手順と同様である。

サーバ５０ｂは、図６に示されるように、ランドマーク情報記憶装置２０３、ランドマーク特徴量算出部２０４、経路情報記憶装置３０３、移動特徴量算出部３０４および映像種類判定部４を含む。

ランドマーク情報記憶装置２０３および経路情報記憶装置３０３は、例えば、磁気ディスク装置によって実現される。ランドマーク特徴量算出部２０４、移動特徴量算出部３０４および映像種類判定部４は、サーバ５０ｂの演算処理装置（図示されない）、プログラムおよびネットワークインタフェース（図示されない）によって実現される。

なお、ランドマーク情報記憶装置２０３が記憶するランドマーク情報、および経路情報記憶装置３０３が記憶する経路情報の内容については、第１の実施の形態と同様である。また、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順、移動特徴量算出部３０４が移動特徴量を算出する手順、および映像種類判定部４が映像種類を判定する手順は、第１の実施の形態と同様である。

本実施の形態では、端末４０ｂは、映像撮影装置の方位、位置および速度情報のみを、通信ネットワーク１００を介してサーバ５０ｂ（ランドマーク特徴量算出部２０４、移動特徴量算出部３０４）に送信する。サーバ５０ｂ（ランドマーク特徴量算出部２０４）は、受信した映像撮影装置の方位および位置にもとづいてランドマーク特徴量を算出する。また、サーバ５０ｂ（移動特徴量算出部３０４）は、受信した映像撮影装置の位置および速度情報にもとづいて移動特徴量を算出する。

サーバ５０ｂ（映像種類判定部４）は、ランドマーク特徴量および移動特徴量にもとづいて映像の種類を判定する。そして、サーバ５０ｂは、映像種類の判定結果を、通信ネットワーク１００を介して端末４０ｂに送信する。

端末４０ｂ（映像加工部５）は、受信した映像種類の判定結果にもとづいて、映像取得部１によって取得された映像を加工する。そして、端末４０ｂ（表示部６）は、加工された映像を表示する。

本実施の形態において、ランドマーク情報記憶部は、サーバ５０ｂのランドマーク情報記憶装置２０３に対応する。経路情報記憶部は、サーバ５０ｂの経路情報記憶装置３０３に対応する。サーバ側送信部は、サーバ５０ｂの演算処理装置およびネットワークインタフェースに対応する。

また、本実施の形態において、映像入力部は、端末４０ｂの映像取得部１に対応する。方位入力部は、端末４０ｂの方位取得部２０１に対応する。位置入力部は、端末４０ｂの位置取得部４０２に対応する。速度入力部は、端末４０ｂの速度取得部３０１に対応する。端末側送信部は、端末４０ｂの演算処理装置およびネットワークインタフェースに対応する。映像表示部は、端末４０ｂの表示部６に対応する。

本実施の形態によれば、人物が携帯したり、車両、船舶、航空機などの移動手段に搭載される端末は、撮影方位、撮影位置および移動速度を取得してサーバに送信する。これにより、映像シーンの判定結果を得ることが可能となる。また、撮影方位、撮影位置および移動速度に加えて映像をサーバに送信する場合（第２の実施の形態）と比較して、通信ネットワーク上の通信量が大幅に低減される。

第１動作例：
次に、第１の実施の形態で示しされた映像加工システムの動作例を図面を参照して説明する。図７は、映像加工システムの動作の例を示すフローチャートである。以下、このフローチャートを用いて、映像加工システムの動作例を説明する。

映像取得部１は、ＣＣＤカメラなどの映像撮影装置から画像を取得し記録する（ステップＳ１）。方位取得部２０１は映像撮影装置の撮影方向を取得し、位置取得部２０２は映像撮影装置の撮影位置を取得する（ステップＳ２）。以下、方位取得部２０１により取得される撮影方向および位置取得部２０２により取得される撮影位置は、「撮影情報」と参照される。

なお、この動作例では、位置取得部２０２と位置取得部３０２とが同じものである場合が示される。従って、ステップＳ２において取得された撮影位置は、ランドマーク特徴量を求めるために用いられるだけでなく、移動特徴量取得部３が移動特徴量を求める場合にも用いられる。

ランドマーク特徴量取得部２は、映像取得部１が取得した映像に関連付けて撮影情報を記録する。例えば、映像の１コマの記録方法としてＪＰＥＧが用いられる場合であれば、ヘッダに撮影情報が記録されてもよい。また、取得時間がタイムスタンプとして、映像や撮影情報に記録されてもよい。これにより、映像と撮影情報とが一対一に対応する。

一般に、ビデオカメラなどの映像撮影装置は、一秒間に３０コマ程度の映像の記録を行う。しかし、ＧＰＳなどが、位置情報（緯度、経度）を、毎秒一回以上取得することは困難である。そのため、移動方向および速度を用い、直近の位置情報を補正することによって、現在の位置情報が推定されればよい。なお、映像の取得および位置情報の取得をリアルタイムに同時に行える場合には、時間情報の同期を行う必要はない。

ランドマーク特徴量算出部２０４は、ランドマーク情報記憶装置２０３に格納されたランドマーク情報を抽出し取得する（ステップＳ３）。ここで、各ランドマークをＯ_ｉ（ｉ＝１〜Ｎ）とする。ランドマークがＫ個の頂点を持つ多角形柱として定義され、各頂点の位置が経度、緯度および高さを用いて（ｘ，ｙ，ｚ）と表されるとする。この場合、ランドマークＯ_ｉのｋ個目の上部の頂点は、（Ｏ_ｉＬｏｎ_ｋ，Ｏ_ｉＬａｔ_ｋ，ｈ_ｉ）と表されるとする。

ランドマーク特徴量算出部２０４は、撮影位置、撮影方位、ランドマークの位置および予め求めた画角にもとづいて、ランドマーク特徴量を算出する（ステップＳ４）。ランドマーク特徴量として、本動作例では、画面上のランドマークの位置（ＬＦ１）、画面上のランドマークのサイズ（ＬＦ２）、画面上にランドマークが映る割合（ＬＦ３）および画角内に存在するランドマークの数（ＬＦ０）が用いられる。以下、ランドマーク特徴量算出部２０４がランドマーク特徴量を算出する手順を説明する。

ランドマーク特徴量算出部２０４は、撮影位置からの各ランドマークＯ_ｉ（ｉ＝１〜Ｎ）の相対位置をカメラ画角に変換する。これにより、ランドマークが画角内に存在するかどうかの判定が行われ、また、ランドマークの画面上の位置およびサイズが算出される。なお、カメラ画角に変換するとは、ランドマークが画面上のどの位置に映るかを計算することをいう。

ランドマーク特徴量算出部２０４は、前処理として、ランドマーク情報記憶装置２０３に格納された全てのランドマーク情報に対応するランドマークのうち、画角内に存在する可能性のあるランドマークを選択する。そして、ランドマーク特徴量算出部２０４は、選択されたランドマークに対して、カメラ画角への変換処理を行う。

現フレームにおける撮影位置の緯度および経度を（ＣａｒＬｏｎ，ＣａｒＬａｔ）、撮影方位をｄｉｒ、ランドマークＯｉの多角形の頂点の数をＫ＝４と仮定する。以下、ランドマークが画角内に存在するか否かの判定手順を図面を用いて説明する。なお、本例において、撮影方位は、北を０度とした場合の時計方向周りの角度で表される。

図８は、ランドマークが水平画角内に存在するか否かを判定する処理を説明するための図である。ランドマーク特徴量算出部２０４は、撮影位置からランドマークＯ_ｉ（本例では、ランドマークＡ）の各頂点への方角ＯｂｊＤｉｒ_ｋと移動方向（撮影方向）との角度差ｄｉｆｆ_ｋを以下の式（１）を用いて求める。

ランドマーク特徴量算出部２０４は、式（１）を用いて求めた角度差ｄｉｆｆ_ｋが画角内であるか否かを、下記式（２）を用いて判定する。例えば、図８に示されるように、カメラの水平画角ＣａｍｅｒａＡｎｇｌｅＨが５０度であるとすると、角度差ｄｉｆｆ_ｋが画角内であるためには、角度差ｄｉｆｆ_ｋが±２５度以内であればよい。

図９は、ランドマークが垂直画角内に存在するか否かを判定する処理を説明するための図である。ランドマーク特徴量算出部２０４は、撮影位置からランドマークまでの距離ｄｉｓｔ_ｉとランドマークの高さｈ_ｉとにもとづいて、撮影位置からランドマークの頂点を見上げた角度ｌｏｏｋｕｐ_ｉを下記式（３）を用いて算出する。

ランドマーク特徴量算出部２０４は、式（３）を用いて求めた角度ｌｏｏｋｕｐ_ｉが画角内であるか否かを下記式（４）を用いて判定する。例えば、図９に示されるように、カメラの垂直画角ＣａｍｅｒａＡｎｇｌｅＶが３８度であるとする。角度ｌｏｏｋｕｐｉが式（４）を満たす場合に、ランドマーク特徴量算出部２０４は、ランドマーク全体が見えている可能性があると判定する。

なお、上述の式（１）〜式（４）において、撮影位置からランドマークＯ_ｉの各頂点への方角ＯｂｊＤｉｒ_ｋや撮影位置からランドマークまでの距離ｄｉｓｔ_ｉが用いられたが、２地点間の距離および方位は、以下の方法により求められる。

測点１の座標を（ｘ_１，ｙ_１）、測点２の座標を（ｘ_２，ｙ_２）とする。また、平均曲率半径をＲ_０、座標系の原点における縮尺係数をｍ_０とする。この場合、２地点間の測地線長Ｓは、以下の式（５）により求められる。

また、測点１における測点２の方向角をＴ_１、および測点２における測点１の方向角をＴ_２は、以下の式（６）により求められる。

なお、式（５）および式（６）で示された計算式は、日本国の国土地理院のホームページ（http://vldb.gsi.go.jp/sokuchi/surveycalc/algorithm/xy2st/xy2st.htm）に記載されている。

以上の手順に従って、ランドマーク特徴量算出部２０４は、ランドマークＯ_ｉが画角内に存在するか否かを、式（２）を満たす頂点ｋが存在するか否かによって判定することができる。また、ランドマーク特徴量算出部２０４は、頂点ｋに関する角度差ｄｉｆｆ_ｋの符号（＋または−）によって、そのランドマークＯ_ｉが映像の右側に存在するか左側に存在するのかを判定することができる。また、ランドマーク特徴量算出部２０４は、全ての頂点ｋが式（２）および式（４）を満たすか否かによって、ランドマーク全体が画角に存在するのか、一部が画角からはみ出しているのかを判定することができる。

ランドマーク特徴量算出部２０４は、式（２）および式（４）を満たすランドマークＯ_ｉについてのみ、画面上におけるランドマークの位置やサイズの算出を行う。ランドマーク特徴量算出部２０４は、画角内に存在するランドマークＯ_ｉの各頂点ｋ（＝１〜４）に対し、それぞれ画面上の位置（ｘ_ｋ，ｙ_ｋ）を算出する。そして、ランドマーク特徴量算出部２０４は、それら頂点を含む外接矩形（ｘ_ｍｉｎ，ｙ_ｍｉｎ）〜（ｘ_ｍａｘ，ｙ_ｍａｘ）を、下記式（７）を用いて抽出する。なお、式（７）おいて、“Ｍｉｎ”は最小値を抽出する関数であり、“Ｍａｘ”は最大値を抽出する関数である。

また、ランドマーク特徴量算出部２０４は、角度差ｄｉｆｆ及び角度ｌｏｏｋｕｐに対応する点Ｐの画面上での位置（ｘ，ｙ）を求める。図１０は、点Ｐの画面上での位置（ｘ，ｙ）を求める処理を説明するための図である。画面は、例えば６４０ｘ４８０画素を有するとする。ランドマーク特徴量算出部２０４は、点Ｐの画面上での位置（ｘ，ｙ）を下記式（８）を用いて求める。

次に、ランドマーク特徴量算出部２０４は、ランドマークが画角内に映る割合およびサイズを算出する。ランドマーク特徴量算出部２０４は、画像外の領域を含めたランドマーク全体の大きさＳｉｚｅを下記式（９）を用いて求める。また、ランドマーク特徴量算出部２０４は、ランドマークのうち画像内に映っている部分の大きさＳｉｚｅ’を式（１０）を用いて求める。

また、ランドマーク特徴量算出部２０４は、ランドマークが画角内に映る割合Ｐｔを下記式（１１）を用いて算出する。

ランドマーク特徴量算出部２０４は、各ランドマークに対してランドマーク特徴量（ＬＦ１，ＬＦ２，ＬＦ３）を算出する。この場合、ランドマーク特徴量算出部２０４は、ランドマークＯ_ｉの位置の特徴量ＬＦ１_ｉとして、（ｘ_ｍｉｎ，ｙ_ｍｉｎ，ｘ_ｍａｘ，ｙ_ｍａｘ）を用いてもよい。また、簡略化のため、ランドマーク特徴量算出部２０４は、ランドマークＯ_ｉの中心点を用いて、ＬＦ１_ｉ＝（（ｘ_ｍｉｎ＋ｘ_ｍａｘ）／２，（ｙ_ｍｉｎ＋ｙ_ｍａｘ）／２）としてもよい。

また、ランドマーク特徴量算出部２０４は、ランドマークＯ_ｉのランドマーク特徴量ＬＦ２およびＬＦ３のそれぞれを、ＬＦ２_ｉ＝ＳｉｚｅおよびＬＦ３_ｉ＝Ｐｔとして決定する。

また、ランドマーク特徴量算出部２０４は、画角内に存在すると判定されたランドマークの数を求める。ランドマーク特徴量算出部２０４は、ランドマーク特徴量ＬＦ０として、式（２）および式（４）を満たすランドマークの数を求める。

なお、ランドマーク特徴量算出部２０４は、その他のランドマーク特徴量として、ランドマークのジャンル（ＬＦ４）、ランドマークの有名度（ＬＦ５）、同一のランドマークが映っている積算時間を求めてもよい。

移動特徴量算出部３０４は、速度取得部３０１からの入力によって移動速度を取得する（ステップＳ５）。速度取得部３０１は、映像撮影装置の移動速度を、例えば、自動車であればスピードメータやカーナビゲーション装置から取得する。なお、移動特徴量算出部３０４は、移動速度を、位置取得部３０２が連続して取得した映像撮影装置の位置を時間微分することによって求めてもよい。

移動特徴量算出部３０４は、経路情報記憶装置３０３に格納された経路情報を取得する（ステップＳ６）。移動特徴量算出部３０４は、経路情報として経度／緯度の点列、道路の種類（国道や私道など）、道幅、車線数、交差点の有無、信号の有無および制限速度などを抽出する。この場合、移動特徴量算出部３０４は、上記ステップＳ２で取得された撮影位置に基づいて、経路情報記憶装置３０３に格納された経路情報のうち、映像撮影装置の移動ルートの付近に対応する経路情報を抽出する。

移動特徴量算出部３０４は、映像撮影装置の位置、移動速度および経路情報とにもとづいて移動特徴量を算出する（ステップＳ７）。なお、この場合、移動特徴量算出部３０４は、ステップＳ２で取得された映像撮影装置の撮影位置（移動位置）を用いる。また、本動作例では、移動特徴量として、走行状態（ＤＦ１）、直進度（ＤＦ２）および寄り道特徴量（ＤＦ３）が用いられる。

移動特徴量算出部３０４は、走行状態の特徴量ＤＦ１を、経路情報、移動速度Ｓｐ［ｋｍ／ｈｏｕｒ］および制限速度ＬＳ［ｋｍ／ｈｏｕｒ］を用いて以下の手順によって求める。移動特徴量算出部３０４は、移動速度Ｓｐが０であれば走行状態を“停止”とし、Ｓｐが（ＬＳ−１０）より小さければ走行状態を“低速”とし、Ｓｐが（ＬＳ−１０）以上であれば走行状態を“通常”とする。ここで、停止状態はＷＤＦ１＝０、低速走行状態はＷＤＦ１＝１、通常走行状態はＷＤＦ＝２で表されるとする。

例えば、「交差点＝無または有」、「信号＝有」および「ＷＤＦ＝０」の条件が満たされる場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝０」と決定する。また、「交差点＝無または有」、「信号＝無」および「ＷＤＦ１＝０」の条件が満たされる場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝１」と決定する。また、それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ１を「ＤＦ１＝２」と決定する。

また、移動特徴量算出部３０４は、直進度ＤＦ２を算出する。移動特徴量算出部３０４は、直進度を、現フレームの撮影位置と、所定の一定間隔前のフレームにおける撮影位置とを用いて算出する。図１１は、直進度の算出方法を説明するための図である。図１１においては、注目フレーム（現フレーム）時を含む５秒前までの撮影位置（Ｐ１〜Ｐ５）の軌跡が示されている。

移動特徴量算出部３０４は、１秒ごとに得られた５点の自車位置（撮影位置）Ｐ１〜Ｐ５から速度ベクトルＶ１〜Ｖ４を算出する。求められた速度ベクトルのなす角度の大きさが直進係数ｄｉｒｅｃｔと定義される。この時、移動特徴量算出部３０４は、直進係数ｄｉｒｅｃｔを下記式（１２）を用いて算出する。

交差点が離れており且つ直進係数が小さい場合、移動特徴量算出部３０４は、車はカーブ走行時であると判断し、特徴量ＤＦ２を中程度の値に設定する。また、直進係数が小さく且つ交差点が近い場合、移動特徴量算出部３０４は、車は右折または左折を行っていると判断し、特徴量ＤＦ２を大きな値に設定する。それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ２を小さな値に設定する。

例えば、予め所定の閾値ｔｈｒｅｓｄｉｒが設定されているとする。移動特徴量算出部３０４は、「ｄｉｒｅｃｔ＜ｔｈｒｅｓｄｉｒ」且つ「交差点＝無」の条件が満たされる場合には、特徴量ＤＦ２をＤＦ２＝２として設定する。また、移動特徴量算出部３０４は、「ｄｉｒｅｃｔ＜ｔｈｒｅｓｄｉｒ」且つ「交差点＝有」の条件が満たされる場合には、特徴量ＤＦ２をＤＦ２＝３として設定する。それ以外の場合、移動特徴量算出部３０４は、特徴量ＤＦ２をＤＦ２＝１として設定する。

また、移動特徴量算出部３０４は、寄り道特徴量ＤＦ３を、映像撮影装置の現在位置とナビゲーションシステムの案内ルートとのルートずれ量Ｒｄ、及び交差点の有無に基づいて算出する。なお、移動特徴量算出部３０４は、ルートずれ量Ｒｄそのものを移動特徴量として求めてもよい。

例えば、予め所定の閾値ｔｈｒｅｓＲｄが設定されているとする。移動特徴量算出部３０４は、「Ｒｄ＜ｔｈｒｅｓＲｄ」且つ「交差点＝無または有」の条件が満たされる場合に、特徴量ＤＦ３をＤＦ３＝１として決定する。また、移動特徴量算出部３０４は、「Ｒｄ＞ｔｈｒｅｓＲｄ」且つ「交差点＝有」の条件が満たされる場合に、特徴量ＤＦ３をＤＦ３＝２として決定する。また、移動特徴量算出部３０４は、「Ｒｄ＞ｔｈｒｅｓＲｄ」且つ「交差点＝無」の条件が満たされる場合には特徴量ＤＦ３をＤＦ３＝３として決定する。ただし、移動特徴量算出部３０４は、ルートずれ量Ｒｄを下記式（１３）を用いて算出する。

式（１３）において、ｘ，ｙは撮影位置を示す経度および緯度であり、Ｒｄ_ｘ，Ｒｄ_ｙはナビゲーションシステムの案内ルートを構成する１点の経度および緯度である。また、式（１３）において、Ｍｉｎは最小値を抽出する関数である。

移動特徴量算出部３０４は、以上の手順に従って求めた移動特徴量＝（ＤＦ１，ＤＦ２，ＤＦ３）を出力する。

なお、移動特徴量算出部３０４は、上記ＤＦ１、ＤＦ２およびＤＦ３以外に、道路サイズの変化を示す量を、移動特徴量ＤＦ４として用いてもよい。例えば、国道に対して“値２”が割り当てられ、私道に対して“値１”が割り当てられている場合を考える。車が国道から私道に入った時、移動特徴量算出部３０４は、ＤＦ４＝−１を移動特徴量ＤＦ４として算出する。また、車が私道から私道に入った時、移動特徴量算出部３０４は、ＤＦ４＝０を移動特徴量ＤＦ４として算出する。また、車が私道から国道に入った時、移動特徴量算出部３０４は、ＤＦ４＝１を移動特徴量ＤＦ４として算出する。

次に、映像種類判定部４は、ランドマーク特徴量および移動特徴量にもとづいて、映像コンテンツの種類を判定する（ステップＳ８）。本動作例では、映像種類判定部４は、映像シーンをカテゴリに分類することによって、映像コンテンツの種類を判定する。映像シーンをカテゴリに分類するために、映像種類判定部４は、各映像シーンに対して以下に説明される処理を行う。なお、本例では、移動特徴量として走行状態（ＤＦ１）および直進度（ＤＦ２）が、ランドマーク特徴量として画角内に存在するランドマークの数（ＬＦ０）が用いられる場合が示される。

本動作例では、映像種類判定部４は、ＤＦ２＝３であれば「曲がり角／分岐点カテゴリ」、ＤＦ１＝１であれば「渋滞カテゴリ」、ＤＦ１＝０であれば「信号待ちカテゴリ」を、映像のカテゴリとして決定する。また、映像種類判定部４は、ＬＦ０＝０でなければ、「ランドマークカテゴリ」を映像のカテゴリとして決定する。また、いずれの条件にも合致しない場合、映像種類判定部４は、「その他カテゴリ」を映像のカテゴリとして決定する。映像種類判定部４は、決定されたカテゴリを出力する。なお、映像種類判定部４は、１つの映像シーンを１つのカテゴリに分類してもよいし、１つの映像シーンを複数のカテゴリに分類してもよい。

なお、本動作例では、移動特徴量ＤＦ１およびＤＦ２と、ランドマーク特徴量ＬＦ０とを用いることによって、映像シーンの種類を判定する場合が説明された。しかし、映像シーンの種類の判定方法は、これに限られない。例えば、映像種類判定部４は、ランドマーク特徴量として、ＬＦ０〜ＬＦ３を用いて映像シーンの種類を判定してもよい。この場合、映像種類判定部４は、各映像シーンを、画面内にランドマーク全体が映っている場合の「全体ランドマークシーン」、ランドマークが画面中央に映っている場合の「前方ランドマークシーン」、および画面内にランドマークが大きく映っている場合の「大映りランドマークシーン」などに分類する。

例えば、映像種類判定部４は、「ＬＦ０≠０且つＬＦ３＞０．９」であれば「全体ランドマークシーン」を選択してもよい。「ＬＦ０≠０且つ｜ＬＦ１の座標（ｘ，ｙ）−画面の中心座標｜＜所定の閾値」であれば、映像種類判定部４は、「前方ランドマークシーン」を選択してもよい。「ＬＦ０≠０且つＬＦ２＞所定の閾値」であれば「大映りランドマークシーン」を選択してもよい。また、映像種類判定部４は、更にランドマーク特徴量ＬＦ４及びＬＦ５を用いて、例えば、各映像シーンを、「山シーン」、「建物シーン」または「有名ランドマークシーン」に分類してもよい。

また、各移動特徴量および各ランドマーク特徴量に対する閾値が、利用用途によって変更されてもよい。映像種類判定部４は、閾値を利用用途によって変更させて映像シーンの種類を判定してもよい。

映像加工部５は、ステップＳ８で決定された映像シーンの種類（カテゴリ）とユーザによって指定された利用用途とにもとづいて、映像シーンに適用する映像の加工方法を、所定のルールに従って抽出する。図１２は、映像の加工方法に関する設定情報（ルール）の例を示している。本動作例では、映像加工部５は、記憶装置を有し、図１２に示される設定情報は予め記憶装置に記憶されている。映像加工部５は、図１２に示される設定情報に従って映像の加工方法を抽出する。なお、図１２に示される設定情報は、ユーザの入力によって更新することができる。

図１２に示すルールに従って、映像加工部５は、映像の加工の方法を以下のように設定する。例えば、映像種類がランドマークシーン（ランドマークカテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「テロップ付け」を選択する。また、映像種類がコーナリングシーン（曲がり角／分岐点カテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「スロー再生」および「案内指示表示」を選択する。また、映像種類が停止シーン（渋滞カテゴリまたは信号待ちカテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「スキップ（シーンカット）」を選択する。

また、映像種類がその他の非重要シーン（その他カテゴリ）であり、利用用途がルート把握である場合には、映像加工部５は、加工方法として「早回し再生（高速再生））」を選択する。また、映像種類がその他の非重要シーンであり、利用用途が観光である場合には、映像加工部５は、加工方法として「シーンカット」を選択する。

映像加工部５は、選択された加工方法に従って映像を加工する（ステップＳ９）。スロー再生加工を行う場合には、映像加工部５は、スロー再生倍率に従って映像フレーム間に補間フレームを挿入する。例えば、スロー再生倍率が２倍の場合、映像加工部５は、連続する第１フレームおよび第２フレームとの間に、補間フレームを挿入する。ここで、映像加工部５は、例えば、両フレームの画素値の平均を求めることによって補間フレームを作成することができる。

テロップ付け加工を行う場合には、映像加工部５は、画角内に存在する可能性のあるランドマーク名を画像上に重畳する。映像加工部５は、ランドマーク存在領域の上辺中央に表示するランドマークに被らないようにテロップを表示できるように加工する。また、テロップがルートの指示情報の表示である場合には、映像加工部５は、画面中央に表示するように加工する。ただし、表示スペースにランドマーク存在領域が重なっている場合は、映像加工部５は、ランドマーク存在領域の下辺と画面下端との中央位置に表示するように加工する。そのようにすれば、ランドマークに被らないように、道路領域上に重畳して表示できる。

シーンカット加工を行う場合には、映像加工部５は、フレームをスキップすることによって加工を行う。高速再生加工を行う場合には、映像加工部５は、高速倍率に従って前後フレーム間でフレームの間引きを行う。例えば、２倍速の場合、映像加工部５は、連続する２フレームにおいて、第２フレーム目をスキップすることにより２倍速再生を行う。

ランドマーク名のテロップやランドマークの付随情報およびルートの指示情報などが映像に重畳される場合、画面上の情報量が増える。そのため、高速再生や通常速度再生が行われると、ユーザが情報を把握しきれない場合がある。そこで、映像に重畳される情報量に応じて再生速度が遅く設定されてもよい。例えば、映像加工部５は、以下の式（１４）に基づいて、再生速度を設定してもよい。

「再生速度」＝「初期設定再生速度」／（１＋「重づけパラメータ」×「文字数」×「単語間の距離」） ・・・（１４）

映像加工部５は、全ての映像フレームに対して判定処理が終了したか否かを判断する（ステップＳ１０）。判定処理が終了していないフレームが存在する場合には、映像加工システムは、未処理フレームに対して、ステップＳ１以降の処理を繰り返し行う。全てのフレームに対して判定処理が行われた場合、映像加工部５は、加工処理により生成されたフレーム群を出力する。なお、映像加工部５は、決定した加工方法に従って、特定の種類の映像シーンのみを加工して出力するようにしてもよい。

表示部６は、出力されたフレーム群を再生し、映像を表示する（ステップＳ１１）。図１３は、表示部６が映像を表示する表示画面の一例を示している。図１３に示されるように、表示部６は、再生する映像を撮影位置周辺の地図と同期して表示する。また、表示画面には、ユーザの利用用途（例えば、ドライブルートシミュレーションや観光ドライブ案内）を指定入力できるユーザインターフェイスとして、用途選択ボタン１２００などが含まれる。

第２動作例：
次に、第１の実施の形態で示した映像加工システムの第２の動作例を図面を参照して説明する。図１４は、映像加工システムの動作の例を示すフローチャートである。以下、このフローチャートを用いて、映像加工システムの動作例を説明する。

図１４に示されるように、本動作例では、第１の動作例で示した各処理に加えて重要度判定の処理を行う。以下、新たに追加された重要度判定の処理（ステップＳ７ｂ）について説明する。なお、重要度判定以外の処理については、第１の動作例に示した場合と同様である。

映像種類判定部４は、ランドマーク特徴量（ＬＦ１，ＬＦ２，ＬＦ３）を用いて、ランドマークシーン重要度ｆ_ｌを算出する。ランドマークシーン重要度ｆ_ｌは、処理対象の映像シーンにおけるランドマークに関する重要度を示す。また、映像種類判定部４は、移動特徴量（ＤＦ１，ＤＦ２，ＤＦ３）を用いて、ドライブ情報シーン重要度ｆ_ｄを算出する。ドライブ情報シーン重要度ｆ_ｄは、処理対象の映像シーンにおけるドライビングに関する重要度を示す。

映像種類判定部４は、ランドマークシーン重要度ｆ_ｌを、下記式（１５）で表されるように、ランドマークごとの特徴量と重み付けパラメータとの積の和によって求める。また、映像種類判定部４は、ドライブ情報シーン重要度ｆ_ｄを、下記式（１６）で表されるように、各要素（特徴量および重み付けパラメータ）の積によって求める。なお、本動作例では、ランドマーク特徴量としてＬＦ１，ＬＦ２，ＬＦ３が用いられ、移動特徴量としてＤＦ１，ＤＦ２が用いられる場合が示される。

ただし、式（１５）において、ｄｉｓｔ（ＬＦ１，ＤｉｓｐＣｅｎｔｅｒ）は、下記式（１７）に示されるように、ＬＦ１（＝（ＬＦ１ｘ，ＬＦ１ｙ））と画面中央（ＤｉｓｐＣｅｎｔｅｒＸ，ＤｉｓｐＣｅｎｔｅｒＹ）との距離（ピクセル）を求める関数である。

各特徴量の重み付けパラメータＷ_ＬＦｉ（ｉ＝１〜３）およびＷ_ＤＦｉ（ｉ＝１，２）は、以下のルールに沿って決定される。すなわち、交差点での直進度が小さいほど重要度が高くなるように重み付けが定められる。また、交差点での移動速度が小さいほど重要度が低くなるように重み付けが定められる。また、寄り道度が高いほど重要度が高くなるように重み付けが定められる。また、右左折時の道路サイズ差が大きいほど重要度が高くなるように重み付けが定められる。

また、ランドマーク全体が画面中央に大きく映っている場合に重要度が高くなるように重み付けが定められる。また、有名度の高いランドマークほど重要度が高くなるように重み付けが定められる。また、安定度が高い（画面上でブレが少ない）ランドマークほど重要度が高くなるように重み付けが定められる。また、既に出現済みのランドマークは重要度が低くなるように重み付けが定められる。また、ランドマークの数が多いほど重要度が高くなるように重み付けが定められる。また、長く映っているランドマークほど重要度が高くなるように重み付けが定められる。

映像種類判定部４は、ランドマークシーンの重要度ｆ_ｌとドライブ情報シーン重要度ｆ_ｄとを用いて、総合的な映像シーンの重要度を決定する。以下、この総合的な映像シーンの重要度は、総合重要度ｆｔと参照される。映像種類判定部４は、予め定められたランドマークシーンとドライブ情報シーンとの配分比率に従って、総合重要度ｆｔを求めてもよい。また、映像種類判定部４は、ユーザにより設定されるカスタマイズ軸（後述される）に応じた配分比率に従って、総合重要度ｆｔを求めてもよい。映像種類判定部４は、映像シーンにおける統合重要度ｆｔを、下記式（１８）および下記式（１９）を用いて決定する。

本動作例によれば、予め定められた所定の閾値より大きい統合重要度ｆｔを有する映像シーンが、重要シーンとして選択され、映像加工の対象として用いられる。すなわち、映像種類判定部４は、総合重要度ｆｔが所定の閾値より大きいか否かを判定する（ステップＳ７ｂ）。そして、総合重要度ｆｔが所定の閾値より大きいと判定された場合、映像種類判定部４は、その映像シーンについて映像種類判定処理を行う（ステップＳ８）。総合重要度ｆｔが所定の閾値より小さいと判断された場合、映像加工システムは、ステップＳ１以降の処理を繰り返し実行する。

図１５は、ユーザにより設定されるカスタマイズ軸により計算の重み配分を決定する方法を説明するための図である。図１５に示されるように、ユーザは、カスタマイズ軸を調整することによって、ルートシミュレーション用途と観光ドライブ用途との度合い（統合重み付け比率）を自由に設定する。つまり、ユーザの利用用途に応じて、ルートシミュレーション系と観光ドライブ系との重み付けが変更され得る。従って、各利用用途に適した重要度の判定を行うことが可能となる。

また、ユーザの利用用途（例えば、ドライブルートシミュレーションや、観光ドライブ案内）を決定できるユーザインターフェイスとして、スライドバーなどが用いられてもよい。図１６は、表示画面の他の例を示している。図１６に示されるように、表示画面には、利用用途を設定するための切り替えスライドバー１５００が含まれていてもよい。

本発明による映像加工システムは、例えば、カーナビゲーションなどのドライブルートシミュレーションシステムや、ドライブルートシミュレーションを実現するためのプログラムといった用途に適用可能である。また、本発明による映像加工システムは、映像コンテンツを効果的に閲覧するための自動要約システムや、自動要約を実現するためのプログラムといった用途にも適用可能である。

Claims (31)

1. 移動する映像撮影装置により撮影された映像を入力する映像入力部と、
   前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、
   前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定する映像種類判定部とを備える
   映像種類判定システム。
2. 移動する映像撮影装置により撮影された映像を入力する映像入力部と、
   前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得する移動特徴量取得部と、
   前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定する映像種類判定部と、
   前記映像種類判定部によって判定された前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工する映像加工部とを備える
   映像加工システム。
3. 前記映像加工部によって加工された映像を表示する表示部を更に備えた
   請求項２に記載の映像加工システム。
4. 前記移動特徴量取得部は、
   前記映像撮影装置の移動速度を取得する速度入力部と、
   前記映像撮影装置の撮影位置を取得する第１位置入力部と、
   前記撮影位置および前記移動速度にもとづいて、前記映像シーンに対応する前記移動特徴量を算出する移動特徴量算出部と
   を含む
   請求項２または３に記載の映像加工システム。
5. 経路情報が格納された経路情報記憶部を更に備え、
   前記移動特徴量算出部は、前記経路情報と前記映像撮影装置の前記撮影位置及び前記移動速度とにもとづいて、前記映像シーンに対応する前記移動特徴量を算出する
   請求項４に記載の映像加工システム。
6. 前記経路情報は、経路の位置、種類、車線数、交差点の位置、分岐点の位置、及び信号の有無のうちの少なくとも１つを含む
   請求項５記載の映像加工システム。
7. 前記移動特徴量は、前記映像撮影装置の現在位置と設定ルートとのずれ量、走行速度、及び走行直進度のうちの少なくとも１つを含む
   請求項２乃至６のいずれかに記載の映像加工システム。
8. 前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得するランドマーク特徴量取得部を更に備え、
   前記映像種類判定部は、前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する
   請求項２乃至７のいずれかに記載の映像加工システム。
9. 前記ランドマーク特徴量取得部は、
   前記映像撮影装置の撮影方位を取得する方位入力部と、
   前記映像撮影装置の撮影位置を取得する第２位置入力部と、
   前記ランドマークの属性情報であるランドマーク情報が格納されたランドマーク情報記憶部と、
   前記ランドマーク情報、前記撮影位置、及び前記撮影方位とにもとづいて、前記映像シーンに対応する前記ランドマーク特徴量を算出するランドマーク特徴量算出部と
   を含む
   請求項８記載の映像加工システム。
10. 前記ランドマーク情報は、前記ランドマークの位置および形状を含む
    請求項９記載の映像加工システム。
11. 前記ランドマーク特徴量は、前記ランドマークの画面上でのサイズおよび画面中心からのずれ量のうちの少なくとも１つを含む
    請求項８乃至１０のいずれかに記載の映像加工システム。
12. 前記映像種類判定部は、前記移動特徴量および前記ランドマーク特徴量が閾値より大きいか否かを判断することによって、前記映像シーンの種類を判定する
    請求項８乃至１１のいずれかに記載の映像加工システム。
13. 前記移動特徴量および前記ランドマーク特徴量に対する前記閾値は、利用用途によって変更される
    請求項１２に記載の映像加工システム。
14. 前記映像種類判定部は、
    前記移動特徴量および前記ランドマーク特徴量のうちの少なくとも１つの値にもとづいて、前記映像シーンの重要度を算出し、前記算出された重要度が閾値より大きい場合に、前記映像シーンの種類を判定する
    請求項８乃至１１のいずれかに記載の映像加工システム。
15. 前記映像加工部は、特定の映像シーンの前記映像のみを加工する
    請求項２乃至１４のいずれかに記載の映像加工システム。
16. 前記表示部は、前記映像を表示するとともに、前記映像が撮影された位置を含む地図を表示する
    請求項３に記載の映像加工システム。
17. 前記表示部は、前記映像の利用用途をユーザが設定入力するためのユーザインタフェイスを備えた
    請求項３に記載の映像加工システム。
18. 前記映像シーンの種類は、曲がり角シーン、ランドマークシーン、渋滞シーン、信号待ちシーン、及びその他のシーンのうちの少なくとも１つを含む
    請求項２乃至１７のいずれかに記載の映像加工システム。
19. 前記映像加工部は、
    前記曲がり角シーンと判定された前記映像シーンがスロー再生されるように、前記映像を加工し、
    前記ランドマークシーンと判定された前記映像シーンに、ランドマーク情報のテロップが表示されるように、前記映像を加工し、
    前記渋滞シーンと判定された前記映像シーンが削除されるように、前記映像を加工し、
    前記信号待ちシーンと判定された前記映像シーンが削除されるように、前記映像を加工し、
    前記その他のシーンと判定された前記映像シーンが高速再生されるように、前記映像を加工する
    請求項１８記載の映像加工システム。
20. 映像撮影装置により撮影された映像を加工する映像加工システムのサーバであって、
    ランドマークの属性情報であるランドマーク情報を記憶するランドマーク情報記憶部と、
    前記ランドマーク情報と、端末から受信した前記映像撮影装置の撮影位置および撮影方位とにもとづいて、映像シーンに対応するランドマーク特徴量を算出するランドマーク特徴量算出部と、
    経路情報を記憶する経路情報記憶部と、
    前記経路情報と、前記端末から受信した前記映像撮影装置の撮影位置および移動速度とにもとづいて、前記映像シーンに対応する移動特徴量を算出する移動特徴量算出部と、
    前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する映像種類判定部と、
    前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工する映像加工部と、
    前記映像加工部により加工された映像を、通信ネットワークを介して前記端末に送信するサーバ側送信部とを備える
    サーバ。
21. 映像撮影装置により撮影された映像を加工する映像加工システムのサーバであって、
    ランドマークの属性情報であるランドマーク情報を記憶するランドマーク情報記憶部と、
    前記ランドマーク情報と、端末から受信した前記映像撮影装置の撮影位置および撮影方位とにもとづいて、映像シーンに対応するランドマーク特徴量を算出するランドマーク特徴量算出部と、
    経路情報を記憶する経路情報記憶部と、
    前記経路情報と、前記端末から受信した前記映像撮影装置の撮影位置および移動速度とにもとづいて、前記映像シーンに対応する移動特徴量を算出する移動特徴量算出部と、
    前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類を判定する映像種類判定部と、
    前記映像シーンの種類を、通信ネットワークを介して前記端末に送信するサーバ側送信部とを備える
    サーバ。
22. 映像撮影装置によって撮影された映像を加工する映像加工システムの端末であって、
    前記映像を入力する映像入力部と、
    前記映像撮影装置の撮影方位を入力する方位入力部と、
    前記映像撮影装置の撮影位置を入力する位置入力部と、
    前記映像撮影装置の移動速度を入力する速度入力部と、
    前記映像を加工するサーバに、前記映像、前記撮影方位、前記撮影位置および前記移動速度を、通信ネットワークを介して送信する端末側送信部と、
    前記サーバから受信する加工後の映像を表示する映像表示部とを備える
    端末。
23. 映像撮影装置によって撮影された映像を加工する映像加工システムの端末であって、
    前記映像を入力する映像入力部と、
    前記映像撮影装置の撮影方位を入力する方位入力部と、
    前記映像撮影装置の撮影位置を入力する位置入力部と、
    前記映像撮影装置の移動速度を入力する速度入力部と、
    映像シーンの種類を判定するサーバに、前記撮影方位、前記撮影位置および前記移動速度を、通信ネットワークを介して送信する端末側送信部と、
    前記サーバから受信する前記映像シーンの種類にもとづいて、前記映像の加工方法を決定し、前記決定された加工方法に従って、前記映像を加工する映像加工部と、
    前記映像加工部により加工された映像を表示する映像表示部とを備える
    端末。
24. 移動する映像撮影装置により撮影された映像を入力することと、
    前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
    前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定すること
    とを含む
    映像種類判定方法。
25. 移動する映像撮影装置により撮影された映像を入力することと、
    前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
    前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定することと、
    前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工すること
    とを含む
    映像加工方法。
26. 更に、加工された映像を表示することを含む
    請求項２５に記載の映像加工方法。
27. 更に、前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得することを含み、
    前記判定することにおいて、前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類が判定される
    請求項２５または２６に記載の映像加工方法。
28. 移動する映像撮影装置により撮影された映像を入力することと、
    前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
    前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定すること
    とをコンピュータに実行させるための
    映像種類判定プログラム。
29. 移動する映像撮影装置により撮影された映像を入力することと、
    前記映像撮影装置の移動状態の特徴を示す移動特徴量を取得することと、
    前記移動特徴量にもとづいて、前記映像に含まれる映像シーンの種類を判定することと、
    前記映像シーンの種類にもとづいて前記映像の加工方法を決定し、前記決定された加工方法に従って前記映像を加工すること
    とをコンピュータに実行させるための
    映像加工プログラム。
30. 加工された映像を表示すること
    を更にコンピュータに実行させる
    請求項２９に記載の映像加工プログラム。
31. 前記映像の画角内に存在するランドマークの特徴を示すランドマーク特徴量を取得することを更にコンピュータに実行させ、
    前記判定することにおいて、前記ランドマーク特徴量と前記移動特徴量とにもとづいて、前記映像シーンの種類が判定される
    請求項２９または３０に記載の映像加工プログラム。

Images