JPWO2014103731A1 - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

本技術は、ブレを含む動画像をブレの少ない動画像に変換できるようにする画像処理装置および方法、並びにプログラムに関する。変換動画像ファイル生成部１１６は、記憶部９３の動画像ファイルを構成する全フレーム画像を、複数の角度からなる画角変換、および回転変換することで変換画像を生成する。ノード差分算出部１１７は、オリジナル画像と変換画像との差分をノード差分として算出する。エッジ差分算出部１１８は、オリジナル画像および変換画像の時系列の全ての組み合わせの動画像ファイルが構成されるときのフレーム画像毎の時系列の前後の画像間の差分をエッジ差分として算出する。評価値算出部１１９は、生成される動画像ファイルの全てで、エッジ差分の総和と、ノード差分の総和との和に基づいて評価値を算出する。変換動画像ファイル選択部１２０は、最小評価値の動画像ファイルを選択する。本技術は、眼鏡型カメラに適用することができる。

Description

本技術は、画像処理装置および方法、並びにプログラムに関し、特に、ブレを含む動画像をブレの少ない動画像に変換できるようにした画像処理装置および方法、並びにプログラムに関する。

従来においては、ビデオカメラで画像を撮像する際に発生するブレ画像の対策は、ジャイロセンサなどのセンサを用いて機械的に発生したブレを補正して撮像する機械的手法と、オプティカルフローを用いた画像シフト型の電子的手法とに分類される。

これらの技術を組み合わせてブレ画像を補正する技術が提案されている（特許文献１参照）。

特開２０１１−２１７３１７号公報

しかしながら、上述した機械的手法については、小型化に限界があるため、例えば、眼鏡型のビデオカメラなどに搭載が困難であった。

また、電子的手法については、機械的な構成がないため、小型化は可能であるが、１枚１枚について画像を補正することになるため、動画として連続的に再生すると、前後の関係が無視された状態で補正されることになるため、全体として再生された動画像を視聴すると見づらい画像となり、視聴者が、いわゆる乗り物酔いに似た症状を起こすことがあった。

本技術はこのような状況に鑑みてなされたものであり、特に、撮像された動画像を再生したときに、撮像方向がある程度一定方向になるようなブレの少ない動画像に変換できるようにするものである。

本技術の一側面の画像処理装置は、撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得部と、前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成部と、前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出部と、前記評価値算出部により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択部とを含む。

前記変換画像生成部により生成された前記変換画像と、オリジナルの前記フレーム画像との差分をノード差分として算出するノード差分算出部と、前記変換画像生成部により生成された前記変換画像、および前記オリジナルの前記フレーム画像を含む、時系列の差分をエッジ差分として算出するエッジ差分算出部とをさらに含ませるようにすることができ、前記評価値算出部には、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に基づいて、前記変換動画像毎のブレを評価する評価値を算出させるようにすることができる。

前記評価値算出部には、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出させるようにすることができる。

前記エッジ差分の和、および前記ノード差分の和に付される、それぞれの前記重みの和は１であり、前記エッジ差分の和、および前記ノード差分の和に付される重みを入力する重み入力部をさらに含ませるようにすることができ、前記評価値算出部には、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に、前記重み入力部により入力された重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出させるようにすることができる。

前記記憶部には、前記変換画像生成部により前記変換画像が生成される際に、前記変換画像に対応付けて、複数の所定の画角の画像、および複数の角度に回転する画像ことにより前記オリジナルのフレーム画像に対応して変化する撮像方向の情報も合わせて記憶させ、前記変換動画像、または、前記動画像のフレーム画像の前記撮像位置の情報に基づいて地図上にルートを表示すると共に、前記撮像方向の情報に基づいて、前記ルート上に前記撮像方向毎に色を塗り分けて表示する表示画像を生成する表示画像生成部をさらに含ませるようにすることができる。

前記表示画像上における前記地図上に表示されたルート上の位置を指定する指定部と、前記指定部により指定された位置に対応する撮像位置の情報を含むフレーム画像から、前記ルートを構成する前記変換動画像、または、前記動画像を再生する再生部をさらに含ませるようにすることができる。

前記変換画像生成部には、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像を利用して、画角シフト、ホモグラフィ変換、および視点合成を含む手法により、前記複数の所定の画角の画像、および複数の角度に回転することで、前記異なる撮像方向の複数の画像に変換して変換画像を生成させるようにすることができる。

前記変換画像生成部には、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、画素以下の位相ずれにより生成される画素を利用することにより、前記異なる撮像方向の、より高解像度の複数の変換画像を生成させるようにすることができる。

前記動画像を撮像する撮像部をさらに含ませるようにすることができ、前記取得部には、前記フレーム画像の撮像位置および撮像方向の情報を、前記フレーム画像毎に対応付けて記憶させるようにすることができる。

本技術の一側面の画像処理方法は、撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得し、前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成し、前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出し、算出された評価値に基づいて、前記ブレの少ない変換動画像を選択するステップを含む。

本技術の一側面のプログラムは、撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得ステップと、前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成ステップと、前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出ステップと、前記評価値算出ステップの処理により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択ステップとを含む処理をコンピュータに実行させる。

本技術の一側面においては、撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報が取得され、動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成ステップと、前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値が算出され、算出された評価値に基づいて、前記ブレの少ない変換動画像が選択される。

本技術の一側面の画像処理装置は、独立した装置であっても良いし、情報処理を行うブロックであっても良い。

本技術の一側面によれば、ブレを含む動画像を容易な操作で、ブレの少ない動画像に変換することが可能となる。

本技術を適用した画像処理システムの一実施の形態の外観構成例を示す図である。 図１の眼鏡型カメラの外観構成例を示す図である。 図１の眼鏡型カメラを実現するための機能の構成を説明する図である。 図１の再生端末を実現するための機能の構成を説明する図である。 図１のサーバを実現するための機能の構成を説明する図である。 撮像記録処理を説明するフローチャートである。 撮像される動画像ファイルの構成を説明する図である。 再生画像選択画像表示処理を説明するフローチャートである。 再生画像選択画像であるMy地図の表示例を説明する図である。 補正つまみの動作を説明する図である。 ルート補正処理を説明するフローチャートである。 オリジナル画像と変換画像との差分であるノード差分を説明する図である。 オリジナル画像、または変換画像の時系列の前後の画像間の差分であるエッジ差分を説明する図である。 動画像ファイルのフレーム画像の変換処理が、グラフの最適化問題として処理できることを説明する図である。 変換画像により画像の破たんが生じた範囲をカットする例について説明する図である。 再生処理を説明するフローチャートである。 汎用のパーソナルコンピュータの構成例を説明する図である。

＜撮像システムの構成例＞
図１は、本技術を適用した画像処理システムの構成例を示す図である。図１の画像処理システム１は、眼鏡型カメラ１１−１乃至１１−Ｎ、再生端末１２−１乃至１２−Ｍ、ネットワーク１３、およびサーバ１４を備えている。尚、眼鏡型カメラ１１−１乃至１１−Ｎ、および再生端末１２−１乃至１２−Ｍのそれぞれについて、特に区別する必要が無い場合、単に眼鏡型カメラ１１、および再生端末１２と称するものとし、その他の構成についても同様に称するものとする。

図１の画像処理システム１は、眼鏡型カメラ１１により撮像された動画像がサーバ１４に送信されて蓄積され、眼鏡型カメラ１１の使用者によりそれぞれの再生端末１２が操作されて、サーバ１４にアクセスし、蓄積されている動画像が再生され、その使用者により視聴されるものである。

より詳細には、眼鏡型カメラ１１が、動画像を撮像し、撮像された動画像を構成するフレーム画像毎に撮像位置、および撮像方向の情報を付して、１分程度の動画像ファイルとして構成する。さらに、眼鏡型カメラ１１は、その動画像ファイルを、ネットワーク１３を介してサーバ１４に送信する。サーバ１４は、眼鏡型カメラ１１より供給されてきた、撮像位置、および撮像方向がフレーム単位で付された動画像ファイルにインデックスを付して記憶する。サーバ１４は、使用者により操作される再生端末１２よりアクセスされると、撮像方向の情報に基づいて、ブレの少ない画像に補正した補正動画像を生成すると共に、撮像位置の情報に基づいて、使用者が眼鏡型カメラ１１を装着して動画像を撮像しながら移動した経路を地図上に示す表示画像を生成して、それらを併せて再生端末１２に配信する。再生端末１２は、その移動経路であるルートが付された地図画像を取得すると、地図画像を表示し、地図画像上の経路であるルートのいずれかの位置が選択されると、選択された位置に対応する撮像位置の画像から動画像を再生し表示する。この結果、眼鏡型カメラ１１の使用者は、撮像容量や撮像時刻といった情報を意識すること無く、地図上の移動経路を指定することで視聴したい画像を検索しつつ、自らで撮像した画像の視聴を楽しむことが可能となる。

＜眼鏡型カメラの外観構成例＞
次に、図２を参照して、眼鏡型カメラ１１の外観構成例について説明する。眼鏡型カメラ１１は、例えば、図２で示されるようなものであり、使用者により眼鏡を掛けるようにして装着されると、装着した使用者のレンズ部３１−１，３１−２越しに見える視界の画像を撮像部３２により撮像する。

眼鏡型カメラ１１は、レンズ部３１−１，３１−２、撮像部３２、および制御部３３より構成される。レンズ部３１−１，３１−２は、通常の眼鏡レンズより構成される。撮像部３２は、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）により構成され、撮像した動画像を所定の形式に圧縮して、制御部３３に供給する。制御部３３は、図３で示される各種の構成により、順次撮像される動画像から１分程度の動画像ファイルを構成して、サーバ１４に送信する。

＜眼鏡型カメラの機能を実現する構成例＞
次に、図３を参照して、眼鏡型カメラ１１の機能を実現させる構成例について説明する。眼鏡型カメラ１１は、図２を参照して説明したように、撮像部３２、および制御部３３を備えている。さらに、制御部３３は、記録部５１、GPS（Global Positioning System）５２、RTC（Real Time Clock）５３、地軸センサ５４、ジャイロセンサ５５、コントローラ５６、および通信部５７を備えている。記録部５１は、撮像部３２より順次供給されてくる動画像を一時的に記録する。この際、GPS５２より供給されてくる位置情報、RTC５３より供給されてくる時刻情報、地軸センサ５４により供給されてくる地軸方向の情報、およびジャイロセンサ５５より供給されてくるヨー角、ピッチ角、およびロール角の角速度の情報より得られる撮像方向の情報を取得し、撮像された動画像を構成する各フレーム画像に対応付けて記録する。より詳細には、記録部５１は、ヨー角、ピッチ角、およびロール角の角速度の情報と、地軸センサ５４により検出された地軸方向の情報とから撮像部３２の撮像方向を推定し、推定した撮像方向の情報をフレーム画像に対応付けて記憶する。さらに、記録部５１は、撮像部３２より順次供給されてくる動画像を所定の時間間隔毎に動画像ファイルとして構成し、コントローラ５６に供給する。

GPS５２は、図示せぬ衛星からの電波を受信して、地球上の位置情報として緯度、および経度の情報を算出し、撮像位置を示す情報として記録部５１に供給する。RTC５３は、実時間を管理しており、撮像時刻を示す情報を記録部５１に供給する。地軸センサ５４は、地軸に対する眼鏡型カメラ１１の方向の傾きを検出し、検出結果を記録部５１に供給する。ジャイロセンサ５５は、ヨー角、ピッチ角、およびロール角の角速度を検出し、検出結果を記録部５１に供給する。

コントローラ５６は、眼鏡型カメラ１１の制御部３３の全体の動作を制御している。記録部５１の動作を制御し、記録部５１に撮像部３２より供給されてくる動画像のデータに基づいて、所定の長さ、例えば、１分程度の動画像ファイルを生成させ取得する。さらに、コントローラ５６は、通信部５７を制御して、生成した動画像ファイルを、ネットワーク１３を介してサーバ１４に送信させる。

＜再生端末の機能を実現させるための構成例＞
次に、図４を参照して、再生端末１２の機能を実現させるための構成例について説明する。

再生端末１２は、制御部７１、表示部７２、操作部７３、通信部７４。および表示画像記憶部７５を備えている。制御部７１は、再生端末１２の動作の全体を制御する。表示部７２は、例えば、LCD（Liquid Crystal Display）や、有機EL（Electro-Luminescence）などで構成されており、サーバ１４より供給されてくる地図画像からなる表示画像や、動画像ファイルからなる再生画像を表示する。操作部７３は、例えば、キーボード、マウス、または操作ボタンなどから構成されており、各種のコマンドや指示を入力するとき、使用者により操作され、操作内容に応じた操作信号を制御部７１に供給する。通信部７４は、制御部７１により制御され、ネットワーク１３を介して、サーバ１４とデータ、またはコマンドを授受する。表示画像記憶部７５は、サーバ１４に記憶されている動画像ファイルを選択して再生させるために必要とされるＵＩ（ユーザインタフェース）となる表示画像を記憶する。表示画像としては、例えば、インタフェース画像として必要な地図画像を記憶している。

＜サーバの機能を実現させるための構成例＞
次に、図５を参照して、サーバ１４の機能を実現させるための構成例について説明する。

サーバ１４は、通信部９１、記録部９２、記憶部９３、および再生管理部９４を備えている。通信部９１は、ネットワーク１３を介して、眼鏡型カメラ１１、および再生端末１２との間でデータ、動画像ファイル、または各種のコマンドなどを授受する。記録部９２は、インデックス付加部１０１を備えており、眼鏡型カメラ１１より送信されてくる、１分程度の長さの動画像ファイルを順次受信すると共に、動画像ファイルに含まれるフレーム画像と、そのフレーム画像に付加されている撮像位置、および撮像方向の情報に基づいて、動画像ファイル毎のインデックスを生成させ、付加して記憶部９３に記憶させる。

再生管理部９４は、通信部９１を介して再生端末１２より撮像された動画像ファイルの再生が指示されたとき、記憶部９３に記憶されている動画像ファイルのフレーム画像単位で記憶されている撮像位置、および撮像方向に基づいて、予め記憶している地図上に、撮像された画像の撮像位置に基づいた、使用者の移動経路を示すルートを表示する表示画像を生成する。また、再生管理部９４は、記憶部９３に記憶されている動画像ファイルの画像を、ブレを抑えた画像となるように補正して、補正した動画像ファイルを再生端末１２に供給する。

より詳細には、再生管理部９４は、My地図生成部１１１、撮像方向色付部１１２、オブジェクト認識部１１３、地図データ記憶部１１４、ルート編集部１１５、変換動画像ファイル生成部１１６、ノード差分算出部１１７、エッジ差分算出部１１８、評価値算出部１１９、および変換動画像ファイル選択部１２０を備えている。

My地図生成部１１１は、通信部９１を介して、再生端末１２より再生が指示されたとき、再生が指示された動画像ファイルを記憶部９３より読み出して、再生が指示された動画像ファイルを構成するフレーム画像毎に記憶されている撮像位置を示す情報に基づいて、動画像ファイルを構成する画像を撮像しながら、使用者が移動した経路を示すルートを特定し、地図データ記憶部１１４に記憶されている地図上に表示するMy地図と称する表示画像を生成する。このMy地図においては、動画像ファイルと共に再生端末１２に配信されて表示される。また、表示された地図上においては、同一の位置で撮像されているフレーム画像数に応じたステップ幅で地図が分割されて表示され、対応する位置がポインタなどで指定されると、その位置に対応するフレーム画像が表示されたり、または対応する撮像位置で撮像されたフレーム画像から動画像ファイルが再生される。

撮像方向色付部１１２は、動画像ファイルに含まれるフレーム画像に対応付けて記憶されている撮像方向の情報に基づいて、上述した表示画像であるMy地図上に表示されるルート上の対応する位置の色を塗り分ける。この処理により、ルート上の色が頻繁に変わるようであれば、撮像方向が頻繁に変わっていることを示すので、このまま動画像ファイルを再生させて視聴すると、ブレが大きく視聴する使用者が酔い易くなることが認識される。一方、ルート上の色がある程度の区間で変化しない状態であれば、撮像方向がある程度一定の状態が保たれていることが示されることになるので、このまま動画像ファイルを再生して視聴しても、ブレが小さいので、視聴した使用者が酔ってしまうようなことがないことを認識することができる。

オブジェクト認識部１１３は、フレーム画像毎に画像内のオブジェクトを認識し、認識したオブジェクト画像を抽出し、認識したオブジェクトの情報を付して記憶部９３に分類して記憶する。尚、このオブジェクト画像は、上述したMy地図の表示画像を生成する際、後述するクロスメディアバーを構成し、オブジェクト毎に選択可能な状態で表示される。

地図データ記憶部１１４は、地球上の地図画像のデータを記憶しており、My地図生成部１１１が、My地図を生成する際、My地図生成部１１１に地図データを供給する。

ルート編集部１１５は、記憶部９３に記憶されている動画像ファイルに含まれるフレーム画像のそれぞれについて、ヘッダに含まれる撮像位置の情報に基づいて、My地図上に撮像位置を示す情報をプロットすることにより得られるルートを編集する。

変換動画像ファイル生成部１１６は、記憶部９３に記憶されている動画像ファイルに含まれるフレーム画像のそれぞれについて、前後のフレーム画像などを利用することにより、撮像方向を変換する画角変換や回転処理により、複数の種類の変換画像を生成し、変換画像からなる変換動画像ファイルを生成して記憶部９３に記憶させる。このとき、変換動画像ファイル生成部１１６は、変換処理したフレーム画像については、変換により変化した撮像方向の情報を付して記憶させる。

ノード差分算出部１１７は、変換画像毎に変換前のオリジナル画像との差分をノード差分として算出する。また、ノード差分算出部１１７は、時系列に様々なパターンで変換画像、またはオリジナル画像が組み合わされて生成される全てのパターンの変換動画像ファイルに含まれる変換画像またはオリジナル画像におけるノード差分和を算出する。

エッジ差分算出部１１８は、時系列に配置される変換画像、またはオリジナル画像間の差分をエッジ差分として算出する。また、エッジ差分算出部１１８は、時系列に様々なパターンで変換画像、またはオリジナル画像が組み合わされて生成される全てのパターンの変換動画像ファイルにおけるに含まれる変換画像またはオリジナル画像間のエッジ差分和を算出する。

評価値算出部１１９は、時系列に様々なパターンで変換画像、またはオリジナル画像が組み合わされて生成されるパターンの変換動画像ファイルにおけるノード差分和、および、エッジ差分和の総和を、各変換動画像ファイルの評価値として算出する。この際、評価値算出部１１９は、再生端末１２より供給されてくる重みの情報を取得し、ノード差分和、およびエッジ差分和のそれぞれに重みを付して評価値を算出する。

変換動画像ファイル選択部１２０は、時系列に様々なパターンで変換画像、またはオリジナル画像が組み合わされて生成されるパターンの全変換動画像ファイルのうち、評価値が最小となる動画像ファイルを選択して、動画像ファイルの再生が要求された再生端末１２に通信部９１を介して送信する。

禁止編集部１２１は、再生が指示された動画像ファイルを構成するフレーム画像のそれぞれについて、そのフレーム画像に付されている撮像位置、および時刻情報に基づいて、再生が指示された画像のうち、再生を禁止すべき領域を検索し、検索された領域を、例えば、モザイク画像状に処理する。すなわち、禁止領域とは、眼鏡型カメラ１１により撮像された画像内で、例えば、個人情報を特定するような情報を含む領域、位置情報に基づいて特定される軍事機密などが撮像されていると思われる領域、または、所定の時刻において開示されると問題のある領域などである。

＜撮像記録処理＞
次に、図６を参照して、図１の画像処理システムにおける撮像記録処理について説明する。尚、この処理は、眼鏡型カメラ１１の図示せぬ操作部が操作されて、撮像部３２により撮像の開始が指示されると開始される処理である。

ステップＳ１１において、撮像部３２は、画像を撮像し、撮像した画像データを記録部５１に供給する。

ステップＳ１２において、GPS５２は、図示せぬ衛星からの電波を受信して、地球上の位置として緯度、および経度を算出し、算出結果である緯度および経度からなる地球上の位置情報を記録部５１に供給する。

ステップＳ１３において、地軸センサ５４は、地軸方向に対する傾きの情報を計測して、計測結果である地軸方向に対する眼鏡型カメラ１１の傾きの角度の情報を記録部５１に供給する。

ステップＳ１４において、ジャイロセンサ５５は、眼鏡型カメラ１１におけるヨー角、ピッチ角、およびロール角における角速度を検出し、検出結果であるそれぞれの角速度の情報を記録部５１に供給する。この処理により、記録部５１は、地軸の傾きの角度、並びに、ヨー角、ピッチ角、およびロール角における角速度から撮像方向を算出し、記憶する。

ステップＳ１５において、RTC５３は、今現在の時刻情報を読み出し、記録部５１に供給する。

ステップＳ１６において、記録部５１は、直前の動画像ファイルの情報を取得する。

ステップＳ１７において、記録部５１は、フレーム画像の単位で動画像データを記録する。この際、記録部５１は、各フレーム画像を撮像したタイミングにおける、地球上の位置情報を撮像位置とし、供給された時刻を撮像時刻とし、撮像方向、並びに、直前の動画像ファイルの情報を各フレームのヘッダとして、順次動画像ファイルに蓄積させて記憶させる。さらに、記録部５１は、各フレーム画像のヘッダに、自らを識別する情報として、自らの使用するネットワーク上のアドレスや、MACアドレス（Media Access Control address）などを記録する。

ステップＳ１８において、記録部５１は、RTC５３より供給される現在時刻と、新たに動画像ファイルを記憶し始めた時刻との差分から、所定の時間が経過したか否かを判定する。ステップＳ１８において、所定の時間が経過したとみなされた場合、処理は、ステップＳ１９に進む。

ステップＳ１９において、記録部５１は、所定時間が経過したものとみなし、記憶していた動画像ファイルを閉じて、生成した動画像ファイルをコントローラ５６に供給する。コントローラ５６は、動画像ファイルの供給を受けると、通信部５７を制御して、供給された動画像ファイルを、通信部５７を制御し、ネットワーク１３を介してサーバ１４に供給する。尚、ステップＳ１８において、所定時間が経過していないと見なされた場合、ステップＳ１９の処理がスキップされる。

ステップＳ２０において、撮像部３２は、図示せぬ操作部からの操作信号に基づいて、動画像の撮像の終了が指示されたか否かを判定し、終了が指示された場合、処理は、終了する。一方、ステップＳ２０において、終了が指示されていない場合、処理は、ステップＳ１１に戻り、それ以降の処理が、終了の指示がなされるまで、繰り返し実行される。尚、ステップＳ１８において、所定の時間が経過していないとみなされた場合、処理は、ステップＳ１９の処理がスキップされる。

また、動画像ファイルは、図７で示されるように、１分程度の所定の時間間隔Ｔで記録され、それぞれの動画像ファイルは、所定時間ｔだけ重なるように構成されている。すなわち、図７においては、動画像ファイルＶ１は、所定時間Ｔの長さだけ撮像された動画像ファイルとして構成されている。また、その次の動画像ファイルＶ２は、動画像ファイルＶ１の終了タイミングまでの、例えば、１０秒程度の時間ｔと、先頭の時間ｔにおける動画像データが同一の構成となる。さらに、その次の動画像ファイルＶ３は、動画像ファイルＶ２の終了タイミングまでの時間ｔと、先頭の時間ｔにおける動画像データが同一の構成となる。このように動画像ファイルを構成することにより、動画像ファイルがサーバ１４に転送される間に、ネットワーク１３上で何らかの事故で届かないような事態が発生しても、４０秒分の動画像ファイルの損失で済ませることが可能となる。また、動画像ファイルが大きくなり過ぎてネットワーク１３上における負荷を低減させることが可能となる。

一方、サーバ１４においては、ステップＳ４１において、記録部９２は、通信部９１を制御して、ネットワーク１３上のいずれかの眼鏡型カメラ１１より動画像ファイルが送信されてきたか否かを判定し、送信されてくるまで、同様の処理を繰り返す。ステップＳ４１において、例えば、ステップＳ１９の処理により動画像ファイルが送信されてくると、処理は、ステップＳ４２に進む。

ステップＳ４２において、記録部９２は、通信部９１を制御して、送信されてきた動画像ファイルを取得する。さらに、記録部９２は、インデックス付加部１０１を制御して、動画像ファイルに含まれているフレーム画像の情報を読み出し、インデックスに必要とされる眼鏡型カメラ１１を識別する情報、画像、撮像位置、および撮像時刻等の情報を読み出させる。インデックスに読み出されるフレーム画像は、代表的な人物の顔画像、代表的な景色、代表的な建物などを含む画像である。また、インデックスに利用される撮像位置および撮像時刻については、例えば、先頭フレーム画像の撮像位置、および撮像時刻などである。

ステップＳ４３において、インデックス付加部１０１は、インデックスの情報として読み出された情報に基づいてインデックスを生成する。

ステップＳ４４において、インデックス付加部１０１は、送信されてきた動画像ファイルに生成したインデックスの情報を付加する。さらに、記録部９２は、インデックスが付加された動画像ファイルを、記憶部９３に記憶させる。

以上の処理により、眼鏡型カメラ１１により撮像された画像が、インデックスが付された１分程度の長さの動画像ファイルがサーバ１４に記録される。

＜再生画像選択画像表示処理＞
次に、図８のフローチャートを参照して、再生画像選択画像表示処理について説明する。尚、この処理は、図６のフローチャートを参照して説明した撮像記録処理により動画像ファイルがサーバ１４の記憶部９３に記憶されていることが前提となる。

ステップＳ６１において、制御部７１は、表示画像記憶部７５に記憶されている地図画像を読み出し、予め設定されているホーム位置の周辺の画像を表示する。

ステップＳ６２において、制御部７１は、地図上の指定位置情報を読み出す。最初の処理であれば、ホーム位置の情報が指定位置情報として読み出される。また、それ以降においては、図示せぬ操作部が操作されることにより、再生端末１２を使用する使用者により指定された位置が指定位置情報として読み出される。

ステップＳ６３において、制御部７１は、この指定位置の情報が、最初の位置情報であるか、または、新たに指定された指定位置情報であるかを判定する。例えば、最初の指定位置情報、または、新たに指定された指定位置情報である場合、処理は、ステップＳ６４に進む。

ステップＳ６４において、制御部７１は、通信部７４を制御して、指定位置情報を、ネットワーク１３を介してサーバに送信する。

ステップＳ８１において、再生管理部９４は、通信部９１を制御して、指定位置情報が送信されてきたか否かを判定する。ステップＳ８１において、例えば、ステップＳ６４の処理により指定位置情報が送信されてきた場合、処理は、ステップＳ８２に進む。

ステップＳ８２において、再生管理部９４は、My地図生成部１１１を制御して、指定位置情報に基づいて、地図データ記憶部１１４に記憶されている地図データのうち、指定位置情報周辺の地図データを読み出させ、My地図の基準画像を生成する。My地図の基準画像とは、例えば、図９の地図画像表示欄ｍである。図９の地図画像表示欄ｍには、図中左部に図中上から下に「Ａ通り」が表示された通りがあり、その中間付近の分岐から図中右方向に向かうと十字路があり、角には「Ｃビル」と表示され、「Ｃビル」という建物があることが示されている。その「Ｃビル」の存在する十字路を超えて、その通りをさらに図中右方向に進むと、「Ｄ屋」と表示された建物があるＴ字路が存在し、そのＴ字路で右折してさらに進むと左側に「Ｂ街道」と表示された街道が存在していることが示されている。

ステップＳ８３において、My地図生成部１１１は、指定位置の緯度経度を処理対象位置に設定する。

ステップＳ８４において、My地図生成部１１１は、処理対象位置情報における緯度経度の情報に基づいて、記憶部９３に記憶されている動画像ファイルのインデックスの情報を検索し、近傍の位置に存在する動画像ファイルの数ｆを計測する。

ステップＳ８５において、My地図生成部１１１は、処理対象位置周辺の所定の範囲について、１／ｆに比例する画素数のステップ幅Ｆを設定する。

ステップＳ８６において、My地図生成部１１１は、処理対象地域周辺の所定の範囲をステップ幅Ｆで分割する。

ステップＳ８７において、My地図生成部１１１は、未処理の位置が、選択された地図画像内に存在するか否かを判定し、未処理の位置が存在する場合、処理は、ステップＳ８８に進む。

ステップＳ８８において、My地図生成部１１１は、未処理の位置のいずれかを処理対象位置に設定し、処理は、ステップＳ８４に戻る。すなわち、地図画像として読み込まれた画像内において、すべての位置が処理対象位置に設定されて、動画像ファイル数に応じたステップ幅Ｆで分割されるまで、ステップＳ８４乃至Ｓ８８の処理が繰り返される。そして、すべての位置が処理対象位置に設定されたとき、ステップＳ８７において、未処理の位置が存在しないものとみなされ、処理が、ステップＳ８９に進む。

すなわち、図９で示されるように、地図画像上の位置に対応して登録されている動画像ファイルの数に応じて、地図上の位置Ｙ近傍の領域Ｚ１や、位置Ｐや位置Ｘ近傍の領域Ｚ２においては、点線で示されるように細かいステップ幅で区画設けられており、多くの動画像ファイルが記録されていることが示される。一方、領域Ｚ３，Ｚ４、または、Ｚ１，Ｚ２以外の領域については、略点線で囲まれる領域が存在せず、動画像ファイルが略存在しないことが示される。すなわち、このような表示により、どこの位置で動画像ファイルが多く存在し、どの位置には動画像ファイルが存在しないのかが一目瞭然となる。

また、図９で示されるような、My地図と称される再生画像選択画像が、再生端末１２の表示部７２で表示されるとき、図示せぬポインタなどで、この点線で囲まれるマス状のいずれかの位置が指定されると、対応する位置の動画像ファイルの再生指示がサーバ１４に供給されて、この再生指示に応じて、サーバ１４より対応する動画像ファイルに含まれるフレーム画像が順次送信されて、動画像が再生される。また、この際、再生を指示する前に、選択された時点で、ヘッダを構成する静止画や撮像時刻などの情報が表示されるようにしてもよい。

ステップＳ８９において、ルート編集部１１５は、My地図上に表示される地図画像上に撮像位置が存在するフレーム画像の撮像位置の情報を時刻情報に対応付けてプロットし、動画像ファイルに含まれるフレーム画像を撮像した眼鏡型カメラ１１の使用者の移動経路をルートとして求め、表示画像上に表示する。この際、撮像方向色付部１１２は、ルート編集部１１５により求められたルートを構成する各プロットされたフレーム画像のヘッダに含まれる撮像方向の情報を読み出し、撮像方向に応じてルートを色分けして色を付加する。

すなわち、以上の処理により、例えば、図９における位置Ｘ乃至位置Ｙで示されるような、ルートＬが表示される。また、図９で示されるように、ルートＬにおいては、各位置における動画像ファイルに含まれるフレーム画像の撮像方向毎に色分けがなされて表示される。結果として、ルートＬ上の色分けが大きく変化している範囲は、撮像方向が頻繁に変化していることが示され、視聴するにあたり、撮像方向が頻繁に変化するため、一般に、酔い易い動画像であることが示される。逆に、色分けの変化が小さい範囲については、撮像方向の変化の頻度が低いことが示され、視聴するにあたり撮像方向の変化が小さく、かつ視聴し易い動画像であって、一般に酔い難い動画像であることが示される。

尚、この撮像方向の変化については、図９の右上部に示される補正つまみＭを水平方向の矢印で示される補正スケール上を左右に移動させることにより補正することができる。すなわち、図１０で示されるように、補正つまみＭを図中の左方向に移動させるほど、ルートの状態Ｊ１で示されるように、入力された動画像ファイルに含まれるフレーム画像に近い状態となるが、撮像方向に変化が頻繁であっても、そのまま再生されることになる。この場合、撮像された状態に近いフレーム画像が利用されるため、個々のフレーム画像には破たんが生じにくい状態となるが、撮像方向の変化が大きいと見難い動画像となり、酔い易い動画像となる。

逆に、図１０で示されるように、補正つまみＭを図中の右方向に移動させるほど、ルートの状態Ｊ３で示されるように、入力された動画像ファイルのフレーム画像とは異なる状態となるが、撮像方向が補正されることにより、個々のフレーム画像には破たんが生じやすい状態となるが、撮像方向がある程度揃えられている画像となるので、比較的見易い動画像となる。また、図１０のルートの状態Ｊ２，Ｊ３において、ルートがカットされているのは、破たんが生じる画像については削除されることによるものである。このルートＪ１乃至Ｊ３は、撮像方向が単一化されていくことにより、実質的な撮像位置、すなわち、眼鏡型カメラ１１を装着した使用者の移動経路であるルートが直線に近づいていくことを示している。

尚、この補正つまみＭが操作されることにより実行されるルート補正処理については、図１１のフローチャートを参照して、詳細を後述する。

ステップＳ９０において、オブジェクト認識部１１３は、指定位置の動画像ファイルに含まれるフレーム画像に含まれるオブジェクトの種類を分類して抽出する。

ステップＳ９１において、オブジェクト認識部１１３は、指定位置の動画像ファイルに含まれるフレーム画像よりオブジェクトの分類ごとに抽出したオブジェクト画像のそれぞれについて、時刻情報を抽出してそれぞれを時刻毎に分類する。

ステップＳ９２において、My地図生成部１１１は、オブジェクト認識部１１３により画像のオブジェクトの種類別に分類されたオブジェクト画像を時刻情報に対応付けて、図９で示されるようなクロスメディアバーとして表示する。クロスメディアバーとは、図９で示される画像Ｐ１１乃至Ｐ１６、および画像Ｐ２１乃至Ｐ２６により構成されるものである。すなわち、画像Ｐ１１乃至Ｐ１６については、垂直方向に時刻が設定されており、図９においては、同一のオブジェクトである家の画像Ｐ１１乃至Ｐ１６において示されており、時刻１２：００乃至１７：００までの時刻に分類された状態で表示され、垂直方向に移動させることで、同一のオブジェクトとして認識された画像を時系列で表示させることが可能となる。

また、水平方向には、所定の規則に従って分類されたオブジェクトの種類毎に画像Ｐ１１，Ｐ２１乃至Ｐ２６が表示されており、水平方向に左右に移動させることで、分類されたオブジェクトを選択することができる。したがって、図９においては、建物というオブジェクトに分類される家の画像Ｐ１１が左上に示され、右方向に順に、建物というオブジェクトに分類されるビルディングの画像Ｐ２１、山というオブジェクトに分類される山頂付近に雪を被った山の画像Ｐ２２、同様に山というオブジェクトに分類される双子山の画像Ｐ２３、自動車というオブジェクトに分類される乗用車の画像Ｐ２４、自動車というオブジェクトに分類されるバスの画像Ｐ２５、および人物というオブジェクトに分類される顔画像Ｐ２６が表示されている。

図９においては、位置Ｐで示される位置が指定位置である場合、この位置におけるオブジェクトに分類される画像Ｐ１１，Ｐ２１乃至Ｐ２６が水平方向のバー（棒状の表示欄）に表示され、水平方向に移動されて左上部に設定されると、画像Ｐ１１乃至Ｐ１６が示されるように、同一のオブジェクトに認識された時系列の画像が表示される。この結果、同一のルートを歩きながら眼鏡型カメラ１１で撮像すると、定点カメラで撮像したように同一のオブジェクトの変化を観察することが可能となる。また、これらの画像を選択することで、選択されたフレーム画像を含む動画像ファイルの再生位置から、再生を開始するコマンドを発生させることが可能となる。この処理により、使用者が動画像ファイルのうち、見たいと意識しているオブジェクトを選択して、所望とする時刻を指定することで、膨大な量の動画像ファイルから適切に再生を開始したい位置を指定して、再生を指示することが可能となる。

ステップＳ９３において、再生管理部９４は、通信部９１を制御して、ネットワーク１３を介して、図９で示されるようなMy地図と称される再生画像選択画像を再生端末１２に送信する。

尚、ステップＳ８１において、指定位置の情報が送信されてこない場合、ステップＳ８２乃至Ｓ９３の処理がスキップされる。

ステップＳ９４において、再生管理部９４は、図示せぬ操作部により動作の終了が指示されたか否かを判定し、終了が指示されない場合、処理は、ステップＳ８１に戻り、それ以降の処理が繰り返される。そして、ステップＳ９４において、動作の終了が指示された場合、処理は、終了する。

一方、再生端末１２においては、ステップＳ６５において、制御部７１は、通信部７４を制御して、サーバ１４より送信されてきた再生画像選択画像であるMy地図と称されるような表示画像の情報を取得する。

ステップＳ６６において、制御部７１は、通信部７４により受信された再生画像選択画像であるMy地図と称される表示画像を表示部７２に表示する。

ステップＳ６７において、制御部７１は、操作部７３が操作されて、動作の終了が指示されたか否かを判定し、終了が指示されていないとみなされた場合、処理は、ステップＳ６２に戻り、それ以降の処理が繰り返される。一方、ステップＳ６７において、終了が指示された場合、処理は、終了する。

尚、ステップＳ６３において、指定位置が初めて指定された場合でもなく、また、変更もされていない場合、ステップＳ６４乃至Ｓ６６の処理が繰り返される。すなわち、一旦、表示画像選択画像が表示部７２に表示されると、指定位置が変更されない限り、同一の表示画像選択画像であるMy地図が表示されたままの状態となる。

以上の処理により、眼鏡型カメラ１１により膨大な量の画像が撮像されても、撮像位置に応じて表示されるルート上の位置を指定することで動画像ファイルを再生させることが可能となるので、撮像した日時などを使用者が覚えていなくても、動画像の再生位置などを適切に選択することが可能となる。また、図９で示される画像Ｐ１１乃至Ｐ１６，Ｐ２１乃至Ｐ２６で表示されるようなクロスメディアバーが構成されることにより、オブジェクトや撮像時刻から再生を開始したい動画像ファイルの再生位置を特定して、再生を指示することが可能となる。

＜ルート補正処理＞
次に、図１１のフローチャートを参照して、ルート補正処理について説明する。尚、ルート補正処理は、表示画像選択画像であるMy地図が表示された状態であることを前提とする。

ステップＳ１０１において、制御部７１は、操作部７３を制御して、補正つまみＭが移動されて補正スケールが操作されたか否かを判定する。ステップＳ１０１において、補正つまみＭが移動されて、補正スケールが操作されたとみなされた場合、処理は、ステップＳ１０２に進む。

ステップＳ１０２において、制御部７１は、操作された補正つまみＭの、図９の矢印状の補正スケール上の位置を示す情報を、通信部７４を制御して、ネットワーク１３を介してサーバ１４に送信する。

ステップＳ１２１において、再生管理部９４のルート編集部１１５は、通信部９１を制御して、補正スケールの操作内容である補正つまみＭの動作位置の情報が送信されてきたか否かを判定する。ステップＳ１２１において、例えば、ステップＳ１０２の処理により、補正つまみＭの位置を示す情報が送信されてきた場合、処理は、ステップＳ１２２に進む。

ステップＳ１２２において、変換動画像ファイル生成部１１６は、再生端末１２に送信した表示画像選択画像に表示されているルートＬ上にプロットされた位置が撮像位置のインデックスに含まれる動画像ファイルを記憶部９３より読み出す。さらに、変換動画像ファイル生成部１１６は、読み出した動画像ファイルに含まれるフレーム画像を、それぞれの前後の画像などを利用して、所定数の種類の角度に変化するように画角変換、および回転変換させることにより新たな変換画像を生成する。より具体的には、変換動画像ファイル生成部１１６は、画角シフト、ホモグラフィ変換、または視点合成などにより、変換画像を生成する。

すなわち、変換動画像ファイル生成部１１６は、図１２の最上段で示されるように、記憶部９３に記憶されているオリジナルの動画像ファイルに含まれる、フレーム画像Ｏｒｇ（Ｎ−１）乃Ｏｒｇ（Ｎ＋１）で示されるような画像を、周辺の画像を利用した画角変換や回転変換により、図１２の中段、および下段で示されるような変換Pattern1、およびPattern2で示されるような変換画像Ｐ１（Ｎ−１）乃至Ｐ１（Ｎ＋１）、並びに、変換画像Ｐ２（Ｎ−１）乃至Ｐ２（Ｎ＋１）に変換する。

尚、変換動画像ファイル生成部１１６が、変換画像を生成する際には、変換画像として生成される画像を、処理対象となるフレーム画像の前後の画像における、画素以下の位相ずれにより生成される画素を利用することで、変換画像を高解像度化して生成するようにしてもよい。

ステップＳ１２３において、ノード差分算出部１１７は、画角変換、および回転変換により生成された各フレーム画像と、オリジナルのフレーム画像との差分をノード差分として算出する。すなわち、ノード差分算出部１１７は、図１２で示されるように、オリジナルの画像Ｏｒｇ（Ｎ）と、変換画像Ｐ１（Ｎ）とのノード差分Ｅｒｒｏｒ＿ｎ（Ｏｒｇ（Ｎ），Ｐ１（Ｎ））を算出する。ここでの差分は、例えば、それぞれの画像の同一位置の画素間の画素値差分の総和でもよいし、画像Ｏｒｇ（Ｎ）をグローバルモーションにより補償した画像Ｏｒｇ（Ｎ）’と、変換画像Ｐ１とのそれぞれの画像の同一位置の画素間の画素値差分の総和でもよいし、さらに、オリジナルの画像Ｏｒｇ（Ｎ）と、変換画像Ｐ１（Ｎ）とのオプティカルフローの平均値、または分散などであってもよい。

ステップＳ１２４において、エッジ差分算出部１１８は、変換動画像ファイル生成部１１６により生成された、様々な画角変換、および回転変換により求められた変換画像を時系列に様々に配置した時のすべてのパターンにおける、パターン毎の前後の画像間の差分を算出する。すなわち、図１３で示されるように、オリジナルの画像Ｏｒｇ（Ｎ−１）の次に、配置される画像については、画像Ｏｒｇ（Ｎ）、変換画像Ｐ１（Ｎ）、および変換画像Ｐ２（Ｎ）が存在することになるため、これらの全てのパターンについて、前後間の差分がエッジ差分として算出される。すなわち、この場合、Ｅｒｒｏｒ＿ｅ（Ｏｒｇ（Ｎ−１），Ｏｒｇ（Ｎ）），Ｅｒｒｏｒ＿ｅ（Ｏｒｇ（Ｎ−１），Ｐ１（Ｎ）），Ｅｒｒｏｒ＿ｅ（Ｏｒｇ（Ｎ−１），Ｐ２（Ｎ））が算出される。尚、ここで求められる差分についても、ノード差分を算出した場合に利用した差分の計算と同様の手法を用いてもよいし、それ以外の手法であってもよい。

ステップＳ１２５において、評価値算出部１１９は、画像Ｏｒｇ、画像Ｐ１，Ｐ２のそれぞれの配置パターンの組み合わせにより求められたノード差分、およびエッジ差分をそれぞれ利用して、全てのパターンについて、パターン毎に配置されるフレーム画像のノード差分の総和Ｅｒｒｏｒ＿ｎＡｌｌと、エッジ差分の総和Ｅｒｒｏｒ＿ｅＡｌｌと、を利用して以下の式で示される評価値Ｅを算出する。

Ｅ＝（１−ｗ）×Ｅｒｒｏｒ＿ｅＡｌｌ＋ｗ×Ｅｒｒｏｒ＿ｎＡｌｌ

ここで、Ｅはフレーム画像、および変換画像が所定のパターンで時系列に配置されたときの動画像ファイル全体の評価値であり、ｗは、補正つまみＭの移動量に応じた重みであり、０以上、１以下の値をとり、Ｅｒｒｏｒ＿ｎＡｌｌが、ノード差分の総和であり、Ｅｒｒｏｒ＿ｅＡｌｌが、エッジ差分の総和である。

すなわち、様々なパターンで生成される動画像ファイルにおけるフレーム画像の配置に応じた評価値Ｅは、図１４で示されるように、動画像ファイルを構成するフレーム画像の選択肢となりうる画像毎のオリジナル画像との差分、すなわち、ノード差分と、時系列に配置可能な選択肢となりうる前後のフレーム画像間のエッジ差分とから求められるグラフの最適化問題として処理することが可能となる。尚、図１４においては、円（Ｎ−１），円（Ｎ），円（Ｎ＋１）がそれぞれノードを示しており、矢印がエッジを示している。また、Ｅｒｒｏｒ＿ｎ（Ｏｒｇ（Ｎ），Ｏｒｇ（Ｎ）），Ｅｒｒｏｒ＿ｎ（Ｏｒｇ（Ｎ），Ｐ１（Ｎ）），Ｅｒｒｏｒ＿ｎ（Ｏｒｇ（Ｎ），Ｐ２（Ｎ））がそれぞれ、オリジナルのフレーム画像Ｏｒｇ（Ｎ）と、フレーム画像Ｏｒｇ（Ｎ）、変換画像Ｐ１（Ｎ）、変換画像Ｐ２（Ｎ）とのそれぞれのノード差分を表しており、Ｅｒｒｏｒ（Ｏｒｇ（Ｎ），Ｏｒｇ（Ｎ−１）），・・・Ｅｒｒｏｒ（Ｐ１（Ｎ），Ｐ２（Ｎ−１）），・・・Ｅｒｒｏｒ＿ｅ（Ｐ２（Ｎ），Ｐ２（Ｎ−１））がそれぞれエッジ差分を表している。

そこで、ステップＳ１２６において、変換動画像ファイル選択部１２０は、評価値の最も低い、すなわち、評価値Ｅが最も小さいフレーム画像、または変換画像の時系列の配置パターンからなる変換動画像ファイルを選択し、選択したパターンで時系列に配置されたフレーム画像、または変換画像からなる変換動画像ファイルを記憶部９３に記憶させる。

ステップＳ１２７において、撮像方向色付部１１２は、変換動画像ファイル選択部１２０により選択された、評価値Ｅが最も小さいフレーム画像、または変換画像の時系列の配置パターンからなる変換動画像ファイルを構成する各フレーム画像の撮像方向の情報を抽出し、図９で示されるルートＬの配色を決定し、ルートＬのルート表示情報を生成する。

ステップＳ１２８において、再生管理部９４は、新たに生成したルート表示情報を、通信部９１を制御して、ネットワーク１３を介して再生端末１２に送信する。

ステップＳ１２９において、再生管理部９４は、通信部９１を介して動作の終了を指示する情報が受信されたか否かを判定し、終了が指示されたとみなされない場合、処理は、ステップＳ１２１に戻り、それ以降の処理が繰り返される。また、ステップＳ１２１において、補正スケールの情報が送信されてこない場合、ステップＳ１２２乃至Ｓ１２８の処理はスキップされる。そして、ステップＳ１２９において、終了が指示されたとみなされた場合、処理は、終了する。

一方、再生端末１２においては、ステップＳ１０３において、制御部７１は、通信部７４を制御して、送信されてきたルート表示情報を取得する。

ステップＳ１０４において、制御部７１は、表示部７２を制御して、受信したルート表示情報に基づいて、図９で示されるルートＬ上の彩色を処理し、表示部７２に新たなルートＬとして表示させる。

ステップＳ１０５において、制御部７１は、操作部７３が操作されて終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。そして、ステップＳ１０５において、終了が指示された場合、処理は、終了する。

以上の処理により、補正つまみＭが操作されることにより、動画像ファイルを構成するフレーム画像が複数の種類の画角変換、または回転変換されるなどして構成される変換画像の組み合わせのうち、評価値Ｅが最小となるパターンの変換動画像ファイルに変換される。このような処理により、補正つまみＭの操作に応じて、フレーム画像のそれぞれについては、オリジナル画像に近く、破たんの生じ難い画像から構成されるが、撮像方向が頻繁に変化して見難い、いわゆる酔い易い動画像ファイルとするか、または、フレーム画像のそれぞれについては、オリジナル画像とは大きく異なり、破たんが生じ易い画像から構成されるが、撮像方向の変化が小さく、比較的見易い、いわゆる酔い難い動画像ファイルとするかを、ルートＬ上に付される色彩の変化から吟味することが可能となる。

尚、上述したように変換画像に破たんが生じてしまうような場合、時系列の前後の画像間の差分が大きくなることが予想される。そこで、評価値Ｅが最も低いフレーム画像、または変換画像の時系列の配置に基づいて選択された動画像ファイルを構成するフレーム画像、または変換画像のエッジ差分の情報を利用して、例えば、図１５で示されるように、所定の閾値Ｔｈよりも大きなエッジ差分となる区間と、その前後のmarginで示される区間に存在するフレーム画像については、再生しない区間、すなわち、カット区間に設定するようにすることで、破たんした区間については視聴できないようにするようにしてもよい。このようにすることで、利用者が最適とみなせるルートＬ上の配色により動画像ファイルを選択しつつ、破たんした画像については視聴できないようにすることができるので、より視聴し易い変換動画像ファイルを生成することが可能となる。

＜再生処理＞
次に、図１６のフローチャートを参照して、再生処理について説明する。尚、再生処理は、図９で示されるような表示画像選択画像が表示されていることが前提となる。また、再生が指示される動画像ファイルは、上述したルート補正処理により評価値Ｅが最小とされて生成された変換動画像ファイルである。

ステップＳ１５１において、制御部７１は、操作部７３を制御して、所定の操作により動画像ファイルの再生が指示されたか否かを判定し、再生が指示されるまで同様の処理を繰り返す。ステップＳ１５１において、例えば、図９で示されるMy地図におけるルートＬ上の位置Ｐが、図示せぬポインタにより選択されて、再生が指示されたとみなされた場合、処理は、ステップＳ１５２に進む。

ステップＳ１５２において、制御部７１は、選択された位置Ｐに対応する地図上の位置情報、およびその位置上に存在する動画像ファイルからの再生を指示するコマンドを、通信部７４を制御して、サーバ１４に送信する。

ステップＳ１７１において、サーバ１４の再生管理部９４は、通信部９１を制御して、再生が指示されたか否かを判定し、再生が指示されるまで同様の処理を繰り返す。ステップＳ１７１において、例えば、ステップＳ１５２の処理により再生を指示する情報が送信されてくると、再生が指示されたものとみなし、処理は、ステップＳ１７２に進む。

ステップＳ１７２において、再生管理部９４は、再生が指示された位置情報、および時刻情報に基づいて、対応する動画像ファイル（変換動画像ファイル）の情報のうち未処理のフレーム画像を検索して処理対象画像として読み出す。

ステップＳ１７３において、禁止編集部１２１は、読み出された処理対象画像を抽出して、付された撮像時刻、撮像位置、および撮像方向などから、画像内に禁止領域があるか否かを判定する。すなわち、禁止編集部１２１は、より具体的には、例えば、禁止領域として、眼鏡型カメラ１１により撮像された画像内で、例えば、個人情報を特定するような情報を含む領域、位置情報に基づいて特定される軍事機密などが撮像されていると思われる領域、または、所定の時刻において開示されると問題のある領域が存在するか否かを判定する。

ステップＳ１７３において禁止領域が存在するとみなされた場合、ステップＳ１７４において、禁止編集部１２１は、処理対象画像の禁止領域については、画像内においてモザイク処理または黒色処理を施すなどして、視聴不能な状態にする。尚、ステップＳ１７３において、禁止領域が存在しないとみなされた場合、ステップＳ１７４の処理はスキップされる。

ステップＳ１７５において、再生管理部９４は、読み出された処理対象画像、または、禁止編集部１２１により禁止編集された処理対象画像を、再生画像として、動画像ファイルに記録させる。

ステップＳ１７６において、再生管理部９４は、未処理のフレーム画像が動画像ファイルに存在するか否かを判定し、未処理のフレーム画像が存在する場合、処理は、ステップＳ１７２に戻り、それ以降の処理が繰り返される。そして、再生が指示された時刻、および位置に対応する動画像ファイルに含まれる全てのフレーム画像が、禁止領域の有無を判定される処理対象画像とされた場合、処理は、ステップＳ１７７に進む。

ステップＳ１７７において、再生管理部９４は、再生が指示された動画像ファイルを、通信部９１を制御して、再生端末１２に送信させ、処理は、ステップＳ１７１に戻る。

一方、再生端末１２においては、ステップＳ１５３において、制御部７１が、通信部７４を制御して、ネットワーク１３を介してサーバ１４より送信されてきた動画像ファイルを受信する。

ステップＳ１５４において、制御部７１は、通信部７４により受信された動画像ファイルをフレーム画像単位で順次再生し、表示部７２に表示する。

尚、以上においては、図９のMy地図で示されるルートＬ上の位置Ｐを操作部７３により選択することで再生が指示される例について説明してきたが、クロスメディアバーにおける画像Ｐ１１乃至Ｐ１６，Ｐ２１乃至Ｐ２６のいずれかを選択することでも同様に再生を指示することが可能である。

以上の処理により、利用者は、My地図と称される、図９で示されるような表示画像選択画像状のルートＬで示される、眼鏡型カメラ１１を装着して撮像された動画像ファイルについて、地図上の位置、オブジェクト、または、オブジェクトが撮像された時刻に応じて、動画像ファイル上の再生位置を指定することが可能となる。さらに、図９のルートＬは、ルート上で撮像された動画像ファイルに含まれるフレーム画像の撮像方向毎に色分けされて表示されるようにしているので、撮像方向の変化、すなわち、動画像ファイルにおける各フレーム画像間のブレの程度を一目瞭然に目視確認することが可能となる。さらに、補正つまみＭを操作することで、個々のフレーム画像においてはオリジナルの画像に近いが、撮像方向の変化が激しい場合には見難い、いわゆる酔い易い動画像とするか、または、個々のフレーム画像においては、オリジナルと大きく異なるが、撮像方向の変化が小さい、いわゆる酔い難い見易い動画像とするかを、ルートＬ上の彩色を見ながら吟味して再生を指示することが可能となる。

尚、以上においては、眼鏡型カメラ１１を撮像処理に利用する例について説明してきたが、動画像の撮像機能を備えたものであればよく、例えば、ビデオカメラなどで撮像された画像を同様に処理することで、ブレの少ない画像を生成できるようにしてもよい。また、以上においては、ネットワーク１３上のサーバ１４により各種の処理を実現する例について説明してきたが、サーバ１４と同一の機能を備えたその他のものであってもよく、例えば、クラウドコンピューティングによりサーバ１４の機能を実現するようにさせてもよい。

ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。

図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータは、CPU(Central Processing Unit)１００１を内蔵している。CPU１００１にはバス１００４を介して、入出力インタフェース１００５が接続されている。バス１００４には、ROM(Read Only Memory)１００２およびRAM(Random Access Memory)１００３が接続されている。

入出力インタフェース１００５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１００６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１００７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１００８、LAN（Local Area Network）アダプタなどよりなり、インターネットに代表されるネットワークを介した通信処理を実行する通信部１００９が接続されている。また、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリなどのリムーバブルメディア１０１１に対してデータを読み書きするドライブ１０１０が接続されている。

CPU１００１は、ROM１００２に記憶されているプログラム、または磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリ等のリムーバブルメディア１０１１から読み出されて記憶部１００８にインストールされ、記憶部１００８からRAM１００３にロードされたプログラムに従って各種の処理を実行する。RAM１００３にはまた、CPU１００１が各種の処理を実行する上において必要なデータなども適宜記憶される。

以上のように構成されるコンピュータでは、CPU１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記憶部１００８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

尚、本技術は、以下のような構成も取ることができる。
（１） 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得部と、
前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成部と、
前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出部と、
前記評価値算出部により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択部と
を含む画像処理装置。
（２） 前記変換画像生成部により生成された前記変換画像と、オリジナルの前記フレーム画像との差分をノード差分として算出するノード差分算出部と、
前記変換画像生成部により生成された前記変換画像、および前記オリジナルの前記フレーム画像を含む、時系列の差分をエッジ差分として算出するエッジ差分算出部とをさらに含み、
前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に基づいて、前記変換動画像毎のブレを評価する評価値を算出する
（１）に記載の画像処理装置。
（３） 前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出する
（２）に記載の画像処理装置。
（４） 前記エッジ差分の和、および前記ノード差分の和に付される、それぞれの前記重みの和は１であり、前記エッジ差分の和、および前記ノード差分の和に付される重みを入力する重み入力部をさらに含み、
前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に、前記重み入力部により入力された重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出する
（３）に記載の画像処理装置。
（５） 前記記憶部は、前記変換画像生成部により前記変換画像が生成される際に、前記変換画像に対応付けて、複数の所定の画角の画像、および複数の角度に回転する画像ことにより前記オリジナルのフレーム画像に対応して変化する撮像方向の情報も合わせて記憶し、
前記変換動画像、または、前記動画像のフレーム画像の前記撮像位置の情報に基づいて地図上にルートを表示すると共に、前記撮像方向の情報に基づいて、前記ルート上に前記撮像方向毎に色を塗り分けて表示する表示画像を生成する表示画像生成部をさらに含む
（１）に記載の画像処理装置。
（６） 前記表示画像上における前記地図上に表示されたルート上の位置を指定する指定部と、
前記指定部により指定された位置に対応する撮像位置の情報を含むフレーム画像から、前記ルートを構成する前記変換動画像、または、前記動画像を再生する再生部をさらに含む
（５）に記載の画像処理装置。
（７） 前記変換画像生成部は、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像を利用して、画角シフト、ホモグラフィ変換、および視点合成を含む手法により、前記複数の所定の画角の画像、および複数の角度に回転することで、前記異なる撮像方向の複数の画像に変換して変換画像を生成する
（１）に記載の画像処理装置。
（８） 前記変換画像生成部は、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、画素以下の位相ずれにより生成される画素を利用することにより、前記異なる撮像方向の、より高解像度の複数の変換画像を生成する
（１）に記載の画像処理装置。
（９） 前記動画像を撮像する撮像部をさらに備え、
前記取得部は、前記フレーム画像の撮像位置および撮像方向の情報を、前記フレーム画像毎に対応付けて記憶する
（１）乃至（８）のいずれかに記載の画像処理装置。
（１０） 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得し、
前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成し、
前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出し、
算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する
ステップを含む画像処理方法。
（１１） 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得ステップと、
前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成ステップと、
前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出ステップと、
前記評価値算出ステップの処理により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択ステップと
を含む処理をコンピュータに実行させるためのプログラム。

１１，１１−１乃至１１−Ｎ 眼鏡型カメラ， １２，１２−１乃至１２−Ｍ 再生端末， １３ ネットワーク， １４ サーバ， ３２ 撮像部， ３３ 制御部， ５１ 記録部， ５２ ＧＰＳ， ５３ ＲＴＣ， ５４ 地軸センサ， ５５ ジャイロセンサ， ５６ コントローラ， ５７ 通信部， ７１ 制御部， ７２ 表示部， ７３ 操作部， ７４ 通信部， ７５ 表示画像記憶部， ９１ 通信部， ９２ 記録部， ９３ 記憶部， ９４ 再生管理部， １０１ インデックス付加部， １１１ My地図生成部， １１２ 撮像方向色付部， １１３ オブジェクト認識部， １１４ 地図データ記憶部， １１５ ルート編集部， １１６ 変換動画像ファイル生成部， １１７ ノード差分算出部， １１８ エッジ差分算出部， １１９ 評価値算出部， １２０ 変換動画像ファイル選択部， １２１ 禁止編集部

Claims (11)

1. 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得部と、
   前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成部と、
   前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出部と、
   前記評価値算出部により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択部と
   を含む画像処理装置。
2. 前記変換画像生成部により生成された前記変換画像と、オリジナルの前記フレーム画像との差分をノード差分として算出するノード差分算出部と、
   前記変換画像生成部により生成された前記変換画像、および前記オリジナルの前記フレーム画像を含む、時系列の差分をエッジ差分として算出するエッジ差分算出部とをさらに含み、
   前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に基づいて、前記変換動画像毎のブレを評価する評価値を算出する
   請求項１に記載の画像処理装置。
3. 前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出する
   請求項２に記載の画像処理装置。
4. 前記エッジ差分の和、および前記ノード差分の和に付される、それぞれの前記重みの和は１であり、前記エッジ差分の和、および前記ノード差分の和に付される重みを入力する重み入力部をさらに含み、
   前記評価値算出部は、前記変換画像、および前記オリジナル画像との組み合わせからなる変換動画像に含まれる前記変換画像または前記オリジナルのフレーム画像間の、それぞれの前記エッジ差分の和、および前記ノード差分の和に、前記重み入力部により入力された重みを付して、その和を算出することで、前記変換動画像毎のブレを評価する評価値を算出する
   請求項３に記載の画像処理装置。
5. 前記記憶部は、前記変換画像生成部により前記変換画像が生成される際に、前記変換画像に対応付けて、複数の所定の画角の画像、および複数の角度に回転する画像ことにより前記オリジナルのフレーム画像に対応して変化する撮像方向の情報も合わせて記憶し、
   前記変換動画像、または、前記動画像のフレーム画像の前記撮像位置の情報に基づいて地図上にルートを表示すると共に、前記撮像方向の情報に基づいて、前記ルート上に前記撮像方向毎に色を塗り分けて表示する表示画像を生成する表示画像生成部をさらに含む
   請求項１に記載の画像処理装置。
6. 前記表示画像上における前記地図上に表示されたルート上の位置を指定する指定部と、
   前記指定部により指定された位置に対応する撮像位置の情報を含むフレーム画像から、前記ルートを構成する前記変換動画像、または、前記動画像を再生する再生部をさらに含む
   請求項５に記載の画像処理装置。
7. 前記変換画像生成部は、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像を利用して、画角シフト、ホモグラフィ変換、および視点合成を含む手法により、前記複数の所定の画角の画像、および複数の角度に回転することで、前記異なる撮像方向の複数の画像に変換して変換画像を生成する
   請求項１に記載の画像処理装置。
8. 前記変換画像生成部は、前記記憶部に記憶されている動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、画素以下の位相ずれにより生成される画素を利用することにより、前記異なる撮像方向の、より高解像度の複数の変換画像を生成する
   請求項１に記載の画像処理装置。
9. 前記動画像を撮像する撮像部をさらに備え、
   前記取得部は、前記フレーム画像の撮像位置および撮像方向の情報を、前記フレーム画像毎に対応付けて記憶する
   請求項１に記載の画像処理装置。
10. 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得し、
    前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成し、
    前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出し、
    算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する
    ステップを含む画像処理方法。
11. 撮像部の撮像により得られる動画像を構成するフレーム画像単位での撮像位置、および撮像方向の情報を取得する取得ステップと、
    前記動画像を構成するフレーム画像毎に、前記フレーム画像自身、および、その前後のフレーム画像に基づいて、撮像方向の異なる複数の変換画像を生成する変換画像生成ステップと、
    前記変換画像および前記オリジナルの前記フレーム画像の組み合わせにより構成される変換動画像毎に、前記変換画像間または前記オリジナルの前記フレーム画像間のブレを評価する評価値を算出する評価値算出ステップと、
    前記評価値算出ステップの処理により算出された評価値に基づいて、前記ブレの少ない変換動画像を選択する選択ステップと
    を含む処理をコンピュータに実行させるためのプログラム。

Images