JP5287756B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置に関し、特に、動画コンテンツを扱う画像処理装置および画像処理方法ならびに当該方法をコンピュータに実行させるプログラムに関する。

近年、人物や風景等の被写体を撮像して画像データを生成し、この生成された画像データを動画ファイル等のコンテンツとして記録するデジタルビデオカメラ（例えば、カメラ一体型レコーダ）等の撮像装置が普及している。

また、このように記録されたコンテンツを再生する際にその開始位置を指定する指定方法が多数提案されている。例えば、コンテンツを構成する各画像のうち、時間軸における一定間隔毎の画像（代表画像）をフィルムのように時系列で並べて表示させ、これらの代表画像を指定することによりコンテンツの再生開始位置を指定する指定方法が提案されている。この指定方法では、時間軸における一定間隔毎の代表画像が並べて表示されるため、代表画像の内容および時間軸における位置を考慮してコンテンツの開始位置を指定することができる。

ここで、例えば、旅行に行った際に生成されたコンテンツについて、その旅行地における所定領域（例えば、テーマパークの１つのアトラクション）で生成された動画範囲の先頭からの再生開始を所望することも想定される。しかしながら、上述した編集方法では、代表画像の内容および時間軸における位置を考慮することができるが、その内容から地理的な位置を考慮することが困難であることが想定される。そこで、例えば、地理的な位置を考慮して、動画コンテンツの再生開始位置を指定する指定方法が提案されている。

例えば、動画コンテンツに関連付けられている位置情報に基づいて、その動画コンテンツの撮影時における位置の履歴を示す実線を地図上に表示する電子機器が提案されている（例えば、特許文献１参照。）。この電子機器は、その履歴を示す実線における所望部分について所定操作（例えば、クリック操作）を行うと、その部分（地図上の位置）に対応する時間軸の位置から動画コンテンツの再生を開始する。

特開２００６−２５４４１４号公報（図７）

上述の従来技術によれば、動画コンテンツの撮影時における位置の履歴を示す実線を地図上に表示することにより、地理的な位置を考慮した所望部分から動画コンテンツの再生を開始することができる。

ここで、例えば、１または複数の動画コンテンツのうちの所望の動画部分を見るため、動画コンテンツを編集して所望の動画部分を再生するためのプレイリスト情報を生成しておくことが考えられる。このように、動画コンテンツを編集する場合についても、地理的な位置を考慮して編集を行うことができれば、ユーザ好みの動画コンテンツの編集を容易に行うことができると考えられる。

本発明はこのような状況に鑑みてなされたものであり、地理的な位置を考慮したユーザ好みの動画コンテンツの編集を容易に行うことを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される上記動画コンテンツの撮像時における軌跡と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて上記動画コンテンツの時間軸における区間を設定する設定部と、上記設定された区間と上記比較に用いられた上記特定対象領域に関する特定対象物情報とを関連付けた情報であって上記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動画コンテンツの撮像時における軌跡と特定対象領域との比較結果に基づいて動画コンテンツの時間軸における区間を設定し、この設定された区間とその比較に用いられた特定対象領域に関する特定対象物情報とを関連付けたプレイリスト情報を生成するという作用をもたらす。

また、本発明の第２の側面は、動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される上記動画コンテンツの撮像時の軌跡における上記撮像位置を基準とする範囲であって当該撮像位置を基準とする方位に関する方位情報に基づいて特定される撮像範囲と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて上記動画コンテンツの時間軸における区間を設定する設定部と、上記設定された区間と上記比較に用いられた上記特定対象領域に関する特定対象物情報とを関連付けた情報であって上記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成部とを具備する画像処理装置およびその画像処理方法ならびに当該方法をコンピュータに実行させるプログラムである。これにより、動画コンテンツの撮像時の軌跡における撮像範囲と特定対象領域との比較結果に基づいて動画コンテンツの時間軸における区間を設定し、この設定された区間とその比較に用いられた特定対象領域に関する特定対象物情報とを関連付けたプレイリスト情報を生成するという作用をもたらす。
また、この第１または第２の側面において、上記位置情報に基づいて上記軌跡に関する情報であって上記軌跡を特定するための軌跡情報を生成する軌跡情報生成部をさらに具備するようにしてもよい。これにより、位置情報に基づいて軌跡情報を生成するという作用をもたらす。

また、この第２の側面において、上記設定部は、上記軌跡において、少なくとも一部が上記特定対象領域と重複する撮像範囲に対応する上記撮像位置を抽出して上記抽出された撮像位置により構成される当該軌跡における区間に基づいて上記動画コンテンツの時間軸における区間を設定するようにしてもよい。これにより、動画コンテンツの撮像時における軌跡において、少なくとも一部が特定対象領域と重複する撮像範囲に対応する撮像位置を抽出し、この抽出された撮像位置により構成されるその軌跡における区間に基づいて、動画コンテンツの時間軸における区間を設定するという作用をもたらす。

また、この第１または第２の側面において、地図上における複数種類の特定対象領域のうちから所望の特定対象領域を指定する指定操作を受け付ける操作受付部をさらに具備するようにしてもよい。これにより、地図上における複数種類の特定対象領域のうちから所望の特定対象領域を指定する指定操作を受け付けるという作用をもたらす。

また、この第１または第２の側面において、上記プレイリスト情報生成部は、上記軌跡を含む地図に関する地図情報を上記プレイリスト情報に含めて上記プレイリスト情報を生成するようにしてもよい。これにより、動画コンテンツの撮像時における軌跡を含む地図に関する地図情報を、プレイリスト情報に含めてプレイリスト情報を生成するという作用をもたらす。

また、この第１の側面において、上記設定部は、上記軌跡のうち上記特定対象領域に含まれる軌跡を抽出して当該抽出された軌跡に基づいて上記動画コンテンツの時間軸における区間を設定するようにしてもよい。これにより、動画コンテンツの撮像時における軌跡のうちから、特定対象領域に含まれる軌跡を抽出し、この抽出された軌跡に基づいて、動画コンテンツの時間軸における区間を設定するという作用をもたらす。

また、この第１または第２の側面において、上記軌跡を表示部に表示させる表示制御部をさらに具備するようにしてもよい。これにより、動画コンテンツの撮像時における軌跡を表示部に表示させるという作用をもたらす。

また、この第１または第２の側面において、上記表示制御部は、上記表示部に表示される軌跡において上記設定された区間に対応する軌跡部分と他の部分とを異なる表示態様とするようにしてもよい。これにより、表示部に表示される軌跡において、設定された区間に対応する軌跡部分と他の部分とを異なる表示態様とするという作用をもたらす。

また、この第１または第２の側面において、上記表示制御部は、上記軌跡を含む地図に当該軌跡を重ねて表示させるようにしてもよい。これにより、動画コンテンツの撮像時における軌跡を含む地図に、その軌跡を重ねて表示させるという作用をもたらす。

本発明によれば、地理的な位置を考慮したユーザ好みの動画コンテンツの編集を容易に行うことができるという優れた効果を奏し得る。

本発明の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。 本発明の第１の実施の形態における記録媒体１６０に記憶されるファイルのファイル構成の一例を示す図である。 本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。 本発明の第１の実施の形態におけるプレイリスト情報記憶部２９０の記憶内容を模式的に示す図である。 本発明の第１の実施の形態における表示部１８０に表示される表示画面の一例と編集対象となる動画とを示す図である。 本発明の第１の実施の形態における編集点設定部２６０による編集対象範囲の決定方法を模式的に示す図である。 本発明の第１の実施の形態における編集点設定部２６０による編集対象範囲の決定方法を模式的に示す図である。 本発明の第１の実施の形態における編集点設定部２６０による編集対象範囲の決定方法を模式的に示す図である。 本発明の第１の実施の形態における編集点設定部２６０による編集対象範囲の決定方法を模式的に示す図である。 本発明の第１の実施の形態における画像処理装置１００によるプレイリスト生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理の対象となる平面座標系を定義するための図である。 本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理に用いられる各データを管理するための格子領域を定義するための図である。 本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理に用いられる各データを管理するための格子領域を定義するための図である。 本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理に用いられる階層的格子領域データを定義するための図である。 本発明の第２の実施の形態における画像処理装置１００による軌跡情報生成処理に用いられる階層的格子領域データを定義するための図である。 本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データの作成の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号リストの作成処理の入出力例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順のうちのリスト生成処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号のリスト生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による傾きが右上がりである線分のレベル０格子番号リストの作成処理の入出力例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号のリスト生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による傾きが垂直である線分のレベル０格子番号リストの作成処理の入出力例を示す図である。 本発明の第２の実施の形態における画像処理装置１００によるマージ処理の作成の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００によるマージ処理の作成の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順のうちのマージ処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による衝突検出処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの衝突検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの再帰的衝突検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による格子領域の衝突判定処理および要素レベルダウン判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの撮影区間検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による線分と格子領域の衝突判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの区間番号追加処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による撮影領域データ作成処理の入出力例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影領域データ生成処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による撮影区間内の撮影領域が含まれるレベル０格子番号リスト作成処理の入出力例を示す図である。 本発明の第２の実施の形態における画像処理装置１００により生成される区間内撮影情報および区間内領域情報の一例を示す図である。 本発明の第２の実施の形態における画像処理装置１００により生成される区間内撮影情報および区間内領域情報の一例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による境界線方向ベクトル角の計算処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの計算処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による直線と点の位置判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの位置判定処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による判定値算出処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプ判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプ判定処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプＡＢ判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプＡＢ判定処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプＣＤ判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプＣＤ判定処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００によるターゲット領域撮影区間検出処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００によるターゲット領域撮影区間検出処理の処理手順のうちの検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域と格子領域の衝突判定処理および区間内撮影領域と点の衝突判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域と格子領域の衝突判定処理および区間内撮影領域と点の衝突判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域と格子領域の衝突判定処理および区間内撮影領域と点の衝突判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定レベル０格子領域の検出処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちの検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちの再帰的検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における画像処理装置１００による点と格子領域の衝突判定処理を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による撮影区間リストからのユーザ指定撮影点検出処理の流れを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちのユーザ指定撮影点検出処理の一例を示すフローチャートである。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による地図領域決定処理の対象となる選択クリップ群に対応する階層的格子領域を模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による地図領域決定処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における画像処理装置１００による動画コンテンツ検出処理の対象となる格子サイズを模式的に示す図である。 本発明の第２の実施の形態における画像処理装置１００による動画コンテンツ検出処理の処理手順の一例を示すフローチャートである。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。 本発明の第２の実施の形態における表示部１８０に表示される表示画面の一例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（プレイリスト生成制御：軌跡情報を用いて動画コンテンツに関するプレイリストを生成する例）
２．第２の実施の形態（プレイリスト生成制御：階層的格子領域データを用いてプレイリストを生成する例）

＜１．第１の実施の形態＞
［画像処理装置の構成例］
図１は、本発明の第１の実施の形態における画像処理装置１００の内部構成例を示すブロック図である。画像処理装置１００は、撮像部１１１と、画像信号処理部１１２と、方位情報取得部１１４と、位置情報取得部１１３と、操作部１２１と、操作受付部１２２とを備える。また、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１３０と、ＲＯＭ（Read Only Memory）１４１と、ＲＡＭ（Random Access Memory）１４２とを備える。また、画像処理装置１００は、記録制御部１５０と、記録媒体１６０と、表示制御部１７０と、表示部１８０と、バス１０１とを備える。画像処理装置１００は、例えば、位置情報等の属性情報を画像データに関連付けて記録することが可能なデジタルビデオカメラ（例えば、カメラ一体型レコーダ）によって実現することができる。

撮像部１１１は、被写体からの光を集光する複数のレンズ（ズームレンズ、フォーカスレンズ等）および撮像素子から構成され、入射された被写体からの光がこれらのレンズおよびアイリスを介して撮像素子に供給される。そして、ＣＰＵ１３０の制御に基づいて、撮像素子が、レンズおよびアイリスを介して入射された被写体からの光信号をアナログの画像信号に光電変換し、この光電変換されたアナログの画像信号を画像信号処理部１１２に供給する。この撮像素子として、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いることができる。

画像信号処理部１１２は、ＣＰＵ１３０の制御に基づいて、各種画像信号処理を行うものである。具体的には、画像信号処理部１１２は、撮像部１１１から供給されたアナログの画像信号についてノイズ除去等のアナログ信号処理を施して、このアナログ信号処理が施された画像信号をＡ／Ｄ変換する。また、画像信号処理部１１２は、そのＡ／Ｄ変換により得られるデジタル信号である画像データについて輪郭強調、ガンマ補正、フリッカ除去等のデジタル信号処理を施す。そして、画像信号処理部１１２は、そのデジタル信号処理が施された画像データ（撮像画像）を各部に供給する。

位置情報取得部１１３は、画像処理装置１００の位置を特定するための位置情報を取得するものであり、取得された位置情報をＣＰＵ１３０に出力する。この位置情報取得部１１３として、例えば、ＧＰＳ信号受信アンテナ（図示せず）により受信されたＧＰＳ信号に基づいて位置情報を算出するＧＰＳ（Global Positioning System）装置を用いることができる。また、算出された位置情報には、緯度、経度、高度等の位置に関する各データが含まれる。なお、位置情報取得部１１３として、例えば、周囲に存在する無線ＬＡＮ（Local Area Network）によるアクセスポイント情報を用いて位置情報を取得する位置情報取得装置を用いるようにしてもよい。

方位情報取得部１１４は、地磁気を利用して地球上における方位を計測するセンサであり、計測された方位をＣＰＵ１３０に出力する。例えば、方位情報取得部１１４は、互いに直交する２軸（例えば、ｘ軸およびｙ軸）のコイルと、その中心部に配置されたＭＲ素子（磁気抵抗素子）とにより構成される磁界センサである。このＭＲ素子は、地磁気を感知し、その磁気の強さによって抵抗値が変化する素子であり、ＭＲ素子の抵抗変化が、２軸のコイルによって２方向の成分（例えば、ｘ軸およびｙ軸の成分）に分けられ、その２方向の成分の地磁気の比に基づいて方位が算出される。ここで、本発明の第１の実施の形態では、方位情報取得部１１４は、画像処理装置１００の撮像方向の方位を計測する。この撮像方向は、撮像位置（例えば、画像処理装置１００が存在する位置）から、画像信号処理部１１２により生成された撮像画像に含まれる被写体が存在する位置までの方向であり、例えば、被写体側の光軸方向とすることができる。また、例えば、撮像方向は、撮像位置を基準として、撮像画像における中心位置に存在する被写体の方向を撮像方向とすることができる。なお、本発明の第１の実施の形態では、方位情報取得部１１４を用いて撮像方向を取得する例を示すが、他の方位取得方法により取得された方位を用いるようにしてもよい。

操作部１２１は、ユーザ操作を行う操作ボタン等の操作部材により構成される操作部であり、各操作部材による操作内容が操作受付部１２２に出力される。

操作受付部１２２は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容に応じた信号をＣＰＵ１３０に出力する。

ＣＰＵ１３０は、ＲＯＭ１４１に記憶されている各種制御プログラムに基づいて、画像処理装置１００の各部を制御するものである。また、ＣＰＵ１３０は、操作受付部１２２により受け付けられた操作入力等に基づいて画像処理装置１００の各部を制御する。なお、ＣＰＵ１３０により行われる制御については、図３を参照して詳細に説明する。

ＲＯＭ１４１は、読み出し専用のメモリであり、各種制御プログラム等を記憶するものである。ＲＡＭ１４２は、ＣＰＵ１３０のメインメモリ（主記憶装置）に用いられるメモリであり、ＣＰＵ１３０において実行されるプログラムの作業領域等を備える。

記録制御部１５０は、ＣＰＵ１３０の制御に基づいて、画像信号処理部１１２により生成された画像データ（撮像画像）を画像ファイル（静止画ファイルまたは動画ファイル）として記録媒体１６０に記録させるものである。この記録時に、記録制御部１５０は、方位情報取得部１１４により取得された方位と、位置情報取得部１１３により取得された位置情報と、その記録時における日時情報とを画像ファイルに記録する。すなわち、撮像画像の撮像時における撮像方向を示す方位、その撮像時における位置およびその撮像時における日時が画像コンテンツに関連付けて記録される。また、記録制御部１５０は、その記録された画像ファイルに関する画像管理情報をコンテンツ管理ファイル１９０（図２に示す）に記録させる。

記録媒体１６０は、記録制御部１５０の制御に基づいて、画像ファイル等の各データを記憶するものであり、記憶されている各データを各部に供給する。なお、記録媒体１６０には、例えば、動画ファイル、画像管理情報等の各種データが記録される。また、記録媒体１６０として、例えば、メモリカード、光ディスク、磁気ディスク、磁気テープ等の記録媒体を用いることができる。また、記録媒体１６０を、画像処理装置１００に内蔵するようにしてもよく、画像処理装置１００から着脱可能とするようにしてもよい。

表示制御部１７０は、ＣＰＵ１３０の制御に基づいて、各種情報を表示部１８０に表示させるものである。例えば、表示制御部１７０は、画像信号処理部１１２により生成された画像データ（撮像画像）を表示部１８０に順次表示させる。また、例えば、表示制御部１７０は、記録媒体１６０に記憶されている動画コンテンツを表示部１８０に表示させる。これらの表示例については、図５乃至図９等に示す。

表示部１８０は、表示制御部１７０の制御に基づいて各種情報を表示する表示部である。表示部１８０として、例えば、ＬＣＤ（Liquid Crystal Display）、有機ＥＬ（Electro Luminescence）パネル等を用いることができる。なお、操作部１２１および表示部１８０については、表示画面における指等の接触または近接により各種の操作入力を行うことが可能なタッチパネルにより一体で構成するようにしてもよい。

［記録媒体の記憶例］
図２は、本発明の第１の実施の形態における記録媒体１６０に記憶されるファイルのファイル構成の一例を示す図である。図２（ａ）には、ファイルのディレクトリ構造を示す。

記録媒体１６０のルートディレクトリ１６１の下には、コンテンツ管理ファイル１９０と、１または複数の画像ファイル（動画データ１６１、１６２等）と、地図データ１６３とが配置される。

コンテンツ管理ファイル１９０は、記録媒体１６０に記憶されている各コンテンツ（例えば、動画ファイル、静止画ファイル）を管理するためのファイルである。なお、コンテンツ管理ファイル１９０の構成例については、図２（ｂ）を参照して詳細に説明する。

動画データ１６１および１６２は、撮像部１１１および画像信号処理部１１２により生成された画像データにより構成される動画ファイルである。また、各動画ファイルの拡張子としては「．ＭＰＧ」が用いられる。

地図データ１６３は、プレイリスト情報を生成する際に用いられる地図データと、表示部１８０に地図を表示する際に用いられる地図データと、プレイリスト情報に地名（タイトル）を付す際に用いられる地図データとを含む情報である。例えば、地図データ１６３は、緯度および経度により特定されるデータであり、一定の緯度幅および経度幅を単位として、複数の領域に区切られている。

図２（ｂ）には、コンテンツ管理ファイル１９０の基本構造の一例を模式的に示す。コンテンツ管理ファイル１９０は、ヘッダ部１９１および画像データ管理部１９２の基本構造を有するファイルであり、各コンテンツに関連付けられている。

ヘッダ部１９１には、画像データ管理部１９２を管理する各種情報が記録されている。

画像データ管理部１９２には、各コンテンツを管理するためのデータが格納されている。例えば、画像データ管理部１９２には、コンテンツ識別情報１９３と、ファイル名１９４と、サムネイル画像１９５と、フレーム識別情報１９６と、位置情報１９７と、方位情報１９８と、日時情報１９９とが関連付けて格納されている。

コンテンツ識別情報１９３には、各コンテンツを識別するための識別情報（コンテンツＩＤ）が格納される。

ファイル名１９４には、各コンテンツに付与されたファイル名が格納される。このファイル名は、例えば、ユーザの手動操作により付与することができる。また、コンテンツの内容に基づいて、ファイル名を自動で付与するようにしてもよい。例えば、コンテンツに関連付けられている位置情報を用いてファイル名を決定して、そのファイル名をコンテンツに付与することができる。

サムネイル画像１９５には、各コンテンツの代表画像がサムネイル画像として格納される。例えば、動画コンテンツの場合には、先頭フレームの画像がサムネイル画像として格納される。

フレーム識別情報１９６には、各動画コンテンツを構成するフレームを識別するための識別情報が格納される。例えば、各動画コンテンツを構成する先頭フレームからの順番に従って識別番号が付される。なお、動画コンテンツの場合には、一定間隔（例えば、１０フレーム間隔）毎のフレームに関する識別情報のみを格納するようにしてもよい。

位置情報１９７には、位置情報取得部１１３により取得された位置情報が格納される。例えば、位置情報として、緯度および経度が格納される。

方位情報１９８には、方位情報取得部１１４により取得された方位情報が格納される。例えば、基準方位（例えば、北）を０度とした場合における角度（例えば、東は９０度、南は１８０度、西は２７０度）が格納される。

日時情報１９９には、対応するフレームが記録された際における日時情報が格納される。例えば、年月日時分が格納される。

このように、コンテンツに関連付けて、位置情報取得部１１３により取得された位置情報と、方位情報取得部１１４により取得された方位情報と、日時とがコンテンツ管理ファイルに格納される。また、動画コンテンツの場合には、各フレームまたは一定間隔毎のフレームに関連付けて、位置情報、方位情報および日時がコンテンツ管理ファイルに格納される。

［画像処理装置の機能構成例］
図３は、本発明の第１の実施の形態における画像処理装置１００の機能構成例を示すブロック図である。画像処理装置１００は、コンテンツ記憶部２００と、地図情報記憶部２１０と、取得部２２０と、軌跡情報生成部２３０と、表示制御部２４０と、表示部２５０とを備える。また、画像処理装置１００は、編集点設定部２６０と、プレイリスト情報生成部２７０と、操作受付部２８０と、プレイリスト情報記憶部２９０とを備える。

コンテンツ記憶部２００は、編集対象となる動画コンテンツおよびコンテンツ管理ファイルを記憶するものであり、記憶されている動画コンテンツを取得部２２０に供給する。

地図情報記憶部２１０は、表示部２５０に表示される地図に関する地図データを記憶するものであり、記憶されている地図データを取得部２２０に供給する。例えば、地図情報記憶部２１０に記憶されている地図データは、緯度および経度により特定されるデータであり、一定の緯度幅および経度幅を単位として、複数の領域に区切られている。また、区切られている各領域には、例えば、各領域に対応する地名や特定対象領域情報（例えば、ランドマークに関する情報）が関連付けて記録されている。この地名を用いて、例えば、プレイリスト情報に地名を付すことができる。なお、コンテンツ記憶部２００および地図情報記憶部２１０は、図１に示す記録媒体１６０に対応する。

取得部２２０は、操作受付部２８０により受け付けられた操作入力に応じて、ユーザにより編集対象として選択された動画コンテンツおよびこれに関する属性情報をコンテンツ記憶部２００から取得するものである。また、取得部２２０は、ユーザにより編集対象として選択された動画コンテンツに関する地図情報を地図情報記憶部２１０から取得する。そして、取得部２２０は、取得された属性情報を軌跡情報生成部２３０に出力し、取得された属性情報および地図情報を編集点設定部２６０に出力する。また、取得部２２０は、取得された動画コンテンツおよび地図情報を表示制御部２４０に出力し、取得された動画コンテンツ、属性情報および地図情報をプレイリスト情報生成部２７０に出力する。なお、取得部２２０は、図１に示すＣＰＵ１３０および記録制御部１５０に対応する。

軌跡情報生成部２３０は、取得部２２０から出力された属性情報に基づいて、ユーザにより編集対象として選択された動画コンテンツの軌跡情報を生成するものである。具体的には、軌跡情報生成部２３０は、その選択された動画コンテンツの位置情報（緯度および経度）に基づいて、動画コンテンツの撮影が行われた軌跡に関する軌跡情報を生成する。そして、軌跡情報生成部２３０は、生成された軌跡情報を表示制御部２４０および編集点設定部２６０に出力する。なお、軌跡情報生成部２３０は、図１に示すＣＰＵ１３０に対応する。

表示制御部２４０は、操作受付部２８０により受け付けられた操作入力に応じて、動画コンテンツおよびその編集に用いられる各情報を表示部２５０に表示させるものである。例えば、表示制御部２４０は、軌跡情報生成部２３０から出力された軌跡情報により特定される軌跡を含む地図（取得部２２０から出力された地図情報）にその軌跡を重ねて表示させる。また、表示制御部２４０は、編集点設定部２６０から出力された編集点を軌跡情報に重ねて表示させる。なお、表示制御部２４０は、図１に示す表示制御部１７０に対応する。

表示部２５０は、表示制御部２４０の制御に基づいて各種情報を表示する表示部である。なお、表示部２５０は、図１に示す表示部１８０に対応する。

編集点設定部２６０は、操作受付部２８０により受け付けられた操作入力に応じて、軌跡情報生成部２３０から出力された軌跡情報に基づいて、動画コンテンツの時間軸における区間（編集点）を設定するものである。例えば、編集点設定部２６０は、操作受付部２８０により受け付けられた操作入力に基づいて特定される編集点（軌跡情報により特定される軌跡における２つの編集点）に基づいて、動画コンテンツの時間軸における区間を設定する。また、編集点設定部２６０は、その軌跡と、ランドマーク等の特定対象領域との比較結果に基づいて、動画コンテンツの時間軸における区間を設定する。例えば、その軌跡のうち、特定対象領域に含まれる軌跡を抽出し、この抽出された軌跡に基づいて、動画コンテンツの時間軸における区間を設定する。そして、編集点設定部２６０は、設定された区間に関する区間情報をプレイリスト情報生成部２７０に出力する。また、編集点設定部２６０は、操作受付部２８０により受け付けられた操作入力に応じて、軌跡情報における編集点を指定する際における各内容を表示制御部２４０に出力する。なお、編集点設定部２６０は、図１に示すＣＰＵ１３０に対応する。また、編集点設定部２６０は、特許請求の範囲に記載の設定部の一例である。

プレイリスト情報生成部２７０は、ユーザにより編集対象として選択された動画コンテンツの再生に関するプレイリスト情報を生成するものである。具体的には、プレイリスト情報生成部２７０は、編集点設定部２６０から出力された区間情報に基づいて、動画コンテンツのプレイリスト情報を生成する。また、例えば、プレイリスト情報生成部２７０は、動画コンテンツの再生に用いられる各種情報をプレイリスト情報に含める。例えば、プレイリストの生成に用いられた特定対象領域に関する特定対象物情報をプレイリスト情報を含めることができる。また、軌跡情報生成部２３０により生成された軌跡情報により特定される軌跡を含む地図に関する地図情報をプレイリスト情報に含めることができる。そして、プレイリスト情報生成部２７０は、生成されたプレイリスト情報をプレイリスト情報記憶部２９０に記憶させる。なお、プレイリスト情報生成部２７０は、図１に示すＣＰＵ１３０に対応する。

操作受付部２８０は、ユーザによって操作された操作内容を受け付ける操作受付部であり、受け付けられた操作内容を取得部２２０および編集点設定部２６０に出力する。

プレイリスト情報記憶部２９０は、プレイリスト情報生成部２７０により生成されたプレイリスト情報を記憶するものである。なお、プレイリスト情報記憶部２９０の記憶内容については、図４を参照して詳細に説明する。また、プレイリスト情報記憶部２９０は、図１に示す記録媒体１６０に対応する。

［プレイリスト情報記憶部の記憶内容］
図４は、本発明の第１の実施の形態におけるプレイリスト情報記憶部２９０の記憶内容を模式的に示す図である。プレイリスト情報記憶部２９０には、プレイリスト識別情報２９１と、コンテンツ識別情報２９２と、区間情報２９３と、プレイリスト名２９４と、プレイリスト作成日時情報２９５と、ランドマーク情報２９６と、地図表示領域情報２９７とが記憶されている。

プレイリスト識別情報２９１には、各プレイリスト情報を識別するための識別情報が格納される。

コンテンツ識別情報２９２には、各コンテンツを識別するための識別情報（コンテンツＩＤ）が格納される。ここで、動画コンテンツは、通常、１回の撮影開始から撮影停止動作によって記録される１連の撮影軌跡をもつ動画データである。なお、本発明の第２の実施の形態では、各動画コンテンツが撮影軌跡階層的格子領域データを備える例を示す。この撮影軌跡階層的格子領域データは、動画コンテンツの撮影時に作成するようにしてもよく、必要なときに随時作成するようにしてもよい。

区間情報２９３には、プレイリストを構成する動画コンテンツのクリップに関する情報が格納される。ここで、プレイリスト（ＰＬ）は、複数のＰＬクリップから構成される再生単位であり、ＰＬクリップの順序付きリストとして定義される。なお、ＰＬクリップは、プレイリストを構成するクリップである。このクリップは、動画コンテンツの一部分（１つの連続する撮影区間）であり、コンテンツ識別情報（コンテンツＩＤ）、撮影区間情報（先頭区間番号、区関数）により定義される。

プレイリスト名２９４には、各プレイリストに付与されたプレイリスト名が格納される。このプレイリスト名は、例えば、ユーザの手動操作により付与することができる。また、プレイリストの内容に基づいて、プレイリスト名を自動で付与するようにしてもよい。このプレイリスト名は、例えば、プレイリストの再生時やプレイリスト一覧表示時に表示することができる。また、プレイリスト一覧表示時におけるプレイリスト名でのソート時に使用することができる。さらに、キーワード（文字列）によるプレイリスト検索時に使用することができる。例えば、指定キーワードを含むプレイリスト名が関連付けされているプレイリストを検索する際に使用することができる。

プレイリスト作成日時情報２９５には、プレイリストの新規登録処理が開始された日時情報やプレイリストの作成を完了した日時情報等の日時情報が格納される。このプレイリスト作成日時情報は、例えば、プレイリストの再生時や一覧表示時に表示することができる。また、プレイリスト一覧表示時における作成日時でのソート時に使用することができる。さらに、作成日時によるプレイリスト検索時に使用することができる。例えば、指定日時（付近）の撮影日時が関連付けされているプレイリストを検索する際に使用することができる。

ランドマーク情報２９６には、ユーザにより指定された特定対象領域（例えば、ランドマーク）の情報が格納される。ここで、特定対象領域は、地図に対応する地上に存在する地物に対応する領域であって、例えば、ランドマーク等の目印となる領域を意味する。この地物は、地上に存在する天然物または人工物を示す名称であり、道路、建築物、川、野原等である。ランドマーク情報２９６には、例えば、ランドマークの名称をテキストデータとして格納することができる。また、地図データベース上のランドマーク情報へのリンク情報（例えば、地図データベース上での各ランドマーク情報に設定されているＩＤ等）を格納することができる。また、ＰＬクリップの抽出元として別のプレイリストを指定した場合には、抽出元のプレイリストのランドマーク情報を引き継いで、新規（抽出後）のプレイリストの付加情報としてランドマーク情報を格納するようにしてもよい。このランドマーク情報は、例えば、プレイリストの再生時や一覧表示時に表示することができる。また、ランドマーク指定によるプレイリスト検索時に使用することができる。例えば、指定ランドマーク情報が関連付けされているプレイリストを検索する際に使用することができる。また、キーワード（文字列）によるプレイリスト検索時に使用することができる。例えば、関連付けされているランドマーク情報の名称に指定キーワードを含むプレイリストを検索する際に使用することができる。

地図表示領域情報２９７には、プレイリストを地図上に表示する場合や、プレイリストが作成された場合等に計算された地図表示領域に関する各情報が格納される。この地図表示領域情報は、例えば、プレイリストの地図表示時に使用することができる。

［軌跡情報の表示例］
図５には、本発明の第１の実施の形態における表示部１８０に表示される表示画面の一例と編集対象となる動画とを示す図である。図５（ａ）に示す表示画面３００には、コンテンツ一覧表示領域３０１と、軌跡情報表示領域３０２と、コンテンツプレビュー表示領域３０３と、フィルムロール表示領域３０４と、決定ボタン３０５と、戻るボタン３０６とが設けられている。

コンテンツ一覧表示領域３０１は、コンテンツ記憶部２００に記憶されている動画コンテンツを表す代表画像（例えば、図２（ｂ）に示すサムネイル画像１９５）を一覧表示する領域である。この例では、各動画コンテンツを表す代表画像＃１乃至＃６を白塗りの矩形で簡略化して示す。

軌跡情報表示領域３０２は、コンテンツ一覧表示領域３０１に表示されている代表画像のうち、ユーザ操作により選択された１または複数の代表画像に対応するコンテンツに関する軌跡を表示する領域である。また、軌跡情報表示領域３０２には、ユーザ操作に応じて、図５（ａ）に示すように、軌跡を表す実線を地図上に重ねて表示させる。この地図は、例えば、軌跡情報生成部２３０により生成された軌跡情報により特定される軌跡を含む地図である。

コンテンツプレビュー表示領域３０３は、ユーザによる指定操作により生成されたプレイリストに関する動画をプレビュー表示する領域である。

フィルムロール表示領域３０４は、ユーザ操作により選択された１または複数の代表画像に対応するコンテンツを構成する各フレーム（画像）のうち、所定数のフレームを時系列で表示する領域である。フィルムロール表示領域３０４には、例えば、ユーザ操作により選択された１または複数の代表画像に対応するコンテンツを構成する各画像のうち、一定間隔毎の画像が時系列で表示される。また、表示対象となる画像が多い場合には、カーソル３０７を用いて左右矢印ボタン３０８または３０９の押下操作を行うことにより、フィルムロール表示領域３０４に表示されている画像をスクロール表示させるようにしてもよい。

決定ボタン３０５は、ユーザ操作による編集内容を決定してプレイリスト情報を生成する際に押下されるボタンである。この決定ボタン３０５の押下操作により、ユーザ操作による編集内容が決定され、決定時の編集内容（プレイリスト情報）がプレイリスト情報記憶部２９０に記憶される。

戻るボタン３０６は、例えば、直前に表示されていた表示画面に戻る場合に押下されるボタンである。

ここで、コンテンツ一覧表示領域３０１に表示されている代表画像に対応するコンテンツについて編集を行うため、編集対象となるコンテンツの軌跡と、この軌跡を含む地図とをコンテンツ一覧表示領域３０１に表示させる場合について説明する。

例えば、ユーザが、操作受付部２８０による所定操作（例えば、マウス操作）により、表示画面３００に表示されているカーソル３０７を用いて、コンテンツ一覧表示領域３０１に表示されている代表画像のうちから所望の代表画像（例えば、＃１）を選択する。この選択操作により、取得部２２０が、代表画像＃１に対応する動画コンテンツに関連付けられている位置情報を取得する。そして、軌跡情報生成部２３０が、その取得された位置情報に基づいて軌跡情報を生成する。また、取得部２２０が、その取得された位置情報に基づいて、その位置情報により特定される位置を含む地図データを取得する。そして、表示制御部２４０が、取得された地図データに対応する地図上に、生成された軌跡情報により特定される実線を重ねて表示する。例えば、街中およびビル３１３内で撮影が行われたコンテンツ＃１に対応する軌跡３１０が、地図に重ねて表示される。なお、点３１１は、軌跡３１０における始点を示し、点３１２は、軌跡３１０における終点を示す。すなわち、点３１１は、コンテンツ＃１に対応する軌跡のうち、時間軸における最前の位置を示し、点３１２は、コンテンツ＃１に対応する軌跡のうち、時間軸における最後の位置を示す。なお、この例では、カーソル３０７を用いて各操作を行う例を示すが、タッチパネルを用いた押下操作としてもよい。

図５（ｂ）には、コンテンツ記憶部２００に記憶されている動画コンテンツ３２０を矩形により模式的に示す。なお、図５（ｂ）において横軸は時間軸を示す。また、動画コンテンツ３２０は、図５（ａ）に示す軌跡３１０に沿って撮影が行われた動画であるものとする。すなわち、図５（ａ）に示す軌跡３１０における始点３１１は、図５（ｂ）に示す始点３２１に対応する。また、図５（ａ）に示す軌跡３１０における終点３１２は、図５（ｂ）に示す終点３２２に対応する。

［編集対象範囲の指定例］
図６乃至図９は、本発明の第１の実施の形態における編集点設定部２６０による編集対象範囲の決定方法を模式的に示す図である。

図６には、操作受付部２８０による編集点の指定方法の一例を示す。図６（ａ）には、編集点を指定するための表示画面３００を示す。この表示画面３００は、軌跡情報表示領域３０２において、ユーザ操作により指定された編集点に対応する位置に白塗り丸が付された以外の点は、図５（ａ）に示す表示画面３００と同一である。このため、図５（ａ）に示す表示画面３００と共通する部分については、同一の符号を付して、これらの説明を省略する。

例えば、ユーザが、操作受付部２８０による所定操作（例えば、マウスによるクリック操作）により、軌跡情報表示領域３０２に表示されている軌跡３１０のうちから、カーソル３０７を用いて、２つの編集点を指定する。この２つの編集点は、例えば、プレイリスト情報として再生すべき範囲の両端（開始点および終了点）である。例えば、図６（ａ）に示すように、軌跡３１０における点３１４および３１５を指定する。この指定操作により指定された２点のうち、動画コンテンツの時間軸における前の位置に対応する点を開始点とし、後の位置に対応する点を終了点とする区間を編集点設定部２６０が設定する。そして、操作受付部２８０による決定ボタン３０５の押下操作により、その特定された区間（時間軸における区間）が決定され、決定された区間に基づいてプレイリスト情報が生成される。この指定操作により決定された区間（時間軸における区間）の一例を図６（ｂ）に示す。

図６（ｂ）には、コンテンツ記憶部２００に記憶されている動画コンテンツ３２０を矩形により模式的に示す。なお、図６（ｂ）に示す動画コンテンツ３２０、始点３２１、終点３２２は、図５（ｂ）に示すものと同一である。このため、図５（ａ）に示すものと共通する部分については、同一の符号を付して、これらの説明を省略する。

ここで、図６（ａ）に示すユーザ操作により指定された２つの編集点（点３１４および３１５）は、図６（ｂ）に示す２つの編集点（指定操作位置３３２および３３３）に対応するものとする。

例えば、図６（ａ）に示す表示画面３００において、ユーザ操作により指定された２つの編集点（点３１４および３１５）により、各編集点に対応する緯度および経度（位置情報）が特定される。このように特定された２つの緯度および経度に関連付けられている時刻（日時情報）が特定され、この特定された時刻に対応する動画コンテンツ３２０の時間軸における位置が、２つの編集点（点３１４および３１５）として特定される。そして、区間３３１（長さＬ１）が特定される。また、フィルムロール表示領域３０４に表示されている画像のうち、区間３３１に含まれる画像については、フィルムロール表示領域３０４に表示されている他の画像と異なる表示態様とする。例えば、図６（ａ）に示すように、フィルムロール表示領域３０４に表示されている画像のうち、区間３３１に含まれる画像（点線の矩形３３０に含まれる画像）については、網掛け表示される。これにより、ユーザが指定した区間を地理的に把握するとともに、時系列で把握することができる。また、軌跡情報表示領域３０２に表示されている軌跡３１０において、区間３３１に対応する軌跡部分と他の部分とを異なる表示態様とすることができる。なお、この例では、１つの区間を指定する場合を例にして説明したが、複数の区間を指定する場合についても同様に指定することができる。

また、図７には、カーソル３０７を用いた丸３１６をなぞる操作入力により、２つの編集点を指定する例を示す。この場合には、軌跡情報表示領域３０２に表示されている軌跡３１０のうち、丸３１６内に含まれる軌跡の最先の点（時間軸における最も前の点）が開始点とされ、丸３１６内に含まれる軌跡の最後の点（時間軸における最も後の点）が終了点とされる。

また、図８には、ランドマーク３１７（ビル３１３に対応する）を指定する操作入力により、２つの編集点を指定する例を示す。この場合には、軌跡情報表示領域３０２に表示されている軌跡３１０のうち、ランドマーク３１７内に含まれる軌跡の最先の点（時間軸における最も前の点）が開始点とされる。また、ランドマーク３１７内に含まれる軌跡の最後の点（時間軸における最も後の点）が終了点とされる。

［方位情報を用いた編集対象範囲の指定例］
以上では、地図上に重ねられている軌跡情報における２つの位置を指定することによりプレイリスト情報を生成する例を示した。ここで、動画コンテンツの属性情報には、方位情報が含まれている。そこで、以下では、方位情報を用いてプレイリスト情報を生成する例を示す。

図９には、撮影対象となるランドマークを指定することにより編集点を指定する指定方法の一例を示す。例えば、ランドマークとして富士山３６０を指定する場合を例にして説明する。この指定については、各ランドマークを選択可能に地図上に表示して所望のランドマークの選択操作により指定する方法や、地図上における所望の領域を指定する（例えば、丸で囲む）ことによりランドマークを指定する指定方法等を用いることができる。

例えば、軌跡情報表示領域３０２の範囲内で、軌跡上における各撮影点と、この撮影点に関連付けて記録されている方位とを用いてランドマークとの衝突判定が行われる。例えば、撮影点を基準にして、これに関連付けられている方位により特定される直線を、指定されたランドマーク方向に伸ばす。そして、その方位により特定される直線が、指定されたランドマークの領域に含まれるか否かに基づいて衝突判定を行うことができる。そして、各軌跡において、方位により特定される直線が、指定されたランドマークの領域に含まれる撮影点を抽出して、これらの撮影点により特定される区間（軌跡上の区間）を特定する。そして、その特定された区間（軌跡上の区間）に基づいて、動画コンテンツの時間軸における区間を設定することができる。例えば、軌跡３４０における区間として２つの編集点（点３４３および３４４）が特定される。また、例えば、軌跡３５０における区間として２つの編集点（点３５３および３５４）が特定される。これらの区間内において撮影された動画には、富士山が含まれているものと推定される。

なお、この例では、撮影点を基準にして、これに関連付けられている方位により特定される直線を用いる例を示したが、例えば、撮像範囲を示す角度（画角）を考慮して、その範囲内における衝突判定を行うようにしてもよい。すなわち、編集点設定部２６０は、撮影軌跡における撮像位置を基準とする範囲（その撮像位置を基準とした場合における方位情報により特定される撮像範囲）と、特定対象領域との比較結果に基づいて、時間軸における区間を設定することができる。例えば、撮影軌跡において、少なくとも一部が特定対象領域と重複する撮像範囲に対応する撮像位置を抽出し、この抽出された撮像位置により構成される区間（その軌跡における区間）に基づいて、動画コンテンツの時間軸における区間を設定する。

また、設定された区間に含まれる動画コンテンツについて物体認識処理により、富士山が含まれるか否かを判定して、実際に富士山が含まれる区間のみを抽出してプレイリストを生成するようにしてもよい。この物体認識処理として、例えば、物体の輝度分布情報が記録されているテンプレートとコンテンツ画像とのマッチングによる物体検出方法（例えば、特開２００４−１３３６３７参照。）を用いることができる。また、例えば、画像における２点間の輝度の差分値を用いた弱判別器により各物体の属性を検出する検出方法を用いることができる（例えば、特開２００９−１１８００９号参照。）。

なお、これらの衝突判定については、本発明の第２の実施の形態で詳細に示す。また、以上では、生成された軌跡情報を地図とともに表示する例を示したが、例えば、生成された軌跡情報のみを表示して、プレイリストを生成するようにしてもよい。

［画像処理装置の動作例］
図１０は、本発明の第１の実施の形態における画像処理装置１００によるプレイリスト生成処理の処理手順の一例を示すフローチャートである。この例では、軌跡情報の表示指示がない場合には、ランドマーク情報を表示させて、このランドマーク情報に基づいてプレイリストを生成する例を示す。

最初に、動画コンテンツの選択操作が行われたか否かが判断され（ステップＳ９０１）、動画コンテンツの選択操作が行われていない場合には、監視を継続する。また、動画コンテンツの選択操作が行われた場合には（ステップＳ９０１）、軌跡情報生成部２３０が、選択された動画コンテンツの位置情報（緯度および経度）に基づいて、選択された動画コンテンツの軌跡情報を生成する（ステップＳ９０２）。なお、ステップＳ９０２は、特許請求の範囲に記載の軌跡情報生成手順の一例である。

続いて、軌跡情報の表示指示がされているか否かが判断され（ステップＳ９０３）、軌跡情報の表示指示がされている場合には、地図の表示指示がされているか否かが判断される（ステップＳ９０４）。地図の表示指示がされている場合には（ステップＳ９０４）、表示制御部２４０が、生成された軌跡情報を地図に重ねて表示部２５０に表示させる（ステップＳ９０５）。一方、地図の表示指示がされていない場合には（ステップＳ９０４）、表示制御部２４０が、生成された軌跡情報のみを表示部２５０に表示させる（ステップＳ９０６）。

続いて、軌跡情報の範囲を指定する指定操作が行われたか否かが判断され（ステップＳ９０７）、軌跡情報の範囲を指定する指定操作が行われていない場合には、監視を継続する。一方、軌跡情報の範囲を指定する指定操作が行われた場合には（ステップＳ９０７）、編集点設定部２６０が、その指定操作に応じて、軌跡情報における編集点を特定して、動画コンテンツの時間軸における区間を設定する（ステップＳ９０８）。なお、ステップＳ９０８は、特許請求の範囲に記載の設定手順の一例である。そして、プレイリスト情報生成部２７０が、設定された区間に基づいて、動画コンテンツのプレイリスト情報を生成し（ステップＳ９１２）、生成されたプレイリスト情報をプレイリスト情報記憶部２９０に記録させる（ステップＳ９１３）。なお、ステップＳ９１２は、特許請求の範囲に記載のプレイリスト情報生成手順の一例である。

また、軌跡情報の表示指示がされていない場合には（ステップＳ９０３）、表示制御部２４０が、生成された軌跡情報に基づいてランドマーク情報を表示部２５０に表示させる（ステップＳ９０９）。続いて、ランドマークを指定する指定操作が行われたか否かが判断され（ステップＳ９１０）、ランドマークを指定する指定操作が行われていない場合には、監視を継続する。一方、ランドマークを指定する指定操作が行われた場合には（ステップＳ９１０）、指定されたランドマークに含まれる軌跡に基づいて、軌跡情報における編集点が特定され、動画コンテンツの時間軸における区間が設定される（ステップＳ９１１）。そして、ステップＳ９１２に進む。なお、ステップＳ９１１は、特許請求の範囲に記載の設定手順の一例である。

このように、本発明の第１の実施の形態によれば、位置情報および方位情報を用いてユーザ好みのプレイリストを容易に生成することができる。すなわち、地理的な位置を考慮したユーザ好みの動画コンテンツの編集を容易に行うことができる。

＜２．第２の実施の形態＞
本発明の第１の実施の形態では、軌跡情報や方位情報を用いて動画コンテンツのプレイリストを生成する例について説明した。このように軌跡情報や方位情報を用いて動画コンテンツのプレイリストを生成する場合には、演算量が非常に多くなるおそれがある。このため、多数の動画コンテンツに関するプレイリストを生成する場合には、プレイリストの生成に係る演算量を削減させることが重要である。そこで、本発明の第２の実施の形態では、プレイリストを生成する場合における各データを、階層構造により構成される格子領域により管理して演算量を削減する例を示す。

なお、本発明の第２の実施の形態における画像処理装置の内部構成については、本発明の第１の実施の形態と略同一であるため、図示およびその説明を省略する。また、以下では、本発明の第１の実施の形態と異なる部分を中心に説明し、共通する部分についての説明の一部を省略する。

最初に、本発明の第２の実施の形態における撮影軌跡（軌跡情報）、特定撮影対象領域等の空間（平面）的情報を処理する共通な２次元座標系、データ構造等の基本となる概念および用語を定義する。

［座標系の定義］
図１１は、本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理の対象となる平面座標系を定義するための図である。ここで、撮影軌跡等の位置情報は、通常、緯度および経度という形式で記録される。また、地図データ等は、地図データ毎に位置情報に関するフォーマットが異なることが多い。そこで、本発明の第２の実施の形態では、これらの位置情報に対する幾何学的処理を行うための共通の２次元平面座標系（ＵＶ座標系）を定義する。

図１１（ａ）には、ＵＶ座標系において、動画コンテンツに関連付けられている位置情報（緯度および経度）に基づいて動画コンテンツが記録された位置に撮影点（黒丸で示す）を配置する例を示す。また、動画コンテンツの撮像時における画像処理装置１００は、矢印４００に沿って移動しているものとする。また、各撮影点からの撮影方向は、黒丸から伸びる矢印により模式的に示す。ここで、時系列撮影情報は、撮影情報（撮影位置情報、撮影方向情報）が時系列に並んだリスト情報である。また、動画コンテンツが記録された点に撮影点番号（０始まり）を割り当て、撮影点番号ｉ（ｉは０以上の整数）の撮影情報を撮影情報［ｉ］のように表すものとする。また、撮影点間の区間に区間番号（０始まり）を割り当てる。

図１１（ｂ）には、図１１（ａ）に示すＵＶ座標系において配置された撮影点および撮影区間を定義するための図を示す。例えば、撮影情報［ｉ］の撮影点位置は、点ｐ［ｉ］（＝（ｕ[ｉ]，ｖ［ｉ］）で表す。また、撮影点ｐ［ｉ］、点ｐ［ｉ＋１］をそれぞれ始点、終点とする撮影区間線分を線分ｌ［ｉ］で表す。

図１１（ｃ）には、図１１（ａ）に示すＵＶ座標系において配置された撮影点における撮影方向を定義するための図を示す。例えば、撮影情報［ｉ］の撮影方向は、θ［ｉ］で表す。ここで、本発明の第２の実施の形態では、θはＵ軸を軸とした時計周りの回転角とする定義する。

［格子領域の定義］
次に、各データを管理するための格子領域について説明する。
図１２および図１３は、本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理に用いられる各データを管理するための格子領域を定義するための図である。本発明の第２の実施の形態では、複数の動画コンテンツの撮影軌跡や撮影対象領域の重なりの検出を効率よく行うために、撮影軌跡や撮影対象領域を表現するデータを、格子領域の階層的なデータとして管理する。

図１２（ａ）には、ＵＶ座標系における格子領域の一例を示す。図１２（ａ）に示すように、格子領域は、正方格子（格子サイズＳ）であり、各辺は、Ｕ軸、Ｖ軸に水平であるものとする。

図１２（ｂ）には、ＵＶ座標系における格子領域の順序関係の一例を示す。図１２（ｂ）に示すように、ＵＶ座標系における格子領域には、格子番号ＮＬ（Ｍ，Ｎ）（Ｍ，Ｎは、０以上の整数）を付与する。また、格子番号ＮＬ（Ｍ，Ｎ）の格子領域の４つの頂点の座標は、左上の座標が（Ｍ×Ｓ，Ｎ×Ｓ）となり、右上の座標が（（Ｍ＋１）×Ｓ，Ｎ×Ｓ）となり、右下の座標が（（Ｍ＋１）Ｓ，（Ｎ＋１）×Ｓ）となり、左下の座標が（Ｍ×Ｓ，（Ｎ＋１）×Ｓ）となる。

また、格子領域の順序関係を以下の（１）および（２）により定義する。
（１）Ｎが大きい方が大きい。
（２）Ｎが等しい場合には、Ｍが大きい方が大きい。

すなわち、図１２（ｂ）に示す例では、矢印４０１乃至４０４に示す順序で格子領域の順序関係が定義される。

図１３には、複数の格子サイズからなる格子領域群の階層構造（ツリー構造）の一例を示す。本発明の第２の実施の形態では、図１３に示すように、撮影軌跡データ等を格子領域の階層的なデータとして管理するため、複数の格子サイズからなる格子領域群の階層構造（ツリー構造）により管理する。この場合に、格子サイズの小さい方から順に、レベル（階層）付け（Ｓ０が最小サイズ）をし、上位レベルの格子サイズは、下位レベルの格子サイズの整数倍となるようにする。

図１３（ａ）には、格子サイズＳ０の格子領域の一例を示し、図１３（ｂ）には、格子サイズＳ１の格子領域の一例を示し、図１３（ｃ）には、格子サイズＳ２の格子領域の一例を示す。なお、格子サイズＳ１は、格子サイズＳ０の４倍であり、格子サイズＳ２は、格子サイズＳ１の４倍である。

［階層的格子領域データの定義］
図１４は、本発明の第２の実施の形態における画像処理装置１００によるプレイリスト生成処理に用いられる階層的格子領域データを定義するための図である。上述したように、階層的格子領域データは、格子要素（格子番号を格納）を要素とするツリー構造であり、以下の（３）乃至（５）を満たす。
（３）レベル（格子サイズ）毎に階層化され、格子サイズが大きいレベル（上位レベル）が上位階層となる。
（４）子格子要素の格子領域は、親格子要素の格子領域に含まれる。
（５）同じ親を持つ格子要素群は、格子番号昇順でソートされる。

図１４（ａ）には、格子サイズＳ０乃至Ｓ２の格子領域の一例を示す。なお、格子番号ＮＬ２（Ｍ，Ｎ）は、格子サイズＳ２の格子領域の格子番号を示し、格子番号ＮＬ１（Ｍ，Ｎ）は、格子サイズＳ１の格子領域の格子番号を示し、格子番号ＮＬ０（Ｍ，Ｎ）は、格子サイズＳ０の格子領域の格子番号を示す。図１４（ａ）に示す例では、格子サイズＳ２およびＳ１の格子領域の矩形内には、対応する格子番号を付して示す。また、格子サイズＳ０の格子領域は、格子領域群４０５として太線の矩形で示す。

図１４（ｂ）には、階層的格子領域データの一例を示す。図１４（ｂ）に示す階層的格子領域データは、図１４（ａ）に対応する階層的格子領域データである。図１４（ｂ）に示す例では、親子の関係がある格子領域については、親格子領域から子格子領域を指し示すように矢印で結んで示す。また、格子領域を示す矩形内には、格子領域の格子番号を付して示す。なお、図１４（ｂ）では、格子領域の格子番号のうちＮＬｉ（ｉ＝０乃至２）を省略して示す。

本発明の第２の実施の形態では、上述のように定義された格子領域および階層的格子領域データを用いて、プレイリストを生成する例を示す。

［ターゲット領域データのデータ構造例］
上述のように定義された格子領域および階層的格子領域データについては、動画コンテンツに関連付けられている位置情報に基づいて生成される軌跡情報の生成時に用いられる。この生成については、図１５乃至図２６を参照して詳細に説明する。また、プレイリストを生成する際におけるターゲット領域データについても適用される。ここでは、ターゲット領域データについて、特定撮影対象領域を表すデータ構造の定義と、そのデータの作成方法について説明する。

最初に、ターゲット領域データのデータ構造について説明する。ターゲット領域データのデータ構造についても、図１４（ａ）および（ｂ）に示すデータ構造と同様に定義することができる。すなわち、撮影対象領域（ターゲット領域）を格子領域の階層的データとして管理することができる。このターゲット領域データは、最下位レベル（レベル０）の格子領域群の集合領域に、撮影対象領域を含む階層的格子領域データである。

ここで、ターゲット領域データの作成方法について説明する。ターゲット領域データは、例えば、以下の（１）または（２）の何れかの方法で作成または取得するものとする。
（１）ユーザの手動操作による生成。このように生成する場合には、例えば、ユーザが表示画面上の地図上をなぞった軌跡を含む階層的格子領域データを生成する。
（２）地図データから取得または変換して生成。このように生成する場合には、例えば、地図データに格納されているターゲット領域の領域データを階層的格子領域データに変換する。

なお、レベル０の格子サイズＳ０は、対象となるターゲット領域に応じて変更して設定することができる。この場合に、対象となるターゲット領域に対して、大きくすぎもなく小さすぎもしない値に設定されることが好ましい。また、ターゲット領域が数個から数十個、または、数百個のレベル０格子領域に跨るような値に設定されることが好ましい。

［軌跡情報のデータ構造および作成例］
次に、動画コンテンツの撮影軌跡を表す軌跡情報のデータ構造の定義およびそのデータの作成方法について説明する。

図１５は、本発明の第２の実施の形態における画像処理装置１００による軌跡情報生成処理に用いられる階層的格子領域データを定義するための図である。

図１５（ａ）には、格子サイズＳ０乃至Ｓ２の格子領域の一例を示す。図１５（ａ）に示す例では、撮影軌跡（点ｐ［０］乃至ｐ［３］）を含む格子サイズＳ０乃至Ｓ２の格子領域を示す。なお、撮影軌跡を含む点以外については、図１４（ａ）に示す例と同様であるため、ここでは共通する部分についての説明を省略し、異なる点を中心にして説明する。

図１１（ｂ）に示すように、撮影軌跡については、撮影点ｐ［ｉ］および撮影区間線分ｌ［ｉ］により表すことができる。図１５（ａ）に示す例では、撮影点ｐ［０］乃至ｐ［３］および撮影区間線分ｌ［０］乃至ｌ［２］の場合を例にして説明する。

撮影軌跡を格子領域の階層的データとして管理する場合には、撮影軌跡を含む最下位レベル（レベル０）の格子領域を用いて管理する。具体的には、撮影軌跡を含む最下位レベル（レベル０）の格子領域（太線の矩形で示す格子領域群４１０）が特定される。続いて、特定された格子領域を通過する撮影区間線分が格子領域毎に特定される。

図１５（ｂ）には、格子サイズＳ０の格子領域の一例を示す。例えば、撮影点ｐ［３］を含む格子サイズＳ０の格子領域（ＮＬ０（２７，５３））を例にして説明する。図１５（ｂ）に示すように、格子領域（ＮＬ０（２７，５３）を通過する撮影区間線分は、撮影区間線分ｌ［１］およびｌ［２］である。このため、格子サイズＳ０の格子領域（ＮＬ０（２７，５３）の格子要素に、その格子領域を通過する撮影区間線分群の区間番号リスト（ｌ［１］およびｌ［２］）がリンクされる。この場合に、例えば、区間番号の番号昇順でソートされる。このように、撮影軌跡データは、最下位レベル（レベル０）の格子領域群の集合領域に、撮影軌跡を含む階層的格子領域データである。

図１５（ｃ）には、階層的格子領域データの一例を示す。図１５（ｃ）に示す階層的格子領域データは、図１５（ａ）に対応する階層的格子領域データである。なお、レベル０格子内の区間番号リスト４１１が追加された点以外については、図１４（ｂ）に示す例と同様であるため、ここでは共通する部分についての説明を省略し、異なる点を中心にして説明する。

図１５（ｃ）に示す例では、リンクされている区間番号については、レベル０格子内の区間番号リスト４１１内に示す。また、リンクされている格子領域から区間番号を指し示すように矢印で結んで示す。また、レベル０格子内の区間番号リスト示す矩形内には、撮影区間線分の区間番号を付して示す。なお、図１５（ｃ）では、撮影区間線分の区間番号のうちｌ［ ］を省略して示す。

例えば、図１５（ｂ）に示す格子領域（ＮＬ０（２７，５３））の区間番号リストについては、矩形４１２で囲んで示す。

これらの撮影軌跡データについては、各撮影区間線分が通過するレベル０の格子領域群を求め、これらを階層的格子領域データとしてマージしていくことにより作成することができる。なお、これらの作成方法については、図１６乃至図２６を参照して詳細に説明する。

［撮影軌跡データの作成例］
図１６は、本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データの作成の流れを模式的に示す図である。

図１６（ａ）には、撮影軌跡データを作成する際における入力データである撮影軌跡（撮影点ｐのリスト）を示す。なお、図１６（ａ）に示す撮影軌跡は、図１５（ａ）に示す撮影軌跡に対応する。

図１６（ｂ）には、撮影軌跡データを作成する際における出力データである撮影軌跡階層的格子領域データを示す。なお、図１６（ｂ）に示す撮影軌跡階層的格子領域データは、図１５（ａ）および（ｃ）に示す撮影軌跡階層的格子領域データに対応する。

図１７は、本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順の一例を示すフローチャートである。

最初に、撮影軌跡階層的格子領域データが初期化される（ステップＳ１００１）。すなわち、ルート要素（例えば、図１５（ｃ）に示すルート要素）のみのデータに初期化される。

続いて、各撮影区間線分について、以下の処理が繰り返し行われる（ループＬ１００２）。ここで、Ｎは、０以上の整数であり、撮影点の総数を示す。具体的には、撮影区間線分のレベル０格子番号リスト作成処理が行われる（ステップＳ１０１０）。このリスト作成処理については、図１８乃至図２３を参照して詳細に説明する。

続いて、レベル０格子番号リストと階層的格子領域データのマージ処理が行われる（ステップＳ１０５０）。このマージ処理については、図２４乃至図２６を参照して詳細に説明する。

図１８は、本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号リストの作成処理の入出力例を示す図である。図１８（ａ）には、入力データである線分（撮影点ｐａ（ｕａ，ｖａ）およびｐｂ（ｕｂ，ｖｂ）を結ぶ線分）を示す。図１８（ｂ）には、出力データである線分のレベル０格子番号リストをレベル０の格子領域群４２０により模式的に示す。このリストは、例えば、格子番号の昇順でソートされる。例えば、線分のレベル０格子番号リストを、（（ｍ［０］，ｎ［０］），（ｍ［１］，ｎ［１］），…，（ｍ［Ｔ］，ｎ［Ｔ］））として表すことができる。

図１９は、本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順のうちのリスト生成処理（図１７に示すステップＳ１０１０の処理手順）の一例を示すフローチャートである。

最初に、入力データである線分を構成する２つの撮影点が含まれるレベル０の格子番号が特定される（ステップＳ１０１１）。ここで、（Ｍａ，Ｎａ）、（Ｍｂ，Ｎｂ）は撮影点ｐａ，点ｐｂが含まれるレベル０の格子番号を意味するものとする。また、ｆｌｏｏｒ（ｘ）は、床関数を示し、実数ｘの範囲内における最大の整数を意味する。

続いて、特定されたレベル０の格子番号（Ｍａ，Ｎａ）および（Ｍｂ，Ｎｂ）について、Ｕ軸およびＶ軸における最大値および最小値が特定される（ステップＳ１０１２）。例えば、Ｕ軸の最大値をＭｍａｘとし、Ｕ軸の最小値をＭｍｉｎとする。また、Ｖ軸の最大値をＮｍａｘとし、Ｖ軸の最小値をＮｍｉｎとする。

続いて、入力データである線分の傾きに応じて、線分のレベル０格子番号のリストが生成される（ステップＳ１０１３）。このリストの生成については、図２０乃至図２３を参照して詳細に説明する。

最初に、入力データである線分の傾きが、右下がりである場合（例えば、図１８に示す場合）における線分のレベル０格子番号のリストの生成方法について説明する。

図２０は、本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号のリスト生成処理の処理手順の一例（入力データである線分の傾きが、右下がりである場合）を示すフローチャートである。

ここで、入力データは、上述したＭｍｉｎ、Ｍｍａｘ、Ｎｍｉｎ、Ｎｍａｘ、レベル０の格子サイズＳ０、直線パラメータＡおよびＢである。ここで、直線パラメータＡおよびＢは、入力データである線分を含む直線式のパラメータ（ｖ＝Ａｕ＋Ｂ）であり、Ａ＝（ｖａ−ｖｂ）／（ｕａ−ｕｂ）、Ｂ＝ｖａ−Ａｕａとする。

最初に、線分のレベル０格子番号のリストが初期化され（ステップＳ１０２１）、変数Ｎｐｒｅｖ＝Ｎｍｉｎとする（ステップＳ１０２２）。

続いて、入力データである線分を含む各格子領域について、Ｕ軸の最小値（Ｍｍｉｎ）からＵ軸の最大値（Ｍｍａｘ）まで、以下の処理が繰り返し行われる（ループＬ１０２３）。最初に、変数Ｎｔｅｍｐ＝ｆｌｏｏｒ（（（Ａ（Ｍ＋１）Ｓ０）＋Ｂ）／Ｓ０）とする（ステップＳ１０２４）。ここで、変数Ｎｔｅｍｐは、一時的に保持される変数である。また、Ｓ０は、レベル０の格子サイズである。続いて、変数Ｎｔｅｍｐ＝ｍｉｎ（Ｎｍａｘ，Ｎｔｅｍｐ）とする（ステップＳ１０２５）。

続いて、入力データである線分を含む各格子領域について、Ｖ軸の値（Ｎｐｒｅｖ）からＶ軸の値（Ｎｔｅｍｐ）まで、以下の処理が繰り返し行われる（ループＬ１０２６）。すなわち、（Ｍ，Ｎ）がレベル０の格子番号リストに順次追加される（ステップＳ１０２７）。

Ｖ軸の値（Ｎｐｒｅｖ）からＶ軸の値（Ｎｔｅｍｐ）までの処理が終了した後に（ループＬ１０２６）、変数Ｎｐｒｅｖ＝Ｎｔｅｍｐとされ（ステップＳ１０２８）、ループＬ１０２３の処理が行われる。

これにより、傾きが右下がりである線分のレベル０格子番号リスト（例えば、（ｍ［０］，ｎ［０］），（ｍ［１］，ｎ［１］），…，（ｍ［Ｔ］，ｎ［Ｔ］））が生成される。

次に、入力データである線分の傾きが、右上がりである場合における線分のレベル０格子番号のリストの生成方法について説明する。

図２１は、本発明の第２の実施の形態における画像処理装置１００による傾きが右上がりである線分のレベル０格子番号リストの作成処理の入出力例を示す図である。図２１（ａ）には、入力データである線分（撮影点ｐａ（ｕａ，ｖａ）およびｐｂ（ｕｂ，ｖｂ）を結ぶ線分）を示す。図２１（ｂ）には、出力データである線分のレベル０格子番号リストをレベル０の格子領域群４２１により模式的に示す。

図２２は、本発明の第２の実施の形態における画像処理装置１００による線分のレベル０格子番号のリスト生成処理の処理手順の一例（入力データである線分の傾きが、右上がりである場合）を示すフローチャートである。なお、入力データは、図２０と同様である。また、この処理手順は、図２０に示す処理手順の一部を変形してものである。すなわち、ステップＳ１０３２、Ｓ１０３５において設定される変数が異なり、ループＬ１０３６において、Ｎが１ループ毎にデクリメントされる点が異なる。これらの以外の点については、図２０に示す処理手順と同様であるため、ここでの説明を省略する。

次に、入力データである線分の傾きが垂直である場合における線分のレベル０格子番号のリストの生成方法について説明する。

図２３は、本発明の第２の実施の形態における画像処理装置１００による傾きが垂直である線分のレベル０格子番号リストの作成処理の入出力例を示す図である。図２３（ａ）には、入力データである線分（撮影点ｐａ（ｕａ，ｖａ）およびｐｂ（ｕｂ，ｖｂ）を結ぶ線分）を示す。図２３（ｂ）には、出力データである線分のレベル０格子番号リストをレベル０の格子領域群４２２により模式的に示す。

図２３（ｂ）に示すように、傾きが垂直である線分の場合には、Ｕ軸の最大値（Ｍｍａｘ）および最小値（Ｍｍｉｎ）が同一である。このため、Ｖ軸の最大値（Ｎｍａｘ）および最小値（Ｎｍｉｎ）により特定される格子領域（Ｖ軸に平行となる格子領域群）のリストが、傾きが垂直である線分のレベル０格子番号リストとして、生成される。

続いて、レベル０格子番号リストと階層的格子領域データのマージ処理について説明する。

図２４および図２５は、本発明の第２の実施の形態における画像処理装置１００によるマージ処理（レベル０格子番号リストと階層的格子領域データのマージ処理）の作成の流れを模式的に示す図である。

図２４（ａ）には、既に生成された階層的格子領域データ（格子領域群４２３により特定されるデータ）と、新たに生成されたレベル０格子番号リスト（格子領域群４２４により特定されるリスト）とを模式的に示す。

図２４（ｂ）には、図２４（ａ）に示すマージ処理により生成された階層的格子領域データ（格子領域群４２５により特定されるデータ）を模式的に示す。

図２５（ａ）には、図２４（ａ）に示す階層的格子領域データと、レベル０格子番号リストとに関するデータ構成例を模式的に示す。すなわち、既に生成された階層的格子領域データに、新たに生成されたレベル０格子番号リスト（矩形４１３）をマージする例を模式的に示す。

図２５（ｂ）には、図２５（ａ）に示すマージ処理により生成された階層的格子領域データを模式的に示す。なお、図２５（ｂ）に示す階層的格子領域データは、図１５（ｃ）に示す階層的格子領域データに対応する。

図２６は、本発明の第２の実施の形態における画像処理装置１００による撮影軌跡データ生成処理の処理手順のうちのマージ処理（図１７に示すステップＳ１０５０の処理手順）の一例を示すフローチャートである。

最初に、入力データであるレベル０格子番号リストについて、リストの順序に従って、以下の処理が繰り返し行われる（ループＬ１０５１）。なお、Ｔは、入力データであるレベル０格子番号リストのリスト長を示す値である。

続いて、格子番号（ｍ［ｊ］，ｎ［ｊ］）のレベル０格子領域が含まれるレベル０から最大レベル（レベルＬｍａｘ）までの格子領域番号群（Ｍ［０］，Ｎ［０］），…，（Ｍ［Ｌｍａｘ］，Ｎ［Ｌｍａｘ］）を求める処理が行われる。この処理（ステップＳ１０５２、ループＬ１０５３）により求められた格子領域番号群が、階層的格子領域データへの追加候補となる。なお、Ｌｍａｘは、入出力の階層的格子領域データの最大レベル数を意味する。

具体的には、Ｍ［０］＝ｍ［ｊ］、Ｎ［０］＝ｎ［ｊ］とする（ステップＳ１０５２）。続いて、各格子サイズの格子領域について、レベル１から最大レベル（レベルＬｍａｘ）まで、以下の処理が繰り返し行われる（ループＬ１０５３）。すなわち、Ｋ＝Ｓ［ｌ］／Ｓ［ｌ−１］が算出され、Ｍ［ｌ］＝ｆｌｏｏｒ（Ｍ［ｌ−１］／Ｋ）、Ｎ［ｌ］＝ｆｌｏｏｒ（Ｎ［ｌ−１］／Ｋ）とする（ステップＳ１０５４）。なお、Ｋは、レベルｌおよびレベル（ｌ−１）の格子サイズの比の値を意味する。

続いて、階層的格子領域データへの追加候補である（Ｍ［０］，Ｎ［０］），…，（Ｍ［Ｌｍａｘ］，Ｎ［Ｌｍａｘ］）をマージする処理が行われる（ステップＳ１０５５、ループＬ１０５６）。この処理では、最上位レベルから順番に、未追加のものを追加処理していく。

具体的には、カレント要素Ｅ＝ルート要素とする（ステップＳ１０５５）。続いて、最上位レベルから順番に、以下の処理が繰り返し行われる（ループＬ１０５６）。すなわち、カレント要素Ｅの下位要素リストに（Ｍ［ｌ］，Ｎ［ｌ］）要素が存在するか否かが判断される（ステップＳ１０５７）。カレント要素Ｅの下位要素リストに（Ｍ［ｌ］，Ｎ［ｌ］）要素が存在しない場合には（ステップＳ１０５７）、カレント要素Ｅの下位要素リストに（Ｍ［ｌ］，Ｎ［ｌ］）要素が挿入される（ステップＳ１０５８）。一方、カレント要素Ｅの下位要素リストに（Ｍ［ｌ］，Ｎ［ｌ］）要素が存在する場合には（ステップＳ１０５７）、ステップＳ１０５９に進む。続いて、カレント要素Ｅ＝（Ｍ［ｌ］，Ｎ［ｌ］）要素とする（ステップＳ１０５９）。

続いて、ループＬ１０５６の処理が終了した場合には、カレント要素Ｅ（＝（Ｍ［０］，Ｎ［０］）の下位要素リスト（区間番号リスト）に区間番号ｉ要素が追加される（ステップＳ１０６０）。

このように、マージ処理を行うことにより、図１５（ｃ）、図２５（ｂ）に示すように、階層的格子領域データが生成される。

なお、レベル０の格子サイズＳ０は、撮影軌跡に対し、大きすぎもなく小さすぎもしない値に設定されることが好ましい。例えば、撮影軌跡が数個から数十個のレベル０格子領域にまたがるような値に設定されることが好ましい。

［動画コンテンツにおける区間内の撮影軌跡情報例］
動画コンテンツにおける区間内の撮影軌跡情報については、その区間の開始点の撮影点と、その区間の終了点の撮影点とにより構成される。例えば、動画コンテンツにおける区間の開始点の撮影点をｐａ１とし、その区間の終了点の撮影点をｐｂ１とする場合には、撮影軌跡情報は、撮影点ｐａ１および撮影点ｐｂ１により特定される。

［ターゲット領域通過の撮影区間の検出例］
次に、ターゲット領域データおよび撮影軌跡データに基づいてターゲット領域（特定対象領域）を通過している撮影区間（撮影軌跡における区間）を抽出する例を示す。これにより、例えば、テーマパーク内において撮影された動画コンテンツのうち、特定のアトラクション内において撮影された動画区間を抽出することができる。

図２７は、本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順の一例を示すフローチャートである。

最初に、撮影軌跡とターゲット領域の階層的格子領域の衝突検出処理が行われる（ステップＳ１１００）。この衝突検出処理では、大領域から小領域に階層的な衝突検出を行う。これにより、最初から小領域同士の大量の衝突判定を行う場合と比較して、全体的に衝突判定処理の回数を抑えることができ、プレイリスト生成に係る処理を削減することができる。この衝突検出処理については、図２８乃至図３１を参照して詳細に説明する。

続いて、ターゲット領域通過撮影区間検出処理が行われる（ステップＳ１１５０）。この撮影区間検出処理については、図３２乃至図３４を参照して詳細に説明する。

図２８は、本発明の第２の実施の形態における画像処理装置１００による衝突検出処理（撮影軌跡とターゲット領域の階層的格子領域の衝突検出処理）の流れを模式的に示す図である。

図２８（ａ）には、撮影軌跡の階層的格子領域データ（格子領域群４３０により特定されるデータ）と、ターゲット領域の階層的格子領域データ（格子領域群４３１により特定されるデータ）とを模式的に示す。衝突検出処理では、これらの各データが入力データとされる。

図２８（ｂ）には、図２８（ａ）に示す衝突検出処理により検出されたレベル０格子要素対リスト（太線の矩形で示す格子領域群４３２により特定されるデータ）を模式的に示す。このように、衝突検出処理では、撮影軌跡の階層的格子領域データと、ターゲット領域の階層的格子領域データとについて、衝突する格子領域（レベル０）を特定する。

図２９は、本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの衝突検出処理（図２７に示すステップＳ１１００の処理手順）の一例を示すフローチャートである。

最初に、衝突レベル０格子要素対リストが初期化される（ステップＳ１１０１）。続いて、撮影軌跡の階層的格子領域データ（図２８（ａ）に示す入力１）について、最上位レベルの格子領域について、以下の処理が繰り返し行われる（ループＬ１１０２）。ここで、Ａは、撮影軌跡の階層的格子領域データの最上位レベルの格子要素数（格子領域数）を示す値である。

続いて、ターゲット領域の階層的格子領域データ（図２８（ａ）に示す入力２）について、最上位レベルの格子領域について、以下の処理が繰り返し行われる（ループＬ１１０３）。ここで、Ｂは、ターゲット領域の階層的格子領域データの最上位レベルの格子要素数（格子領域数）を示す値である。

続いて、階層的格子領域の再帰的衝突検出処理が行われる（ステップＳ１１１０）。この再帰的衝突検出処理については、図３０を参照して詳細に説明する。

図３０は、本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの再帰的衝突検出処理（図２９に示すステップＳ１１１０の処理手順）の一例を示すフローチャートである。ここで、入力データは、衝突レベル０格子要素対リストと、階層的格子領域データ１の最上位レベルのａ番目の格子要素Ｅａおよび格子サイズＳａと、階層的格子領域データ２の最上位レベルのｂ番目の格子要素Ｅｂおよび格子サイズＳｂとである。また、出力データは、衝突レベル０格子要素対リストである。

図３１は、本発明の第２の実施の形態における画像処理装置１００による格子領域の衝突判定処理および要素レベルダウン判定処理を模式的に示す図である。これらの各処理については、図３０を参照して詳細に説明する。

最初に、格子領域の衝突判定処理が行われる（ステップＳ１１１１）。例えば、図３１（ａ）に示す格子領域Ａ（格子要素Ｅａおよび格子サイズＳａの格子領域）４４１と、格子領域Ｂ（格子要素Ｅｂおよび格子サイズＳｂの格子領域）４４２とを例にして説明する。このように、格子要素の格子番号および格子サイズにより、比較対象となる２つの格子領域の位置およびサイズを特定することができる。そして、比較対象となる２つの格子領域が重なっているか否かが判断される。例えば、図３１（ａ）に示す例では、格子領域Ａ（４４１）および格子領域Ｂ（４４２）の一部が重なっている。このため、衝突ありと判定される。一方、比較対象となる２つの格子領域が重なっていない場合には、衝突なしと判定される。

続いて、衝突ありか否かが判断される（ステップＳ１１１２）。衝突なしと判定された場合には、再帰的衝突検出処理の動作を終了する。一方、衝突ありと判定された場合には（ステップＳ１１１２）、格子要素Ｅａがレベル０であるか否かが判断される（ステップＳ１１１３）。

格子要素Ｅａがレベル０でない場合には（ステップＳ１１１３）、Ｔａ＝「格子要素Ｅａの子要素の格子サイズ」とし（ステップＳ１１１４）、格子要素Ｅｂがレベル０であるか否かが判断される（ステップＳ１１１５）。

格子要素Ｅｂがレベル０でない場合には（ステップＳ１１１５）、Ｔｂ＝「格子要素Ｅｂの子要素の格子サイズ」とし（ステップＳ１１１６）、要素レベルダウン判定処理が行われる（ステップＳ１１１７）。例えば、図３１（ｂ）に示す格子要素Ｅａの格子領域Ａ（格子サイズＳａの格子領域（子要素の格子サイズＴａ））４４３と、格子要素Ｅｂの格子領域Ｂ（格子サイズＳｂの格子領域（子要素の格子サイズＴｂ））４４４とを例にして説明する。例えば、比較対象となる２つの格子領域（その一部が重なっている）について、格子サイズを比較（第１比較）して、格子サイズが大きい格子領域を特定する。そして、格子サイズが小さい格子領域と、格子サイズが大きい格子領域の子要素の格子サイズとをさらに比較（第２比較）する。この比較（第２比較）の結果、最初の比較（第１比較）で格子サイズが小さかった格子領域が小さい場合には、最初の比較で格子サイズが大きかった格子領域をレベルダウンすると判定する。一方、その比較（第２比較）の結果、最初の比較（第１比較）で格子サイズが小さかった格子領域が大きい場合には、最初の比較対象となった各格子領域の子要素の格子サイズを比較（第３比較）する。この比較（第３比較）の結果、子要素の格子サイズが大きい格子領域をレベルダウンすると判定する。

具体的には、格子領域Ａ（４４３）の格子サイズＳａと、格子領域Ｂ（４４４）の格子サイズＳｂとを比較すると、格子サイズＳｂが大きい。このため、格子領域Ａ（４４３）の格子サイズＳａと、格子領域Ｂ（４４４）の子要素の格子サイズＴｂとを比較する。この比較の結果、格子領域Ａ（４４３）の格子サイズＳａが大きい。このため、格子領域Ａ（４４３）の子要素の格子サイズＴａと、格子領域Ｂ（４４４）の子要素の格子サイズＴｂとを比較する。この比較の結果、格子領域Ｂ（４４４）の子要素の格子サイズＴｂが大きいため、格子領域Ｂ（４４４）をレベルダウンすると判定される。この場合には、格子要素Ｅｂレベルダウンが出力される。

続いて、格子要素Ｅａレベルダウンが出力されたか否かが判断され（ステップＳ１１１８）、格子要素Ｅａレベルダウンが出力された場合には、格子要素Ｅａの子要素について、再帰的衝突判定処理が行われる（ループＬ１１１９、ステップＳ１１２０）。一方、格子要素Ｅｂレベルダウンが出力された場合には（ステップＳ１１１８）、格子要素Ｅｂの子要素について、再帰的衝突判定処理が行われる（ループＬ１１２１、ステップＳ１１２２）。これらの再帰的衝突判定処理については、ステップＳ１１１０の処理と同様であるため、ここでの説明を省略する。

また、格子要素Ｅａがレベル０である場合には（ステップＳ１１１３）、格子要素Ｅｂがレベル０であるか否かが判断される（ステップＳ１１２３）。格子要素Ｅｂがレベル０でない場合には（ステップＳ１１２３）、Ｔｂ＝「格子要素Ｅｂの子要素の格子サイズ」とし（ステップＳ１１２４）、ループＬ１１２１に進む。一方、格子要素Ｅｂがレベル０である場合には（ステップＳ１１２３）、レベル０格子要素対（Ｅａ，Ｅｂ）が衝突レベル０格子要素対リストに追加され（ステップＳ１１２５）、再帰的衝突検出処理の動作を終了する。

図３２は、本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの撮影区間検出処理（図２７に示すステップＳ１１５０の処理手順）の一例を示すフローチャートである。ここで、入力データは、衝突レベル０格子要素対リスト（例えば、（（Ｅａ［０］，Ｅｂ［０］），（Ｅａ［１］,Ｅｂ［１］），…，（Ｅａ［Ｎ−１］，Ｅｂ［Ｎ−１］）））である。ここで、（Ｅａ［ｉ］，Ｅｂ［ｉ］）は、レベル０格子要素対である。また、Ｎは、衝突レベル０格子要素対の数である。また、出力データは、ターゲット領域通過撮影区間情報リストである。

図３３は、本発明の第２の実施の形態における画像処理装置１００による線分と格子領域の衝突判定処理を模式的に示す図である。これらの各処理については、図３２を参照して詳細に説明する。

最初に、ターゲット領域通過撮影区間情報リストが初期化される（ステップＳ１１５１）。続いて、レベル０格子番要素対について、以下の処理が繰り返し行われる（ループＬ１１５２）。また、格子要素Ｅａ［ｉ］の線分について、以下の処理が繰り返し行われる（ループＬ１１５３）。すなわち、区間番号ｐｎ＝「Ｅａ［ｉ］の区間番号リスト内のｊ番目の区間番号」とし、線分ｌ＝「区間番号ｐｎの線分」とし、格子要素Ｅ＝Ｅｂ［ｉ］とする（ステップＳ１１５４）。

続いて、線分ｌおよび格子要素Ｅが未チェックであるか否かが判断され（ステップＳ１１５５）、線分ｌおよび格子要素Ｅがチェック済みである場合には、ステップＳ１１５７に進む。一方、線分ｌおよび格子要素Ｅが未チェックである場合には（ステップＳ１１５５）、線分と格子領域の衝突判定処理が行われる（ステップＳ１１５６）。

例えば、図３３に示す線分ｌ（撮影点ｐａおよびｐｂを結ぶ線分）と、格子要素Ｅの格子領域４５０（格子番号（Ｍ，Ｎ）、格子サイズＳの格子領域）とを例にして説明する。例えば、線分ｌが格子要素Ｅの格子領域に含まれるか否かにより衝突判定が行われる。例えば、図３３に示す例では、線分ｌが格子要素Ｅの格子領域４５０に含まれるため、衝突ありと判定される。

続いて、衝突ありと判定されたか否かが判断され（ステップＳ１１５７）、衝突なしと判定された場合には、ループＬ１１５３の最初に戻る。一方、衝突ありと判定された場合には（ステップＳ１１５７）、撮影区間情報リストへの区間番号追加処理が行われる（ステップＳ１１７０）。この区間番号追加処理については、図３４を参照して詳細に説明する。

図３４は、本発明の第２の実施の形態における画像処理装置１００による撮影区間検出処理の処理手順のうちの区間番号追加処理（図３２に示すステップＳ１１７０の処理手順）の一例を示すフローチャートである。ここで、入力データは、撮影区間情報リスト（ＰＲＩ［０］，…，ＰＲＩ［Ｎ−１］）と、区間番号ｐｎとである。また、出力データは、撮影区間情報リストである。ここで、Ｎは、撮影区間情報数を示す値であり、ＰＲＩは、撮影区間情報（＝（先頭区間番号、区間数））である。

最初に、入力データである撮影区間情報リストについて、以下の処理が繰り返し行われる（ループＬ１１７１）。すなわち、区間番号ｐｎおよびＰＲＩ［ｉ］の先頭区間番号が比較され、区間番号ｐｎ＜ＰＲＩ［ｉ］の先頭区間番号であるか否かが判断される（ステップＳ１１７２）。区間番号ｐｎ＜ＰＲＩ［ｉ］の先頭区間番号である場合には（ステップＳ１１７２）、（ｐｎ，１）の撮影区間情報をＰＲＩ［ｉ］の前に挿入して（ステップＳ１１７５）、区間番号追加処理の動作を終了する。

また、区間番号ｐｎ＜ＰＲＩ［ｉ］の先頭区間番号でない場合には（ステップＳ１１７２）、区間番号（ｐｎ＋１）およびＰＲＩ［ｉ］の先頭区間番号が比較される。そして、区間番号（ｐｎ＋１）＝ＰＲＩ［ｉ］の先頭区間番号であるか否かが判断される（ステップＳ１１７３）。区間番号（ｐｎ＋１）＝ＰＲＩ［ｉ］の先頭区間番号である場合には（ステップＳ１１７３）、ＰＲＩ［ｉ］の先頭区間番号＝ｐｎとし、ＰＲＩ［ｉ］の区間数＝「ＰＲＩ［ｉ］の区間数＋１」とする（ステップＳ１１７６）。

また、区間番号（ｐｎ＋１）＝ＰＲＩ［ｉ］の先頭区間番号でない場合には（ステップＳ１１７３）、「ｐｎ＋ＰＲＩ［ｉ］の区間数」およびＰＲＩ［ｉ］の先頭区間番号が比較される。そして、ｐｎ＋ＰＲＩ［ｉ］の区間数＝ＰＲＩ［ｉ］の先頭区間番号であるか否かが判断される（ステップＳ１１７４）。ｐｎ＋ＰＲＩ［ｉ］の区間数＝ＰＲＩ［ｉ］の先頭区間番号でない場合には（ステップＳ１１７４）、ループＬ１１７１の最初に戻る。一方、ｐｎ＋ＰＲＩ［ｉ］の区間数＝ＰＲＩ［ｉ］の先頭区間番号である場合には（ステップＳ１１７４）、ｉ＝（Ｎ−１）であるか否かが判断される（ステップＳ１１７７）。

ｉ＝（Ｎ−１）である場合には（ステップＳ１１７７）、ＰＲＩ［ｉ］の区間数＝「ＰＲＩ［ｉ］の区間数＋１」とし（ステップＳ１１８１）、区間番号追加処理の動作を終了する。

一方、ｉ＝（Ｎ−１）でない場合には（ステップＳ１１７７）、（ｐｎ＋１）＝ＰＲＩ［ｉ＋１］の先頭区間番号であるか否かが判断される（ステップＳ１１７８）。（ｐｎ＋１）＝ＰＲＩ［ｉ＋１］の先頭区間番号でない場合には（ステップＳ１１７８）、ステップＳ１１８１に進む。一方、（ｐｎ＋１）＝ＰＲＩ［ｉ＋１］の先頭区間番号である場合には（ステップＳ１１７８）、ＰＲＩ［ｉ］の区間数＝「ＰＲＩ［ｉ］の区間数＋ＰＲＩ［ｉ＋１］の区間数＋１」とする（ステップＳ１１７９）。そして、ＰＲＩ［ｉ＋１］が削除される（ステップＳ１１８０）。

［撮影領域データの生成例］
次に、動画コンテンツの撮影領域データを生成する例を示す。この撮影領域データは、撮像時における撮影範囲（撮影距離に対応する領域）を特定するためのデータである。また、撮影領域データは、最下位レベル（レベル０）の格子領域群の集合領域に、撮影領域を含む階層的格子領域データである。そして、図１５に示す例と同様に、レベル０の格子要素にその格子領域と接触する区間内撮影領域群の区間番号リスト（番号昇順でソート）がリンクされる。

図３５は、本発明の第２の実施の形態における画像処理装置１００による撮影領域データ作成処理の入出力例を示す図である。撮影領域データは、各撮影区間の撮影領域が含まれるレベル０格子領域群を求め、これらを階層的格子領域データとしてマージしていくことにより作成することができる。

図３５（ａ）には、入力データである撮影軌跡（撮影点ｐのリスト）４５１を示す。図３５（ｂ）には、出力データである撮影領域階層的格子領域データ（レベル０の格子領域群４５２）を示す。また、撮影領域階層的格子領域データ（レベル０の格子領域群４５２）における太線の矩形は、撮影軌跡データに対応する格子領域である。

図３６は、本発明の第２の実施の形態における画像処理装置１００による撮影領域データ生成処理の処理手順の一例を示すフローチャートである。この処理手順は、図１７に示す処理手順の変形例であるため、共通する部分については、同一の符号を付して、これらの説明を省略する。

ループＬ１００２において、撮影区間線分のレベル０格子番号リスト作成処理が行われた後に（ステップＳ１０１０）、撮影区間内の撮影領域が含まれるレベル０格子領域群の格子番号リスト作成処理が行われる（ステップＳ１２００）。

図３７は、本発明の第２の実施の形態における画像処理装置１００による撮影区間内の撮影領域が含まれるレベル０格子番号リスト作成処理の入出力例を示す図である。

図３７（ａ）には、入力データである線分のレベル０格子番号リストをレベル０の格子領域群４５３により模式的に示す。このリストは、例えば、格子番号の昇順でソートされる。例えば、線分のレベル０格子番号リストを、（（ｍ［０］，ｎ［０］），（ｍ［１］，ｎ［１］），…，（ｍ［Ｔ］，ｎ［Ｔ］））として表すことができる。図３７（ｂ）には、出力データである区間内撮影領域のレベル０格子番号リストをレベル０の格子領域群４５４により模式的に示す。

例えば、撮影対象領域から撮影点までの距離の上限値をレベル０の格子サイズＳ０に設定することにより、撮影対象領域からＳ０以上の距離にある撮影点は、撮影区間としては検出されなくなる。なお、レベル０の格子サイズＳ０に設定する撮影距離は、ユーザに設定させてもよいし、撮影区間内のカメラ情報（被写体距離の平均値等の属性情報）から取得するようにしてもよい。

［区間内撮影情報および区間内撮影領域情報のデータ構造例］
次に、ターゲット領域の撮影区間の検出を行うための区間内撮影情報および区間内領域情報のデータ構造例およびその生成例について説明する。

図３８および図３９は、本発明の第２の実施の形態における画像処理装置１００により生成される区間内撮影情報および区間内領域情報の一例を示す図である。

図３８（ａ）には、区間内撮影情報の一例を示す。ここで、動画コンテンツにおける区間内の撮影領域に関する情報として、撮影時に記録される区間内撮影情報を定義する。区間の開始点の撮影点情報として、撮影点ｐａ、撮影方向（４７１）θａ、撮影画角φａを定義する。この場合における撮影範囲４７２を斜線で示す。また、区間の終了点の撮影点情報として、撮影点ｐｂ、撮影方向（４７３）θｂ、撮影画角φｂを定義する。この場合における撮影範囲４７４を斜線で示す。

図３８（ｂ）には、区間内撮影情報に基づいて求められる区間内の撮影領域を表す情報（区間内撮影領域情報）の一例を示す。ここで、区間内撮影領域情報を定義する。区間端点をｐ１およびｐ２とし、境界線方向をｌ１およびｌ２とする。また、区間内撮影タイプとして、図３９に示す４タイプ（タイプＡ乃至Ｄ）をその一例として示す。

区間内撮影方向θ１およびθ２は、撮影方向θａおよびθｂに対応し、区間撮影画角φｍａｘは、撮影方向φａおよびφｂにより特定される角度である。すなわち、区間撮影画角φｍａｘ＝ｍａｘ（φａ，φｂ）である。この場合における撮影領域４８０を斜線で示す。

図３９には、４タイプ（タイプＡ乃至Ｄ）の区間内撮影タイプを示す。なお、タイプＡ乃至Ｄにおける撮影領域をグレーとして示す。

図４０は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順の一例を示すフローチャートである。この処理手順では、区間内撮影情報（図３８（ａ）に示す）から区間内撮影領域情報（図３８（ｂ）に示す）に変換する処理について説明する。ここで、入力データは、区間内撮影情報（区間開始点の撮影点情報（撮影点ｐａ、撮影方向θａ、撮影画角φａ）、区間終了点の撮影点情報（撮影点ｐｂ、撮影方向θｂ、撮影画角φｂ）である。また、出力データは、区間内撮影領域情報（区間内撮影領域タイプ（Ａ乃至Ｄ）、区間端点ｐ１、区間端点ｐ２、境界線方向ベクトルｌ１およびｌ２）である。

最初に、境界線方向ベクトル角の計算処理が行われる（ステップＳ１３１０）。この境界線方向ベクトル角の計算処理については、図４２を参照して詳細に説明する。

続いて、直線と点の位置判定処理が行われる（ステップＳ１３２０）。この位置判定処理については、図４４を参照して詳細に説明する。

続いて、区間内撮影領域タイプ判定処理が行われる（ステップＳ１３４０）。この区間内撮影領域タイプ判定処理については、図４７等を参照して詳細に説明する。

図４１は、本発明の第２の実施の形態における画像処理装置１００による境界線方向ベクトル角の計算処理の流れを模式的に示す図である。

図４１（ａ）および（ｂ）には、（撮影方向θａ、撮影画角φａ）および（撮影方向θｂ、撮影画角φｂ）を模式的に示す。この計算処理では、これらの各データが入力データとされる。図４１（ｃ）には、図４１（ａ）および（ｂ）に示す入力データにより計算された境界線方向ベクトル角Ψ１およびΨ２を模式的に示す。

図４２は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの計算処理（図４０に示すステップＳ１３１０の処理手順）の一例を示すフローチャートである。

最初に、θａｂ（＝θｂ−θａ）が算出される（ステップＳ１３１１）。続いて、ｓｉｎ（θａｂ）≧０であるか否かが判断される（ステップＳ１３１２）。

例えば、図４１（ａ）に示すように、ｓｉｎ（θａｂ）≧０である場合には（ステップＳ１３１２）、Δθ＝θａｂとし（ステップＳ１３１３）、θ１＝θａ、θ２＝θｂとし（ステップＳ１３１４）、ステップＳ１３１７に進む。

一方、図４１（ｂ）に示すように、ｓｉｎ（θａｂ）≧０でない場合には（ステップＳ１３１２）、Δθ＝−θａｂとし（ステップＳ１３１５）、θ１＝θｂ、θ２＝θａとし（ステップＳ１３１６）、ステップＳ１３１７に進む。

続いて、φｍａｘ＝ｍａｘ（φａ，φｂ）とし（ステップＳ１３１７）、ψ１＝θ１−（φｍａｘ／２）、ψ２＝θ２＋（φｍａｘ／２）として（ステップＳ１３１８）、境界線方向ベクトル角の計算処理の動作を終了する。

図４３は、本発明の第２の実施の形態における画像処理装置１００による直線と点の位置判定処理を模式的に示す図である。図４３には、区間の開始点ｐａおよび終了点ｐｂと、境界線方向ベクトル角Ψ１およびΨ２とを示す。この位置判定処理では、これらの各データが入力データとされる。また、この位置判定処理では、判定値ＲΨ１およびＲΨ２が出力データとされる。

図４４は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの位置判定処理（図４０に示すステップＳ１３２０の処理手順）の一例を示すフローチャートである。

最初に、直線ａｂの直線パラメータが算出される（ステップＳ１３２１）。すなわち、点ｐａ＝（ｕａ，ｖａ）とし、方向ベクトルｌａｂ＝（（ｕｂ−ｕａ），（ｖｂ−ｖａ））が算出される。

続いて、点ｐψ１＝（ｃｏｓ（ψ１），ｓｉｎ（ψ１））、点ｐψ２＝（ｃｏｓ（ψ２），ｓｉｎ（ψ２））が算出される（ステップＳ１３２２）。

続いて、直線および点の位置を判定するための判定値算出処理が行われ（ステップＳ１３２３、Ｓ１３２４）、判定値ＲΨ１およびＲΨ２が出力される。この判定値算出処理については、図４５を参照して詳細に説明する。

図４５は、本発明の第２の実施の形態における画像処理装置１００による判定値算出処理を模式的に示す図である。図４５（ａ）には、直線パラメータを、点ｑ＝（ｕｑ，ｖｑ）、方向ベクトルｌ＝（ｕｌ，ｖｌ）とした場合における直線および点ｐの位置関係を示す。

図４５（ｂ）には、判定値算出処理の一例（フローチャート）を示す。すなわち、判定値は（ｕｐ−ｕｑ）ｕｌ＋（ｖｐ−ｖｑ）ｖｌにより求めることができる（ステップＳ１３３０）。同様に、ステップＳ１３２３、Ｓ１３２４における判定値ＲΨ１およびＲΨ２についても算出することができる。

図４６は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプ判定処理を模式的に示す図である。図４６（ａ）および（ｂ）には、区間内撮影領域タイプ判定処理の対象となる２つの例を示す。

図４６（ａ）および（ｂ）には、区間の開始点ｐａおよび終了点ｐｂと、境界線方向ベクトル角Ψ１およびΨ２と、判定値ＲΨ１およびＲΨ２とを示す。これらの各データが入力データとされる。また、区間内撮影領域タイプ（タイプＡ乃至Ｄ）と、区間端点ｐ１およびｐ２と、境界線方向ベクトルｌ１およびｌ２とが出力データとされる。

図４７は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプ判定処理（図４０に示すステップＳ１３４０の処理手順）の一例を示すフローチャートである。

最初に、Δψ（＝ψ２−ψ１）が算出される（ステップＳ１３４１）。続いて、ｓｉｎ（Δψ）≧０であるか否かが判断される（ステップＳ１３４２）。ｓｉｎ（Δψ）≧０である場合には（ステップＳ１３４２）、区間内撮影領域タイプＡＢ判定処理が行われる（ステップＳ１３５０）。この区間内撮影領域タイプＡＢ判定処理については、図４９を参照して詳細に説明する。一方、ｓｉｎ（Δψ）≧０でない場合には（ステップＳ１３４２）、区間内撮影領域タイプＣＤ判定処理が行われる（ステップＳ１３７０）。この区間内撮影領域タイプＣＤ判定処理については、図５１を参照して詳細に説明する。

続いて、境界線方向ベクトルｌ１およびｌ２が算出される（ステップＳ１３４３）。すなわち、境界線方向ベクトルｌ１＝（ｃｏｓ（ψ１），ｓｉｎ（ψ１））、境界線方向ベクトルｌ２＝（ｃｏｓ（ψ２），ｓｉｎ（ψ２））が算出される。

図４８は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプＡＢ判定処理を模式的に示す図である。図４８（ａ）および（ｃ）には、区間内撮影領域タイプＡと判定される場合における一例を示し、図４８（ｂ）および（ｄ）には、区間内撮影領域タイプＢと判定される場合における一例を示す。

また、図４８（ａ）乃至（ｄ）には、区間の開始点ｐａおよび終了点ｐｂと、判定値ＲΨ１およびＲΨ２とを示す。これらの各データが入力データとされる。また、区間内撮影領域タイプ（タイプＡまたはＢ）と、区間端点ｐ１およびｐ２とが出力データとされる。

図４９は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプＡＢ判定処理（図４７に示すステップＳ１３５０の処理手順）の一例を示すフローチャートである。

最初に、判定値Ｒψ１≧０であるか否かが判断される（ステップＳ１３５１）。判定値Ｒψ１≧０である場合には（ステップＳ１３５１）、判定値Ｒψ２≧０であるか否かが判断される（ステップＳ１３５２）。判定値Ｒψ２≧０である場合には（ステップＳ１３５２）、区間内撮影領域タイプＡであると判定される（ステップＳ１３５３）。この場合は、図４８（ａ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐａ、区間端点ｐ２＝ｐｂとし（ステップＳ１３５４）、区間内撮影領域タイプＡＢ判定処理の動作を終了する。

また、判定値Ｒψ２≧０でない場合には（ステップＳ１３５２）、区間内撮影領域タイプＢであると判定される（ステップＳ１３５５）。この場合は、図４８（ｂ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐｂ、区間端点ｐ２＝ｐａとし（ステップＳ１３５６）、区間内撮影領域タイプＡＢ判定処理の動作を終了する。

また、判定値Ｒψ１≧０でない場合には（ステップＳ１３５１）、判定値Ｒψ２≧０であるか否かが判断される（ステップＳ１３５７）。判定値Ｒψ２≧０である場合には（ステップＳ１３５７）、区間内撮影領域タイプＡであると判定される（ステップＳ１３５８）。この場合は、図４８（ｃ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐａ、区間端点ｐ２＝ｐｂとし（ステップＳ１３５９）、区間内撮影領域タイプＡＢ判定処理の動作を終了する。

また、判定値Ｒψ２≧０でない場合には（ステップＳ１３５７）、区間内撮影領域タイプＢであると判定される（ステップＳ１３６０）。この場合は、図４８（ｄ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐａ、区間端点ｐ２＝ｐｂとし（ステップＳ１３６１）、区間内撮影領域タイプＡＢ判定処理の動作を終了する。

図５０は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域タイプＣＤ判定処理を模式的に示す図である。図５０（ａ）および（ｄ）には、区間内撮影領域タイプＤと判定される場合における一例を示し、図５０（ｂ）および（ｃ）には、区間内撮影領域タイプＣと判定される場合における一例を示す。

また、図５０（ａ）乃至（ｄ）には、区間の開始点ｐａおよび終了点ｐｂと、判定値ＲΨ１およびＲΨ２とを示す。これらの各データが入力データとされる。また、区間内撮影領域タイプ（タイプＣまたはＤ）と、区間端点ｐ１およびｐ２とが出力データとされる。

図５１は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域情報変換処理の処理手順のうちの区間内撮影領域タイプＣＤ判定処理（図４７に示すステップＳ１３７０の処理手順）の一例を示すフローチャートである。

最初に、判定値Ｒψ１≧０であるか否かが判断される（ステップＳ１３７１）。判定値Ｒψ１≧０である場合には（ステップＳ１３７１）、判定値Ｒψ２≧０であるか否かが判断される（ステップＳ１３７２）。判定値Ｒψ２≧０である場合には（ステップＳ１３７２）、区間内撮影領域タイプＤであると判定される（ステップＳ１３７３）。この場合は、図５０（ａ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐａ、区間端点ｐ２＝ｐｂとし（ステップＳ１３７４）、区間内撮影領域タイプＣＤ判定処理の動作を終了する。

また、判定値Ｒψ２≧０でない場合には（ステップＳ１３７２）、区間内撮影領域タイプＣであると判定される（ステップＳ１３７５）。この場合は、図５０（ｂ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐｂ、区間端点ｐ２＝ｐａとし（ステップＳ１３７６）、区間内撮影領域タイプＣＤ判定処理の動作を終了する。

また、判定値Ｒψ１≧０でない場合には（ステップＳ１３７１）、判定値Ｒψ２≧０であるか否かが判断される（ステップＳ１３７７）。判定値Ｒψ２≧０である場合には（ステップＳ１３７７）、区間内撮影領域タイプＣであると判定される（ステップＳ１３７８）。この場合は、図５０（ｃ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐａ、区間端点ｐ２＝ｐｂとし（ステップＳ１３７９）、区間内撮影領域タイプＣＤ判定処理の動作を終了する。

また、判定値Ｒψ２≧０でない場合には（ステップＳ１３７７）、区間内撮影領域タイプＤであると判定される（ステップＳ１３８０）。この場合は、図５０（ｄ）に示す場合に対応する。続いて、区間端点ｐ１＝ｐｂ、区間端点ｐ２＝ｐａとし（ステップＳ１３８１）、区間内撮影領域タイプＣＤ判定処理の動作を終了する。

［ターゲット領域の撮影区間検出例］
次に、ターゲット領域データおよび撮影領域データに基づいて特定撮影対象の領域を撮影している撮影区間を抽出する例について説明する。

図５２は、本発明の第２の実施の形態における画像処理装置１００によるターゲット領域撮影区間検出処理の処理手順の一例を示すフローチャートである。この処理手順では、撮影領域階層的格子領域データおよびターゲット領域階層的格子領域データに基づいてターゲット領域を撮影領域として含む撮影区間を検出する処理について説明する。ここで、入力データは、撮影領域階層的格子領域データおよびターゲット領域階層的格子領域データである。また、出力データは、撮影領域撮影区間情報リストである。

最初に、撮影軌跡とターゲット領域の階層的格子領域の衝突検出処理が行われる（ステップＳ１１００）。この衝突検出処理では、大領域から小領域に階層的な衝突検出を行う。これにより、最初から小領域同士の大量の衝突判定を行う場合と比較して、全体的に衝突判定処理の回数を抑えることができ、プレイリスト生成に係る処理を削減することができる。この衝突検出処理は、図２７に示すステップＳ１１００と同様であるため、同一の符号を付して、ここでの説明を省略する。

続いて、ターゲット領域撮影区間検出処理が行われる（ステップＳ１４００）。このターゲット領域撮影区間検出処理については、図５３を参照して詳細に説明する。

図５３は、本発明の第２の実施の形態における画像処理装置１００によるターゲット領域撮影区間検出処理の処理手順のうちの検出処理（図５２に示すステップＳ１４００の処理手順）の一例を示すフローチャートである。なお、この処理手順は、図３２に示す処理手順の変形例である。このため、共通する部分には同一の符号を付して、これらの説明を省略する。

また、入力データは、図３２に示す処理手順と同様に、衝突レベル０格子要素対リスト（例えば、（（Ｅａ［０］，Ｅｂ［０］），（Ｅａ［１］,Ｅｂ［１］），…，（Ｅａ［Ｎ−１］，Ｅｂ［Ｎ−１］）））である。ここで、（Ｅａ［ｉ］，Ｅｂ［ｉ］）は、レベル０格子要素対である。また、Ｎは、衝突レベル０格子要素対の数である。また、出力データは、ターゲット領域撮影区間情報リストである。

図５４乃至図５６は、本発明の第２の実施の形態における画像処理装置１００による区間内撮影領域と格子領域の衝突判定処理および区間内撮影領域と点の衝突判定処理を模式的に示す図である。これらの各処理については、図５３を参照して詳細に説明する。

最初に、ターゲット領域撮影区間情報リストが初期化される（ステップＳ１４０１）。続いて、レベル０格子番要素対について、以下の処理が繰り返し行われる（ループＬ１１５２）。また、格子要素Ｅａ［ｉ］の線分について、以下の処理が繰り返し行われる（ループＬ１１５３）。すなわち、区間番号ｐｎ＝「Ｅａ［ｉ］の区間番号リスト内のｊ番目の区間番号」とし、区間内撮影領域情報ＰＲＡＩ＝「区間番号ｐｎの区間内撮影領域情報」とし、格子要素Ｅ＝Ｅｂ［ｉ］とする（ステップＳ１４０４）。

続いて、区間内撮影領域情報ＰＲＡおよび格子要素Ｅが未チェックであるか否かが判断され（ステップＳ１４０５）、区間内撮影領域情報ＰＲＡおよび格子要素Ｅがチェック済みである場合には、ステップＳ１１５７に進む。一方、区間内撮影領域情報ＰＲＡおよび格子要素Ｅが未チェックである場合には（ステップＳ１４０５）、区間内撮影領域と格子領域の衝突判定処理が行われる（ステップＳ１４０６）。

例えば、図５４（ａ）に示す撮影領域５００と、格子要素Ｅの格子領域５１０（格子番号（Ｍ，Ｎ）、格子サイズＳの格子領域）とを例にして説明する。この場合における入力データは、区間内撮影領域情報ＰＲＡＩと、区間端点ｐ１およびｐ２と、方向ベクトルｌ１およびｌ２と、格子要素Ｅの格子番号（Ｍ，Ｎ）および格子サイズＳとである。また、出力データは、衝突あり、衝突なしである。例えば、撮影領域に格子要素Ｅの格子領域の少なくとも一部が含まれるか否かにより衝突判定が行われる。例えば、図５４（ａ）に示す例では、撮影領域５００に格子要素Ｅの格子領域５１０の一部が含まれるため、衝突ありと判定される。

また、図５４（ｂ）乃至図５６には、区間内撮影領域と点の衝突判定処理を示す。この場合における入力データは、区間内撮影領域情報ＰＲＡＩと、区間端点ｐ１およびｐ２と、方向ベクトルｌ１およびｌ２と、点ｐとである。また、出力データは、衝突あり、衝突なしである。なお、図５５（ａ）には、タイプＡに関する区間内撮影領域と点の衝突判定処理を示し、図５５（ｂ）には、タイプＢに関する区間内撮影領域と点の衝突判定処理を示す。また、図５６（ａ）には、タイプＣに関する区間内撮影領域と点の衝突判定処理を示し、図５６（ｂ）には、タイプＤに関する区間内撮影領域と点の衝突判定処理を示す。

続いて、衝突ありと判定されたか否かが判断され（ステップＳ１１５７）、衝突なしと判定された場合には、ループＬ１１５３の最初に戻る。一方、衝突ありと判定された場合には（ステップＳ１１５７）、ターゲット領域撮影区間情報リストへの区間番号追加処理が行われる（ステップＳ１４１０）。この区間番号追加処理は、図３４に示す処理手順と略同様であるため、ここでの説明を省略する。

［ユーザによる指定操作例］
次に、１または複数の動画コンテンツについて地図上に表示された撮影軌跡上の点を手動操作で指定することにより特定の撮影区間を指定する指定方法について説明する。

図５７は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の流れを模式的に示す図である。

図５７（ａ）には、撮影軌跡の階層的格子領域データ（格子領域群５２０により特定されるデータ）と、ユーザ指定点ｐとを模式的に示す。ユーザ指定点検出処理では、これらの各データが入力データとされる。なお、図５７（ａ）には、撮影軌跡の階層的格子領域データに対応する撮影点番号０乃至３を示す。

図５７（ｂ）には、図５７（ａ）に示す状態で検出された撮影点番号５２１を模式的に示す。このように、ユーザ指定点検出処理では、撮影軌跡の階層的格子領域データと、ユーザ指定点とに基づいて、撮影点番号（レベル０）を検出する。

図５８は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順の一例を示すフローチャートである。この処理手順は、撮影軌跡階層的格子領域データと、ユーザが表示画面上で指定した指定点とに基づいて、その指定点に最も近い撮影点を検出する処理である。

最初に、ユーザ指定レベル０格子領域の検出処理が行われる（ステップＳ１５００）。この検出処理は、ユーザ指定点が含まれるレベル０格子領域を検出する処理である。なお、この検出処理については、図６０を参照して詳細に説明する。

続いて、撮影区間リストからのユーザ指定撮影点検出処理が行われる（ステップＳ１５５０）。この検出処理は、ステップＳ１５００において検出された格子領域を通過する撮影区間の両端の撮影点群からユーザ指定点に最も近い撮影点を検出する処理である。なお、この検出処理については、図６４を参照して詳細に説明する。

図５９は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定レベル０格子領域の検出処理の流れを模式的に示す図である。

図５９（ａ）には、撮影軌跡の階層的格子領域データ（格子領域群５２０により特定されるデータ）と、ユーザ指定点ｐとを模式的に示す。この検出処理では、これらの各データが入力データとされる。

図５９（ｂ）には、図５９（ａ）に示す状態で検出されたレベル０格子領域（ユーザ指定点が含まれる格子領域）５２２を模式的に示す。このように、ユーザ指定レベル０格子領域の検出処理では、撮影軌跡の階層的格子領域データと、ユーザ指定点とに基づいて、ユーザ指定点が含まれるレベル０格子領域を検出する。

図６０は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちの検出処理（図５８に示すステップＳ１５００の処理手順）の一例を示すフローチャートである。ここで、入力データは、撮影軌跡の階層的格子領域データと、ユーザ指定点とである。また、出力データは、ユーザ指定レベル０格子領域（または検出なし）である。

最初に、入力データである撮影軌跡の階層的格子領域データについて、最上位レベルの格子領域について、以下の処理が繰り返し行われる（ループＬ１５０１）。ここで、Ａは、階層的格子領域データの最上位レベルの格子要素数（格子領域数）を示す値である。

続いて、ユーザ指定レベル０格子領域の再帰的検出処理が行われる（ステップＳ１５１０）。この再帰的検出処理については、図６１を参照して詳細に説明する。

続いて、再帰的検出処理により、レベル０格子要素が検出されたか否かが判断され（ステップＳ１５０２）、検出されない場合には、ループＬ１５０１の最初に戻る。一方、再帰的検出処理により、レベル０格子要素が検出された場合には（ステップＳ１５０２）、検出されたレベル０格子要素Ｅ０を出力する（ステップＳ１５０３）。

図６１は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちの再帰的検出処理（図６０に示すステップＳ１５１０の処理手順）の一例を示すフローチャートである。

図６２は、本発明の第２の実施の形態における画像処理装置１００による点と格子領域の衝突判定処理を模式的に示す図である。この衝突判定処理については、図６１を参照して詳細に説明する。ここで、入力データは、格子要素Ｅおよび格子サイズＳと、ユーザ指定点ｐとである。また、出力データは、ユーザ指定レベル０格子要素（または検出なし）である。

最初に、格子番号（Ｍ，Ｎ）＝格子要素Ｅの格子番号とし（ステップＳ１５１１）、点ｐ１＝（ＭＳ，ＮＳ）、点ｐ２＝（（Ｍ＋１）Ｓ，（Ｎ＋１）Ｓ）とする（ステップＳ１５１２）。

続いて、点と格子領域の衝突判定処理が行われる（ステップＳ１５２０）。例えば、図６２に示すように、入力データである点ｐと、格子領域（点ｐ１＝（ＭＳ，ＮＳ）、点ｐ２＝（（Ｍ＋１）Ｓ，（Ｎ＋１）Ｓ）により特定される）５２５とについて説明する。この場合には、点ｐが格子領域５２５に含まれるため、衝突ありと判定される。一方、点ｐが格子領域５２５に含まれない場合には、衝突なしと判定される。

続いて、衝突ありと判定されたか否かが判断され（ステップＳ１５１３）、衝突なしと判定された場合には、検出なしを出力する（ステップＳ１５１４）。一方、衝突ありと判定された場合には（ステップＳ１５１３）、格子要素Ｅがレベル０であるか否かが判断される（ステップＳ１５１５）。

格子要素Ｅがレベル０である場合には（ステップＳ１５１５）、格子要素Ｅを出力する（ステップＳ１５１６）。格子要素Ｅがレベル０でない場合には（ステップＳ１５１５）、格子要素Ｅの子要素について、再帰的検出処理を繰り返し行う（ループＬ１５１７、ステップＳ１５３０）。この再帰的検出処理については、ステップＳ１５１０と同様であるため、ここでの説明を省略する。そして、再帰的検出処理により、検出なしが出力されたか否かが判断され（ステップＳ１５１８）、検出なしが出力された場合には、再帰的検出処理を繰り返し行う（ループＬ１５１７、ステップＳ１５３０）。一方、検出なしが出力されない場合には（ステップＳ１５１８）、レベル０格子要素Ｅ０を出力する（ステップＳ１５１９）。

図６３は、本発明の第２の実施の形態における画像処理装置１００による撮影区間リストからのユーザ指定撮影点検出処理の流れを模式的に示す図である。

図６３（ａ）には、ユーザ指定レベル０格子領域の検出処理により検出されたユーザ指定レベル０格子要素Ｅと、ユーザ指定点ｐとを模式的に示す。この検出処理では、これらの各データが入力データとされる。

図６３（ｂ）には、図６３（ａ）に示す状態で検出された撮影点番号２（矩形の枠を付す）を模式的に示す。このように、撮影区間リストからのユーザ指定撮影点検出処理では、ユーザ指定レベル０格子要素と、ユーザ指定点とに基づいて、撮影点番号を検出する。

図６４は、本発明の第２の実施の形態における画像処理装置１００によるユーザ指定点検出処理の処理手順のうちのユーザ指定撮影点検出処理（図５８に示すステップＳ１５５０の処理手順）の一例を示すフローチャートである。ここで、入力データは、ユーザ指定レベル０格子要素Ｅと、ユーザ指定点ｐとである。また、出力データは、撮影点番号（または検出なし）である。

最初に、Ｄｍｉｎ＝∞（無限大値）とし（ステップＳ１５５１）、入力データである格子要素Ｅについて、以下の処理を繰り返し行う（ループＬ１５５２）。すなわち、区間番号ｎ＝「格子要素Ｅの区間番号リスト内のｉ番目の区間番号」とし、撮影点ｐａ（＝（ｕａ，ｖａ））＝撮影点番号ｎの撮影点とし、撮影点ｐｂ（＝(ｕｂ，ｖｂ))＝撮影点番号（ｎ＋１）の撮影点とする（ステップＳ１５５３）。続いて、撮影点ｐａが未チェックであるか否かが判断される（ステップＳ１５５４）。

撮影点ｐａが未チェックである場合には（ステップＳ１５５４）、Ｄ＝（ｕａ−ｕ）^２＋（ｖａ−ｖ）^２とし（ステップＳ１５５５）、Ｄｍｉｎ＞Ｄであるか否かが判断される（ステップＳ１５５６）。Ｄｍｉｎ＞Ｄである場合には（ステップＳ１５５６）、Ｄｍｉｎ＝Ｄとし、撮影点番号Ｎ＝ｎとして（ステップＳ１５５７）、ステップＳ１５５８に進む。また、Ｄｍｉｎ＞Ｄでない場合には（ステップＳ１５５６）、ステップＳ１５５８に進む。

続いて、Ｄ＝（ｕｂ−ｕ）^２＋（ｖｂ−ｖ）^２とし（ステップＳ１５５８）、Ｄｍｉｎ＞Ｄであるか否かが判断される（ステップＳ１５５９）。Ｄｍｉｎ＞Ｄである場合には（ステップＳ１５５９）、Ｄｍｉｎ＝Ｄとし、撮影点番号Ｎ＝ｎ＋１として（ステップＳ１５６０）、ループＬ１５５２の最初に戻る。また、Ｄｍｉｎ＞Ｄでない場合には（ステップＳ１５５９）、ループＬ１５５２の最初に戻る。

そして、ループＬ１５５２の処理が終了した場合には、撮影点番号Ｎを出力する（ステップＳ１５６１）。

［ユーザ指定点からの撮影区間情報の生成例］
上述したユーザ指定点検出処理により検出された２つのユーザ指定点を用いて、撮影点間の撮影区間情報（クリップ情報）を生成する。この場合における入力データは、ユーザ指定の撮影点番号Ｎ１およびＮ２である。また、出力データは、撮影区間情報（先頭区間番号Ｎ、区間数Ｃ）である。

例えば、ユーザ指定の撮影点番号Ｎ１およびＮ２を比較することにより、先頭区間番号Ｎを特定する。例えば、Ｎ１＜Ｎ２の場合には、先頭区間番号Ｎ＝Ｎ１となり、区間数Ｃ＝Ｎ２−Ｎ１となる。一方、Ｎ１≧Ｎ２の場合には、先頭区間番号Ｎ＝Ｎ２となり、区間数Ｃ＝Ｎ１−Ｎ２となる。これにより、プレイリスト情報を生成することができる。

上述した各処理を行うことにより、特定撮影区間の絞込みを行うことができる。すなわち、大量の動画コンテンツ群から特定撮影区間群を自動的に抽出して、プレイリスト情報を容易に作成することができる。また、本発明の第２の実施の形態における画像処理装置１００のアプリケーションは、例えば、次の（１）乃至（６）の機能を有する。
（１）表示画面上のユーザ操作による撮影軌跡上のポイント指定による撮影区間の手動抽出機能。
（２）表示画面上のユーザ操作による撮影対象領域の手動指定機能。
（３）地図データを利用した地名指定による撮影対象領域の自動指定機能。
（４）撮影対象領域内を通過する撮影区間の自動抽出機能。
（５）撮影対象領域を撮影する撮影区間の自動抽出機能。
（６）抽出された撮影区間（クリップ）からのプレイリスト作成機能。
これらの各機能により表示される表示画面の遷移例を以下で示す。

［指定された編集点に基づくプレイリストの生成例］
図６５乃至図６９、図７２乃至図７９、図８２乃至図９４は、本発明の第２の実施の形態における表示部１８０に表示される表示画面の遷移例を示す図である。

最初に、１００個の動画コンテンツの中から手動操作により所望の動画コンテンツを選択してその撮影軌跡を表示部１８０に表示させ、表示部１８０に表示された撮影軌跡上を指定することによりプレイリスト情報を生成する例を示す。

図６５には、動画コンテンツを表す画像を一覧表示するコンテンツ一覧画面を示す。このコンテンツ一覧画面は、プレイリストに関する再生、編集等を行う際における初期画面である。

図６５に示すコンテンツ一覧画面には、コンテンツ一覧表示領域６０１と、表示対象数表示領域６０２と、「コンテンツ」タブ６０３と、「プレイリスト」タブ６０４と、「ＰＬクリップ」タブ６０５とが設けられている。また、このコンテンツ一覧画面には、選択コンテンツ情報表示領域６０９と、「再生」ボタン６１１と、「編集」ボタン６１２と、「ＰＬ作成」ボタン６１３と、「設定」ボタン６１４とが設けられている。

コンテンツ一覧表示領域６０１には、記録媒体１６０に記憶されているコンテンツを表す画像（サムネイル画像）が一覧表示される。図６５に示す例では、サムネイル画像を４×３のマトリクス状に表示する例を示し、各画像を白抜きの矩形で簡略化して示す。また、一覧表示されている各サムネイル画像の下部分には、対応するコンテンツに関する各情報（例えば、コンテンツの生成日時情報）が表示される。また、一覧表示されている各画像のうち、選択状態となっているサムネイル画像の周りには、太線の枠が表示される。図６５に示す例では、左上隅のサムネイル画像６１５が選択状態となっている場合を示す。また、コンテンツ一覧表示領域６０１の表示対象となるコンテンツが多い場合（例えば、１３以上）には、スクロールバー６０６、上下矢印ボタン６０７および６０８を用いて、コンテンツ一覧表示領域６０１の各画像をスクロール表示させることができる。

表示対象数表示領域６０２には、コンテンツ一覧表示領域６０１の表示対象となるコンテンツやプレイリスト等の数が表示される。図６５に示す例では、１００個のコンテンツが、コンテンツ一覧表示領域６０１の表示対象である場合を示す。

「コンテンツ」タブ６０３、「プレイリスト」タブ６０４および「ＰＬクリップ」タブ６０５は、下部分に表示される領域に対応するタブである。

選択コンテンツ情報表示領域６０９には、コンテンツ一覧表示領域６０１に表示されている各サムネイル画像のうち、選択状態となっているサムネイル画像に対応するコンテンツに関する各情報が表示される。選択コンテンツ情報表示領域６０９には、例えば、選択状態となっているサムネイル画像に対応するコンテンツに関するタイトル、ファイル名、作成日時、再生時間が表示される。

「再生」ボタン６１１は、コンテンツ一覧表示領域６０１に表示されている各サムネイル画像に対応するコンテンツを再生させる場合に押下されるボタンである。

「編集」ボタン６１２は、コンテンツ一覧表示領域６０１に表示されている各サムネイル画像に対応するコンテンツについて編集を行う場合に押下されるボタンである。

「ＰＬ作成」ボタン６１３は、コンテンツ一覧表示領域６０１に表示されている各サムネイル画像に対応するコンテンツについて、プレイリスト情報を作成する場合に押下されるボタンである。

「設定」ボタン６１４は、コンテンツ一覧表示領域６０１に表示されている各サムネイル画像に対応するコンテンツについて各種の設定操作を行う場合に押下されるボタンである。なお、本発明の第２の実施の形態では、説明の容易のため、カーソル６１０を用いて各種操作を行う例を示すが、タッチパネルにおいてユーザの指等の接触または近接動作により各種操作を行うようにしてもよい。

図６６には、プレイリスト情報を作成するためのＰＬ（プレイリスト）作成画面を示す。このＰＬ作成画面は、図６５に示すコンテンツ一覧画面において、「ＰＬ作成」ボタン６１３が押下された後に表示される画面である。ＰＬクリップ一覧表示領域６１９には、生成されたプレイリスト情報の一覧が表示される。なお、図６６に示す状態では、プレイリスト情報を構成するＰＬクリップが１つも存在しないものとする。

ここで、手動操作により所望の動画コンテンツを選択する場合には、図６６に示すＰＬ作成画面において、「コンテンツ指定」ボタン６２１を押下する。この押下操作により、図６７に示すＰＬクリップのコンテンツ指定画面が表示される。

図６７に示すＰＬクリップのコンテンツ指定画面は、所望の動画コンテンツを選択するための画面である。このコンテンツ指定画面において、ユーザが所望の動画コンテンツ（サムネイル画像）を選択（例えば、クリック操作）して、「決定」ボタン６３２を押下する。なお、図６７に示す例では、コンテンツ一覧表示領域６２９において、真ん中部分の２つのサムネイル画像が選択されている状態を示す（太線の枠が付されたサムネイル画像（Ｋ１、Ｋ２））。そして、「決定」ボタン６３２の押下操作により、図６８に示すＰＬクリップのＰＬ作成画面が表示される。なお、このＰＬ作成画面は、図６６に示すＰＬ作成画面と同様であり、ＰＬクリップ一覧表示領域６１９には、図６７に示すＰＬクリップのコンテンツ指定画面において選択されたサムネイル画像（Ｋ１、Ｋ２）が表示される。すなわち、図６８に示す状態では、２つの動画コンテンツの全区間がＰＬクリップとして選択されているものとする。

続いて、図６８に示すＰＬクリップのＰＬ作成画面において、ユーザが「撮影領域指定」ボタン６２４を押下すると、図６９に示すＰＬクリップの撮影領域指定画面が表示される。この撮影領域指定画面では、ＰＬクリップ一覧表示領域６１９と同一のサムネイル画像（Ｋ１、Ｋ２）が、ＰＬクリップ一覧表示領域６３５に表示される。また、地図表示領域６３４には、ＰＬクリップ一覧表示領域６３５に表示されている２つのサムネイル画像に対応する動画コンテンツの撮影軌跡６４２および６４３を示す実線が配置された地図が表示される。なお、地図表示領域６３４における点線６４１は、ＰＬクリップ一覧表示領域６３５に表示されていない動画コンテンツの撮影軌跡を示すものである。また、縮尺バー６３６を用いることにより地図表示領域６３４に表示される地図の縮尺を変更することができる。さらに、地図表示領域６３４に対応する矩形の各辺に設けられている上下左右の矢印ボタンを押下することにより、地図表示領域６３４に表示される地図を所望の方向に移動することができる。以下では、地図表示領域６３４に表示される地図の領域決定方法について説明する。

［表示対象となる地図領域決定例］
図７０は、本発明の第２の実施の形態における画像処理装置１００による地図領域決定処理の対象となる選択クリップ群に対応する階層的格子領域を模式的に示す図である。地図表示領域８００は、地図領域決定処理により決定される領域であり、左上座標８０１および右下座標８０２により特定される。

また、階層的格子領域８１１乃至８１３は、ユーザ操作により選択された動画コンテンツや生成されたクリップ情報等に基づいて生成された階層的格子領域であり、内部に色を付した矩形がレベル０の格子領域であるものとする。そして、地図表示領域は、選択クリップ群に対応する階層的格子領域データの最上位格子領域群を含む領域として決定することができる。

図７１は、本発明の第２の実施の形態における画像処理装置１００による地図領域決定処理の処理手順の一例を示すフローチャートである。ここで、入力データは、選択クリップ群に対応する撮影軌跡階層的格子領域データリストである。また、出力データは、左上座標および右下座標により特定される地図表示領域である。

最初に、Ｍｍｉｎ＝∞（無限大値）、Ｍｍａｘ＝０、Ｎｍｉｎ＝∞（無限大値）、Ｎｍａｘ＝０とし（ステップＳ１６０１）、入力データである選択クリップ群について、以下の処理を繰り返し行う（ループＬ１６０２）。ここで、Ａは、選択クリップ数を示す値である。また、入力データである選択クリップ群の撮影軌跡階層的格子領域データについて、以下の処理を繰り返し行う（ループＬ１６０３）。ここで、Ｂは、ｉ番目の階層的格子領域データの最上位レベルの格子要素数（格子領域数）を示す値である。

すなわち、ループＬ１６０３では、（Ｍ，Ｎ）＝「ｉ番目の階層的格子領域データの最上位レベルのｊ番目の格子要素の格子番号」とする（ステップＳ１６０４）。続いて、Ｍｍｉｎ＝ｍｉｎ（Ｍｍｉｎ，Ｍ）、Ｍｍａｘ＝ｍａｘ（Ｍｍａｘ，Ｍ）、Ｎｍｉｎ＝ｍｉｎ（Ｎｍｉｎ，Ｎ）、Ｎｍａｘ＝ｍａｘ（Ｎｍａｘ，Ｎ）とする（ステップＳ１６０５）。

そして、ループＬ１６０２およびＬ１６０３の処理が終了した場合には、ステップＳ１６０６に進む。すなわち、Ｓ＝最上位レベルの格子サイズとし、左上座標（ｕ１，ｖ１）＝（Ｍｍｉｎ×Ｓ，Ｎｍｉｎ×Ｓ）とし、右下座標（ｕ２，ｖ２）＝（Ｍｍａｘ×Ｓ，Ｎｍａｘ×Ｓ）とする（ステップＳ１６０６）。これにより、地図表示領域（左上座標（ｕ１，ｖ１）、右下座標（ｕ２，ｖ２））が決定される。このように決定された地図が、図６９に示すように表示部１８０に表示される。

［手動操作により指定された編集点に基づくプレイリストの生成例］
以下では、上述した表示画面の遷移例について説明する。すなわち、図６９に示すＰＬクリップの撮影領域指定画面において、ユーザが「軌跡手動指定」ボタン６３３を押下すると、図７２に示すＰＬクリップの軌跡手動指定画面が表示される。このＰＬクリップの軌跡手動指定画面において、ユーザが撮影軌跡上の任意の点を指定し、「ポイント設定」ボタン６５２を押下することにより、クリップの開始点および終了点を設定することができる。図７２では、クリップの開始点および終了点として、点６６１および６６２、点６６３および６６４、点６６５および６６６が設定されている例を示す。このようにクリップの開始点および終了点として設定された撮影軌跡の区間については、他の区間と識別することができるように表示態様を変更するようにしてもよい。例えば、撮影軌跡におけるクリップの開始点および終了点間の色が、他の撮影軌跡の色と異なるように変更して表示させることができる。また、ユーザにより撮影軌跡上の任意の点が指定された場合には、その点に対応するフレームが指定点の画像表示領域６５１に表示される。

なお、ユーザが表示画面上でクリックした点からクリップの開始（または終了）ポイント（撮影点）を決定する処理は、図５７乃至図６４に示す。すなわち、ユーザが指定した点および各ＰＬクリップが含まれる動画コンテンツの「撮影軌跡階層的格子領域データ」（図７２に示す例では２つの動画コンテンツ）について、図５７乃至図６４に示す処理が実行される。

また、開始点および終了点の撮影点番号について、ユーザ指定撮影点からの撮影区間情報の生成処理が実行されることによりクリップの撮影区間情報が生成される。

ここで、図７２に示す状態では、既存のＰＬクリップ（２つ）内の撮影区間内から新たに３つの撮影区間がＰＬクリップ候補として絞り込まれている。この状態で、図７２に示すＰＬクリップの軌跡手動指定画面において、ユーザが「決定」ボタン６５４を押下すると、図７３に示すＰＬクリップの撮影領域指定画面が表示される。このＰＬクリップの撮影領域指定画面は、３つの撮影区間６７１乃至６７３がＰＬクリップとして選択されている点以外は、図６９に示す画面と略同一である。また、地図表示領域６３４に表示される撮影軌跡については、ＰＬクリップとして選択されている区間以外の区間を点線で示す。

図７３に示すＰＬクリップの撮影領域指定画面において、ユーザが「戻る」ボタン６３７を押下すると、図７４に示すＰＬ作成画面が表示される。このＰＬ作成画面は、ＰＬクリップ一覧表示領域６１９に表示されるサムネイル画像が異なる以外は、図６６に示すＰＬ作成画面と略同一である。図７４に示すＰＬクリップ一覧表示領域６１９には、図７２に示すＰＬクリップの軌跡手動指定画面において指定されたＰＬクリップに対応するサムネイル画像が表示される。

図７４に示すＰＬ作成画面において、ユーザが「ＰＬ新規登録」ボタン６２６を押下すると、図７５に示すプレイリスト名入力画面が表示される。このプレイリスト名入力画面において、入力ボタン６７５を用いてプレイリスト名表示領域６７６に所望のプレイリスト名（デフォルト名は、例えば、「プレイリスト＊」）を入力することができる。そして、図７５に示すプレイリスト名入力画面において、所望のプレイリスト名を入力した後に、ユーザが「決定」ボタン６７７を押下すると、プレイリスト情報が新規に作成される。このように生成されたプレイリスト情報については、図７６に示すプレイリスト一覧表示画面にそのサムネイル画像６７８が表示される。また、プレイリスト情報表示領域６７９には、選択状態となっているプレイリストに関する各情報が表示される。

［指定された対象領域の通過判定に基づくプレイリストの生成例］
次に、１００個の動画コンテンツの中から、地名により撮影対象領域を選択してその領域を通過する撮影区間を抽出することによりプレイリスト情報を生成する例を示す。

上述したように、図６５に示すコンテンツ一覧画面において、ユーザが「ＰＬ作成」ボタン６１３を押下すると、図６６に示すＰＬ作成画面が表示される。この状態では、プレイリストを構成するＰＬクリップが１つも存在しないものとする。

図６６に示すＰＬ作成画面において、ユーザが「撮影領域指定」ボタン６２４を押下すると、図７７に示すＰＬクリップの撮影領域指定画面が表示される。このＰＬクリップの撮影領域指定画面では、例えば、「領域手動指定」ボタン６８２を押下することにより、地図表示領域６８０に表示される地図を用いて、ユーザが手動で対象領域を指定することができる。なお、この例では、対象領域の地名を入力することにより、対象領域を指定する例を示す。

具体的には、図７７に示すＰＬクリップの撮影領域指定画面において、ユーザが「地名指定」ボタン６８１を押下すると、図７８に示す対象領域の地名入力画面が表示される。この対象領域の地名入力画面は、図７５に示すプレイリスト名入力画面と略同様であり、入力ボタン６７５を用いて地名表示領域６８６に所望の地名を入力することができる。そして、図７８に示す対象領域の地名入力画面において、所望の地名（例えば、「○×どうぶつえん」）を入力した後に、ユーザが「決定」ボタン６７７を押下すると、図７９に示す地名指定による対象領域設定画面が表示される。この地名指定による対象領域設定画面が表示される際に、地図データから、対象領域（ターゲット領域）の階層的格子領域データが生成される（または取得される）。図７９に示す地名指定による対象領域設定画面の地図表示領域６９０には、指定された地図とともに、地図上に動画コンテンツの撮影軌跡（太線の実線で示す）が表示される。このように撮影軌跡が表示される動画コンテンツについては、以下に示す動画コンテンツ検出処理より検出することができる。

［表示対象地図領域に基づく動画コンテンツの検出例］
ここでは、表示される地図領域に基づいて、この地図上に撮影軌跡が含まれる動画コンテンツを検出する例を示す。すなわち、地図表示領域の階層的格子領域データを作成し、これとコンテンツ群の撮影軌跡階層的格子領域データ群との衝突検出を行なうことにより、撮影軌跡が地図表示領域内に含まれるコンテンツ群を検出することができる。

図８０は、本発明の第２の実施の形態における画像処理装置１００による動画コンテンツ検出処理の対象となる格子サイズを模式的に示す図である。図８０（ａ）に示すように、例えば、地図表示領域の階層的格子領域データは、地図表示領域を含む階層数１の階層的格子領域データとする。また、図８０（ｂ）に示すように、格子サイズは、地図表示領域８９０の横幅Ｓと縦幅Ｔの大きい方（横幅Ｓ）と同一のサイズとする。

図８１は、本発明の第２の実施の形態における画像処理装置１００による動画コンテンツ検出処理の処理手順の一例を示すフローチャートである。ここで、入力データは、撮影軌跡階層的格子領域データと、ターゲット領域階層的格子領域データとである。また、出力データは、コンテンツ識別情報（コンテンツＩＤ）リストである。

最初に、コンテンツ識別情報リストが初期化される（ステップＳ１６５１）。続いて、各動画コンテンツについて、以下の処理を繰り返し行う（ループＬ１６５２）。ここで、Ｎは、全ての動画コンテンツ数を示す値である。

すなわち、ループＬ１６５２では、階層的格子領域の衝突検出処理が行われる（ステップＳ１６６０）。この衝突検出処理については、図２７に示すステップＳ１１００の処理手順と略同様であるため、ここでの説明を省略する。

続いて、衝突ありと判定されたか否かが判断され（ステップＳ１６５３）、衝突ありと判定された場合には、コンテンツ識別情報リストにｉ番目の動画コンテンツのコンテンツ識別情報を追加する（ステップＳ１６５４）。一方、衝突ありと判定されない場合には（ステップＳ１６５３）、ループＬ１６５２の最初に戻る。これにより、地図表示領域に撮影軌跡が含まれる動画コンテンツを検出することができる。なお、このように検出された動画コンテンツのサムネイル画像の一覧を表示させて、ユーザにその地域で撮影された動画コンテンツを把握させるようにしてもよい。

［指定された特定対象領域の通過判定に基づくプレイリストの生成例］
以下では、上述した表示画面の遷移例について説明する。図７９に示す地名指定による対象領域設定画面の地図表示領域６９０には、図７８に示す対象領域の地名入力画面において入力された地名（例えば、「○×どうぶつえん」）に対応する領域（対象領域）の輪郭６９１（点線で示す）が表示される。これにより、ユーザが指定した対象領域内において撮影された動画コンテンツの概要を容易に把握することができる。また、地名表示領域６９３には、図７８に示す対象領域の地名入力画面において入力された地名が表示される。

図７９に示す地名指定による対象領域設定画面において、ユーザが「決定」ボタン６９５を押下すると、図８２に示す対象領域におけるクリップの抽出方法選択画面が表示される。この抽出方法選択画面の地図表示領域６９０には、例えば、図７９に示す地名指定による対象領域設定画面の地図表示領域６９０と同一のものが表示される。

図８２に示す対象領域におけるクリップの抽出方法選択画面において、ユーザが「対象領域通過」ボタン７０２を押下すると、対象領域（輪郭６９１内の領域）を撮影通過する撮影区間の抽出処理が実行される。すなわち、ターゲット領域の階層的格子領域データと、対象領域を含む地図表示領域内の動画コンテンツの撮影軌跡の階層的格子領域データ（この例では８個）について、撮影区間の抽出処理（図２７乃至図３４に示す処理）が実行される。この撮影区間の抽出処理により、撮影区間情報リストが生成され、複数クリップの撮影区間情報が生成される。

そして、図８３に示す対象領域通過クリップの抽出結果画面が表示される。この対象領域通過クリップの抽出結果画面は、撮影区間の抽出処理の結果を表示する画面である。図８３に示す対象領域通過クリップの抽出結果画面の地図表示領域６９０には、撮影軌跡のうち、対象領域（輪郭６９１内の領域）を撮影通過する撮影区間と、他の区間とが異なる表示態様とされて表示される。図８３に示す例では、実線の太さを変更することにより異なる表示態様として示す。また、図８３に示す例では、各クリップの開始点および終了点を黒塗りの丸で示す。すなわち、図８３に示す状態では、７つの撮影区間７１１乃至７１７がＰＬクリップ候補として選択されている。

図８３に示す対象領域通過クリップの抽出結果画面において、ユーザが「決定」ボタン７０６を押下すると、図８４に示すＰＬクリップの撮影領域指定画面が表示される。この撮影領域指定画面は、図６９および図７３に示すＰＬクリップの撮影領域指定画面と略同一である。ここで、図８４に示すＰＬクリップ一覧表示領域６３５には、地図表示領域６３４に表示されている７つの撮影区間７１１乃至７１７に対応するサムネイル画像ＰＬ１１乃至ＰＬ１７（図８４ではＰＬ１１乃至ＰＬ１４のみを示す）が表示される。なお、図８４に示すＰＬクリップ一覧表示領域６３５に表示されるサムネイル画像と、地図表示領域６３４に表示される撮影区間との対応関係を容易に把握することができるように、これらを関連付けて表示するようにしてもよい。例えば、ＰＬクリップ一覧表示領域６３５に表示されるサムネイル画像の枠と、地図表示領域６３４に表示される撮影区間の実線とを、組み合わせ毎に同一色とするようにしてもよい。

図８４に示すＰＬクリップの撮影領域指定画面において、ユーザが「戻る」ボタン６３７を押下すると、図８５に示すＰＬ作成画面が表示される。このＰＬ作成画面は、ＰＬクリップ一覧表示領域６１９に表示されるサムネイル画像が異なる以外は、図６６、図７４に示すＰＬ作成画面と略同一である。図８５に示すＰＬクリップ一覧表示領域６１９には、図８４に示す地図表示領域６３４に表示されている７つの撮影区間７１１乃至７１７に対応するサムネイル画像が表示される。

図８５に示すＰＬ作成画面において、ユーザが「ＰＬ新規登録」ボタン６２６を押下すると、図７５に示すプレイリスト名入力画面が表示される。このプレイリスト名入力画面において、入力ボタン６７５を用いてプレイリスト名表示領域６７６に所望のプレイリスト名（例えば、「○×どうぶつえん」）を入力することができる。そして、図７５に示すプレイリスト名入力画面において、所望のプレイリスト名を入力した後に、ユーザが「決定」ボタン６７７を押下すると、プレイリスト情報が新規に作成される。このように生成されたプレイリスト情報については、図８６に示すプレイリスト一覧表示画面にそのサムネイル画像７２０が表示される。

［指定された対象領域に対する撮影判定に基づくプレイリストの生成例］
次に、既存のプレイリストの撮影区間から、撮影対象領域を手動で設定し、その領域を撮影する撮影区間を抽出することによりプレイリスト情報を生成する例を示す。

上述したように、図６５に示すコンテンツ一覧画面において、ユーザが「ＰＬ作成」ボタン６１３を押下すると、図６６に示すＰＬ作成画面が表示される。この状態では、プレイリストを構成するＰＬクリップが１つも存在しないものとする。

図６６に示すＰＬ作成画面において、ユーザが「プレイリスト指定」ボタン６２２を押下すると、図８７に示すＰＬクリップのプレイリスト指定画面が表示される。このプレイリスト指定画面において、ユーザが所望のプレイリスト（例えば、サムネイル画像７１０）を選択し、「決定」ボタン６３２を押下すると、ＰＬ作成画面が表示される。このＰＬ作成画面は、図８５に示すＰＬ作成画面と同一の表示がされる。すなわち、図８５に示す状態では、７つのＰＬクリップが表示されている。このＰＬ作成画面（図８５と同一）において、ユーザが「撮影領域指定」ボタン６２４を押下すると、ＰＬクリップの撮影領域指定画面が表示される。このＰＬクリップの撮影領域指定画面は、図８４に示すＰＬクリップの撮影領域指定画面と同一の表示がされる。このＰＬクリップの撮影領域指定画面（図８４と同一）において、ユーザが「領域手動指定」ボタン６３２を押下すると、図８８に示す領域手動指定による対象領域設定画面が表示される。

図８８に示す領域手動指定による対象領域設定画面において、地図上の任意の領域を手動操作（例えば、カーソル６１０を用いて対象領域を囲む操作）で指定して対象領域（ターゲット領域）を設定することができる。例えば、図８９および図９０に示すように、縮尺変更バー７５５により地図表示領域７５０に表示される地図の縮尺を変更することができる。そして、例えば、図８９および図９０に示すように、対象領域（ターゲット領域）７６１および７６２を設定することができる。対象領域（ターゲット領域）７６１および７６２は、例えば、「○×動物園」のトラがいるスペースと、ライオンがいるスペースとに対応する領域とする。この対象領域７６１および７６２を示す実線については、撮影軌跡７１１乃至７１７を示す実線と識別することができるように、異なる表示態様とするようにしてもよい。このように対象領域（ターゲット領域）が設定された時点で、ターゲット領域の階層的格子領域データが生成される。

そして、対象領域７６１および７６２の設定が終了した後に、図８８乃至図９０に示す領域手動指定による対象領域設定画面において、ユーザが「決定」ボタン７５３を押下する。この押下操作により、図９１に示す対象領域におけるクリップの抽出方法選択画面が表示される。この抽出方法選択画面は、図８２に示す抽出方法選択画面と同様である。

図９１に示す抽出方法選択画面において、撮影距離設定スライダ７０４を用いて撮影距離を設定する。この設定対象となる撮影距離は、例えば、撮像装置から被写体までの距離を表す距離であり、例えば、図３５乃至図３７に示す撮影領域データの生成処理により設定される。また、この撮影距離は、ユーザ指定ではなく、クリップ毎に付与されるカメラ情報（被写体距離の平均値等の属性情報）から取得するようにしてもよい。

撮影距離の設定後、図９１に示す抽出方法選択画面において、ユーザが「対象領域撮影」ボタン７０５を押下すると、対象領域を撮影する撮影区間の抽出処理が実行される。すなわち、ターゲット領域の階層的格子領域データおよび各ＰＬクリップの撮影軌跡の撮影領域階層的格子領域データ（この例では７つ）に基づいて、撮影区間の抽出処理（図５２乃至図５６に示す処理）が実行される。この撮影区間の抽出処理により、撮影区間情報リストが生成され、複数クリップの撮影区間情報が生成される。

そして、抽出処理の終了後に、図９２に示す対象領域撮影クリップの抽出結果画面が表示される。この抽出結果画面は、抽出処理の結果を表示する画面である。図９２に示す状態では、３つの撮影区間７６５乃至７６７がＰＬクリップ候補として選択されている。また、図９２に示すように、撮影軌跡における撮影方向を示す矢印を各撮影点に付して表示するようにしてもよい。

図９２に示す対象領域撮影クリップの抽出結果画面において、ユーザが「決定」ボタン７０６を押下すると、図９３に示すＰＬクリップの撮影領域指定画面が表示される。図９３に示す状態では、３つの撮影区間７６５乃至７６７がＰＬクリップとして選択されている。このＰＬクリップの撮影領域指定画面は、図８４等に示すＰＬクリップの撮影領域指定画面と同様である。

図９３に示すＰＬクリップの撮影領域指定画面において、ユーザが「戻る」ボタン６３７を押下すると、ＰＬ作成画面（図６６等に示す）が表示される。また、このＰＬ作成画面において、ユーザが「ＰＬ新規登録」ボタン６２６を押下すると、図７５に示すプレイリスト名入力画面が表示される。このプレイリスト名入力画面において、入力ボタン６７５を用いてプレイリスト名表示領域６７６に所望のプレイリスト名（例えば、「トラとライオン」）を入力することができる。そして、図７５に示すプレイリスト名入力画面において、所望のプレイリスト名を入力した後に、ユーザが「決定」ボタン６７７を押下すると、プレイリスト情報が新規に作成される。このように生成されたプレイリスト情報については、図９４に示すプレイリスト一覧表示画面にそのサムネイル画像７９０が表示される。

なお、この例では、既に作成されているプレイリスト（ＰＬクリップ数７）を利用して、撮影区間をさらに絞り込んだ新しいプレイリスト（ＰＬクリップ数３）を作成する例を示した。ただし、例えば、図７７乃至図８４に示す各画面における操作を行った後に、図８８に示す画面における処理以降の操作を行うようにしてもよい。

［指定された対象領域に基づくプレイリスト生成例］
ここで、プレイリスト生成の変形例について説明する。例えば、対象領域を撮影通過する撮影区間の抽出処理（図２７乃至図３４に示す処理）を適用して、記録媒体１６０に記憶されている動画コンテンツのうち、その対象領域を撮影通過する撮影区間を含む動画コンテンツを抽出するようにしてもよい。また、対象領域を撮影する撮影区間の抽出処理（図５２乃至図５６に示す処理）を適用して、記録媒体１６０に記憶されている動画コンテンツのうち、その対象領域を撮影する撮影区間を含む動画コンテンツを抽出するようにしてもよい。例えば、ユーザが対象領域を指定し、この指定された対象領域に基づいて動画コンテンツを抽出し、この抽出された動画コンテンツの一覧を表示させることができる。これにより、例えば、所望の対象領域（例えば、ランドマーク）を通過しながら撮影が行われた動画を含む動画コンテンツを容易に把握することができる。また、このように抽出された動画コンテンツから、さらに、所望の対象領域を通過しながら撮影が行われた動画部分のみを抽出して、プレイリストを自動的に生成するようにしてもよい。同様に、例えば、所望の対象領域（例えば、ランドマーク）を撮影している動画を含む動画コンテンツを容易に把握することができる。また、このように抽出された動画コンテンツから、さらに、所望の対象領域を撮影している動画部分のみを抽出して、プレイリストを自動的に生成するようにしてもよい。図９５には、このように対象領域を指定してプレイリスト情報を生成する際における対象領域の指定画面の一例を示す。

図９５は、本発明の第２の実施の形態における表示部１８０に表示される表示画面の一例を示す図である。図９５（ａ）には、所望の対象領域を通過しながら撮影が行われた動画のみを抽出して、プレイリストを自動的に生成する場合における対象領域の指定画面の一例を示す。図９５（ｂ）には、所望の対象領域を撮影している動画のみを抽出して、プレイリストを自動的に生成する場合における対象領域の指定画面の一例を示す。このように表示される各対象領域は、例えば、記録媒体１６０に記憶されている動画コンテンツに基づいて自動的に抽出することができる。

このように、本発明の第２の実施の形態によれば、位置情報および方位情報を用いてユーザ好みのプレイリストを容易に生成することができる。すなわち、地理的な位置を考慮したユーザ好みの動画コンテンツの編集を容易に行うことができる。

なお、本発明の実施の形態では、水平方向に関する角度情報（方位情報）を用いる例を示したが、例えば、垂直方向における角度情報を用いて動画の時間軸における区間を設定するようにしてもよい。例えば、ジャイロセンサを用いて検出された垂直方向における角度情報により特定される角度が、一定の範囲内に存在する軌跡上の区間を抽出し、この通出された軌跡上の区間に基づいて、動画の時間軸における区間を設定することができる。

また、撮像機能付き携帯電話機等の携帯電話機、パーソナルコンピュータ、ナビゲーションシステム、携帯型メディアプレイヤー等の動画コンテンツを扱うことが可能な画像処理装置に本発明の実施の形態を適用することができる。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 画像処理装置
１０１ バス
１１１ 撮像部
１１２ 画像信号処理部
１１３ 位置情報取得部
１１４ 方位情報取得部
１２１ 操作部
１２２ 操作受付部
１３０ ＣＰＵ
１４１ ＲＯＭ
１４２ ＲＡＭ
１５０ 記録制御部
１６０ 記録媒体
１７０ 表示制御部
１８０ 表示部
２００ コンテンツ記憶部
２１０ 地図情報記憶部
２２０ 取得部
２３０ 軌跡情報生成部
２４０ 表示制御部
２５０ 表示部
２６０ 編集点設定部
２７０ プレイリスト情報生成部
２８０ 操作受付部
２９０ プレイリスト情報記憶部

Claims (12)

1. 動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される前記動画コンテンツの撮像時における軌跡と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて前記動画コンテンツの時間軸における区間を設定する設定部と、
   前記設定された区間と前記比較に用いられた前記特定対象領域に関する特定対象物情報とを関連付けた情報であって前記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成部と
   を具備する画像処理装置。
2. 動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される前記動画コンテンツの撮像時の軌跡における前記撮像位置を基準とする範囲であって当該撮像位置を基準とする方位に関する方位情報に基づいて特定される撮像範囲と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて前記動画コンテンツの時間軸における区間を設定する設定部と、
   前記設定された区間と前記比較に用いられた前記特定対象領域に関する特定対象物情報とを関連付けた情報であって前記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成部と
   を具備する画像処理装置。
3. 前記位置情報に基づいて前記軌跡に関する情報であって前記軌跡を特定するための軌跡情報を生成する軌跡情報生成部をさらに具備する請求項１または２記載の画像処理装置。
4. 前記設定部は、前記軌跡において、少なくとも一部が前記特定対象領域と重複する撮像範囲に対応する前記撮像位置を抽出して前記抽出された撮像位置により構成される当該軌跡における区間に基づいて前記動画コンテンツの時間軸における区間を設定する請求項２記載の画像処理装置。
5. 地図上における複数種類の特定対象領域のうちから所望の特定対象領域を指定する指定操作を受け付ける操作受付部をさらに具備する請求項１または２記載の画像処理装置。
6. 前記プレイリスト情報生成部は、前記軌跡を含む地図に関する地図情報を前記プレイリスト情報に含めて前記プレイリスト情報を生成する請求項１または２記載の画像処理装置。
7. 前記設定部は、前記軌跡のうち前記特定対象領域に含まれる軌跡を抽出して当該抽出された軌跡に基づいて前記動画コンテンツの時間軸における区間を設定する請求項１記載の画像処理装置。
8. 前記軌跡を表示部に表示させる表示制御部をさらに具備する請求項１または２記載の画像処理装置。
9. 前記表示制御部は、前記表示部に表示される軌跡において前記設定された区間に対応する軌跡部分と他の部分とを異なる表示態様とする請求項８記載の画像処理装置。
10. 前記表示制御部は、前記軌跡を含む地図に当該軌跡を重ねて表示させる請求項８記載の画像処理装置。
11. 動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される前記動画コンテンツの撮像時における軌跡と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて前記動画コンテンツの時間軸における区間を設定する設定手順と、
    前記設定された区間と前記比較に用いられた前記特定対象領域に関する特定対象物情報とを関連付けた情報であって前記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成手順と
    を具備する画像処理方法。
12. 動画コンテンツの撮像時における撮像位置に関する位置情報に基づいて特定される前記動画コンテンツの撮像時における軌跡と、地上に存在する地物に対応する領域である特定対象領域との比較結果に基づいて前記動画コンテンツの時間軸における区間を設定する設定手順と、
    前記設定された区間と前記比較に用いられた前記特定対象領域に関する特定対象物情報とを関連付けた情報であって前記動画コンテンツの再生に関するプレイリスト情報を生成するプレイリスト情報生成手順と
    をコンピュータに実行させるプログラム。

Images