JPWO2017029849A1 - 画像処理方法、画像処理装置、プログラム - Google Patents

Abstract

付加情報に基づく動画データ編集の使用性及び編集効率の向上を図る。このため、まず動画データの時間軸に対応して付加された付加情報を認識する。そして付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、動画データの編集範囲を設定する。つまり付加データに応じて編集範囲とする部分を設定する。

Description

本技術は画像処理方法、画像処理装置、プログラムに関し、特に動画データに対する編集処理についての技術分野に関する。

特開２０１１−０３０１５９

ビデオカメラ等を用いた動画撮像が一般化しており、ユーザが所有する動画データの量も増えている。このような状況下で一般ユーザが動画データを編集する手段も、例えばパーソナルコンピュータ用のアプリケーションプログラム等で提供されており、動画編集という作業も一般化している。
例えば上記特許文献１には動画編集についての技術が開示されている。

動画編集が一般ユーザにとってより容易に楽しめるようにするためには、編集のための操作の簡易性や、操作のわかりやすさが必要である。さらにある程度の自動的な処理により、ユーザが望むような編集結果を提供又は提案できるようなものが望ましい。
そこで本技術は、付加データを利用した効率の良い編集処理をユーザに提供できるようにするとともに、編集範囲が適切に設定されるようにする手法を提案することを目的とする。

本技術に係る画像処理方法は、動画データの時間軸に対応して付加された付加情報を認識し、前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する画像処理方法である。
即ち少なくとも２種類の付加情報（第１，第２付加情報）に応じて編集範囲を設定する。

上記した画像処理方法においては、前記付加情報が前記第１付加情報である場合は、その第１付加情報が指定する特定時点に基づき編集範囲を設定し、前記付加情報が前記第２付加情報である場合は、その第２付加情報が指定する特定の時間範囲の始点と終点に基づき編集範囲を設定する。
第１付加情報は特定時点を示すため、その特定時点を編集範囲設定の基準とする。第２付加情報は特定の時間範囲を示すため、その時間範囲の始点と終点を編集範囲設定の基準とする。

上記した画像処理方法においては、前記第１付加情報に応じて、その特定時点の第１設定時間前の時点から該特定時点の第２設定時間後までの範囲を編集範囲と設定し、前記第２付加情報に応じて、その時間範囲の始点の第３設定時間前の時点から該時間範囲の終点の第４設定時間後までの範囲を編集範囲とする。
２種類の付加情報（第１，第２付加情報）に応じた編集範囲として、上記の第１設定時間、第２設定時間、第３設定時間、第４設定時間を用いる。なお第１設定時間、第２設定時間、第３設定時間、第４設定時間は、それぞれが同じ時間長でもよいし異なる時間長でもよい。

上記した画像処理方法においては、設定した編集範囲を、動画データからの切り出し範囲とする。
即ち、設定した編集範囲を、元の動画データを編集した編集動画データとして使用するようにする。

上記した画像処理方法においては、前記動画データについて設定した編集範囲を提示する表示を実行させる表示制御を行う。
例えば動画データの開始から終了までをバー形式等で表示する中で、編集範囲を提示する表示を行う。

上記した画像処理方法においては、前記第１付加情報によって指定される前記動画データ上の特定時点を提示する表示制御を行う。
例えば動画データを示すバー形式上で第１付加情報を示すマーク等を表示する。

上記した画像処理方法においては、前記第２付加情報が指定する前記動画データ上の特定の時間範囲を、代表時点を示すことで提示する表示制御を行う。
例えば動画データを示すバー形式上で第２付加情報を示すマーク等を表示する。

上記した画像処理方法においては、設定した編集範囲の情報に基づいて、動画再生表示を実行させる表示制御を行う。
即ち動画データについて１又は複数の編集範囲が設定された状態において、その編集範囲を切り出して再生表示させる。例えば複数の編集範囲を順番に切り出して連続して動画再生させる。

上記した画像処理方法においては、設定した編集範囲について、操作に応じて設定変更する編集操作対応処理を行う。
即ち動画データについて設定された編集範囲について、ユーザが操作により任意に設定変更できるようにする。例えば編集範囲の始点（ｉｎ点）、終点（ｏｕｔ点）の変更、或る編集範囲の削除、編集範囲の追加等をユーザ操作により可能とする。

上記した画像処理方法においては、設定した編集範囲の画像再生態様を操作に応じて変更する編集操作対応処理を行う。
動画データについて設定された編集範囲は、通常再生、例えば１倍速の通常表示の動画として編集動画に加えられる。この編集範囲の動画について、変速再生や画像エフェクト等の処理をユーザ操作で加えることができるようにする。

上記した画像処理方法においては、前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別を指定することに応じて、指定した種別の付加情報に対応する編集範囲に、所定の画像再生態様を設定する編集操作対応処理を行う。
即ち付加情報の種別を指定することで、その付加情報に対応する部分について共通に画像再生態様を設定する。例えば特定の付加情報に対応する編集範囲については、全てスロー再生とするなどの指定が行われるようにする。

上記した画像処理方法においては、前記動画データの編集範囲を設定する際には、前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別に応じて、前記第１設定時間、前記第２設定時間、前記第３設定時間、前記第４設定時間のいずれかを可変設定する。
即ち付加情報の種別に応じて編集範囲を決める設定時間を変更する。

上記した画像処理方法においては、前記付加情報の種別として、動画撮像時のユーザ操作に応じて付加される付加情報の場合に、前記第１設定時間、又は前記第３設定時間のいずれかを、通常設定時間長より長い時間長に設定する。
ユーザ操作に応じて設定される付加情報は、通常、指定する時間位置が遅れる。そこでそのような付加情報の場合は、時間長を長めにする。

上記した画像処理方法においては、設定された編集範囲の情報に基づいて、編集動画データを生成して出力する出力処理を行う。
動画データについて１又は複数の編集範囲が設定された状態において、或いはさらにその編集範囲が変更された状態において、例えば編集範囲を切り出してつなげて編集動画データを生成する。

上記した画像処理方法においては、前記出力処理では、前記編集動画データを記憶媒体に記憶させる出力処理を行う。
或いは上記した画像処理方法においては、前記出力処理では、前記編集動画データを外部機器に送信する出力処理を行う。
即ち編集動画データを記憶媒体に記憶する状態で保存したり、編集動画データを外部機器に送信する。送信の場合、送信先は例えば特定の記録機器、情報処理端末、クラウドサーバなどである。

本技術に係る画像処理装置は、動画データの時間軸に対応して付加された付加情報を認識する認識部と、前記認識部が認識した付加情報が、動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する編集処理部とを備える。
これにより上述の画像処理方法を実行できる装置を構成する。
本技術に係るプログラムは、動画データの時間軸に対応して付加された付加情報を認識するステップと、認識した前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定するステップとを情報処理装置に実行させるプログラムである。
これにより情報処理装置において上述の画像処理方法を実行できるようにする。

本技術によれば、特定時点を示す第１付加情報と、特定時間範囲を示す第２付加情報のそれぞれに応じて自動的に編集範囲を設定できるため、ユーザの編集作業の簡易性を実現しつつ、付加情報に応じた適切な編集範囲設定が実現される。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施の形態の画像処理装置のブロック図である。 実施の形態の画像処理装置を実現するハードウエア構成のブロック図である。 実施の形態の編集画面の説明図である。 実施の形態の編集画面の編集範囲表示状態の説明図である。 実施の形態で設定及び提示する編集範囲の説明図である。 実施の形態で設定及び提示する編集範囲の説明図である。 実施の形態のマーカー表示設定ウインドウの説明図である。 実施の形態のマーカー追加削除ウインドウの説明図である。 実施の形態の動画編集処理のフローチャートである。 実施の形態の動画編集処理のフローチャートである。 実施の形態の編集範囲設定処理のフローチャートである。 実施の形態の編集範囲設定処理のフローチャートである。 実施の形態の編集動画作成処理のフローチャートである。 実施の形態の再生関連操作対応処理のフローチャートである。

以下、実施の形態を次の順序で説明する。
＜１．画像処理装置の構成＞
＜２．メタデータ＞
＜３．編集画面例＞
＜４．処理例＞
＜５．プログラム及び記憶媒体＞
＜６．まとめ及び変形例＞

＜１．画像処理装置の構成＞
実施の形態の画像処理装置１の構成について図１を用いて説明する。画像処理装置１は、例えばパーソナルコンピュータや携帯端末（例えばスマートフォン、タブレット端末）等の情報処理装置においてソフトウエアにより実現される。或いは画像処理装置１は、ビデオカメラ等の撮像装置、画像記録装置、画像再生装置、画像表示装置等の機器に内蔵される場合もある。また画像処理装置１は画像編集装置として実現される場合もある。

実施の形態の画像処理装置１は、対象認識部２，編集処理部３，出力処理部４としての機能を有する。
また画像処理装置１に対して情報のやりとりを行う周辺部位として、記憶部１０，通信部１１，入力部１２，表示部１３，音声出力部１４等がある。
なお、記憶部１０，通信部１１，入力部１２，表示部１３，音声出力部１４は、それぞれ単体の機器として構成されても良いが、上述の情報処理装置、撮像装置、画像記録装置等の装置内の構成部位とされていてもよい。
さらにこれらの記憶部１０，通信部１１，入力部１２，表示部１３，音声出力部１４の全部又は一部と、画像処理装置１は、同一の機器内に一体的に設けられていても良いし、別体機器とされて有線又は無線通信で接続されるものでもよい。
まず周辺部位について説明する。

記憶部１０は動画データを記憶する記憶領域である。例えばＤ−ＲＡＭ（Dynamic Random Access Memory）、Ｓ−ＲＡＭ（Static Random Access Memory）、フラッシュメモリ等の半導体メモリとして形成されていてもよいし、ＨＤＤ（Hard Disk Drive）、メモリカードドライブ、光ディスク等に対するディスクドライブなどでもよい。
この記憶部１０には、例えばユーザがビデオカメラ等の撮像装置で撮像した動画データや、他の機器から転送した動画データ等が記憶されている。さらに記憶部１０は、画像編集装置１で編集した動画データの記憶にも用いられる。

通信部１１は、例えばインターネット等の公衆ネットワーク通信や専用回線通信、或いは近距離無線通信、有線通信等により外部機器と通信を行う。例えば画像編集装置１で編集した動画データを外部機器やネットワークサーバ等に送信する。また通信部１１は、外部機器やネットワークサーバ等から受信した動画データを記憶部１０に記憶させることもできる。

入力部１２は、画像処理装置１に対するユーザの操作情報の入力部である。具体的な態様としてはキーボード、マウス、タッチパネル、ジェスチャ検知装置、操作キー、ダイアル等とされる。
表示部１３は、画像処理装置１による編集作業用の画像や再生動画等を表示する。例えば液晶パネル、有機ＥＬ（Electroluminescence）パネル等の表示デバイスにより構成される。
音声出力部１４は、例えば増幅部、スピーカ部等を有し、例えば画像処理装置１での動画再生の際に動画に付随する音声を出力する。

画像処理装置１はこれらの周辺部位と連携して、ユーザに動画編集機能を提供する。
画像処理装置１の対象認識部２は、処理対象とする動画データを特定するとともに、該動画データの時間軸に対応して付加された付加情報（メタデータ）を認識する。具体的には、記憶部１０に記憶されている動画データの１つをユーザ操作に応じて特定する。
動画データには、撮像時や、撮像後の解析時などにおいて各種のメタデータが付与される。対象認識部２は、ここでは特に動画内の場面に応じて付与されたメタデータを認識するものとする。
メタデータとしては各種のデータがあるが、本実施の形態で対象とするメタデータとは、動画データの時間軸上で、例えば人物が含まれている場面、歓声が上がった場面、笑顔を検出した場面、ユーザ操作による場面などをマーキングするメタデータである。つまり動画データの時間軸上において、特定のシーンであることを示すメタデータ（例えば後述の各種マーカー）を対象とする。
なお本実施の形態で述べるメタデータとしては、動画の時間軸における特定時点を指定するデータ（第１付加情報）と、動画の時間軸における特定の時間範囲を指定するデータ（第２付加情報）がある。

編集処理部３は、対象認識部２が対象とする動画データについて各種の編集のための処理を行う。例えばユーザへの動画の提示、メタデータの位置を示すマーカー提示、編集範囲の設定、編集のための操作環境の提供、編集動画データの生成等の処理を行う。
このため編集処理部３は、メタデータに応じた編集範囲設定処理、ユーザインターフェースとしての表示処理、ユーザの編集操作に応じた編集操作対応処理、編集結果の編集動画データを生成する編集動画生成処理等を行う。これらの処理を含む画像処理装置１の処理の具体例は後述する。

出力処理部４は、編集処理部３が生成した編集動画データを出力する処理を行う。例えば記憶部１０に対して出力して記憶させる。或いは通信部１１に出力して、通信部１１から外部装置に送信させる。

なお、図１では画像処理装置１として以上の対象認識部２，編集処理部３，出力処理部４を有するものとしたが、少なくとも上述の第１付加情報、第２付加情報としてのメタデータを認識する対象認識部２と、第１付加情報か第２付加情報かに応じて動画データの編集範囲を設定する編集範囲設定処理を少なくとも行う編集処理部３のみが設けられれば良い。

このような画像処理装置１を実現する機器の例としてのコンピュータ装置７０の例を図２に示す。
図２において、コンピュータ装置７０のＣＰＵ（Central Processing Unit）７１は、ＲＯＭ（Read Only Memory）７２に記憶されているプログラム、または記憶部７８からＲＡＭ（Random Access Memory）７３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７３にはまた、ＣＰＵ７１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７１、ＲＯＭ７２、およびＲＡＭ７３は、バス７４を介して相互に接続されている。このバス７４にはまた、入出力インターフェース７５も接続されている。

入出力インターフェース７５には、キーボード、マウスなどよりなる入力部７６、液晶パネル或いは有機ＥＬパネルなどよりなるディスプレイ、並びにスピーカなどよりなる出力部７７、ＨＤＤなどより構成される記憶部７８、モデムなどより構成される通信部７９が接続されている。通信部７９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インターフェース７５にはまた、必要に応じてメディアドライブ８０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア８１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７８にインストールされる。

このようなコンピュータ装置７０の場合、上述した画像処理装置１はＣＰＵ７１で起動されるソフトウエアにより実現される。そのソフトウエアを構成するプログラムは、ネットワークからダウンロードされたり、リムーバブルメディア８１から読み出されたりしてコンピュータ装置７０にインストールされる。或いはそのプログラムが記憶部７８としてのＨＤＤ等に予め記憶されていてもよい。
そしてＣＰＵ７１において当該プログラムが起動されて画像処理装置１としての機能が実現され、動画データに関する編集処理を行うことができるようにされる。

＜２．メタデータ＞
メタデータとして動画データに付加される情報について説明する。上述のように本実施の形態でいうメタデータ（第１付加情報、第２付加情報）は、動画データの時間軸上で或る場面を指し示す機能を有する。具体的な種類として次のようなものがある。

まず特定時点を指定する第１付加情報の例を挙げる。
・静止画記録マーカー
動画撮像中の静止画記録の時点を示すデータである。近年の撮像装置（ビデオカメラ等）では、ユーザが、動画記録中に静止画記録操作をできるようにしたものがある。このような動画記録中に静止画記録を指示した場面は、ユーザが重要と認識している場面と想定される。そこで撮像装置において、動画撮像中にユーザが静止画記録操作を行った時点（タイムコード）に対応させて静止画記録マーカーを付与するようにしている。

・顔検出マーカー
動画データ内で顔検出をしたタイムコードに対して付与されるマーカーである。動画撮像中又は撮像後の画像解析において顔検出が行われ、顔が存在するフレームのタイムコードに対応して顔検出マーカーが設定される。例えば画像解析機能を備えた撮像装置や再生装置等により設定される。

・スマイル検出マーカー
動画データ内で笑顔検出をしたタイムコードに対して付与されるマーカーである。動画撮像中又は撮像後の画像解析において笑顔検出が行われ、笑顔が存在するフレームのタイムコードに対応して笑顔検出マーカーが設定される。例えば画像解析機能を備えた撮像装置や再生装置等により設定される。

・ハイライトマーカー
動画撮像中のユーザのハイライト操作の時点を示すマーカーである。近年の撮像装置（ビデオカメラ等）では、ユーザが、動画記録中に重要な場面においてハイライト操作を行うことができるようにしたものがある。つまりユーザが重要と思った場面を、後の再生や編集の際に直ぐに指定できるようにマーカーを付す操作である。例えば撮像装置において、動画撮像中にユーザがこのハイライト操作を行った時点（タイムコード）に対応させてハイライトマーカーを付与するようにしている。

続いて特定の時間範囲を指定する第２付加情報の例を挙げる。
・歓声マーカー
・笑い声マーカー
・拍手マーカー
通常、動画撮像中は音声集音／記録も行っているが、入力音声を解析することで、例えば歓声が上がった期間、笑い声が上がった期間、拍手が行われている期間等を判定することができる。音声解析機能を有する撮像装置や再生装置等は、これらに該当する期間を検出し、歓声マーカー、笑い声マーカー、拍手マーカー等を動画データに付加することができる。

・ズームマーカー
撮像装置にはズーム機能が備えられていることが多い。ユーザがズーム操作を行う期間は、ユーザにとって重要な場面である可能性が高い。そこで撮像装置は、動画撮像記録中にズーム操作が行われた期間に対して、ズームマーカーを設定する。

・モーションパターンマーカー
例えば人のジャンプ動作、ターン動作、テニスや野球やゴルフ等のスイング動作など、特定のモーションパターンに対して付加されるマーカーである。例えばジャンプマーカーとしてジャンプをしている期間を指定する。これらのマーカーは、画像解析によっても可能であるが、例えば外部機器との連携により、より多様な動作に対するマーカーを設定することも可能である。例えばテニスラケットにセンサを装着し、センサの情報を取得することで、フォアハンドストローク、フォアハンドボレー、バックハンドストローク、バックハンドボレー等を判別し、これらに対応するマーカーを付加することも可能である。

以上、第１付加情報、第２付加情報となるマーカー（メタデータ）の具体例を挙げたが、もちろんこれらは一例に過ぎず、他にも具体例は各種考えられる。また後述の処理で、列挙したマーカーの全てを用いる必要はなく、一部のマーカーのみが用いられるものでもよい。

動画データに対するマーカー（メタデータ）の記録手法としては次のような例がある。
・動画撮像中に、撮像装置で検出し、撮像装置で記録する
動画撮像中に記録する場合として、撮像装置において検出した情報に基づいて、撮像装置において動画データに付加するように記録する。

・動画撮像中に、撮像装置以外で検出し、撮像装置で記録
撮像装置で動画撮像中に、例えば外部センサや外部機器において被写体の特定の動作等を検出し、その検出情報を撮像装置に送信する。撮像装置は検出情報に基づいてマーカーを設定し、動画データに対応させたメタデータとして記憶する。

・動画撮像中に、撮像装置以外で検出し、撮像装置以外の機器で記録
撮像装置で動画撮像中に、例えば外部センサや外部機器において被写体の特定の動作等を検出し、その検出情報を撮像装置以外の機器に送信する。例えばスマートホン等、ユーザが撮像装置とともに所持する機器に検出情報を送信する。スマートホン等の機器は検出情報に基づいてマーカーを設定する。さらに撮像装置からの情報も取得し、撮像中の動画データのタイムコードと同期したメタデータとしてマーカーを記録しておく。

・動画撮像中に、撮像装置以外で検出し、ネットワーク上で記録
撮像装置で動画撮像中に、例えば外部センサや外部機器において被写体の特定の動作等を検出し、その検出情報をネットワーク送信し、クラウドで記録する。クラウドサーバ側では撮像中の動画データのタイムコードと同期したメタデータとしてマーカーを記録しておく。

・撮像後に、編集デバイスで記録
撮像後において画像／音声解析機能を有する機器で動画データ解析や音声データ解析を行って、マーカーの対象となる特定の時点や期間を検出する。そしてそのタイムコードに対応させてマーカーを設定し、メタデータとして記録する。
或いは、解析機能がない機器であっても、ユーザが手動で動画内の場面を確認し、或る時点又はある期間を指定する操作を行うことに応じてマーカーをメタデータとして記録する。

＜３．編集画面例＞
続いて実施の形態の画像処理装置１によってユーザに提供される編集画面について説明する。
図３は例えば図１の表示部１３に表示される編集画面２０の一例を示している。
編集画面２０には、各種の編集機能を読み出すメニューを示したメニューエリア２１や、実際の動画内容を表示するビデオエリア２２が用意されている。
例えばユーザが記憶部１０に記憶された動画データを編集対象として指定する操作を行うことに応じて、この図３のような編集画面において、ビデオエリア２２において当該動画の映像が再生されたり、あるいは再生停止状態で表示されたりする。

編集画面２０には再生関連操作部２３として、例えば再生ボタン、戻しボタン、早戻しボタン、早送りボタン、進みボタン等が表示されている。ユーザはこれらの操作子を操作（例えばクリック／タッチ等）することにより、指定した動画をビデオエリア２２において任意に再生させることや、所望のシーンに移動させることなどができる。
また音量操作部２４として、ミュートボタンや音量バー等が表示される。ユーザはこれらの操作子の操作により、再生時の音声出力のオン／オフや、音量調整を指示することができる。
また画面モード操作部２６により、ディスプレイに対する編集画面２０の全画面モード、縮小画面モードなどが選択できるようにされている。

動画バー２５は、バーの全体を対象の動画データの尺（時間長）とした場合において、現在ビデオエリア２２で表示されているシーンの位置を動画ポインタ２５ａにより提示する。この例では、編集対象の動画データが４分４４秒の長さであることに応じて、動画バー２５の全体が０分０秒から４分４４秒を表現するものとされている。

編集画面２０内には、編集範囲提示エリア３０が設けられている。
編集範囲提示エリア３０内には、マーカーバー３１、編集範囲バー３２が上下に並んで表示されている。このマーカーバー３１、編集範囲バー３２の全長も、動画バー２５と同じく、バー全体の長さが対象の動画データの時間長（例えばこの場合４分４４秒）として表現される。
マーカーバー３１上にはマーカー画像３３が表示される。即ち、実際に動画データに付加されている各種のメタデータ（顔検出マーカー、ハイライトマーカー、歓声マーカー等）が、時間軸上のどの位置に付加されているかがわかるように、各マーカーの種別に対応した画像で提示される。
従ってユーザはマーカーバー３１上のマーカー画像３３により、当該動画データにおいて、どのあたりにどのようなマーカーが付加されているか、或いは、どのような種類のマーカーが付加されているか、さらにはマーカーの数などを、大まかに把握することができる。
図３では表示されてないが、編集範囲バー３２には後述するようにマーカーに応じた編集範囲が表示される。編集範囲とは編集対象となる動画の範囲である。具体的には、編集範囲とは編集動画データとして採用する動画部分であり、例えば設定された複数の編集範囲がつながれて編集動画データが生成される。その意味で、編集範囲とは、元の動画データから切り出す範囲という意味となる。

編集画面２０には、マーカー表示設定ボタン４１、編集範囲設定ボタン４２、キャンセルボタン４３が表示され、ユーザが操作可能とされる。
マーカー表示設定ボタン４１は、マーカーバー３１上に表示するマーカー画像３３を選択する操作子である。
編集範囲設定ボタン４２は、マーカーに応じた編集範囲の設定を指示する操作子で、キャンセルボタン４３は、その操作（操作に応じた編集範囲設定）をキャンセルする操作子である。

編集画面２０にはイン点提示部４４，アウト点提示部４５が設けられ、イン点、アウト点の各タイムコードが表示される。例えば、或る編集範囲を指定した場合に、その編集範囲のイン点，アウト点が提示される。

図３の表示画面は、切り出しタブ４６上の画像例とされる。これはマーカーに応じた編集範囲設定を行うためのタブである。
これ以外に、変速タブ４７、くり返しタブ４８、文字タブ４９等が用意される。図示は省略するが、変速タブ４７を選択した際には、或る編集範囲についての変速再生（スローや高速再生）の指定操作や、画像エフェクト等を指示する操作を行う画面が表示される。
くり返しタブ４８を選択した際には、或る編集範囲についてのリピート再生やそのリピート回数等の指定操作を行う画面が表示される。
文字タブ４９を選択した際には、或る編集範囲について付加する、例えば重畳表示させるテキストの入力操作を行う画面が表示される。

編集画面２０における以上のタブ領域外には、編集データ保存ボタン５０，編集動画作成ボタン５１が用意されている。
編集データ保存ボタン５０は、ユーザが編集データを記憶させるための操作子である。編集データとは、例えば設定された編集範囲、各編集範囲について設定された変速、リピート等の再生態様の情報、テキスト情報、変更後の編集範囲の情報、マーカーの選択情報などである。つまりマーカーに応じて設定された編集範囲や、それに対するユーザの操作により設定又は変更された編集作業の情報であって、現時点の編集動画データの作成の元になる情報である。

編集動画作成ボタン５１は、その時点の編集データに基づいて、編集動画データを生成し、出力することを指示する操作子である。
編集動画作成ボタン５１が操作されることに応じて、画像処理装置１はその時点の編集データに基づいて、編集範囲のつなぎ合わせや各編集範囲のエフェクト付加、変速、リピート、文字重畳などを行って、編集動画データとしての例えばストリームデータを生成する。そしてその編集動画データを記憶部１０に記憶させたり、通信部１１から外部機器に送信させる。

以上のような図３の編集画面２０の状態において、編集範囲設定ボタン４２が操作されることで、全部又は一部のマーカーに応じて編集範囲が自動設定され、その設定された編集範囲が提示される図４のような表示状態となる。
図４においては、編集範囲バー３２に、各マーカー３３に対応して設定された編集範囲を示す範囲画像３５が表示される。図では編集範囲バー３２上の斜線部として範囲画像３５を示しているが、実際には色が異なる部分などとして表示されればよい。各範囲画像３５の表示態様（例えば色や図柄等）は共通でも良いが、対応するマーカー３３の種別に応じて区別される表示態様としてもよい。

ここでマーカーに応じた編集範囲の設定とその提示について説明する。
上述のようにマーカーとしては、第１付加情報としての各種のマーカーと、第２付加情報としての各種のマーカーがある。
本実施の形態では、マーカーが動画の時間軸における特定時点を指定する第１付加情報か、或いは動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、そのマーカーに対応する編集範囲を設定する。
具体的には、第１付加情報のマーカーは特定時点を示すため、その特定時点を編集範囲設定の基準とする。第２付加情報のマーカーは特定の時間範囲を示すため、その時間範囲の始点と終点を編集範囲設定の基準とする。
さらにいえば、マーカーが第１付加情報である場合、その特定時点の第１設定時間前の時点から該特定時点の第２設定時間後までの範囲を編集範囲と設定する。
マーカーが第２付加情報である場合、その時間範囲の始点の第３設定時間前の時点から該時間範囲の終点の第４設定時間後までの範囲を編集範囲とする。
ここで、第１設定時間、第２設定時間、第３設定時間、第４設定時間は、それぞれが同じ時間長でもよいし異なる時間長でもよい。まず、第１〜第４設定時間は全て２秒であるとして編集範囲設定の例を説明する。

図５Ａはマーカーバー３１と編集範囲バー３２の各一部を示しているが、マーカーバー３１におけるマーカー画像３３Ａは、第１付加情報となる例えば顔検出マーカーに対応する画像であるとする。その顔検出マーカーは、動画データにおけるタイムコード「０：０１：００：００」（０時間１分０秒０フレーム）をマーキングしている情報であるとする。
なお、タイムコードは通常、時：分：秒：フレームとされるが、実際の画面等では、煩雑をさけるため、フレームは省略していることが多い。例えば図３，図４の編集画面２０ではフレームは省略した表示とされている例としている。
また、図５、図６に示すタイムコードは実際に表示されるものではなく、説明のために表記しているものである。但し実際に表示されるものとしてもかまわない。

上記の顔検出マーカーに対応して、マーカー画像３３Ａは、マーカーバー３１におけるタイムコード「０：０１：００：００」の位置に表示される。
なおマーカー画像３３（３３Ａ等）自体のユーザの認識性を高めるようにするため、マーカー画像３３はある程度の面積を持つ画像としている。このため図５Ａのように、マーカー画像３３Ａの一辺（左辺）が「０：０１：００：００」の位置となるように表示している。但しこれは一例で、例えば右辺がタイムコードに対応する位置となるようにしてもよいし、左右方向の中央がタイムコードに対応する位置となるようにしてもよい。
マーカー画像３３（３３Ａ等）を、単にタイムコードに対応したライン等とせずに、面積のある画像とし、マーカーの種別毎に異なる画像とすることで、ユーザにとってどのようなマーカーが付されているかをより認識しやすくしている。

マーカーに対して、編集範囲が上述のように設定される。この図５Ａの場合、第１設定時間＝第２設定時間＝２秒とすると、編集範囲はタイムコード「０：００：５８：００」〜「０：０１：０２：００」の範囲と設定される。
そしてこのように設定された編集範囲を示すように、図示のように編集範囲バー３２上の「０：００：５８：００」〜「０：０１：０２：００」の部分に範囲画像３５が表示される。これによってユーザは、或る顔検出マーカー（マーカー画像３３Ａ）に対応して設定された編集範囲、例えば元の動画データからの切り出し範囲を認識できる。

次に、図５Ｂの上段及び中段はマーカーバー３１と編集範囲バー３２の各一部を示しているが、マーカーバー３１におけるマーカー画像３３Ｂは、第２付加情報となる例えば歓声マーカーに対応する画像であるとする。その歓声検出マーカーは、動画データにおけるタイムコード「０：０３：２０：００」〜「０：０３：３０：００」の期間をマーキングしている情報であるとする。

この歓声マーカーに対応して、マーカー画像３３Ｂは、マーカーバー３１におけるタイムコード「０：０３：２０：００」の位置、即ち始点を代表時点として、この始点にマーカー画像３３Ｂの左辺が対応するように表示される。もちろんこれは一例であり、例えば当該期間の終点を代表時点として、終点にマーカー画像３３Ｂの右辺が対応するような表示も考えられる。また当該期間の中央を代表時点として、そのタイムコード位置にマーカー画像３３Ｂの左右方向の中央が一致するような表示も好適である。

そしてこのマーカーに対して、編集範囲が上述のように設定される。この図５Ｂの場合、第３設定時間＝第４設定時間＝２秒とすると、編集範囲はタイムコード「０：０３：１８：００」〜「０：０３：３２：００」の範囲と設定される。
そしてこのように設定された編集範囲を示すように、図示のように編集範囲バー３２上の「０：０３：１８：００」〜「０：０３：３２：００」の部分に範囲画像３５が表示される。これによってユーザは、或る歓声マーカー（マーカー画像３３Ｂ）に対応して設定された編集範囲、例えば元の動画データからの切り出し範囲を認識できる。

なお、図５Ｂの下段は、マーカー画像３３Ｂの他の表示例として、マーカー画像３３Ｂ’を示している。この例は、マーカー画像３３Ｂの左右方向の範囲を、編集範囲と一致させた例である。これにより、第２付加情報としてのマーカー画像３３Ｂとそれに対応する編集範囲がわかりやすいものとなる。但しこのような表示では、マーカーバー３１上が煩雑になり、ユーザの認識性が低下する懸念もあるため、それを考慮する場合は図５Ｂの上段のような表示が望ましい。

図６Ａは、時間軸上に近い位置に第１付加情報としてのマーカーが複数存在した場合を示している。例えば３つの顔検出マーカーがそれぞれ「０：０２：３０：００」「０：０２：３３：００」「０：０２：３５：００」を指定しているとする。
これに応じてマーカーバー３１上では顔検出マーカーを示すマーカー画像３３Ａが３つ重なるように表示される。
第１設定時間＝第２設定時間＝２秒とすると、これらの顔検出マーカーについての編集範囲は、それぞれ「０：０２：２８：００」〜「０：０２：３２：００」、「０：０２：３１：００」〜「０：０２：３５：００」、「０：０２：３３：００」〜「０：０２：３７：００」となり、それぞれ前後が重複する。そこで編集範囲バー３２では、これらをまとめて「０：０２：２８：００」〜「０：０２：３７：００」を編集範囲として範囲画像３５を表示している。

ところで、例えば第１設定時間、第２設定時間、第３設定時間、第４設定時間はマーカーの種別によらずに固定的であってもよいし、マーカーの種別によって変更してもよい。
例えば図６Ｂには、ハイライトマーカーに応じたマーカー画像３３Ｃと、それに応じた編集範囲を示す範囲画像３５を例示している。このハイライトマーカーは「０：０４：４０：００」を示す情報であるとする。
例えば上記図５Ａのように第１設定時間＝第２設定時間＝２秒とするが、特定のマーカーについては第１設定時間を変更する例である。ここではハイライトマーカーの場合は、第１設定時間＝４秒に変更する。このため「０：０４：３６：００」〜「０：０４：４２：００」が編集範囲となり、図示のように表示される。
例えばこの例のように、編集範囲の設定に用いる第１〜第４設定時間の全部又は一部は、マーカー種別に応じて異なる値が適用されるようにしてもよい。

第１設定時間、第２設定時間、第３設定時間、第４設定時間についてまとめると、これらの具体例は多様に考えられる。
まず上述のように第１設定時間＝第２設定時間＝第３設定時間＝第４設定時間として、マーカー種別に限らず、この設定時間を用いて編集範囲を設定する例がある。
第１設定時間≠第２設定時間≠第３設定時間≠第４設定時間としてマーカー種別に限らず固定的に用いても良い。例えば第１設定時間＝３秒、第２設定時間＝２秒、第３設定時間＝２．５秒、第４設定時間＝１．５秒などである。
第１設定時間＝第３設定時間＝ｘ秒、第２設定時間＝第４設定時間＝ｙ秒としてもよい。
第１設定時間＝第３設定時間＝第４設定時間＝ｘ秒、第２設定時間＝ｙ秒としてもよい。
第１設定時間＝第２設定時間＝第４設定時間＝ｘ秒、第３設定時間＝ｙ秒としてもよい。
第２設定時間＝第３設定時間＝第４設定時間＝ｘ秒、第１設定時間＝ｙ秒としてもよい。

またマーカー種別に応じて変更する場合には、特定のマーカー種別の場合に、第１設定時間、第２設定時間、第３設定時間、第４設定時間の全部を変更してもよいし、一部を変更してもよい。
また第１付加情報としてのマーカー種別毎に、それぞれ固有の第１設定時間、第２設定時間を決め、また第２付加情報としてのマーカー種別毎に第３設定時間、第４設定時間を決めることも考えられる。

次に、図４に戻って編集範囲についての任意編集について説明する。
図４では、マーカーバー３１及び編集範囲バー３２上に渡って、エディットポインタ３４が表示されている例を示している。
エディットポインタ３４は、特定のタイムコードを示すもので、ユーザが操作によりエディットポインタ３４を任意の位置に移動させることで、その位置（又は対応する編集範囲）を編集操作の対象とすることができるものである。

例えばユーザが、エディットポインタ３４を或る範囲画像３５やマーカー画像３３に合わせる操作を行った場合、画像処理装置１はそのエディットポインタ３４で指定された編集範囲又はマーカーが編集操作の対象と認識して必要な処理を行う。例えば該当の編集範囲のイン点、アウト点をイン点提示部４４，アウト点提示部４５で表示したり、ビデオエリア２２にそのタイムコードの画像を表示させたりする。さらにその後のユーザ操作に対応する処理を行う。例えば或る編集範囲がエディットポインタ３４で指定された状態で、エディットポインタ３４が移動された場合、画像処理装置１は編集範囲の変更と認識して編集処理を行う。
例えばユーザにとっては、エディットポインタ３４を或る範囲画像３５の端部に合わせたうえで、左右に移動させる操作を行うことで、上記のように設定された編集範囲の始点又は終点を変更して、編集範囲を伸長又は短縮できる。
またユーザは、エディットポインタ３４で指定した編集範囲について、変速指定やリピート指定、エフェクト指定、文字入力等の操作を行うこともできる。
またユーザは、エディットポインタ３４で指定したマーカーの削除、エディットポインタ３４で指定した位置へのマーカーの追加等も行うことができる。
つまりエディットポインタ３４は、ユーザが任意に編集操作を行いたい場合の、マーカー画像３３の指定、範囲画像３５の指定、任意のタイムコード位置の指定などに用いられる。

続いてマーカーの表示設定について説明する。
ユーザは、マーカーバー３１に表示されるマーカーの種別を選択できる。例えばユーザがマーカー表示設定ボタン４１を操作した場合、画像処理装置１は図７に示す表示設定ウインドウ６１を表示させる。表示設定ウインドウ６１には、マーカー選択エリア６２、ビデオ提示部６４、閉じるボタン６３等が設けられている。

マーカー選択エリア６２には、処理対象の動画データに付加されているマーカー種別が一覧で示され、それぞれにチェックボックスが設けられている。ユーザはマーカー選択エリア６２を見ることで、現在処理対象の動画データに付加されているマーカーの種別を知ることができる。
そしてユーザは、マーカー種別に対応して表示されているチェックボックスを利用して、マーカーバー３１に表示させたいマーカーの種別を選択する。図示のように顔検出マーカー、歓声マーカーがチェックされる状態では、図４のように、顔検出マーカーと歓声マーカーに対応するマーカー画像３３が表示されることになる。マーカーバー３１上にマーカー画像３３が表示されるということは、その種別のマーカーについて編集範囲の設定や任意編集が可能となるということである。
例えばユーザが、運動会等の動画データについて、人物が含まれているシーンと歓声が上がったシーンをまとめたダイジェスト動画として編集動画データを作成したい場合、このように顔検出マーカーと歓声マーカーを選択してマーカーバー３１に表示されるようにし、かつこれらについて編集範囲が設定され、編集範囲バー３２に範囲画像３５が表示されるようにすれば良い。

また元々動画データに付加されていなかったマーカーの追加や、マーカーの削除も可能とされる。
ユーザがマーカーの追加又は削除のための所定の操作を行った場合、画像処理装置１は図８のようなウインドウ６０を表示させる。このウインドウ６０には、マーカーバー３１Ｗ、マーカー一覧部５２、選択マーカー提示部５３、追加ボタン５４、削除ボタン５５等が表示される。
マーカーバー３１Ｗには、現在編集画面２０のマーカーバー３１に表示されているマーカー画像３３Ａや、追加されたマーカー画像３３Ｃが表示される。
例えばユーザは、エディットポインタ３４をマーカーバー３１Ｗ上で任意の位置に配置する。そしてマーカー一覧部５２から任意のマーカーを選択する。その操作に応じて画像処理装置１は、選択マーカー提示部５３に選択中のマーカー（この例ではハイライトマーカー）を示し、マーカーバー３１Ｗ上のエディットポインタ３４の位置に選択中のハイライトマーカーのマーカー画像３３Ｃを表示する。
ユーザが追加ボタン５４を操作した場合、画像処理装置１は、この状態、つまりエディットポインタ３４で示されるタイムコード位置にハイライトマーカーが追加された状態とし、図４等の編集画面２０に戻る。その際にはマーカーバー３１にハイライトマーカーのマーカー画像３３Ｃが追加された状態となる。

例えばこのようにユーザは任意のタイムコード位置を指定して、任意のマーカーを追加することができる。
逆に、既に付加されているマーカー（マーカー画像３３）をエディットポインタ３４で指定して、削除ボタン５５を操作することで、そのマーカーを削除することもできる。なお、ここでいう「削除」とは、元の動画データから該当するメタデータとしてのマーカーを削除してしまうという処理でも良いし、単に編集範囲の設定対象から外す、という意味での削除でもよい。

以上のような編集画面２０を用いて、ユーザは、対象の動画データについて各種編集作業を行うことができる。この編集作業は次のような点がユーザに利便性を与える。
・対象の動画データに付加されていたマーカーがタイムコードに合わせてマーカー画像３３により表示されるため、ユーザはマーカーの位置や種類を認識できる。
・マーカーに対応して編集範囲が自動設定される。この場合、第１付加情報か第２付加情報かに応じて、それぞれ適切な範囲が編集範囲として設定される。
・編集範囲設定の元となるマーカーの種別は、ユーザが任意に選択できる。
・編集範囲設定の元となるマーカーとして特定種別のマーカーをユーザが任意に追加／削除できる。
・マーカーに対応して設定された各編集範囲の始点・終点はユーザが任意に変更できる。
・各編集範囲について、ユーザが任意に再生態様の指定やエフェクト設定、文字設定等を行うことができる。
・再生操作により、編集作業中の編集範囲を再生させたり、各編集範囲をつなげた編集動画を確認することができる。
・編集作業後に、編集データを保存することができ、編集動画作成／出力を指示できる。

＜４．処理例＞
以上のような編集画面２０を表示させユーザに編集作業環境を提供する画像処理装置１の処理例を説明する。例えば画像処理装置１は図１の対象認識部２，編集処理部３，出力処理部４としての機能により以下説明する処理を実行する。具体的には画像処理装置１は図２のような情報処理装置であり、編集用のプログラムが起動されることで以下の処理を実行する。

図９，図１０は画像処理装置１が実行する処理例を示している。
画像処理装置１は図９のステップＳ１０１で処理対象の動画を決定する。即ちユーザの操作に従って、記憶部１０に記憶された動画データの１つを編集処理の対象の動画データとして決定する。
ステップＳ１０２で画像処理装置１は、処理対象として決定した動画データを記憶部１０から読み込むとともに、当該動画データに付加されているメタデータ（マーカー）の取得を行う。

ステップＳ１０３で画像処理装置１は編集画面２０の表示を開始する。即ち対象の動画データをビデオエリア２２表示させる状態とし、またマーカーバー３１に当該動画データに付加されていたマーカーに対応するマーカー画像３３を表示させる。例えば図３の状態の表示を、表示部１３において実行させる。マーカー画像３３の表示は図５に説明したような表示態様とする。
なお、初期状態でマーカー画像３３を表示させるマーカーの種別は、予め固定的に設定していても良いし、ユーザ設定によるものとしてもよい。或いは、その動画データに付加されていた全マーカーについてマーカー画像３３を表示させるものとしてもよい。さらには、図７で説明したユーザの選択操作が行われるまで、マーカー画像３３を表示させないものとしてもよい。

編集画面２０の表示を開始した後は、画像処理装置１はユーザ操作を監視し、検知した操作に応じた処理を行う。図９及び図１０では、検知するユーザ操作として、タイムコード位置指定操作（Ｓ１０４）、編集範囲設定操作（Ｓ１０５）、編集データ保存操作（Ｓ１０６）、編集動画作成操作（Ｓ１０７）、再生関連操作（Ｓ１０８）、マーカー表示設定操作（Ｓ１０９）、マーカーの追加／削除操作（Ｓ１１０）、変速設定操作（Ｓ１１１）、くり返し設定操作（Ｓ１１２）、文字入力操作（Ｓ１１３）、マーカー指定編集操作（Ｓ１１４）、マーカー種別指定編集操作（Ｓ１１５）を挙げている。これら以外にも監視するユーザ操作はあるが、それらは「他の操作」（Ｓ１１６）としている。
画像処理装置１はこれらのステップＳ１０４〜Ｓ１１６の監視処理を、ステップＳ１１７で画像編集処理の終了と判断されるまで繰り返す。

ユーザのタイムコード位置指定操作を検知した場合、画像処理装置１はステップＳ１０４からＳ１２１に進む。タイムコード位置指定操作とは、エディットポインタ３４を或るタイムコード上に配置する操作である。
この操作に応じて画像処理装置１はステップＳ１２１で、エディットポインタ３４の画面上の位置を、操作により指定された位置に変更する処理を行う。

ユーザの編集範囲設定操作を検知した場合、画像処理装置１はステップＳ１０５からＳ１３０に進んで、編集範囲設定処理を行う。編集範囲設定操作とは例えば編集画面２０における編集範囲設定ボタン４２の操作である。この操作に応じて画像処理装置１は、マーカーバー３１にマーカー画像３３が表示されている全部又は一部のマーカーに対応して編集範囲の設定を行う。
例えば画像処理装置１は、編集範囲設定ボタン４２が操作されることに応じて、マーカー画像３３が表示されているマーカー全部について、自動的に編集範囲設定を行う。
又は画像処理装置１は、編集範囲設定ボタン４２が操作されることに応じて、その時点でエディットポインタ３４等により指定されているマーカー画像３３のマーカーについて編集範囲設定を行うようにしてもよい。
又は画像処理装置１は、編集範囲設定ボタン４２が操作されることに応じて、その時点でエディットポインタ３４等により指定されているマーカー画像３３のマーカーと、同一種類のマーカー全部について編集範囲設定を行うようにしてもよい。例えば顔検出マーカーの１つがエディットポインタ３４で指定されていた場合、全ての顔検出マーカーについてそれぞれ編集範囲設定を行う。

これらいずれの場合も、１つのマーカーに対応する編集範囲設定処理としては、図１１Ａ、図１１Ｂ、図１２のような例が考えられる。
マーカー全部について編集範囲設定を行うなど、複数のマーカーを編集範囲設定処理の対象とする場合は、以下の図１１Ａ、図１１Ｂ、図１２のような処理を、対象とする各マーカーに対してくり返し行えば良い。

まず図１１Ａの例を説明する。図１１Ａは第１設定時間＝第２設定時間＝第３設定時間＝第４設定時間＝２秒とした例である。
ステップＳ１３１で画像処理装置１は、対象のマーカーが時間範囲を指定するマーカーか否か、つまり第２付加情報か否かを判断する。つまり処理対象のマーカーの種別を確認し、種別が顔検出マーカー、静止画記録マーカー、ハイライトマーカー等であれば第１付加情報と判断し、一方、歓声マーカー、拍手マーカー、モーションパターンマーカー等であれば時間範囲を指定する第２付加情報と判断する。

対象のマーカーが第１付加情報である場合は、画像処理装置１はステップＳ１３２で、そのマーカーが指定する時点（タイムコード）における前２秒（第１設定時間）から、後２秒（第２設定時間）までを編集範囲に設定する。
対象のマーカーが第２付加情報である場合は、画像処理装置１はステップＳ１３３で、そのマーカーが指定する時間範囲の始点となるタイムコードの前２秒（第３設定時間）から、終点となるタイムコードの後２秒（第４設定時間）までの範囲を編集範囲に設定する。
そして画像処理装置１はステップＳ１３４で、設定した編集範囲を範囲画像３５によりユーザに提示するように制御する。

図１１Ｂは、第１設定時間＝２．５秒、第２設定時間＝２秒、第３設定時間＝１．５秒、第４設定時間＝１．８秒とした例である。
画像処理装置１はステップＳ１３１で図１１Ａと同様に対象のマーカーの種別を判断する。
対象のマーカーが第１付加情報である場合は、画像処理装置１はステップＳ１３２Ａで、そのマーカーが指定する時点（タイムコード）における前２．５秒（第１設定時間）から、後２秒（第２設定時間）までを編集範囲に設定する。
対象のマーカーが第２付加情報である場合は、画像処理装置１はステップＳ１３３Ａで、そのマーカーが指定する時間範囲の始点となるタイムコードの前１．５秒（第３設定時間）から、終点となるタイムコードの後１．８秒（第４設定時間）までの範囲を編集範囲に設定する。
そして画像処理装置１はステップＳ１３４で、設定した編集範囲を範囲画像３５によりユーザに提示するように制御する。

図１２の例は、第１、第３設定時間をマーカー種別に応じて変更する例である。通常は第１設定時間＝第２設定時間＝第３設定時間＝第４設定時間＝２秒とするが、特定のマーカーについて、第１設定時間＝第３設定時間＝４秒に変更する例である。
画像処理装置１はステップＳ１３１で図１１Ａと同様に対象のマーカーの種別を判断する。
対象のマーカーが第１付加情報である場合は、画像処理装置１はステップＳ１３５で、そのマーカーが、操作起因のマーカーであるか否かを判断する。操作起因のマーカーとは、動画撮像中に行われたユーザの操作に応じて、その操作タイミングの箇所に対応づけられたマーカーである。具体的には例えばハイライトマーカーや静止画記録マーカーである。
操作起因のマーカーでなければ、画像処理装置１はステップＳ１３２Ｂに進み、そのマーカーが指定する時点（タイムコード）における前２秒（第１設定時間）から、後２秒（第２設定時間）までを編集範囲に設定する。
操作起因のマーカーであったら、画像処理装置１はステップＳ１３２Ｃに進み、そのマーカーが指定する時点（タイムコード）における前４秒（変更した第１設定時間）から、後２秒（第２設定時間）までを編集範囲に設定する。

対象のマーカーが第２付加情報である場合は、画像処理装置１はステップＳ１３６で、そのマーカーが、操作起因のマーカー（例えばズームマーカー）であるか否かを判断する。
操作起因のマーカーでなければ、画像処理装置１はステップＳ１３３Ｂに進み、そのマーカーが指定する時間範囲の始点となるタイムコードの前２秒（第３設定時間）から、終点となるタイムコードの後２秒（第４設定時間）までの範囲を編集範囲に設定する。
操作起因のマーカーであったら、画像処理装置１はステップＳ１３３Ｃに進み、そのマーカーが指定する時間範囲の始点となるタイムコードの前４秒（変更した第３設定時間）から、終点となるタイムコードの後２秒（第４設定時間）までの範囲を編集範囲に設定する。

そして画像処理装置１はステップＳ１３４で、設定した編集範囲を範囲画像３５によりユーザに表示するように制御する。
このように、操作起因のマーカーについては、時間的に過去の方向に、編集範囲に含める範囲を長くするようにしている。これはユーザの操作に応じた時点もしくは期間の場合、操作タイミングが、最適なシーンに対して遅れる傾向があることを考慮したものである。
例えばユーザが、重要と思ってハイライト操作や静止画記録操作を行った時点とは、被写体として重要なシーンが開始された後であることが多い。そこで、多少、通常より過去方向に長めに編集範囲に加えるようにすることで、重要なシーンを好適な範囲で切り出せるようにするものである。

なお、このような事情を考慮して設定時間を変更する場合は、単にマーカーの種別だけではなく、マーカーの記録属性も判別するとなおよい。例えばハイライトマーカー等は、撮像時ではなく、その後の再生時や編集時にユーザの操作に応じて付加することも可能である。再生時や編集時は、ユーザは、例えばハイライトシーンの始点を正確に確認してマーカー付加の操作を行うことができる。従って、過去方向に長めに編集範囲を設定すると、編集範囲の始点が前になりすぎることも生ずる。そこで、ステップＳ１３５やＳ１３６では、操作起因のマーカーであって、かつそのマーカーが撮像時に記録されたものであるか否かを判断し、その場合にステップＳ１３２Ｃ又はＳ１３３Ｃに進むようにするとよい。

図９に戻って、ユーザの編集データ保存操作を検知した場合、画像処理装置１はステップＳ１０６からＳ１４０に進んで、編集データ保存処理を行う。
編集データ保存操作とは例えば編集画面２０における編集データ保存ボタン５０の操作である。この操作に応じて画像処理装置１は、その時点の編集データ（編集範囲、マーカー選択状態、変速設定等の編集作業にかかるデータ）を、例えば記憶部１０に保存する処理を行う。
編集データを保存しておくことにより、ユーザは後の時点で保存した編集データを読み出して、現在の作業状態を回復することができる。

ユーザの編集動画作成操作を検知した場合、画像処理装置１はステップＳ１０７からＳ１５０に進んで、編集動画作成処理を行う。編集動画作成操作とは例えば編集画面２０における編集動画作成ボタン５１の操作である。
ステップＳ１５０の処理例を図１３に示す。
ステップＳ１５１で画像処理装置１は編集データを確定する。即ちその時点の編集データが、編集動画作成のための最終的な作業データであるとする。
ステップＳ１５２で画像処理装置１は編集データに基づいて、各編集範囲を順に切り出して繋げ、編集結果としての動画データを生成する。この場合、各編集範囲についての変速再生設定、リピート設定、エフェクト設定、文字入力等があれば、それらを反映させた動画データを生成する。
そしてステップＳ１５３で編集動画データを出力する。例えば記憶部１０に編集動画データを記憶させる。或いは通信部１１により外部機器に編集動画データを送信する。

図９に戻って、ユーザの再生関連操作を検知した場合、画像処理装置１はステップＳ１０８からＳ１６０に進んで、再生関連操作対応処理を行う。再生関連操作とは再生関連操作部２３や音量操作部２４の操作のことである。
このステップＳ１６０の処理例を図１４に示す。

画像処理装置１は、ステップＳ１６１〜Ｓ１６５でユーザの操作内容を確認する。ユーザが再生ボタンを操作した場合、画像処理装置１はステップＳ１６１からＳ１７０に進み、まず停止ボタンを表示させる制御を行う。例えば図４のような再生ボタンを、再生中は停止ボタンに変更して表示する。

次にステップＳ１７１で画像処理装置１は、現在、エディットポインタ３４により或るマーカー（マーカーに応じた編集範囲）が指定されているか否かを判断する。
マーカー指定中であれば、ステップＳ１７２に進み、画像処理装置１はその指定中のマーカーの編集範囲の動画再生を実行する。この場合、指定中の１つの編集範囲を１回再生させて再生を終了させてもよいし、その編集範囲をくり返し再生させてもよい。
また、当該編集範囲の再生が完了しても、その終点からの元の動画をそのまま継続して再生していってもよい。

特定のマーカーが指定されていなければ、ステップＳ１７３に進み、画像処理装置１は先頭のマーカーの編集範囲から、各編集範囲を順に繋げた動画再生を実行する。即ち編集範囲として切り出された部分を繋げた動画の再生を行う。従ってユーザは編集動画データのイメージを確認することができる。
最後の編集範囲の再生までが終了したら、再生を終了させてもよいし、再び先頭の編集範囲からの再生をくり返してもよい。

なお、ステップＳ１７２，Ｓ１７３において、再生中の編集範囲について、変速再生や画像エフェクト等が設定されていれば、それらを反映した再生を行っても良いし、逆に設定されていても、それらの設定を反映させない通常再生のみが行われるようにしてもよい。
またエディットポインタ３４が特にマーカーが存在しないタイムコードを指定していた場合、編集範囲に関係なく、その指定されたタイムコードから元の動画を再生して行くことも考えられる。

ユーザが停止ボタンを操作した場合、画像処理装置１はステップＳ１６２からＳ１８０に進み、再生ボタン表示制御を行う。即ち再生中に停止ボタンとしていた表示を図４のような再生ボタンの表示に切り替える。そしてステップＳ１８１で再生動作を停止させる。
なお、ここでは停止操作の検知の場合として示したが、ユーザの操作によらずに再生が終点位置まで進行した場合も、ステップＳ１８０，Ｓ１８１が行われればよい。

ユーザがジャンプ操作に係るボタン、即ち戻しボタンか進みボタンを操作した場合、画像処理装置１はステップＳ１６３からＳ１８２に進み、再生箇所のジャンプ処理を行う。つまり最初箇所を変更する処理を行う。
なお、再生中でなければ、操作を無効としてもよいし、或いはビデオエリア２２に表示する箇所（停止中の画像の位置）をジャンプさせてもよい。
ユーザが変速操作に係るボタン、即ち早戻しボタンか早送りボタンを操作した場合、画像処理装置１はステップＳ１６４からＳ１８３に進み、変速再生処理を行う。つまり現在の再生位置からの早送り又は早戻し再生を行う。
なお、再生中でなければ、操作を無効としてもよいし、或いはビデオエリア２２に表示する箇所（停止中の画像の位置）を進ませたり戻したりしてもよい。
ユーザが音量に係る操作を行った場合、画像処理装置１はステップＳ１６５からＳ１８４に進み、操作に応じた音量設定の変更、ミュート／ミュート解除等の処理を行う。

以上の再生関連操作に応じた処理により、ユーザは編集作業の過程の動画、ビデオエリア２２の動画表示で確認することができる。特に各編集範囲を連続して再生することで編集後の動画のイメージを確認することに好適である。

ユーザのマーカー表示設定操作を検知した場合、画像処理装置１は図１０のステップＳ１０９からＳ２００に進んで、選択マーカーの提示又は提示解除の処理を行う。
マーカー表示設定操作とは、編集画面２０のマーカー表示設定ボタン４１の操作である。
この操作に応じて画像処理装置１は図７で説明した表示設定ウインドウ６１を表示させる。そしてユーザの表示するマーカーの選択操作に応じて、表示させるマーカーを決定する処理を行う。そして表示するものとして決定したマーカーをマーカーバー３１に表示させる処理を行う。既に表示されていたが、ユーザがマーカー選択エリア６２でのチェックを外したマーカーについては提示解除とし、マーカーバー３１で表示させないようにする。

ユーザによるマーカーの追加／削除操作を検知した場合、画像処理装置１は図１０のステップＳ１１０からＳ２１０に進んで、指定位置でのマーカーの追加、又は指定されたマーカーの削除を行う。
マーカーの追加／削除操作に応じて画像処理装置１は図８で説明したウインドウ６０を表示させ、上述のように、これに対するユーザ操作に応じた追加又は削除設定を行うことになる。

ユーザの変速設定操作を検知した場合、画像処理装置１は図１０のステップＳ１１１からＳ２２０に進んで、指定された編集範囲についての変速再生設定を行う。
これは、例えば変速タブ４７により表示される画面上で、特定の編集範囲についてユーザ操作に応じて変速再生設定を行う処理である。ユーザは例えば指定した編集範囲について、通常の１倍速に対して２倍速、４倍速、１／２倍速、１／３倍速などを指定できる。画像処理装置１はこのような設定を作業中の編集データに反映させていく。

ユーザのくり返し設定操作を検知した場合、画像処理装置１はステップＳ１１２からＳ２３０に進んで、指定された編集範囲についてのリピート再生設定を行う。
これは、例えばくり返しタブ４８により表示される画面上で、特定の編集範囲についてユーザ操作に応じてリピート再生設定を行う処理である。ユーザは例えば指定した編集範囲について、１回、２回、３回等のリピート回数を指定できる。画像処理装置１はこのような設定を作業中の編集データに反映させていく。

ユーザの文字入力操作を検知した場合、画像処理装置１はステップＳ１１３からＳ２４０に進んで、指定された編集範囲についての文字設定を行う。
これは例えば文字タブ４９により表示される画面上で、特定の編集範囲についてユーザが文字入力を行うことに応じて、動画に重畳する文字の設定を行う処理である。ユーザは例えば指定した編集範囲のシーンに任意に文字を入力できる。画像処理装置１はこのような文字設定を作業中の編集データに反映させていく。

ユーザのマーカー指定編集操作を検知した場合、画像処理装置１はステップＳ１１４からＳ２５０に進んで、指定されたマーカーついての編集範囲の設定変更処理を行う。
例えばユーザは、或るマーカーについての編集範囲の始点又は終点をエディットポインタ３４で指定した上で、エディットポインタ３４を移動させる操作を行うことができる。これがマーカー指定編集操作となる。この場合画像処理装置１は、編集範囲の始点又は終点を、ユーザ操作によって移動されたタイムコード位置に変更する処理を行う。
従って、ユーザは任意の編集範囲を、任意に変更できることになる。

ユーザのマーカー種別指定編集操作を検知した場合、画像処理装置１はステップＳ１１５からＳ２６０に進んで、指定されたマーカー種別についての編集範囲や再生態様の設定処理を行う。
例えばユーザは、或るマーカー種別を指定した上で、そのマーカーについて編集範囲の始点や終点を変更したり、画像エフェクトを加えたり、リピートさせたりする編集設定を指示する操作を行うことができる。画像処理装置１はそのような操作に応じて、特定種別のマーカーについて、一括して指定された編集設定を加える処理を行い、それを作業中の編集データに反映させていく。
例えばユーザがテニスラケットのスイングを示すモーションパターンマーカーを指定した上で、２回のリピート再生を指示し、かつ２回目のリピート再生について１／２倍速再生を指定する。画像処理装置１はこのような設定を、同じモーションパターンマーカーの全てについての編集範囲に関する設定として、編集データに加える。これによって編集動画上では、スイングのシーンとなる度に、通常動画の直後にスロー動画が加えられたものとなる。
また、例えばユーザが笑顔検出マーカーを指定して、編集範囲の始点を過去方向に１秒変更する操作を行った場合、画像処理装置１は、全ての笑顔検出マーカーに係る編集範囲の始点を過去方向に１秒変更し、その変更後の状態を編集範囲バー３２に表示するとともに、作業中の編集データに反映させる。
これらは例示であるが、具体例はさらに多様に考えられる。

以上の操作以外の他の操作を検知した場合は、画像処理装置１はステップＳ１１６からＳ２７０に進み、操作に応じた処理を行う。
ステップＳ１１７で画像編集処理の終了と判断した場合は、画像処理装置１はステップＳ２８０で編集画面２０の表示を終了させる。

以上図９〜図１４の処理として画像処理装置１はユーザに動画データの編集環境を提供することができる。
この処理は一例であり、他の処理例も各種考えられる。
例えばステップＳ１０３の段階で、ユーザ操作を待たずに、表示するマーカーに対応して最初の編集範囲設定も行い、いきなり図４のような編集範囲バー３２上に範囲画像３５を表示する状態としてもよい。
編集画面２０における表示内容、操作子等はもちろん他にも考えられる。

＜５．プログラム及び記憶媒体＞
ここまで画像処理装置１及び画像処理装置において実行される画像処理方法の実施の形態を説明してきたが、上述した編集環境提供のための処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。

実施の形態のプログラムは、上述の実施の形態で示した処理を、例えばＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）等の演算処理装置に実行させるプログラムである。
即ち実施の形態のプログラムは、動画データの時間軸に対応して付加された付加情報を認識するステップ（Ｓ１０２）と、認識した付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、動画データの編集範囲を設定するステップ（Ｓ１３０）とを情報処理装置に実行させるプログラムである。
このようなプログラムにより、上述した自動静止画記憶の制御を行う画像処理装置を、図２のコンピュータ装置７０等の情報処理装置を用いて実現できる。

このようなプログラムはコンピュータ装置７０等の情報処理装置に内蔵されている記録媒体としてのＨＤＤや、ＣＰＵを有するマイクロコンピュータ内のＲＯＭ等に予め記録しておくことができる。
あるいはまた、フレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)、ＭＯ(Magnet optical)ディスク、ＤＶＤ(Digital Versatile Disc)、ブルーレイディスク（Blu-ray Disc（登録商標））、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、ＬＡＮ(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。

またこのようなプログラムによれば、実施の形態の画像処理装置の広範な提供に適している。例えばパーソナルコンピュータ、携帯型情報処理装置、携帯電話機、ゲーム機器、ビデオ機器等にプログラムをダウンロードすることで、当該パーソナルコンピュータ等を、本開示の画像処理装置とすることができる。

＜６．まとめ及び変形例＞
以上の実施の形態では、次のような効果が得られる。
実施の形態の画像処理装置１で実行する画像処理方法は、動画データの時間軸に対応して付加された付加情報（マーカー）を認識し、付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、動画データの編集範囲を設定している（図１１，図１２参照）。
このため特定時点を示す第１付加情報と、特定時間範囲を示す第２付加情報のそれぞれに応じて自動的に適切な編集範囲を設定できる。
特に、マーカーが第１付加情報である場合は、その第１付加情報が指定する特定時点に基づき編集範囲を設定し、第２付加情報である場合は、その第２付加情報が指定する特定の時間範囲の始点と終点に基づき編集範囲を設定する。
これにより第１、第２付加情報の特定内容に応じた編集範囲設定が可能となる。

より具体的には、第１付加情報のマーカーに応じて、その特定時点の第１設定時間前の時点から該特定時点の第２設定時間後までの範囲を編集範囲と設定し、第２付加情報のマーカーに応じて、その時間範囲の始点の第３設定時間前の時点から該時間範囲の終点の第４設定時間後までの範囲を編集範囲とする。
このような第１設定時間、第２設定時間、第３設定時間、第４設定時間の設定により、第１、第２付加情報のそれぞれに応じて、適切な時間範囲を自動的に編集範囲として設定できる。
特に、第１付加情報の場合、指定したタイムコードの前後である程度の期間を編集範囲とできる。これにより、マーカーで指定されるタイムコードを中心としたある程度の期間のシーンを編集範囲とできる。動画の場合、編集範囲はある程度の期間のシーンとすることが重要であるため、このような編集範囲の設定は非常に有用である。
また第１設定時間や第３設定時間により、マーカー指定時点より前の時点が編集範囲に含まれることも好適である。動画における前の時点からのつながりが編集範囲の動画のみで表現できるようになりやすいからである。
また第２設定時間や第４設定時間により、マーカー指定時点より後の時点が編集範囲に含まれることも好適である。動画中の重要なシーンの直後のつながりが編集範囲の動画のみで表現できるようになりやすいためである。
また、第１乃至第４設定時間としての時間設定により、第１，第２付加情報に応じた編集範囲長を的確にコントロールできる。従って、ユーザが第１乃至第４設定時間を選択できるようにすることも好適である。

また実施の形態では、設定した編集範囲を、動画データからの切り出し範囲としている。即ち、設定した編集範囲を、元の動画データを編集した編集動画データとして使用する。第１、第２付加情報に応じた編集範囲を切り出すことで、容易に適切な編集動画データを生成できる。即ち各編集範囲は各種のマーカーによって示されたタイムコードを含むシーンとなっており、ある程度重要なシーンであるためである。
その意味では、編集範囲は、ユーザが選択したマーカー種別について設定されるものであることが望ましい。例えばユーザが、笑顔のシーンを集めた編集動画を作成したと思った場合、笑顔検出マーカーをマーカーバー３１に表示させるように選択し（Ｓ２００）、それについて編集範囲設定（Ｓ１３０）を実行させ、設定された編集範囲に基づいて編集動画作成を実行させれば（Ｓ１５０）よいものとなるためである。

なお第１，第２付加情報に応じて設定された編集範囲は必ずしも編集動画データ用に切り出す範囲でなくても良い。編集範囲は、例えば特殊効果を付加する範囲、変速再生を行う範囲などとしてもよい。

実施の形態では、動画データについて設定した編集範囲を提示する表示を実行させる表示制御を行う（Ｓ１３４）。即ち編集範囲は、編集範囲バー３２における範囲画像３５として表示される。
これにより自動設定された編集範囲をユーザに認識させることができる。

実施の形態では、第１付加情報によって指定される動画データ上の特定時点を提示する表示制御を行う。即ち画像処理装置１はマーカーバー３１のマーカー画像３３の表示制御を行う。
これにより第１付加情報で指定される特定時点をユーザが認識できる。
また編集範囲の設定後において、ユーザが各編集範囲の内容や動画時間軸上の位置を確認しやすくし、その後の任意編集をしやすいものとできる。

実施の形態では、第２付加情報が指定する動画データ上の特定の時間範囲を、代表時点を示すことで提示する表示制御も行う。
即ち画像処理装置１はマーカーバー３１のマーカー画像３３の表示制御を行う。またこのとき第２付加情報としてのマーカーに対応しては図５Ｂ上段のように編集範囲全体ではなく、或る代表のタイムコードに合わせた表示としている。
これにより第２付加情報で指定される特定の時間範囲をユーザが認識できる。特に代表時点で示す、つまり時間範囲として示さないようにすることで、表示が煩雑にならないようにすることができる。
また編集範囲の設定後において、ユーザが各編集範囲の内容や動画時間軸上の位置を確認しやすくし、その後の任意編集をしやすいものとする。

実施の形態では、設定した編集範囲の情報に基づいて、動画再生表示を実行させる表示制御を行う（Ｓ１６０）。
即ち動画データについて１又は複数の編集範囲が設定された状態において、その編集範囲を切り出して再生表示させる。例えば複数の編集範囲を順番に切り出して連続して動画再生させる。
この動画再生により、編集範囲設定によって生成される編集動画の状態をユーザが実際に確認できる。ユーザは編集動画を確認し、必要に応じてさらなる編集等を行うことができる。

実施の形態では、設定した編集範囲について、操作に応じて設定変更する編集操作対応処理を行う（Ｓ２５０，Ｓ２１０）。
即ち動画データについて設定された編集範囲について、ユーザが操作により任意に設定変更できるようにする。例えば編集範囲の始点（ｉｎ点）、終点（ｏｕｔ点）の変更、或る編集範囲の削除、編集範囲の追加等をユーザ操作により可能とする。
これにより、付加情報に基づいて設定された編集範囲を、さらにユーザ意思（操作）に応じて変更していくことができる。

実施の形態では、設定した編集範囲の画像再生態様を操作に応じて変更する編集操作対応処理を行う（Ｓ２２０、Ｓ２３０、Ｓ２４０）。
動画データについて設定された編集範囲は、通常再生、例えば１倍速の通常表示の動画として編集動画に加えられる。この編集範囲の動画について、変速再生や画像エフェクト、リピート、文字重畳等の処理をユーザ操作で加えることができるようにしている。
つまり設定された編集範囲に基づいて生成される編集動画を、さらにユーザの意思による再生態様の編集を行うことができ、高度な編集も可能となる。

実施の形態では、第１付加情報又は第２付加情報となる付加情報としての複数種類のマーカー種別を指定することに応じて、指定した種別のマーカーに対応する編集範囲に、所定の画像再生態様を設定する編集操作対応処理（Ｓ２６０）を行う。
即ちマーカー種別を指定することで、その種別のマーカーに対応する編集範囲について共通に画像再生態様を設定することができる。例えば特定の付加情報に対応する編集範囲については、全てスロー再生とするなどの指定が可能である。
従ってマーカー種別毎に編集内容を指定できるため、編集操作を効率化、容易化でき、しかも特定のシーン内容に応じた画像効果等を設定できる。

実施の形態では、動画データの編集範囲を設定する際には、マーカーの種別に応じて、第１設定時間、第２設定時間、第３設定時間、第４設定時間のいずれかを可変設定する（図１２）。
これによりマーカー種別毎に適切な編集範囲を設定できる。例えばシーン内容毎の付加情報、ユーザ操作による付加情報、笑顔検出による付加情報などに会わせて、前後の時間長を変更することで、シーンに応じた編集範囲設定が行われるようにする。
特に、操作起因のマーカー、つまり動画撮像時のユーザ操作に応じて付加されるマーカーの場合に、第１設定時間又は第３設定時間のいずれかを、通常設定時間長より長い時間長に設定している。
ユーザ操作に応じて設定される付加情報は、通常、指定する時間位置が遅れる。そこでそのような付加情報の場合は、時間長を長めにする。これにより編集範囲の開始時点を前の時点にし、適切な動画内容の編集範囲とすることができる。

実施の形態では、設定された編集範囲の情報に基づいて、編集動画データを生成して出力する出力処理を行う（Ｓ１５０、図１３）。
動画データについて１又は複数の編集範囲が設定された状態において、或いはさらにその編集範囲が変更された状態において、例えば編集範囲を切り出してつなげて編集動画データを生成する。生成される編集動画データは、付加情報に基づいた編集範囲を基礎とする編集動画となり、ユーザにとって適切な編集動画内容を簡易な処理で提供できるものとなる。
また、この出力処理では、編集動画データを記憶媒体に記憶させたり、外部機器に送信する。これにより編集データの保存や転送がユーザにとって容易となる。

実施の形態の画像処理装置１は、民生機器や放送その他の業務用機器において広く適用できる。例えば動画撮像機能を備えたカメラ機器、携帯端末機器、携帯電話機、監視カメラ機器、定点カメラ機器、ドライブレコーダ等の車載用カメラ機器、走行環境判定のためのカメラ機器、医療機器、電子内視鏡等に内蔵したり、これらの機器とシステム化することも好適である。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

なお本技術は以下のような構成も採ることができる。
（１）動画データの時間軸に対応して付加された付加情報を認識し、
前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する
画像処理方法。
（２）前記付加情報が前記第１付加情報である場合は、その第１付加情報が指定する特定時点に基づき編集範囲を設定し、
前記付加情報が前記第２付加情報である場合は、その第２付加情報が指定する特定の時間範囲の始点と終点に基づき編集範囲を設定する、
上記（１）に記載の画像処理方法。
（３）前記第１付加情報に応じて、その特定時点の第１設定時間前の時点から該特定時点の第２設定時間後までの範囲を編集範囲と設定し、
前記第２付加情報に応じて、その時間範囲の始点の第３設定時間前の時点から該時間範囲の終点の第４設定時間後までの範囲を編集範囲とする
上記（１）又は（２）に記載の画像処理方法。
（４）設定した編集範囲を、動画データからの切り出し範囲とする
上記（１）乃至（３）のいずれかに記載の画像処理方法。
（５）前記動画データについて設定した編集範囲を提示する表示を実行させる表示制御を行う、
上記（１）乃至（４）のいずれかに記載の画像処理方法。
（６）前記第１付加情報によって指定される前記動画データ上の特定時点を提示する表示制御を行う
上記（１）乃至（５）のいずれかに記載の画像処理方法。
（７）前記第２付加情報が指定する前記動画データ上の特定の時間範囲を、代表時点を示すことで提示する表示制御を行う
上記（１）乃至（６）のいずれかに記載の画像処理方法。
（８）設定した編集範囲の情報に基づいて、動画再生表示を実行させる表示制御を行う
上記（１）乃至（７）のいずれかに記載の画像処理方法。
（９）設定した編集範囲について、操作に応じて設定変更する編集操作対応処理を行う
上記（１）乃至（８）のいずれかに記載の画像処理方法。
（１０）設定した編集範囲の画像再生態様を操作に応じて変更する編集操作対応処理を行う
上記（１）乃至（９）のいずれかに記載の画像処理方法。
（１１）前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別を指定することに応じて、指定した種別の付加情報に対応する編集範囲に、所定の画像再生態様を設定する編集操作対応処理を行う
上記（１）乃至（１０）のいずれかに記載の画像処理方法。
（１２）前記動画データの編集範囲を設定する際には、前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別に応じて、前記第１設定時間、前記第２設定時間、前記第３設定時間、前記第４設定時間のいずれかを可変設定する
上記（３）に記載の画像処理方法。
（１３）前記付加情報の種別として、動画撮像時のユーザ操作に応じて付加される付加情報の場合に、前記第１設定時間、又は前記第３設定時間のいずれかを、通常設定時間長より長い時間長に設定する
上記（１２）に記載の画像処理方法。
（１４）設定された編集範囲の情報に基づいて、編集動画データを生成して出力する出力処理を行う
上記（１）乃至（１３）のいずれかに記載の画像処理方法。
（１５）前記出力処理では、前記編集動画データを記憶媒体に記憶させる出力処理を行う
上記（１４）に記載の画像処理方法。
（１６）前記出力処理では、前記編集動画データを外部機器に送信する出力処理を行う
上記（１４）又は（１５）に記載の画像処理方法。
（１７）動画データの時間軸に対応して付加された付加情報を認識する認識部と、
前記認識部が認識した付加情報が、動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する編集処理部と、を備えた
画像処理装置。
（１８）動画データの時間軸に対応して付加された付加情報を認識するステップと、
認識した前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定するステップと、
を情報処理装置に実行させるプログラム。

１…画像処理装置、２…対象認識部、３…編集処理部、４…出力処理部、１０…記憶部、１１…通信部、１２…入力部、１３…表示部、１４…音声出力部

Claims (18)

1. 動画データの時間軸に対応して付加された付加情報を認識し、
   前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する
   画像処理方法。
2. 前記付加情報が前記第１付加情報である場合は、その第１付加情報が指定する特定時点に基づき編集範囲を設定し、
   前記付加情報が前記第２付加情報である場合は、その第２付加情報が指定する特定の時間範囲の始点と終点に基づき編集範囲を設定する、
   請求項１に記載の画像処理方法。
3. 前記第１付加情報に応じて、その特定時点の第１設定時間前の時点から該特定時点の第２設定時間後までの範囲を編集範囲と設定し、
   前記第２付加情報に応じて、その時間範囲の始点の第３設定時間前の時点から該時間範囲の終点の第４設定時間後までの範囲を編集範囲とする
   請求項２に記載の画像処理方法。
4. 設定した編集範囲を、動画データからの切り出し範囲とする
   請求項１に記載の画像処理方法。
5. 前記動画データについて設定した編集範囲を提示する表示を実行させる表示制御を行う、
   請求項１に記載の画像処理方法。
6. 前記第１付加情報によって指定される前記動画データ上の特定時点を提示する表示制御を行う
   請求項１に記載の画像処理方法。
7. 前記第２付加情報が指定する前記動画データ上の特定の時間範囲を、代表時点を示すことで提示する表示制御を行う
   請求項１に記載の画像処理方法。
8. 設定した編集範囲の情報に基づいて、動画再生表示を実行させる表示制御を行う
   請求項１に記載の画像処理方法。
9. 設定した編集範囲について、操作に応じて設定変更する編集操作対応処理を行う
   請求項１に記載の画像処理方法。
10. 設定した編集範囲の画像再生態様を操作に応じて変更する編集操作対応処理を行う
    請求項１に記載の画像処理方法。
11. 前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別を指定することに応じて、指定した種別の付加情報に対応する編集範囲に、所定の画像再生態様を設定する編集操作対応処理を行う
    請求項１に記載の画像処理方法。
12. 前記動画データの編集範囲を設定する際には、前記第１付加情報又は前記第２付加情報となる付加情報としての複数種類の付加情報の種別に応じて、前記第１設定時間、前記第２設定時間、前記第３設定時間、前記第４設定時間のいずれかを可変設定する
    請求項３に記載の画像処理方法。
13. 前記付加情報の種別として、動画撮像時のユーザ操作に応じて付加される付加情報の場合に、前記第１設定時間、又は前記第３設定時間のいずれかを、通常設定時間長より長い時間長に設定する
    請求項１２に記載の画像処理方法。
14. 設定された編集範囲の情報に基づいて、編集動画データを生成して出力する出力処理を行う
    請求項１に記載の画像処理方法。
15. 前記出力処理では、前記編集動画データを記憶媒体に記憶させる出力処理を行う
    請求項１４に記載の画像処理方法。
16. 前記出力処理では、前記編集動画データを外部機器に送信する出力処理を行う
    請求項１４に記載の画像処理方法。
17. 動画データの時間軸に対応して付加された付加情報を認識する認識部と、
    前記認識部が認識した付加情報が、動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定する編集処理部と、を備えた
    画像処理装置。
18. 動画データの時間軸に対応して付加された付加情報を認識するステップと、
    認識した前記付加情報が動画の時間軸における特定時点を指定する第１付加情報か、動画の時間軸における特定の時間範囲を指定する第２付加情報かに応じて、前記動画データの編集範囲を設定するステップと、
    を情報処理装置に実行させるプログラム。

Images