JP4218945B2 - Moving image processing method, moving image processing apparatus, computer-readable recording medium, and control program - Google Patents

Description

【００２３】
次に、ステップＳ４０３において、ユーザがカメラ操作部２２を介してカメラの設定を行ったかどうかを判定する。カメラの設定が行われたときは、ステップＳ４０４において、システム制御部２１はカメラの設定を変更する。このとき、変更したカメラの設定情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての設定情報の形式の一例として、以下の表２に、ＷＢに関する設定情報を示す。
【００２４】
【表２】

【００２５】
次に、ステップＳ４０５において、カメラが操作されたかどうかを判定する。カメラ操作がなされたか否かは、例えば、ズーム操作であれば、ユーザ操作部２２のワイド・キー２３、テレ・キー２４が操作されたかで判定できるし、パン・チルト操作であれば、Ｘ方向回転速度検出２５、Ｙ方向回転速度検出３１により検出が可能である。カメラが操作されていれば、ステップＳ４０６に進み、システム制御部２１は操作に合わせて、各種センサ情報をチェックしながら撮像装置を制御する。このとき、操作に関する情報をフレーム単位のカメラ付与情報としてＲＡＭ３０３に保持する。カメラ付与情報としての操作情報の形式の一例として、以下の表３に、Zoom及びPanに関する設定情報を示す。
【００２６】
【表３】

【００２７】
以上のステップＳ４０２、Ｓ４０４、Ｓ４０６において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報は、フレーム単位にビットフィールドで管理し、これを所定のフレーム数分保持する。次にステップＳ４０７において、ＲＡＭ３０３に保持されたフレーム単位のカメラ付与情報を、カメラ付与情報の項目ごとに参照し、区間単位にまとめられるものがあれば、まとめてＲＡＭ３０３に保持する。
【００２８】
以下の表４〜６に、区間単位のカメラ付与情報の項目の例を示す。区間単位にまとめるとは、例えばGainに関して区間単位にまとめるのであれば、Gainの値が０であるフレーム群に対応する区間を１つの区間、０より大きいフレーム群に対応する区間を１つの区間とする。また、被写体距離に関して区間単位にまとめるのであれば、被写体距離が一定の区間と変化している区間とで、それぞれ被写体距離一定区間（Constant Substance Distance）と被写体距離変化区間（Changing Substance Distance）とにわけて、まとめる。なお、被写体一定区間は、被写体距離を６つのSTEPで表現する。例えば、被写体距離が０から２０cmであれば、STEP1とする。このSTEPは、被写体サイズの大きさが十分に変化するかどうかを基準として、分けたものである。ここで被写体サイズとは、フレーム内に占める被写体の大きさの割合のことである。つまり、被写体サイズが最大のときは、アップの映像となる。
【００２９】
被写体距離変化区間は、被写体が１STEP以上変化した区間である。このとき、開始点と終了点の被写体距離を、被写体一定区間と同様の６つのSTEPで表現する。なお、変化区間の変化の方向は同一であるとする。つまり、被写体距離が大きくなり、連続して、次に小さくなるような場合は、大きくなっている間を一つの区間、小さくなっている間を一つの区間とする。
【００３０】
ＷＢであれば、同じWB modeであるフレーム群に対応する区間を一つの区間とする。また、Zoomであれば、Zoom操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。Panであれば、Pan操作の開始から終了までのフレーム群に対応する区間を一つの区間とする。なお、このとき、区間の開始点と終了点のフレーム位置を時間情報（当該ショットの撮影開始からの時間）として関連付けて記憶しておく。なお、区間の開始点と終了点はフレーム位置を特定できればよいので、時間情報の代わりにフレーム番号を用いてもよい。
【００３１】
【表４】

【００３２】
【表５】

【００３３】
【表６】

【００３４】
次に、ステップＳ４０８において、ユーザが、録画ボタン２９をＯＦＦするなどして、録画終了指示をしたかどうかを判定する。録画終了指示されていなければ、上述のステップＳ４０２からステップＳ４０７を繰り返し、録画を続ける。録画終了が指示された場合はステップＳ４０９へ進み、ＲＡＭ３０３に保持された区間単位のカメラ付与情報を格納する。すなわち、区間単位のカメラ付与情報は、全て、システム制御部２１からMPEG CODEC２６に送られ、映像データの後半部にフッタとして付与され、記録部２７へ送られる。この方法としては、例えば、区間単位のカメラ付与情報をプライベートストリームにして、ＴＳ（Transport Stream）パケットにしたものを末尾に追記すればよい。なお、本実施形態では、録画開始から終了までの１ショットを１ファイルとし、１つのショットに関するカメラ操作情報をそのファイルのフッタとして付与する。
【００３５】
上記区間単位のカメラ付与情報をフッタとして格納する際の形式の一例を図５に示す。図５は、記憶媒体２８の中に記録されている動画像ファイルに含まれるカメラ付与情報の格納形式を示したものである。この動画像ファイルには、動画像の情報とともに、その内容などの情報を簡潔に表現したカメラ付与情報が添付されている。すなわち、動画像ファイルはファイル内に動画像格納領域とカメラ付与情報格納領域とを保有しており、図５のカメラ付与情報の格納形式は、このカメラ付与情報格納領域の内部の構造を示したものである。カメラ付与情報の格納領域５０１は、固定長サイズのカメラ付与情報項目５０２をいくつか保有し、あまった領域を空き領域５０３とする構成を有する。
【００３６】
図６は、図５に示したカメラ付与情報項目５０２の内部構造を示した図である。図６においてカメラ付与情報項目６０１は、固定長の項目をいくつか保有している。カメラ付与情報項目６０１の内部は、大きく２つに分けられ、一つはカメラ付与情報の属性情報６０２であり、もう一つはカメラ付与情報６０５である。カメラ付与情報の属性情報６０２はさらに内部構造を持ち、カメラ付与情報の付与対象区間情報６０３、カメラ付与情報のタイプ番号６０４を含む。
【００３７】
カメラ付与情報のタイプ番号６０４は、カメラ付与情報を識別するための情報であり、撮影時のズーム情報であれば「１０」といった具合に、個々のカメラ付与情報に対して予め割り当てられた識別用の番号を格納するものである。このタイプ番号６０４を利用することで、動画処理装置は、動画像ファイル内の特定のカメラ付与情報を検索することが可能になる。また、カメラ付与情報の付与対象区間情報６０３は、このカメラ付与情報の対象とする動画像データの区間を時間情報で表現したものである。
【００３８】
次に、以上説明した撮像装置によって得られた動画像ファイルをブラウズする、本実施形態のブラウズ装置について説明する。
【００３９】
図７は、本実施形態におけるブラウズ装置の制御構成を示すブロック図である。図７において、７０１はＣＰＵであり、本実施形態のブラウズ装置における各種制御を実行する。７０２はＲＯＭであり、本装置の立ち上げ時に実行されるブートプログラムや各種データを格納する。７０３はＲＡＭであり、ＣＰＵ７０１が処理するための制御プログラムを格納するとともに、ＣＰＵ７０１が各種制御を実行する際の作業領域を提供する。７０４はキーボード、７０５はマウスであり、ユーザによる各種入力操作環境を提供する。
【００４０】
７０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性の半導体メモリ（例えばフラッシュメモリ）等の少なくとも何れかで構成される。７０７は表示器であり、ディスプレイなどで構成され、ＣＰＵ７０１の制御下で各種処理結果等をユーザに対して表示する。７０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。７１１はバスであり、上記構成を接続する。
【００４１】
図８は、本実施形態のブラウズ装置の機能構成を示すブロック図である。８０１は記憶媒体であり、図２の記憶媒体２８に対応する。８０２は読取部であり、記憶媒体８０１上の動画像及びカメラ付与情報を読み取る。８０３はサブショット分割部であり、動画像データのフッタ部に付加されている上述のカメラ付与情報を基に動画像を意味のある区間（サブショット）に分割する。８０８はサブショット階層化部であり、サブショット分割部８０３で決定された区間を階層化するものである。８０７は、サムネイル作成部であり、サブショット階層化部８０８で階層化された区間に対して、サムネイルを作成するものである。８０６は記録部であり、記録媒体８０１上に、サブショット分割８０３、サブショット階層化部８０８で決定された分割点及び階層、そして、サムネイル作成部８０７によって作成されたサムネイルを記録する。８０４はユーザ操作部であり、キーボード７０４・マウス７０５を含んで構成され、動画再生指示などを与えるものである。８０５は閲覧・再生部であり、ユーザ操作部８０４を介したユーザの指示に基いて、表示器７０７上での動画ファイルの閲覧、再生などを可能とするものである。
【００４２】
ここで、サブショット分割について更に説明する。図１５は、サブショット分割の概要を説明する図である。１５０１から１５０３は同じ動画像ファイル（同じショット）中の動画像データを表しており、それぞれ観点に基づいて、意味のある区間（サブショットと呼ぶ）に分割されている。なお、「分割」するという表現は、サブショット単位の分割点を決定することを意味するものであり、実際に動画像ファイルを切り離すことを意味するものではない。
【００４３】
図１５において、１５０１は撮影した際の環境の観点で動画像を分割したものであり、ここでは、屋内の蛍光灯下で撮影された区間（ａ１）、屋外の太陽光下で撮影された区間（ａ２）の２つのサブショットに分割された例を示している。１５０２は、ｂ）撮影した被写体の観点で分割しており、ここでは、被写体Ａを撮影した区間（ｂ１，ｂ３）、被写体Ｂを撮影した区間（ｂ２，ｂ４）、被写体Ｃを撮影した区間（ｂ５）の５つのサブショットに分割された例を示している。１５０３は、撮影した時の画角の観点で分割しており、ここでは、アップで撮影した区間（ｃ１，ｃ３，ｃ５）、全体を撮影した区間（ｃ２，ｃ４，ｃ６）の６つのサブショットに分割した例を挙げている。
【００４４】
図１８は、サブショットの階層化の概要を説明する図である。図１８の１８０１から１８０３は図１５の１５０１から１５０３と同じ動画像ファイルである。すなわち図１８では、図１５のサブショット分割の各観点に基いて階層化した結果が示されている。１８０１は第１階層であり撮影環境の観点の分割である。１８０２は第２階層であり被写体の観点の分割である。なお、階層の上位下位の決定については後述する。第１階層１８０１の蛍光灯下で撮影された区間（A-1）に対する下の階層として、蛍光灯下で、被写体Ａを撮影した区間（A-1-1）、被写体Ｂを撮影した区間（A-1-2）、再び被写体Ａを撮影した区間（A-1-3）が存在する。同様にA-2に対する下の階層としてA-2-1、A-2-2、A-2-3が存在する。１８０３は第３階層であり、被写体サイズの観点の分割である。第２階層で、蛍光灯下で被写体Ｂを撮影した区間（A-1-2）に対する下の階層として、被写体Ｂを、アップで撮影した区間（A-1-2-1）と全体で撮影した区間（A-1-2-2）が存在する。同様にA-1-3に対する下の階層としてA-1-3-1、A-1-3-2、そして、A-2-1に対する下の階層としてA-2-1、A-2-1-2、そして、A-2-2に対する下の階層としてA-2-2-1、A-2-2-2、そして、A-2-3に対する下の階層としてA-2-3-1、A-2-3-2が存在する。
【００４５】
図９は、本実施形態のブラウズ装置によるユーザインターフェースの例を示す図である。９０１は、サムネイル及び動画再生用の表示領域である。表示領域９０１は、閲覧時はショットまたはサブショットのサムネイルを表示し、動画再生時は再生された動画像を表示する。９０２はポインタであり、ショットまたはサブショットを選択し、再生指示を行うときに使用される。９０３はスクロールバーであり、表示領域９０１にサムネイルを表示する際、表示すべきサムネイルの枚数が表示の限界（図９では９枚）を超えた場合に、これを操作することで一度に表示できないサムネイルを順に表示させることができる。９０４と９０５はサブショット表示ボタンである。「次へ」ボタン９０４がＯＮされた場合は、現在選択されているショット、又は、サブショットの、一つ下の階層のサブショット一覧を表示領域９０１に表示する。「戻る」ボタン９０５がＯＮされた場合は、「次へ」ボタンとは反対に、一つ上の階層のサブショット（或いはショット）の一覧を表示領域９０１に表示する。９０７は状態表示欄であり、サブショット表示の際、現在の階層と、当該階層のサブショット分割の観点を表示するものである。９０６は終了ボタンであり、本装置に処理の終了を指示するものである。
【００４６】
図１６は、表示領域９０１におけるそれぞれの操作に応じた表示状態を示すものである。（ａ）のショット閲覧時は、各ショットに対応するサムネイルの一覧を表示する。ポインタ９０２で所望のショットを選択し（図では太枠で表現され、ショットＢが選択されていることを示している）、「次へ」ボタン９０４をＯＮすると、選択されたショット（図ではショットＢ）のサブショットを表示する（ｂ−１）。すなわち、選択されたショットの第１階層のサブショットのサムネイルの一覧が表示される。同様にポインタ９０２で所望のサブショットを選択し（図ではB-2）、「次へ」ボタン９０４をＯＮすることによって、選択されたサブショットの下の階層のサブショットを表示させていくことが出来る（（b-2）は第２階層を、（b-3）は第３階層を示す）。
【００４７】
また、「戻る」ボタン９０５をＯＮすれば、逆に、一つ上の階層のサブショットまたはショットの表示をさせることができる（（b-3）から（b-2）→（b-1）→（ａ）など）。更に、サブショットをポインタ９０２で選択し（（b-3）ではB-2-2-2が選択されている）、この状態でダブルクリックすると、選択したサブショットの先頭より動画像が再生され、表示領域９０１に表示される（ｃ）。なお、（ａ）におけるショット閲覧時より所望のショットを選択し、ダブルクリックして、当該ショットの先頭から動画を再生させてみることも可能であることはいうまでもない。
【００４８】
このようにユーザは動画像の所望の区間を、上の階層のサブショットから順に表示させ、探していくことができる。図１８の例であれば、「蛍光灯下で」（第１階層）、「被写体Ｂを」（第２階層）、「アップで」（第３階層）したところ、というように、観点毎に順に絞り込んでいくことができる。
【００４９】
以上のような本実施形態のブラウズ装置の動作について図１０を参照してより詳細に説明する。図１０は、本実施形態によるブラウズ装置の動作例を示したフローチャートである。
【００５０】
本装置の処理は大きく、ステップＳ１００１からステップＳ１００５までのサブショット分割・階層化処理と、ステップＳ１００６からステップＳ１０１１までのブラウジング処理とに分けられる。
【００５１】
まず、サブショット分割処理から述べる。ステップＳ１００１において、読取部８０２は記憶媒体８０１より全ての動画像ファイルを読み出し、それぞれに含まれる動画像データと複数のカメラ付与情報（以下、カメラ付与情報リストと記す）を得る。次に、ステップＳ１００２において、サブショット分割部８０３は、読み出されたカメラ付与情報リストをもとに、観点別にサブショット分割を行い、各観点毎に分割点を決定する（処理の詳細は後述する）。次に、ステップＳＳ１００３においてサブショット階層化部８０８は、図１８で説明したようなサブショットの階層化を行う。次に、ステップＳ１００４において、サムネイル作成部８０７は、当該ブラウズ装置でサブショットを一覧するために表示するサムネイル画像を作成する。サムネイル画像はサブショットの区間の先頭フレームを動画像から取得し、縮小することによって得ることが出来る。ただし、もちろん、一覧表示の形態、及びサムネイルの生成は上記に限られるものではなく、サブショットの内容をおおよそ把握できればどのような形態であっても構わない。
【００５２】
次に、ステップＳ１００５において、記録部８０６は、階層化されたサブショット分割の結果を記憶媒体８０１に記録する。なお、記憶媒体８０１への記録は必須のものではなく、例えばＲＡＭ等を介して、閲覧・再生部８０５が分割結果を参照できるようにしてもよい。しかしながら、サブショット情報を一旦記憶媒体８０１に記録しておくことにより、他の機器においても階層化されたサブショット分割の結果を利用することができるようになる。
【００５３】
ここでサブショット情報を格納する際の形式の例を説明する。図１３は、記憶媒体８０１の中に記録されている動画像ファイルのサブショット情報の格納形式を示したものである。図１３に示すように、図５において説明したカメラ付与情報格納領域の後にサブショット情報格納領域を追加し保有する。図１３に示されるサブショット情報の格納形式はこのサブショット格納領域の内部の構造を示したものである。
【００５４】
サブショット格納領域１３０１は、さらに内部で２つの領域に別れており、一つはサブショット・インデックスの格納領域１３０２であり、もう一つはサムネイル画像の格納領域１３０５である。サブショット・インデックスの格納領域１３０２は、固定長サイズのサブショット・インデックス１３０３をいくつか保有し、あまった領域を空き領域１３０４とする構成を有する。また、サムネイル画像の格納領域１３０５は、サムネイル画像１３０６をいくつか保有し、余った領域を空き領域１３０７とする構成を有する。
【００５５】
図１４は、図１３中のサブショット・インデックス１３０３の内部構造を示した図である。サブショット・インデックス１４０１は、固定長の項目をいくつか保有している。サブショットＩＤ１４０５は、個々のサブショットを識別するためのＩＤでる。サブショットの区間情報１４０２は、サブショットの区間を時間情報で表現したものであり、ショット内の１つのサブショットを指示するためのものである。なお、サブショット区間は、カメラ付与情報と同様にフレーム番号で表してもよい。観点のタイプ番号１４０３は、サブショット分割時の観点（後述する）を識別するための番号である。階層１４０６は、当該サブショットが何階層目であるかを示すものである。Parent ID１４０７は、親となるサブショットのサブショットＩＤを記述するものである。もし、最も上位の階層のサブショットであれば、特別なＩＤ（０など）を付与しておく。サムネイル画像の格納位置情報１４０４は、サブショットに対応する、サムネイル画像の格納領域中のサムネイル画像の格納位置を、例えば本領域の先頭からのオフセットで表すものである。
【００５６】
次に、図１１Ａ〜Ｄを用いてステップＳ１００２のサブショット分割処理の詳細な手順を説明する。
【００５７】
まず、「撮影環境」の観点に関するサブショット分割を行う。ステップＳ１１０１において、撮影環境の観点に関するカメラ付与情報項目が存在するかをチェックする。撮影環境に関連する具体的な項目としては、フォーカス、IRIS、Gain、ＷＢ、AE Modeなど様々なものがあるが、本実施形態では説明のために、WBとGainを用いる。WBは、撮影の環境に応じて設定が変更される。例えば、太陽光の下では、ユーザによりプリセットの太陽光に設定され、蛍光灯の下では、ユーザによって、プリセットの蛍光灯に設定される。そこで、WB Modeが違う場合は撮影環境も変化したと推定できる。また、Gainは、非常に暗い環境での撮影時にプラスになり、撮像装置が画像の明るさを補正する手段として用いられる。よって、Gainがプラスであるかどうかで撮影環境が変化していると推定できる。
【００５８】
さて、ＷＢとGainのどちらもカメラ付与情報項目リストの中に存在しなければ、「撮影環境」を観点とするサブショット分割はできないので、ステップＳ１１０２からＳ１１０４までをスキップし、次のステップＳ１１０５へ進む。ＷＢまたはGainのどちらか一つが存在するならば、ステップＳ１１０２へ進み、ＷＢまたはGainの付与対象区間をそのままサブショット区間とし、サブショットの区間情報１４０２へそのままコピーする。ＷＢとGainの両方が存在するならば、ステップＳ１１０３へ進み、ＷＢとGainの付与対象区間のＯＲをとり、その結果をサブショット区間としてサブショットの区間情報１４０２へそのままコピーする。次に、ステップＳ１１０４において、ステップＳ１１０２またはステップＳ１１０３で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として「撮影環境」を表す１を付与し、観点タイプ番号１４０３として記録する。
【００５９】
このように、「撮影環境」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、それぞれの区間のＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となる。
【００６０】
次に、「被写体」の観点に関するサブショット分割を行う。ステップＳ１１０５において、被写体の観点に関するカメラ付与情報項目が存在するかをチェックする。被写体に関連する具体的な項目としては、Pan、Tilt、被写体距離（Subject Distance）など様々なものがあるが、本実施形態では説明のために、Panと被写体距離を用いる。被写体Ａから被写体Ｂへと撮影中に視点を移動させるには、ユーザは撮像装置を水平方向に振り動かすPan操作を行う必要がある。よって、Pan操作が行われる前と後では被写体が変化していると推定できる。また、被写体Ａを撮影している時に、被写体Ａと撮像装置１０１０の間に被写体Ｂが現れると、急激に被写体距離が変化する。よって、このように急激に被写体距離が変化していると被写体が変化していると推定できる。
【００６１】
さて、Panと被写体距離のどちらもカメラ付与情報項目の中に存在しなければ、被写体の観点に関するサブショット分割（ステップＳ１１０６からＳ１１２５まで）をスキップし、次のステップＳ１１２６へ進む。
【００６２】
Panのみが存在する場合は、ステップＳ１１０６へ進み、Panの付与対象区間を全てサブショット区間対象リストへコピーする。サブショット区間対象リストは、テンポラリとして使用するもので、カメラ付与情報格納領域５０１と同じ形式である。次に、ステップＳ１１０７へ進み、サブショット区間対象リストに、Pan操作中以外の区間を無操作区間として挿入する。このとき、カメラ付与情報のタイプ番号６０４（図６）には、無操作を表すために、特殊な番号、例えば０などを記録する。次に、ステップＳ１１０８０へ進み、サブショット区間対象リスト中の無操作区間の開始位置からパンの終了までをサブショット区間とし、サブショットの区間情報１４０２０へコピーしていく。ただし、例外として、ショットの終端が無操作区間である場合は、これをそのままサブショット区間とする（図示せず）。本実施形態では無操作区間の開始位置からパンの終了までをサブショット区間とするが、これは、パン中は、被写体が変化している区間であるので一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６３】
一方、ステップＳ１１０５において被写体距離のみが存在すると判定された場合は、ステップＳ１１０９へ進み、被写体距離の付与対象区間を全てサブショット区間対象リストへコピーする。次に、ステップＳ１１１０へ進み、サブショット区間対象リストより先頭から順にひとつの区間を取り出し、被写体距離変化区間（Changing Subject Distance）であるか被写体距離一定区間（Constant Subject Distance）であるかを判定する（表４）。被写体距離一定区間であれば、ステップＳ１１１１とＳ１１１２の処理をスキップし、ステップＳ１１１３へ進む。
【００６４】
ステップＳ１１１０において、被写体距離変化区間であれば、ステップＳ１１１１に進み、被写体距離の変化量（Start Substance Distance StepとEnd Substance Distance Stepの差の絶対値）が、所定値Ａ未満であるかを判定する。所定値Aは特に限定されるものではないが、本実施形態では２であるとする。つまり、ステップＳ１１１１の条件を満たさない場合は、急激な被写体距離の変化があったときである。このときは、ステップＳ１１１２をスキップし、ステップＳ１１１３へ進む。一方、ステップＳ１１１１の条件を満たす時は、急激な被写体の変化がなかったときであるので、この場合はステップＳ１１１２へ進み、サブショット区間対象リスト中の一つ前の区間とマージする。被写体距離の変化が緩やかな場合は、被写体が変化したものではなく、同一の被写体との間の距離が変化したものと推定でき、このような区間はサブショット分割区間の対象にはならないためである。
【００６５】
ステップＳ１１１３は終了判定であり、サブショット区間対象リストの全ての区間について上述のステップＳ１１１０〜Ｓ１１１２の処理を行ったかを判定する。未処理の区間があればステップＳ１１１０へ戻り、上述の処理を繰り返す。全ての区間について処理が行われていれば、ステップＳ１１１４へ進み、サブショット区間対象リストの中の被写体距離一定区間の開始位置から被写体距離変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、例外として、ショットの終端が被写体距離一定区間である場合は、これをそのままサブショット区間とする（図示せず）。これは、被写体距離が急激に変化しているときは、被写体が変化している区間であるので、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。
【００６６】
また、ステップＳ１１０５において、Panと被写体距離の両方が存在すると判定された場合は、ステップＳ１１１５へ進む。ステップＳ１１１５からステップＳ１１１７は、ステップＳ１１０６からステップＳ１１０８と、そして、ステップＳ１１１９からステップＳ１１２３は、ステップＳ１１０９からステップＳ１１１４と同じであるので、説明は省略する。ただし、ステップＳ１１１８とステップＳ１１２３において、サブショットの区間情報１４０２へ直接コピーせずに、サブショット区間対象リスト同様にテンポラリである、カメラ付与情報格納領域５０１と同じ形式の、サブショット区間候補リスト１とサブショット区間リスト２に一時的にコピーしておく。そして、次のステップＳ１１２４０において、サブショット区間候補リスト１とサブショット区間候補リスト２のＯＲをとりながら、サブショットの区間情報１４０２へコピーする。
【００６７】
次に、ステップＳ１１２５において、ステップＳ１１０８、Ｓ１１１４、Ｓ１１２４のいずれかによって決定されたサブショット区間に対して、観点のタイプ番号として「被写体」を表す２を付与する。
【００６８】
このように、「被写体」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目が、その変化量などが特定の条件をみたす区間を抽出し、それらのＯＲを取ることによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、観点に関係のある項目であっても、影響の小さい区間を取り除くことが可能となる。
【００６９】
次に、「被写体サイズ」の観点に関するサブショット分割を行う。ステップＳ１１２６において、被写体サイズの観点に関するカメラ付与情報項目が存在するかをチェックする。被写体サイズに関連する具体的な項目としては、Zoom、Digital Zoom、被写体距離など様々なものがあるが、本実施形態では説明のために、Zoomと被写体距離を用いる。被写体サイズを調整し、例えば、被写体Ａの全体を写した後に、被写体Ａの顔をアップで撮影するためには、ユーザは被写体距離を一定に保ち、Zoomをテレ側に操作するか、または、Zoomを操作せず、被写体Ａに近づいて、被写体距離を小さくする必要がある。また、例えば、被写体Ａがユーザ（撮影者）から遠ざかっているときに被写体Ａを同じサイズで撮影するためには、ユーザはZoomをテレ側に操作する必要がある。よって、Zoomと被写体距離の付帯情報を組み合わせることによって、被写体サイズが変更されているかどうか推定できる。
【００７０】
カメラ付与情報項目の中でZoomと被写体距離のどちらか一方でもかけていれば被写体サイズの観点に関するサブショット分割は行えないので、ステップＳ１１２７からＳ１１３９までをスキップする。
【００７１】
ステップＳ１１２６において、Zoomと被写体距離の両方の付帯情報が存在するならば、ステップＳ１１２７へ進み、被写体距離を先頭から順にひとつの区間を取り出し、被写体距離変化区間であるか被写体距離一定区間であるかを判定する。被写体距離一定区間であれば、ステップＳ１１２８からステップＳ１１３１の処理を行う。一方、被写体距離変化区間であれば、ステップＳ１１３２からステップＳ１１３５の処理を行う。ステップＳ１１３６は終了判定であり、被写体距離の全区間について、上記の一連の処理を行ったかを判定するものである。
【００７２】
被写体距離一定区間の場合について説明する。まず、ステップＳ１１２８において、現在の区間内にZoomが存在するかを判定する。Zoomが存在しなければ、ステップＳ１１３１に進み、注目している区間を被写体サイズ一定区間としてサブショット対象区間リストへコピーする。存在すればステップＳ１１２９へ進む。ステップＳ１１２９において、Zoomの操作量（Start MagnificationとEnd Magnificationの差の絶対値）が所定値Ｂ以上であるかを判定する。このような判定を行う理由は、操作量が小さい場合は、微調整しただけであると判断出来るからである。所定値Ｂとしては、１.５倍程度が望ましいが、特に限定されるものではない。Zoomの操作量がこの所定値Ｂ未満のときはサブショット分割区間の対象にはならないので、次のステップＳ１１３０をスキップする。
【００７３】
一方、Zoomの操作量が所定値Ｂ以上の場合は、ステップＳ１１３０へ進む。このときは、被写体サイズを変更するのに十分な量であり、なおかつ、被写体距離は一定であるので、Zoom区間は被写体サイズを変更している区間である。そこで、現在の被写体距離区間とZoom区間のＯＲを取り、サブショット対象区間リストへコピーする。例えば、現在の被写体距離区間中に一つのZoom区間があれば、被写体距離区間の先頭からZoom区間の先頭まで、Zoom区間の先頭から終了まで、Zoom区間の終了から被写体距離区間の終了まで、の３つの区間になり、タイプは順に被写体サイズ一定区間、被写体サイズ変化区間、被写体サイズ一定区間となる。
【００７４】
次に、ステップＳ１１２７で被写体距離が変化していると判定された場合（被写体距離変化区間の場合）について説明する。まず、ステップＳ１１３２において、現在の区間内にZoomが存在するかを判定する。Zoomが存在しない場合は、次のステップ１１３５に進む。Zoomが操作されていないので、被写体距離が変化していれば被写体サイズが変化していると推定できる。このときは、ステップＳ１１３５に進み、現在の区間をサブショット対象区間リストへ変化区間としてコピーする。
【００７５】
一方、ステップＳ１１３２において、現在の区間内にZoomが存在する場合は、ステップＳ１１３３に進む。このときは、Zoomと被写体距離が同時に変化しているので、２つの量を組み合わせなければ評価できない。評価方法には、様々なものが考えられるが、例えば、以下の式で評価することによって、被写体サイズが変化しているかどうかを推定できる。
総合変化量＝（（Start Substance Distance Step−End Substance Distance Step）−Ｈ×（Start Magnification - End Magnification））の絶対値
ここで、Ｈは係数であり、ズームレンズなどの特性等で決まるものである。本実施形態ではＨ＝１であるとする。
【００７６】
例えば、被写体に近づき（表４のSTEP2からSTEP1へ）、Zoomをワイド側へ操作した（３倍から２倍へ）場合、上記の式より（２−１）−（３−２）の絶対値になるので、総合変化量は０となる。これは、被写体サイズが変化しないことを示す。一方、例えば、被写体に近づき（STEP2からSTEP1へ）、Zoomをテレ側へ操作した（３倍から４倍へ）とき、上記の式より、（２−１）−（３−４）の絶対値なので、総合変化量は２となる。これは被写体サイズが変化することを示す。よって、総合変化量が大きければ、被写体サイズが変化していると推定できる。
【００７７】
従って、ステップＳ１１３３では、上記総合変化量が所定値Ｃ以上であれば、被写体サイズが変化していると判断する。なお、所定値Ｃは、特に限定されるものではないが、ここでは１であるとする。総合変化量が所定値Ｃ以上であればステップＳ１１３５（前述）へ進む。また、総合変化量が所定値Ｃ未満であれば、結局被写体サイズは変化していないと推定できるので、ステップＳ１１３４へ進み、現在の被写体距離の区間を一定区間としてサブショット対象区間リストへコピーする。
【００７８】
ステップＳ１１３６の終了判定により、全ての区間について上記処理を終了していると判定されれば、ステップＳ１１３７へ進む。ステップＳ１１３７では、サブショット対象区間リスト中で一定区間が連続していれば、それらをマージする。連続した区間の間では、結局、被写体サイズの変化がないためである。次に、ステップＳ１１３８へ進み、サブショット区間対象リストの中の一定区間の開始位置から変化区間の終了までをサブショット区間とし、サブショットの区間情報１４０２へコピーしていく。ただし、ショットの終端が一定区間である場合は、例外として、これをそのままサブショット区間とする（図示せず）。これは、被写体サイズが変化している区間は、一つ前の区間の一部とみなし、一つのサブショット区間とするためである。次に、ステップＳ１１３９において、ステップＳ１１３８で決定されたサブショット区間に対してそれぞれ観点のタイプ番号として、「被写体サイズ」を表す３を付与する。
【００７９】
このように、「被写体サイズ」の観点の例では、カメラ付与情報の中から、観点に合致する複数の種類の項目だけを選択し、かつ、それぞれの項目を組み合わせ、その区間だけでなく変化量なども考慮することで、特定の条件をみたす区間のみを抽出することによって、サブショット区間を決定している。よって、観点に関係のない項目の区間を取り除くことが可能となると共に、複数の項目の単純なＯＲでは抽出できない、観点に応じた区間を取り出すことが可能となる。
【００８０】
以上、述べたステップＳ１００２の処理によって、複数種類のカメラ付与情報から、観点毎に応じたサブショット区間を取り出すことが可能となる。
【００８１】
次に、ステップＳ１００３におけるサブショットの階層化処理の詳細な手順を図１７を参照して説明する。
【００８２】
まず、ステップＳ１７０１において、ステップＳ１００２において決定されたサブショット区間の数を観点ごとに求め、階層化順序リストに結果を格納する。階層化順序リストについて図１９を参照して説明する。図１９は階層化順序リストの例である。階層化順位リストは、観点タイプと分割数から構成されている。先頭の観点タイプから順に階層化を行う。初期値では、観点タイプは１，２，３の順になっている（図１９の（ａ））。これは、ユーザが所望の区間を探す際に、撮影環境（観点タイプ１）、被写体（観点タイプ２）、被写体サイズ（観点タイプ３）と絞り込んでいくのが最も一般的であるので、この順に階層化するのが、通常は望ましいからである。また、ステップＳ１７０１では、図１９の（ａ）に示した例のように各観点の分割数が格納されたものとして説明を続ける。
【００８３】
ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートする。図１９の（ａ）の状態であれば、ステップＳ１７０２の処理によって図１９の（ｂ）のように順番が入れ代わる。このように順番を入れ替える理由は次のとおりである。撮影された動画像によっては、被写体は変わらず、撮影環境だけが頻繁に変わっているものや、被写体サイズの変化はほとんどなく、被写体だけが頻繁に変化して多数の被写体が含まれるもの等が存在する。そのような場合、より少ない分割数の観点を上の階層とすることで、上の階層のサブショットがより多くの下の階層のサブショットを含むことが出来る。これにより、ユーザが所望の区間を探す際に、まず上の階層で大きく絞り込むことが出来るようになり、素早く所望の区間にたどり着けるようになるからである。ただし、分割数が同数のものがある場合は、初期値の状態が通常は望ましい順序であるので、初期値の順序が優先される。
【００８４】
次に、ステップＳ１７０３においてＮへ初期値として１を設定する。次に、ステップＳ１７０４において、階層化順序リストのＮ番目の分割数が０であるかどうかをチェックする。０であれば、Ｎ番目の観点では分割されてないので、ステップＳ１７０５へ進みＮをインクリメントして、再びステップＳ１７０４へ進む。０でなければ、次のステップＳ１７０６へ進み、Ｎ番目の観点タイプの先頭のサブショットのサブショット・インデックスから順にサブショットＩＤ１４０１を付与し、夫々の階層１４０３にはＮ番目の階層であることを表すＮをそのまま付与する。次にステップＳ１７０７に進み、Ｎが３より小さいかどうかを判定する。これは終了判定であり、本実施形態では、３階層目までしか存在しない例を説明しているので、Ｎ＝３となった時点で階層化の処理が終了する。
【００８５】
次に、ステップＳ１７０８において、Ｎ＋１番目の観点タイプをもつサブショット・インデックス格納領域１３０１中のサブショット・インデックスリストをサブショットリスト１へコピーする。サブショットリスト１はテンポラリとして使用されるものであり、サブショット・インデックス格納領域１３０１と同じ構成要素からなる。
【００８６】
次に、ステップＳ１７０９において、Ｘに初期値として１を、Ｙに初期値として１を設定する。次に、ステップＳ１７１０に進み、ＸがＮ番目の階層の分割数（サブショット数）以下であるかをチェックする。即ち、次のステップＳ１７１１からステップＳ１７１６までの処理をＮ番目の観点の全てのサブショットに対して行ったかどうかの終了判定である。ＸがＮ番目の分割数以下である間は、以下のステップＳ１７１１〜Ｓ１７１６の処理を実行する。
【００８７】
ステップＳ１７１１において、Ｎ番目の観点タイプのＸ番目のサブショットとサブショットリスト１のＹ番目のサブショットの区間を比較する。まず、Ｘ番目のサブショット区間がＹ番目のサブショット区間を含む場合はステップＳ１７１３へ進む。これは、図２０の（ａ）の場合に相当する。なお、図２０の（ａ）において、２００１はＸ番目のサブショット区間を、２００２はＹ番目のサブショット区間を示す。ステップＳ１７１３では、Ｙ番目のサブショットをそのままＸ番目のサブショットの下の階層のサブショットとするため、Ｙ番目のサブショットのParentID１４０３にＸ番目のサブショットのサブショットＩＤ１４０１を付与する。そして、ステップＳ１７１４へ進み、Ｙをインクリメントした後、ステップＳ１７１１へ戻る。
【００８８】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間の開始点または終了点のいずれかがＸ番目のサブショット区間の外になった場合はステップＳ１７１２へ進む。これは、図２０の（ｂ）の場合に相当する。なお、図２０の（ｂ）において、２００３がＸ番目のサブショット区間を、２００４がＹ番目のサブショット区間を示す。ステップＳ１７１２では、Ｙ番目のサブショットの区間外となった開始点または終了点をＸ番目のサブショットの区間に合わせて分割する。図２０の（ｂ）では、区間外の終了点側の区間２００６と、Ｘ番目のサブショット区間内の２００５の部分に分割される。なお、２００５を新たなＹ番目のサブショットとして扱う。次にステップＳ１７１３からＳ１７１４の処理を行う（前述）。
【００８９】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間を含む場合はステップＳ１７１５へ進む。これは、図２０の（ｃ）に相当する。なお、図２０の（ｃ）において、２００７がＸ番目のサブショット区間を、２００８がＹ番目のサブショット区間を示す。この場合、Ｘ番目のサブショットは、その下の階層によって更に分割することができないので、ステップＳ１７１５において、Ｘ番目のサブショットの区間に対応する区間をサブショットリスト１から削除する（本実施形態の階層化の目的は、サブショットの区間を徐々に絞り込んで所望の区間にたどり着くことにあるので、上位階層の区間を分割できない下位階層を設けても無意味だからである）。２００９は残りの区間であり、Ｙ＋１番目の区間として扱う。そして、ステップＳ１７１６へ進み、Ｘをインクリメントした後、ステップＳ１７１０へ戻る。
【００９０】
また、ステップＳ１７１１において、Ｙ番目のサブショット区間がＸ番目のサブショット区間の外であった場合はそのままステップＳ１７１６へ進む。これは、図２０の（ｄ）に相当する。ここで、２０１０はＸ番目のサブショット区間を、２０１１がＹ番目のサブショット区間である。
【００９１】
次に、図１０に戻り、ステップＳ１００６からステップＳ１０１１のブラウジング処理について述べる。
【００９２】
ステップＳ１００６において、各動画像ファイル（ショット）を代表するサムネイルを表示領域９０１に表示する。ショットを代表するサムネイルとしては、例えば、先頭に登録されているサブショットのサムネイルを使用する方法が考えられる。しかし、もちろん、ショット用のサムネイルを別途作成しておくなどの方法を用いても構わない。ショットの中身を概観できる目的が達成されればよい。なお、本実施形態では、サムネイルは表示領域９０１０の中で、ファイルのヘッダに記述されている撮影開始時刻順に、一番上の行から下の行へ、行の中では、左から右へ向かって並べられるものとする。
【００９３】
次に、ステップＳ１００７において、サブショット表示指示があったかを判定する。これは、ポインタ９０２によりショット又はサブショットが指定され、サブショット表示ボタン９０４、９０５がＯＮされたかどうかによって判定できる。但し、ショット一覧表示のときに「戻る」ボタン９０５をＯＮした場合は例外であり、それより上の階層へは移行できないので表示内容に変化は生じない。ボタン９０４も９０５もＯＮされていなければステップＳ１００８をスキップし、ステップＳ１００９に進む。
【００９４】
一方、ボタン９０４、９０５のいずれかがＯＮされた場合は、ステップＳ１００８に進む。そしてＯＮされたのが「次へ」ボタン９０４の場合は、より下の階層のサブショットを、「戻る」ボタン９０５の場合は、より上の階層のサブショットを表示する。このとき、状態表示欄９０７には、現在の階層と観点を表示し、ユーザが判別可能なようにしている。
【００９５】
次に、ステップＳ１００９において、動画の再生指示が行われたかどうかを判定する。これは、ポインタ９０２を使って特定のショットまたはサブショットをダブルクリックしたかどうかで判定できる。再生指示がされていなければ、ステップＳ１０１０をスキップして、ステップＳ１０１１に進む。再生が指示されていれば、ステップＳ１０１０において、指定されたショットまたはサブショットの先頭から動画像を再生する。なお、再生後はもとのショット、または、サブショット一覧表示に戻る（図示せず）。次にステップＳ１０１１において、終了が指示されたかどうかを判定する。これは、終了ボタン９０６がＯＮされたかどうかで判定できる。終了が指示されていなければステップＳ１００７へ戻り、上記の処理を繰り返す。また、終了が指示されていれば、本処理を終了する。
【００９６】
以上のように、第１実施形態によれば、ユーザはサブショットの選択とサブショット表示を指示することにより効果的に絞り込みを行うことができ、所望の区間（サブショット）に素早くたどり着くことが可能となる。このため、再生、或いは、動画編集などに容易に利用することが可能となるのである。
【００９７】
〔第２実施形態〕
本発明における第２実施形態について、説明する。
【００９８】
第１実施形態では、撮像装置１０１０に備えられているセンサや操作部の情報、または、制御情報を、カメラ付与情報として付与した。第２実施形態では、撮像データを解析することによって、抽出が可能なカメラ付与情報を、撮影後に付与し、利用するというものである。
【００９９】
動画像処理装置の構成、及び、撮像装置１０１０の構成等は第１実施形態と同様であるので、説明を省略し、相違点のみを以下に述べる。
【０１００】
図１２は本実施形態によるブラウザ装置の機能構成を示すブロック図である。図１２において１２０１から１２０７の各構成は第１実施形態の８０１から８０７と同じものであるので説明は省略する。
【０１０１】
１２０８はカメラ付与情報抽出部であり、読取部１２０２を介して記憶媒体１２０１より読み出された映像データを解析し、撮像装置１０１０で付与していないカメラ付与情報を抽出する。ここでは、例としてパン、チルトが撮像装置１０１０によって付与されていないものとして説明する。
【０１０２】
パン・チルトを映像データから抽出する手法としては、ハフ変換を用いて動きのベクトルの消失点を求め、複数有る消失点のうちの最大の投票数を得た消失点を背景に対する消失点とし、パン・チルトに関する拘束式を説くなどの手法がある。パン・チルトと消失点との関係やパン・チルトを求める手法は、例えば「金谷健一著、『画像理解』、森北出版」などに詳しい。このように、映像データを解析することによって、求めたカメラ付与情報を更に追加して、サブショット分割部１２０３０で活用することが可能である。
【０１０３】
以上のようにして得られたパン、チルト情報は、図５で説明したカメラ付与情報格納領域に追加され、図１４のようなサブショット情報格納領域を生成する際に用いられる。
【０１０４】
〔他の実施形態〕
上記第１、第２実施形態では、撮像装置１０１０とブラウズ装置１０３０の２つの装置を用いて構成されたが、撮像装置１０１０が十分な処理能力があれば、撮像装置１０１０にブラウズ装置１０３０の機能を包含させ、１つの装置で構成してもかまわない。この場合であっても、サブショット情報を記憶媒体１０２０に記録するようにすれば、他の機器においてサブショット分割の結果を利用することが可能となる。
【０１０５】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７とユーザ操作部８０４、閲覧・再生部８０５を一つの機器に構成したが、図１３、図１４のサブショット情報を記憶媒体１０２０（８０１）に記録するようにすれば、上記各部を別の機器として構成してももちろん構わない。
【０１０６】
また、第１、第２実施形態では、サブショット分割部８０３、サムネイル作成部８０７、カメラ付与情報抽出部１２０８は、ブラウズ装置１０３０上に構成したが、撮像装置１０１０が十分な処理能力があれば、これらを、撮像装置１０１０上に構成しても構わない。この場合、図１３、図１４のサブショット情報を記憶媒体１０２０（記憶媒体２８）に記録することによって、ブラウズ装置１０３０はブラウズが可能となる。
【０１０７】
また、第１、第２実施形態では、区間単位のカメラ付与情報（図５、図６）を撮影中に生成し、記憶媒体１０２０に記録したが、撮像装置１０１０に十分なメモリや処理能力がなければ、フレーム単位のカメラ付与情報を記録しておき、後で、区間ごとにまとめる処理を行ってもよい。その際、フレーム単位にカメラ付与情報を格納する方法は、画像データの管理情報中の未使用領域などに、格納する方法がある。具体的には、例えば、MPEG-2ストリームであれば、ピクチャヘッダのユーザ領域に格納する方法がある。また、撮像装置１０１０に区間単位のカメラ付与情報を記録する能力があっても、フレーム単位のカメラ付与情報も同時に冗長に記録しておいても、もちろん、構わない。こうしておけば、ファイル操作が行われ、区間単位のカメラ付与情報が損なわれ、変更が必要となった場合でも、フレーム単位のカメラ付与情報から、再集計し、区間単位のカメラ付与情報を作成しなおすことが可能となる。
【０１０８】
また、第１、第２実施形態では、区間単位のカメラ付与情報、サブショット情報をバイナリ形式で格納したが、撮像装置１０１０に十分な処理能力があれば、或いは、ブラウズ装置１０３０を使用して、テキスト形式や独自のＤＴＤ（Document Type Definition）を定義し、ＸＭＬ（Extensible Markup Language）形式等で表現する事ももちろんかまわない。また、MPEG7にしたがった形式で格納する場合は、Segment DSに格納すれば良い。
【０１０９】
また、第１、第２実施形態では、カメラ付与情報、及び、サブショット情報を記憶媒体１０２０を介してやり取りしたが、IEEE1394などの通信手段を設け、これによってやり取りするように構成しても構わない。
【０１１０】
また、第１、第２の実施形態では、１つのショットを１つの動画像ファイルとしたが、複数のショットを１つの動画像ファイルとしても構わない。この場合は、各ショットとカメラ付与情報、サブショット情報の対応がとれるように、識別番号などを振り、関連付けしておけばよい。
【０１１１】
また、第１、第２実施形態では、サブショット分割の観点として、撮影環境、被写体、被写体サイズの３つを上げたが、これに限られるものではなく、例えば、エフェクトを付与しているかどうか、など、様々な観点が考えられる。また、分割の観点が増えれば、これに合わせて階層の数を増やしても構わない。
【０１１２】
また、第１、第２実施形態では、サブショット分割の結果を、ブラウジングに利用したが、サブショットを基本単位とし、観点種別の指定手段を設ければ、動画編集、フレーム印刷、ダイジェスト再生など、様々な方法で利用することができる。例えば、動画編集であれば、編集対象のショットを、観点別にサブショット分割すれば、その分割位置を編集のIn・Out点の指定に利用できる。また、フレーム印刷であれば、サブショットごとに、フレーム印刷の候補を、例えば、サブショット区間の中央のフレームを抜き出して提示することで、観点別にフレーム印刷候補を提示できる。また、ダイジェスト再生であれば、サブショットの先頭の数秒ずつを再生させることで、指定された観点別のダイジェスト再生を行うことが出来る。
【０１１３】
また、第１、第２実施形態では、図２０の（ｃ）のときは分割されないために下の階層はなしとした。例えば、注目しているサブショット（２階層目とする）の下の階層（３階層目）に相当する区間が、分割されず、注目しているサブショットと同じ区間であった場合には、３階層目を設けなかったとしている。この場合、ブラウズ時に、「次へ」ボタン９０４を押しても「下の階層はありません」と警告を表示するか、予め「次へ」ボタン９０４を押下できないようにしておくようになる。しかしながら、同じ区間でも３階層目を設けておき、ブラウズ時に、「次へ」ボタン９０４を押した場合は、同じ区間を持つサムネイルが１つだけ表示されるようにしてもよい。
【０１１４】
また、第１、第２実施形態では、図９に示したようなユーザインターフェースとしたが、これに限られるものではなく、例えば、何階層目かを直接指示できるボタンなどを設けてもよい。
【０１１５】
また、第１、２の実施形態では、ステップＳ１７０２において、階層化順序リストを分割数で昇順にソートしたが、一般的な階層化順序のみで常に階層化するのでよければ、省略しても構わない。また、予めユーザが階層化順序を指示するようにしておいても構わない。すなわち、図１９の（ａ）の階層化順序リストにおける各観点の階層順位をユーザによって所望に設定可能としてもよい。また、ステップＳ１７０２のソート処理を実行するか否かをユーザによって指定可能としてもよい。
【０１１６】
以上説明したように本発明によれば、観点毎の単位に動画像を分割し、階層化されたサブショットを得ることが可能となり、ユーザは、サブショットの選択とサブショット表示の指示を繰り返すことで、サブショットの絞込みを行うことが可能となる。これにより、ユーザは素早く所望のサブショットを入手することができる。
【０１１７】
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１１８】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１１９】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発生のメモリカード、ＲＯＭなどを用いることができる。
【０１２０】
また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
【発明の効果】
以上説明したように、本発明によれば、撮影装置の操作や状態の変化が多数含まれる動画であっても、所望の場所を素早く見つけ、再生や編集作業を容易化することができる。
【図面の簡単な説明】
【図１】実施形態における動画像処理システムの概略構成を表すブロック図である。
【図２】実施形態による撮像装置の構成を示すブロック図である。
【図３】図２の撮像装置におけるシステム制御部の構成を示すブロック図である。
【図４】実施形態の撮像装置による動画撮像処理の手順を示すフローチャートである。
【図５】カメラ付与情報の格納形式の一例を示す図である。
【図６】図５に示すカメラ付与情報項目の内部構造の一例を示す図である。
【図７】実施形態によるブラウズ装置の制御構成を示すブロック図である。
【図８】ブラウズ装置の第１実施形態における機能構成を示すブロック図である。
【図９】ブラウズ装置のユーザインターフェースの一例を示す図である。
【図１０】ブラウズ装置の動作例を示したフローチャートである。
【図１１Ａ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｂ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｃ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１１Ｄ】ブラウズ装置のサブショット分割処理の詳細な手順を示したフローチャートである。
【図１２】第２実施形態におけるブラウズ装置の機能構成を示すブロック図である。
【図１３】実施形態によるサブショット情報の格納形式の一例を示す図である。
【図１４】図１３に示すサブショット・インデックスの内部構造の一例を示す図である。
【図１５】サブショット分割の概要を説明する図である。
【図１６】図９に示したユーザインターフェースにおける表示領域の動作の一例を示す図である。
【図１７】ブラウズ装置のサブショットの階層化処理の詳細な手順を示したフローチャートである。
【図１８】階層化されたサブショットの概要を説明する図である。
【図１９】階層化順序リストの一例を示す図である。
【図２０】階層化処理におけるサブショットの区間の関係の例を説明する図である。
【図２１】一般的な動画分割を説明する図である。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a technique for dividing a moving image using an operation of an imaging device, a change point of a state of the imaging device, or the like.
[0002]
[Prior art]
In general, as seen in Patent Document 1 and Patent Document 2, by dividing a moving image for each operation (panning, tilting) of a moving image capturing apparatus and each change point (focus, etc.) of the state of the imaging apparatus, It enables playback from a desired location, editing of moving images, automatic summarization of moving images, and easy confirmation of the contents. Such a method is particularly effective when various shooting targets are included in one moving image or the shooting environment changes.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 08-163488
[Patent Document 2]
Japanese Patent No. 3192663
[0004]
[Problems to be solved by the invention]
However, the longer a movie is and the more changes in the shooting target and shooting environment included in the movie, the more the movie is divided into more sections in the conventional method.
[0005]
For example, FIG. 21 is a diagram for explaining division of a moving image according to a conventional technique. (A) has shown the operation area with respect to an imaging device and the change point (Gain, White Balance, subject distance, Zoom, Pan) of the state of an imaging device for every item with respect to the same moving image. Further, (b) shows the result of dividing a moving image using Gain, White Balance, subject distance, Zoom, and Pan. As shown in FIG. 21, the moving image is subdivided into many sections due to a mixture of the divided portions by a plurality of types of items. Further, where a section is determined by a plurality of types of items, the section is not a meaningful unit (here, a meaningful unit is, for example, a section in which subject A is shown). . For example, the section A in FIG. 21 starts at the change point of White Balance and ends at the end point of the Pan operation, and is not a meaningful unit.
[0006]
Therefore, in the situation of the prior art as described above, it takes time to check each one to search for a desired section in the moving image. In addition, in moving image editing or the like, if it is desired to extract a section in a meaningful unit, the start point and end point must be corrected, which eventually results in a burden on the user.
[0007]
The above moving images tend to be noticeable particularly when an amateur photographer takes a picture. Amateur photographers are unfamiliar with shooting, and usually use a single imaging device to shoot, so they can shoot while looking for a shooting target, or shoot many subjects at many places at once. Because there is a tendency to do.
[0008]
The present invention has been made in view of the above problems, and can easily find a desired place and facilitate reproduction and editing work even for a moving image including a large number of operations and state changes of a photographing apparatus. With the goal.
[0009]
[Means for Solving the Problems]
In order to achieve the above object, a moving image processing method according to the present invention comprises:
The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing method,
Selected from the multiple items plural A generation step of defining an item group constituted by items, integrating division information corresponding to items belonging to the item group, and generating integrated division information corresponding to the item group;
In the generation step, integrated division information is generated for a plurality of types of item groups, and the division position based on the upper division integrated division information is added to the division position of the lower division integrated division information in accordance with the hierarchical order of the plurality of generated integrated division information. Hierarchization process to
A holding step of holding the integrated division information obtained in the hierarchizing step in correspondence with the moving image data.
[0010]
In order to achieve the above object, a moving image processing apparatus according to the present invention comprises the following arrangement. That is,
The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing apparatus,
Selected from the multiple items plural Generating means for defining an item group constituted by items, integrating division information corresponding to items belonging to the item group, and generating integrated division information corresponding to the item group;
The generation unit generates integrated division information for a plurality of types of item groups, and adds a division position based on the upper division integrated division information to a division position of the lower division integrated division information according to the hierarchical order of the plurality of generated integrated division information. Hierarchization means to
Holding means for holding the integrated division information obtained by the hierarchizing means in correspondence with the moving image data.
[0011]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[0012]
[First Embodiment]
FIG. 1 is a block diagram showing a configuration of a moving image processing system according to the first embodiment. In FIG. 1, reference numeral 1010 denotes an imaging device that captures a moving image. A storage medium 1020 is used to store moving images and the like. Reference numeral 1030 denotes a browsing device which browses and reproduces a moving image included in the storage medium 1020. Hereinafter, an imaging device 1010 according to the present embodiment, a control method thereof, and an embodiment of a storage medium will be described.
[0013]
FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus according to the present embodiment. In FIG. 2, reference numeral 11 denotes a lens unit that includes a focus lens that adjusts the subject distance and a zoom lens that adjusts the focal distance, and forms an image of the subject on the image sensor 13. A diaphragm 12 adjusts the amount of light reaching the image sensor 13. Reference numeral 13 denotes an image sensor, which includes a CCD that converts input light into an electrical signal. Reference numeral 14 denotes a sample hold / AGC circuit, which performs sample hold and gain adjustment. Reference numeral 15 denotes an A / D converter, which performs analog / digital conversion (A / D conversion). Reference numeral 16 denotes a video signal processing unit that processes a signal to generate a video signal. Reference numeral 18 denotes a noise reduction unit (NR) which has a field memory and removes noise from the video signal. Reference numeral 19 denotes a lens position detection unit that detects the position of the lens. Reference numeral 20 denotes a lens driving unit that drives the lens.
[0014]
A system control unit 21 controls the entire imaging apparatus. FIG. 3 is a block diagram showing a configuration of the system control unit 21. The system control unit 21 has a known CPU 301, ROM 302, RAM 303, I / O interface 304, and bus 305. The ROM 302 stores later-described programs executed by the CPU 301, table values, and the like.
[0015]
Reference numeral 22 denotes a user operation unit, on which keys for the user to operate the imaging apparatus are arranged. Reference numeral 23 denotes a wide key for moving the zoom in the wide (wide angle = image reduction) direction, and reference numeral 24 denotes a tele key for moving in the tele (telephoto = image enlargement) direction. The wide key 23 and the tele key 24 are, for example, seesaw-type interlocking keys, and output to the system control unit 21 an output signal indicating which key is being pressed with what level of pressure. The pressing pressure determines the speed of enlargement / reduction. Reference numeral 29 denotes a recording button. When the recording button 29 is turned on, the system control unit 21 puts the imaging apparatus into a recording state. Reference numeral 30 denotes a mode dial. The user operates this to perform various settings. For example, focus mode (automatic / manual), exposure mode (automatic, gain priority, shutter speed priority, aperture priority, manual), White Balance Mode (hereinafter referred to as WB Mode) (preset-sunlight, cloudy, light bulb, Fluorescent lamp).
[0016]
The set information is input to the system control unit 21, and the system control unit 21 controls the imaging device according to the setting. The noise reduction unit (NR) 18 includes a cyclic noise reduction circuit. An MPEG codec 26 encodes video data in the MPEG-2 format. Reference numeral 27 denotes a recording unit, which includes a drive that drives a recording medium and records information. Reference numeral 28 denotes a recording medium, such as an optical disk, a magnetic disk, a magneto-optical disk, a magnetic tape, a hard disk, a non-volatile semiconductor memory (flash memory or the like), and the like. Etc. Reference numeral 25 denotes X-direction rotational speed detection, which detects the speed when the imaging apparatus is shaken in the horizontal direction using a gyro sensor or the like. Reference numeral 31 denotes Y-direction rotational speed detection, which detects the speed when the imaging apparatus is shaken in the vertical direction using a gyro sensor or the like, similar to the X-direction rotational speed detection 25. Reference numeral 32 denotes a distance measuring detector that detects the distance to the subject. A well-known one can be applied as the distance detecting unit 32. For example, infrared light emitted from a light emitting window (not shown) of the imaging apparatus 1010 toward the subject is reflected on the subject and reflected from the light receiving window. Light is received from (not shown) and converted into a distance measurement signal by a light receiving element provided therein, for example, PSD (Position Sensitive Device).
[0017]
An outline of the operation of the imaging apparatus having the above configuration will be described. The light from the subject received by the lens unit 11 is adjusted in light quantity by the diaphragm 12 and imaged on the surface of the image sensor 13. Then, after being converted into an electric signal by the image pickup device 13, it is A / D converted by the A / D conversion unit 15 via the sample hold / AGC unit 14 and input to the video signal processing unit 16. In the video signal processing unit 16, processing such as aperture correction, gamma correction, and white balance correction is performed on the input signal for each luminance and color component to generate a video signal, which is output to the noise reduction unit 18. The noise reduction unit 18 is controlled by a control signal from the system control unit 21 and removes noise from the video signal. The video signal from which the noise has been removed is output to the MPEG CODEC 26. The MPEG CODEC 26 encodes the input video signal. At this time, the MPEG codec 26 stores the camera assignment information (described later) input from the system control unit 21 as a file together with the encoded video signal, and outputs the file to a recording device connected to the MPEG codec 26.
[0018]
The system control unit 21 controls each part of the imaging apparatus, and controls the lens driving unit 20 or the electronic zoom unit 17 when the wide key 23 and the tele key 24 of the zoom operation key unit 22 are pressed. And move the zoom in the wide or tele direction. Further, the system control unit 21 determines where the zoom lens 11 is located at the tele end (maximum telephoto end point), the wide end (maximum wide angle end point), or the tele end and wide end based on the lens position detection signal from the lens position detection unit 19. Judge whether it is (zoom magnification).
[0019]
Further, the system control unit 21 switches the control value of the noise reduction between when the optical zoom is stopped and when the optical zoom is stopped according to the control signal output to the noise reduction unit 18. As a result, the amount of noise reduction, that is, the amount of noise removal is varied. At this time, the control value to be switched is a cyclic coefficient K. The control value switching by the control signal is also performed according to the brightness of the subject. That is, since the S / N of the video signal becomes worse as the brightness of the subject becomes darker, the control value is switched so as to increase the effect of noise reduction in order to compensate for it. Further, the system control unit 21 maintains the level of the generated video signal at a predetermined value with respect to the amount of the optical signal from the subject, so that the diaphragm 12, the sample hold / AGC unit 14, the electronic shutter (in FIG. 2, the electronic shutter) The brightness of the subject is comprehensively determined based on the aperture value, AGC gain, electronic shutter speed, and the like used for exposure control.
[0020]
In the above configuration, the imaging apparatus according to the present embodiment provides camera addition information to each captured frame. The camera assignment information is information related to a moving image that can be assigned by the imaging apparatus. This is because information on aperture correction, gamma correction, and WB correction used when the system control unit 21 controls the video signal processing unit 16, the noise reduction unit 18, the electronic zoom unit 17, and the lens driving unit 20, and the lens position Information obtained from detection means such as the detection unit 19, X-direction rotational speed detection 25, Y-direction rotational speed detection 31, and distance measurement detection 32 (subject distance, etc.), information regarding user settings obtained from the user operation unit 22 (WB Mode), and various additional information such as information on user operations (such as zoom operations) obtained from the user operation unit 22. Although not shown in FIG. 2, if other sensors such as a thermometer and a hygrometer are provided, this information can be used as camera-giving information, a strobe connected to the imaging device 1010, etc. Information on external devices such as accessories and measuring devices can also be used as camera-provided information if a correspondence relationship with the video is obtained.
[0021]
Next, the procedure of the moving image shooting process of the imaging apparatus 1010 will be described with reference to the flowchart shown in FIG. First, in step S401, it is determined whether the user has turned on the recording button 29 and instructed to start recording. Until the start of recording is instructed, the imaging apparatus 1010 is in a standby state. When the start of recording is instructed, the recording state is entered, and the process proceeds to step S402. At this time, the recording start time is sent from the system control unit 21 to the MPEG CODEC 26 and described in the header of the file. In step S4020, as described above, the system control unit 21 controls the imaging device 1010 based on information on various sensors and captures an image for one frame. At this time, control information of the imaging apparatus 1010 is held in the RAM 303 as camera-giving information in units of frames. As an example of the format of the control information, Table 1 below shows setting information related to Gain and subject distance.
[0022]
[Table 1]

[0023]
Next, in step S <b> 403, it is determined whether the user has set a camera via the camera operation unit 22. When the camera setting is performed, in step S404, the system control unit 21 changes the camera setting. At this time, the changed camera setting information is stored in the RAM 303 as frame-based camera provision information. As an example of the format of the setting information as the camera assignment information, the setting information related to WB is shown in Table 2 below.
[0024]
[Table 2]

[0025]
Next, in step S405, it is determined whether or not the camera has been operated. Whether or not the camera is operated can be determined based on whether the wide key 23 and the tele key 24 of the user operation unit 22 are operated, for example, in the case of a zoom operation. Detection is possible by the rotational speed detection 25 and the Y-direction rotational speed detection 31. If the camera is operated, the process proceeds to step S406, and the system control unit 21 controls the imaging apparatus while checking various sensor information in accordance with the operation. At this time, information relating to the operation is held in the RAM 303 as camera-giving information in units of frames. As an example of the format of the operation information as the camera assignment information, Table 3 below shows setting information regarding Zoom and Pan.
[0026]
[Table 3]

[0027]
In steps S402, S404, and S406 described above, the camera-attached information for each frame held in the RAM 303 is managed in a bit field for each frame, and is held for a predetermined number of frames. Next, in step S407, the camera unit-by-frame information held in the RAM 303 is referred to for each item of the camera-added information.
[0028]
Tables 4 to 6 below show examples of items of camera provision information in units of sections. For example, if the unit is grouped with respect to Gain, the unit corresponding to the frame group in which the Gain value is 0 is defined as one segment, and the segment corresponding to the frame group greater than 0 is defined as one segment. To do. Also, if subject distances are grouped into sections, subject distances are constant and changing, and subject distance is constant (Constant Substance Distance) and subject distance change (Changing Substance Distance). I'll summarize. In the fixed subject section, the subject distance is expressed by six STEPs. For example, if the subject distance is 0 to 20 cm, STEP1 is set. This STEP is divided based on whether or not the subject size changes sufficiently. Here, the subject size is a ratio of the size of the subject in the frame. That is, when the subject size is the maximum, the image is up.
[0029]
The subject distance change section is a section in which the subject has changed by 1 STEP or more. At this time, the subject distance between the start point and the end point is expressed by six STEPs similar to those in the fixed subject section. It is assumed that the change direction of the change section is the same. That is, when the subject distance increases and decreases continuously in succession, a period during which the subject distance is increased is defined as one section and a period during which the subject distance is decreased is defined as one section.
[0030]
In the case of WB, a section corresponding to a frame group in the same WB mode is set as one section. In the case of Zoom, a section corresponding to a frame group from the start to the end of the Zoom operation is defined as one section. In the case of Pan, the section corresponding to the frame group from the start to the end of the Pan operation is defined as one section. At this time, the frame positions of the start point and end point of the section are stored in association with each other as time information (time from the start of shooting of the shot). Note that the frame number may be used instead of the time information because the start point and end point of the section only need to be able to specify the frame position.
[0031]
[Table 4]

[0032]
[Table 5]

[0033]
[Table 6]

[0034]
Next, in step S408, it is determined whether or not the user gives an instruction to end recording by turning off the recording button 29 or the like. If the recording end instruction is not instructed, the above steps S402 to S407 are repeated to continue recording. When the end of recording is instructed, the process proceeds to step S409, and the section-specific camera assignment information stored in the RAM 303 is stored. That is, all the camera assignment information for each section is sent from the system control unit 21 to the MPEG CODEC 26, added as a footer to the second half of the video data, and sent to the recording unit 27. As this method, for example, the camera-giving information for each section may be a private stream and a TS (Transport Stream) packet may be added at the end. In this embodiment, one shot from the start to the end of recording is set as one file, and camera operation information related to one shot is assigned as a footer of the file.
[0035]
FIG. 5 shows an example of a format for storing the above-mentioned section-unit camera assignment information as a footer. FIG. 5 shows a storage format of the camera assignment information included in the moving image file recorded in the storage medium 28. This moving image file is accompanied by camera-attached information that briefly expresses information such as the contents of the moving image information. That is, the moving image file has a moving image storage area and a camera assignment information storage area in the file, and the storage format of the camera assignment information in FIG. 5 shows the internal structure of the camera assignment information storage area. Is. The storage area 501 for camera assignment information has a configuration in which several camera assignment information items 502 of a fixed length size are held, and the remaining area is used as a free area 503.
[0036]
FIG. 6 is a diagram showing the internal structure of the camera assignment information item 502 shown in FIG. In FIG. 6, a camera assignment information item 601 has several items of fixed length. The inside of the camera assignment information item 601 is roughly divided into two, one is the attribute information 602 of the camera assignment information, and the other is the camera assignment information 605. The camera grant information attribute information 602 further has an internal structure and includes camera grant information grant target section information 603 and camera grant information type number 604.
[0037]
The camera assignment information type number 604 is information for identifying the camera assignment information. For zoom information at the time of shooting, for example, “10”, the identification information assigned in advance to each camera assignment information. Is stored. By using this type number 604, the moving image processing apparatus can search for specific camera-assigned information in the moving image file. Further, the provision target section information 603 of the camera provision information represents a section of moving image data targeted by the camera provision information by time information.
[0038]
Next, the browsing apparatus according to the present embodiment for browsing a moving image file obtained by the imaging apparatus described above will be described.
[0039]
FIG. 7 is a block diagram showing a control configuration of the browsing apparatus in the present embodiment. In FIG. 7, reference numeral 701 denotes a CPU, which executes various controls in the browsing apparatus of this embodiment. Reference numeral 702 denotes a ROM which stores a boot program and various data executed when the apparatus is started up. A RAM 703 stores a control program for processing by the CPU 701 and provides a work area when the CPU 701 executes various controls. A keyboard 704 and a mouse 705 provide various input operation environments for the user.
[0040]
Reference numeral 706 denotes an external storage device, which includes at least one of a hard disk, a floppy (registered trademark) disk, an optical disk, a magnetic disk, a magneto-optical disk, a magnetic tape, and a nonvolatile semiconductor memory (for example, a flash memory). Reference numeral 707 denotes a display, which includes a display and displays various processing results and the like for the user under the control of the CPU 701. A network interface 708 enables communication with each device on the network. Reference numeral 711 denotes a bus, which connects the above configurations.
[0041]
FIG. 8 is a block diagram illustrating a functional configuration of the browsing apparatus according to the present embodiment. Reference numeral 801 denotes a storage medium, which corresponds to the storage medium 28 in FIG. Reference numeral 802 denotes a reading unit that reads a moving image and camera addition information on the storage medium 801. A sub-shot division unit 803 divides a moving image into meaningful sections (sub-shots) based on the above-described camera assignment information added to the footer unit of moving image data. Reference numeral 808 denotes a sub-shot hierarchizing unit that hierarchizes the sections determined by the sub-shot dividing unit 803. A thumbnail creating unit 807 creates thumbnails for the sections hierarchized by the sub-shot hierarchizing unit 808. Reference numeral 806 denotes a recording unit that records on the recording medium 801 the sub-shot division 803, the division points and layers determined by the sub-shot hierarchization unit 808, and the thumbnail created by the thumbnail creation unit 807. A user operation unit 804 includes a keyboard 704 and a mouse 705, and gives a moving image reproduction instruction and the like. Reference numeral 805 denotes a browsing / playback unit that enables browsing and playback of a moving image file on the display 707 based on a user instruction via the user operation unit 804.
[0042]
Here, sub-shot division will be further described. FIG. 15 is a diagram for explaining the outline of sub-shot division. Reference numerals 1501 to 1503 represent moving image data in the same moving image file (the same shot), and are divided into meaningful sections (called sub-shots) based on the respective viewpoints. Note that the expression “divide” means to determine a division point in units of sub-shots, and does not mean to actually separate the moving image file.
[0043]
In FIG. 15, reference numeral 1501 denotes a moving image divided from the viewpoint of the environment at the time of shooting. Here, a section (a1) shot under an indoor fluorescent lamp and a section shot under outdoor sunlight. The example divided into two sub-shots of (a2) is shown. 1502 is divided from the viewpoint of the photographed subject. Here, the sections (b1, b3) where the subject A is photographed, the sections (b2, b4) where the subject B is photographed, and the sections where the subject C is photographed (b) An example of dividing into five sub-shots of b5) is shown. 1503 is divided in view of the angle of view at the time of shooting. Here, six sub-shots of a section (c1, c3, c5) shot up and a section (c2, c4, c6) shot the whole are shown. The example divided into is given.
[0044]
FIG. 18 is a diagram for explaining the outline of hierarchization of sub-shots. 1801 to 1803 in FIG. 18 are the same moving image files as 1501 to 1503 in FIG. That is, FIG. 18 shows a result of hierarchization based on each viewpoint of the sub-shot division of FIG. Reference numeral 1801 denotes a first hierarchy, which is a division from the viewpoint of the shooting environment. Reference numeral 1802 denotes a second hierarchy, which is a division from the viewpoint of the subject. The determination of the upper and lower levels of the hierarchy will be described later. As a lower layer with respect to the section (A-1) photographed under the fluorescent lamp of the first layer 1801, a section (A-1-1) in which the subject A is photographed under the fluorescent lamp, and a section (in which the subject B is photographed) A-1-2), there is a section (A-1-3) where the subject A is captured again. Similarly, A-2-1, A-2-2, and A-2-3 exist as lower layers for A-2. Reference numeral 1803 denotes a third hierarchy, which is a division from the viewpoint of subject size. In the second layer, as a lower layer for the section (A-1-2) where the subject B was photographed under fluorescent light, the subject B was photographed with the section (A-1-2-1) photographed up and the whole Section (A-1-2-2) exists. Similarly, A-1-3-1 and A-1-3-2 as the lower hierarchy for A-1-3, and A-2-1 and A-2- as the lower hierarchy for A-2-1. 1-2 and A-2-2-2 as the lower hierarchy for A-2-2, and A-2-3- as the lower hierarchy for A-2-3 1, A-2-3-2 exists.
[0045]
FIG. 9 is a diagram showing an example of a user interface by the browsing device of the present embodiment. Reference numeral 901 denotes a thumbnail and moving image playback display area. A display area 901 displays thumbnails of shots or sub-shots at the time of browsing, and displays reproduced moving images at the time of moving image reproduction. A pointer 902 is used when selecting a shot or a sub-shot and giving a reproduction instruction. Reference numeral 903 denotes a scroll bar. When displaying thumbnails in the display area 901, if the number of thumbnails to be displayed exceeds the display limit (9 in FIG. 9), it cannot be displayed at once by operating this. Thumbnails can be displayed in order. Reference numerals 904 and 905 denote sub-shot display buttons. When the “next” button 904 is turned on, a list of sub-shots of the next lower layer of the currently selected shot or sub-shot is displayed in the display area 901. When the “return” button 905 is turned on, a list of sub-shots (or shots) one level higher is displayed in the display area 901, contrary to the “next” button. Reference numeral 907 denotes a status display column that displays the current layer and the viewpoint of sub-shot division of the layer when displaying the sub-shot. Reference numeral 906 denotes an end button that instructs the apparatus to end the process.
[0046]
FIG. 16 shows a display state corresponding to each operation in the display area 901. When viewing shots in (a), a list of thumbnails corresponding to each shot is displayed. When a desired shot is selected with the pointer 902 (in the figure, it is represented by a thick frame and indicates that the shot B is selected), when the “next” button 904 is turned ON, the selected shot (shot in the figure) is selected. The sub-shot of B) is displayed (b-1). That is, a list of thumbnails of sub-shots in the first layer of the selected shot is displayed. Similarly, the desired sub-shot is selected with the pointer 902 (B-2 in the figure), and the “next” button 904 is turned on to display the sub-shots in the hierarchy below the selected sub-shot. ((B-2) shows the second layer, (b-3) shows the third layer).
[0047]
On the other hand, if the “return” button 905 is turned on, it is possible to display the sub-shots or shots in the upper hierarchy (from (b-3) to (b-2) → (b-1) → (a) etc.). Furthermore, when a sub-shot is selected with the pointer 902 (B-2-2-2 is selected in (b-3)) and double-clicked in this state, a moving image is reproduced from the head of the selected sub-shot. Is displayed in the display area 901 (c). Needless to say, it is possible to select a desired shot from the time of viewing the shot in (a) and double-click to reproduce the moving image from the head of the shot.
[0048]
In this way, the user can display and search for a desired section of the moving image in order from the sub-shot of the upper hierarchy. In the example of FIG. 18, “under fluorescent light” (first layer), “subject B” (second layer), “up” (third layer), and so on, for each viewpoint. You can narrow down in order.
[0049]
The operation of the browsing apparatus of the present embodiment as described above will be described in detail with reference to FIG. FIG. 10 is a flowchart showing an operation example of the browsing apparatus according to the present embodiment.
[0050]
The processing of this apparatus is broadly divided into sub-shot division / hierarchization processing from step S1001 to step S1005 and browsing processing from step S1006 to step S1011.
[0051]
First, sub-shot division processing will be described. In step S1001, the reading unit 802 reads all moving image files from the storage medium 801, and obtains moving image data and a plurality of camera attachment information (hereinafter referred to as a camera attachment information list) included therein. In step S1002, the sub-shot division unit 803 performs sub-shot division for each viewpoint based on the read camera assignment information list, and determines a division point for each viewpoint (details of the process will be described later). To do). Next, in step SS1003, the sub-shot hierarchy unit 808 performs sub-shot hierarchy as described with reference to FIG. Next, in step S1004, the thumbnail creation unit 807 creates a thumbnail image to be displayed for listing the sub-shots with the browse device. The thumbnail image can be obtained by acquiring the first frame of the sub-shot section from the moving image and reducing it. However, of course, the form of the list display and the generation of thumbnails are not limited to the above, and any form may be used as long as the contents of the sub-shot can be roughly grasped.
[0052]
Next, in step S1005, the recording unit 806 records the hierarchical sub-shot division result in the storage medium 801. Note that recording in the storage medium 801 is not essential, and the browsing / playback unit 805 may refer to the division result via, for example, a RAM or the like. However, once the sub-shot information is recorded in the storage medium 801, the hierarchical sub-shot division result can be used in other devices.
[0053]
Here, an example of a format for storing the sub-shot information will be described. FIG. 13 shows a storage format of sub-shot information of a moving image file recorded in the storage medium 801. As shown in FIG. 13, a sub-shot information storage area is added and held after the camera assignment information storage area described in FIG. The sub-shot information storage format shown in FIG. 13 shows the internal structure of the sub-shot storage area.
[0054]
The sub-shot storage area 1301 is further divided into two areas. One is a sub-shot index storage area 1302 and the other is a thumbnail image storage area 1305. The sub-shot index storage area 1302 has a structure in which several sub-shot indexes 1303 having a fixed length are held, and the remaining area is used as a free area 1304. Further, the thumbnail image storage area 1305 has a configuration in which several thumbnail images 1306 are held and the remaining area is used as a free area 1307.
[0055]
FIG. 14 is a diagram showing the internal structure of the sub-shot index 1303 in FIG. The sub-shot index 1401 has several items of fixed length. The sub-shot ID 1405 is an ID for identifying each sub-shot. The sub-shot section information 1402 expresses a sub-shot section with time information, and is used to indicate one sub-shot in the shot. Note that the sub-shot section may be represented by a frame number in the same manner as the camera assignment information. The viewpoint type number 1403 is a number for identifying a viewpoint (described later) at the time of sub-shot division. The level 1406 indicates the level of the sub-shot. Parent ID 1407 describes the sub-shot ID of the parent sub-shot. If it is a sub-shot of the highest hierarchy, a special ID (such as 0) is assigned. The thumbnail image storage position information 1404 represents the storage position of the thumbnail image in the thumbnail image storage area corresponding to the sub-shot, for example, by an offset from the head of this area.
[0056]
Next, a detailed procedure of the sub-shot division process in step S1002 will be described with reference to FIGS.
[0057]
First, sub-shot division related to the viewpoint of “imaging environment” is performed. In step S1101, it is checked whether there is a camera assignment information item regarding the viewpoint of the shooting environment. Specific items related to the shooting environment include various items such as focus, IRIS, Gain, WB, and AE Mode. In the present embodiment, WB and Gain are used for explanation. The setting of WB is changed according to the shooting environment. For example, under sunlight, the user sets the preset sunlight, and under the fluorescent lamp, the user sets the preset fluorescent lamp. Therefore, if the WB Mode is different, it can be estimated that the shooting environment has also changed. Further, Gain becomes positive when shooting in a very dark environment, and is used as a means for the image pickup apparatus to correct the brightness of the image. Therefore, it can be estimated that the shooting environment changes depending on whether Gain is positive.
[0058]
If neither WB nor Gain is present in the camera assignment information item list, sub-shot division cannot be performed from the viewpoint of “imaging environment”, so steps S1102 to S1104 are skipped, and the next step S1105 is performed. move on. If either WB or Gain exists, the process proceeds to step S1102, where the WB or Gain grant target section is used as it is as a sub-shot section, and is copied to the sub-shot section information 1402 as it is. If both WB and Gain exist, the process proceeds to step S1103, the OR of the WB and Gain grant target sections is taken, and the result is directly copied to the sub-shot section information 1402 as a sub-shot section. Next, in step S1104, 1 representing “imaging environment” is assigned as the viewpoint type number to each of the sub-shot sections determined in step S1102 or S1103, and the viewpoint type number 1403 is recorded.
[0059]
As described above, in the example of the viewpoint of “shooting environment”, only a plurality of types of items that match the viewpoint are selected from the camera assignment information, and the sub-shot section is determined by ORing each section. is doing. Therefore, it is possible to remove sections of items that are not related to the viewpoint.
[0060]
Next, sub-shot division related to the “subject” viewpoint is performed. In step S1105, it is checked whether there is a camera assignment information item related to the viewpoint of the subject. Specific items related to the subject include various items such as Pan, Tilt, and subject distance (Subject Distance). In the present embodiment, Pan and subject distance are used for explanation. In order to move the viewpoint from the subject A to the subject B during shooting, the user needs to perform a Pan operation that swings the imaging device in the horizontal direction. Therefore, it can be estimated that the subject has changed before and after the Pan operation. In addition, when the subject B appears between the subject A and the imaging device 1010 while photographing the subject A, the subject distance changes abruptly. Therefore, it can be estimated that the subject has changed if the subject distance has changed rapidly.
[0061]
If neither Pan nor subject distance exists in the camera assignment information item, sub-shot division (from steps S1106 to S1125) regarding the subject viewpoint is skipped, and the process proceeds to the next step S1126.
[0062]
If only Pan exists, the process advances to step S1106 to copy all the Pan assignment target sections to the sub-shot section target list. The sub-shot section target list is used as a temporary, and has the same format as the camera assignment information storage area 501. Next, the process proceeds to step S1107, and a section other than the Pan operation is inserted as a no-operation section in the sub-shot section target list. At this time, a special number, such as 0, is recorded in the type number 604 (FIG. 6) of the camera assignment information to indicate no operation. Next, the process proceeds to step S11080, and the section from the start position of the no-operation section to the end of panning in the sub-shot section target list is set as the sub-shot section and copied to the sub-shot section information 14020. However, as an exception, when the end of a shot is a no-operation section, this is used as it is as a sub-shot section (not shown). In this embodiment, the sub-shot section is from the start position of the no-operation section to the end of panning, but this is regarded as a part of the previous section since the subject is changing during panning. This is to make one sub-shot section.
[0063]
On the other hand, if it is determined in step S1105 that only the subject distance exists, the process advances to step S1109 to copy all subject distance assignment target sections to the sub-shot section target list. In step S1110, one section is extracted from the sub-shot section target list in order from the top, and it is determined whether the section is a subject distance changing section (Changing Subject Distance) or a constant subject distance section (Constant Subject Distance). (Table 4). If the subject distance is constant, the process of steps S1111 and S1112 is skipped, and the process proceeds to step S1113.
[0064]
If it is a subject distance change section in step S1110, the process proceeds to step S1111 to determine whether the subject distance change amount (the absolute value of the difference between the Start Substance Distance Step and the End Substance Distance Step) is less than a predetermined value A. . The predetermined value A is not particularly limited, but is 2 in the present embodiment. That is, when the condition of step S1111 is not satisfied, there is a sudden change in the subject distance. In this case, step S1112 is skipped and the process proceeds to step S1113. On the other hand, when the condition of step S1111 is satisfied, there is no sudden change of the subject. In this case, the process proceeds to step S1112 and merges with the previous section in the sub-shot section target list. If the subject distance changes slowly, it can be estimated that the subject has not changed, but the distance to the same subject has changed, and such a section is not subject to the sub-shot division section. is there.
[0065]
Step S1113 is an end determination, and it is determined whether or not the above-described steps S1110 to S1112 have been performed for all sections of the sub-shot section target list. If there is an unprocessed section, the process returns to step S1110 and the above process is repeated. If processing has been performed for all the sections, the process proceeds to step S1114, and the sub-shot section is defined as the sub-shot section from the start position of the subject distance constant section to the end of the subject distance change section in the sub-shot section target list. Copy to information 1402. However, as an exception, when the end of a shot is a section with a constant subject distance, this is used as a sub-shot section (not shown). This is because when the subject distance is changing rapidly, it is a section where the subject is changing, so that it is regarded as a part of the previous section and is taken as one sub-shot section.
[0066]
If it is determined in step S1105 that both Pan and subject distance exist, the process proceeds to step S1115. Steps S1115 to S1117 are the same as steps S1106 to S1108, and steps S1119 to S1123 are the same as steps S1109 to S1114. However, in step S1118 and step S1123, the subshot section candidate list 1 is not copied directly to the subshot section information 1402 but is temporary like the subshot section target list and has the same format as the camera-assigned information storage area 501. Are temporarily copied to the sub-shot section list 2. In the next step S11240, the sub-shot section candidate list 1 and the sub-shot section candidate list 2 are ORed with each other and copied to the sub-shot section information 1402.
[0067]
Next, in step S1125, 2 representing “subject” is assigned as the viewpoint type number to the sub-shot section determined in any of steps S1108, S1114, and S1124.
[0068]
In this way, in the example of the “subject” viewpoint, only a plurality of types of items that match the viewpoint are selected from the camera assignment information, and each item has a specific condition such as the amount of change. The sub-shot section is determined by extracting the sections to be viewed and taking their OR. Therefore, it is possible to remove sections of items that are not related to the viewpoint, and it is possible to remove sections having a small influence even if the items are related to the viewpoint.
[0069]
Next, sub-shot division related to the “subject size” is performed. In step S1126, it is checked whether there is a camera addition information item related to the subject size. Specific items related to the subject size include various items such as Zoom, Digital Zoom, and subject distance. In the present embodiment, Zoom and subject distance are used for explanation. For example, in order to shoot the face of the subject A up after the subject size is adjusted and the entire subject A is photographed, the user keeps the subject distance constant and operates the Zoom to the tele side, or It is necessary to reduce the subject distance by approaching the subject A without operating the Zoom. Further, for example, in order to photograph the subject A with the same size when the subject A is moving away from the user (photographer), the user needs to operate Zoom to the tele side. Therefore, it can be estimated whether or not the subject size has been changed by combining Zoom and incidental information of the subject distance.
[0070]
If either Zoom or subject distance is applied in the camera assignment information item, sub-shot division cannot be performed in terms of subject size, so steps S1127 to S1139 are skipped.
[0071]
In step S1126, if there is incidental information on both Zoom and subject distance, the process proceeds to step S1127, and one section is extracted from the beginning in order of the subject distance to determine whether the subject distance change section or the subject distance constant section. Determine. If the subject distance is constant, the processing from step S1128 to step S1131 is performed. On the other hand, if it is the subject distance changing section, the processing from step S1132 to step S1135 is performed. Step S1136 is an end determination, and it is determined whether the above-described series of processing has been performed for all sections of the subject distance.
[0072]
A case where the subject distance is constant will be described. First, in step S1128, it is determined whether Zoom exists in the current section. If Zoom does not exist, the process proceeds to step S1131, and the section of interest is copied to the sub-shot target section list as a section with a fixed subject size. If it exists, the process proceeds to step S1129. In step S1129, it is determined whether the zoom operation amount (absolute value of the difference between Start Magnification and End Magnification) is greater than or equal to a predetermined value B. The reason for making such a determination is that when the operation amount is small, it can be determined that only fine adjustment has been performed. The predetermined value B is preferably about 1.5 times, but is not particularly limited. When the operation amount of Zoom is less than the predetermined value B, it is not a target of the sub-shot division section, so the next step S1130 is skipped.
[0073]
On the other hand, if the Zoom operation amount is equal to or greater than the predetermined value B, the process proceeds to step S1130. At this time, since the amount is sufficient to change the subject size and the subject distance is constant, the Zoom section is a section in which the subject size is changed. Therefore, the OR of the current subject distance section and the Zoom section is taken and copied to the sub-shot target section list. For example, if there is one Zoom section in the current subject distance section, from the beginning of the subject distance section to the beginning of the Zoom section, from the beginning of the Zoom section to the end, from the end of the Zoom section to the end of the subject distance section, There are three sections, and types are a subject size constant section, a subject size change section, and a subject size constant section in order.
[0074]
Next, the case where it is determined in step S1127 that the subject distance has changed (in the case of the subject distance change section) will be described. First, in step S1132, it is determined whether Zoom exists in the current section. If Zoom does not exist, the process proceeds to the next step 1135. Since Zoom has not been operated, if the subject distance has changed, it can be estimated that the subject size has changed. At this time, the process proceeds to step S1135, and the current section is copied as a changed section to the sub-shot target section list.
[0075]
On the other hand, if Zoom exists in the current section in step S1132, the process proceeds to step S1133. At this time, since the Zoom and the subject distance change at the same time, the evaluation cannot be made unless the two quantities are combined. Various evaluation methods are conceivable. For example, it is possible to estimate whether or not the subject size has changed by evaluating the following expression.
Total change = absolute value of ((Start Substance Distance Step-End Substance Distance Step)-H x (Start Magnification-End Magnification))
Here, H is a coefficient, which is determined by characteristics such as a zoom lens. In this embodiment, it is assumed that H = 1.
[0076]
For example, when approaching the subject (from STEP2 to STEP1 in Table 4) and operating Zoom to the wide side (from 3 times to 2 times), the absolute value of (2-1)-(3-2) from the above formula Therefore, the total change amount becomes zero. This indicates that the subject size does not change. On the other hand, for example, when approaching the subject (from STEP2 to STEP1) and operating Zoom to the tele side (from 3 times to 4 times), the absolute value of (2-1)-(3-4) from the above formula Therefore, the total change amount is 2. This indicates that the subject size changes. Therefore, if the total change amount is large, it can be estimated that the subject size has changed.
[0077]
Accordingly, in step S1133, if the total change amount is equal to or greater than the predetermined value C, it is determined that the subject size has changed. The predetermined value C is not particularly limited, but is assumed to be 1 here. If the total change amount is equal to or greater than the predetermined value C, the process proceeds to step S1135 (described above). If the total change amount is less than the predetermined value C, it can be estimated that the subject size has not changed, and thus the process proceeds to step S1134 to copy the current subject distance section as a fixed section to the sub-shot target section list. .
[0078]
If it is determined in step S1136 that the process has been completed for all sections, the process proceeds to step S1137. In step S1137, if certain sections are continuous in the sub-shot target section list, they are merged. This is because there is no change in the subject size between successive sections. Next, the process proceeds to step S1138, where the period from the start position of a certain section in the sub-shot section target list to the end of the change section is set as a sub-shot section and copied to the sub-shot section information 1402. However, if the end of the shot is a certain section, the exception is the sub-shot section (not shown) as an exception. This is because the section in which the subject size is changed is regarded as a part of the previous section and is set as one sub-shot section. Next, in step S1139, 3 representing “subject size” is assigned to each of the sub-shot sections determined in step S1138 as the viewpoint type number.
[0079]
In this way, in the example of the “subject size” viewpoint, only a plurality of types of items that match the viewpoint are selected from the camera assignment information, and each item is combined, and not only the section but also the amount of change In consideration of the above, the sub-shot section is determined by extracting only the section satisfying the specific condition. Accordingly, it is possible to remove sections of items that are not related to the viewpoint, and it is possible to extract sections according to the viewpoint that cannot be extracted by a simple OR of a plurality of items.
[0080]
As described above, the processing in step S1002 described above makes it possible to extract sub-shot sections corresponding to each viewpoint from a plurality of types of camera assignment information.
[0081]
Next, a detailed procedure of the sub-shot layering process in step S1003 will be described with reference to FIG.
[0082]
First, in step S1701, the number of sub-shot sections determined in step S1002 is obtained for each viewpoint, and the result is stored in the hierarchical order list. The hierarchical order list will be described with reference to FIG. FIG. 19 is an example of a hierarchical order list. The hierarchical rank list is composed of viewpoint types and the number of divisions. Hierarchization is performed in order from the first viewpoint type. In the initial value, the viewpoint types are in the order of 1, 2, and 3 ((a) of FIG. 19). This is because it is most common to narrow down the shooting environment (viewpoint type 1), subject (viewpoint type 2), and subject size (viewpoint type 3) when the user searches for a desired section. This is because stratification is usually desirable. In step S1701, the description will be continued assuming that the number of divisions for each viewpoint is stored as in the example shown in FIG.
[0083]
In step S1702, the hierarchical order list is sorted in ascending order by the number of divisions. In the state of (a) of FIG. 19, the order is changed as shown in (b) of FIG. 19 by the process of step S1702. The reason for changing the order in this way is as follows. Depending on the captured video, the subject does not change, only the shooting environment changes frequently, or the subject size hardly changes, only the subject changes frequently and includes many subjects. Exists. In such a case, the upper layer sub-shot can include more lower layer sub-shots by setting the lower division point of view as the upper layer. As a result, when the user searches for a desired section, the user can first narrow down greatly in the upper hierarchy and can quickly reach the desired section. However, when there are the same number of divisions, the order of the initial values is given priority because the state of the initial values is usually a desirable order.
[0084]
In step S1703, 1 is set as an initial value to N. Next, in step S1704, it is checked whether or not the Nth division number in the hierarchical order list is zero. If it is 0, it is not divided from the Nth viewpoint, so the process proceeds to step S1705, N is incremented, and the process proceeds again to step S1704. If it is not 0, the process proceeds to the next step S1706, in which subshot IDs 1401 are assigned in order from the subshot index of the first subshot of the Nth viewpoint type, and each hierarchy 1403 indicates that it is the Nth hierarchy. N to represent is assigned as it is. Next, proceeding to step S1707, it is determined whether N is less than 3. This is an end determination, and in the present embodiment, an example in which only the third hierarchy exists is described. Therefore, the hierarchy process ends when N = 3.
[0085]
In step S 1708, the sub-shot index list in the sub-shot index storage area 1301 having the (N + 1) th viewpoint type is copied to the sub-shot list 1. The sub-shot list 1 is used as a temporary, and includes the same components as the sub-shot / index storage area 1301.
[0086]
In step S1709, X is set to 1 as an initial value, and Y is set to 1 as an initial value. Next, proceeding to step S1710, it is checked whether X is equal to or less than the number of divisions (number of sub-shots) of the Nth layer. That is, it is an end determination as to whether or not the processing from the next step S1711 to step S1716 has been performed for all sub-shots from the Nth viewpoint. While X is equal to or smaller than the Nth division number, the following processes of steps S1711 to S1716 are executed.
[0087]
In step S1711, the section between the Xth subshot of the Nth viewpoint type and the Yth subshot of the subshot list 1 is compared. First, if the Xth subshot section includes the Yth subshot section, the process proceeds to step S1713. This corresponds to the case of FIG. In FIG. 20A, 2001 indicates the Xth sub-shot interval, and 2002 indicates the Y-th sub-shot interval. In step S1713, the sub-shot ID 1401 of the X-th sub-shot is assigned to the Parent ID 1403 of the Y-th sub-shot in order to use the Y-th sub-shot as it is as a sub-shot of the hierarchy below the X-th sub-shot. Then, the process proceeds to step S1714, Y is incremented, and the process returns to step S1711.
[0088]
If it is determined in step S1711 that either the start point or the end point of the Yth sub-shot period is outside the Xth sub-shot period, the process proceeds to step S1712. This corresponds to the case of FIG. In FIG. 20B, 2003 represents the Xth sub-shot section, and 2004 represents the Y-th subshot section. In step S1712, the start point or end point outside the Y-th sub-shot interval is divided in accordance with the X-th sub-shot interval. In FIG. 20 (b), it is divided into a section 2006 on the end point side outside the section and a portion 2005 in the Xth sub-shot section. Note that 2005 is treated as a new Yth sub-shot. Next, the processing from steps S1713 to S1714 is performed (described above).
[0089]
In step S1711, if the Yth subshot section includes the Xth subshot section, the process proceeds to step S1715. This corresponds to (c) of FIG. In FIG. 20C, 2007 indicates the Xth sub-shot section, and 2008 indicates the Y-th subshot section. In this case, since the Xth sub-shot cannot be further divided by the hierarchy below it, in step S1715, the section corresponding to the section of the Xth sub-shot is deleted from the sub-shot list 1 (this embodiment). The purpose of the hierarchization is to gradually narrow down the sub-shot section to reach the desired section, so it is meaningless to provide a lower hierarchy that cannot divide the upper hierarchy section). 2009 is the remaining section, which is treated as the (Y + 1) th section. Then, the process proceeds to step S1716. After incrementing X, the process returns to step S1710.
[0090]
If the Yth sub-shot section is outside the Xth sub-shot section in step S1711, the process proceeds to step S1716. This corresponds to (d) of FIG. Here, 2010 is the Xth sub-shot section, and 2011 is the Yth sub-shot section.
[0091]
Next, returning to FIG. 10, the browsing process from step S1006 to step S1011 will be described.
[0092]
In step S1006, a thumbnail representing each moving image file (shot) is displayed in the display area 901. As a thumbnail representing a shot, for example, a method of using a thumbnail of a sub-shot registered at the top can be considered. However, of course, a method of separately creating a thumbnail for shots may be used. It is only necessary to achieve the purpose of overviewing the contents of the shot. In the present embodiment, thumbnails move from the top line to the bottom line in the display area 9010 in the order of shooting start times described in the file header, and from left to right in the line. Shall be arranged.
[0093]
In step S1007, it is determined whether a sub-shot display instruction has been issued. This can be determined based on whether a shot or sub-shot is designated by the pointer 902 and the sub-shot display buttons 904 and 905 are turned on. However, when the “return” button 905 is turned on during the shot list display, there is an exception, and the display content does not change because it is not possible to move to a higher hierarchy. If neither button 904 nor 905 is ON, step S1008 is skipped and the process proceeds to step S1009.
[0094]
On the other hand, if any of the buttons 904 and 905 is turned on, the process proceeds to step S1008. When the “next” button 904 is turned on, the sub-shot of the lower layer is displayed. When the “return” button 905 is turned on, the sub-shot of the higher layer is displayed. At this time, the status display column 907 displays the current hierarchy and viewpoint so that the user can discriminate.
[0095]
Next, in step S1009, it is determined whether a moving image playback instruction has been issued. This can be determined by whether a specific shot or sub-shot is double-clicked using the pointer 902. If the reproduction instruction has not been given, step S1010 is skipped and the process proceeds to step S1011. If reproduction is instructed, in step S1010, the moving image is reproduced from the head of the designated shot or sub-shot. After reproduction, the display returns to the original shot or sub-shot list display (not shown). Next, in step S1011, it is determined whether termination has been instructed. This can be determined by whether the end button 906 is turned on. If the end is not instructed, the process returns to step S1007 to repeat the above processing. Further, if the end is instructed, this processing is ended.
[0096]
As described above, according to the first embodiment, the user can effectively narrow down by instructing sub-shot selection and sub-shot display, and can quickly reach a desired section (sub-shot). It becomes possible. Therefore, it can be easily used for reproduction or moving image editing.
[0097]
[Second Embodiment]
A second embodiment of the present invention will be described.
[0098]
In the first embodiment, information on sensors and operation units provided in the imaging apparatus 1010 or control information is assigned as camera provision information. In the second embodiment, the camera-attached information that can be extracted by analyzing the imaging data is provided after shooting and used.
[0099]
Since the configuration of the moving image processing device, the configuration of the imaging device 1010, and the like are the same as those in the first embodiment, description thereof will be omitted and only the differences will be described below.
[0100]
FIG. 12 is a block diagram showing a functional configuration of the browser device according to the present embodiment. In FIG. 12, the components 1201 to 1207 are the same as the components 801 to 807 in the first embodiment, and a description thereof will be omitted.
[0101]
Reference numeral 1208 denotes a camera assignment information extraction unit that analyzes video data read from the storage medium 1201 via the reading unit 1202 and extracts camera assignment information that has not been assigned by the imaging apparatus 1010. Here, as an example, it is assumed that panning and tilting are not given by the imaging device 1010.
[0102]
As a method of extracting pan / tilt from video data, the vanishing point of the motion vector is obtained by using the Hough transform, and the vanishing point that obtained the maximum number of votes among the plural vanishing points is set as the vanishing point with respect to the background. There are techniques such as explaining a constraint formula related to pan / tilt. The relationship between pan / tilt and vanishing points and methods for obtaining pan / tilt are detailed in “Kenya Kanaya,“ Image Understanding ”, Morikita Publishing”, etc. As described above, by analyzing the video data, it is possible to further add the obtained camera assignment information and use it in the sub-shot division unit 12030.
[0103]
The pan / tilt information obtained as described above is added to the camera addition information storage area described with reference to FIG. 5, and is used when a sub-shot information storage area as shown in FIG. 14 is generated.
[0104]
[Other Embodiments]
In the first and second embodiments, the image capturing apparatus 1010 and the browse apparatus 1030 are used. However, if the image capturing apparatus 1010 has sufficient processing capability, the function of the browse apparatus 1030 is included in the image capturing apparatus 1010. It may be configured by one device. Even in this case, if the sub-shot information is recorded in the storage medium 1020, the result of the sub-shot division can be used in other devices.
[0105]
In the first and second embodiments, the sub-shot division unit 803, the thumbnail creation unit 807, the user operation unit 804, and the browsing / playback unit 805 are configured as one device, but the sub-shot information in FIGS. Can be configured as separate devices, as long as it is recorded in the storage medium 1020 (801).
[0106]
In the first and second embodiments, the sub-shot division unit 803, the thumbnail creation unit 807, and the camera assignment information extraction unit 1208 are configured on the browse device 1030. However, if the imaging device 1010 has sufficient processing capability. These may be configured on the imaging device 1010. In this case, the browsing apparatus 1030 can perform browsing by recording the sub-shot information of FIGS. 13 and 14 in the storage medium 1020 (storage medium 28).
[0107]
Further, in the first and second embodiments, the camera assignment information (FIGS. 5 and 6) in units of sections is generated during shooting and recorded in the storage medium 1020. However, the imaging device 1010 has sufficient memory and processing capability. If not, camera-attached information in units of frames may be recorded, and processing for grouping the sections later may be performed. At this time, there is a method of storing the camera assignment information in units of frames, such as in an unused area in the management information of image data. Specifically, for example, in the case of an MPEG-2 stream, there is a method of storing in a user area of a picture header. Of course, even if the imaging device 1010 has the ability to record the camera-giving information for each section, the camera-giving information for each frame may be recorded redundantly at the same time. In this way, even if file operations are performed and the camera assignment information for each section is damaged and changes are required, the camera assignment information for each section is created by recalculating the camera assignment information for each frame. It can be corrected.
[0108]
Further, in the first and second embodiments, the camera-giving information and sub-shot information for each section are stored in binary format. However, if the imaging device 1010 has sufficient processing capability, or the browsing device 1030 is used. Of course, a text format or an original DTD (Document Type Definition) may be defined and expressed in an XML (Extensible Markup Language) format or the like. Further, when storing in a format according to MPEG7, it may be stored in Segment DS.
[0109]
Further, in the first and second embodiments, the camera assignment information and the sub-shot information are exchanged via the storage medium 1020. However, a communication unit such as IEEE1394 may be provided and exchanged thereby. Absent.
[0110]
In the first and second embodiments, one shot is used as one moving image file, but a plurality of shots may be used as one moving image file. In this case, it is only necessary to assign an identification number or the like so that each shot can be associated with the camera assignment information and the sub-shot information.
[0111]
In the first and second embodiments, the shooting environment, the subject, and the subject size are increased from the viewpoint of sub-shot division. However, the present invention is not limited to this. For example, whether or not an effect is applied. Various viewpoints can be considered. If the number of divisions increases, the number of hierarchies may be increased accordingly.
[0112]
In the first and second embodiments, the result of sub-shot division is used for browsing. However, if a sub-shot is used as a basic unit and a viewpoint type designation means is provided, video editing, frame printing, digest reproduction, etc. Can be used in various ways. For example, in the case of moving image editing, if a shot to be edited is divided into sub-shots according to viewpoints, the division position can be used for designating In / Out points for editing. In the case of frame printing, for each sub-shot, frame printing candidates can be presented according to viewpoints, for example, by extracting and presenting the center frame of the sub-shot section. In the case of digest playback, digest playback for each designated viewpoint can be performed by playing back the first few seconds of each sub-shot.
[0113]
Further, in the first and second embodiments, the lower layer is not provided because it is not divided at the time of (c) in FIG. For example, if the section corresponding to the lower layer (third layer) below the target sub-shot (second layer) is not divided and is the same section as the target sub-shot, The third level is not provided. In this case, even when the “next” button 904 is pressed during browsing, a warning “no lower layer” is displayed, or the “next” button 904 cannot be pressed in advance. However, a third layer may be provided even in the same section, and when the “next” button 904 is pressed during browsing, only one thumbnail having the same section may be displayed.
[0114]
In the first and second embodiments, the user interface as shown in FIG. 9 is used. However, the present invention is not limited to this. For example, a button or the like that can directly indicate the level of the hierarchy may be provided.
[0115]
In the first and second embodiments, the hierarchization order list is sorted in ascending order by the number of divisions in step S1702, but may be omitted if it is always possible to hierarchize only in a general hierarchization order. Absent. In addition, the user may instruct the hierarchization order in advance. That is, the hierarchical order of each viewpoint in the hierarchical order list in FIG. 19A may be set as desired by the user. Also, it may be possible for the user to specify whether or not to execute the sort processing in step S1702.
[0116]
As described above, according to the present invention, it is possible to divide a moving image into units for each viewpoint and obtain hierarchical sub-shots, and the user repeats sub-shot selection and sub-shot display instructions. This makes it possible to narrow down the sub-shots. As a result, the user can quickly obtain a desired sub-shot.
[0117]
An object of the present invention is to supply a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus, and a computer (or CPU or MPU) of the system or apparatus stores the storage medium. Needless to say, this can also be achieved by reading and executing the program code stored in.
[0118]
In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the storage medium storing the program code constitutes the present invention.
[0119]
As a storage medium for supplying the program code, for example, a floppy (registered trademark) disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile raw memory card, a ROM, or the like is used. be able to.
[0120]
Further, by executing the program read by the computer, not only the functions of the above-described embodiments are realized, but also an OS (operating system) running on the computer is actually executed based on an instruction of the program code. It goes without saying that the case where the functions of the above-described embodiment are realized by performing a part or all of the processing and the processing is included.
[0121]
Further, after the program code read from the storage medium is written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion is performed based on the instruction of the program code. It goes without saying that the CPU or the like provided in the board or the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are realized by the processing.
[0122]
【The invention's effect】
As described above, according to the present invention, it is possible to quickly find a desired place and facilitate reproduction and editing even for a moving image including many changes in the operation and state of the photographing apparatus.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of a moving image processing system according to an embodiment.
FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus according to the embodiment.
3 is a block diagram illustrating a configuration of a system control unit in the imaging apparatus of FIG. 2;
FIG. 4 is a flowchart illustrating a procedure of moving image imaging processing by the imaging apparatus of the embodiment.
FIG. 5 is a diagram illustrating an example of a storage format of camera assignment information.
6 is a diagram showing an example of an internal structure of a camera assignment information item shown in FIG. 5. FIG.
FIG. 7 is a block diagram showing a control configuration of the browsing apparatus according to the embodiment.
FIG. 8 is a block diagram showing a functional configuration of the browse device according to the first embodiment.
FIG. 9 is a diagram illustrating an example of a user interface of the browsing apparatus.
FIG. 10 is a flowchart showing an operation example of the browse device.
FIG. 11A is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 11B is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 11C is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 11D is a flowchart showing a detailed procedure of sub-shot division processing of the browsing apparatus.
FIG. 12 is a block diagram illustrating a functional configuration of a browsing device according to the second embodiment.
FIG. 13 is a diagram illustrating an example of a storage format of sub-shot information according to the embodiment.
14 is a diagram showing an example of an internal structure of a sub-shot index shown in FIG.
FIG. 15 is a diagram illustrating an outline of sub-shot division.
16 is a diagram showing an example of an operation of a display area in the user interface shown in FIG.
FIG. 17 is a flowchart showing a detailed procedure of sub-shot stratification processing of the browsing device.
FIG. 18 is a diagram for explaining an outline of hierarchized sub-shots;
FIG. 19 is a diagram illustrating an example of a hierarchical order list.
FIG. 20 is a diagram illustrating an example of a relationship between sub-shot sections in a hierarchization process;
FIG. 21 is a diagram for explaining general moving image division;

Claims (12)

The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing method,
A generation step of defining an item group composed of a plurality of items selected from the plurality of items, and integrating division information corresponding to the items belonging to the item group to generate integrated division information corresponding to the item group; ,
In the generation step, integrated division information is generated for a plurality of types of item groups, and the division position based on the upper division integrated division information is added to the division position of the lower division integrated division information in accordance with the hierarchical order of the plurality of generated integrated division information. Hierarchization process to
A moving image processing method comprising: a holding step of holding the integrated division information obtained in the hierarchizing step in association with the moving image data.   The moving image processing method according to claim 1, further comprising a setting step of setting a hierarchical order of the plurality of integrated division information based on the number of divisions of each integrated division information.   The moving image processing method according to claim 2, wherein in the setting step, the hierarchical rank of the integrated division information having a small number of divisions is set higher.   The moving image processing method according to claim 1, wherein the hierarchical order of the plurality of integrated division information follows a hierarchical order set in advance for each item group.   The moving image processing method according to claim 1, further comprising a designation step of designating a hierarchical order of the plurality of integrated division information. A holding step of generating and holding a representative image representing each section of the moving image specified by the integrated division information of each layer obtained by the layering step;
The display step of displaying a representative image of a section included in the designated section in a lower hierarchy of the hierarchy when one section of one hierarchy is designated. The moving image processing method described.   The moving image processing according to claim 6, further comprising an execution step of executing a predetermined process for a section of the moving image corresponding to the representative image selected from the representative image displayed in the display step. Method.   2. The moving image processing method according to claim 1, further comprising a storing step of storing the integrated division information obtained in the hierarchizing step in a storage medium in association with the moving image data.   9. The item group according to claim 1, wherein the item group is any one of an environment at the time of photographing, a photographed subject, a subject size at the time of photographing, and an effect given to a moving image. Video processing method. The division information for dividing the moving image generated based on each of the plurality of items of data indicating the shooting state of the moving image processes the moving image data registered so as to be readable for each item. A moving image processing apparatus,
Generating means for defining an item group composed of a plurality of items selected from the plurality of items, and integrating integrated division information corresponding to the items belonging to the item group to generate integrated division information corresponding to the item group; ,
The generation unit generates integrated division information for a plurality of types of item groups, and adds a division position based on the upper division integrated division information to a division position of the lower division integrated division information according to the hierarchical order of the plurality of generated integrated division information. Hierarchization means to
A moving image processing apparatus comprising: holding means for holding the integrated division information obtained by the hierarchizing means in association with the moving image data. Recording medium reading that can by computer a control program stored for executing the moving image processing method according to the computer in any one of claims 1 to 9. A control program for executing the moving image processing method according to the computer in any one of claims 1 to 9.

Images