JP7174894B2 - 映像処理装置、映像処理システム、映像処理方法、及び映像出力装置 - Google Patents

Description

本開示は、映像処理装置、映像処理システム、映像処理方法、及び映像出力装置に関する。

特許文献１は、メイン画像データの再生と並行してメイン画像データに対応付けてサブ画像データの記録を行うビデオ記録再生装置を開示する。同ビデオ記録再生装置は、再生時には、メイン画像データの再生と連動してメイン画像データに対応付けたサブ画像データの再生を行う。

特開平１１－２３８３５９号公報

本開示における映像処理装置は、記憶装置と接続可能な映像処理装置であって、第１の受信部と制御部とを備える。第１の受信部は、時間軸に沿って連続する複数のフレームを含み、複数の被写体であって少なくとも一以上の動く被写体を撮像した主映像を受信する。制御部は、主映像から、複数の被写体のうち第１の被写体を撮像した一以上の副映像を生成する。制御部は、主映像と、同主映像から生成された一以上の副映像を特定する第１の関連付け情報とを含む主映像データを生成する。制御部はまた、一以上の副映像と、同一以上の副映像が生成された主映像を特定する第２の関連付け情報とを含む一以上の副映像データを生成する。制御部は、主映像データと一以上の副映像データとを記憶装置に記憶させる。

本開示における映像処理装置、映像処理システム、映像処理方法、及び映像出力装置は、簡単な操作で多種多様な映像を生成するのに有効である。

図１は、実施の形態１における映像記録システムのブロック図である。 図２は、ＵＭＩＤのデータ構成を示す図である。 図３Ａは、主映像と副映像を関連付けするＵＭＩＤの例を示す図である。 図３Ｂは、主映像と副映像を関連付けするＵＭＩＤの例を示す図である。 図３Ｃは、主映像と副映像を関連付けするＵＭＩＤの例を示す図である。 図３Ｄは、主映像と副映像を関連付けするＵＭＩＤの例を示す図である。 図４Ａは、切出し情報の例を示す図である。 図４Ｂは、切出し情報の例を示す図である。 図５は、符号化されたフレームデータの例を示す図である。 図６Ａは、主映像の表示例を示す図である。 図６Ｂは、主映像における切出し領域の表示例を示す図である。 図７は、実施の形態１における映像記録装置の動作を示すフローチャートである。 図８は、実施の形態１における表示装置の動作を示すフローチャートである。 図９は、実施の形態２における映像記録システムのブロック図である。 図１０は、実施の形態２における映像記録装置の動作を示すフローチャートである。 図１１は、実施の形態２における表示装置の動作を示すフローチャートである。 図１２は、主映像と副映像の表示例を示す図である。 図１３Ａは、切出し候補情報の例を示す図である。 図１３Ｂは、切出し候補情報の例を示す図である。 図１４は、実施の形態３における映像記録システムのブロック図である。 図１５は、実施の形態４における映像記録システムの構成図である。 図１６は、実施の形態５における表示装置のブロック図である。 図１７は、実施の形態５における映像出力装置の動作を示すフローチャートである。 図１８は、実施の形態５における映像出力装置による表示画像を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、実施の形態１に係る映像記録システムについて説明する。

［１－１．構成］
［１－１－１．映像記録システム］
図１は本開示の映像記録システム１の機能ブロック図である。映像記録システム１は、映像記録装置１００と、同映像記録装置１００に接続可能な表示装置２００とを備える。映像記録装置１００は、例えばビデオカメラ等である。表示装置２００は、例えば液晶ディスプレイや有機ＥＬディスプレイ等の表示部を備えたコンピュータ端末である。映像記録装置１００と表示装置２００とは、有線で接続されてもよいし、無線で接続されてもよい。

映像記録システム１は、時間軸に沿って連続する複数のフレームを含み、複数の被写体であって少なくとも一以上の動く被写体を撮像した映像を取得し、その映像の一部であって特定の被写体を含む映像を切り出し、別の映像を生成する。以下、切出される映像を副映像と呼び、副映像が切出された元の映像を主映像と呼ぶ。映像記録システム１は、主映像と副映像とを互いに関連付けて生成、保存する。

［１－１－２．映像記録装置］
映像記録装置１００は、映像入力部１０１と、エンコーダ１０２と、主映像送信部１０３と、切出し情報受信部１０４と、映像切出し部１０５と、エンコーダ１０６と、切出し情報付与部１０７と、ファイル作成部１０８と、ＵＭＩＤ作成部１０９と、ＵＭＩＤ付与部１１０と、メディア１１１とを備える。

映像入力部１０１は、カメラ等の撮像装置により撮像された映像信号を受信する。エンコーダ１０２は、映像入力部１０１から出力された映像信号（以下、主映像信号と呼ぶ）の符号化を行う。主映像送信部１０３は、映像入力部１０１から入力された主映像信号を表示装置２００に送信する。切出し情報受信部１０４は、表示装置２００で作成される切出し情報を受信する。映像切出し部１０５は、切出し情報受信部１０４で受信された切出し情報をもとに副映像信号を作成する。エンコーダ１０６は、映像切出し部１０５から出力された映像信号（以下、副映像信号と呼ぶ）の符号化を行う。なお、以下において、「符号化」とは、圧縮を伴う符号化及び圧縮を伴わない符号化のいずれの意味も含み得る。切出し情報付与部１０７は、切出し情報受信部１０４で受信された切出し情報を、エンコーダ１０２で符号化された主映像データ及びエンコーダ１０６で符号化された副映像データにそれぞれ多重する。ファイル作成部１０８は、切出し情報付与部１０７で切出し情報が付与された主映像データから主映像ファイルを、切出し情報が付与された副映像データから副映像ファイルを作成する。ＵＭＩＤ作成部１０９は、ファイル作成部１０８で作成された主映像ファイル用のＵＭＩＤ（Ｕｎｉｑｕｅ Ｍａｔｅｒｉａｌ Ｉｄｅｎｔｉｆｉｅｒ）と、副映像ファイル用のＵＭＩＤとを作成する。ＵＭＩＤ付与部１１０は、ＵＭＩＤ作成部１０９で作成された主映像用のＵＭＩＤを主映像ファイルに、副映像用のＵＭＩＤを副映像ファイルに付与する。メディア１１１は、ＵＭＩＤが付与された主映像ファイルと副映像ファイルを記録する。

［１－１－３．表示装置］
表示装置２００は、映像受信部２０１と、表示部２０２と、切出し情報設定部２０３と、切出し情報送信部２０４とを備える。

映像受信部２０１は、映像記録装置１００の主映像送信部１０３から送信された主映像信号を受信する。表示部２０２は、映像受信部２０１で受信した主映像信号を表示する。切出し情報設定部２０３は、主映像信号の切出す範囲を設定する。切出し情報送信部２０４は、切出し情報設定部２０３で設定された切出し情報を映像記録装置１００に送信する。

［１－１－４．データフォーマット］
図２はＳＭＰＴＥ３３０Ｍで定義されているＵＭＩＤのデータフォーマットを示す図である。ＵＭＩＤ３００は映像を一意に特定することができる識別子である。ＵＭＩＤ３００は、ユニバーサルラベル３０１と、長さ３０２と、インスタンスナンバー３０３と、マテリアルナンバー３０４を示す情報を含む。ユニバーサルラベル３０１は、ＳＭＰＴＥ３３０Ｍで決められている固定バイト列である、長さ３０２は、インスタンスナンバー３０３以降の長さを示す。インスタンスナンバー３０３は、素材の起源を示し、マテリアルナンバー３０４は機器のＩＤと時間情報から作成される機器固有のバイト列を格納する。

図３Ａから図３Ｄは、図２で示したデータフォーマットの具体例を示す。図３Ａは、副映像のない映像ファイルのために生成されるＵＭＩＤ４００の構成を示す。図３Ｂは、副映像のある主映像ファイルのために生成されるＵＭＩＤ４０１の構成を示す。図３Ｃは、第１の副映像ファイルのために生成されるＵＭＩＤ４０２の構成を示す。図３Ｄは、第２の副映像がある場合に、その第２の副映像ファイルのために生成されるＵＭＩＤ４０３の構成を示す。

図４Ａは、一の切出し情報５００の具体例を示す。図４Ｂは、別の切出し情報５０１の具体例を示す。切出し情報５００、５０１は、主映像において選択された特定の被写体の位置を特定する情報を示す。

図５は、符号化されたフレームデータの具体例を示す。

［１－２．動作］
［１－２－１．映像記録装置の動作］
図７のフローチャートは、映像記録装置１００の映像記録動作を示す。

撮影が開始されると、映像記録装置１００内の映像入力部１０１は主映像送信部１０３に主映像を受信する（ステップＳ１００１）。エンコーダ１０２は、入力した映像（主映像信号）を符号化する（ステップＳ１００２）。

切出し情報受信部１０４は、後述するように、表示装置２００から送信される切出し情報５００（被写体位置情報の一例）を受信した場合（ステップＳ１００３でＹｅｓ）は、ステップＳ１００４へ進む。切出し情報５００は、後述するようにフレーム毎に受信される。

ＵＭＩＤ作成部１０９は、副映像ファイル用に副映像を示すＵＭＩＤ４０２（第２の関連付け情報の一例）を作成する（ステップＳ１００４）。同時に、映像切出し部１０５は、受信した切出し情報５００をもとに受信した主映像から副映像を切出し、生成する（ステップＳ１００５）。

生成された副映像の記録が開始されると、エンコーダ１０６は副映像の符号化を行う（ステップＳ１００６）。切出し情報付与部１０７は、フレーム毎に受信された切出し情報５００と、符号化された副映像データとを多重化する（ステップＳ１００７）。具体的には、切出し情報５００は、図５に示すフレームデータ５１０の一部であるＳＥＩ（Ｓｕｐｐｌｅｍｅｎｔａｌ Ｅｎｈａｎｃｅｍｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ）５１１内のＰａｙｌｏａｄ５１２内に格納される。

映像切出し部１０５による副映像データと切出し情報の多重化処理は、切出し情報５００の受信が終了するまで継続する（ステップＳ１００８）。

映像の入力が終了した場合（ステップＳ１００９でＹｅｓ）、ファイル作成部１０８は、副映像データから副映像ファイルを作成し、メディア１１１に記録する（ステップＳ１０１０）。このとき、ＵＭＩＤ付与部１１０は、ファイル作成部１０８で作成された副映像ファイルにＵＭＩＤ４０２を付与し、メディア１１１に記録する。

一方、符号化された主映像に対し（ステップＳ１００２）、ＵＭＩＤ作成部１０９は、切出し情報を受信していない場合（ステップＳ１０１１でＮｏ）ＵＭＩＤ４００を作成し（ステップＳ１０１２）、切出し情報を受信済みである場合（ステップＳ１０１１でＹｅｓ）ＵＭＩＤ４０１（第１の関連付け情報の一例）を作成する（ステップＳ１０１３）。

切出し情報を受信済みである場合、切出し情報付与部１０７は、フレーム毎に受信された切出し情報５００と、符号化された主映像データと多重化する（ステップＳ１０１４）。

映像の入力が終了した場合（ステップＳ１０１５でＹｅｓ）、ファイル作成部１０８は、主映像データから主映像ファイルを作成し、メディア１１１に記録する（ステップＳ１０１６）。このとき、ＵＭＩＤ付与部１１０は、副映像がある主映像ファイルにはＵＭＩＤ４０１を付与し、副映像がない主映像ファイルにはＵＭＩＤ４００を付与し、メディア１１１に記録する。

［１－２－２．表示装置の動作］
図８のフローチャートは、表示装置２００の表示動作を示す。

表示装置２００は、映像記録装置１００の主映像送信部１０３から送信された主映像を映像受信部２０１で受信した場合（ステップＳ１１０１のＹｅｓ）、図６Ａに示すように表示部２０２で受信した映像が表示される（ステップＳ１１０２）。表示部２０２で表示された映像をもとに、ユーザは、入力操作により、切出し情報５００を切出し情報設定部２０３を介して設定する（ステップＳ１１０３）。具体的には、ユーザは、全体映像８００のうち、所望の被写体を包囲する領域を入力操作により選択する。これにより、図６Ｂに示すように、全体映像８００上に選択された切出し領域８０１が表示される（ステップＳ１１０４）。設定された切出し情報５００は、切出し情報送信部２０４を介してフレーム毎に映像記録装置１００に送信される（ステップＳ１１０５）。

切出し情報送信部２０４から送信された切出し情報５００は、上述のように映像記録装置１００内の切出し情報受信部１０４で受信される。

ユーザの入力を介して切出し領域の設定が解除された場合（ステップＳ１１０６でＹｅｓ）、表示部２０２は図６Ｂに示す切出し領域８０１の表示を解除し、図６Ａに示す表示に戻し、切出し情報送信部２０４は、切出し情報５００の送信を停止する（ステップＳ１１０７）。

映像記録装置１００からの映像の受信が終了した場合（ステップＳ１１０８でＹｅｓ）、処理を終了する。

切出し領域の設定が解除されず（ステップＳ１１０６でＮｏ）、且つ映像の受信が終了しない（ステップＳ１１０８でＮｏ）限り、ステップＳ１１０３からの処理を継続する。なお、所望の被写体が移動する等して新たな切出し領域が入力、設定された場合（ステップＳ１１０３）、新たな切出し領域が表示される（ステップＳ１１０４）。このとき、前の切出し領域は自動的に解除されてもよいし、維持されてもよい。切出し情報設定部２０３により新たな切出し領域に対応する切出し情報（例えば、図４Ｂの５０１）が生成され、映像記録装置１００に送信される。

なお、図７及び図８のフローチャートの各ステップは上記説明された順序通りでなくてもよく、一部のステップを入れ替えてよいし、同時に実行されてもよい。例えば、ＵＭＩＤ４００、４０１、４０２を生成するタイミングは各ファイルの生成時等、他のタイミングであってもよい。

［１－３．特徴等］
上記実施の形態に係る映像記録装置１００によれば、一つの主映像の一部を切り出して副映像を生成し、元の主映像と関連付けて記録するため、簡単な操作で多種多様な映像が生成可能である。すなわち、一つの映像から複数の映像を生成することが可能である。例えば、高解像度の主映像から、その一部を切出した副映像を生成することにより、画質の良好な複数の映像の生成が可能となる。

また、一つの画像から複数の画像を生成することができるため、マルチカメラに相当する映像を一台のカメラで生成することが可能となる。

また、主映像ファイルにＵＭＩＤ４０１、副映像ファイルにＵＭＩＤ４０２が付与されるため、主映像ファイル、副映像ファイルのマテリアルナンバーが同じになり、同時に記録された主映像ファイル、副映像ファイルのペアと認識でき、関連付けを行うことができる。

また、符号化された主映像データと副映像データにそれぞれ切出し情報が多重化されているため、映像データから切出し情報のみ読み出すことが可能となるため、ユーザは映像を再生することなく切出し情報の内容を知ることができる。

また、上記実施の形態においては、一つのカメラで映像を撮りながら、並行して一以上の副映像データを生成することも可能となり、映像の編集作業を迅速且つリアルタイムで行うことができる。

（実施の形態２）
以下、実施の形態２に係る映像記録システム２について説明する。なお、実施の形態１と同様の構成や機能については同じ符号を参照し、説明を省略する場合がある。

［２－１．構成］
［２－１－１．映像記録システム］
図９は本開示の映像記録システム２の構成を示す。実施の形態２に係る映像記録システム２は、映像記録装置６００によって一以上の切出し候補情報を算出し、その算出された切出し候補情報から切出し情報を選択可能な点で、実施の形態１とは異なる。

［２－１－２．映像記録装置］
映像記録装置６００は、映像入力部６０１と、エンコーダ６０２と、主映像送信部６０３と、被写体追尾部６０４と、切出し領域算出部６０５と、切出し候補送信部６０６と、切出し情報受信部６０７と、映像切出し部６０８と、エンコーダ６０９と、切出し情報付与部６１０と、ファイル作成部６１１と、ＵＭＩＤ作成部６１２と、ＵＭＩＤ付与部６１３と、メディア６１４とを備える。

映像入力部６０１は、映像信号を入力する。エンコーダ６０２は、映像入力部６０１から出力された主映像信号の符号化を行う。主映像送信部６０３は、映像入力部６０１から入力された主映像信号を表示装置７００に送信する。被写体追尾部６０４は、映像入力部６０１から出力された主映像信号に含まれる複数の被写体を追尾する。切出し領域算出部６０５は、被写体追尾部６０４によって移動する被写体を包含する領域を算出することにより、後述する一以上の切出し候補情報を作成する。切出し候補送信部６０６は、切出し領域算出部６０５によって算出された一以上の切出し候補情報を表示装置７００に送信する。切出し情報受信部６０７は、表示装置７００で作成される切出し情報を受信する。映像切出し部６０８は、切出し情報受信部６０７で受信された切出し情報をもとに副映像信号を作成する。エンコーダ６０９は、映像切出し部６０８から出力された副映像信号の符号化を行う。切出し情報付与部６１０は、切出し情報受信部６０７で受信された切出し情報をエンコーダ６０２で符号化された主映像データとエンコーダ６０９で符号化された副映像データに多重する。ファイル作成部６１１は、切出し情報付与部６１０で切出し情報が付与された主映像データから主映像ファイルを、切出し情報が付与された副映像データから副映像ファイルを作成する。ＵＭＩＤ作成部６１２は、ファイル作成部６１１で作成された主映像ファイル用と副映像ファイル用のＵＭＩＤを作成する。ＵＭＩＤ付与部６１３は、ＵＭＩＤ作成部６１２で作成された主映像用のＵＭＩＤを主映像ファイルに、副映像用のＵＭＩＤを副映像ファイルに付与する。メディア６１４は、ＵＭＩＤが付与された主映像ファイルと副映像ファイルを記録する。

［２－１－３．表示装置］
表示装置７００は、映像受信部７０１と、表示部７０２と、切出し候補受信部７０３と、切出し候補変換部７０４と、切出し情報設定部７０５と、切出し情報送信部７０６とを備える。

映像受信部７０１は、主映像送信部６０３から送信された主映像信号を受信する。表示部７０２は、映像受信部７０１で受信した主映像信号を表示する。切出し候補受信部７０３は、映像記録装置６００の切出し候補送信部６０６から送信された一以上の切出し候補情報を受信する。切出し候補変換部７０４は、切出し候補受信部７０３で受信した切出し候補情報を変換して表示部７０２に出力する。切出し情報設定部７０５は、表示部７０２の映像をもとに主映像信号の切出す範囲を設定する。切出し情報送信部７０６は、切出し情報設定部７０５で設定された切出し情報を映像記録装置に送信する。

［２－２．動作］
［２－２－１．映像記録装置の動作］
図１０のフローチャートは、映像記録装置６００の映像記録動作を示す。

撮影が開始されると、映像記録装置６００内の映像入力部６０１は主映像送信部６０３に主映像を送信する（ステップＳ２００１）。エンコーダ６０２は、入力した映像（主映像）を符号化する（ステップＳ２００２）。被写体追尾部６０４は、主映像信号に含まれる複数の被写体（例えば図１２に示すように、被写体である鳥を含む切出し領域８０１と被写体である人物を含む切出し領域８０２)を検出する場合（ステップＳ２００３のＹｅｓ）、切出し領域算出部６０５は検出された被写体から被写体の位置を包含する領域を算出し、一以上の切出し候補情報（例えば、図１３Ａの切出し候補情報５００ａと図１３Ｂの切出し候補情報５０１ａ）（被写体位置候補情報の一例）を作成する（ステップＳ２００４）。切出し候補送信部６０６は、切出し領域算出部６０５によって作成された切出し候補情報５００ａ、５０１ａを表示装置７００に送信する（ステップＳ２００５）。

切出し情報受信部６０７は、表示装置７００から送信される切出し情報（例えば、図４Ａに示す切出し情報５００）（被写体位置情報の一例）を受信した場合（ステップＳ２００６でＹｅｓ）は、図７のステップＳ１００４へ移行し、その後は実施の形態１と同様に動作する。すなわち、ＵＭＩＤ作成部６１２は、副映像ファイル用に副映像を示すＵＭＩＤ４０２（第２の関連付け情報の一例）を作成する（ステップＳ１００４）。同時に、映像切出し部６０８は、受信した切出し情報５００をもとに受信した主映像から副映像を切出し、生成する（ステップＳ１００５）。生成された副映像の記録が開始されると、エンコーダ６０９は副映像の符号化を行う（ステップＳ１００６）。切出し情報付与部６１０は、フレーム毎に受信された切出し情報５００を、符号化された副映像データと多重化する（ステップＳ１００７）。映像切出し部６０８による副映像データと切出し情報の多重化処理は、切出し情報５００の受信が終了するまで継続する（ステップＳ１００８）。映像の入力が終了した場合（ステップＳ１００９でＹｅｓ）、ファイル作成部６１１は、副映像データから副映像ファイルを作成し、メディア６１４に記録する（ステップＳ１０１０）。このとき、ＵＭＩＤ付与部６１３は、ファイル作成部６１１で作成された副映像ファイルにＵＭＩＤ４０２を付与し、メディア６１４に記録する。

一方、ステップＳ２００２において主映像信号を符号化した後は、図７のステップＳ１０１１に進み、その後は実施の形態１と同様に動作する。すなわち、符号化された主映像に対し、ＵＭＩＤ作成部６１２は、切出し情報が受信されていない場合（ステップＳ１０１１でＮｏ）ＵＭＩＤ４００を作成し（ステップＳ１０１２）、切出し情報が受信済みである場合（ステップＳ１０１１でＹｅｓ）ＵＭＩＤ４０１（第１の関連付け情報の一例）を作成する（ステップＳ１０１３）。切出し情報が受信済みである場合、切出し情報付与部６１０は、フレーム毎に受信された切出し情報５００を、符号化された主映像データと多重化する（ステップＳ１０１４）。映像の入力が終了した場合（ステップＳ１０１５でＹｅｓ）、ファイル作成部６１１は、主映像データから主映像ファイルを作成し、メディア６１４に記録する（ステップＳ１０１６）。このとき、ＵＭＩＤ付与部６１３は、副映像がある主映像ファイルにはＵＭＩＤ４０１を付与し、副映像がない主映像ファイルにはＵＭＩＤ４００を付与し、メディア６１４に記録する。

［２－２－２．表示装置の動作］
図１１のフローチャートは、表示装置７００の表示動作を示す。

表示装置７００は、映像記録装置６００の主映像送信部６０３から送信された主映像を映像受信部７０１で受信した場合（ステップＳ２１０１のＹｅｓ）、図６Ａに示すように表示部７０２で受信した映像が表示される（ステップＳ２１０２）。

表示装置７００においてはまた、上述の映像記録装置６００の切出し候補送信部６０６から送信された切出し候補情報５００ａ、５０１ａを切出し候補受信部７０３で受信する（ステップＳ２１０３でＹｅｓ）。この場合、切出し候補変換部７０４は切出し候補受信部７０３で受信した切出し候補情報５００ａと切出し候補情報５０１ａから表示部７０２に切出し位置を指示する（ステップＳ２１０４）。この時、図１２に示すように、表示部７０２には、全体映像８００上に、切出し候補情報５００ａに対応する切出し領域８０１と、切出し候補情報５０１ａに対応する切出し領域８０２とが表示される（ステップＳ２１０５）。

表示部７０２で表示された映像をもとに、ユーザは入力操作を介して切出し情報設定部７０５により、切出し候補情報５００ａもしくは切出し候補情報５０１ａを切出し情報として設定する（ステップＳ２１０６でＹｅｓ）。

設定を切出し情報５００にした場合、切出し情報送信部７０６は切出し情報５００を送信する（ステップＳ２１０７）。切出し情報送信部７０６から送信された切出し情報５００は、映像記録装置６００内の切出し情報受信部６０７で受信される。

その後、図８のステップＳ１１０６へ移行し、その後は実施の形態１と同様に動作する。すなわち、ユーザの入力を介して切出し領域の設定が解除された場合（ステップＳ１１０６でＹｅｓ）、表示部７０２は図１２に示す切出し領域８０１の表示を解除し、図６Ａに示すような表示に戻すとともに、切出し情報送信部７０６は、切出し情報５００の送信を停止する（ステップＳ１１０７）。

一方、切出し候補受信部７０３で切出し候補情報を受信しない場合（ステップＳ２１０３でＮｏ）、図８のステップＳ１１０８に進む。映像記録装置６００からの映像の受信が終了した場合（ステップＳ１１０８でＹｅｓ）、処理を終了する。

なお、記録中に切出し情報設定部７０５で切出し候補情報５００ａから切出し候補情報５０１ａに設定を切り替え、切出し情報送信部７０６は切出し情報５０１を映像記録装置６００に送信するようにしてもよい。この場合、切出し情報送信部７０６から送信された切出し情報５０１は、映像記録装置６００内の切出し情報受信部６０７で受信する。受信した切出し情報５０１をもとに映像切出し部６０８は主映像の切出す領域の位置を変更する。切出し情報付与部６１０は、切出し情報受信部６０７で受信された切出し情報５０１をエンコーダ６０２で符号化された主映像データとエンコーダ６０９で符号化された副映像データとそれぞれ多重化する。そして、ファイル作成部６１１は切出し情報が変更された映像データを主映像ファイル、副映像ファイルに記録する。なお、切出し対象の被写体が途中で切り替わった場合、別の副映像データとして生成してもよいし、切り替える前の副映像データに連続して記録し一つの副映像データを生成してもよい。

図１０及び図１１のフローチャートの各ステップは上記説明された順序通りでなくてもよく、一部のステップを入れ替えてよいし、同時に実行されてもよい。例えば、ＵＭＩＤ４００、４０１、４０２を生成するタイミングは各ファイルの生成時等、他のタイミングであってもよい。

［２－３．特徴等］
上記実施の形態においては、実施の形態１の効果等に加えて、一つの映像から切り出すのに適した切出し領域を自動的に検出し、表示されるため、より簡単な操作で一つの映像から多種多様な映像を生成することが可能である。

また、複数の切出し候補情報がある場合、追尾される被写体の動きに応じて切出し対象の変化点も分かるため、切出し対象の切り替え位置を知ることができる。例えば、映像記録装置６００は、被写体を検出できなくなった場合、切出し候補情報の送信を停止する。このタイミングでユーザは別の切出し候補情報を表示装置７００から設定するようにしてもよい。

（実施の形態３）
以下、実施の形態３に係る映像記録システム３について説明する。なお、実施の形態１及び２と同様の構成や機能については同じ符号を参照し、説明を省略する場合がある。

［３－１．構成］
［３－１－１．映像記録システム］
図１４は本開示の映像記録システム３の構成を示す。実施の形態３に係る映像記録システム３は、映像記録装置９００によって複数の切出し領域を算出し、その算出結果に基づいて表示装置１０００から複数の切出し情報を並行して送信する点で、実施の形態１及び２とは異なる。

［３－１－２．映像記録装置］
映像記録装置９００は、映像入力部９０１と、エンコーダ９０２と、主映像送信部９０３と、被写体追尾部９０４と、切出し領域算出部９０５と、切出し候補送信部９０６と、切出し情報受信部９０７と、映像切出し部９０８と、映像切出し部９０９と、エンコーダ９１０と、エンコーダ９１１と、切出し情報付与部９１２と、ファイル作成部９１３と、ＵＭＩＤ作成部９１４と、ＵＭＩＤ付与部９１５と、メディア９１６とを備える。

映像入力部９０１は、映像信号を入力する。エンコーダ９０２は、映像入力部９０１から出力された主映像信号の符号化を行う。主映像送信部９０３は、映像入力部９０１から入力された主映像信号を表示装置１０００に送信する。被写体追尾部９０４は、映像入力部９０１から出力された主映像信号に含まれる複数の被写体を追尾する。切出し領域算出部９０５は、被写体追尾部９０４によって追尾された被写体を包含する領域を算出する。切出し候補送信部９０６は、切出し領域算出部９０５によって算出された複数の切出し情報を表示装置１０００に送信する。切出し情報受信部９０７は、表示装置１０００で作成される切出し情報を受信する。映像切出し部９０８は、切出し情報受信部９０７で受信された一つ目の切出し情報をもとに副映像信号を作成する。映像切出し部９０９は、切出し情報受信部９０７で受信された二つ目の切出し情報をもとに副映像信号を作成する。エンコーダ９１０は、映像切出し部９０８から出力された副映像信号の符号化を行う。エンコーダ９１１は、映像切出し部９０９から出力された副映像信号の符号化を行う。切出し情報付与部９１２は、切出し情報受信部９０７で受信された切出し情報をエンコーダ９０２で符号化された主映像データと、エンコーダ９１０、エンコーダ９１１でそれぞれ符号化された副映像データとを多重化する。ファイル作成部９１３は、切出し情報付与部９１２で切出し情報が付与された主映像データから主映像ファイルを、切出し情報が付与された副映像データから副映像ファイルを作成する。ＵＭＩＤ作成部９１４は、ファイル作成部９１３で作成された主映像ファイル用と副映像ファイル用のＵＭＩＤを作成する。ＵＭＩＤ付与部９１５は、ＵＭＩＤ作成部９１４で作成された主映像用のＵＭＩＤを主映像ファイルに、副映像用のＵＭＩＤを副映像ファイルに付与する。メディア９１６は、ＵＭＩＤが付与された主映像ファイルと副映像ファイルをそれぞれ記録する。

［３－１－３．表示装置］
表示装置１０００は、映像受信部１００１と、表示部１００２と、切出し候補受信部１００３と、切出し候補変換部１００４と、切出し情報設定部１００５と、切出し情報送信部１００６とを備える。

映像受信部１００１は、主映像送信部９０３から送信された主映像信号を受信する。表示部１００２は、映像受信部１００１で受信した主映像信号を表示する。切出し候補受信部１００３は、切出し候補送信部９０６から送信された複数の切出し情報を受信する。切出し候補変換部１００４は、切出し候補受信部１００３で受信した切出し情報を変換して表示部１００２に出力する。切出し情報設定部１００５は、表示部１００２の映像をもとに主映像信号の切出す範囲を設定する。切出し情報送信部１００６は、切出し情報設定部１００５で設定された切出し情報を映像記録装置に送信する。

［３－２．動作］
［３－２－１．映像記録装置の動作］
以下、本実施の形態における映像記録装置９００の動作について、実施の形態１の映像記録装置１００及び実施の形態２の映像記録装置６００の動作と同様に、図７及び図１０を参照しながら説明する。

実施の形態２と同様に、撮影が開始されると、映像記録装置９００内の映像入力部９０１は主映像送信部９０３に主映像を送信する（図１０のステップＳ２００１）。エンコーダ９０２は、入力した映像（主映像）を符号化する（図１０のステップＳ２００２）。

実施の形態２と同様に、被写体追尾部９０４は、例えば図１２に示すように主映像信号に含まれる複数の被写体（この例では、被写体である鳥を含む切出し領域８０１と被写体である人物を含む切出し領域８０２)を検出し、切出し領域算出部９０５は検出された被写体から被写体の位置を包含する領域を算出し、複数の切出し候補情報（ここでは、図１３Ａの切出し候補情報５００ａと図１３Ｂの切出し候補情報５０１ａ）（被写体位置候補情報の一例）を作成する（図１０のステップＳ２００３～Ｓ２００４）。切出し候補送信部９０６は、実施の形態２と同様に、切出し領域算出部９０５によって作成された切出し候補情報５００ａ、５０１ａを表示装置１０００に送信する（図１０のステップＳ２００５）。

切出し情報受信部９０７は、表示装置１０００から送信される複数の切出し情報（例えば、図４Ａに示す切出し情報５００、５０１）（被写体位置情報の一例）を受信した場合（図１０のステップＳ２００６でＹｅｓ）は、図７のステップＳ１００４へ移行する。

ＵＭＩＤ作成部９１４は、副映像ファイル用に副映像を示す複数のＵＭＩＤ４０２、４０３（図３Ｃ、図３Ｄ）（第２の関連付け情報の一例）を作成する（図７のステップＳ１００４）。同時に、映像切出し部９０８、９０９は、受信した切出し情報５００、５０１をもとに受信した主映像から副映像をそれぞれ切出し、生成する（図７のステップＳ１００５）。生成された二つの副映像の記録が開始されると、エンコーダ９１０、９１１はそれぞれの副映像の符号化を行う（図７のステップＳ１００６）。切出し情報付与部９１２は、フレーム毎に受信された切出し情報５００、５０１を、符号化された二つの副映像データとそれぞれ多重化する（図７のステップＳ１００７）。映像切出し部９０８、９０９による副映像データと切出し情報の多重化処理は、切出し情報５００、５０１の受信が終了するまで継続する（図７のステップＳ１００８）。映像の入力が終了した場合（ステップＳ１００９でＹｅｓ）、ファイル作成部９１３は、二つの副映像データから副映像ファイルをそれぞれ作成し、メディア９１６に記録する（図７のステップＳ１０１０）。このとき、ＵＭＩＤ付与部９１５は、ファイル作成部９１３で作成された二つの副映像ファイルにＵＭＩＤ４０２、４０３をそれぞれ付与し、メディア９１６に記録する。

一方、ステップＳ２００２において主映像信号を符号化した後は、図７のステップＳ１０１１に進む。

符号化された主映像に対し（図１０のステップＳ２００２）、ＵＭＩＤ作成部９１４は、切出し情報が受信されていない場合（図７のステップＳ１０１１でＮｏ）ＵＭＩＤ４００を作成し（図７のステップＳ１０１２）、切出し情報が受信済みである場合（図７のステップＳ１０１１でＹｅｓ）ＵＭＩＤ４０１（第１の関連付け情報の一例）を作成する（図７のステップＳ１０１３）。切出し情報が受信済みである場合、切出し情報付与部９１２は、フレーム毎に受信された切出し情報５００、５０１を、符号化された主映像データと多重化する（図７のステップＳ１０１４）。映像の入力が終了した場合（図７のステップＳ１０１５でＹｅｓ）、ファイル作成部９１３は、主映像データから主映像ファイルを作成し、メディア９１６に記録する（図７のステップＳ１０１６）。このとき、ＵＭＩＤ付与部９１５は、副映像がある主映像ファイルにはＵＭＩＤ４０１を付与し、副映像がない主映像ファイルにはＵＭＩＤ４００を付与し、メディア９１６に記録する。

［３－２－２．表示装置の動作］
以下、本実施の形態における表示装置１０００の動作について、実施の形態１の表示装置２００及び実施の形態２の表示装置７００の動作と同様に、図８及び図１１を参照しながら説明する。

表示装置１０００は、映像記録装置９００の主映像送信部９０３から送信された主映像を映像受信部１００１で受信した場合（図１１のステップＳ２１０１のＹｅｓ）、図６Ａに示すように表示部１００２で受信した映像が表示される（図１１のステップＳ２１０２）。

表示装置１０００においてはまた、上述の映像記録装置９００の切出し候補送信部９０６から送信された複数の切出し候補情報５００ａと切出し候補情報５０１ａを切出し候補受信部１００３で受信する（図１１のステップＳ２１０３でＹｅｓ）。この場合、切出し候補変換部１００４は切出し候補受信部１００３で受信した切出し候補情報５００ａと切出し候補情報５０１ａから表示部１００２に対し切出し位置を指示する（図１１のステップＳ２１０４）。この時、図１２に示すように表示部１００２には、全体映像８００上に、切出し候補情報５００ａに対応する切出し領域８０１と、切出し候補情報５０１ａに対応する切出し領域８０２と、が表示される（図１１のステップＳ２１０５）。

表示部１００２で表示された映像をもとに、ユーザは入力操作を介して切出し情報設定部１００５により、切出し候補情報５００ａと切出し候補情報５０１ａを切出し情報として設定する（図１１のステップＳ２１０６でＹｅｓ）。ここでは、ユーザは画面上の切出し領域８０１と８０２とを選択し、この入力操作により切出し候補情報５００ａ、５０１ａが、切出し情報５００、５０１としてそれぞれ設定される。

切出し情報送信部１００６は、切出し情報設定部１００５で設定された切出し情報５００と切出し情報５０１を映像記録装置９００に送信する（図１１のステップＳ２１０７）。切出し情報送信部１００６から送信された切出し情報５００と切出し情報５０１は、映像記録装置９００内の切出し情報受信部９０７で受信される。

その後、図８のステップＳ１１０６へ移行する。ユーザの入力操作を介して切出し領域の設定が解除された場合（図８のステップＳ１１０６でＹｅｓ）、表示部１００２は図１２に示す切出し領域８０１、８０２の表示を解除し、図６Ａに示すような表示に戻すとともに、切出し情報送信部１００６は、切出し情報５００、５０１の送信を停止する（図８のステップＳ１１０７）。なお、切出し領域の設定が解除された場合は、切出し領域８０１、８０２のいずれか一方のみに対して行われてもよい。この場合、切出し情報送信部１００６は、切出し情報５００、５０１のいずれか一方のみの送信を停止する。

一方、切出し候補受信部１００３で切出し候補情報を受信しない場合（図１１のステップＳ２１０３でＮｏ）、図８のステップＳ１１０８に進む。

［３－３．特徴等］
上記実施の形態においては、実施の形態１及び２の効果等に加えて、一つの映像から切り出すのに適した複数の切出し領域を自動的に検出し、同時に選択できるため、より簡単な操作で一つの映像から複数の映像を同時に生成することが可能である。

また、主映像と一つ目の副映像との関連付け、主映像と二つ目の副映像との関連付けを行うことができる。

なお、ここでは切出し情報が二つの例を挙げたが、切出し情報が三つ以上の場合も映像切出し部、エンコーダを増やすことで同様の処理が可能である。

（実施の形態４）
図１５は、上記実施の形態１～３に係る映像記録システム１、２、３（映像処理システムの一例）の構造を概略的に示す図である。符号１０は、実施の形態１～３に係る映像記録装置１００、６００、９００の構成を示し、符号２０は、実施の形態１～３に係る表示装置２００、７００、１０００の構成を示す。

映像記録装置１０（映像処理装置の一例）は、バスで接続された、制御回路であるＣＰＵ１１、ＲＡＭ１２、入出力インターフェース１３（第１の受信部の一例）、通信回路１５を備える。ＣＰＵ１１（制御部の一例）は、所定のプログラムに基づいて、映像記録装置１０内部の各構成要素における処理や信号伝送を制御する。ＲＡＭ１２は、処理に必要なプログラムやデータを記憶する。入出力インターフェース１３（第１の受信部の一例）は、メディア１１１、６１４、９１６等により構成される記憶装置３０に対してデータの入出力を実行する。入出力インターフェース１３はまた、カメラ等の撮像装置５０より映像や音声等のデータを入力する。通信回路１５（第２の受信部の一例）は、表示装置２０等の他の機器と接続され信号の送受信を行う。

ＣＰＵ１１は所定のプログラムを実行することにより、映像切出し部１０５、６０８、９０８、９０９、エンコーダ１０２、１０６、６０２、６０９、９０２、９１０、９１１、切出し情報付与部１０７、６１０、９１２、ファイル作成部１０８、６１１、９１３、ＵＭＩＤ作成部１０９、６１２、９１４、ＵＭＩＤ付与部１１０、６１３、９１５、被写体追尾部６０４、９０４、切出し領域算出部６０５、９０５等の動作及び機能を実行する。また、入出力インターフェース１３は、映像入力部１０１、６０１、９０１に相当する。通信回路１５は、主映像送信部１０３、６０３、９０３、切出し情報受信部１０４、６０７、９０７、切出し候補送信部６０６、９０６に相当する。

表示装置２０（表示装置の一例）は、バスで接続された、制御回路であるＣＰＵ２１、ＲＡＭ２２、通信回路２５、入力装置２７、ディスプレイ２８を備える。ＣＰＵ２１（第２の制御部の一例）は、所定のプログラムに基づいて、表示装置２０内部の各構成要素における処理や信号伝送を制御する。ＲＡＭ２２は、処理に必要なプログラムやデータを記憶する。通信回路２５（第３の受信部の一例）は、映像記録装置１０等の他の機器と接続され信号の送受信を行う。入力装置２７は、タッチパネル、キーボード、マウス等、ユーザの入力操作を受け付ける装置である。ディスプレイ２８（表示部の一例）は、液晶ディスプレイや有機ＥＬディスプレイ等の表示装置である。

ＣＰＵ２１は所定のプログラムを実行することにより、切出し情報設定部２０３、７０５、１００５、切出し候補変換部７０４、１００４等の動作及び機能を実行する。また、通信回路２５は、映像受信部２０１、７０１、１００１、切出し情報送信部２０４、７０６、１００６、切出し候補受信部７０３、１００３に相当する。入力装置２７は、切出し情報設定部２０３、７０５、１００５による切出し情報設定のためのユーザの入力操作を受け付ける。ディスプレイ２８は、表示部２０２、７０２、１００２に相当する。

（実施の形態５）
［５－１．構成］
図１６は、実施の形態５に係る映像出力装置１２００の構成を示す。映像出力装置１２００は、実施の形態１～４の映像記録システム１、２、３によって記録された主映像と、主映像に関連付けられた副映像とを出力し、表示可能に出力させる装置である。

映像出力装置１２００（映像出力装置の一例）は、例えば、コンピュータ端末装置である。映像出力装置１２００は、液晶ディスプレイや有機ＥＬディスプレイ等により構成される表示装置１３００に接続される。なお、映像出力装置１２００と表示装置１３００とは有線又は無線で接続されてもよいし、タブレット端末やラップトップＰＣのように一体型であってもよい。

映像出力装置１２００は、映像受信部１２０１と、制御部１２０３と、入力部１２０５と、出力部１２０７とを備える。映像受信部１２０１は、入力端子や受信機等により構成され、他の機器に記録された映像データを入力する。制御部１２０３（制御部の一例）は、ＣＰＵ等の制御回路やメモリを含み、入力部１２０５からの指令信号や所定のプログラムに基づいて、映像データに対する処理を実行する。入力部１２０５は、キーボード、マウス、タッチパネル等により構成され、ユーザの入力操作を介して指令信号を生成する。出力部１２０７は、出力端子や送信機等により構成され、制御部１２０３により処理された映像データを出力する。

［５－２．動作］
図１７は、映像出力装置１２００及び表示装置１３００の動作を示すフローチャートである。

他の機器に記録された主映像データ又は副映像データが入力されると、出力部１２０７を介して表示装置１３００の画面に表示される（ステップＳ２１０１）。制御部１２０３は、主映像データが入力された場合はそのＵＭＩＤを読み込み関連付けられた副映像データがあるかどうかを判定する（ステップＳ２１０２）。制御部１２０３は、副映像データが入力された場合は、そのＵＭＩＤを読み込み関連付けられた主映像データを判定する（ステップＳ２１０２）。

制御部１２０３は、関連付けられた副映像データ又は関連付けられた主映像データがある場合、多重化されたそれらのデータの切出し情報を読み出し、出力部１２０７を介して表示装置１３００に表示させる（ステップＳ２１０４）。なお、このときの切出し情報表示態様としては、例えば、文字情報であってもよいし、例えば図１２に示すように主映像に対して副映像に相当する切出し領域を表示させてもよい。

制御部１２０３は、ユーザによる入力部１２０５の操作を介して、関連付けられた副映像データ又は関連付けられた主映像データの表示の指令があった場合は、これらの映像データを映像受信部１２０１を介して取得し、出力部１２０７を介して表示装置１３００に表示させる（ステップＳ２１０５）。このとき、表示装置１３００の画面には、図１８に示すように、ステップＳ２１０１で最初に入力された主映像又は副映像と共に、関連付けられた副映像８１、８２又は関連付けられた主映像８０が同時に表示されてもよい。或いは、これらの副映像及び主映像は、ユーザによる入力部１２０５の操作を介して切り替えて表示されるようにしてもよい。制御部１２０３は、関連付けられた副映像又は関連付けられた主映像を、表示停止の指令がない限り表示装置１３００に表示させる（ステップＳ２１０６）。

映像再生の停止があった場合（ステップＳ２１０７でＹｅｓ）、制御部１２０３は、映像の表示処理を終了する。

［５－３．特徴等］
上記実施の形態においては、映像を再生しようとする場合、その映像に関連付けられた副映像又は関連付けられた主映像があるかどうかを表示可能に出力することにより、ユーザは簡単な操作で多様な映像を再生することができる。このため、ユーザによる映像の編集作業を効率化できる。

（その他実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１～５を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。また、上記実施の形態１～５で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

実施の形態１～４にかかる映像記録システムにおいては、撮像と同時に副映像を生成することに限定されない。記録された映像ファイルを読み出しその映像データから副映像を生成するようにしてもよい。

実施の形態１～３においては、映像処理装置の一例である映像記録装置は記憶装置の一例であるメディアを含んでいるが、これに限定されない。記憶装置は映像処理装置とは別に設けられ、映像処理装置と接続されるものであってもよい。記憶装置は遠隔に設けられ、通信回線を介して送信された映像ファイルを記憶するものであってもよい。

実施の形態１～３において、被写体位置情報の一例としてＵＭＩＤを挙げているが、これに限定されず、他の形式による識別子のフォーマットであってもよい。

実施の形態１～３において、映像信号を符号化するエンコーダは、映像入力部に接続される撮像装置に備えられていてもよい。

実施の形態４において映像記録装置１０と表示装置２０は、別のコンピュータ端末として説明したが、一つのコンピュータ端末として構成されていてもよい。また、ＣＰＵ等は複数のＣＰＵを備えていてもよい。

上述した各実施形態の映像記録システムにおける映像記録装置、表示装置、映像出力装置の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウエアを用いて実現されてもよい。

また、上述した各実施形態の映像記録システム、映像記録装置、表示装置、及び映像出力装置による動作は、映像処理方法としても実現される。映像記録装置、表示装置、及び映像出力装置による動作は、映像処理プログラムとしても実現されてもよい。これらの映像処理プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ(Read Only Memory)、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。また、これらの映像処理プログラムは、電気通信回線を介して読み込まれ、実行されてもよい。

本開示は、映像記録システムに適用可能である。具体的には、カメラレコーダ、デジタルスチルカメラに本開示は適用可能である。

１，２，３ 映像記録システム
１０ 映像記録装置
１１ ＣＰＵ
１２ ＲＡＭ
１３ 入出力インターフェース
１５ 通信回路
２０ 表示装置
２１ ＣＰＵ
２２ ＲＡＭ
２５ 通信回路
２７ 入力装置
２８ ディスプレイ
３０ 記憶装置
５０ 撮像装置
１００，６００，９００ 映像記録装置
１０１，６０１，９０１ 映像入力部
１０２，１０６，６０２，６０９，９０２，９１０，９１１ エンコーダ
１０３，６０３，９０３ 主映像送信部
１０４，６０７，９０７ 切出し情報受信部
１０５，６０８，９０８，９０９ 映像切出し部
１０７，６１０，９１２ 切出し情報付与部
１０８，６１１，９１３ ファイル作成部
１０９，６１２，９１４ ＵＭＩＤ作成部
１１０，６１３，９１５ ＵＭＩＤ付与部
１１１，６１４，９１６ メディア
２００，７００，１０００ 表示装置
２０１，７０１，１００１ 映像受信部
２０２，７０２，１００２ 表示部
２０３，７０５，１００５ 切出し情報設定部
２０４，７０６，１００６ 切出し情報送信部
３００ ＵＭＩＤ全体
３０１ ＵＭＩＤ内のユニバーサルラベル
３０２ ＵＭＩＤのインスタンスナンバー以降の長さ
３０３ ＵＭＩＤ内のインスタンスナンバー
３０４ ＵＭＩＤ内のマテリアルナンバー
４００ 主映像のＵＭＩＤ（副映像なし）
４０１ 主映像のＵＭＩＤ（副映像あり）
４０２，４０３ 副映像のＵＭＩＤ
５００，５０１ 切出し情報
５００ａ，５０１ａ 切出し候補情報
６０４，９０４ 被写体追尾部
６０５，９０５ 切出し領域算出部
６０６，９０６ 切出し候補送信部
７０３，１００３ 切出し候補受信部
７０４，１００４ 切出し候補変換部
８００ 全体映像
８０１，８０２ 切出し領域
１２００ 映像出力装置
１２０１ 映像受信部
１２０３ 制御部
１２０５ 入力部
１２０７ 出力部
１３００ 表示装置

Claims (10)

1. 記憶装置と接続可能な映像処理装置であって、
   時間軸に沿って連続する複数のフレームを含み、複数の被写体であって少なくとも一以上の動く被写体を撮像した主映像を受信する第１の受信部と、
   前記主映像から、前記複数の被写体のうち一以上の被写体を撮像した一以上の副映像を生成する制御部と、
   を備え、
   前記制御部は、
   前記複数の被写体の各位置を特定する被写体位置候補情報を生成し、
   前記主映像と、前記主映像から生成された前記一以上の副映像を特定する第１の関連付け情報とを含む主映像データを生成し、
   前記一以上の副映像と、前記一以上の副映像が生成された前記主映像を特定する第２の関連付け情報とを含む一以上の副映像データを生成し、
   前記主映像データと前記一以上の副映像データとを前記記憶装置に記憶させ、
   前記副映像は、表示装置に表示される前記被写体位置候補情報から選択される被写体位置情報に基づき生成され、
   前記被写体位置情報は、前記表示装置に表示された被写体位置候補情報からユーザによる選択によって決定され、
   前記制御部は、前記被写体位置情報と、符号化された前記主映像及び前記一以上の副映像のそれぞれとを多重化して前記主映像データと前記一以上の副映像データとを生成する、
   映像処理装置。
2. 前記複数の被写体は第１の被写体と第２の被写体とを含み、
   前記一以上の副映像は、前記第１の被写体を含む第１の副映像と、前記第２の被写体を含む第２の副映像とを含む、
   請求項１に記載の映像処理装置。
3. 前記第１の副映像と前記第２の副映像は、少なくとも一部が前記複数のフレームのうち共通するフレームから生成されたものである、
   請求項２に記載の映像処理装置。
4. 前記第１の副映像と前記第２の副映像は、前記複数のフレームのうち異なるフレームから生成されたものである、
   請求項２に記載の映像処理装置。
5. 前記一以上の副映像データは、前記第１の副映像と前記第２の副映像とが連続する一つの副映像データである、
   請求項２に記載の映像処理装置。
6. 前記第１の関連付け情報及び前記第２の関連付け情報は、ＵＭＩＤにより構成される、請求項１に記載の映像処理装置。
7. 請求項１に記載の映像処理装置と、
   前記映像処理装置に接続可能な表示装置と、
   を備え、
   前記表示装置は、
   前記映像処理装置より前記主映像を受信する第３の受信部と、
   前記主映像を表示する表示部と、
   前記表示部に表示された前記主映像に基づき、前記被写体位置情報を生成する第２の制御部と、
   を含む、
   映像処理システム。
8. 前記第３の受信部は更に、前記映像処理装置から前記複数の被写体の各位置を特定する被写体位置候補情報を受信し、
   前記第２の制御部は、ユーザの操作を受け付け前記被写体位置候補情報から前記被写体位置情報を選択する、
   請求項７に記載の映像処理システム。
9. 時間軸に沿って連続する複数のフレームを含み、複数の被写体であって少なくとも一以上の動く被写体を撮像した主映像を受信し、
   前記主映像から、前記複数の被写体の各位置を特定する被写体位置候補情報を生成し、
   表示装置に前記被写体位置候補情報を表示させ、
   前記表示装置に表示された前記被写体位置候補情報からユーザによる被写体位置情報の選択を受け付け、
   ユーザによって選択された前記被写体位置情報に基づき前記一以上の副映像を生成し、
   前記主映像と、前記主映像から生成された前記一以上の副映像を特定する第１の関連付け情報とを含む主映像データを生成し、
   前記一以上の副映像と、前記一以上の副映像が生成された前記主映像を特定する第２の関連付け情報とを含む一以上の副映像データを生成し、
   前記主映像データと前記一以上の副映像データとを記憶装置に記憶され、
   前記主映像データと前記一以上の副映像データとは、前記被写体位置情報と、符号化された前記主映像及び前記一以上の副映像のそれぞれとを多重化して生成される、
   映像処理方法。
10. 時間軸に沿って連続する複数のフレームにより構成され複数の被写体であって少なくとも一以上の動く被写体を撮像した主映像を含む主映像データと、前記主映像から生成され前記複数の被写体のうち第１の被写体を撮像した一以上の副映像を含む副映像データとを受信する受信部と、
    前記主映像データと前記副映像データとを表示装置に表示可能に出力する制御部と、
    を備え、
    前記受信部は前記複数の被写体の各位置を特定する被写体位置候補情報を受信し、
    前記制御部は、
    表示装置に前記被写体位置候補情報を表示させ、
    前記表示装置に表示された前記被写体位置候補情報からユーザによる被写体位置情報の選択を受け付け、
    前記主映像データは、前記主映像から生成された前記一以上の副映像を特定する第１の関連付け情報を含み、
    前記副映像データは、前記一以上の副映像が生成された前記主映像を特定する第２の関連付け情報を含み、
    前記主映像データと前記一以上の副映像データとは、前記被写体位置情報と、符号化された前記主映像及び前記一以上の副映像のそれぞれとを多重化して生成され、
    前記制御部は、前記主映像データを出力する場合は前記第１の関連付け情報を表示可能に出力し、前記副映像データを出力する場合は前記第２の関連付け情報を表示可能に出力し、
    前記副映像は、ユーザによって選択された前記被写体位置情報に基づき生成される、
    映像出力装置。

Images