JP6588801B2 - 画像処理装置、画像処理方法、及び、プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。

近年、デジタルビデオカメラや動画撮影機能付きデジタルカメラの普及により、動画データを扱う機会が増加している。これに伴い、様々な動画編集アプリケーションが提供されている。こうした動画編集の１つに、複数の動画を組み合わせて１つの動画を生成する編集がある。例えば、特許文献１では、異なるフレームレートを持つ複数の動画を結合編集する際に、フレームレートの互換性が取れるように、一方のフレームレートを変換する方法を開示する。

特開２００８−２７８４９２号公報

特許文献１が開示する方法では、異なるフレームレートの動画を結合する場合、変換元の符号化データを一旦復号してから変換先のフレームレートに従って再符号化していた。このように対象となる符号化データの全体を復号し、再符号化する処理を編集の度毎に行うと、処理時間が膨大となり処理の効率化を図ることが困難になってしまう。

そこで本発明は、異なるフレームレートの動画を結合編集する場合に効率的な処理を可能にすることを目的とする。

上記課題を解決するための本発明は、時間的な階層構造を有するピクチャで構成される第１の動画と第２の動画とを結合して第３の動画を生成する画像処理装置であって、
前記第１の動画と前記第２の動画の時間的な階層構造を比較する比較手段と、
前記比較により前記時間的な階層構造が不一致と判定された場合に、前記第２の動画が有する時間的な階層構造を前記第１の動画が有する時間的な階層構造と一致させるように前記第２の動画を変換する変換手段と、
前記第１の動画と、前記変換手段が変換した前記第２の動画とを結合して前記第３の動画を生成する結合手段とを備え、
前記変換手段は、前記第２の動画の変換を、該第２の動画の復号を伴わずに該第２の動画が有するピクチャ数を増加、または、減少させることにより行い、
前記時間的な階層構造における各階層は、フレームレートと関連づけられ、
前記時間的な階層構造が不一致の場合とは、前記時間的な階層構造に含まれる階層の数が異なる場合と、前記時間的な階層構造に含まれる各階層と関連づけられたフレームレートが異なる場合との少なくともいずれかの場合であり、
前記第１の動画と、前記第２の動画とが有する前記時間的な階層の最下位の階層のフレームレートが異なっている場合に、前記変換手段は、前記第２の動画の最下位の階層のフレームレートを変更して、前記第１の動画の最下位の階層のフレームレートと一致させた後、前記第２の動画の変換を行うことを特徴とする。

本発明によれば、異なるフレームレートの動画を結合編集する場合に効率的な処理が可能となる。

発明の実施形態に対応する動画符号化装置の構成例を示すブロック図。 発明の第１の実施形態に対応する処理の一例を示すフローチャート。 発明の第１の実施形態に対応する、編集対象動画のフレームレートを変更する処理の一例を説明する図。 発明の第１の実施形態に対応する、編集対象動画のフレームレートを変更する処理の他の例を説明する図。 発明の第２の実施形態に対応する処理の一例を示すフローチャート。 発明の第２の実施形態に対応する、編集対象動画の最下位の階層を基準動画と一致させるための処理の一例を説明する図。 発明の第２の実施形態に対応する、再符号化により動画の時間的階層構造を再構成する例を説明する図。 発明の第２の実施形態に対応する、編集対象動画のフレームレートを変更する処理の他の例を説明する図。

以下、図面を参照して、本発明の実施形態を詳細に説明する。

［実施形態１］
図１に本発明の第１の実施形態に対応する動画符号化装置の構成例を示す。図１に示す動画符号化装置は、入力される映像信号に対して符号化処理を施して記録する他、記録した複数の符号化データの結合編集が可能となっている。当該動画符号化装置は、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末などの任意の情報処理端末或いは撮像装置として実現することもできる。なお、図１は、デジタルカメラ等として機能する場合を考慮して撮像部１０２を含む構成を示した。しかし、発明の実施形態として、フレームレートや時間的階層構造の異なる動画を結合編集するための画像編集装置、或いは、画像処理装置として、撮像部１０２を有しない構成で実現してもよい。

図１を参照しながら、本実施形態の動画符号化装置１００によるＨ．２６５規格に基づいて符号化した複数の動画の結合編集処理について説明する。なお、本実施形態ではＨ．２６５規格に基づいた符号化方式を例に説明するが、Ｈ．２６４等の他の時間スケーラブル符号化方式にも適用可能である。

図１に示す操作部１０１は、ユーザの指令を受け付け、指令に応じた制御信号を生成し、ＣＰＵ１０３に供給する。例えば、操作部１０１は、ユーザ指令を受け付ける入力デバイスとして、ボタンやタッチパネル等からなる。撮像部１０２は、ＣＭＯＳイメージセンサなどの撮像素子とＡ／Ｄ変換器を含んで構成される。撮像素子は、操作部１０１からの記録指示に従って被写体を撮影して得られた光学像を光電変換してアナログ画像信号を出力し、Ａ／Ｄ変換器が当該画像信号をＡ／Ｄ変換して画像データを生成する。画像データは、メモリ１０４に出力され、記憶される。ＣＰＵ１０３は、操作部１０１から入力される制御信号に基づき、本実施形態に対応する動画符号化装置１００を構成する各処理部を制御する。メモリ１０４は、撮像部１０２から出力された画像データや、符号化部１０５または、復号化部１０６による処理後の動画データなどを一時的に記憶する。また、メモリ１０４には、ＣＰＵ１０３のワークメモリとしても機能し、さらに後述する各種の処理を実行させるためのプログラムやデータも格納している。

符号化部１０５は、メモリ１０４に記憶された画像データを、時間スケーラブル符号化方式に従って符号化する。所定画素ブロック単位に画面内又は画面間予測符号化を行い、直交変換、量子化を行い、量子化されたデータをエントロピー符号化して符号化データを生成する。ここで、編集性の高い符号化データを生成するアプローチの１つとして、本実施形態では時間スケーラブル符号化により符号化データを生成する。時間スケーラブル符号化では、予めフレームレートに時間的な階層構造に基づくスケーラビリティを持たせることで、１つの符号化データから複数のフレームレートの動画像が生成できる。

例えば、１２０ｆｐｓのフレームレートを有する符号化データの場合、当該符号化データを構成するピクチャが属する時間的階層（時間レイヤ、或いは、レイヤ）として、３０ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓのそれぞれのフレームレートに対応する階層を有することができる。また、当該階層構造では、上下に隣接し合う階層のフレームレートにつき、上位の階層のフレームレートが下位の階層のフレームレートの２倍となるように各階層の位置関係が決定される。より具体的に、例えば１２０ｆｐｓを構成する動画の１秒に相当する１２０枚のピクチャのうち、３０枚が最下位の階層である３０ｆｐｓのフレームレートと関連づけられた第１の階層に属することとなる。また、第１の階層の１つ上位の階層である６０ｆｐｓのフレームレートと関連づけられた第２の階層には３０枚のピクチャが属することとなる。これにより、第１の階層と第２の階層とを合わせて６０枚のピクチャとなり、６０ｆｐｓのフレームレートを達成することができる。更に、第２の階層の１つ上位の階層である１２０ｆｐｓのフレームレートと関連づけられた最上位の階層である第３の階層には残りの６０枚のピクチャが属することとなる。これにより、第１から第３の階層までのピクチャを統合して１２０枚のピクチャとなり１２０ｆｐｓのフレームレートを達成することができる。

ただし、時間スケーラブル符号化では、各ピクチャの画像参照構造が階層的になるように符号化を行い、ピクチャ間の画像参照関係は、必ず自身のレイヤよりも上位の時間レイヤの画像を参照しないように制限した上で、各ピクチャに対して時間レイヤ情報を付加する。よって、上記例では、６０ｆｐｓの第２の階層に属するピクチャは第１の階層に属するピクチャしか参照できない。また、１２０ｆｐｓの第３の階層に属するピクチャは、第１又は第２の階層に属するピクチャしか参照できない。符号化部１０５は、生成した符号化データをメモリ１０４に書き込む。

復号化部１０６は、メディア１０８に記録された符号化データを読み込み、エントロピー復号化する。そして、逆量子化、逆直交変換を行い、復号した画像データをメモリ１０４に書き出す。復号した画像データは、ＣＰＵ１０３の指示に基づき、表示部１０７等に供給し、表示することができる。表示部１０７は、編集の進捗状況や、復号化部１０６で復号した画像データを表示するディスプレイである。メディア１０８は、ハードディスクドライブ、または不揮発性メモリ等で構成される記憶媒体であって、符号化データが記録される。内部バス１０９は、本実施形態に対応する動画符号化装置１００を構成する各処理部を接続するインターコネクト・バスである。

本実施形態の動画符号化装置１００は、以上のように構成される。また、本実施形態における動画符号化装置１００は、複数の動画の結合編集が可能となっており、以下の様に動作する。

まず、ユーザが操作部１０１を介して編集開始の指示が入力すると、編集対象の候補となる動画の一覧画面が表示部１０７に表示される。ユーザは操作部１０１を操作して、表示された候補の中から編集対象とする動画を選択することができる。編集対象動画が選択されると、ＣＰＵ１０３は、メディア１０８に記録した動画の中から、ユーザが指定する編集対象となる動画のフレームレート情報と時間レイヤ情報を取得する。ここで、ユーザは操作部１０１を介して、編集対象として選択した動画の中からフレームレート互換性基準となる動画（以下、「基準動画」ともいう）を更に選択する。フレームレート互換性基準となる動画とは、編集対象動画の間でフレームレートが異なる場合に行うフレームレート変換において基準となる動画である。その後ＣＰＵ１０３は、編集対象動画のデータをメモリ１０４に書き出し、結合編集処理を開始する。結合編集処理が終了すると、ＣＰＵ１０３は、結合編集した動画データをメモリ１０４に書き出し、メディア１０８に記録する。

なお、結合編集処理では、編集対象となる動画間でフレームレートおよび時間レイヤ構造が異なる場合、編集対象となる動画の間でフレームレートの互換性を取る必要がある。そこで、本実施形態では、フレームレート互換性基準となる動画を除いた編集対象となる動画の時間レイヤ構造を変換してフレームレートの変換を行い、結合編集処理を実行する。

以下、本実施形態に対応する結合編集処理の詳細について図２に示すフローチャートを参照して説明する。以下では、ＣＰＵ１０３が行う複数の動画の結合編集において、動画間のフレームレートが異なる場合の時間レイヤ構造の変換方法について特に詳細に説明する。図２のフローチャートに対応する処理は、例えば、結合編集処理部として機能するＣＰＵ１０３が対応するプログラム（メモリ１０４に格納）を実行することにより実現できる。

まず、Ｓ２０１において、編集対象としてユーザが選択した各動画のフレームレートと時間レイヤ構造の情報を、該動画を保存するメディア１０８から取得する。フレームレート（ｆｐｓ）は、ファイルフォーマット中に動画情報として埋め込まれている場合、ファイルフォーマットを参照することによって取得することが可能である。また、符号化データのヘッダ部のHRD parameters syntaxに含まれる、num_units_in_tickと、time_scaleから算出し、取得することも可能である。一方、時間レイヤ情報を取得する方法は、符号化データのヘッダ部のnal_unit_header Syntaxに含まれるnuh_temporal_ID_plus1から判別する方法や、VPS(Video Parameter Set) Syntaxに含まれるvps_MAX_sub_layers_minus1から取得する方法や、SPS( Sequence Parameter Set) Syntaxに含まれるsps_MAX_sub_layers_minus1から取得することが可能である。ここでは、編集対象となる動画のフレームレートと時間レイヤ構造との関係は以下の通りである。なお、Temporal ID（時間ＩＤ）は時間レイヤ番号を表す指示子である。
i)フレームレート：３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝３０ｆｐｓ
ii) フレームレート：６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１＝６０ｆｐｓ
iii) フレームレート：１２０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１＝６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ２＝１２０ｆｐｓ

次にＳ２０２では、Ｓ２０１で編集対象として選択した動画の中から、フレームレートの互換性を持たせるうえで基準となる基準動画をユーザが選択する。以下に説明する例では、上記３つの動画の中から６０ｆｐｓの動画が基準動画として選択されたものとする。なお、フレームレート互換性基準（以下、単に「基準」ともいう。）となる動画の選択は、操作部１０１を介したユーザ指示に従うだけでなく、例えば編集対象となる動画の中でフレームレートの最も高い動画や、フレームレートの最も低い動画を基準として自動的に選択してもよい。また、選択された編集対象画像のフレームレートが不一致の場合にのみ実行してもよい。なお、選択方法自体が発明の本質的特徴ではないので、上述以外の方法であってもよい。

Ｓ２０３では、フレームレート変換対象となる動画（以下、「変換対象動画」ともいう）のフレームレート（以下、「FRc」という）と、基準動画のフレームレート（以下、「FRr」という）とで、フレームレートが等しいかどうかを判定する。FRcとFRrとが等しい場合、Ｓ２０８に処理を進め、異なる場合は、Ｓ２０４に処理を進める。

Ｓ２０４では、FRcとFRrとで、フレームレートの大小比較を行う。FRcの方が小さい場合、Ｓ２０５に処理を進め、大きい場合には、Ｓ２０６に処理を進める。ここでは、基準動画は６０ｆｐｓと設定している。従って、３０ｆｐｓの動画は、Ｓ２０５に処理を進め、また、１２０ｆｐｓの動画は、Ｓ２０６に処理を進める。

Ｓ２０５では、変換対象動画のフレームレートFRcが、基準動画のフレームレートFRｒより小さい場合のフレームレート変換処理及び時間レイヤ構造変換処理を行う。具体的には、フレーム補間によってフレームレートを増加させる処理で、先頭ピクチャからピクチャ毎に直前に表示されるピクチャを繰り返して表示するピクチャデータ（以下、「コピーピクチャデータ」という）を生成し挿入する。即ち、同一内容のピクチャが２回ずつ表示されるように編集することで、３０ｆｐｓの動画が６０ｆｐｓの動画にアップコンバートされる。なお、コピーピクチャデータは、フレームレート不足を補うための補間データで、そのデータ構成はＰピクチャもしくはＢピクチャの形式で、直前のピクチャを参照し、そのまま保持する符号化データである。これらのコピーピクチャデータは、時間レイヤ指示子であるＴｅｍｐｏｒａｌＩＤを、コピーピクチャ参照元のＴｅｍｐｏｒａｌＩＤ＋１の上位時間レイヤとして扱う。ここでＳ２０５処理は、３０ｆｐｓの動画を６０ｆｐｓの動画に変換する処理であって、Ｓ２０５処理によって変換した時間レイヤ構造を図３に示す。

図３（ａ）は３０ｆｐｓを有する変換対象動画に対してコピーピクチャデータを挿入して、フレームレートを６０ｆｐｓに向上させる例を示している。ここでは、３０ｆｐｓのフレームレートを構成する各ピクチャのコピーピクチャがＰピクチャとして生成され、それぞれ生成元となったピクチャを参照している。なお、図３では簡単のためにＰピクチャのみで生成しているが、Ｂピクチャとして生成してもよい。生成されたコピーピクチャのTemporal IDは、元のピクチャのTemporal IDである０よりも1つ上のレイヤを示す値として１となる。図３（ｂ）は、図３（ａ）のような変換処理を行う際の基準動画の一例を示しており、ここでは６０ｆｐｓの動画が示されている。

次にＳ２０６では、変換対象動画のフレームレートＦＲｃが、基準動画のフレームレートＦＲｒより大きい場合のフレームレート変換及び時間レイヤ構造変換処理を行う。具体的には、ピクチャ破棄によってフレームレートを減少させる処理で、先頭ピクチャからピクチャ毎に基準動画のフレームレートより高い上位時間レイヤのピクチャを破棄する。ここでは、１２０ｆｐｓの動画を６０ｆｐｓの動画に変換する処理であって、Ｓ２０６処理によって変換した時間レイヤ構造を図４に示す。

図４（ａ）は１２０ｆｐｓを有する変換対象動画に対してピクチャを破棄してフレームレートを６０ｆｐｓに減少させる例を示している。ここでは、基準動画のフレームレートが６０ｆｐｓであるので、１２０ｆｐｓ（Temporal ID=2）の時間レイヤに属するピクチャが破棄されている。図４（ｂ）は、図４（ａ）のような変換処理を行う際の基準動画の一例を示しており、ここでは６０ｆｐｓの動画が示されている。

Ｓ２０７では、Ｓ２０５もしくはＳ２０６でフレームレート変換対象となる動画が時間レイヤ構造を再構成したことによって変更したフレームレート情報と時間レイヤ情報を更新する。フレームレートに関しては、符号化データのヘッダ部のHRD parameters syntaxに含まれる、num_units_in_tickと、time_scale等の情報を更新する。また時間レイヤ情報に関しては、符号化データのヘッダ部のnal_unit_header Syntaxに含まれるnuh_temporal_ID_plus1、VPS(Video Parameter Set) Syntaxに含まれるvps_MAX_sub_layers_minus1、SPS( Sequence Parameter Set) Syntaxに含まれるsps_MAX_sub_layers_minus1等の情報を更新する。

続くＳ２０８では、変換対象動画のフレームレート変換が全て終わったかどうかを判定する。もし、変換対象動画の全てについて処理が終わっている場合は、Ｓ２１０に処理を進め、終わっていない場合は、Ｓ２０９へ処理を進める。ここで変換対象動画とは、基準動画を除いた全ての編集対象動画を指す。ここでは基準動画以外の編集対象動画が２つなので、Ｓ２０３からＳ２０７までの処理を２回実行することとなる。続くＳ２０９では、未処理の変換対象動画を選択するし、Ｓ２０３に戻って処理を繰り返す。一方、未編集の変換対象動画が存在せず、全てについて変換処理が終了している場合はＳ２１０において、編集対象となる動画を結合して１つの動画ファイルを生成する。そして、時間レイヤ構造を再構成したことによって変更したフレームレート情報をファイルフォーマット中に記録する。

以上のように、動画符号化装置１００は、時間スケーラブルに符号化した複数の動画間でフレームレートが異なる場合、動画の復号を行わず、該動画に含まれるピクチャ数を増加、又は、減少させることにより時間レイヤ構造変換を行ってフレームレートの互換性を取る。まず、メディア１０８に保存されている編集対象となる動画のフレームレートと時間レイヤ構造を取得し、編集対象となる動画の中から、フレームレートの互換性を持たせる基準となる動画を選択する。そして、編集対象となる動画は、フレームレートの互換性基準となる動画と同一の時間レイヤ構造となるように時間レイヤ構造を再構成することで、フレームレートの互換性を持った動画が生成できる。また、フレームレート変換処理には、ピクチャ間の画像参照関係を変更することがないため、再符号化処理が不要な結合編集が可能となる。

［実施形態２］
次に発明の第２の実施形態について説明する。本実施形態に対応する動画符号化装置の構成は、図１の動画符号化装置と同様であるため、その構成に関わる説明は省略する。上述の第１の実施形態では、編集対象動画の最下位時間レイヤのフレームレートが等しい場合を説明した。これに対し、本実施形態では、編集対象動画の最下位時間レイヤのフレームレートが異なる場合の時間レイヤ構造変換方法について説明する。本実施形態ではフレームレート変換対象となる動画の最下位時間レイヤが示すフレームレートが、フレームレート互換性基準となる動画の最下位時間レイヤが示すフレームレートよりも大きい場合は、再符号化によって時間レイヤ構造を変換する。その一方で、フレームレート変換対象となる動画の最下位時間レイヤが示すフレームレートが、フレームレート互換性基準となる動画の最下位時間レイヤが示すフレームレートよりも小さい場合は、ＴｅｍｐｏｒａｌＩＤの書き換えと、ヘッダ情報の書き換えのみで時間レイヤ構造の変換処理を行う。

以下、本実施形態に対応する変換処理の詳細を図５に示すフローチャートを参照して説明する。図５のフローチャートに対応する処理は、例えば、結合編集処理部として機能するＣＰＵ１０３が対応するプログラム（メモリ１０４に格納）を実行することにより実現できる。なお、本実施形態は、第１の実施形態の処理を包含しつつ、最下位時間レイヤのフレームレートを統一する処理が含まれる。そこで、主として本実施形態特有の処理について詳細に説明し、第１の実施形態と同様の処理に関しては説明を省略する。

まず、Ｓ５０１では、編集対象となる動画を選択し、各動画のフレームレートと時間レイヤ構造を取得する。当該処理は第１の実施形態のＳ２０１に相当する。ここでは、編集対象となる動画のフレームレートと時間レイヤ構造との関係は以下に示す通りである。
i) フレームレート：６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１＝６０ｆｐｓ
ii) フレームレート：１２０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１＝１２０ｆｐｓ
iii) フレームレート：２４０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０＝１２０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１＝２４０ｆｐｓ

Ｓ５０２では、Ｓ５０１で編集対象として選択した動画の中から基準動画を選択する。当該処理は第１の実施形態のＳ２０２に相当する。ここでは、フレームレートが１２０ｆｐｓの動画を基準動画として選択するものとする。続くＳ５０３では、変換対象動画の再下位時間レイヤのフレームレート（以下、「FRc_low」という）と、基準動画の最下位時間レイヤのフレームレート（以下、「FRr_low」という）が等しいかどうかを判定する。FRc_lowとFRr_lowとがが等しい場合はＳ５０８に処理を進め、異なる場合にはＳ５０４に処理を進める。ここでは、FRc_lowはいずれもFRr_lowと異なるためＳ５０４に処理を進める。

Ｓ５０４では、変換対象動画のFRc_lowと基準動画のFRr_lowとで大小比較を行う。FRr_lowよりFRc_low1の方が小さい場合、Ｓ５０５に処理を進め、大きい場合にはＳ５０６に処理を進める。上記例では基準動画は１２０ｆｐｓなのに対し、６０ｆｐｓの変換対象動画のFRc_lowは３０ｆｐｓであるため、Ｓ５０５に進む。一方、２４０ｆｐｓの変換対象動画のFRc_lowは１２０ｆｐｓであるため、Ｓ５０６に進む。

続くＳ５０５では、Temporal IDの書き換えにより、変換対象動画のFRc_lowを基準動画のFRr_lowに合わせる。これは、後の結合編集時に時間レイヤ指示子であるTemporal IDが異なることで、動画の各時間レイヤが示すフレームレートの整合が取れないことを防ぐための処理である。上記の例で、変換対象となるのは６０ｆｐｓの動画である。即ち、Temporal ID = 1の時間レイヤに含まれる各ピクチャをTemporal ID = 0に書き換え、Temporal ID = 0とTemporal ID = 1の時間レイヤを統合することで、最下位時間レイヤが示すフレームレートを６０ｆｐｓに変換する。Ｓ５０５の処理によって再構成した時間レイヤ構造を図６に示す。図６（a）は、書き換え前にTemporal ID=1の時間レイヤに含まれていたPピクチャが、Temporal ID = 0の時間レイヤに書き換えることを示している。この書き換えの結果、図６（ｂ）に示すようにTemporal ID = 0が示す時間レイヤのフレームレートが６０ｆｐｓとなる。

また、時間レイヤ構造の変更に伴い、符号化データのヘッダ部のnal_unit_header syntaxに含まれるnal_unit_type（ＮＡＬユニットの種類を表す識別子）とVUI parameters syntaxに含まれるhrd_parameters（仮想参照デコーダで使用するパラメータ群）を書き換える。ここでは、時間レイヤ統合前にTemporal ID = 1としていたピクチャは、ピクチャの画像参照関係を表すnal_unit_type情報をTRAIL_N(nal_unit_type=2)からTRAIL_R(nal_unit_type=1)に書き換える。そして、新たに生成したTemporal ID = 0に相当するＨＲＤ情報を、時間レイヤ構造変換前のTemporal ID = 1に相当するＨＲＤ情報に置き換える。

Ｓ５０６では、再符号化により、変換対象動画のFRc_lowを基準動画のFRr_lowと一致させる。これは、Ｓ５０５で説明したように、後の結合編集時にTemporal IDが異なることで、編集対象となる動画間の各時間レイヤが示すフレームレートの整合が取れないことを防ぐための処理である。ここでは、２４０ｆｐｓの変換対象動画のFRc_lowを、１２０ｆｐｓの基準動画のFRc_lowと統一する。具体的に、１２０ｆｐｓと２４０ｆｐｓの２つの時間レイヤ構造を、再符号化によって、６０ｆｐｓ、１２０ｆｐｓ、２４０ｆｐｓの３つの時間レイヤ構造に変換する。図７は、その結果として得られる再構成後の変換対象動画の時間レイヤ構造を示す。図７において、Temporal ID = 0の時間レイヤに含まれるピクチャは６０ｆｐｓを有し、１２０ｆｐｓ、２４０ｆｐｓのフレームレートは、それぞれTemporal IDが繰り上がって、Temporal ID = 1、Temporal ID =2となる。これにより、フレームレートが２４０ｆｐｓの変換対象動画のFRc_lowが基準動画のFRr_lowと同じ６０ｆｐｓとなった。

次にＳ５０７では、Ｓ５０５もしくはＳ５０６で変換対象動画の時間レイヤ構造を再構成したことによって変更したフレームレート情報と時間レイヤ情報を更新する。当該処理は、第１の実施形態のＳ２０７における処理に相当する。各ヘッダ部に格納される情報を更新した後、図２のＳ２０３に処理を進める。これ以降の処理は、図２に示したＳ２０３以降の処理と同様である。Ｓ２０３では、変換対象動画のフレームレートFRcと、基準動画のフレームレートFRrとで、フレームレートが等しいか比較を行う。上記の例では、変換対象動画はいずれも基準動画とフレームレートが異なるためＳ２０４に処理を進める。

Ｓ２０４では、FRcとFRrとの大小比較を行い、変換対象動画のフレームレートFRcの方が小さい場合は、Ｓ２０５に処理を進め、大きい場合には、Ｓ２０６に処理を進める。ここでは、基準動画のフレームレートFRrを１２０ｆｐｓと設定しているので、６０ｆｐｓの変換対象動画は、Ｓ２０５で処理され、２４０ｆｐｓの変換対象動画はＳ２０６で処理される。

Ｓ２０５ではコピーピクチャによるピクチャ補間でフレームレートを増加させる処理を行う。ここでは、６０ｆｐｓの変換対象動画を１２０ｆｐｓに変換する処理を行い、図８（ａ）に示すような時間レイヤ構造を生成することになる。図８（ａ）では、６０ｆｐｓのフレームレートを構成する各ピクチャのコピーピクチャがＰピクチャとして生成され、それぞれ生成元となったピクチャを参照している。生成されたコピーピクチャのTemporal IDは、元のピクチャのTemporal IDである０よりも1つ上の時間レイヤを示す値として１となる。

次にＳ２０６では、ピクチャ破棄によってフレームレートを減少させる処理を行う。ここでは、複数の時間レイヤ構造を持つ２４０ｆｐｓの変換対象動画を１２０ｆｐｓの動画に変換する処理を行い、図８（ｂ）に示すような時間レイヤ構造を生成することになる。図８（ｂ）では３つの時間レイヤのうち、２４０ｆｐｓの時間レイヤに属するピクチャを破棄して、６０ｆｐｓのTemporal ID = 0の時間レイヤと、１２０ｆｐｓのTemporal ID =1の時間レイヤのみを残している。これ以降、第１の実施形態で記載したのと同様にＳ２０７からＳ２１０の処理を行う。なお、本実施形態ではフレームレート変換対象となる動画の数が２つであるため、Ｓ５０３からＳ５０７及びＳ２０３からＳ２０７までの処理を２回実行する。

以上によれば、編集対象動画の間で最下位時間レイヤのフレームレートが異なる場合であっても、変換対象動画のFRc_lowを基準動画のFRr_lowと同一になるように時間レイヤ構造を再構成することで、結合編集時のTemporal IDのミスマッチを防止することができる。これにより、複数の動画を結合編集した場合にフレームレートの互換性を持った動画が生成できる。また、本実施形態ではFRc_lowがFRr_lowより大きい場合にのみ再符号化を行い、FRc_lowがFRr_lowより小さい場合はTemporal IDとヘッダ情報の書き換えのみで時間レイヤ構造を変換するので、より少ない再符号化でフレームレートの互換性を持たせることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：動画符号化装置、１０１：操作部、１０２：撮像部、１０３：ＣＰＵ、１０４：メモリ、１０５：符号化部、１０６：復号化部、１０７：表示部、１０８：メディア

Claims (12)

1. 時間的な階層構造を有するピクチャで構成される第１の動画と第２の動画とを結合して第３の動画を生成する画像処理装置であって、
   前記第１の動画と前記第２の動画の時間的な階層構造を比較する比較手段と、
   前記比較により前記時間的な階層構造が不一致と判定された場合に、前記第２の動画が有する時間的な階層構造を前記第１の動画が有する時間的な階層構造と一致させるように前記第２の動画を変換する変換手段と、
   前記第１の動画と、前記変換手段が変換した前記第２の動画とを結合して前記第３の動画を生成する結合手段と
   を備え、
   前記変換手段は、前記第２の動画の変換を、該第２の動画の復号を伴わずに該第２の動画が有するピクチャ数を増加、または、減少させることにより行い、
   前記時間的な階層構造における各階層は、フレームレートと関連づけられ、
   前記時間的な階層構造が不一致の場合とは、前記時間的な階層構造に含まれる階層の数が異なる場合と、前記時間的な階層構造に含まれる各階層と関連づけられたフレームレートが異なる場合との少なくともいずれかの場合であり、
   前記第１の動画と、前記第２の動画とが有する前記時間的な階層の最下位の階層のフレームレートが異なっている場合に、前記変換手段は、前記第２の動画の最下位の階層のフレームレートを変更して、前記第１の動画の最下位の階層のフレームレートと一致させた後、前記第２の動画の変換を行うことを特徴とする画像処理装置。
2. 前記変換手段は、前記ピクチャの数を増加させる場合に、前記第２の動画が有するピクチャを参照する、該ピクチャのコピーピクチャを挿入することにより前記第２の動画の変換を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記コピーピクチャは、前記時間的な階層構造において、前記第２の動画が有するピクチャが属する階層の上位の階層のピクチャとして挿入されることを特徴とする請求項２に記載の画像処理装置。
4. 前記変換手段は、前記ピクチャの数を減少させる場合に、前記第２の動画が有するピクチャのうち、前記第１の動画が有しない階層に属するピクチャを破棄することにより前記第２の動画の変換を行うことを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記変換手段は、前記第１の動画が有しない階層は、前記第２の動画の時間的な階層構造における最上位の階層を含むことを特徴とする請求項４に記載の画像処理装置。
6. 前記時間的な階層構造において、上下に隣接する２つの階層において、上位の階層は下位の階層の２倍のフレームレートを有することを特徴とする請求項１に記載の画像処理装置。
7. 前記第１の動画の最下位の階層のフレームレートが、前記第２の動画の最下位の階層のフレームレートよりも高い場合、
   前記変換手段は、前記第２の動画が有する階層のうち、前記最下位の階層から、前記第１の動画の最下位の階層に対応する階層までに属するピクチャを統合することにより、前記第２の動画の最下位の階層のフレームレートを前記第１の動画の最下位の階層のフレームレートと一致させることを特徴とする請求項１に記載の画像処理装置。
8. 前記第１の動画の最下位の階層のフレームレートが、前記第２の動画の最下位の階層のフレームレートよりも低い場合に、
   前記変換手段は、前記第２の動画を復号したのち、前記第１の動画の最下位の階層に対応する階層を有する動画として再符号化することにより、前記第２の動画の最下位の階層のフレームレートを前記第１の動画の最下位の階層のフレームレートと一致させることを特徴とする請求項１又は７に記載の画像処理装置。
9. 動画を復号する復号手段を更に備え、
   前記復号手段は、前記第３の動画を復号することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 被写体を撮影して画像を生成する撮像手段と、
    前記画像を時間的な階層構造を有するピクチャとして符号化して動画を生成する符号化手段と、
    請求項１乃至９のいずれか１項に記載の画像処理装置の各手段と
    を備えることを特徴とする撮像装置。
11. コンピュータを請求項１乃至９のいずれか１項に記載の画像処理装置の各手段として機能させることを特徴とするプログラム。
12. 時間的な階層構造を有するピクチャで構成される第１の動画と第２の動画とを結合して第３の動画を生成する画像処理方法であって、
    前記第１の動画と前記第２の動画の時間的な階層構造を比較する比較工程と、
    前記比較により前記時間的な階層構造が不一致と判定された場合に、前記第２の動画が有する時間的な階層構造を該第１の動画が有する時間的な階層構造と一致させるように前記第２の動画を変換する変換工程と、
    前記第１の動画と、前記変換工程で変換された前記第２の動画とを結合して前記第３の動画を生成する結合工程と
    を備え、
    前記変換工程では、前記第２の動画の変換が、該第２の動画の復号を伴わずに該第２の動画が有するピクチャ数を増加、又は、減少させることにより行われ、
    前記時間的な階層構造における各階層は、フレームレートと関連づけられ、
    前記時間的な階層構造が不一致の場合とは、前記時間的な階層構造に含まれる階層の数が異なる場合と、前記時間的な階層構造に含まれる各階層と関連づけられたフレームレートが異なる場合との少なくともいずれかの場合であり、
    前記第１の動画と、前記第２の動画とが有する前記時間的な階層の最下位の階層のフレームレートが異なっている場合に、前記変換工程では、前記第２の動画の最下位の階層のフレームレートを変更して、前記第１の動画の最下位の階層のフレームレートと一致させた後、前記第２の動画の変換が行われることを特徴とする画像処理方法。

Images