JP6120667B2 - 画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、画像処理装置、撮像装置、画像処理方法、プログラム、及び記録媒体に関する。

従来、動画像データを編集することができる画像処理装置として、例えば、画像編集プログラムがインストールされたコンピュータ、専用の動画編集機、撮像装置、画像編集プログラムがインストールされた携帯型通信装置等が知られている。これらの画像処理装置では、例えば、複数の動画像データを結合する編集などを行うことができた。フレームレートが異なる動画像データ同士を結合する際には、元の動画像データを復号した後、フレームレートを揃える必要がある。フレームレートを揃える方法として、例えば、フレームを間引いたり、フレーム画像を合成したりする方法がある。

また、近年、動画像符号化技術として、動画像データをフレームレートに関して階層符号化する（時間階層符号化）技術が提案されている。この技術は所謂「ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）」と呼ばれ、Ｈ．２６４／ＡＶＣの拡張方式として提案されている。

例えば、特許文献１には、時間階層符号化された動画像データをストリーミング配信する場合に、配信に適した時間階層に該当するデータのみを配信する技術が開示されている。

特開２０１１−２２３６２６号公報

しかしながら、従来のような方法で、フレームレートの異なる動画像データ同士を結合すると、復号化、フレームレート変換、及び、再符号化を行わなくてはならず、処理に時間がかかったり、演算負荷が高くなったりしてしまうという問題があった。

本発明はこのような状況に鑑みてなされたものであり、フレームレートの異なる動画像データ同士を結合する際の処理負荷が少ない動画像データを生成する技術を提供することを目的とする。

上記課題を解決するために、本発明は、所定の階層よりも１つ上位の階層までを復号した場合のフレームレートが前記所定の階層までを復号した場合のフレームレートよりも高くなる時間階層構造を持つように動画像データを符号化する符号化手段を備える画像処理装置であって、符号化された第１の動画像データのフレームレートを取得する第１の取得手段と、符号化対象の第２の動画像データと、ユーザ操作により指定された記録フレームレートとを取得する第２の取得手段と、を備え、前記符号化手段は、前記第１の動画像データのフレームレートに対応する階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化することを特徴とする画像処理装置を提供する。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

本発明によれば、フレームレートの異なる動画像データ同士を結合する際の処理負荷が少ない動画像データを生成することができる。

第１の実施形態に係る動画像符号化装置１００の機能ブロック図。 時間階層符号化の参照関係例を示す図。 時間階層符号化された動画像データを復号した場合に得られるフレームの概念図。 第１の実施形態に係る、時間階層構造決定部１０３が行う時間階層構造の決定処理のフローチャート。 図４の決定処理に従って決定された時間階層構造の例を示す図。 第２の実施形態に係る、時間階層構造決定部１０３が行う時間階層構造の決定処理のフローチャート。 第２の実施形態に係る時間階層互換情報のシンタクスを示す図。 第２の実施形態に係る時間階層互換情報の更新例を示す図。

以下、図面を参照して本発明の実施形態を詳細に説明するが、本発明は以下の実施形態に限定されない。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明の解決手段に必須のものとは限らない。

なお、以下の実施形態において説明される各機能ブロックは必ずしも個別のハードウェアである必要はない。即ち、例えばいくつかの機能ブロックの機能は、１つのハードウェアにより実行されてもよい。また、いくつかのハードウェアの連係動作により１つの機能ブロックの機能、又は、複数の機能ブロックの機能が実行されてもよい。また、各機能ブロックの機能は、ＣＰＵがメモリ上に展開したコンピュータプログラムにより実行されてもよい。

［第１の実施形態］
第１の実施形態では、本発明の画像処理装置を適用可能な動画像符号化装置の構成及び処理について説明する。なお、本発明の適用範囲は、動画像データの圧縮符号化機能を有する装置であれば、例えば、撮像装置、携帯型通信装置、コンピュータなど、どのような装置であってもよい。

図１に、第１の実施形態に係る動画像符号化装置１００の機能ブロック図を示す。動画像符号化装置１００は、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格に基づく符号化処理機能を有する。なお、本実施形態ではＨＥＶＣ規格を例に説明するが、同様の符号化を行う他の符号化方式に対しても本発明を適用可能である。

図１において、動画像符号化装置１００に入力された映像信号は、メモリ１０１に含まれる対象画像メモリ１０２に記憶される。時間階層構造決定部１０３は、時間階層符号化（図２及び図３を参照して後述）を行う際の時間階層構造を決定する。時間階層構造決定部１０３は、決定した時間階層数を予測部１０４へ出力し、時間階層番号を示す識別子（以下、「Ｔｅｍｐｏｒａｌ ＩＤ」と呼ぶ）をエントロピー符号化部１１２に出力する。また、時間階層構造決定部１０３には、記録媒体１１３に記憶されている動画像データの時間階層構造が入力される。更に、時間階層構造決定部１０３には、操作部１１４から、これから符号化する動画像データの記録フレームレートが入力される。時間階層構造の決定処理についての詳細な説明は後述する。

予測部１０４は、符号化単位となる符号化対象ブロックに対する予測符号化方法を決定し、予測画像を生成する。ここで、符号化方法には、フレーム内の画像データのみで符号化する画面内予測符号化と、フレーム間での予測も含めて符号化する画面間予測符号化とがある。画面内予測符号化を行う場合は、符号化単位となる符号化対象ブロックの画像データが対象画像メモリ１０２から読み出され、予測部１０４に入力される。予測部１０４は、符号化対象ブロックに隣接する符号化済みの画素データ（後述する加算器１０８から出力される、デブロッキングフィルタ１０９を施す前の画素データ）を、参照画像メモリ１１１から読み出す。そして、予測部１０４は、生成した複数の予測モードに対する画面内予測画像データとのブロックマッチングをそれぞれに行い、最も符号化効率が高い画面内予測画像データを減算器１０５に出力する。一方、画面間予測符号化を行う場合は、符号化単位となる符号化対象ブロックの画像データが対象画像メモリ１０２から読み出され、予測部１０４へ入力される。また、過去の符号化済みの参照画像データが参照画像メモリ１１１から読み出され、予測部１０４へ入力される。予測部１０４は、符号化対象ブロックの画像データと参照画像データとから、動き探索処理を行い、参照画像に対する動きベクトルを検出する。予測部１０４は、検出した動きベクトルと、参照画像メモリ１１１から得られた参照画像データとを用いて画面間予測画像データを生成し、減算器１０５に出力する。

また、予測部１０４は、時間階層構造決定部１０３から入力される時間階層数の情報に基づき、ピクチャ間の参照関係を決定する。ここで、図２に、時間階層符号化の参照関係例を示す。この時間階層符号化の例では、Ｂピクチャを参照画像として用いた上で、参照関係が階層的になるよう制限されており、各ピクチャは、自身の属する階層よりも上位の時間階層は参照しない。このように参照関係を制限することで、図３に示すように、１つの符号化動画像データから４通りのフレームレートで動画像を再生することが可能となる。より具体的には、図２に示すように、時間階層符号化された動画像データは、所定のフレームレートで再生されるフレームを最下位の階層（Ｔｅｍｐｏｒａｌ ＩＤ＝０）に含む。また、時間階層符号化された動画像データは、最下位の階層の各フレームの間に再生されるフレームを１つ上位の階層（Ｔｅｍｐｏｒａｌ ＩＤ＝１）に含む。同様に、ある特定の階層よりも１つ上位の階層（例えば、Ｔｅｍｐｏｒａｌ ＩＤ＝２）には、この特定の階層までの全階層（例えば、Ｔｅｍｐｏｒａｌ ＩＤ＝０及び１）の各フレームの間に再生されるフレームが含まれる。時間階層符号化された動画像データを復号する場合、最下位の階層に対応する部分だけを復号することもできるし、最下位の階層からある特定の階層まで（例えば、Ｔｅｍｐｏｒａｌ ＩＤ＝０、１、及び２）に対応する部分を復号することもできる。もちろん、全ての階層に対応する部分を復号することもできる。従って、図３に示すように、ある特定の階層よりも１つ上位の階層までを復号した場合のフレームレートは、この特定の階層までを復号した場合のフレームレートよりも高くなる。

図１に戻り、減算器１０５には、予測部１０４で生成した予測画像データと、対象画像メモリ１０２から読み出される符号化対象画像のブロック画像データとが入力される。そして、減算器１０５は、符号化対象画像のブロック画像と予測画像との画素値の差分画像データを直交変換／量子化部１０６へ出力する。

直交変換／量子化部１０６は、入力された画素値の差分画像データに直交変換を施し、直交変換された信号に対して量子化処理を行う。

エントロピー符号化部１１２は、直交変換／量子化部１０６により量子化された変換係数をエントロピー符号化する。また、エントロピー符号化部１１２は、時間階層構造決定部１０３から入力されるＴｅｍｐｏｒａｌ ＩＤをヘッダ情報として多重化し、記録媒体１１３に出力する。記録媒体１１３は、エントロピー符号化部１１２から入力された符号化データ（符号化された動画像データ）を記録する。ここで、直交変換／量子化部１０６における量子化係数は、エントロピー符号化部１１２で発生した符号量や、設定される目標符号量などから算出される。

また、直交変換／量子化部１０６により量子化された変換係数は、逆直交変換／逆量子化部１０７にも入力される。逆直交変換／逆量子化部１０７は、入力された変換係数を逆量子化し、逆量子化された信号に対して逆直交変換処理を施す。

加算器１０８には、逆直交変換されたデータと、予測部１０４で生成された予測画像とが入力されて加算される。加算後のデータは、復号された再構成画像データとなり、参照画像メモリ１１１に入力されて画面内予測画像データの生成に用いられる。

また、復号された再構成画像データは、デブロッキングフィルタ１０９で符号化時に発生するブロック歪の軽減処理が施され、ＳＡＯ（Ｓａｍｐｌｅ Ａｄａｐｔｉｖｅ Ｏｆｆｓｅｔ）１１０に出力される。そして、ＳＡＯ１１０は、画素値にオフセットを加算することによって再構成画像データの歪みを低減し、画面間予測符号化の際に用いる参照画像データとして参照画像メモリ１１１に記憶する。

このように、動画像符号化装置１００は、時間階層構造決定部１０３で決定した時間階層情報に基づき、時間階層符号化を行うことができる。時間階層構造決定部１０３は、これから符号化する動画像データのために、過去に記録した動画像データのフレームレート及び時間階層構造を継承するように時間階層構造を決定することができる。

なお、動画像符号化装置１００は、撮像部（不図示）を更に備えてもよく、この場合、動画像符号化装置１００は撮像装置として機能する。

図４のフローチャートを参照して、時間階層構造決定部１０３が行う時間階層構造の決定処理について詳細に説明する。また、フローチャートの詳細な説明と共に、具体的な数値例を用いて、この決定処理の効果についても説明する。

まず、Ｓ４０１において、時間階層構造決定部１０３は、これから符号化する動画像データ（以下、「第２の動画像データ」と呼ぶ）の記録フレームレートを取得する。記録フレームレートは、例えば、操作部１１４を用いたユーザ操作により指定される。ここでは、第２の動画像データの記録フレームレートは１２０ｆｐｓであるものとする。

Ｓ４０２で、時間階層構造決定部１０３は、基本フレームレートを取得する。基本フレームレートも、例えば、操作部１１４を用いたユーザ操作により指定される。ここで、基本フレームレートとは、第２の動画像データの時間階層構造を決定する際に、記録フレームレートや過去に符号化した動画像データのフレームレートとは無関係に設定されるフレームレートである。必須という訳ではないが、一般的には基本フレームレートの値は低く、第２の動画像データの時間階層構造において最下位の階層に設定される。予め定められた基本フレームレートで最下層の時間階層を作るように設定しておけば、これ以降に符号化される全ての動画像データが、少なくとも１つの共通するフレームレート（即ち、基本フレームレート）を持つ。従って、少なくとも基本フレームレートに関しては、編集（例えば、連結）の互換性が保証される（即ち、編集時にフレームレート変換が不要）ことになる。ここでは、基本フレームレートが１５ｆｐｓであるものとする。

Ｓ４０３で、時間階層構造決定部１０３は、記録媒体１１３に過去に符号化した動画像データ（以下、「第１の動画像データ」と呼ぶ）が保存されているか否かを判定する。第１の動画像データが記録媒体１１３に保存されている場合、処理はＳ４０４に進み、保存されていない場合、処理はＳ４０７に進む。

ここで、Ｓ４０４以降は、記録媒体１１３には２つの第１の動画像データが保存されており、それぞれ３０ｆｐｓ、６０ｆｐｓのフレームレートで記録されたものが保存されているものとして説明を行う。なお、３０ｆｐｓの動画像データは時間階層構造を持たず、また６０ｆｐｓの動画像データは６０ｆｐｓと３０ｆｐｓの２つの時間階層を含む時間階層構造を持つものとする。

Ｓ４０４で、時間階層構造決定部１０３は、記録媒体１１３に保存されている全ての第１の動画像データのフレームレートと時間階層情報を取得したか否かを判定する。全ての第１の動画像データのフレームレートと時間階層情報を取得している場合、処理はＳ４０６に進み、取得していない場合、処理はＳ４０５に進む。本実施形態では、記録媒体１１３には２つの動画像データが記憶されているものとするため、Ｓ４０４と、後述するＳ４０５の処理は、それぞれ２回繰り返される。

Ｓ４０５で、時間階層構造決定部１０３は、記録媒体１１３に保存される第１の動画像データのフレームレートと、時間階層情報を取得する。フレームレートが、ファイルフォーマット中に動画像情報として埋め込まれている場合、時間階層構造決定部１０３は、ファイルフォーマットを参照することによってフレームレートを取得することが可能である。また、符号化データのヘッダ部のＨＲＤ ｐａｒａｍｅｔｅｒｓ ｓｙｎｔａｘに含まれる、ｎｕｍ＿ｕｎｉｔｓ＿ｉｎ＿ｔｉｃｋと、ｔｉｍｅ＿ｓｃａｌｅからフレームレートを算出して取得することも可能である。一方、時間階層情報を取得する方法としては、符号化データのヘッダ部のｎａｌ＿ｕｎｉｔ＿ｈｅａｄｅｒ Ｓｙｎｔａｘに含まれるｎｕｈ＿ｔｅｍｐｏｒａｌ＿ｉｄ＿ｐｌｕｓ１から判別する方法が挙げられる。或いは、ＶＰＳ（Ｖｉｄｅｏ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） Ｓｙｎｔａｘに含まれるｖｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１から取得する方法が挙げられる。更には、ＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ） Ｓｙｎｔａｘに含まれるｓｐｓ＿ｍａｘ＿ｓｕｂ＿ｌａｙｅｒｓ＿ｍｉｎｕｓ１から取得する方法も挙げられる。

Ｓ４０６で、時間階層構造決定部１０３は、基本フレームレートと、全ての第１の動画像データのフレームレート及び時間階層構造を継承するように、第２の動画像データの時間階層構造を決定する。詳細には、先に示した数値例を用いて説明する。第１の動画像データが下記に示すフレームレートと時間階層構造を持っている（Ｔｅｍｐｏｒａｌ ＩＤは時間階層番号を表す）。
・第１の動画像データＡ
フレームレート：３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０：３０ｆｐｓ
・第１の動画像データＢ
フレームレート：６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ０：３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ１：６０ｆｐｓ

第２の動画像データにＳ４０１で取得した記録フレームレートを持たせつつ全ての第１の動画像データのフレームレートと互換性を持たせるためには、３０ｆｐｓの時間階層と、６０ｆｐｓの時間階層と、１２０ｆｐｓの時間階層が必要である。また、前述の通り、最下位の階層として基本フレームレートである１５ｆｐｓの時間階層が設けられる。従って、時間階層構造決定部１０３は、第２の動画像データの時間階層構造を、下記に示す通りに決定する。
・第２の動画像データ
フレームレート：１２０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ＝０：１５ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ＝１：３０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ＝２：６０ｆｐｓ
Ｔｅｍｐｏｒａｌ ＩＤ＝３：１２０ｆｐｓ

時間階層構造決定部１０３は、決定した時間階層構造を予測部１０４に通知する。予測部１０４は、通知された時間階層構造に基づき、図５に示すように、各ピクチャが上位の時間階層を参照しないように制限して予測符号化を行う。これにより、全ての第１の動画像データのフレームレート、記録フレームレート、及び指定フレームレート（即ち、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓ）に対する互換性を有する動画像データを生成することが可能となる。時間階層符号化の特徴として、図２及び図５を参照して説明したように参照関係が制限されている。従って、他のピクチャから参照されない上位の時間階層のピクチャを破棄する（ある特定の時間階層までのピクチャのみを復号する）ことで、様々なフレームレートで動画像を再生をすることが可能となる。

一方、Ｓ４０３において、記録媒体１１３に第１の動画像データが保存されていない場合、Ｓ４０７の処理が開始する。Ｓ４０７では、時間階層構造決定部１０３は、基本フレームレートと第２の動画像データの記録フレームレートが等しいか否かを判定する。基本フレームレートと記録フレームレートが等しい場合、処理はＳ４０８に進み、第２の動画像データの時間階層構造は単一時間階層構造となる。また、等しくない場合、処理はＳ４０９に進み、基本フレームレートを最下層にするように、第２の動画像データの時間階層構造が決定される。この場合、第２の動画像データの時間階層構造は、基本フレームレートに対応する階層と、第２の動画像データの記録フレームレートに対応する階層の、２つの時間階層を含む。或いは、第２の動画像データの時間階層構造は、これ以降に符号化する動画像データの記録フレームレートとの互換性を考慮して、３つ以上の時間階層を含んでもよい。

以上説明したように、本実施形態によれば、動画像符号化装置１００は、これから符号化する（符号化対象の）第２の動画像データが時間階層構造を含むように符号化する。その際に、動画像符号化装置１００は、第２の動画像データの時間階層構造が、少なくとも、過去に符号化された第１の動画像データのフレームレートに対応する階層、及び、第２の動画像データの記録フレームレートに対応する階層を含むようにする。

これにより、第１及び第２の動画像データの記録フレームレートが異なる状況において、これらの動画像データ同士を結合する際の処理負荷が軽減される。

［第２の実施形態］
第１の実施形態では、１つ１つの第１の動画像データからフレームレート及び時間階層構造が取得された（図４のＳ４０４及びＳ４０５参照）。これに対し、第２の実施形態では、「時間階層互換情報」を利用して全ての第１の動画像データのフレームレート及び時間階層構造を取得する構成について説明する。

第２の実施形態において、動画像符号化装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態との相違点について説明する。

本実施形態では、動画像符号化装置１００は、第２の動画像データの時間階層構造決定時に、第２の動画像データのフレームレートと時間階層構造を時間階層互換情報として記録媒体１１３に記憶する。そして、動画像符号化装置１００は、後の時間階層構造決定時には、記録媒体１１３に記録された時間階層互換情報を参照することで、第１の動画像データのフレームレートと時間階層構造を取得する。

図６のフローチャートを参照して、時間階層構造決定部１０３が行う時間階層構造の決定処理について詳細に説明する。本フローチャートにおいて、図４と同一又は同様の処理が行われるステップには同一の符号を付し、その説明を省略する。

Ｓ６０１で、時間階層構造決定部１０３は、記録媒体１１３に第１の動画像データの時間階層互換情報が保存されているか否かを判定する。ここで、時間階層互換情報とは、過去に記録した第１の動画像データのフレームレートと時間階層構造を示す情報であり、過去の時間階層構造決定時に、後述するＳ６０４において、記録媒体１１３に保存される。時間階層互換情報は、図７の時間階層互換情報シンタクスに示すように、時間階層数を示すｎｕｍ＿ｌａｙｅｒ＿ｍｉｎｕｓ１と、各時間階層に対するフレームレートを示すｆｒａｍｅ＿ｒａｔｅ＿ｉｄとを含む。第１の動画像データの時間階層互換情報が記録媒体１１３に記憶されている場合、処理はＳ６０２に進み、記憶されていない場合、処理はＳ４０７に進む。

Ｓ６０２で、時間階層構造決定部１０３は、記録媒体１１３に記憶される第１の動画像データの時間階層互換情報を取得する。Ｓ６０３で、時間階層構造決定部１０３は、基本フレームレートと、Ｓ６０２で取得した時間階層互換情報が示す時間階層構造を継承するように、第２の動画像データの時間階層構造を決定する。図４のＳ４０６の場合と同様、第２の動画像データの時間階層構造は、第２の動画像データの記録フレームレートに対応する階層も含む。Ｓ６０４で、時間階層構造決定部１０３は、Ｓ６０３で決定した時間階層構造を示す時間階層互換情報を記録媒体１１３に記憶する。

ここで、第２の動画像データの記録フレームレートが１２０ｆｐｓであり、基本フレームレートが１５ｆｐｓであり、Ｓ６０２で取得した時間階層互換情報が示す時間階層構造が３０ｆｐｓ及び６０ｆｐｓの時間階層を含む（図８の左側参照）ものとする。この場合、Ｓ６０３では、基本フレームレートと時間階層互換情報が示す時間階層構造を継承するように第２の動画像データの時間階層構造が決定される。従って、第２の動画像データの時間階層構造は、１５ｆｐｓ、３０ｆｐｓ、６０ｆｐｓ、及び１２０ｆｐｓに対応する４つの階層を含むように決定される。この例では、図８の左側に示すように、Ｓ６０３で取得された時間階層互換情報は、ｎｕｍ＿ｌａｙｅｒ＿ｍｉｎｕｓ１＝１、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［０］＝３０、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［１］＝６０である。また、Ｓ６０４で出力される時間階層互換情報は、１５ｆｐｓ及び１２０ｆｐｓに対応する時間階層が増える。そのため、時間階層互換情報は、ｎｕｍ＿ｌａｙｅｒ＿ｍｉｎｕｓ１＝３、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［０］＝１５、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［１］＝３０、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［２］＝６０、ｆｒａｍｅ＿ｒａｔｅ＿ｉｄ［３］＝１２０となる（図８の右側参照）。このようにして、時間階層互換情報が更新される。なお、Ｓ６０３で決定された時間階層構造に基づく符号化処理は第１の実施形態と同様であり、図２及び図５を参照して説明した参照関係の制限が行われる。

以上説明したように、本実施形態によれば、動画像符号化装置１００は、１つ１つの第１の動画像データからフレームレート及び時間階層構造を取得する代わりに、記録媒体１１３に記録された時間階層互換情報を取得する。時間階層互換情報が示す時間階層構造は、Ｓ６０３において、過去に符号化され記録媒体１１３に記録された動画像データに対し、フレームレートに関する互換性を持つように決定される。従って、動画像符号化装置１００は、時間階層互換情報を取得することにより、実質的に、記録媒体１１３に記録されている全ての第１の動画像データのフレームレート及び時間階層構造を取得することができる。

これにより、特に記録媒体１１３に多数の第１の動画像データが記録されている場合に、第１の動画像データのフレームレート及び時間階層構造の取得に係る処理負荷を軽減することができる。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (11)

1. 所定の階層よりも１つ上位の階層までを復号した場合のフレームレートが前記所定の階層までを復号した場合のフレームレートよりも高くなる時間階層構造を持つように動画像データを符号化する符号化手段を備える画像処理装置であって、
   符号化された第１の動画像データのフレームレートを取得する第１の取得手段と、
   符号化対象の第２の動画像データと、ユーザ操作により指定された記録フレームレートとを取得する第２の取得手段と、
   を備え、
   前記符号化手段は、前記第１の動画像データのフレームレートに対応する階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化する
   ことを特徴とする画像処理装置。
2. 前記第１の動画像データが時間階層構造を持つ場合、
   前記第１の取得手段は、前記第１の動画像データの時間階層構造を取得し、
   前記符号化手段は、前記第１の動画像データの時間階層構造の階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の取得手段は、前記第１の動画像データを含む複数の符号化された動画像データが記録された記録媒体から、当該複数の符号化された動画像データそれぞれのフレームレートを取得し、
   前記符号化手段は、前記複数の符号化された動画像データそれぞれのフレームレートに対応する階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化し、
   前記画像処理装置は、前記符号化手段により符号化された前記第２の動画像データを前記記録媒体に記録する記録手段を更に備える
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記記録手段は、前記符号化手段により符号化された前記第２の動画像データが持つ時間階層構造を示す時間階層互換情報を前記記録媒体に記録し、
   前記第１の取得手段は、前記複数の符号化された動画像データそれぞれのフレームレートの代わりに、前記時間階層互換情報を取得し、
   前記符号化手段は、前記時間階層互換情報が示す時間階層構造の階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記符号化手段は、予め定められた基本フレームレートに対応する階層を更に含む時間階層構造を持つように前記第２の動画像データを符号化する
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記符号化手段は、前記第２の動画像データの時間階層構造が前記基本フレームレートに対応する階層を最下位の階層として含むように前記第２の動画像データを符号化する
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記符号化手段は、
   符号化された動画像データのうち最下位の階層に対応する部分を復号すると、当該最下位の階層に対応するフレームレートの動画像を構成するフレームが得られ、
   当該符号化された動画像データのうち所定の階層に対応する部分を復号すると、当該所定の階層に対応するフレームレートの動画像を構成するフレームのうち、当該符号化された動画像データの当該所定の階層よりも下位の各階層に対応する部分を復号しても得られないフレームが得られる
   ように動画像データを符号化する
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 請求項１乃至７のいずれか１項に記載の画像処理装置と、
   前記第２の動画像データを撮像する撮像手段と、
   ユーザ操作により前記記録フレームレートを指定するための操作手段と、
   を備えることを特徴とする撮像装置。
9. 所定の階層よりも１つ上位の階層までを復号した場合のフレームレートが前記所定の階層までを復号した場合のフレームレートよりも高くなる時間階層構造を持つように動画像データを符号化する符号化手段を備える画像処理装置における画像処理方法であって、
   前記画像処理装置の第１の取得手段が、符号化された第１の動画像データのフレームレートを取得する第１の取得工程と、
   前記画像処理装置の第２の取得手段が、符号化対象の第２の動画像データと、ユーザ操作により指定された記録フレームレートとを取得する第２の取得工程と、
   前記符号化手段が、前記第１の動画像データのフレームレートに対応する階層及び前記記録フレームレートに対応する階層を含む時間階層構造を持つように前記第２の動画像データを符号化する符号化工程と、
   を備えることを特徴とする画像処理方法。
10. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。
11. コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラムを記録したコンピュータが読み取り可能な記録媒体。

Images