JP5057872B2 - 情報処理装置およびプログラム - Google Patents

Description

この発明は、例えばデジタルテレビジョン放送番組データを受信してディスクメディアに記録する録画機能を有するパーソナルコンピュータ等の情報処理装置に適用して好適な動画像ストリーム信号の変換技術に関する。

近年、動画像符号化技術の向上に伴い、デジタル信号として動画像を処理する情報処理装置が広く普及している。また、最近では、動画像を処理する機能を備えたソフトウェアを使って、パーソナルコンピュータでデジタルテレビジョン放送番組データを視聴・録画することも行われ始めている。

このような状況に応じて、例えばＨＤＤ（Hard Disk Drive）やＤＶＤ（Digital Versatile Disk）等のディスクメディアに動画像ストリーム信号を効率的に記録するための手法がこれまで種々提案されている（例えば特許文献１等参照）。
特開平１０−３０４３７５号公報

ところで、デジタルテレビジョン放送番組データとして放送局から出力された動画像ストリーム信号と、録画データとしてディスクメディアに記録される動画像ストリーム信号とで、例えばＨ．２６４形式等の同一の動画像符号化方式が採用されていたとしても、各々で独自に定義される詳細規定が異なるために、再エンコードやトランスコード等が必要となる場合が生じることがある。この典型的な例として、入力側で定義される最大ＧＯＰ長が出力側で定義される最大ＧＯＰ長よりも大きい値である場合が存在する。

ＧＯＰ長とは、Ｈ．２６４形式のほか、種々の動画像符号化方式で規定される３種類のフレーム（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）のうちのＩピクチャ・フレームの間隔であり、Ｉピクチャ・フレームは、符号化対象画面内の情報のみで符号化されたピクチャ・フレームである。一方、非Ｉピクチャ、即ちＰ／Ｂピクチャ・フレームは、符号化対象画面外の情報（過去または未来の画面の情報）も用いて符号化されたピクチャ・フレームである。

いわゆる頭出し操作をあまり考慮する必要のないデジタルテレビジョン放送番組データとしての動画像ストリーム信号は、この最大ＧＯＰ長が比較的大きい値に定義されることが多い。一方、いわゆる頭出し操作を十分に考慮する必要のある録画データとしての動画像ストリーム信号は、この最大ＧＯＰ長が比較的小さい値に定義されることが多い。このような状況は、放送局から出力された動画像ストリーム信号をディスクメディアに記録する場合に限定されず、例えば、あるディスクメディアに記録された動画像ストリーム信号を別のディスクメディアに移動または複製する際にも、双方で同一の動画像符号化方式が採用されているにも関わらず、詳細規定が異なってしまっている場合（入力側の最大ＧＯＰ長＞出力側の最大ＧＯＰ長の場合）にも発生し得る。

そして、このような場合、これまでは、（双方で同一の動画像符号化方式が採用されているにも関わらず）入力された動画像ストリーム信号すべてを一旦デコードし、そのデコード結果を再度エンコードするという膨大な量の変換処理を行っていた。

この発明は、このような事情を考慮してなされたものであり、動画像ストリーム信号の変換処理を軽減することを実現した情報処理装置、変換回路およびプログラムを提供することを目的とする。

前述した目的を達成するために、この発明の情報処理装置は、符号化対象画面内の情報のみで符号化されたイントラフレーム間の最大長を第１のフレーム数として符号化された動画像ストリーム信号を、前記イントラフレーム間の最大長を前記第１のフレーム数よりも少ない第２のフレーム数として符号化された動画像ストリーム信号に変換する情報処理装置であって、処理対象フレームが前記イントラフレームか否かを判定する第１の判定手段と、前記第１の判定手段が前記イントラフレームではないと判定した場合、時間的に前方向で最も近くに存在する前記イントラフレームとの間隔が前記第２のフレーム数を越えているか否かを判定する第２の判定手段と、前記第２の判定手段が前記第２のフレーム数を越えていると判定した場合、当該処理対象フレームを前記イントラフレームに変換する変換手段とを具備し、この変換手段は前記当該処理対象フレームのブロックサイズに応じて前記イントラフレームのブロックサイズを決定することを特徴とする。

また、この発明のプログラムは、符号化対象画面内の情報のみで符号化されたイントラフレーム間の最大長を第１のフレーム数として符号化された動画像ストリーム信号を、前記イントラフレーム間の最大長を前記第１のフレーム数よりも少ない第２のフレーム数として符号化された動画像ストリーム信号に変換するコンピュータを、処理対象フレームが前記イントラフレームか否かを判定する第１の判定手段、前記第１の判定手段が前記イントラフレームではないと判定した場合、時間的に前方向で最も近くに存在する前記イントラフレームとの間隔が前記第２のフレーム数を越えているか否かを判定する第２の判定手段、前記第２の判定手段が前記第２のフレーム数を越えていると判定した場合、当該処理対象フレームを前記イントラフレームに変換する変換手段として機能させ、前記当該処理対象フレームのブロックサイズに応じて前記イントラフレームのブロックサイズを決定する。

この発明によれば、動画像ストリーム信号の変換処理を軽減することを実現した情報処理装置、変換回路およびプログラムを提供することができる。

以下、本発明の実施例を説明する。

本発明による実施例１を図１乃至図７を参照して説明する。
図１は、本実施形態に係る情報処理装置１における動画像ストリーム信号の変換機構の概略構成を示す図である。この情報処理装置１は、例えばＨＤ（High Definition） ＤＶＤ−Ｒ／ＲＷドライブ搭載のパーソナルコンピュータやＨＤ ＤＶＤレコーダとして実現される。

図１に示すように、この情報処理装置１は、放送受信部１１、逆多重化部１２、ビデオ変換部１３、多重化部１４およびメディア書込部１５を備えている。なお、本情報処理装置１は、Ｈ．２６４形式の動画像符号化方式で符号化された動画像ストリーム信号をデジタルテレビジョン放送番組データとして受信し、同じくＨ．２６４形式の動画像符号化方式で符号化された動画像ストリーム信号を録画データとしてディスクメディアに書き込むものであって、（デジタルテレビジョン放送番組データの最大ＧＯＰ長）＞（録画データの最大ＧＯＰ長）であるために、いわゆる録画時には、動画像ストリーム信号の変換処理を行う必要が生ずるものと想定する。

放送受信部１１によって受信された動画像ストリーム信号は、逆多重化部１２に導かれて、ビデオデータとオーディオデータとに分離される（逆多重化）。そして、この逆多重化部１２によって分離されたビデオデータが、ビデオ変換部１３に供給されて、出力側で定義された詳細規定を満足させるための変換処理が施される。図２には、このビデオ変換部１３の一構成例が示されている。

なお、このビデオ変換部１３によって変換処理が施されたビデオデータは、多重化部１４において、逆多重化部１２によって分離されたオーティデータと再び多重化され、メディア書込部１５に供給されて、ＨＤＤやＨＤ ＤＶＤ等に記録されることになる。

図２に示すように、ビデオ変換部１３は、変換判定部１３１、スイッチ１３２、ピクチャ変換処理部１３３およびスイッチ１３４を備えている。まず、図３を参照して、このビデオ変換部１３が実行するビデオデータの変換処理の基本原理を説明する。

図３中、（Ａ）は、放送受信部１１によって受信された動画像ストリーム信号（動画像ストリーム信号中のビデオデータ）をフレーム単位で時系列に表した概念図であり、図示のように、少なくとも１秒毎にＩピクチャ・フレームが設けられている（最大ＧＯＰ長１秒）。これに対して、メディア書込部１５によってディスクメディアに書き込む動画像ストリーム信号は、少なくとも０．６００６秒毎にＩピクチャ・フレームを設けられなければならない（最大ＧＯＰ長０．６００６秒）。そこで、ビデオ変換部１３は、（Ｂ）に示すように、直前のＩピクチャ・フレームからの間隔が変換先に求められる最大ＧＯＰ長を越えた時点に位置する非Ｉピクチャ（Ｐ／Ｂピクチャ）・フレームのみをＩピクチャ・フレームに変換する処理を実行する。さらに、ビデオ変換部１３は、非Ｉピクチャ（Ｐ／Ｂピクチャ）・フレームからＩピクチャ・フレームへの変換処理の軽減を図るための仕組みを備えるものであり、以下、この点について詳述する。

変換判定部１３１は、まず、第１に、スイッチ１３２およびスイッチ１３４の駆動制御を実行する。逆多重化部１２から供給されるビデオデータは、スイッチ１３２およびスイッチ１３４によって、ピクチャ変換処理部１３３を経て多重化部１４に向けて出力されるか、ピクチャ変換処理部１３３を経ずに多重化部１４に向けて出力されるか、のいずれかのルートを辿ることになる。その切り替え手法として、変換判定部１３１は、Ｉピクチャ・フレームか否かの判定と、非Ｉピクチャ・フレームであれば、直前のＩピクチャ・フレームからの経過時間が（出力先に求められる）最大ＧＯＰ長を越えているか否かの判定とを実行する。

もし、Ｉピクチャ・フレームであるか、または、非Ｉピクチャ・フレームであるが、直前のＩピクチャ・フレームからの経過時間が最大ＧＯＰ長を越えていない場合、変換判定部１３１は、そのフレームのピクチャデータを、ピクチャ変換処理部１３３を経ずに多重化部１４に向けて出力すべく、スイッチ１３２およびスイッチ１３４を駆動制御する。一方、非Ｉピクチャ・フレームであって、直前のＩピクチャ・フレームからの経過時間が最大ＧＯＰ長を越えていた場合、変換判定部１３１は、そのフレームのピクチャデータを、ピクチャ変換処理部１３３を経て多重化部１４に向けて出力すべく、スイッチ１３２およびスイッチ１３４を駆動制御する。即ち、ピクチャ変換処理部１３３は、非Ｉピクチャ・フレームをＩピクチャ・フレームに変換する処理を行うものである。

ここで、非Ｉピクチャ・フレームをＩピクチャ・フレームに変換する、このピクチャ変換処理部１３３に固有の動作原理を図４を参照して説明する。
図４中、（Ａ）は、変換前の非Ｉピクチャ・フレームの画面をマクロブロック単位で表した概念図である。マクロブロックは、符号化対象画面を例えば１６画素×１６画素単位に分割した部分画像であり、（Ａ）で示されるマクロブロックのうち、白抜きで表現したブロックは、イントラ予測モードを用いて符号化されたマクロブロックである。

非Ｉピクチャ・フレームにおける各マクロブロックは、イントラ予測モードまたはインター予測モードのいずれかを用いて符号化される。イントラ予測モードは、符号化対象画面内の情報のみで符号化するモードであり、インター予測モードは、符号化対象画面外の情報（過去または未来の画面の情報）も用いて符号化するモードである。

なお、イントラ予測モードは、処理対象マクロブロックの部分画像の予測を４画素×４画素のサイズで行うイントラ４×４モード、８画素×８画素のサイズで行うイントラ８×８モード、１６画素×１６画素のサイズで行うイントラ１６×１６モードの３種類のモードを有している。また、イントラ予測モードは、イントラ４×４モードおよびイントラ８×８モードの場合、その予測の方向を９種類の中から選択し、イントラ１６×１６モードの場合、その予測の方向を４種類の中から選択するようになっている。つまり、インター予測からイントラ予測モードの変換では、９×２＋４＝２２通りの中から、符号量や符号化によって生じる歪みの大きさを考慮して、最も適した１通りを決定する処理が必要となる。

通常、２２通り全てを試行し、評価値が最も高いものを選択する。これに対して、本実施形態のピクチャ変換処理部１３３は、変換先のＩピクチャ・フレームが全マクロブロックがイントラ予測モードで符号化されるものである点に着目し、変換元の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについては、このようなモード判定の処理を省略し、その予測のサイズおよび方向の一方または両方をそのまま選択できるようにした。図４（Ｂ）は、変換後のＩピクチャ・フレームの画面をマクロブロック単位で表した概念図であり、図示のように、前述の白抜きで表現したブロックに対応する位置の各マクロブロックは、変換前のモードがそのまま選択されている。これにより、モード判定に費やされる処理量を削減することが実現されている。

設定部１６は、変換前の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについて、その予測のサイズまたは方向をそのまま選択することを行うかどうか、および、予測のサイズのみそのまま選択するか、予測のサイズまたは方向の両方をそのまま選択するか、等をユーザが設定できるようにするためのインタフェースを提供するものである。そのまま選択するのではなく、改めて評価して選択する項目が多い程、符号化後の部分画像の品質は高まるが、反面、コスト的には上昇する。

設定部１６によって設定された内容は、ビデオ変換部１３に通知され、変換判定部１３１によって設定情報として保持される。そして、変換判定部１３１は、第２に、この設定情報に基づき、ユーザの設定内容に沿って動作させるべくピクチャ変換処理部１３３の駆動制御を実行する。

即ち、ピクチャ変換処理部１３３は、変換判定部１３１からの指示に従って、変換前の非Ｉピクチャ・フレームにおいてイントラ予測モードで符号化されたマクロブロックについて、その予測のサイズまたは方向の一方または両方をそのまま選択しながら、当該非Ｉピクチャ・フレームのＩピクチャ・フレームへの変換を実行する。

次に、図５および図６を参照して、本情報処理装置１が実行する動画像ストリーム信号の変換処理手順を説明する。
まず、処理対象フレームがＧＯＰの先頭ピクチャ（即ちＩピクチャ）・フレームか否かを調べる（図５ステップＡ１）。もし、ＧＯＰの先頭ピクチャ・フレームであれば（図５ステップＡ１のＹＥＳ）、ＧＯＰの先頭時刻として現時刻を記憶しておく（図５ステップＡ２）。

一方、ＧＯＰの先頭ピクチャ・フレームでなければ（図５ステップＡ１のＮＯ）、続いて、現時刻から記憶しているＧＯＰの先頭時刻を差し引いた値が変換先に求められる最大ＧＯＰ長を越えていないかを調べる（図５ステップＡ３）。そして、越えていれば（図５ステップＡ３のＹＥＳ）、図６にその詳細を示す、当該処理対象フレーム（Ｐ／Ｂピクチャ・フレーム）をＩピクチャ・フレームに変換するピクチャ変換を実施する（図５ステップＡ４）。

ピクチャ変換は、まず、各マクロブロックについて、インターモードで符号化されているか否かを調べる（図６ステップＢ１）。もし、インターモードで符号化、即ち、イントラモードで符号化されていなければ（図６ステップＢ１のＹＥＳ）、本来は９×２＋４＝２２通りの試行および評価を行った上で、最適な予測サイズおよび予測方向を選択する。しかし、本実施例では図７で後述する推定変換規則により変換に必要な処理量を大幅に削減する（図６ステップＢ２）。

インターモードで符号化されていた場合は（図６ステップＢ１のＹＥＳ）、インター予測の予測・ＤＣＴブロックサイズからイントラ予測ブロックサイズを決定する（図６ステップＢ２）。

そして、この決定に基ずいて符号化を行い（図６ステップＢ３）、全てのマクロブロックについて終了したか否かを判断して（図６ステップＢ４）、終了していれば（図６ステップＢ４のＹＥＳ）、このフレームについての処理を終了する。また終了していなければ図６ステップＢ１に戻る。

なお、イントラモードで符号化されていた場合は（図６ステップＢ１のＮＯ）、変換前のモードを利用する設定となっていて（図６ステップＢ５）、次に上記同様図６ステップＢ４の判定へ移る。

Ｐ、Ｂフレームにおいてインター予測マクロブロックとして符号化されたマクロブロックを、イントラ予測マクロブロックとして符号化する場合に，最適となるイントラ予測のブロックサイズは、インター予測マクロブロックとして符号化された場合の予測やＤＣＴのブロックサイズと相関がある。

例えばＨ．２６４においてインター予測で１６×１６のように予測ブロックサイズが大きい場合、イントラ予測でも１６×１６のように大きな予測ブロックサイズが最適となる可能性が高く、逆にインター予測で４×４のように細かく分割された予測ブロックサイズが選択された場合は、イントラ予測でも４×４のように細かく分割されたブロックサイズが最適となる可能性が高いと考えられる。

またインター予測のＤＣＴブロックサイズに８×８が選択されていた場合、イントラ予測でもＤＣＴが８×８となる８×８のブロックサイズが最適となる可能性が高いと考えられる。

このような相関を利用して変換後のイントラ予測の最適なブロックサイズを決定し、変換後のモード候補を絞り込むことによって、大幅な画質劣化なく変換に要する処理量を削減することが出来る。

図７は、符号化モードの変換規則である。変換前後のピクチャの符号化モードを示す図である。
変換前のＰ／Ｂピクチャにおけるインター予測マクロブロックは、イントラ予測マクロブロックとして変換される必要がある。この場合に図に示したように、変換前のインター予測マクロブロックの予測ブロックサイズ（分割の大小）に応じて、変換後のイントラ予測マクロブロックの予測ブロックサイズを１つに決定する。この処理によって、全ての予測ブロックサイズを判定する場合に比べ処理量を大きく削減出来、なおかつ、予測ブロックサイズには相関があり、画質劣化についても抑えることが出来る。

例えば、２２通りの中から各４通り、９通り、９通りのイントラ予測マクロブロックの予測ブロックサイズを試している。

本発明による実施例２を図１乃至図６及び図８を参照して説明する。実施例１と共通する部分は説明を省略する。
図８は、符号化モードの変換規則である。実施例１図７に示した変換の応用である。
変換前のインター予測マクロブロックの予測ブロックサイズに加え、ＤＣＴブロックサイズも考慮して、変換後のイントラ予測マクロブロックの予測ブロックサイズを１つに決定する。使用する情報は増えるが、その分より精度よく最適な予測ブロックサイズを決定することが出来る。

８×８ＤＣＴではブロックサイズが８×８の９通りのイントラ予測モードを試している。

本発明による実施例３を図１乃至図６及び図９を参照して説明する。実施例１、２と共通する部分は説明を省略する。
図９は、符号化モードの変換規則である。実施例１、２に示した変換の応用である。
Ｂピクチャでは、インター予測の性能が高く、それをイントラ予測に変換した場合に、画質劣化や大幅な符号量の増加が懸念される。よってそれを防止するために、Ｐピクチャでは１つに絞り込んでいた変換後のイントラ予測マクロブロックの予測ブロックサイズを、Ｂピクチャでは図９から判るように次に相関の高いものを含めて２つに増やす。候補が多い分変換に要する処理量が多くなってしまうが、その分最適なイントラ予測のモードを選択出来る。

これら実施例を総合した特徴として２点がある。
１．＜変換先の最大ＧＯＰ長（Ｉピクチャの間隔）が変換元よりも小さいケース＞
直前のＩピクチャからの間隔が変換先の最大ＧＯＰ長を超えた場合のみ、当該ピクチャ（Ｐ／Ｂピクチャ）をＩピクチャに変換する。
２．＜Ｐ／ＢピクチャからＩピクチャへの効率的な変換＞
変換元のフレームにおけるインター予測マクロブロックの変換で、インター予測マクロブロックの予測やＤＣＴのブロックサイズから、変換後のイントラ予測の最適なブロックサイズを推定することによって、変換に要する処理量を削減する。また変換するピクチャがＰ、Ｂのどちらかによって、予測ブロックサイズの（候補の）決定方法を変更する（Ｂの場合は候補を増やす等）ことによって、処理量を削減しつつも画質への影響を抑えた効率的な変換が出来る。

このように、本情報処理装置１によれば、動画像ストリーム信号の変換処理を軽減することが実現される。効果として、変換が必要なピクチャを選択し、さらに変換前のモード情報等を利用して変換後の符号化モードを決定するため、再エンコードや従来のトランスコーダに比べ少ない処理量で画質劣化を抑えながら変換処理を行うことができる。

なお、前述の実施形態では、放送局から出力された動画像ストリーム信号をディスクメディアに記録する例を説明したが、本発明の手法は、これに限定されず、例えば、あるディスクメディアに記録された動画像ストリーム信号を別のディスクメディアに移動または複製する場合においても当然に適用可能である。

このように、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

この発明の一実施形態に係る情報処理装置における動画像ストリーム信号の変換機構の概略構成を示す図 図１に示すビデオ変換部の一構成例を示す図 図１のビデオ変換部が実行するビデオデータの変換処理の基本原理を説明するために動画像ストリーム信号をフレーム単位で時系列に表した概念図 図３に示すピクチャ変換処理部に固有の動作原理を説明するために処理対象フレームの画面をマクロブロック単位で表した概念図 同実施形態の情報処理装置が実行する動画像ストリーム信号の変換処理手順を示すフローチャート 図５中のピクチャ変換ステップの詳細な手順を示すフローチャート 符号化モードの変換規則の一例を示す図 符号化モードの変換規則の別の例を示す図 符号化モードの変換規則の更に別の例を示す図

符号の説明

１…情報処理装置、１１…放送受信部、１２…逆多重化部、１３…ビデオ変換部、１４…多重化部、１５…メディア書込部、１６…設定部、１３１…変換判定部、１３２…スイッチ、１３３…ピクチャ変換処理部、１３４…スイッチ。

Claims (5)

1. 符号化対象画面内の情報のみで符号化されたイントラフレーム間の最大長を第１のフレーム数として符号化された動画像ストリーム信号を、前記イントラフレーム間の最大長を前記第１のフレーム数よりも少ない第２のフレーム数として符号化された動画像ストリーム信号に変換する情報処理装置であって、
   処理対象フレームが前記イントラフレームか否かを判定する第１の判定手段と、
   前記第１の判定手段が前記イントラフレームではないと判定した場合、時間的に前方向で最も近くに存在する前記イントラフレームとの間隔が前記第２のフレーム数を越えているか否かを判定する第２の判定手段と、
   前記第２の判定手段が前記第２のフレーム数を越えていると判定した場合、当該処理対象フレームを前記イントラフレームに変換する変換手段と
   を具備し、この変換手段は前記当該処理対象フレームのブロックサイズに応じて前記イントラフレームのブロックサイズを決定することを特徴とする情報処理装置。
2. 前記変換手段は、処理対象フレームの画面を分割した各マクロブロックにおいて、符号化済のフレームを参照して符号化する画面間（インター）予測モードが用いられたマクロブロックか否かを判定し、インター予測モードを用いて符号化されたマクロブロックであった場合、前記イントラフレームへの変換時に伴う当該マクロブロックの当該画面内の情報のみで符号化する画面内（イントラ）予測モードへの再符号化時に、変換前に用いられていたインター予測モードの予測ブロックサイズを用いて、変換後のイントラ予測モードの予測ブロックサイズを決定することを特徴とする請求項１記載の情報処理装置。
3. 前記変換手段は、変換前に用いられていたインター予測モードのＤＣＴ（Discrete Cosine Transform）ブロックサイズを用いて、変換後のイントラ予測モードの予測ブロックサイズを決定することを特徴とする請求項１記載の情報処理装置。
4. 前記変換手段は、変換前の非イントラフレームの種類に応じて、インター予測からイントラ予測への変換方法を切り換えることを特徴とする請求項３記載の情報処理装置。
5. 符号化対象画面内の情報のみで符号化されたイントラフレーム間の最大長を第１のフレーム数として符号化された動画像ストリーム信号を、前記イントラフレーム間の最大長を前記第１のフレーム数よりも少ない第２のフレーム数として符号化された動画像ストリーム信号に変換するコンピュータを、
   処理対象フレームが前記イントラフレームか否かを判定する第１の判定手段、
   前記第１の判定手段が前記イントラフレームではないと判定した場合、時間的に前方向で最も近くに存在する前記イントラフレームとの間隔が前記第２のフレーム数を越えているか否かを判定する第２の判定手段、
   前記第２の判定手段が前記第２のフレーム数を越えていると判定した場合、当該処理対象フレームを前記イントラフレームに変換する変換手段
   として機能させ、前記当該処理対象フレームのブロックサイズに応じて前記イントラフレームのブロックサイズを決定するためのプログラム。

Images