JP7451131B2 - 画像符号化装置、画像符号化方法、及びプログラム - Google Patents

Description

本発明は、画像を圧縮符号化する技術に関する。

ＭＰＥＧ圧縮技術などを用いて、画像を圧縮（エンコード）伸長（デコード）する技術が、デジタル画像処理機器に用いられている。２０１３年１月には、ＩＳＯ／ＩＥＣ標準２３００８－３（通称、Ｈ．２６５／ＨＥＶＣ）が国際標準化された。これに伴い、画像圧縮伸長技術は民生ＡＶ機器や産業機器においてさらに広く利用されることが予想される。今後の傾向としては、８ｋ４ｋ次世代放送規格（いわゆるスーパーハイビジョン規格：ＵＨＤＴＶ（Ultra High Definition Television））に代表されるような画像の高解像度、高画素レート化が進むと予想される。そのために、従来の画像サイズや、高ビットレートなど、幅広いユーザーニーズに対応する必要がある。このような状況において、消費電力を考慮した技術が、特許文献１に開示されている。

特開２００８－１４１５３１号公報

特許文献１に記載の画像符号化装置は、二値化部と二値算術符号化部の間にバッファを設け、二値化部と二値算術符号化部の処理クロックを異ならせ、各処理部に適切な動作周波数を割り当てる事で消費電力を低減できるようにしている。しかしながら、複数の画像（フレーム）から構成される動画を符号化する場合の符号化処理の効率化および符号化処理時間の短縮という観点からみた場合には適しているとは言い難い。

そこで、本発明は、複数の画像（フレーム）から構成される動画を符号化する場合の符号化効率の向上と符号化処理時間の短縮を可能にすることを目的とする。

本発明は、動画のフレームに画像処理を行う、一つ以上の画像処理手段と、前記画像処理がなされた後のフレームに可変長符号化処理を行う、二つ以上の可変長符号化手段と、前記画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定する制御手段と、を有し、前記二つ以上の可変長符号化手段は、並列して可変長符号化処理を実行可能であり、前記可変長符号化手段ごとに、異なるフレームを可変長符号化処理し、前記二つ以上の可変長符号化手段の処理能力は、メモリへのアクセス優先度で表され、前記二つ以上の可変長符号化手段は、前記可変長符号化手段ごとに異なる前記アクセス優先度が設定され、前記制御手段は、前記画像処理がなされた後のフレームと前記設定されたアクセス優先度とに基づいて、当該画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定することを特徴とする。

本発明によれば、複数の画像（フレーム）から構成される動画を符号化する場合の符号化効率の向上と符号化処理時間の短縮が可能となる。

画像符号化装置の構成例を示す図である。 画像処理部の構成例を示す図である。 画像符号化装置の動作説明に用いる図である。 画像圧縮処理の流れを示すフローチャートである。 第１の実施形態の可変長符号化処理の流れを示すフローチャートである。 画像圧縮処理と可変長符号化処理のタイミングの一例を示す図である。 第２の実施形態の可変長符号化処理の流れを示すフローチャートである。

本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例にすぎず、本発明は図示された構成に限定されるものではない。
＜第１の実施形態＞
先ず、本発明の第１の実施形態に係る画像符号化装置の構成について説明する。図１は、本実施形態の画像符号化装置１００の構成例を示す図である。
画像符号化装置１００は、Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６－１０）またはＨ．２６５（ＩＳＯ／ＩＥＣ２３００８－３）の規格に則った画像圧縮符号化処理を行う装置である。本実施形態の画像符号化装置１００は、撮像装置で撮像して生成された複数のフレーム画像によりなる動画のデータ（以下、動画のフレーム画像を原画像とする）が、撮像装置から画像符号化装置１００の入力部（図１では不図示）に順次入力される。そして、入力部により入力した原画像を外部メモリ１３０に配置した原画像バッファ（図１では不図示）に順次格納し、その原画像を圧縮符号化する。なお、画像符号化装置１００は、撮像装置と別の装置とし、撮像装置から入力部を介して動画のデータを入力してもよいし、撮像装置の内部に設け、撮像装置の撮像部で撮像され、画像処理や変換処理などを施された動画のデータを、入力部を介して入力してもよい。また、外部メモリ１３０は、画像符号化装置１００と共に、撮像装置の内部に設けてもよいし、あるいは、画像符号化装置１００の内部に設け、メモリバス１０５を介してデータを格納するようにしてもよい。

本実施形態の画像符号化装置１００において、画像圧縮符号化処理は、イントラ予測又はインター予測による予測画像生成、差分画像生成、周波数変換、量子化・逆量子化を行う画像処理と、エントロピー符号化処理を行う可変長符号化処理とに分かれている。

図１の構成例において、画像処理を行う構成は、画像処理部１１１、１１２、１１３、および１１４の合計４系統あり、それら画像処理部１１１、１１２、１１３、および１１４の各々が同等の機能を有している。画像処理部１１１、１１２、１１３、および１１４は、それぞれ、原画像をマクロブロック行単位で並列処理を行うことが可能になっている。

また図１の構成例において、可変長符号化処理を行う構成は、可変長符号化部１２１、１２２、１２３、および１２４の合計４系統あり、それら可変長符号化部１２１、１２２、１２３、および１２４の各々が同等の機能を有している。可変長符号化部１２１，１２２、１２３、および１２４は、並列動作を行うことが可能になっている。

画像処理部１１１～１１４と、可変長符号化部１２１～１２４とは、外部メモリ１３０内に設けられた中間バッファ領域（図１には図示せず）を介して、データの受け渡しを行う。
なお、本実施形態では、４系統の画像処理部１１１～１１４、および、同じく４系統の可変長符号化部１２１～１２４の例を挙げているが、この例に限定されるものではない。画像符号化装置１００に対する要求処理能力やコストなどに応じて、任意に、画像処理部をｎ系統（ｎは１以上の整数）、可変長符号化部をｍ系統（ｍは２以上の整数）にすることが可能である。

制御部１０１は、画像符号化装置１００が備える各ブロックの動作を制御する。制御部１０１は、制御バス１０４を介して、クロック制御部１０２、メモリ制御部１０３、画像処理部１１１～１１４、可変長符号化部１２１～１２４を制御する。

クロック制御部１０２は、画像処理部１１１～１１４および可変長符号化部１２１～１２４に接続され、制御部１０１による制御の下、画像処理部１１１～１１４および可変長符号化部１２１～１２４のクロック周波数を設定する設定機能を有している。

メモリ制御部１０３は、制御部１０１により制御され、画像処理部１１１～１１４および可変長符号化部１２１～１２４が外部メモリ１３０へメモリバス１０５を介してアクセスする優先順位（アクセス優先度）を設定するような設定機能を有している。

次に、画像処理部１１１～１１４の構成について説明する。図２は、画像処理部１１１～１１４の構成例を示した図である。なお、画像処理部１１１～１１４は、それぞれが図２に示した構成を有している。

画像処理部１１１～１１４は、画像処理部ごとに、同じフレームの異なる領域のデータに対して画像処理を行うことができる。画像処理部１１１～１１４は、外部メモリ１３０の原画像バッファ領域（図２には不図示）に格納された原画像のデータを、メモリバス１０５を経由してマクロブロック行単位で読み出す。画像処理部１１１は、原画像の（ｎ＊４＋１）マクロブロック行目（ｎ＝０，１，２、３、・・・）を読み出す。なお、画像処理部１１２は原画像の（ｎ＊４＋２）マクロブロック行目を読み出し、画像処理部１１３は原画像の（ｎ＊４＋３）マクロブロック行目を、画像処理部１１４は原画像の（ｎ＊４＋４）マクロブロック行目を読み出す。

イントラ予測モード判定部１４１は、読み出された原画像について例えば輝度成分のイントラ予測モードや色差成分のイントラ予測モードなどのイントラ予測モード判定を行い、その判定結果をイントラ予測部１４２に知らせる。
イントラ予測部１４２は、イントラ予測モードの判定結果に応じてイントラ予測画像を生成する。そして、イントラ予測部１４２は、生成したイントラ予測画像を、残差計算部１４４と残差計算部１５３とに出力する。

探索部１４３は、インター予測に最適な動きベクトルを算出し、該動きベクトルに応じた位置の参照画像を外部メモリ１３０内にある参照フレーム領域（図示せず）からメモリバス１０５を経由して読み出して、インター予測画像を生成する。そして、探索部１４３は、生成したインター予測画像を、残差計算部１４４と残差計算部１５３とに出力する。

残差計算部１４４は、イントラ予測部１４２で生成されたイントラ予測画像、又は探索部１４３で生成されたインター予測画像と、外部メモリ１３０から入力される原画像との差分を求めることにより、予測残差を生成する。予測残差は、離散コサイン変換部１４５に入力される。このとき予測残差として、インター予測画像から生成された予測残差か、あるいはイントラ予測画像から生成された予測残差のいずれを用いるかは、そのときの残差の量に応じて選択される。この選択は、例えば、各マクロブロックの残差の絶対値差分和を求め、その値が小さい方を選択することでも実現可能である。

離散コサイン変換部１４５は、入力されてくる予測残差を整数コサイン変換により周波数変換し、得られた周波数サンプルを量子化部１４６に出力する。
量子化部１４６は、入力された周波数サンプルのデータを所定の量子化スケールで除算する。そして量子化部１４６による量子化後の各周波数サンプルは、ジグザグスキャン部１４７に出力される。
ジグザグスキャン部１４７は、量子化後の各周波数サンプルの２次元の行列から、ジグザグスキャン順に読み出して、一次元のデータとしてランレングス符号化部１４８へ出力する。

また、残差計算部１４４は、マクロブロックの分割情報及び、イントラ予測であれば予測モード、インター予測であれば動きベクトルを、ランレングス符号化部１４８に転送する。
ランレングス符号化部１４８は、入力されたデータを、Ｈ．２６４規格に則ってゼロ（０）の連続個数及び非ゼロ係数化されたデータに変換し、それらのデータを、メモリバス１０５を介して外部メモリ１３０内に設けた中間バッファ領域（不図示）に格納する。

外部メモリ１３０内の中間バッファ領域は、画像処理部１１１～１１４の系統ごとの中間バッファ（図１では図示せず）として管理されている。ランレングス符号化部１４８から出力されたデータは、それら系統ごとの中間バッファに中間データとして格納される。

画像処理部１１１～１１４では、前述のような画像処理作業と並行して、参照画像を生成するために、量子化部１４６で除算された各周波数サンプルが逆量子化部１５１に出力される。
逆量子化部１５１は、入力されたデータを所定の量子化スケールで乗算するような逆量子化処理により、周波数サンプルが生成される。逆量子化で得られた周波数サンプルは、逆離散コサイン変換部１５２へ出力される。
逆離散コサイン変換部１５２は、入力された周波数サンプルを整数コサイン変換する。これにより残差成分が復元され、その残差成分は、残差計算部１５３に出力される。

残差計算部１５３は、イントラ予測部１４２で生成されたイントラ予測画像、又は探索部１４３で生成されたインター予測画像と、逆離散コサイン変換部１５２からの残差成分とを加算する。そして、残差計算部１５３で残差成分が加算された後の予測画像は、デブロッキングフィルタ部１５４に出力される。

デブロッキングフィルタ部１５４は、デブロッキング処理およびブロック歪みの除去処理を行って参照画像を生成し、その参照画像を、メモリバス１０５を介して外部メモリ１３０に格納する。

前述したような画像圧縮処理は、画像処理部１１１～１１４において同様に行われる。そして、画像処理部１１１～１１４は、前述のような１フレーム分の画像に対する画像圧縮処理が修了すると、それを制御部１０１に通知する。
制御部１０１は、画像処理部１１１～１１４から１フレーム分の画像圧縮処理の終了通知を受けると、可変長符号化部１２１～１２４を起動する。

可変長符号化部１２１～１２４は、制御部１０１により制御され、画像処理部１１１～１１４が出力して外部メモリ１３０の中間バッファにそれぞれ格納された各中間データを、メモリバス１０５を経由して読み出す。可変長符号化部１２１～１２４は、並列して可変長符号化を実行可能である。可変長符号化部１２１～１２４は、中間バッファから読み出された各中間データに対し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２１～１２４は、可変長符号化処理結果であるビットストリームを、メモリバス１０５を経由して、外部メモリ１３０のストリームバッファ領域（図１には不図示）に書き込む。

ここで、外部メモリ１３０内のストリームバッファ領域は、可変長符号化部１２１～１２４の系統ごとのストリームバッファ（図１では図示せず）として管理されている。可変長符号化部１２１～１２４から出力されたデータは、それら系統ごとのストリームバッファに、それぞれビットストリームデータとして格納される。

次に、図３を用いて、本実施形態に係る画像符号化装置１００の各部の構成とその動作について説明する。なお図３には、画像符号化装置１００内の各系統における画像処理部１１１～１１４および可変長符号化部１２１～１２４と、外部メモリ１３０内の原画像バッファ領域１３１、中間バッファ領域１３２、およびストリームバッファ領域１３３のみを示している。原画像バッファ領域１３１は、原画像のＩ２フレーム（符号順1フレーム目、Ｉピクチャ）、原画像のＢ０フレーム（符号順２フレーム目、Ｂピクチャ）、および原画像のＢ１フレーム（符号順３フレーム目、Ｂピクチャ）の画像のみが格納されている例を示す。また中間バッファ領域１３２には、画像処理部１１１～１１４および可変長符号化部１２１～１２４の４系統に対応した中間バッファ１～４が設けられている。またストリームバッファ領域１３３には、可変長符号化部１２１～１２４の４系統に対応したストリームバッファ１～４が設けられている。

まず図３を用いて、画像符号化装置１００が、原画像バッファ領域１３１に格納された原画像のＩ２フレーム（符号順1フレーム目、Ｉピクチャ）の可変長符号化を行う動作について説明する。
原画像バッファ領域１３１に格納された原画像のＩ２フレームの可変長符号化が行われる場合、画像処理部１１１はＩ２フレームの画像圧縮処理結果である中間データを中間バッファ領域１３２の中間バッファ１に出力して格納させる。同様に、画像処理部１１２～１１４はＩ２フレームの画像圧縮処理結果である中間データを、それぞれ対応した中間バッファ２～４に出力して格納させる。つまり中間バッファ１～４は、画像処理部１１１～１１４により画像処理が行われたデータを記憶する複数のメモリ領域であって、画像処理部１１１～１１４にそれぞれ対応するメモリ領域である。そして、画像処理部１１１～１１４は、それぞれＩ２フレームの画像圧縮処理が終了すると、その旨を制御部１０１に通知する。

制御部１０１は、Ｉ２フレームの画像圧縮処理の終了通知を受けると、そのＩ２フレームの可変長符号化処理を行う可変長符号化部を、可変長符号化部１２１～１２４のうち、１つの可変長符号化部１２１に決定して起動させる。可変長符号化部１２１は、制御部１０１により制御され、画像処理部１１１～１１４からそれぞれ出力され中間バッファ１～４に格納された中間データを読み出して、スライス単位で可変長符号化する。中間バッファ１～４に格納されたＩ２フレームの中間データは、Ｉ２フレームの原画像の入力順となるように中間バッファ１～４から順に読み出し、スライス単位で可変長符号化する。つまり、可変長符号化部１２１は、中間バッファ１～４に記憶されている１つのフレームのデータを、入力順に対応する順序で符号化する。これにより、符号化後にデータを並べ替えなくても、符号化後の画像データが構成され、出力されるようになる。そして、可変長符号化部１２１は、Ｉ２フレームの符号化結果であるビットストリームを、ストリームバッファ領域１３３内のストリームバッファ１に出力して格納させる。なお、Ｉ２フレームのようなＩピクチャの画像圧縮処理終了通知に応じて、制御部１０１が可変長符号化部１２１を起動するのは、後述するように、可変長符号化部１２１が処理能力の高い可変長符号化部として設定されているためである。また詳細は後述するが、第１の実施形態の場合、可変長符号化部における処理能力の高さは、外部メモリ１３０へのアクセス優先度によって表されており、可変長符号化部１２１はアクセス優先度が最も高く設定されている。

次に、本実施形態に係る画像符号化装置１００において原画像バッファ領域１３１に格納された原画像のＢ０フレーム（符号順２フレーム目、Ｂピクチャ）の可変長符号化を行う場合の動作について説明する。
原画像のＢ０フレームの可変長符号化が行われる場合、画像処理部１１１～１１４は、それぞれ、Ｂ０フレームの画像圧縮処理結果である中間データを中間バッファ領域１３２の中間バッファ１～４に出力して格納させる。そして、画像処理部１１１～１１４は、それぞれＢ０フレームの画像圧縮処理が終了すると、その旨を制御部１０１に通知する。

制御部１０１は、Ｂ０フレームの画像圧縮処理の終了通知を受けると、そのＢ０フレームの可変長符号化処理を行う可変長符号化部を、可変長符号化部１２２に決定して起動させる。可変長符号化部１２２は、制御部１０１により制御され、画像処理部１１１～１１４からそれぞれ出力され中間バッファ１～４に格納された中間データを読み出して、スライス単位で可変長符号化する。そして、可変長符号化部１２２は、Ｂ０フレームの符号化結果であるビットストリームを、ストリームバッファ領域１３３内のストリームバッファ２に出力して格納させる。なお、Ｂ０フレームのようなＢピクチャの画像圧縮処理終了通知に応じて、制御部１０１が可変長符号化部１２２を起動するのは、後述するように、可変長符号化部１２２が処理能力の低い可変長符号化部として設定されているためである。詳細は後述するが、第１の実施形態の場合、可変長符号化部１２１はアクセス優先度が低く設定されている。

次に本実施形態に係る画像符号化装置１００において原画像バッファ領域１３１に格納された原画像のＢ１フレーム（符号順３フレーム目、Ｂピクチャ）の可変長符号化を行う場合の動作について説明する。
原画像のＢ１フレームの可変長符号化が行われる場合、画像処理部１１１～１１４は、それぞれ、Ｂ１フレームの画像圧縮処理結果である中間データを中間バッファ領域１３２の中間バッファ１～４に出力して格納させる。そして、画像処理部１１１～１１４は、それぞれＢ０フレームの画像圧縮処理が終了すると、その旨を制御部１０１に通知する。

制御部１０１は、Ｂ１フレームの画像圧縮処理の終了通知を受けると、Ｂ１フレームの可変長符号化処理を行う可変長符号化部を、可変長符号化部１２３又は１２４に決定して起動させる。可変長符号化部１２３又は１２４は、制御部１０１により制御され、画像処理部１１１～１１４からそれぞれ出力され中間バッファ１～４に格納された中間データを読み出して、スライス単位で可変長符号化する。そして、可変長符号化部１２３又は１２４は、Ｂ１フレームの符号化結果であるビットストリームを、ストリームバッファ領域１３３内のストリームバッファ３又は４に出力して格納させる。なお、詳細は後述するが、本実施形態の場合、可変長符号化部１２３と１２４は処理能力の低い可変長符号化部として設定されている。

図４は、第１の実施形態における画像圧縮処理の流れを示したフローチャートである。
画像符号化装置１００の電源がオン（ＯＮ）になされると、制御部１０１は、ステップＳ１の処理に進む。ステップＳ１に進むと、制御部１０１は、フレーム数を示す変数Ｎを１（Ｎ＝１）に設定する。Ｎ＝１は１フレーム目の画像圧縮処理であることを示す。その後、制御部１０１は、ステップＳ２に処理を進める。

ステップＳ２に進むと、制御部１０１は、画像処理部１１１～１１４を起動してＮフレーム目の画像圧縮処理を行うように制御する。その後、画像符号化装置１００の処理は、ステップＳ３に進む。

ステップＳ３に進むと、画像処理部１１１～１１４は、画像圧縮処理を行い、Ｎフレーム目の画像圧縮処理を完了して中間データを中間バッファ１～４に出力すると、制御部１０１に画像圧縮処理完了を通知する。画像処理部１１１～１１４からのＮフレーム目の画像圧縮処理完了通知は、後述する図５のステップＳ２３における制御部１０１の判定処理に用いられる。その後、画像符号化装置１００の処理はステップＳ４に進む。

ステップＳ４に進むと、制御部１０１は、フレーム数を示す変数Ｎを１プラスして更新する。その後、制御部１０１は、ステップＳ５に処理を進める。
ステップＳ５に進むと、制御部１０１は、全フレームの画像圧縮処理が終了したか判定し、未処理のフレームが存在する場合にはステップＳ２に処理を戻す。一方、全フレームの画像圧縮処理が終了した場合、制御部１０１は、図４のフローチャートの処理を終了する。

図５は、第１の実施形態における可変長符号化処理の流れを示したフローチャートである。
画像符号化装置１００の電源がＯＮになされると、制御部１０１は、ステップＳ２１の処理に進む。ステップＳ２１に進むと、制御部１０１は、起動する可変長符号化部を示す変数Ｍ＝１を設定する。Ｍ＝１は可変長符号化部１２１を起動対象とすることを示す。同様にＭ＝２、３、４はそれぞれ可変長符号化部１２２、１２３、１２４を起動対象とすることを示す。ステップＳ２１の後、制御部１０１は、ステップＳ２２に処理を進める。

ステップＳ２２に進むと、制御部１０１は、メモリ制御部１０３を制御することで、外部メモリ１３０への可変長符号化部１２１～１２４のメモリアクセスの優先度を設定させる。第１の実施形態の場合、制御部１０１は、メモリ制御部１０３を制御することで、可変長符号化部１２１、１２２、１２３、１２４の順にメモリアクセスの優先度を高く設定する。これにより、可変長符号化部１２１は可変長符号化部１２２、１２３、および１２４よりも優先的に外部メモリ１３０へアクセスすることが可能となる。また、可変長符号化部１２２は、可変長符号化部１２３および１２４よりも優先的に外部メモリ１３０へアクセスすることが可能となる。また、可変長符号化部１２３は、可変長符号化部１２４よりも優先的に外部メモリ１３０へアクセスすることが可能となる。ステップＳ２２の後、制御部１０１は、ステップＳ２３に処理を進める。

ステップＳ２３に進むと、制御部１０１は、画像処理部１１１～１１４からＮフレーム目の画像圧縮処理完了が通知されたか否か判定し、画像処理部１１１～１１４からＮフレーム目の画像圧縮処理完了が通知されるまでステップＳ２３の判定処理を繰り返す。そして、画像処理部１１１～１１４からＮフレーム目の画像圧縮処理完了通知を受け取ると、制御部１０１は、ステップＳ２４に処理を進める。

ステップＳ２４に進むと、制御部１０１は、Ｎフレーム目がＩピクチャであるか判定する。そして、制御部１０１は、Ｉピクチャであると判定した場合にはステップＳ２７に処理を進め、Ｉピクチャでないと判定した場合にはステップＳ２５に処理を進める。

ステップＳ２７に進むと、画像圧縮後の中間データサイズが大きく可変長符号化に時間のかかるＩピクチャを符号化するための可変長符号化部として、制御部１０１は、外部メモリ１３０へのメモリアクセスの優先度が最も高い可変長符号化部１２１を起動する。すなわち本実施形態の場合、Ｉピクチャを可変長符号化処理する際には、外部メモリ１３０へのメモリアクセスの優先度が最も高い可変長符号化部１２１が用いられることになる。起動された可変長符号化部１２１は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２１は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ１に格納する。このステップＳ２７の処理後、画像符号化装置１００の処理はステップＳ３０に進む。

ステップＳ２５に進んだ場合、制御部１０１は、Ｎフレーム目がＰピクチャであるか判定する。そして、制御部１０１は、Ｐピクチャであると判定した場合にはステップＳ２８に処理を進め、Ｐピクチャでないと判定した場合にはステップＳ２６に処理を進める。

ステップＳ２８に進むと、Ｐピクチャを符号化するための可変長符号化部として、制御部１０１は、外部メモリ１３０へのメモリアクセスの優先度が２番目に高い可変長符号化部１２２を起動する。起動された可変長符号化部１２２は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２２は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ２に格納する。このステップＳ２８の処理後、画像符号化装置１００の処理はステップＳ３０に進む。

ステップＳ２６に進んだ場合、制御部１０１は、Ｎフレーム目がＢピクチャであるか判定する。そして、制御部１０１は、Ｂピクチャであると判定した場合にはステップＳ２９に処理を進め、Ｂピクチャでないと判定した場合にはステップＳ３２に処理を進める。

ステップＳ２９に進むと、画像圧縮後の中間データサイズが小さく可変長符号化に時間のかからないＢピクチャを符号化するための可変長符号化部として、制御部１０１は、メモリアクセスの優先度が低い可変長符号化部１２３又は１２４を起動する。起動された可変長符号化部１２３又は１２４は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２３又は１２４は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ３又は４に格納する。このステップＳ２９の処理後、画像符号化装置１００の処理はステップＳ３０に進む。

ステップＳ３０に進むと、ステップＳ２７、ステップＳ２８、ステップＳ２９のいずれかで起動された可変長符号化部は、可変長符号化処理が完了してビットストリームをストリームバッファに格納すると、可変長符号化完了を制御部１０１に通知する。ステップＳ３０による可変長符号化完了通知を受け取ると、制御部１０１は、ステップＳ３２に処理を進める。

ステップＳ３２に進むと、制御部１０１は、全フレームの可変長符号化処理が終了したか判定し、未処理のフレームが存在する場合にはステップＳ２３に処理を戻す。一方、全フレームの可変長符号化処理が終了した場合、制御部１０１は、図５のフローチャートの処理を終了する。

図６は、第１の実施形態の画像符号化装置１００の画像処理部１１１～１１４における画像処理、および可変長符号化部１２１～１２４における可変長符号化処理のタイミングを示す図である。
図６に示すように、画像処理部１１１～１１４では、Ｉ２フレーム、Ｂ０フレーム、Ｂ１フレーム、Ｐ５フレーム、Ｂ３フレーム、Ｂ４フレームの順に画像圧縮処理が行われるとする。Ｉ２フレームはＩピクチャとして圧縮符号化され、Ｂ０フレーム、Ｂ１フレーム、Ｂ３フレーム、およびＢ４フレームはＢピクチャとして、Ｐ５フレームはＰピクチャとして圧縮符号化される。

ここで、画像処理部１１１～１１４がＩ２フレームの画像圧縮処理を完了する時間がＴ０であるとする。Ｉ２フレームの画像圧縮処理を完了すると、その完了時間Ｔ０のタイミングで、外部メモリ１３０へのメモリアクセス優先度が最も高い可変長符号化部１２１は、可変長符号化時間の長いＩ２フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ０フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、メモリアクセスの優先度が低い可変長符号化部１２３は、可変長符号化時間の短いＢ０フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ１フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、メモリアクセスの優先度が低い可変長符号化部１２４は、可変長符号化時間の短いＢ１フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＰ５フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、メモリアクセスの優先度が２番目に高い可変長符号化部１２２は、Ｐ５フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ３フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、メモリアクセスの優先度が低い可変長符号化部１２３は、可変長符号化時間の短いＢ３フレームの可変長符号化を開始する。

その後、画像処理部１１１～１１４がＢ４フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、メモリアクセスの優先度が低い可変長符号化部１２４は、可変長符号化時間の短いＢ４フレームの可変長符号化を開始する。
そして図６の例の場合、Ｂ４フレームの可変長符号化が終了する時間Ｔ３において、Ｉ２フレーム、Ｂ０フレーム、Ｂ１フレーム、Ｐ５フレーム、Ｂ３フレーム、およびＢ４フレームの圧縮符号化が完了したことになる。

このように本実施形態の画像符号化装置１００は、Ｉ２フレーム、Ｂ０フレーム、Ｂ１フレーム、Ｐ５フレーム、Ｂ３フレーム、およびＢ４フレームの圧縮符号化を、複数の処理能力の異なる可変長符号化部１２１～１２４に割り振るようになされている。すなわち、本実施形態の画像符号化装置１００は、複数の処理能力の異なる可変長符号化部１２１～１２４を備えており、画像の符号化処理時間に応じて、最適な可変長符号化部１２１～１２４を割り当てる。これにより、本実施形態の画像符号化装置１００によれば、可変長符号化部１２１～１２４におけるアイドル時間を短縮することができ、複数の画像から構成される動画シーケンス全体の符号化効率の向上と符号化処理時間の短縮が可能となる。

＜第２の実施形態＞
以下第２の実施形態について説明する。なお、第２の実施形態の画像符号化装置１００の構成は前述した図１と同様であり、画像処理部１１１～１１４の構成は前述した図２と同様であるため、それらの図示と説明は省略する。また、第２の実施形態に係る画像符号化装置１００の各部の構成とその動作についても前述の図３で説明したのと同様である。
前述した第１の実施形態では、可変長符号化部１２１～１２４の処理能力の高さが外部メモリ１３０へのアクセス優先度により表されていたが、第２の実施形態の場合は、クロック周波数の高さによって可変長符号化部１２１～１２４の処理能力の高さが表される。

図７は、第２の実施形態の画像符号化装置１００における可変長符号化処理の流れを示したフローチャートである。
第２の実施形態の画像符号化装置１００の電源がＯＮになされると、制御部１０１は、ステップＳ４１の処理に進む。ステップＳ４１に進むと、制御部１０１は、図５のステップＳ２１と同様に、起動する可変長符号化部を示す変数Ｍ＝１を設定する。なお、Ｍ＝２、３、４は前述同様にそれぞれ可変長符号化部１２２、１２３、１２４を起動対象とすることを示す。ステップＳ４１の後、制御部１０１は、ステップＳ４２に処理を進める。

ステップＳ４２に進むと、制御部１０１は、クロック制御部１０２を制御することで、可変長符号化部１２１～１２４のクロック周波数を設定する。第２の実施形態の場合、制御部１０１は、クロック制御部１０２を制御することで、可変長符号化部１２１、１２２、１２３、１２４の順にクロック周波数を高く設定する。これにより、可変長符号化部１２１は、可変長符号化部１２２、１２３、および１２４よりも高速に可変長符号化処理が可能となる。また、可変長符号化部１２２は、可変長符号化部１２３および１２４よりも高速に可変長符号化処理が可能となる。また、可変長符号化部１２３は、可変長符号化部１２４よりも高速に可変長符号化処理が可能となる。このステップＳ４２の後、制御部１０１は、ステップＳ４３に処理を進める。

ステップＳ４３に進むと、制御部１０１は、図５のステップＳ２３と同様に、画像処理部１１１～１１４からＮフレーム目の画像圧縮処理完了が通知されたか否か判定する。そして、画像処理部１１１～１１４からＮフレーム目の画像圧縮処理完了通知を受け取ると、制御部１０１は、ステップＳ４４に処理を進める。

ステップＳ４４に進むと、制御部１０１は、図５のステップＳ２４と同様に、Ｎフレーム目がＩピクチャであるか判定し、Ｉピクチャである場合にはステップＳ４７に進み、Ｉピクチャでない場合にはステップＳ４５に処理を進める。

ステップＳ４７に進むと、画像圧縮後の中間データサイズが大きく可変長符号化に時間のかかるＩピクチャを符号化する可変長符号化部として、制御部１０１は、可変長符号化処理の速度が最も高速な可変長符号化部１２１を起動する。起動された可変長符号化部１２１は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２１は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ１に格納する。このステップＳ４７の処理後、画像符号化装置１００の処理はステップＳ５０に進む。

ステップＳ４５に進んだ場合、制御部１０１は、図５のステップＳ２５と同様に、Ｎフレーム目がＰピクチャであるか判定し、Ｐピクチャである場合にはステップＳ４８に処理を進め、Ｐピクチャでない場合にはステップＳ４６に処理を進める。

ステップＳ４８に進むと、Ｐピクチャを符号化する可変長符号化部として、制御部１０１は、可変長符号化処理の速度が２番目に高速な可変長符号化部１２２を起動する。起動された可変長符号化部１２２は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２２は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ２に格納する。このステップＳ４８の処理後、画像符号化装置１００の処理はステップＳ５０に進む。

ステップＳ４６に進んだ場合、制御部１０１は、図５のステップＳ２６と同様に、Ｎフレーム目がＢピクチャであるか判定し、Ｂピクチャである場合にはステップＳ４９に処理を進め、Ｂピクチャでない場合にはステップＳ５２に処理を進める。

ステップＳ４９に進むと、画像圧縮後の中間データサイズが小さく可変長符号化に時間のかからないＢピクチャを符号化する可変長符号化部として、制御部１０１は、可変長符号化処理の速度が低速な可変長符号化部１２３又は１２４を起動する。起動された可変長符号化部１２３又は１２４は、外部メモリ１３０上の中間バッファ１～４に格納されたＮフレーム目の中間データを読み出し、スライス単位で可変長符号化処理を行う。そして、可変長符号化部１２３又は１２４は、Ｎフレーム目の符号化結果であるビットストリームを外部メモリ１３０のストリームバッファ領域１３３内のストリームバッファ３又は４に格納する。このステップＳ４９の処理後、画像符号化装置１００の処理はステップＳ５０に進む。

ステップＳ５０に進むと、ステップＳ４７、ステップＳ４８、ステップＳ４９のいずれかで起動された可変長符号化部は、可変長符号化処理が完了してビットストリームをストリームバッファに格納すると、可変長符号化完了を制御部１０１に通知する。ステップＳ５０による可変長符号化完了通知を受け取ると、制御部１０１は、ステップＳ５２に処理を進める。

ステップＳ５２に進むと、制御部１０１は、全フレームの可変長符号化処理が終了したか判定し、未処理のフレームが存在する場合にはステップＳ４３に処理を戻す。一方、全フレームの可変長符号化処理が終了した場合、制御部１０１は、図７のフローチャートの処理を終了する。

次に、第２の実施形態の画像符号化装置１００の画像処理部１１１～１１４における画像処理、および可変長符号化部１２１～１２４における可変長符号化処理のタイミングを、前述した図６を用いて説明する。

第２の実施形態の場合、画像処理部１１１～１１４がＩ２フレームの画像圧縮処理を完了した時間Ｔ０のタイミングで、クロック周波数が最も高い可変長符号化部１２１は、可変長符号化時間の長いＩ２フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ０フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、クロック周波数が低い可変長符号化部１２３は、可変長符号化時間の短いＢ０フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ１フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、クロック周波数が低い可変長符号化部１２４は、可変長符号化時間の短いＢ１フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＰ５フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、クロック周波数が２番目に高い可変長符号化部１２２は、Ｐ５フレームの可変長符号化を開始する。

次に画像処理部１１１～１１４がＢ３フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、クロック周波数が低い可変長符号化部１２３は、可変長符号化時間の短いＢ３フレームの可変長符号化を開始する。

その後、画像処理部１１１～１１４がＢ４フレームの画像圧縮処理を完了すると、その完了時間のタイミングで、クロック周波数が低い可変長符号化部１２４は、可変長符号化時間の短いＢ４フレームの可変長符号化を開始する。
そして第２の実施形態においても、前述同様に、Ｂ４フレームの可変長符号化が終了する時間Ｔ３において、Ｉ２フレーム、Ｂ０フレーム、Ｂ１フレーム、Ｐ５フレーム、Ｂ３フレーム、およびＢ４フレームの圧縮符号化が完了したことになる。

このように、第２の実施形態の画像符号化装置１００は、複数の処理クロック等の処理能力の異なる可変長符号化部１２１～１２４を備え、画像の符号化処理時間に応じて、最適な可変長符号化部１２１～１２４を割り当てる。これにより、第２の実施形態の画像符号化装置１００によれば、可変長符号化部１２１～１２４のアイドル時間を短縮して、複数の画像から構成される動画シーケンス全体の符号化効率の向上と符号化処理時間の短縮が可能となる。

以上、本発明の各実施形態について説明したが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の各実施形態の一部を適宜組み合わせることも可能である。

前述した実施形態に係る構成または各フローチャートの処理は、ハードウェア構成により実現されてもよいし、例えばＣＰＵが本実施形態に係るプログラムを実行することによりソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。ソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

なお前述した実施形態の制御部１０１、画像処理部１１１～１１４のイントラ予測モード判定部１４１、イントラ予測部１４２、探索部１４３等では、人工知能（ＡＩ：artificial intelligence）を適用した処理が行われてもよい。例えば、それらの各部の代わりとして、機械学習された学習済みモデルを用いてもよい。その場合には、それら各部への入力データと出力データとの組合せを学習データとして複数個準備し、それらから機械学習によって知識を獲得し、獲得した知識に基づいて入力データに対する出力データを結果として出力する学習済みモデルを生成する。この学習済みモデルは、例えばニューラルネットワークモデルで構成できる。そして、それらの学習済みモデルは、前述の各部と同等の処理をするためのプログラムとして、ＣＰＵあるいはＧＰＵなどと協働で動作することにより、前述した各部の処理を行う。また、前述の学習済みモデルは、必要に応じて一定のデータを処理する毎に更新する等も可能である。

本発明に係る制御処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。
前述の各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００：画像符号化装置、１０１：制御部、１０２：クロック制御部、１０３：メモリ制御部、１１１～１１４：画像処理部、１２１～１２４：可変長符号化部

Claims (16)

1. 動画のフレームに画像処理を行う、一つ以上の画像処理手段と、
   前記画像処理がなされた後のフレームに可変長符号化処理を行う、二つ以上の可変長符号化手段と、
   前記画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定する制御手段と、
   を有し、
   前記二つ以上の可変長符号化手段は、並列して可変長符号化処理を実行可能であり、前記可変長符号化手段ごとに、異なるフレームを可変長符号化処理し、
   前記二つ以上の可変長符号化手段の処理能力は、メモリへのアクセス優先度で表され、
   前記二つ以上の可変長符号化手段は、前記可変長符号化手段ごとに異なる前記アクセス優先度が設定され、
   前記制御手段は、前記画像処理がなされた後のフレームと前記設定されたアクセス優先度とに基づいて、当該画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定する
   ことを特徴とする画像符号化装置。
2. 前記メモリは、前記画像処理手段による前記画像処理がなされた後のデータを記憶する中間バッファであることを特徴とする請求項１に記載の画像符号化装置。
3. 前記可変長符号化手段ごとに異なる前記アクセス優先度を設定する設定手段を有することを特徴とする請求項１または２に記載の画像符号化装置。
4. 前記画像処理手段によって前記画像処理がなされた後のフレームは、フレームごとに可変長符号化処理にかかる時間が異なり、
   前記制御手段は、前記アクセス優先度が高く設定された可変長符号化手段に対して、可変長符号化処理に時間がかかるフレームを割り当てることを特徴とする請求項１に記載の画像符号化装置。
5. 動画のフレームに画像処理を行う、一つ以上の画像処理手段と、
   前記画像処理がなされた後のフレームに可変長符号化処理を行う、二つ以上の可変長符号化手段と、
   前記画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定する制御手段と、
   を有し、
   前記二つ以上の可変長符号化手段は、並列して可変長符号化処理を実行可能であり、前記可変長符号化手段ごとに、異なるフレームを可変長符号化処理し、
   前記二つ以上の可変長符号化手段の処理能力は、クロック周波数の高さで表され、
   前記二つ以上の可変長符号化手段は、前記可変長符号化手段ごとに異なるクロック周波数が設定され、
   前記制御手段は、前記画像処理がなされた後のフレームと前記設定されたクロック周波数とに基づいて、当該画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化手段を決定する
   ことを特徴とする画像符号化装置。
6. 前記可変長符号化手段ごとに異なる前記クロック周波数を設定する設定手段を有することを特徴とする請求項５に記載の画像符号化装置。
7. 前記画像処理手段によって前記画像処理がなされた後のフレームは、フレームごとに可変長符号化処理にかかる時間が異なり、
   前記制御手段は、前記クロック周波数が高く設定された可変長符号化手段に対して、可変長符号化処理に時間がかかるフレームを割り当てることを特徴とする請求項５または６に記載の画像符号化装置。
8. 複数の前記画像処理手段を有し、
   前記複数の画像処理手段は、前記画像処理手段ごとに、同じフレームの異なる領域のデータに対して画像処理を行うことを特徴とする請求項１または５に記載の画像符号化装置。
9. 前記複数の画像処理手段により画像処理が行われたデータを記憶する複数のメモリ領域であって、前記複数の画像処理手段にそれぞれ対応する複数のメモリ領域、を有し、
   前記複数の画像処理手段により画像処理され前記複数のメモリ領域に記憶された同じフレームのデータを、前記二つ以上の可変長符号化手段のうちの１つの可変長符号化手段により符号化することを特徴とする請求項８に記載の画像符号化装置。
10. 動画のフレームを入力する入力手段を有し、
    前記画像処理手段は、前記入力手段により入力された動画のフレームに画像処理を行い、
    前記可変長符号化手段は、前記複数のメモリ領域に記憶されている１つのフレームのデータを、前記入力手段による入力順に対応する順序で符号化することを特徴とする請求項９に記載の画像符号化装置。
11. 前記画像処理手段は、前記動画のフレームをマクロブロック行単位で前記画像処理することを特徴とする請求項１または５に記載の画像符号化装置。
12. 前記画像処理手段が複数ある場合、前記画像処理手段ごとに前記動画のフレームの異なるマクロブロック行の前記画像処理を行うことを特徴とする請求項１１に記載の画像符号化装置。
13. 前記画像符号化装置は、Ｈ．２６４（ＩＳＯ／ＩＥＣ１４４９６－１０）またはＨ．２６５（ＩＳＯ／ＩＥＣ２３００８－３）の規格に則った画像圧縮符号化処理を行う装置であることを特徴とする請求項１乃至１２のいずれか１項に記載の画像符号化装置。
14. 画像符号化装置が実行する画像符号化方法であって、
    動画のフレームに画像処理を行う、一つ以上の画像処理工程と、
    前記画像処理がなされた後のフレームに可変長符号化処理を行う、二つ以上の可変長符号化工程と、
    前記画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化工程を決定する制御工程と、
    を有し、
    前記二つ以上の可変長符号化工程は、並列して可変長符号化処理を実行可能であり、前記可変長符号化工程ごとに、異なるフレームを可変長符号化処理し、
    前記二つ以上の可変長符号化工程の処理能力は、メモリへのアクセス優先度で表され、
    前記二つ以上の可変長符号化工程では、前記可変長符号化工程ごとに異なる前記アクセス優先度が設定され、
    前記制御工程では、前記画像処理がなされた後のフレームと前記設定されたアクセス優先度とに基づいて、当該画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化工程を決定する
    ことを特徴とする画像符号化方法。
15. 画像符号化装置が実行する画像符号化方法であって、
    動画のフレームに画像処理を行う、一つ以上の画像処理工程と、
    前記画像処理がなされた後のフレームに可変長符号化処理を行う、二つ以上の可変長符号化工程と、
    前記画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化工程を決定する制御工程と、
    を有し、
    前記二つ以上の可変長符号化工程は、並列して可変長符号化処理を実行可能であり、前記可変長符号化工程ごとに、異なるフレームを可変長符号化処理し、
    前記二つ以上の可変長符号化工程の処理能力は、クロック周波数の高さで表され、
    前記二つ以上の可変長符号化工程では、前記可変長符号化工程ごとに異なるクロック周波数が設定され、
    前記制御工程では、前記画像処理がなされた後のフレームと前記設定されたクロック周波数とに基づいて、当該画像処理がなされた後のフレームの可変長符号化処理を行う前記可変長符号化工程を決定する
    ことを特徴とする画像符号化方法。
16. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像符号化装置が有する各手段として機能させるためのプログラム。

Images