JP6724581B2 - 画像符号化装置、方法、及びプログラム - Google Patents

Description

本発明は、画像符号化装置、画像符号化方法、及び画像符号化プログラムに関する。

従来、画像データの符号化装置において、符号化処理におけるアイドル時間を削減するための技術が提案されている。

例えば、係数ビットモデリング部と算術符号化部との間にデータ保持部が設けられており、係数ビットモデリング部で生成された符号化情報が一旦データ保持部に保持されてから算術符号化部に読み出されて処理されるデータ符号化装置が提案されている。このデータ符号化装置では、係数ビットモデリング部における符号化情報の生成タイミングと、算術符号化部における符号化情報の処理タイミングとを一致させる必要がないことにより、無駄なアイドル時間を削減している。

また、モード判定処理及びビットストリームパッキングが、シーケンスにおける各種フレームについてパラレルに実行されるビデオ符号化処理の方法が提案されている。この方法では、モード判定処理ロジックとビットストリームパッキングロジックとの双方のアイドル時間が低減される。

特開２００４−３２０１５７号公報 特表２０１４−５２９２５６号公報

例えば、４Ｋ（３８４０×２１６０画素、ピクチャレート６０ｐ）、８Ｋ（７６８０×４３２０画素、ピクチャレート１２０ｐ）といった高解像度の画像データをリアルタイム処理で符号化できる高い処理能力を持つ画像符号化装置が存在する。このような画像符号化装置では、リアルタイム処理できる最大処理量よりも小さい処理量で符号化可能な画像データの符号化も行うことができる。

しかし、この場合、画像データの１フレーム分の符号化に対して本来使用可能な時間よりも短い時間で、処理量の小さい画像データの１フレーム分の符号化処理が完了することになり、画像符号化装置の符号化処理にアイドリングする時間が発生してしまう。すなわち、画像符号化装置の処理能力が十分に活用されていない。

一つの側面として、本発明は、画質を向上させることを目的とする。

一つの態様では、本発明は、符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部を備える。符号化の処理量は、符号化対象の画像データに対する符号化の処理量に関連するパラメータに基づいて得る。また、本発明は、前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部を備える。また、本発明は、前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部を備える。

一つの側面として、画質を向上させることができる、という効果を有する。

本実施形態に係る画像符号化装置の概略構成を示す機能ブロック図である。 画質向上機能表の一例を示す図である。 本実施形態に係る画像符号化装置として機能するコンピュータの概略構成を示すブロック図である。 本実施形態における画像符号化処理の一例を示すフローチャートである。 比較例における処理の空きを説明するための図である。 本実施形態における画像符号化装置の処理能力の活用を説明するための図である。

以下、図面を参照して本発明に係る実施形態の一例を詳細に説明する。

図１に示すように、本実施形態に係る画像符号化装置１０は、原画像データ及び原音声データの各々を符号化して多重化し、多重化ストリームとして出力する。画像符号化装置１０は、複数チャネルの原画像データ及び音声データの各々を符号化するマルチチャネル符号化処理を行う。

画像符号化装置１０は、機能的には、図１に示すように、取得部１１と、計算部１２と、割当部１３と、画像符号化部１４と、音声符号化部１５と、多重化部１６とを含む。また、画像符号化装置１０の所定の記憶領域には、画質向上機能表２１が記憶される。

取得部１１は、外部から設定されたチャネル毎の原画像データのパラメータを取得する。ここでのパラメータとは、原画像データを符号化する際の処理量に関連するパラメータである。例えば、パラメータは、画像水平サイズ、画像垂直サイズ、ピクチャレート、画素ビット深度、ＹＵＶフォーマットを含む。

画像水平サイズ及び画像垂直サイズは、１ピクチャについての画素単位の画像サイズである。なお、以下では、４Ｋ（３，８４０×２，１６０画素）、ＨＤ（high definition、１，９２０×１，０８０画素）、ＳＤ（Standard definition、７２０×４８０画素）の表記を用いて画像サイズを表す場合もある。ピクチャレートは、１秒当たりのピクチャ数である。画素ビット深度は、１画素を表現するビット数であり、一般に８ビット又は１０ビットが使われる。ＹＵＶフォーマットは、画像符号化装置の入力に使われる一般的な画像フォーマットであり、色差成分の密度によってＹＵＶ４２２、ＹＵＶ４２０等の種類がある。

取得部１１は、取得したチャネル毎のパラメータを計算部１２へ受け渡す。

計算部１２は、取得部１１から受け渡されたチャネル毎のパラメータに基づいて、チャネル毎の原画像データに対する符号化の処理量を計算する。また、計算部１２は、画像符号化装置１０において、原画像データの符号化で使用可能な処理量の最大値（以下、「最大処理量」という）を計算する。そして、計算部１２は、原画像データに対する符号化の処理量と最大処理量とに基づいて、処理の空き量を計算する。

具体的には、計算部１２は、各チャネルの原画像データに対する符号化の処理量を示す指標として、例えば、下記（１）式に示す「チャネルｋの１秒当たりの処理量」を、取得部１１により取得されたパラメータに基づいて計算する。

チャネルｋの１秒当たりの処理量
＝画像水平サイズ×画像垂直サイズ×ピクチャレート×α （１）

ここで、αは、画素ビット深度やＹＵＶフォーマットの違いにより、チャネルｋの原画像データに対する符号化の処理量が変わる場合に用いる重み変数である。具体的には、画像符号化装置１０が画素ビット深度１０ｂｉｔ、ＹＵＶ４２２フォーマットの画像データの符号化まで対応している場合は、画素ビット深度が１０ｂｉｔ、かつＹＵＶ４２２フォーマット１０ｂｉｔのときのαを１とする。そして、α＝１を基準として、チャネルｋについて取得された画素ビット深度及びＹＵＶフォーマットの種類に応じてαを調整する。

例えば、画素ビット深度が８ｂｉｔのときに、画素ビット深度が１０ｂｉｔのときと比べて処理量が０．９倍となり、ＹＵＶ４２０フォーマットのときに、ＹＵＶ４２２フォーマットのときと比べて処理量が０．８倍となるとする。この場合、画素ビット深度が８ｂｉｔかつＹＵＶ４２０フォーマットの原画像データについて上記（１）式の処理量を計算する場合には、αは、０．９×０．８＝０．７２とする。

例えば、チャネル０の原画像データが、画像サイズがＨＤ（１，９２０×１，０８０画素）、ピクチャレートが６０ｐ、画素ビット深度が１０ｂｉｔ、かつＹＵＶ４２２フォーマットであるとする。この場合、チャネル０の１秒当たりの処理量は、以下のようになる。

チャネル０の１秒当たりの処理量
＝１，９２０×１，０８０×６０×１＝１２４，４１６，０００

また、例えば、チャネル１の原画像データが、画像サイズがＳＤ（７２０×４８０画素）、ピクチャレートが６０ｐ、画素ビット深度が１０ｂｉｔ、かつＹＵＶ４２２フォーマットであるとする。この場合、チャネル２の１秒当たりの処理量は、以下のようになる。

チャネル１の１秒当たりの処理量
＝７２０×４８０×６０×１＝２０，７３６，０００

また、計算部１２は、画像符号化装置１０の１秒当たりの処理の空き量を、下記（２）式で計算する。

処理の空き量＝画像符号化装置１０の１秒当たりの最大処理量
−Σ［ｋ＝０，ｎ−１］チャネルｋの１秒当たりの処理量 （２）
（ｎはチャネル数）

ここで、画像符号化装置１０の１秒当たりの最大処理量は、画像符号化装置１０の処理能力に依存する固定値である。例えば、画像符号化装置１０が、画像サイズが４Ｋ（３，８４０×２，１６０画素）、ピクチャレートが６０ｐ、画素ビット深度が１０ｂｉｔ、かつＹＵＶ４２２フォーマットの画像データを処理可能であるとする。この場合、画像符号化装置１０の１秒当たりの最大処理量は、以下のようになる。なお、画素ビット深度及びＹＵＶフォーマットから、αは１であるとする。

画像符号化装置１０の１秒当たりの最大処理量
＝３，８４０×２，１６０×６０×１＝４９７，６６４，０００

上記のチャネル０（ＨＤ、６０ｐ、１０ｂｉｔ、ＹＵＶ４２２）と、チャネル１（ＳＤ、６０ｐ、１０ｂｉｔ、ＹＵＶ４２２）の計２チャネルを処理する場合は、処理の空き量は、以下のようになる。

処理の空き量
＝４９７，６６４，０００
−（１２４，４１６，０００＋２０，７３６，０００）
＝３５２，５１２，０００

計算部１２は、計算した処理の空き量を割当部１３へ受け渡す。

割当部１３は、計算部１２から受け渡された処理の空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた画質向上機能を、各チャネルに割り当てる。

具体的には、割当部１３は、各チャネルの１秒当たりの処理量の比率と、予め定めた各チャネルの優先度とに応じて、処理の空き量を分配する。例えば、チャネル０（ＨＤ）とチャネル１（ＳＤ）の計２チャネルのマルチチャネル符号化を行う場合は、ＳＤの処理量がＨＤの約１／６であることから、処理の空き量をチャネル０（ＨＤ）：チャネル１（ＳＤ）＝６×β：１×γで分配する。ここで、β及びγは、チャネルの優先度に応じた０以上の値の重み変数である。チャネルの優先度及び重み変数は、例えば、ＳＤよりＨＤの画質向上を優先させる、などの仕様に応じて適宜設定すればよい。以降では簡単のため、β＝１、及びγ＝１として説明する。すなわち、上記で計算した処理の空き量（３５２，５１２，０００）をチャネル０（ＨＤ）とチャネル１（ＳＤ）とに分配すると、以下のようになる。

チャネル０（ＨＤ）に分配される処理の空き量
＝３５２，５１２，０００×６／７＝３０２，１５３，１４２
チャネル１（ＳＤ）に分配される処理の空き量
＝３５２，５１２，０００×１／７＝５０，３５８，８５７

画質向上機能としては、一般に、複数パターンの縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、予測モード決定機能などが挙げられる。なお、画質向上機能はこれらの例に限定されず、符号化に利用されることにより、符号化の精度を向上させることができる機能、すなわち、符号化による画質の劣化を低減することができる機能であればよい。また、各画質向上機能は、その機能において参照される画像の数やモード数を増やした場合、増やした分処理が繰り返されることになり、繰り返し数に比例して処理量は増加する。これらの処理量や繰り返しの最大数は、画像符号化装置１０における並列処理可能な処理数やメモリのバンド幅などの画像符号化装置１０の処理能力に依存する固定値である。

本実施形態では、これらの各画質向上機能の処理量や繰り返しの最大数を画質向上機能表２１に定めておく。そして、割当部１３は、画質向上機能表２１を参照して、チャネル毎に分配した処理の空き量に応じた画質向上機能を各チャネルに割り当てる。

図２に、画質向上機能表２１の一例を示す。図２に示す画質向上機能表２１には、画質向上機能毎に、１秒当たりの処理量、最大繰り返し数、及び割当優先度の情報が対応付けて記憶されている。なお、１秒当たりの処理量及び最大繰り返し数は、画像サイズが４Ｋ、画素ビット深度が１０ｂｉｔ、かつＹＵＶ４２２フォーマットの原画像データの符号化処理に各画質向上機能を適用した際の値である。また、１秒当たりの処理量の単位は、画像符号化装置１０の１秒当たりの処理量の単位と同一とする。

また、割当優先度は、画質向上機能表２１に定められた複数の画質向上機能のうち、どの画質向上機能を優先的に割り当てるかを示すものである。割当優先度は、例えば、その画質向上機能を利用して符号化を行うことによる画質向上効果が高い順に優先度が高くなるように定めることができる。

上記のチャネル０（ＨＤ、６０ｐ、１０ｂｉｔ、ＹＵＶ４２２）と、チャネル１（ＳＤ、６０ｐ、１０ｂｉｔ、ＹＵＶ４２２）との計２チャネルに、図２の画質向上機能表２１を参照して、画質向上機能を割り当てる例について説明する。

割当部１３は、画質向上機能表２１で想定している処理量と、各チャネルとの処理量との処理量比を計算する。ここでは、チャネル０については、画像サイズが４ＫとＨＤという違いがあるため、処理量比は１／４、チャネル１については、画像サイズが４ＫとＳＤという違いがあるため、処理量比は１／２４となる。

そして、割当部１３は、チャネル０（ＨＤ）に分配された処理の空き量３０２，１５３，１４２に応じて、画質向上機能表２１から、割当優先度が１位の「１／１６（縦横１／４）縮小画像を用いたベクトル探索」をチャネル０（ＨＤ）に割り当てる。３０２，１５３，１４２≧（１秒当たりの処理量６，０００，０００×処理量比１／４×最大繰り返し数１６）であるため、割当部１３は、「１／１６（縦横１／４）縮小画像を用いたベクトル探索」を１６回分割り当てる。残りの処理の空き量は、３０２，１５３，１４２−６，０００，０００×１／４×１６＝２７８，１５３，１４２となる。

割当部１３は、残りの処理の空き量に応じて、同様に各画質向上機能を何回繰り返し処理できるかを割当優先度が高い画質向上機能から順に計算して、チャネル０（ＨＤ）に割り当てる。割当部１３は、チャネル１（ＳＤ）にも同様にして、画質向上機能を割り当てる。

この例では、最終的に、各チャネルに以下の画質向上機能が割り当てられる。
チャネル０（ＨＤ）
１／１６（縦横１／４）縮小画像を用いたベクトル探索 １６回
１／４（縦横１／２）縮小画像を用いたベクトル探索 １６回
予測画像を用いたベクトル探索 ７回
予測モード決定 ６４回
チャネル１（ＳＤ）
１／１６（縦横１／４）縮小画像を用いたベクトル探索 １６回
１／４（縦横１／２）縮小画像を用いたベクトル探索 １６回
予測画像を用いたベクトル探索 ７回
予測モード決定 ６４回

画像符号化部１４は、チャネル毎の原画像データを、割当部１３で割り当てられた画質向上機能を利用して符号化し、符号化画像データとして出力する。すなわち、画像符号化部１４は、予め定めた規格に沿った通常の符号化処理に加え、画質向上機能を割り当てて符号化する。予め定めた規格は、例えば、ＭＰＥＧ（Moving Picture Experts Group）−２ Ｖｉｄｅｏ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ（Advanced Video Coding）、Ｈ．２６５／ＨＥＶＣ（High Efficiency Video Coding）等とすることができる。

音声符号化部１５は、予め定めた規格に沿って、チャネル毎の原音声データを符号化し、符号化音声データとして出力する。予め定めた規格は、例えば、ＭＰＥＧ−１ Ａｕｄｉｏ、ＭＰＥＧ２／４ ＡＡＣ（Advanced Audio Coding）、ＭＰＥＧ４ ＨＥ（High-Efficiency）−ＡＡＣ等とすることができる。

多重化部１６は、予め定めた規格に沿って、画像符号化部１４から出力された符号化画像データと、音声符号化部１５から出力された符号化音声データとの多重化及びＡＶ同期に必要な多重化データを生成する。予め定めた規格は、例えば、ＭＰＥＧ−２ ＴＳ（Transport Stream）規格、ＭＰＥＧ−Ｈ ＭＭＴ（MPEG Media Transport）規格等とすることができる。多重化に必要なデータは、ＭＰＥＧ２ ＴＳ規格のＴＳヘッダ、ＰＥＳ（Packetized Elementary Stream）ヘッダ、ＰＡＴ（Program Association Table）、ＰＭＴ（Program Map Table）、ＰＣＲ（Program Clock Reference）等である。ＡＶ同期に必要なデータは、ＰＥＳヘッダ中に記述する画像データと音声データとの表示時刻（ＰＴＳ：Presentation Time Stamp）等である。

そして、多重化部１６は、予め定めた規格に沿って、符号化画像データと、符号化音声データと、多重化データとを、１本のストリームに多重化する。

画像符号化装置１０は、例えば図３に示すコンピュータ４０で実現することができる。コンピュータ４０はＣＰＵ４１、一時記憶領域としてのメモリ４２、及び不揮発性の記憶部４３を備える。また、コンピュータ４０は、入出力装置４４、記録媒体４９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部４５、並びに通信Ｉ／Ｆ４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

記憶部４３はHard Disk Drive（ＨＤＤ）、solid state drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を画像符号化装置１０として機能させるための画像符号化プログラム５０が記憶されている。画像符号化プログラム５０は、取得プロセス５１と、計算プロセス５２と、割当プロセス５３と、画像符号化プロセス５４と、音声符号化プロセス５５と、多重化プロセス５６とを有する。また、記憶部４３は、画質向上機能表２１を構成する機能情報が記憶される機能情報記憶領域６０を有する。

ＣＰＵ４１は、画像符号化プログラム５０を記憶部４３から読み出してメモリ４２に展開し、画像符号化プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、取得プロセス５１を実行することで、図１に示す取得部１１として動作する。また、ＣＰＵ４１は、計算プロセス５２を実行することで、図１に示す計算部１２として動作する。また、ＣＰＵ４１は、割当プロセス５３を実行することで、図１に示す割当部１３として動作する。また、ＣＰＵ４１は、画像符号化プロセス５４を実行することで、図１に示す画像符号化部１４として動作する。また、ＣＰＵ４１は、音声符号化プロセス５５を実行することで、図１に示す音声符号化部１５として動作する。また、ＣＰＵ４１は、多重化プロセス５６を実行することで、図１に示す多重化部１６として動作する。また、ＣＰＵ４１は、機能情報記憶領域６０から機能情報を読み出し、メモリ４２に画質向上機能表２１として展開する。これにより、画像符号化プログラム５０を実行したコンピュータ４０が、画像符号化装置１０として機能することになる。

なお、画像符号化プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、本実施形態に係る画像符号化装置１０の作用について説明する。画像符号化装置１０に原画像データ及び原音声データが入力されると、画像符号化装置１０において、図４に示す画像符号化処理が実行される。

ステップＳ１１で、計算部１２が、画像符号化装置１０の１秒当たりの最大処理量を計算する。

次に、ステップＳ１２で、取得部１１が、符号化のリアルタイム処理の処理単位毎に、外部から設定されたチャネル毎の原画像データのパラメータを取得する。

次に、ステップＳ１３で、取得部１１が、取得したパラメータに基づいて、入力される原画像データのチャネル構成が変更されたか否かを判定する。原画像データのチャネル数、及び各チャネルの原画像データのパラメータの少なくとも一方が、前の処理単位における原画像データと異なる場合には肯定判定され、処理はステップＳ１４へ移行する。一方、チャネル構成に変更がない場合には、処理はステップＳ１７へ移行する。

ステップＳ１４では、計算部１２が、取得部１１で取得されたチャネル毎のパラメータに基づいて、例えば（１）式に示す「チャネルｋの１秒当たりの処理量」を、チャネル毎に計算する。

次に、ステップＳ１５で、上記ステップＳ１１で計算した画像符号化装置１０の１秒当たりの最大処理量と、上記ステップＳ１４で計算したチャネル毎の１秒当たりの処理量とを用いて、例えば（２）式により、画像符号化装置１０の１秒当たりの処理の空き量を計算する。

次に、ステップＳ１６で、割当部１３が、計算部１２で計算された処理の空き量を各チャネルに分配し、画質向上機能表２１を参照して、各チャネルに分配された処理の空き量に応じた画質向上機能を、各チャネルに割り当てる。

次に、ステップＳ１７で、画像符号化部１４が、チャネル毎の原画像データを、割当部１３で割り当てられた画質向上機能を利用して符号化し、符号化画像データとして出力する。

また、上記ステップＳ１７の処理と並行して、ステップＳ１８で、音声符号化部１５が、チャネル毎の原音声データを符号化し、符号化音声データとして出力する。

次に、ステップＳ１９で、多重化部１６が、画像符号化部１４から出力された符号化画像データと、音声符号化部１５から出力された符号化音声データとの多重化及びＡＶ同期に必要な多重化データを生成する。そして、多重化部１６は、符号化画像データと、符号化音声データと、多重化データとを、１本のストリームに多重化する。

次に、ステップＳ２０で、取得部１１が、次の処理単位の原画像データ及び原音声データが入力されているか否かを判定することにより、符号化を終了するか否かを判定する。引き続き符号化を行う場合には、処理はステップＳ１２に戻り、終了する場合には、画像符号化処理は終了する。

以上説明したように、本実施形態に係る画像符号化装置は、画像符号化装置の処理の空き量を計算し、処理の空き量に応じた画質向上機能を原画像データに割り当て、この画質向上機能を利用して原画像データを符号化する。これにより、画像符号化装置の処理能力を最大限に活用することができ、画質を向上させることができる。

比較例として、図５に、画像符号化装置の最大処理量よりも符号化の処理量が小さい原画像データの符号化を行う場合において、本実施形態のような処理の空き量に応じた画質向上機能の割り当てを行わない場合の処理量を概略的に示す。同様に、図６に、本実施形態を適用した場合の処理量を概略的に示す。図５及び図６は、横軸に符号化の時間経過、縦軸に各時間における画像符号化装置の最大処理量をとり、画像符号化装置の最大処理量を１としたものである。また、画像符号化装置は、最大で、画像サイズが４Ｋ、ピクチャレートが６０ｐの原画像データ（以下、「４Ｋ＠６０ｐ」と表記する。他のパラメータの原画像データについても同様に表記する）を処理できる処理能力を持つ場合を示している。

図５に示すように、４Ｋ＠６０ｐに対して、４Ｋ＠３０ｐは１／２、ＨＤ＠６０ｐは１／４、ＳＤ＠６０ｐは１／２４、ＨＤ＠６０ｐ×２ＣＨは１／２、ＨＤ＠６０ｐ×２ＣＨ＋ＳＤ＠６０ｐ×２ＣＨは７／１２の処理量である。すなわち、リアルタイム処理の各時間において、処理の空きが発生している。画像符号化装置の処理能力であれば、４Ｋ＠３０ｐの場合、本来２ＣＨ分の符号化処理が可能である。しかし、この比較例では、４Ｋ＠３０ｐ１ＣＨに対しても、４Ｋ＠３０ｐを２ＣＨ分の符号化処理する場合と同様の処理しか行われないため、４Ｋ＠３０ｐ１ＣＨの符号化後の画質は、２ＣＨの４Ｋ＠３０ｐを符号化した場合と同等となる。

一方、本実施形態では、処理の空き量を画質向上機能に割り当てるため、図６に示すように、画像符号化装置の処理能力を最大限に活用することができる。そして、画質向上機能が実行されることで、符号化後の画質は向上する。なお、図６では、いずれのケースも画像符号化装置の処理能力の最大値まで処理量が到達している例を示しているが、画質向上機能の処理量や繰り返し数によって、若干最大値まで到達しない場合もある。

なお、上記実施形態では、音声データの符号化及び多重化の処理も含む場合について説明したが、本発明は、画像データのみを符号化する場合でも適用可能である。

また、上記実施形態では、マルチチャネルの原画像データの符号化の場合について説明したが、本発明は、１チャネルの原画像データの符号化にも適用可能である。この場合、画像符号化装置の処理の空き量を全て、１チャネルの原画像データに割り当てる画質向上機能で使えばよい。

また、上記では、画像符号化プログラム５０が記憶部４３に予め記憶（インストール）されている態様を説明したが、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記憶媒体に記録された形態で提供することも可能である。

以上の上記実施形態に関し、更に以下の付記を開示する。

（付記１）
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部と、
前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部と、
前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部と、
を含む画像符号化装置。

（付記２）
前記割当部は、複数の機能のうち、各機能を１回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記１記載の画像符号化装置。

（付記３）
前記符号化対象の画像データがマルチチャネルの場合、
前記計算部は、チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
前記割当部は、前記計算部で計算された前記空き量を各チャネルに分配し、各チャネルに分配された空き量に応じた前記機能を各チャネルに割り当てる
付記１又は付記２記載の画像符号化装置。

（付記４）
前記割当部は、各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記３記載の画像符号化装置。

（付記５）
前記符号化部は、前記符号化対象の画像データを符号化する画像符号化部と、符号化対象の音声データを符号化する音声符号化部とを含み、
前記画像符号化部により符号化された画像データと、前記音声符号化部により符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する多重化部をさらに含む
付記１〜付記４のいずれか１項記載の画像符号化装置。

（付記６）
前記画像符号化部は、ＭＰＥＧ−２ Ｖｉｄｅｏ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、及びＨ．２６５／ＨＥＶＣのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、前記割当部で割り当てられた機能を実行する付記５記載の画像符号化装置。

（付記７）
前記音声符号化部は、ＭＰＥＧ−１ Ａｕｄｉｏ、ＭＰＥＧ２／４ ＡＡＣ、及びＭＰＥＧ４ ＨＥ−ＡＡＣのいずれかの符号化方式で符号化対象の音声データを符号化する付記５又は付記６記載の画像符号化装置。

（付記８）
前記多重化部は、ＭＰＥＧ−２ ＴＳ規格、又はＭＰＥＧ−Ｈ ＭＭＴ規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記５〜付記７のいずれか１項記載の画像符号化装置。

（付記９）
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記１〜付記８のいずれか１項記載の画像符号化装置。

（付記１０）
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記１〜付記９のいずれか１項記載の画像符号化装置。

（付記１１）
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
計算された空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
ことを含む処理をコンピュータに実行させる画像符号化方法。

（付記１２）
複数の機能のうち、各機能を１回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記１１記載の画像符号化方法。

（付記１３）
前記符号化対象の画像データがマルチチャネルの場合、
チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
計算された空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた前記機能を各チャネルに割り当てる
付記１１又は付記１２記載の画像符号化方法。

（付記１４）
各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記１３記載の画像符号化方法。

（付記１５）
符号化対象の音声データを符号化し、
符号化された画像データと、符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する
ことをさらに含む処理を前記コンピュータに実行させる付記１１〜付記１４のいずれか１項記載の画像符号化方法。

（付記１６）
ＭＰＥＧ−２ Ｖｉｄｅｏ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、及びＨ．２６５／ＨＥＶＣのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、割り当てられた機能を実行する付記１５記載の画像符号化方法。

（付記１７）
ＭＰＥＧ−１ Ａｕｄｉｏ、ＭＰＥＧ２／４ ＡＡＣ、及びＭＰＥＧ４ ＨＥ−ＡＡＣのいずれかの符号化方式で符号化対象の音声データを符号化する付記１５又は付記１６記載の画像符号化方法。

（付記１８）
ＭＰＥＧ−２ ＴＳ規格、又はＭＰＥＧ−Ｈ ＭＭＴ規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記１５〜付記１７のいずれか１項記載の画像符号化方法。

（付記１９）
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記１１〜付記１８のいずれか１項記載の画像符号化方法。

（付記２０）
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記１１〜付記１９のいずれか１項記載の画像符号化方法。

（付記２１）
符号化の処理量に関連するパラメータに基づいて得られる符号化対象の画像データに対する符号化の処理量と、自装置の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
計算された空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
ことを含む処理をコンピュータに実行させる画像符号化プログラム。

（付記２２）
複数の機能のうち、各機能を１回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記処理の空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する付記２１記載の画像符号化プログラム。

（付記２３）
前記符号化対象の画像データがマルチチャネルの場合、
チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
計算された空き量を各チャネルに分配し、各チャネルに分配された処理の空き量に応じた前記機能を各チャネルに割り当てる
付記２１又は付記２２記載の画像符号化プログラム。

（付記２４）
各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する付記２３記載の画像符号化プログラム。

（付記２５）
符号化対象の音声データを符号化し、
符号化された画像データと、符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する
ことをさらに含む処理を前記コンピュータに実行させる付記２１〜付記２４のいずれか１項記載の画像符号化プログラム。

（付記２６）
ＭＰＥＧ−２ Ｖｉｄｅｏ、Ｈ．２６４／ＭＰＥＧ４ ＡＶＣ、及びＨ．２６５／ＨＥＶＣのいずれかの符号化方式で符号化対象の画像データを符号化し、前記符号化方式の通常の符号化処理に加え、割り当てられた機能を実行する付記２５記載の画像符号化プログラム。

（付記２７）
ＭＰＥＧ−１ Ａｕｄｉｏ、ＭＰＥＧ２／４ ＡＡＣ、及びＭＰＥＧ４ ＨＥ−ＡＡＣのいずれかの符号化方式で符号化対象の音声データを符号化する付記２５又は付記２６記載の画像符号化プログラム。

（付記２８）
ＭＰＥＧ−２ ＴＳ規格、又はＭＰＥＧ−Ｈ ＭＭＴ規格に沿って多重化及び同期に必要なデータを生成し、前記符号化された画像データと、前記符号化された音声データと、前記多重化及び同期に必要なデータを多重化する付記２５〜付記２７のいずれか１項記載の画像符号化プログラム。

（付記２９）
前記符号化の処理量に関連するパラメータは、前記符号化対象の画像データのサイズ、ピクチャレート、画素ビット深度、及び画像フォーマットのいずれかを含む付記２１〜付記２８のいずれか１項記載の画像符号化プログラム。

（付記３０）
前記機能は、縮小画像を用いたベクトル探索機能、予測画像を用いたベクトル探索機能、及び予測モード決定機能のいずれかを含む付記２１〜付記２９のいずれか１項記載の画像符号化プログラム。

１０ 画像符号化装置
１１ 取得部
１２ 計算部
１３ 割当部
１４ 画像符号化部
１５ 音声符号化部
１６ 多重化部
２１ 画質向上機能表
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記録媒体
５０ 画像符号化プログラム

Claims (7)

1. 符号化の処理量に関連する、画像サイズ、ピクチャレート、画素ビット深度、及びＹＵＶフォーマットを含むパラメータに基づいて、前記画像サイズと前記ピクチャレートと前記画素ビット深度及び前記ＹＵＶフォーマットに基づく係数とを乗算して得られる符号化対象の画像データに対する符号化の所定時間単位当たりの処理量と、自装置の前記所定時間単位の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算する計算部と、
   前記計算部で計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当てる割当部と、
   前記割当部により割り当てられた機能を利用して、前記符号化対象の画像データを符号化する符号化部と、
   を含む画像符号化装置。
2. 前記割当部は、複数の機能のうち、各機能を１回適用するに必要な処理量及び適用可能な最大繰り返し回数と、各機能に設定された優先度と、前記空き量とに基づいて、割り当てる機能及び該機能の繰り返し回数を決定する請求項１記載の画像符号化装置。
3. 前記符号化対象の画像データがマルチチャネルの場合、
   前記計算部は、チャネル毎の画像データの前記符号化の処理量に関連するパラメータに基づいて得られるチャネル毎の符号化の処理量の合計と、前記自装置の最大処理量とから、前記空き量を計算し、
   前記割当部は、前記計算部で計算された前記空き量を各チャネルに分配し、各チャネルに分配された空き量に応じた前記機能を各チャネルに割り当てる
   請求項１又は請求項２記載の画像符号化装置。
4. 前記割当部は、各チャネルに設定された優先度に応じた重み付けで、前記空き量を各チャネルに分配する請求項３記載の画像符号化装置。
5. 前記符号化部は、前記符号化対象の画像データを符号化する画像符号化部と、符号化対象の音声データを符号化する音声符号化部とを含み、
   前記画像符号化部により符号化された画像データと、前記音声符号化部により符号化された音声データと、前記符号化された画像データと前記符号化された音声データとの多重化及び同期に必要なデータとを多重化する多重化部をさらに含む
   請求項１〜請求項４のいずれか１項記載の画像符号化装置。
6. 符号化の処理量に関連する、画像サイズ、ピクチャレート、画素ビット深度、及びＹＵＶフォーマットを含むパラメータに基づいて、前記画像サイズと前記ピクチャレートと前記画素ビット深度及び前記ＹＵＶフォーマットに基づく係数とを乗算して得られる符号化対象の画像データに対する符号化の所定時間単位当たりの処理量と、自装置の前記所定時間単位の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
   計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
   割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
   ことを含む処理をコンピュータに実行させる画像符号化方法。
7. 符号化の処理量に関連する、画像サイズ、ピクチャレート、画素ビット深度、及びＹＵＶフォーマットを含むパラメータに基づいて、前記画像サイズと前記ピクチャレートと前記画素ビット深度及び前記ＹＵＶフォーマットに基づく係数とを乗算して得られる符号化対象の画像データに対する符号化の所定時間単位当たりの処理量と、自装置の前記所定時間単位の最大処理量とから、前記符号化対象の画像データに対する符号化の処理で発生する空き量を計算し、
   計算された前記空き量に応じて、符号化の精度を向上させる機能を前記符号化対象の画像データに割り当て、
   割り当てられた機能を利用して、前記符号化対象の画像データを符号化する
   ことを含む処理をコンピュータに実行させる画像符号化プログラム。