JP6469277B2 - 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム - Google Patents

Description

本発明は画像符号化装置、画像符号化方法及びプログラムに関し、特にロスレス符号化ブロックに対するイントラ予測処理に関する。

動画像の圧縮記録の符号化方式として、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ（以下Ｈ．２６４と略す）が知られている。（非特許文献１）
Ｈ．２６４においては、直交変換および量子化処理をバイパスする変換バイパス処理を実行することでロスレス符号化を行うことができる。特にロスレス符号化において、水平または垂直方向のイントラ予測を行う際には、通常の周辺の符号化済みの画素からの予測ではなく、ブロック内の画素単位で予測を行うＤＰＣＭ符号化を行うことが特徴となっている。

近年、Ｈ．２６４の後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＣＴ−ＶＣ（Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）がＩＳＯ／ＩＥＣとＩＴＵ−Ｔの間で設立された。ＪＣＴ−ＶＣでは、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣ）として標準化が進められている。

ＨＥＶＣの中でも基本仕様とされる第１版の標準化が２０１３年１月に完了した。ＨＥＶＣ第１版でも、Ｈ．２６４同様、直交変換および量子化処理をバイパスするロスレス符号化が採用されているが、通常のロッシー符号化同様、ブロック単位でイントラ予測を行うことが特徴となっている。（非特許文献２）

ＩＴＵ−Ｔ Ｈ．２６４ （０１／２０１２） Ａｄｖａｎｃｅｄｖｉｄｅｏ ｃｏｄｉｎｇ ｆｏｒ ｇｅｎｅｒｉｃ ａｕｄｉｏｖｉｓｕａｌ ｓｅｒｖｉｃｅｓ ＪＣＴ−ＶＣ 寄書 ＪＣＴＶＣ−Ｌ１００３ インターネット＜ ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ−ｅｖｒｙ．ｆｒ／ｊｃｔ／ｄｏｃ＿ｅｎｄ＿ｕｓｅｒ／ｄｏｃｕｍｅｎｔｓ／１２＿Ｇｅｎｅｖａ／ｗｇ１１／ ＞

ＨＥＶＣでは、ロッシー符号化との互換性の観点から、ロスレス符号化においてもロッシー符号化と同様のブロック単位のイントラ予測が用いられている。しかしながら、一般的には、Ｈ．２６４でも用いられていた画素単位のＤＰＣＭ符号化の方がロスレス符号化においては圧縮効率が高いものと考えられている。そのため、ＨＥＶＣにおけるロスレス符号化の圧縮効率が十分に高くならないといった問題が生じている。

したがって、本発明は、ロッシー符号化処理との互換性を重視したロスレス符号化と圧縮性能を重視したロスレス符号化とを切り替えられるようにすることを目的とする。

本発明の画像符号化装置は、例えば、下記の構成を有する。画像を符号化して生成した符号化データと、当該符号化データを復号する画像復号装置において用いることが可能な情報とを含むビットストリームを生成する画像符号化装置であって、少なくとも量子化処理を含む第１の符号化処理か、又は、前記量子化処理を含まない第２の符号化処理を用いて、処理対象のブロックを符号化する符号化手段を有し、前記符号化手段は、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の符号化処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の符号化処理を実行することが可能であり、前記符号化手段は、前記第２の符号化処理を用いる場合において、前記イントラ予測モードを示す予測モード情報と、前記ＤＰＣＭ処理を用いる前記第２の符号化処理に対応する復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグとを符号化し、前記イントラ予測モードは数値で表すことが可能である。

本発明の画像復号装置は、例えば、下記の構成を有する。すなわち、画像を符号化して生成された符号化データを含むビットストリームを復号する画像復号装置であって、量子化処理が行われた係数から変換係数を導出する導出処理を含む第１の復号処理か、又は、少なくとも前記導出処理を含まない第２の復号処理を用いて、処理対象のブロックを復号する復号手段を有し、前記復号手段は、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の復号処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の復号処理を実行することが可能であり、前記復号手段は、前記第２の復号処理を用いる場合において、前記イントラ予測モードを示す予測モード情報と、前記ＤＰＣＭ処理を用いる前記第２の復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグとを復号し、前記フラグに基づいて、前記第２の復号処理を実行し、前記イントラ予測モードは数値で表すことが可能である。

本発明により、ロッシー符号化処理との互換性を重視したロスレス符号化処理と圧縮効率を重視したロスレス符号化処理との両方をサポートする符号化・復号が実現できる。結果としてアプリケーションごとの要求仕様によりこれらの符号化処理を切り替えることが可能になる。

実施形態１における画像符号化装置の構成を示すブロック図 実施形態２における画像復号装置の構成を示すブロック図 （ａ）〜（ｅ） ロスレス符号化ブロックにおけるイントラ予測処理の一例を示す図 実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャート 実施形態２に係る画像復号装置における画像復号処理を示すフローチャート （ａ）〜（ｂ） 実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図 ＨＥＶＣにおけるイントラ予測モードの方向を示す図 本発明の画像符号化装置、復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図

以下、添付の図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データを入力する端子である。１０２はロスレス符号化判定部であり、入力された画像データを複数のブロックに切り出し、ブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定する。１０３はロスレス制御情報生成部であり、ロスレス符号化ブロックに対してどのようなイントラ予測処理を行うかについての情報であるロスレス制御情報を生成し、出力する。

１０４は第１予測部であり、ロッシー符号化が選択された際に、ブロック単位の画像データに対し、フレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、入力された画像データと前記予測画像データから予測誤差を算出し、出力する。また、予測に必要な情報、例えば予測モード等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を第１予測情報と呼ぶ。

１０５はロッシー符号化が選択された際に、前記予測誤差をブロック単位で直交変換して変換係数を得て、さらに量子化を行い、量子化係数を得る変換・量子化部である。１０６はロッシー符号化が選択された際に、変換・量子化部１０５から出力された量子化係数を逆量子化して変換係数を再生し、さらに逆直交変換して予測誤差を再生する逆量子化・逆変換部である。１０８は再生された画像データを格納しておくフレームメモリである。

１０７は第１画像再生部である。ロッシー符号化が選択された際に、第１予測部１０４から出力された第１予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。

１０９は第２予測部であり、ロスレス符号化が選択された際に、ブロック単位の画像データに対し、イントラ予測やインター予測などを行い、予測画像データを生成する。第１予測部１０４と同様に、入力された画像データと前記予測画像データから予測誤差を算出し、予測に必要な情報、例えば予測モード等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を第２予測情報と呼称する。

１１０はセレクタである。ロスレス符号化判定部１０２から出力された後述するロスレス符号化ブロック情報に基づいて、ロスレス符号化判定部１０２から出力された入力画像または第１画像再生部１０７から出力された再生画像をフレームメモリ１０８に出力する。

１１１は第１符号化部である。変換・量子化部１０５から出力された量子化係数および第１予測部１０４から出力された第１予測情報を符号化して、第１符号データを生成し出力する。

１１２は第２符号化部である。第２予測部１０９からの出力である第２予測情報および予測誤差を符号化して、第２符号データを生成し出力する。

１１３は統合符号化部である。ロスレス符号化判定部１０２およびロスレス制御情報生成部１０３からの出力を符号化して、ヘッダ符号データを生成する。さらに第１符号化部１１１および第２符号化部１１２から出力された符号データと合わせて、ビットストリームを形成して出力する
１１４は端子であり、統合符号化部１１３で生成されたビットストリームを外部に出力する端子である。

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位に入力する構成となっているが、１フレーム分の静止画像データを入力する構成としても構わない。

端子１０１から入力された１フレーム分の画像データはロスレス符号化判定部１０２に入力される。符号化処理に先駆けて、ロスレス制御情報生成部１０３では、ロスレス符号化ブロックの画素に対してどのようなイントラ予測処理を行うかを決定する。そして、その情報をロスレス制御情報として、第２予測部１０９および統合符号化部１１３に出力する。

説明を簡単にするために、図３にイントラ予測の例を示す。図３（ａ）において、３００はイントラ予測を行うブロックを示す。図３の例では４画素×４画素のブロックを使用するものとするが、大きさや形状はこれに限定されない。ブロック３００内には４画素×４画素のａからｐまでの画素が含まれる。図３（ｂ）はブロック単位の水平方向のイントラ予測の様子を表す図であり、ブロック３００に隣接する左方の画素群３０２（Ｈ０からＨ３）から水平方向の予測を行う。本予測をブロック単位水平予測モードと呼ぶこととする。図３（ｃ）はブロック単位の垂直方向のイントラ予測の様子を表す図であり、ブロック３００に隣接する上方の画素群３０１（Ｖ０からＶ３）から垂直方向の予測を行う。本予測をブロック単位垂直予測モードと呼ぶこととする。図３（ｄ）は水平方向の画素単位のＤＰＣＭ予測の様子を表す図であり、各画素の左方に隣接する画素から水平方向の予測を行う。本予測を画素単位水平ＤＰＣＭモードと呼ぶこととする。本実施形態においては、ブロック内の左端の画素については、画素値をそのまま符号化の対象とするが、これに限定されず、対象ブロックの左側に位置するブロックの右端の画素値との差分を符号化の対象としても良い。図３（ｅ）は垂直方向の画素単位のＤＰＣＭ予測の様子を表す図であり、各画素の上方に隣接する画素から垂直方向の予測を行う。本予測を画素単位垂直ＤＰＣＭモードと呼ぶこととする。画素単位水平ＤＰＣＭモード同様、本実施形態においては、ブロック内の上端の画素については、画素値をそのまま符号化の対象とするが、これに限定されず、対象ブロックの上側に位置するブロックの下端の画素値との差分を符号化の対象としても良い。

本実施形態では、前述のロスレス制御情報は、ロスレス符号化ブロックの画素に対して図３（ｂ）または図３（ｃ）のブロック単位のイントラ予測モードを用いるか、図３（ｄ）または図３（ｅ）の画素単位のイントラ予測モードを用いるかを示すものとする。具体的には、ロスレス制御情報が０である場合に図３（ｂ）または図３（ｃ）のブロック単位の予測を用い、ロスレス制御情報が１である場合に図３（ｄ）または図３（ｅ）の画素単位の予測を用いるものとする。

ロスレス制御情報の決定方法は特に限定されず、入力された画像の特性を用いても良いし、ユーザからの入力によって決定しても良い。また、本符号化装置でから出力されるビットストリームを復号する復号装置がサポートするイントラ予測処理に基づいて決定しても良い。統合符号化部１１３では、このロスレス制御情報を符号化し、ロスレス制御情報符号を生成する。符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。

ロスレス符号化判定部１０２では、入力された画像データを複数のブロックに切り出し、ブロック単位でロスレス符号化を行うかロッシー符号化を行うかを決定する。決定方法は特に限定されず、入力された画像の特性を用いても良いし、ユーザからの入力によって決定しても良い。符号化対象ブロックに対しロスレス符号化を行うかロッシー符号化を行うかの情報はロスレス符号化ブロック情報として統合符号化部１１３に出力される。さらに、入力された画像データをそのまま第１予測部１０４、第２予測部１０９およびセレクタ１１０に出力する。

また、ロスレス符号化判定部１０２は処理対象のフレームまたはシーケンスにロスレス符号化されるブロックが含まれるか否かの情報であるロスレス符号化情報を生成する。統合符号化部１１３では、このロスレス符号化情報を符号化し、ロスレス符号化情報符号を生成する。符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。

以降の符号化動作はロスレス符号化判定部１０２にて、ロスレス符号化が選択されたかロッシー符号化が選択されたかによって処理が分かれる。まず、ロスレス符号化判定部１０２にて、ロッシー符号化が選択された場合の画像データの符号化動作について説明する。

ロスレス符号化判定部１０２は符号化対象のブロックの画像データを第１予測部１０４に入力する。第１予測部１０４では、ブロック単位の予測が行われ、予測誤差が生成され、変換・量子化部１０５に入力される。また、第１予測部１０４は第１予測情報を生成し、第１符号化部１１１および第１画像再生部１０７に出力する。変換・量子化部１０５では、入力された予測誤差に直交変換・量子化を行い、量子化係数を生成する。生成された量子化係数は第１符号化部１１１および逆量子化・逆変換部１０６に入力される。逆量子化・逆変換部１０６では、入力された量子化係数を逆量子化して変換係数を再生し、さらに再生された変換係数を逆直交変換して予測誤差を再生し、第１画像再生部１０７に出力する。

第１画像再生部１０７では、第１予測部１０４から入力される第１予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして再生された予測画像と逆量子化・逆変換部１０６から入力された再生された予測誤差から画像データを再生し、フレームメモリ１０８に入力し、格納する。

第１符号化部１１１では、ブロック単位で、変換・量子化部１０５で生成された量子化係数、第１予測部１０４から入力された第１予測情報をエントロピー符号化し、第１符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第１符号データは統合符号化部１１３に出力される。

次に、ロスレス符号化判定部１０２にてロスレス符号化が選択された場合の画像データの符号化動作について説明する。

ロスレス符号化判定部１０２は符号化対象のブロックの画像データを第２予測部１０９に入力する。第２予測部１０９では、ロスレス制御情報生成部１０３から入力されたロスレス制御情報に基づいて予測が行われ、予測誤差が生成され、第２符号化部１１２に入力される。また、第２予測情報も第２符号化部１１２に入力される。

セレクタ１１０では、ロスレス符号化判定部１０２から入力されるロスレス符号化ブロック情報に基づいて、ロスレス符号化判定部１０２から入力された入力画像または第１画像再生部１０７から入力された再生画像をフレームメモリ１０８に出力する。具体的には、ロスレス符号化ブロック情報がロスレス符号化を示している場合には、ロスレス符号化判定部１０２から入力された入力画像をフレームメモリ１０８に出力する。一方、ロッシー符号化を示している場合には、第１画像再生部１０７から入力された再生画像をフレームメモリ１０８に出力する。

第２符号化部１１２では、第２予測部１０９から入力された第２予測情報および予測誤差をエントロピー符号化し、第２符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された第２符号データは統合符号化部１１３に出力される。

統合符号化部１１３では、符号化処理に先駆けて生成されたロスレス制御情報符号やロスレス符号化情報符号、第１符号化部で生成された第１符号データや第２符号化部で生成された第２符号データなどを多重化してビットストリームが形成される。最終的に、端子１１４から外部に出力される。

図６（ａ）に符号化されたロスレス符号化情報およびロスレス制御情報を含んだビットストリームの例を示す。ロスレス符号化情報はロスレス符号化情報符号として、ピクチャ等のヘッダに含まれる。具体的にはロスレス符号化情報符号は１ビットのフラグであり、符号が１の時にはビットストリームにロスレス符号化ブロックが含まれる可能性があり、符号が０の時にはビットストリームにはロスレス符号化ブロックが含まれる可能性がないことを示す。また、ロスレス制御情報はロスレス制御情報符号として、シーケンス等のヘッダに含まれる。ロスレス制御情報は少なくとも１ビットの情報であり、符号が１の時にはロスレス符号化ブロックに対して画素単位のイントラ予測処理を行うものとする。また、符号が０の時にはロスレス符号化ブロックに対してブロック単位のイントラ予測処理を行うことを示すものとする。

本実施形態ではシーケンスヘッダにロスレス制御情報が、ピクチャヘッダにロスレス符号化情報符号が含まれているものとする。

ロスレス符号化ブロック情報については、ブロック単位でロスレス符号化ブロック情報符号がビットストリームに含まれるものとする。ロスレスブロック符号化情報符号が１の時には当該ブロックはロスレス符号化され、ロスレスブロック符号化情報符号が０の時には当該ブロックはロッシー符号化されるものとする。

図４は、実施形態１に係る画像符号化装置における符号化処理を示すフローチャートである。

まず、ステップＳ４０１にて、ロスレス制御情報生成部１０３はロスレス符号化ブロックの画素に対して、どのようなイントラ予測処理を行うかを決定する。そのイントラ予測の処理を表す情報をロスレス制御情報とする。このロスレス制御情報は統合符号化部１１３によって符号化される。

ステップＳ４０２にて、ロスレス符号化判定部１０２はフレーム単位でロスレス符号化を行うか否かを決定する。その可否を表す情報をロスレス符号化情報とする。このロスレス符号化情報は統合符号化部１１３によって符号化される。

ステップＳ４０３にて、ロスレス符号化判定部１０２は入力された画像データを複数のブロックに切り出し、ブロック単位においてロスレス符号化を行うかロッシー符号化を行うかを決定し、その情報をロスレス符号化ブロック情報とする。

ステップＳ４０４にて、符号化装置は符号化対象のブロックがロスレス符号化を行うか否かの判定を行う。ロスレス符号化を行う場合はステップＳ４１０に進み、ロッシー符号化を行う場合はステップＳ４０５に進む。

ステップＳ４０５にて、第１予測部１０４はイントラ予測ないしはインター予測を行い、第１予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４０６にて、変換・量子化部１０５はステップＳ４０５で算出された予測誤差を直交変換して変換係数を生成し、さらに量子化を行い、量子化係数を生成する。ステップＳ４０７にて、逆量子化・逆変換部１０６はステップＳ４０６で生成された量子化係数を逆量子化・逆直交変換し、予測誤差を再生する。ステップＳ４０８にて、第１画像再生部１０７はステップＳ４０５で生成された第１予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ４０７で生成された予測誤差から画像データを再生する。ステップＳ４０９にて、第１符号化部１１１は、ステップＳ４０５で生成された第１予測情報およびステップＳ４０６で生成された量子化係数を符号化し、第１符号データを生成する。また、統合符号化部１１３にて他の符号データも含め、ビットストリームを生成する。

一方、ステップＳ４１０にて、第２予測部１０９はステップＳ４０１で生成されたロスレス制御情報に基づいた判定を行う。ロスレス制御情報が１であり画素単位でイントラ予測を行うことを示していればＳ４１１に進み、０でありブロック単位でイントラ予測を行うことを示していればＳ４１２に進む。ステップＳ４１１にて、第２予測部１０９は画素単位で予測を行い、第２予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４１２にて、第２予測部１０９はブロック単位で予測を行い、第２予測情報および予測画像データを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ステップＳ４１３にて、第２符号化部１１１はステップＳ４１１またはステップＳ４１２で生成された第２予測情報および予測誤差を符号化し、第２符号データを生成する。また、さらに統合符号化部１１３にて他の符号データも含め、ビットストリームを生成する。

ステップＳ４１４にて、画像符号化装置は、フレーム内の全てのブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ４１５に進み、そうでなければ次のブロックを対象として、ステップＳ４０３に戻る。ステップＳ４１５にて、画像符号化装置は、すべてのフレームの符号化が終了したか否かの判定を行い、終了していれば符号化処理を終了し、そうでなければ次のフレームを対象として、ステップＳ４０２に戻る。

以上の構成と動作により、特にステップＳ４０１において、ロスレス符号化ブロックに属する画素へのイントラ予測処理を制御可能としたことで、圧縮効率を重視するかロッシー符号化との互換性を重視するかを必要に応じて選択することができる。具体的には、ステップＳ４０１にてロスレス制御情報を０とすれば、ステップＳ４１２にてブロック単位のイントラ予測が用いられ、ロッシー符号化ブロックとの互換性を重視したビットストリームを生成することができる。一方、ステップＳ４０１にてロスレス制御情報を１とすれば、ステップＳ４１１にて画素単位のイントラ予測が用いられ、圧縮効率を重視したビットストリームを生成することができる。

なお、本実施形態ではロスレス符号化とロッシー符号化でそれぞれ独立した第１予測部および第２予測部を有したが、同一の予測部がロスレス・ロッシー符号化処理を行っても構わない。また、それぞれ独立した第１符号化部および第２符号化部を有したが同一の符号化部がロスレス・ロッシー符号化処理を行っても構わない。さらに、本実施形態では、ロスレス／ロッシーの符号化ブロックが混在する場合を想定していたが、ロスレス符号化ブロックのみのストリームを符号化することが自明な場合には、ロッシー符号化に使用される部分を省略することも可能である。この場合、具体的には第１予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、第１画像再生部１０７、第１符号化部１１１を省略することも可能である。

なお、ビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のように符号化しても良い。図６（ｂ）は全てのブロックにブロック単位でロスレス符号化されているかロッシー符号化されているかを示すロスレス符号化ブロック情報符号が全てのブロックに含まれている例を示している。この場合、フレーム単位でのヘッダであるピクチャヘッダにはロスレス符号化情報符号は含まれない。このような構成により、ブロック単位で常にロスレス符号化ブロック情報符号が含まれるので、ロスレス符号化ブロックとロッシー符号化ブロックの区別が容易になる効果がある。

なお、ロスレス制御情報符号、ロスレス符号化情報符号のデータ長はこれに限定されない。例えばロスレス制御情報符号において、他のイントラ予測処理を追加する際にビット数を増やすことで対応が可能になる。

また、本実施形態ではロスレス制御情報が１の際にはイントラ予測の方向に関わらず画素単位のイントラ予測を行うものとしたが、これに限定されない。例えば、ＨＥＶＣにおいては図７に示される通り、０（Ｐｌａｎａｒ予測）から３４（左下から右上への対角線予測）まで３５通りの予測モードが存在する。このうちの一部においては、画素単位のイントラ予測を行い、それ以外についてはブロック単位のイントラ予測を行うようにすることも可能である。例えば、モード１０（垂直予測）とモード２６（水平予測）にのみ画素単位のイントラ予測を適用することもできる。これにより、画素単位のイントラ予測を導入することにより生じるハードウェアコストの上昇を最低限に抑えることができる。

＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。２０１は符号化されたビットストリームを入力する端子である。

２０２は分離復号部であり、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、ロスレス制御情報、ロスレス符号化ブロック情報を再生し、後段に出力する。分離復号部２０２は図１の統合符号化部１１３と逆の動作を行う。

２０３は第１復号部であり、分離復号部２０２から出力された第１符号データを復号し、量子化係数および第１予測情報を再生する。２０４は逆量子化・逆変換部であり、図１の逆量子化・逆変換部１０６と同様に、ブロック単位で量子化係数を入力し、逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。

２０６はフレームメモリである。再生されたフレームの画像データを格納しておく。２０５は第１画像再生部である。図１の第１画像再生部１０７と同様に、入力された第１予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、出力する。

２０７は第２復号部であり、分離復号部２０２から出力された第２符号データを復号し、予測誤差および第２予測情報を再生する。２０８は第２画像再生部である。ロスレス符号化されたブロックに対し、入力された第２予測情報およびロスレス制御情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成し、これと入力された予測誤差から再生画像データを生成し、出力する。２０９は端子であり、画像データを外部に出力する。

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。

図２において、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。分離復号部２０２では、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、ロスレス制御情報、ロスレス符号化情報を再生する。本実施形態では、まず、図６（ａ）に示されるビットストリームのピクチャヘッダからロスレス符号化情報符号を抽出して復号する。ロスレス符号化情報符号が１の時には、フレーム単位の符号化データであるピクチャデータ内にブロック単位で含まれるロスレス符号化ブロック情報符号によって、ブロック単位でのロスレス符号化されているかロッシー符号化されているかを判定する。すなわち、ロスレス符号化情報符号が１であり、ロスレス符号化ブロック情報符号も１である場合、そのブロックはロスレス符号化ブロックとされる。そうでなければロッシー符号化ブロックとされる。この情報がロスレス符号化ブロック情報となる。そして分離復号部２０２はシーケンスヘッダからロスレス制御情報符号を抽出して復号し、ロスレス制御情報を再生する。

続いて、ピクチャデータのブロック単位の符号データを後段に出力する。分離復号部２０２はロスレス符号化ブロック情報に基づき、ロッシー符号化ブロックでは第１符号データを抽出し、第１復号部２０３に出力する。また、ロスレス符号化ブロックでは第２符号データを抽出し、第２復号部２０７に出力する。また、ロスレス制御情報を第２画像再生部２０８に出力する。

第１復号部２０３では、第１符号データを復号し、量子化係数および第１予測情報を再生する。再生された量子化係数は逆量子化・逆変換部２０４に出力され、再生された第１予測情報は第１画像再生部２０５に出力される。

逆量子化・逆変換部２０４では、ロッシー符号化されているブロックに関して、入力された量子化係数に対し逆量子化を行って変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。再生された予測誤差は第１画像再生部２０５に入力される。

第１画像再生部２０５では、第１復号部２０３から入力された第１予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に入力し、格納する。格納された画像データは予測の際の参照に用いられる。

一方、第２復号部２０７では、第２符号データを復号し、予測誤差および第２予測情報を再生する。再生された予測誤差および第２予測情報は第２画像再生部２０８に出力される。

第２画像再生部２０８では、第２復号部２０７から入力された第２予測情報および分離復号部２０２から入力されたロスレス制御情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。実施形態１同様、ロスレス制御情報が０であればブロック単位の予測を用い、ロスレス制御情報が１であれば画素単位の予測を用いるものとする。この予測画像と第２復号部２０７から入力された予測誤差から画像データを再生し、フレームメモリ２０６に入力し、格納する。

フレームメモリ２０６に格納された画像は、最終的には端子２０９から外部に出力される。

図５は、実施形態２に係る画像復号装置における画像の復号処理を示すフローチャートである。

まず、ステップＳ５０１にて、分離復号部２０２はビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、ロスレス制御情報を再生する。ステップＳ５０２にて、分離復号部２０２はフレーム単位でヘッダ部分の符号データをさらに復号し、ロスレス符号化情報を再生する。

ステップＳ５０３にて、分離復号部２０２はさらにブロック単位の符号データを復号し、ロスレス符号化ブロック情報を再生する。ステップＳ５０４にて、復号装置はステップＳ５０３で再生されたロスレス符号化ブロック情報に基づき、復号対象のブロックがロスレス符号化されているかロッシー符号化されているかの判定を行う。ロスレス符号化されている場合はＳ５０８に進み、ロッシー符号化されている場合はＳ５０５に進む。

ステップＳ５０５にて、分離復号部２０２はビットストリームから第１符号データを分離する。第１復号部２０３は分離された第１符号データを復号し、量子化係数および第１予測情報を再生する。ステップＳ５０６にて、逆量子化・逆変換部２０４はブロック単位で量子化係数に対し逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。ステップＳ５０７にて、第１画像再生部２０５はステップＳ５０５で生成された第１予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ５０６で生成された予測誤差から画像データを再生する。

一方、ステップＳ５０８にて、分離復号部２０２はビットストリームから第２符号データを分離する。第２復号部２０７は分離された第２符号データを復号し、予測誤差および第２予測情報を再生する。ステップＳ５０９にて、第２画像再生部２０８はステップＳ５０１で再生されたロスレス制御情報に基づいた判定を行う。ロスレス制御情報が１であり画素単位でイントラ予測を行うことを示していればＳ５１０に進み、０でありブロック単位でイントラ予測を行うことを示していればＳ５１１に進む。

ステップＳ５１０にて、第２画像再生部２０８はステップＳ５０８で生成された第２予測情報に基づいて画素単位の予測を行い、予測画像を再生する。さらに再生された予測画像とステップＳ５０８で生成された予測誤差から画像データを再生する。

一方、ステップＳ５１１にて、第２画像再生部２０８はステップＳ５０８で生成された第２予測情報に基づいてブロック単位の予測を行い、予測画像を再生する。さらに再生された予測画像とステップＳ５０８で生成された予測誤差から画像データを再生する。

ステップＳ５１２にて、画像復号装置はフレーム内の全てのブロックの復号が終了したか否かの判定を行い、終了していればステップＳ５１３に進み、そうでなければ次のブロックを対象として、ステップＳ５０３に戻る。ステップＳ５１３にて、画像復号装置は全てのフレームの復号が終了したか否かの判定を行い、終了していれば復号処理を終了し、そうでなければ次のフレームを対象として、ステップＳ５０２に戻る。

以上の構成と動作により、実施形態１で生成された、ロスレス符号化ブロックに対する複数のイントラ予測処理の制御が可能となったビットストリームを復号することができる。

なお、本実施形態ではロスレス符号化ブロックの復号とロッシー符号化ブロックの復号でそれぞれ独立した第１画像再生部２０５、第２画像再生部２０８を有したが、同一の画像再生部がロスレス・ロッシー符号化ブロックの画像の再生処理を行っても構わない。また、同様に独立した第１復号部２０３、第２復号部２０７を有したが、同一の復号部がロスレス・ロッシー符号化ブロックの復号処理を行っても構わない。また、すべてのブロックがロスレス符号化ブロックであることが明白な場合には、第１復号部２０３、逆量子化・逆変換部２０４、第１画像再生部２０５を省略することも可能である。

本実施形態では、図６（ａ）に示されるビットストリームの復号について示したが、復号するビットストリームの構成はこれに限定されない。例えば、図６（ｂ）のようなビットストリームを復号しても良い。図６（ｂ）はフレーム単位でのロスレス符号化情報符号は含まれない。全てのブロックにブロック単位でロスレス符号化されているか否かを示すロスレス符号化ブロック情報符号が全てのブロックに含まれている例を示している。このような構成により、ロスレス符号化ブロックとロッシー符号化ブロックの区別が容易となる効果を持ったビットストリームを復号することができる。

＜実施形態３＞
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。

図８は、上記各実施形態に係る画像符号化装置および画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

ＣＰＵ８０１は、ＲＡＭ８０２やＲＯＭ８０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ８０１は、図１、図２に示した各処理部として機能することになる。

ＲＡＭ８０２は、外部記憶装置８０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）８０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ８０２は、ＣＰＵ８０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ８０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

ＲＯＭ８０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部８０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ８０１に対して入力することができる。表示部８０５は、ＣＰＵ８０１による処理結果を表示する。また表示部８０５は例えば液晶ディスプレイで構成される。

外部記憶装置８０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置８０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ８０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置８０６には、処理対象としての各画像データが保存されていても良い。

外部記憶装置８０６に保存されているコンピュータプログラムやデータは、ＣＰＵ８０１による制御に従って適宜、ＲＡＭ８０２にロードされ、ＣＰＵ８０１による処理対象となる。Ｉ／Ｆ８０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ８０７を介して様々な情報を取得したり、送出したりすることができる。８０８は上述の各部を繋ぐバスである。

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ８０１が中心となってその制御を行う。

＜その他の実施形態＞
本発明の目的は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

Claims (21)

1. 画像を符号化して生成した符号化データと、当該符号化データを復号する画像復号装置において用いることが可能な情報とを含むビットストリームを生成する画像符号化装置であって、
   少なくとも量子化処理を含む第１の符号化処理か、又は、前記量子化処理を含まない第２の符号化処理を用いて、処理対象のブロックを符号化する符号化手段
   を有し、
   前記符号化手段は、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の符号化処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の符号化処理を実行することが可能であり、
   前記符号化手段は、
   前記第２の符号化処理を用いる場合において、
   前記イントラ予測モードを示す予測モード情報と、
   前記ＤＰＣＭ処理を用いる前記第２の符号化処理に対応する復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグと
   を符号化し、
   前記イントラ予測モードは数値で表すことが可能である
   ことを特徴とする画像符号化装置。
2. 前記ＤＰＣＭ処理は前記画素単位で行われる予測処理である
   ことを特徴とする請求項１記載の画像符号化装置。
3. 前記フラグは１又は０で表される
   ことを特徴とする請求項１又は２に記載の画像符号化装置。
4. 前記画像を符号化することにより生成された符号化データと、前記予測モード情報と前記フラグとを含むビットストリームを生成する生成手段
   を有し、
   前記フラグは、前記ビットストリームのシーケンスヘッダに含まれる
   ことを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 前記第１の符号化処理はロッシー符号化処理であり、前記第２の符号化処理はロスレス符号化処理である
   ことを特徴とする請求項１〜４のいずれか１項に記載の画像符号化装置。
6. 前記符号化手段は、
   前記第１の符号化処理を用いて前記処理対象のブロックを符号化する場合、エントロピー符号化を用いて符号化し、
   前記第２の符号化処理を用いて前記処理対象のブロックを符号化する場合もエントロピー符号化を用いて符号化する
   ことを特徴とする請求項１〜５のいずれか１項に記載の画像符号化装置。
7. 前記符号化手段は、前記第２の符号化処理に対応する復号処理を用いて復号するかを特定可能な情報を符号化する
   ことを特徴とする請求項１〜６のいずれか１項に記載の画像符号化装置。
8. 前記イントラ予測モードは、水平イントラ予測モード、又は、垂直予測モードであり、
   前記ＤＰＣＭ処理は、水平方向のＤＰＣＭ処理、又は、垂直方向のＤＰＣＭ処理である
   ことを特徴とする請求項１〜７のいずれか１項に記載の画像符号化装置。
9. 画像を符号化して生成された符号化データを含むビットストリームを復号する画像復号装置であって、
   量子化処理が行われた係数から変換係数を導出する導出処理を含む第１の復号処理か、又は、少なくとも前記導出処理を含まない第２の復号処理を用いて、処理対象のブロックを復号する復号手段
   を有し、
   前記復号手段は、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の復号処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の復号処理を実行することが可能であり、
   前記復号手段は、
   前記第２の復号処理を用いる場合において、
   前記イントラ予測モードを示す予測モード情報と、
   前記ＤＰＣＭ処理を用いる前記第２の復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグと
   を復号し、
   前記フラグに基づいて、前記第２の復号処理を実行し、
   前記イントラ予測モードは数値で表すことが可能である
   ことを特徴とする画像復号装置。
10. 前記ＤＰＣＭ処理は前記画素単位で行われる予測処理である
    ことを特徴とする請求項９記載の画像復号装置。
11. 前記フラグは１又は０で表される
    ことを特徴とする請求項９又は１０に記載の画像復号装置。
12. 前記復号手段は、前記予測モード情報と前記フラグとを、前記ビットストリームのシーケンスヘッダから復号する
    ことを特徴とする請求項９〜１１のいずれか１項に記載の画像復号装置。
13. 前記第１の復号処理において、ロッシー符号化された符号化データを復号し、
    前記第２の復号処理において、ロスレス符号化された符号化データ復号する
    ことを特徴とする請求項９〜１２のいずれか１項に記載の画像復号装置。
14. 前記第１の復号処理において、エントロピー符号化された符号化データを復号し、
    前記第２の復号処理においても、エントロピー符号化された符号化データを復号する
    ことを特徴とする請求項９〜１３のいずれか１項に記載の画像復号装置。
15. 前記復号手段は、少なくとも前記量子化処理を用いて符号化された符号化データであるかを特定可能な情報を前記ビットストリームから復号し、
    前記復号手段は、少なくとも前記量子化処理を用いて符号化された符号化データであるかを特定可能な前記情報に応じて、前記第１の復号処理か又は前記第２の復号処理を用いて、処理対象のブロックを復号する
    ことを特徴とする請求項９〜１４のいずれか１項に記載の画像復号装置。
16. 前記復号手段は、前記フラグに基づいて、前記イントラ予測モードを用いる前記第２の復号処理を行うか、又は、前記ＤＰＣＭ処理を用いる前記第２の復号処理を行うか決定する
    ことを特徴とする請求項９〜１５のいずれか１項に記載の画像復号装置。
17. 前記イントラ予測モードは、水平イントラ予測モード、又は、垂直予測モードであり、
    前記ＤＰＣＭ処理は、水平方向のＤＰＣＭ処理、又は、垂直方向のＤＰＣＭ処理である
    ことを特徴とする請求項９〜１６のいずれか１項に記載の画像復号装置。
18. 画像を符号化して生成した符号化データと、当該符号化データを復号する画像復号方法において用いることが可能な情報とを含むビットストリームを生成する画像符号化方法であって、
    少なくとも量子化処理を含む第１の符号化処理か、又は、前記量子化処理を含まない第２の符号化処理を用いて、処理対象のブロックを符号化する符号化工程
    を有し、
    前記符号化工程において、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の符号化処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の符号化処理を実行することが可能であり、
    前記符号化工程において、
    前記第２の符号化処理を用いる場合、
    前記イントラ予測モードを示す予測モード情報と、
    前記ＤＰＣＭ処理を用いる前記第２の符号化処理に対応する復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグと
    を符号化し、
    前記イントラ予測モードは数値で表すことが可能である
    ことを特徴とする画像符号化方法。
19. 画像を符号化して生成された符号化データを含むビットストリームを復号する画像復号方法であって、
    量子化処理が行われた係数から変換係数を導出する導出処理を含む第１の復号処理か、又は、少なくとも前記導出処理を含まない第２の復号処理を用いて、処理対象のブロックを復号する復号工程
    を有し、
    前記復号工程において、少なくとも、前記処理対象のブロック以外の画素を使用するイントラ予測モードを用いる前記第２の復号処理と、前記処理対象のブロックに含まれる画素単位のＤＰＣＭ処理を用いる前記第２の復号処理を実行することが可能であり、
    前記復号工程において、
    前記第２の復号処理を用いる場合において、
    前記イントラ予測モードを示す予測モード情報と、
    前記ＤＰＣＭ処理を用いる前記第２の復号処理を行うかを特定するために用いられる、前記予測モード情報とは独立したフラグと
    を復号し、
    前記フラグに基づいて、前記第２の復号処理を実行し、
    前記イントラ予測モードは数値で表すことが可能である
    ことを特徴とする画像復号方法。
20. 請求項１〜８のいずれか１項に記載の画像符号化装置の各手段としてコンピュータを機能させることを特徴とするプログラム。
21. 請求項９〜１７のいずれか１項に記載の画像復号装置の各手段としてコンピュータを機能させることを特徴とするプログラム。

Images