JP6101067B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像をブロック単位で処理する画像処理装置及び画像処理プログラムに関する。

近年、カラー画像とともに近赤外線を利用した距離計測によって、奥行き情報を取得することができる「ＲＧＢ−Ｄセンサ」を搭載したカメラが盛んに研究されている。このカメラの一例として、Ｍｉｃｒｏｓｏｆｔ社のＫｉｎｅｃｔ（登録商標）がある。よって、将来的には、２次元の画像信号と、奥行き情報とを有する動画像情報が増加することが予想される。

従来技術であるＨ．２６４／ＡＶＣ（Advanced Video Coding）や現在規格化作業中のＨＥＶＣ（High Efficiency Video Coding）などの映像の圧縮符号化方式では、映像の各フレームをブロックと呼ばれる矩形領域に分割して符号化が行われる。

Ｈ．２６４／ＡＶＣやＨＥＶＣの符号化処理には、符号化対象ブロックの動きベクトルを予測する処理がある。この動きベクトルの予測では、被予測ブロックの左側や上側の隣接ブロック群の動きベクトルを用いて、予測ベクトルを生成する。

図１は、Ｈ．２６４／ＡＶＣの動きベクトル予測に用いる隣接ブロック群の一例を示す図である。図１に示すように、Ｈ．２６４／ＡＶＣでは、被予測ブロックの上側隣接ブロックと左側隣接ブロックとを、予測ブロックとする（例えば、非特許文献１参照）。予測ブロックは、斜線のブロックで表す。予測ブロックとは、被予測ブロック（処理対象ブロック）の動きベクトル予測に用いるブロックをいう。

図２は、ＨＥＶＣの動きベクトル予測に用いる隣接ブロック群の一例を示す図である。図２に示すように、ＨＥＶＣでは、被予測ブロックの左側の隣接ブロック群、上側の隣接ブロック群、時間方向で前のフレームと同じブロック、及び時間方向で前のフレームの右下ブロックを予測ブロックとする（例えば、非特許文献２参照）。

非予測ブロックの動きベクトルに対する予測ベクトルの値としては、予測ブロック群の水平方向の動きベクトルの中央値、垂直方向の動きベクトルの中央値が用いられる。

大久保榮監修，「改訂三版 Ｈ．２６４／ＡＶＣ 教科書」，インプレス Ｒ＆Ｄ，ｐ１２４，２００９年１月１日 Thomas Davies, "BBC's Response to the Call for Proposals on Video Compression Technology", JCTVC-A125, p11, 1st Meeting: Dresden, DE, 15-23 April, 2010.

Ｈ．２６４／ＡＶＣやＨＥＶＣなどの従来技術では、隣接ブロック群から予測ブロックとして用いるブロックが決められていたため、その隣接ブロックが予測ブロックとして適切な否かの判断を行っていない。

一方で、予測ベクトルの予測精度が低下する場合は、被予測ブロックと予測ブロック群とが、同一オブジェクトでない場合が多い。従来の画像に対して、例えば色情報などを用いて、同一オブジェクトであるか否かの判定を行うことはできるが、その判定精度には限界があった。例えばオブジェクトが異なっていても、これらのオブジェクトの色が同じであれば、これらのオブジェクトは同一オブジェクトと判定されてしまう。

そこで、本発明は、奥行き情報を用いて予測ブロックの適否を判定することで、予測ベクトルの精度を向上させることができる画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明の一態様における画像処理装置は、奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、処理対象ブロックに隣接する各予測ブロックに含まれる奥行き情報を、前記処理対象ブロックの奥行き情報と類似する奥行き情報を有する第１分類と、前記処理対象ブロックの奥行き情報と非類似である奥行き情報を有する第２分類とに分類する分類部と、前記分類部の分類結果に基づき、前記処理対象ブロックの動きベクトルの処理に用いられる予測ブロックを選択し、選択された予測ブロックの動きベクトルを用いて予測ベクトルを決定する決定部と、を有し、前記決定部は、前記第２分類に含まれる奥行き情報と、前記処理対象ブロックの奥行き情報との差に応じた重み値を計算する計算部と、前記第２分類に含まれる奥行き情報を有する予測ブロックの動きベクトルに前記重み値が乗算された動きベクトルと、前記第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとの中央値により、前記予測ベクトルを決定する予測ベクトル決定部とを有する。

また、前記処理が画像の符号化処理である場合、前記決定部により決定された予測ベクトルと、符号化対象ブロックの動きベクトルとの差分を符号化する符号化部をさらに有してもよい。

また、前記処理が画像の復号処理である場合、前記画像が符号化されたビットストリームを復号し、復号対象ブロック及び前記予測ブロックの奥行き情報と、前記復号対象ブロックの動きベクトルの差分情報とを取得する第１復号部と、前記決定部により決定された予測ベクトルに前記差分情報を加算した動きベクトルを用いて、前記画像を復号する第２復号部とをさらに有してもよい。

また、本発明の他の実施態様における画像処理プログラムは、奥行き情報を含む画像に対してブロック単位で処理を行うために、コンピュータに、処理対象ブロックに隣接する各予測ブロックに含まれる奥行き情報を、前記処理対象ブロックの奥行き情報と類似する奥行き情報を有する第１分類と、前記処理対象ブロックの奥行き情報と非類似である奥行き情報を有する第２分類とに分類する分類ステップ、前記分類ステップによる分類結果に基づき、前記処理対象ブロックの動きベクトルの処理に用いられる予測ブロックを選択し、選択された予測ブロックの動きベクトルを用いて予測ベクトルを決定する決定ステップ、を実行させ、前記決定ステップは、前記第２分類に含まれる奥行き情報と、前記処理対象ブロックの奥行き情報との差に応じた重み値を計算するステップと、前記第２分類に含まれる奥行き情報を有する予測ブロックの動きベクトルに前記重み値が乗算された動きベクトルと、前記第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとの中央値により、前記予測ベクトルを決定するステップとを実行する。

本発明によれば、奥行き情報を用いて予測ブロックの適否を判定することで、予測ベクトルの精度を向上させることができる。

Ｈ．２６４／ＡＶＣの動きベクトル予測に用いる隣接ブロック群の一例を示す図。 ＨＥＶＣの動きベクトル予測に用いる隣接ブロック群の一例を示す図。 実施例１における画像処理装置の構成の一例を示すブロック図。 分類結果の一例を示す図。 実施例１における画像処理装置の処理の一例を示すフローチャート。 実施例１における分類処理の一例を示すフローチャート。 実施例１における決定処理の一例を示すフローチャート。 実施例２における画像処理装置の概略構成の一例を示すブロック図。 実施例３における画像処理装置の概略構成の一例を示すブロック図。 実施例４における画像処理装置の構成の一例を示すブロック図。

以下、各実施例について、添付図面を参照しながら詳細に説明する。

［実施例１］
まず、実施例１における画像処理装置について説明する。実施例１における画像処理装置は、動きベクトルの予測値を決定する装置である。この画像処理装置は、プログラムが実行されることで機能してもよいし、集積回路などにより実装されてもよい。また、画像処理とは、画像符号化及び画像復号を含む。

＜構成＞
図３は、実施例１における画像処理装置１０の構成の一例を示すブロック図である。図３に示す画像処理装置１０は、分類部１０１と、決定部１０３とを有する。分類部１０１は、クラスタリング部１１１と、判定部１１３とを有する。また、決定部１０３は、切替部１３１と、第１予測ベクトル決定部１３３と、計算部１３５と、第２予測ベクトル決定部１３７とを有する。

分類部１０１は、処理対象ブロック（被予測ブロック）に隣接する各予測ブロックに含まれる奥行き情報を、この処理対象ブロックの奥行き情報に類似するか否かを判定して分類する。例えば、分類部１０１は、予測ブロック群と、予測ブロック群の奥行き情報と、被予測ブロックと、被予測ブロックの奥行き情報とを取得する。

クラスタリング部１１１は、予測ブロック群の奥行き情報をクラスタリングし、クラスタリング結果情報を判定部１１３に出力する。

ここで、奥行き情報は、画素毎、又は撮像時に決定されるブロック領域毎に存在する。ブロック領域内の画素は、同じ奥行き情報となる。まず、クラスタリング部１１１は、予測ブロック毎に、奥行き情報を計算する。

例えば、クラスタリング部１１１は、予測ブロック内の画素又はブロック領域の奥行き情報の中央値又は平均値などを、この予測ブロックの奥行き情報とする。クラスタリング部１１１は、例えば、前景、背景を区別するために、ｋ＝２として、ｋ−ｍｅａｎｓ法を奥行き情報に適用して、予測ブロック毎の奥行き情報のクラスタリングとクラスタ中心とを求める。

判定部１１３は、被予測ブロックの奥行き情報と、予測ブロック群の奥行き情報と、クラスタリング結果情報とを取得する。判定部１１３は、クラスタリング部１１１から取得したクラスタリング結果情報に基づいて、被予測ブロックの動きベクトルの予測に用いるのに適切な予測ブロックの確度判定を行う。

判定部１１３は、被予測ブロックに対する任意の予測ブロックについて、奥行き情報がともに同じクラスタに属するのであれば、確度が高いと判定し、違うクラスタに属するのであれば確度が低いと判定する。

また、判定部１１３は、被予測ブロックに対する任意の予測ブロックについて、非予測ブロックと予測ブロックとの奥行き情報の値の差が、閾値Ｔｈ１未満であれば、確度が高いと判定し、閾値Ｔｈ１以上であれば、確度が低いと判定する。

判定部１１３は、確度が高いと判定した奥行き情報を有する予測ブロックを第１分類とし、確度が低いと判定した奥行き情報を有する予測ブロックを第２分類とする。

分類部１０１は、処理対象ブロックに隣接する各予測ブロックに含まれる奥行き情報を、この処理対象ブロックの奥行き情報に類似するか否かを判定して分類した結果を、決定部１０３に出力する。分類部１０１は、予測ブロック群に対して、処理対象ブロックの奥行き情報と類似する奥行き情報を有する第１分類と、処理対象ブロックの奥行き情報と非類似である奥行き情報を有する第２分類とに分類する。分類結果は、第１分類と第２分類とに分類された予測ブロックや奥行き情報を含む。

図４は、分類結果の一例を示す図である。図４に示す例では、「１」のブロックが第１分類に分類された予測ブロック群を示し、「２」のブロックが第２分類に分類された予測ブロック群を示す。

図３に戻り、決定部１０３は、分類部１０１の分類結果に基づき、処理対象ブロックの動きベクトルの処理に用いられる予測ブロックを選択し、選択された予測ブロックの動きベクトルを用いて予測ベクトルを決定する。

切替部１３１は、外部スイッチとして、予めどちらの処理を行うかが決められていても良いし、分類結果に基づいて自動で判定してもよい。例えば、切替部１３１は、第１分類の予測ブロックの数が閾値Ｔｈ２以上であれば、第１の処理（第１予測ベクトル決定部１３３）を行わせるようにし、閾値Ｔｈ２未満であれば第２の処理（計算部１３５及び第２予測ベクトル決定部１３７）を行わせるようにする。

第１予測ベクトル決定部１３３は、分類結果に基づいて、第１分類の奥行き情報を有する予測ブロックの動きベクトルを用いて予測ベクトルを決定する。例えば、第１予測ベクトル決定部１３３は、第１分類に含まれる予測ブロックの動きベクトルに対し、水平方向、垂直方向で中央値計算を行って、予測ベクトルを計算する。

計算部１３５は、第２分類に含まれる奥行き情報と、処理対象ブロックの奥行き情報との差に応じた重み値を計算する。計算部１３５は、例えば、被予測ブロックの奥行き情報と、予測ブロックの奥行き情報との差が大きいほど、重み値を小さくする。

計算部１３５は、次の式（１）を用いて、第２分類の予測ブロックの動きベクトルに対する重み値を計算する。
重み値＝１−｜Ｄ１−Ｄ２｜／｜Ｄｉｆｆ｜ ・・・式（１）
Ｄ１：被予測ブロックの奥行き情報
Ｄ２：予測ブロックの奥行き情報
Ｄｉｆｆ：被予測ブロックの奥行き情報と、全予測ブロックの奥行き情報との差の最大値
計算部１３５は、第２分類に含まれる各予測ブロックの重み値を第２予測ベクトル決定部１３７に出力する。

第２予測ベクトル決定部１３７は、第２分類に含まれる奥行き情報を有する予測ブロックの動きベクトルに重み値が乗算された動きベクトルと、第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとを用いて予測ベクトルを決定する。第２予測ベクトル決定部１３７は、重み値を考慮して予測ベクトルを決定する。

第２予測ベクトル決定部１３７は、基本的には、第１予測ベクトル決定部１３３のように、中央値計算を行って、予測ベクトルを決定する。第２予測ベクトル決定部１３７が、第１予測ベクトル決定部１３３と異なるところは、第２分類の予測ブロックの動きベクトルに対しては重みを考慮して中央値計算に含めることである。

つまり、第２予測ベクトル決定部１３７は、第１分類の予測ブロックの動きベクトルに対してはそのまま用い、第２分類の予測ブロックの動きベクトルに対しては重み値を考慮して用いて、中央値計算を行って、予測ベクトルを決定する。

決定部１０３により決定された予測ベクトルは、符号化処理であれば、処理対象ブロックの動きベクトルから減算され、復号処理であれば、処理対象ブロックの差分ベクトルに加算される。

＜動作＞
次に、実施例１における画像処理装置１０の動作について説明する。図５は、実施例１における画像処理装置１０の処理の一例を示すフローチャートである。図５に示すステップＳ１０１で、分類部１０１は、予測ブロック群の奥行き情報に対して、被予測ブロックの奥行き情報と類似するか否かを判定して、分類処理を行う。分類処理の詳細は、図６を用いて説明する。

ステップＳ１０２で、決定部１０３は、分類結果を用いて、被予測ブロックの動きベクトルに対する予測ベクトルを決定する。予測ベクトルの決定処理の詳細は、図７を用いて説明する。

図６は、実施例１における分類処理の一例を示すフローチャートである。図６に示すステップＳ２０１で、クラスタリング部１１１は、予測ブロックの奥行き情報に対して、例えばｋ＝２とするｋ−ｍｅａｎｓ法を適用し、クラスタリングする。

ステップＳ２０２で、判定部１１３は、クラスタリング結果に基づき、予測ブロックの確度を判定する。例えば、判定部１１３は、被予測ブロックの奥行き情報と同じクラスタに属する奥行き情報を有する予測ブロックを第１分類とし、それ以外の予測ブロックを第２分類とする。

これにより、奥行き情報を用いて、被予測ブロックと同一オブジェクトであるか否かの判定を行うことができる。

図７は、実施例１における決定処理の一例を示すフローチャートである。図７に示すステップＳ３０１で、切替部１３１は、第１の処理と、第２の処理（重み処理）のどちらを行うかを判定する。重み処理を行う場合は（ステップＳ３０１−ＹＥＳ）ステップＳ３０３に進み、重み処理を行わない場合は（ステップＳ３０１−ＮＯ）ステップＳ３０２に進む。

ステップＳ３０２で、第１予測ベクトル決定部１３３は、第１分類に含まれる予測ブロックの動きベクトルに対し、水平方向及び垂直方向で中央値計算を行って予測ベクトルを決定する。

ステップＳ３０３で、計算部１３５は、第２分類に含まれる予測ブロックの奥行き情報と、被予測ブロックの奥行き情報との差分を用いて重み値を計算する。例えば、計算部１３５は、式（１）を用いて予測ブロックの動きベクトルに対する重み値を計算する。

ステップＳ３０４で、第２予測ベクトル決定部１３７は、第２分類に含まれる予測ブロックの動きベクトルに重み値が乗算された動きベクトルと、第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとを用いて、中央値演算を行い、予測ベクトルを決定する。

これにより、奥行き情報を用いた同一オブジェクト判定に基づく予測ブロックの分類結果を用いることで、予測ベクトルの予測精度を向上させることができる。つまり、第１分類に含まれる予測ブロックは、被予測ブロックと同一オブジェクトである可能性が高い。

以上、実施例１では、奥行き情報を用いて、被予測ブロックと予測ブロック群とで、同一オブジェクト判定を行う。一般的に、同一オブジェクトであれば、近接するブロック間の奥行き位置（奥行き情報）はほぼ同じであり、少なくとも前景と背景とに区別できるほどの差異はない。そこで、画像全体の奥行き情報をクラスタリングして、被予測ブロックと、予測ブロック群とで、異なるクラスタに属するブロックは、確度が低いとして動きベクトルの予測には用いない。または、確度が低い予測ブロックは、重み付けを行って中央値計算に用いる。よって、奥行き情報を用いて予測ブロックの適否を判定することで、予測ベクトルの精度を向上させることができる。なお、第１の処理が行われる場合は、第１分類に含まれる予測ブロックを識別する識別情報をストリームに加えることで、奥行き情報はデコーダ側に送信されなくてもよい。

［実施例２］
実施例２では、実施例１における画像処理装置１０をインター予測部に含む画像処理装置（画像符号化装置）について説明する。実施例では、入力される原画に奥行き情報が付与されている。

＜構成＞
図８は、実施例２における画像処理装置２０の概略構成の一例を示すブロック図である。図８に示す例では、画像処理装置２０は、前処理部２００、予測誤差信号生成部２０１、直交変換部２０２、量子化部２０３、エントロピー符号化部２０４、逆量子化部２０５、逆直交変換部２０６、復号画像生成部２０７、ループフィルタ部２０９、復号画像記憶部２１０、イントラ予測部２１１、インター予測部２１２、動きベクトル計算部２１３及び予測画像選択部２１５を有する。各部についての概略を以下に説明する。

前処理部２００は、ピクチャタイプに合わせてピクチャを並べ替え、ピクチャタイプ及びフレームごとのフレーム画像等を順次出力する。また、前処理部２００は、ブロック分割なども行う。また前処理部２００は、原画に付与されている奥行き情報をインター予測部２１２及びエントロピー符号化部２０４に出力する。

予測誤差信号生成部２０１は、入力された動画像データの符号化対象画像が、例えば３２×３２、１６×１６、８×８画素などのブロックに分割されたブロックデータを取得する。

予測誤差信号生成部２０１は、そのブロックデータと、予測画像選択部２１５から出力される予測画像のブロックデータとにより、予測誤差信号を生成する。予測誤差信号生成部２０１は、生成された予測誤差信号を直交変換部２０２に出力する。

直交変換部２０２は、入力された予測誤差信号を直交変換処理する。直交変換部２０２は、変換された係数値を示す信号を量子化部２０３に出力する。なお、直交変換の種類が複数ある場合は、いずれの直交変換にするかの決定は、後述するモード制御により行われてもよい。

量子化部２０３は、直交変換部２０２からの出力信号を量子化する。量子化部２０３は、量子化することによって出力信号の符号量を低減し、この出力信号をエントロピー符号化部２０４及び逆量子化部２０５に出力する。

エントロピー符号化部２０４は、量子化部２０３からの出力信号や、動きベクトル計算部２１３から出力された動きベクトル情報やループフィルタ部２０９からのフィルタ係数などをエントロピー符号化して出力する。

また、エントロピー符号化部２０４は、イントラ予測部２１１から取得したイントラ予測方向の差分値や、インター予測部２１２から取得した動きベクトルと予測ベクトルの差分値などをエントロピー符号化してもよい。

また、エントロピー符号化部２０４は、前処理部２００から取得した奥行き情報又は分類結果をエントロピー符号化してもよい。エントロピー符号化とは、シンボルの出現頻度に応じて可変長の符号を割り当てる方式をいう。

逆量子化部２０５は、量子化部２０３からの出力信号を逆量子化してから逆直交変換部２０６に出力する。逆直交変換部２０６は、逆量子化部２０５からの出力信号を逆直交変換処理してから復号画像生成部２０７に出力する。これら逆量子化部２０５及び逆直交変換部２０６によって復号処理が行われることにより、符号化前の予測誤差信号と同程度の信号が得られる。

復号画像生成部２０７は、イントラ予測部２１１で画面内予測された画像あるいはインター予測部２１２で動き補償された画像のブロックデータと、逆量子化部２０５及び逆直交変換部２０６により復号処理された予測誤差信号とを加算する。復号画像生成部２０７は、加算して生成した復号画像のブロックデータを、ループフィルタ部２０９に出力する。

ループフィルタ部２０９は、例えばＡＬＦ（Adaptive Loop Filter）やデブロッキングフィルタであり、いずれか又は両方を備えてもよい。

例えば、ループフィルタ部２０９は、入力画像を所定サイズ毎のグループに分け、グループ毎に適切なフィルタ係数を生成する。ループフィルタ部２０９は、フィルタ処理された復号画像を、所定サイズ毎にグループ分けし、生成したフィルタ係数を用いてグループ毎にフィルタ処理を行う。ループフィルタ部２０９は、フィルタ処理結果を復号画像記憶部２１０に出力し、蓄積された１画像分のフィルタ処理結果を参照画像として記憶させる。所定サイズは、例えば、直交変換サイズである。

復号画像記憶部２１０は、入力した復号画像のブロックデータを新たな参照画像のデータとして記憶し、イントラ予測部２１１、インター予測部２１２及び動きベクトル計算部２１３に出力する。

イントラ予測部２１１は、符号化対象画像の処理対象ブロックに対して、すでに符号化された参照画素から予測画像のブロックデータを生成する。イントラ予測部２１１は、複数の予測方向を用いて予測を行い、最適な予測方向を決定する。予測方向については、符号化済みブロックの予測方向との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

インター予測部２１２は、復号画像記憶部２１０から取得した参照画像のデータを動きベクトル計算部２１３から提供される動きベクトルで動き補償する。これにより、動き補償された参照画像としてのブロックデータが生成される。動きベクトルについては、符号化済みブロックの動きベクトル（予測ベクトル）との差分値をビットストリームに含めるために、差分値がエントロピー符号化部２０４に出力される。

インター予測部２１２は、符号化対象ブロックの動きベクトルに対する予測ベクトルを決定するために、実施例１で説明した画像処理装置１０の処理を行う。これにより、予測ベクトルの精度を向上させることができる。

動きベクトル計算部２１３は、符号化対象画像におけるブロックデータと、復号画像記憶部２１０から取得する参照画像とを用いて、動きベクトルを求める。動きベクトルとは、ブロック単位で参照画像内から処理対象ブロックに最も類似している位置を探索するブロックマッチング技術などを用いて求められるブロック単位の空間的なずれを示す値である。

動きベクトル計算部２１３は、求めた動きベクトルをインター予測部２１２に出力し、参照画像を示す情報を含む動きベクトル情報をエントロピー符号化部２０４に出力する。

イントラ予測部２１１とインター予測部２１２から出力されたブロックデータは、予測画像選択部２１５に入力される。

予測画像選択部２１５は、イントラ予測部２１１とインター予測部２１２から取得したブロックデータのうち、どちらか一方のブロックデータを予測画像として選択する。選択された予測画像は、予測誤差信号生成部２０１に出力される。なお、予測画像の選択は、後述するモード制御により行われてもよい。

なお、図８に示す画像処理装置２０の構成は一例であり、必要に応じて各構成を組み合わせたり、各構成を適宜変更したりしてもよい。また、実施例１と同様の処理で決定された予測ベクトルと、符号化対象ブロックの動きベクトルとの差分を計算するインター予測部２１２と、その差分を符号化するエントロピー符号化部２０４とを、総称して符号化部とも称す。

以上、実施例２によれば、予測ブロックの精度を向上させることにより、画像の符号化効率も向上させることができる。

［実施例３］
実施例３では、実施例１における画像処理装置１０をインター予測部に含む画像処理装置（画像復号装置）３０について説明する。実施例３における画像処理装置３０は、実施例２における画像処理装置２０で符号化されたビットストリームを復号する装置である。

＜構成＞
図９は、実施例３における画像処理装置３０の概略構成の一例を示すブロック図である。図９に示すように、画像処理装置３０は、エントロピー復号部３０１、逆量子化部３０２、逆直交変換部３０３、イントラ予測部３０４、復号情報記憶部３０５、インター予測部３０６、予測画像選択部３０７、復号画像生成部３０８、ループフィルタ部３１０、及びフレームメモリ３１１を有する。各部についての概略を以下に説明する。

エントロピー復号部３０１は、ビットストリームが入力されると、画像処理装置２０のエントロピー符号化に対応するエントロピー復号を行う。エントロピー復号部３０１により復号された予測誤差信号などは逆量子化部３０２に出力される。また、復号したフィルタ係数や、奥行き情報や、インター予測されている場合の、復号された動きベクトルの差分値などは復号情報記憶部３０５に出力される。

また、エントロピー復号部３０１は、イントラ予測の場合、イントラ予測部３０４にその旨通知する。また、エントロピー復号部３０１は、復号対象画像がインター予測されているか、イントラ予測されているかを予測画像選択部３０７に通知する。

逆量子化部３０２は、エントロピー復号部３０１からの出力信号に対して逆量子化処理を行う。逆量子化された出力信号は逆直交変換部３０３に出力される。

逆直交変換部３０３は、逆量子化部３０２からの出力信号の復号ブロックに対して逆直交変換処理を行い、残差信号を生成する。残差信号は復号画像生成部３０８に出力される。

イントラ予測部３０４は、フレームメモリ３１１から取得する復号対象画像のすでに復号化された周辺画素から、複数の予測方向を用いて予測画像を生成する。

復号情報記憶部３０５は、復号されたループフィルタのフィルタ係数や動きベクトルや分割モードなどの復号情報を記憶する。

インター予測部３０６は、フレームメモリ３１１から取得した参照画像のデータを復号情報記憶部３０５から動きベクトルの差分値や奥行き情報などを取得する。また、インター予測部３０６は、実施例１における画像処理装置１０と同様の処理を行い、予測ベクトルを決定する。インター予測部３０６は、決定した予測ベクトルと、動きベクトルの差分値とを加算し、動きベクトルを生成する。インター予測部３０６は、生成した動きベクトルを用いて動き補償を行う。これにより、動き補償された参照画像としてのブロックデータが生成される。

予測画像選択部３０７は、イントラ予測画像、又はインター予測画像どちらか一方の予測画像を選択する。選択されたブロックデータは、復号画像生成部３０８に出力される。

復号画像生成部３０８は、予測画像選択部３０７から出力される予測画像と、逆直交変換部３０３から出力される残差信号とを加算し、復号画像を生成する。生成された復号画像はループフィルタ部３１０に出力される。

ループフィルタ部３１０は、復号画像生成部３０８から出力された復号画像に対し、ブロック歪を低減するためのフィルタをかけ、ループフィルタ処理後の復号画像をフレームメモリ３１１に出力する。なお、ループフィルタ後の復号画像は表示装置などに出力されてもよい。

フレームメモリ３１１は、参照画像となる復号画像などを記憶する。なお、復号情報記憶部３０５とフレームメモリ３１１は、分けた構成にしているが、同じ記憶部であってもよい。

なお、エントロピー復号部３０１を第１復号部とも称し、インター予測部３０６以降の処理部を第２復号部とも称してもよい。

以上、実施例３によれば、実施例２における画像処理装置２０で符号化されたビットストリームを適切に復号することができる。

［実施例４］
図１０は、実施例４における画像処理装置４０の構成の一例を示すブロック図である。図１０に示す画像処理装置４０は、上述した実施例１〜３で説明した画像処理をソフトウェアで実装した装置の一例である。

図１０に示すように、画像処理装置４０は、制御部４０１、主記憶部４０２、補助記憶部４０３、ドライブ装置４０４、ネットワークＩ／Ｆ部４０６、入力部４０７、表示部４０８を有する。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０２又は補助記憶部４０３に記憶された画像処理のプログラムを実行する演算装置である。制御部４０１は、入力部４０７や記憶装置からデータを受け取り、演算、加工した上で、表示部４０８や記憶装置などに出力する。

また、制御部４０１は、画像処理のプログラムを実行することで、実施例１〜３で説明した処理を実現することができる。

主記憶部４０２は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などである。主記憶部４０２は、制御部４０１が実行する基本ソフトウェアであるＯＳ（Operating System）やアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。

補助記憶部４０３は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置４０４は、記録媒体４０５、例えばフレキシブルディスクからプログラムを読み出し、記憶部にインストールする。

また、記録媒体４０５に、所定のプログラムを格納し、この記録媒体４０５に格納されたプログラムはドライブ装置４０４を介して画像処理装置４０にインストールされる。インストールされた所定のプログラムは、画像処理装置４０により実行可能となる。

ネットワークＩ／Ｆ部４０６は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置４０とのインターフェースである。

入力部４０７は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４０８の表示画面上でキーの選択等を行うためのマウスやスライドパット等を有する。表示部４０８は、ＬＣＤ（Liquid Crystal Display）等により構成され、制御部４０１から入力される表示データに応じた表示が行われる。

なお、図３に示す画像処理装置１０の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

また、図８に示す復号画像記憶部２１０は、例えば主記憶部４０２又は補助記憶部４０３により実現され、図８に示す復号画像記憶部２１０以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

また、図９に示す復号情報記憶部３０５及びフレームメモリ３１１は、例えば主記憶部４０２又は補助記憶部４０３により実現されうる。図９に示す復号情報記憶部３０５及びフレームメモリ３１１以外の構成は、例えば制御部４０１及びワークメモリとしての主記憶部４０２により実現されうる。

画像処理装置４０で実行されるプログラムは、実施例１〜３で説明した各部を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０３からプログラムを読み出して実行することにより上記各部のうち１又は複数の各部が主記憶部４０２上にロードされ、１又は複数の各部が主記憶部４０２上に生成されるようになっている。

このように、上述した実施例１〜３で説明した画像処理は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、実施例１〜３で説明した処理を実現することができる。

また、このプログラムを記録媒体４０５に記録し、このプログラムが記録された記録媒体４０５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体４０５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。また、上述した各実施例で説明した処理は、１つ又は複数の集積回路に実装してもよい。

なお、実施例４における画像処理装置４０は、上記の通り、画像処理装置１０、２０、３０としての機能を有してもよい。

以上、各実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、上記変形例以外にも種々の変形及び変更が可能である。

１０、２０、３０、４０ 画像処理装置
１０１ 分類部
１０３ 決定部
１１１ クラスタリング部
１１３ 判定部
１３１ 切替部
１３３ 第１予測ベクトル決定部
１３５ 計算部
１３７ 第２予測ベクトル決定部
２０４ エントロピー符号化部
２１２ インター予測部
３０１ エントロピー復号部
３０６ インター予測部
４０１ 制御部
４０２ 主記憶部
４０３ 補助記憶部

Claims (4)

1. 奥行き情報を含む画像に対してブロック単位で処理を行う画像処理装置であって、
   処理対象ブロックに隣接する各予測ブロックに含まれる奥行き情報を、前記処理対象ブロックの奥行き情報と類似する奥行き情報を有する第１分類と、前記処理対象ブロックの奥行き情報と非類似である奥行き情報を有する第２分類とに分類する分類部と、
   前記分類部の分類結果に基づき、前記処理対象ブロックの動きベクトルの処理に用いられる予測ブロックを選択し、選択された予測ブロックの動きベクトルを用いて予測ベクトルを決定する決定部と、
   を有し、
   前記決定部は、
   前記第２分類に含まれる奥行き情報と、前記処理対象ブロックの奥行き情報との差に応じた重み値を計算する計算部と、
   前記第２分類に含まれる奥行き情報を有する予測ブロックの動きベクトルに前記重み値が乗算された動きベクトルと、前記第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとの中央値により、前記予測ベクトルを決定する予測ベクトル決定部と
   を有する画像処理装置。
2. 前記処理が画像の符号化処理である場合、
   前記決定部により決定された予測ベクトルと、符号化対象ブロックの動きベクトルとの差分を符号化する符号化部をさらに有する請求項１に記載の画像処理装置。
3. 前記処理が画像の復号処理である場合、
   前記画像が符号化されたビットストリームを復号し、復号対象ブロック及び前記予測ブロックの奥行き情報と、前記復号対象ブロックの動きベクトルの差分情報とを取得する第１復号部と、
   前記決定部により決定された予測ベクトルに前記差分情報を加算した動きベクトルを用いて、前記画像を復号する第２復号部と
   をさらに有する請求項１に記載の画像処理装置。
4. 奥行き情報を含む画像に対してブロック単位で処理を行うために、コンピュータに、
   処理対象ブロックに隣接する各予測ブロックに含まれる奥行き情報を、前記処理対象ブロックの奥行き情報と類似する奥行き情報を有する第１分類と、前記処理対象ブロックの奥行き情報と非類似である奥行き情報を有する第２分類とに分類する分類ステップ、
   前記分類ステップによる分類結果に基づき、前記処理対象ブロックの動きベクトルの処理に用いられる予測ブロックを選択し、選択された予測ブロックの動きベクトルを用いて予測ベクトルを決定する決定ステップ、
   を実行させ、
   前記決定ステップは、
   前記第２分類に含まれる奥行き情報と、前記処理対象ブロックの奥行き情報との差に応じた重み値を計算するステップと、
   前記第２分類に含まれる奥行き情報を有する予測ブロックの動きベクトルに前記重み値が乗算された動きベクトルと、前記第１分類に含まれる奥行き情報を有する予測ブロックの動きベクトルとの中央値により、前記予測ベクトルを決定するステップと
   を実行する画像処理プログラム。

Images