JP5165084B2 - 画像符号化装置 - Google Patents

Description

本発明は、被写体までの距離を表わす距離画像と少なくとも被写体の輝度情報を含む主画像とを同時に撮影し、各画像を符号化する技術に関する。

近年、画像をデジタルデータとして撮影し記録するために、画像情報を高圧縮率且つ高画質で符号化する技術が利用されている。動画像では、画像情報特有の冗長性を利用して画像情報を圧縮符号化するＭＰＥＧ方式が広く普及している。ＭＰＥＧ圧縮は、ＤＣＴ変換、量子化、可変長符号化及び前方向の動き補償フレーム間予測に、双方向の動き補償フレーム間予測を組み合わせた符号化方式である。画像はＩ、Ｐ、Ｂの３種類のピクチャタイプで符号化される。Ｉピクチャは、自己の情報のみで符号化され、ＰピクチャはＩ又はＰピクチャからの予測を行うことで符号化され、Ｂピクチャは双方向予測によって符号化される画像である。

画像記録装置は、ＤＣＴ変換部、量子化部、量子化制御部を基本的な構成として備える。ＤＣＴ変換部は画像情報を所定の画素数に分割した複数のブロック（ＤＣＴブロック）に２次元直交変換を行う。量子化部は変換後のＤＣＴ係数を量子化する。量子化制御部は、出力バッファの容量を考慮して量子化スケールコードを適当な値に制御する。

また、圧縮符号化後の情報量を所定の範囲に収めつつ、画質の劣化を最小限に抑える技術が提案されている（例えば特許文献１参照）。

ここで、上記画像の絵柄に応じて符号量を決定する処理について説明する。

図１１はＭＰＥＧ方式により画像を圧縮符号化する従来の画像記録装置の構成を示すブロック図である。

図１１において、１１００は圧縮対象である画像を取得する画像取得部である。１１０１は画像データを蓄積し並び替えを行うための画像フレームバッファである。１１０２は入力画像とローカルデコード画像の差分を取る減算部である。１１０３はＤＣＴ変換部、１１０４は量子化部、１１０５は逆量子化部、１１０６は逆ＤＣＴ変換部、１１０７は動き補償部、１１０８は動き推定部、１１０９は符号化部、１１１０は出力バッファである。また、１１２０は複雑度算出部、１１３０は量子化制御部である。

次に、図１１の画像記録装置による符号量決定処理について説明する。

画像取得部１１００に入力された画像は画像フレームバッファ１１０１に蓄積される。画像フレームバッファ１１０１は符号化する順序に画像フレームの並べ替えを行う。Ｂピクチャは時間的に後のピクチャを参照するために、符号化順としては参照するピクチャが符号化された後になる。符号化順に並び替えられた画像は、所定の大きさを有する小領域であるマクロブロック単位に分割され、減算部１１０２へ出力される。

減算部１１０２では、Ｉピクチャの場合、減算処理を行わず単にデータをＤＣＴ変換部１１０３へ出力する。また、画像がＢ又はＰピクチャの場合は、後述するフレーム間予測による予測画像と現画像との差分画像をＤＣＴ変換部１１０３へ出力する。

ＤＣＴ変換部１１０３ではＤＣＴブロック単位にＤＣＴ変換を行い周波数成分に変換する。量子化部１１０４では、変換された周波数成分のデータを量子化パラメータに応じて量子化する。量子化部１１０４において量子化した画像データは符号化部１１０９及びローカルデコードするため逆量子化部１１０５へ出力する。符号化部１１０９では、出現頻度がより高いデータに対して、より短い符号量を割り当てる可変長符号化を行い、出力バッファ１１１０に一旦蓄積した後、符号化データとして出力する。

一方、逆量子化部１１０５では量子化部１１０４で量子化した画像データを逆量子化し、周波数成分に復号化する。逆ＤＣＴ変換部１１０６による逆直交変換によって、予測誤差画像（差分画像）に復号する。動き推定部１１０８はフレーム間予測モードの時にローカルデコード画像から、画像との差分が最も小さい参照画像をサーチし、動きベクトルを算出する。動き補償部１１０７では、動きベクトル及び参照方向情報で示される演算を行い動き補償画像を出力する。

量子化制御部１１３０はマクロブロック毎の絵柄の複雑度とＶＢＶバッファに基づいてマクロブロック毎の量子化パラメータ（量子化スケール）を決定する。この量子化スケールを大きくすると荒い量子化（符号量の割り当てが少ない）、逆に小さくすると細かい量子化（符号量の割り当てが多い）が可能となる。

図１２は図１１の量子化制御部によるマクロブロック毎の量子化パラメータを決定する処理フローを示している。

図１２において、Ｓ１２０１では、ＧＯＰ(Group Of Pictures)内の各ピクチャに対する割り当てビット量を決定する。具体的には、ＧＯＰ内でまだ符号化されていないピクチャの枚数と、直前ピクチャの複雑度に基づき符号化対象のピクチャに対して符号量を配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャ毎にピクチャ目標ビット量を算出する。

Ｓ１２０２では、マクロブロック単位に量子化スケールの基準値を設定する。つまり、Ｓ１２０１で求められた各ピクチャに対する割り当てビット量と実際の発生ビット量とを一致させるため、出力バッファの容量を基に、量子化スケールの基準値をマクロブロック単位のフィードバック制御で求める。

Ｓ１２０３では複雑度に基づき各ブロックに割り当てる符号量を補正する。具体的には視覚特性を反映させるべく、ブロック単位でブロックの複雑度に基づいて量子化スケール値を補正する。フレーム目標ビット量を維持しつつ、複雑度が低いマクロブロックでは量子化スケールを基準値より小さく補正し、複雑度が高いマクロブロックでは量子化スケールを基準値より大きく補正する。このように視覚特性、特に複雑度を考慮した適応量子化が行われる。これにより、視覚的に劣化が目立ちやすい平坦部は符号量を多く割り当て、劣化が目立ちにくい複雑な絵柄の部分は符号量を少なく割り当てることが可能となる。

一方、被写体までの距離を表す距離情報を含む距離画像を生成する撮像技術が、例えば特許文献２に記載されている。

特開２００４−１９４０７６号公報 特開平８−２４２４６９号公報

上述した従来技術では、画像の絵柄だけで符号量の割り当てを決定しているため、画像中で主となる被写体が複雑な絵柄を含んでいる場合には、符号量の割り当てが少なく抑えられ、主被写体領域が劣化してしまうという課題がある。また、距離画像は主被写体のエッジ検出には優れているが、背景に複雑な部分が含まれている場合、距離画像から複雑な部分のエッジを検出することは難しいという課題がある。
本発明は、上記課題に鑑みてなされ、その目的は、距離画像を用いて画像に含まれる主被写体や背景のエッジ検出精度を向上させ、画質の劣化を目立たなくする符号化技術を実現することである。

上記課題を解決し、目的を達成するため、本発明の画像符号化装置は、被写体を撮像して得られる主画像を取得する主画像取得手段と、前記被写体までの距離を表わす距離画像を取得する距離画像取得手段と、前記距離画像を複数のブロックに分割し、前記距離画像の各ブロック毎のエッジ強度を判定する手段であって、手前の被写体と奥の被写体との境界部分を含むことによって前記距離画像中に前記境界部分がエッジとして表れている画像領域を含むブロックを前記エッジ強度が高いと判定するエッジ検出手段と、前記主画像を前記距離画像に対応するように複数のブロックに分割し、前記距離画像の各ブロック毎の前記エッジ強度に基づき、前記主画像の各ブロック毎の符号量を決定する手段であって、前記エッジ検出手段によって前記距離画像において前記エッジ強度が高いと判定されたブロックに対応する前記主画像のブロックに対して基準値よりも符号量を多く割り当てるようにする符号量決定手段と、前記符号量決定手段によって決定された符号量に従って前記主画像を符号化する符号化手段と、を有する。

本発明によれば、距離画像を用いて画像に含まれる主被写体や背景のエッジ検出精度を向上させ、画質の劣化を目立たなくすることができる。

本発明に係る第１の実施形態の画像記録装置の構成を示すブロック図である。 本発明に係る第１の実施形態による主画像（ａ）及び距離画像（ｂ）を例示する図である。 本発明に係る第１の実施形態による主画像（ａ）及び距離画像（ｂ）の各量子化処理を説明する図である。 本発明に係る第１の実施形態の符号量決定処理を示すフローチャートである。 本発明に係る第２の実施形態の画像記録装置の構成を示すブロック図である。 本発明に係る第２の実施形態の符号量決定処理を示すフローチャートである。 本発明に係る第２の実施形態による撮影モード毎の被写体を例示する図である。 本発明に係る第３の実施形態の画像記録装置の構成を示すブロック図である。 本発明に係る第３の実施形態による主画像（ａ）及び距離画像（ｂ）の各量子化処理を説明する図である。 本発明に係る第３の実施形態の符号量決定処理を示すフローチャートである。 従来例の画像記録装置の構成を示すブロック図である。 従来例による符号量決定処理を示すフローチャートである。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。

尚、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

［第１の実施形態］
先ず、本発明に係る第１の実施形態による被写体の距離情報に基づいて符号量の割り当てを決定する例について説明する。

図１は、本発明に係る第１の実施形態の画像記録装置の構成を示すブロック図である。

図１において、１００は圧縮対象である主画像を取得する主画像取得部である。１０１は主画像データを蓄積し並び替えを行うための主画像フレームバッファである。１０２は入力画像とローカルデコード画像の差分を取る減算部である。１０３はＤＣＴ変換部、１０４は量子化部、１０５は逆量子化部、１０６は逆ＤＣＴ変換部、１０７は動き補償部、１０８は動き推定部、１０９は符号化部、１１０は出力バッファである。また、１２０は距離画像取得部、１２１は距離画像フレームバッファ、１２２はブロック距離算出部、１３０は量子化制御部である。主画像及び距離画像は撮像部１４０により同時に撮影される。尚、主画像は動画又は静止画である。

撮像部１４０は、被写体からの光束が入射されるフォーカスレンズやズームレンズ等からなるレンズ光学系と、輝度信号及び色差信号からなる主画像と、被写体までの距離を表す距離画像とを同時に撮像及び獲得可能なＣＭＯＳ等の撮像素子とを有する。撮像素子は、例えばＬＥＤから被写体へ光を照射し、その反射光をＣＭＯＳセンサが受光するまでの時間を画素毎に計測することで距離を求める。

尚、本実施形態の画像記録装置は、撮像部１４０が搭載されることでデジタルカメラ等の撮像装置を構成する。また、撮像部１４０を搭載しない場合には、撮像部１４０を搭載するカメラとＵＳＢインターフェース等を介して接続可能なＰＣ（パーソナルコンピュータ）等の電子機器を構成する。

次に、図１の画像記録装置による符号量決定処理について説明する。

主画像取得部１００に入力された画像は主画像フレームバッファ１０１に蓄積される。主画像フレームバッファ１０１は符号化する順番に画像フレームの並べ替えを行う。符号化順に並び替えられた画像は、マクロブロック単位に分割され減算部１０２へ出力される。減算部１０２はＩピクチャの場合、減算処理を行わず単にデータをＤＣＴ変換部１０３へ出力する。また、入力画像がＢ又はＰピクチャの場合は、後述するフレーム間予測による予測画像と現画像との差分画像をＤＣＴ変換部１０３へ出力する。ＤＣＴ変換部１０３ではＤＣＴブロック単位にＤＣＴ変換を行い周波数成分に変換する。量子化部１０４では入力された周波数成分のデータを後述する量子化パラメータに従って量子化する。量子化部１０４において量子化した画像データは符号化部１０９及び逆量子化部１０５へ出力する。符号化部１０９では可変長符号化を行い、ビットストリームを出力バッファ１１０を介して光ディスクやハードディスク等の記録媒体に記録する。

一方、逆量子化部１０５では逆量子化し、周波数成分に復号化する。逆ＤＣＴ変換部１０６による逆直交変換によって、予測誤差画像に復号する。動き推定部１０８はフレーム間予測モードの時にローカルデコード画像から、入力画像と差分が最も小さい参照画像をサーチし、動きベクトルを算出し出力する。動き補償部１０７では動きベクトル及び参照方向情報で示される演算を行い、動き補償画像を出力する。距離画像取得部１２０は主画像に対応した距離画像を取得する。

ここで、距離画像について説明する。

図２（ａ）は主画像、図２（ｂ）は距離画像を夫々例示している。

主画像は、符号化される輝度及び色の各信号を含む画像である。また、距離画像は同時刻の主画像（図２（ａ））の水平垂直２次元位置に対応した被写体までの距離を示す画像である。

図２（ｂ）では距離画像は２５６階調で表現されるものとする。即ち、被写体の２５６段階の距離情報から構成されている。この場合、距離画像はカメラに近い被写体ほど白に近づき、カメラから遠いほど黒に近く表現される。図２（ｂ）の距離画像では主画像（図２（ａ））において２００で示した人物の領域が近距離にあり、２０２で示した背景の領域が遠距離にあることを夫々示している。

図１に戻り、距離画像取得部１２０により取得した距離画像は距離画像フレームバッファ１２１に蓄積される。距離画像フレームバッファ１２１は主画像を符号化する順序と同様に距離画像フレームの並べ替えを行う。符号化順に並び替えられた距離画像は、量子化する主画像のブロックと同等の領域に分割され、ブロック距離算出部１２２に出力される。ブロック距離算出部１２２では距離画像のブロック毎の平均距離（以下、ブロック距離）を算出する。

図３は、図２の主画像及び距離画像をブロック単位に分割した状態を示す図である。

主画像（ａ）のブロック３０１を量子化する際には主画像のブロック３０１に対応する距離画像（ｂ）のブロック３０２がブロック距離算出部１２２に入力され、演算処理によりブロック３０２の代表距離が算出される。ここでは、ブロック代表距離としてブロックの距離の平均値を算出する。ブロック距離算出部１２２は上記のようにして算出したブロック代表距離をブロック距離情報として量子化制御部１３０へ出力する。

量子化制御部１３０はブロック毎の距離情報とバッファ容量とに基づいてマクロブロック毎の量子化パラメータ（以下、量子化スケール）を決定し、量子化部１０４に出力する。

図４は、本実施形態の量子化制御部によるブロック毎の量子化スケールを決定する処理フローを示している。

図４において、先ずＳ４０１ではＧＯＰ内の各ピクチャに対する割り当てビット量を決定する。具体的には、ＧＯＰ内で符号化されていないピクチャの枚数と、直前ピクチャの複雑度に基づき符号化対象のピクチャに対して符号量を配分する。この配分をＧＯＰ内の符号化ピクチャ順に繰り返し、ピクチャ毎にピクチャ目標ビット量を算出する。

Ｓ４０２では、マクロブロック単位に量子化スケールの基準値を設定する。つまり、Ｓ４０１で求められた各ピクチャに対する割り当てビット量と実際の発生ビット量とを一致させるため、出力バッファ１１０の容量に基づき量子化スケールの基準値をマクロブロック単位のフィードバック制御で求める。

Ｓ４０３では、ブロック単位での距離情報に基づいて量子化スケールを補正し、量子化部１０４に出力する。ここでは、ブロック距離が近いブロックは図２の２００に示すような主となる被写体である可能性が高いと判定され、量子化スケールを基準値より小さく補正する。一方、ブロック距離が遠いブロックは図２の２０１に示すような背景等の重要度が低めの被写体領域であると判定され、量子化スケールを基準値より大きく補正する。

上記実施形態によれば、距離情報に基づき量子化スケールを決定する。これにより、図２（ａ）に示す距離が近く主被写体である可能性が高い被写体２００には符号量を多く割り当て、図２（ａ）に示す距離が遠く背景である可能性が高い被写体２０１には符号量を少なく割り当てることができる。よって、主被写体の画質が劣化しないように符号化することができる。

尚、上記例では、距離情報とバッファ容量のみからブロックに割り当てる符号量を決定したが、他の画像に関する特徴情報を抽出し、これらを組み合わせて符号量の割り当てを決定しても良い。例えば、従来例で述べた主画像の複雑度を算出し、複雑度情報と距離情報、バッファ情報を総合的に加味して、割り当てる符号量を決定することもできる。

また、画像の中心部ほど距離情報に基づく量子化の割合を高くすることもでき、例えば、画像の中心部にあって距離が近い被写体には符号量を多く割り当て、距離は近いが画面の端にいる被写体の割り当ては多くしないよう制御することもできる。

また、上記実施形態では被写体との距離が近いブロックほど符号量を多く割り当てたが、被写体が存在する被写体距離範囲をユーザが任意に設定できる機能（被写体距離設定手段）を持たせても良い。この場合、ユーザによって設定された被写体距離範囲に該当するブロックに対して符号量を多く割り当てることができる。また、ユーザが符号量を多く割り当てる被写体を任意に指定できるような機能を持たせても良い。また、量子化による歪が見えやすい規定値より高い圧縮率の場合にのみ上記符号量の割り当てを行っても良い。

また、上記ブロック距離算出部１２２は、ブロック代表距離としてブロック内の平均値を演算したが、ブロックの代表距離としては、ブロック内の画素に対応する距離の最大値や最小値、中央値を利用することもできる。

［第２の実施形態］
次に、第２の実施形態として画像の撮影条件と距離情報とに基づいてブロック毎の量子化スケールを決定する処理について説明する。

図５は、第２の実施形態の画像記録装置の構成を示すブロック図である。尚、図１と同様のブロックには同一の符号を付して説明を省略する。

図５において、５３０は量子化パラメータを決定する量子化制御部、５４０は主画像又は距離画像の撮影時の撮影条件に関する情報を取得する撮影条件取得部である。

次に、本実施形態の画像記録装置による符号量決定処理について説明する。

主画像取得部１００において主画像を取得し、符号化するまでの基本的な動作は第１の実施形態と同様であるため、ここでの説明は省略する。また、距離画像取得部１２０において距離画像を取得し、ブロック毎の距離情報を量子化制御部５３０に出力する動作も第１の実施形態と同様である。

本実施形態では、第１の実施形態に対して量子化制御部５３０の動作が変更され、撮影条件取得部５４０が追加されている。撮影条件取得部５４０は、主画像及び距離画像の撮影時の撮影条件を取得する。ここで撮影条件とは、例えば「ポートレートモード」や「風景モード」等の撮影モードや、ズーム状態（望遠側、広角側）等、撮影時のカメラの設定状態を示す情報である。本実施形態では撮影条件が撮影モードである場合を例に説明する。撮影条件取得部５４０が取得した撮影モード情報は量子化制御部５３０へ出力される。

量子化制御部５３０はブロック毎の距離情報、出力バッファ容量及び撮影モードに基づいてマクロブロック毎の量子化パラメータ（量子化スケール）を決定する。

図６は、第２の実施形態の量子化制御部によるブロック毎の量子化パラメータを決定する処理フローを示している。

図６において、Ｓ４０１及びＳ４０２は第１の実施形態と同様である。

Ｓ６０３では、撮影モードが近景を主体として撮影するモードであるか判定する。近景モードであると判定した場合はＳ６０４に進む。一方、近景を撮影するモードでない場合はＳ６０５に進む。ここで、近景を主体として撮影する撮影モードとして、例えば「ポートレートモード」や「パーティモード」等が挙げられる。

図７（ａ）は「ポートレートモード」、（ｂ）は「風景モード」で夫々撮影された被写体を例示している。図７（ａ）の場合、主な被写体は７００で示した中央の人物となる。一方、図７（ｂ）の場合、主な被写体は木等の遠景となる。

図６に戻り、Ｓ６０４では近距離側にある被写体領域ほど割り当てる符号量が多くなるように量子化スケールを補正し、量子化部１０４に出力する。図７では（ａ）の「ポートレートモード」が本ステップで処理される画像となる。図７（ａ）では近距離にいる人物領域に符号量が多く割り当てられるように量子化スケールを補正する。

一方、Ｓ６０５では遠距離側にある被写体領域ほど割り当てる符号量が多くなるように量子化スケールを補正し、量子化部１０４に出力する。図７では（ｂ）の「風景モード」が本ステップで処理される画像となる。図７（ｂ）では遠距離にある木等の被写体に符号量が多く割り当てられるように量子化スケールを補正する。尚、「風景モード」の場合は、符号量の割り当てを多くする制御を行わないようにしても良い。

上述したフローに基づき量子化処理を行うことにより、撮影モードに応じた被写体距離の画像に対して多くの符号量を割り当てることが可能となる。

上記実施形態によれば、撮影条件と距離情報とに基づき量子化スケールを決定する。これにより、撮影モードが近景を主として撮影するモードの場合は距離が近い被写体には符号量の割り当てを多くする。また、近景を主として撮影するモードでない場合には、距離が遠い背景の可能性が高い被写体の符号量を多く割り当てることができる。よって、より重要な被写体に対する符号量を多く割り当てることができ、主被写体の画質が劣化しないように符号化することができる。

尚、撮影条件は、本実施形態の画像記録装置が撮像部１４０を搭載するデジタルカメラの場合には撮像部１４０から取得し、撮像部１４０を搭載しないＰＣ等の場合には撮像部を搭載するカメラからＵＳＢインターフェース等を介して取得可能である。

また、撮影条件として撮影モードのみを例に説明したが撮影モード以外の撮影条件を用いて量子化の制御を行うことも可能である。例えば、撮影時のズーム情報を利用する構成が可能である。この場合は、ズームの状態がテレ側にある場合は図７（ａ）に示したような構図が多くなると考えられるため、背景に対して相対的に被写体距離が近い被写体領域に対して多く符号量を割り当てるように制御する。一方、ズームの状態がワイド側にある場合には、図７（ｂ）に示したような構図が多くなると考えられるため、相対的に被写体距離が遠い被写体領域に対しても多く符号量を割り当てるように制御する。

また、撮影条件として、フォーカスの合焦情報（フォーカス情報）を利用する制御を行うことも可能である。この場合は、フォーカスの合焦位置に対応する被写体距離を算出する。そしてその被写体距離に近い被写体に符号量を多く割り当てるように制御する。

［第３の実施形態］
次に、本発明に係る第３の実施形態として距離画像からエッジを検出し、そのエッジ情報に基づき量子化を制御する例について説明する。

図８は、第３の実施形態の画像記録装置の構成を示すブロック図である。尚、図１と同様のブロックには同一の符号を付して説明を省略する。

図８において、８３０は量子化のパラメータを決定する量子化制御部、８４０は距離画像からエッジ情報を算出するエッジ情報算出部である。

次に、本実施形態の画像記録装置による符号量決定処理について説明する。

主画像取得部１００において主画像を取得し、符号化するまでの基本的な動作は第１の実施形態と同様であるため、ここでの説明は省略する。また、距離画像取得部１２０において距離画像を取得し、距離画像フレームバッファ１２１に蓄積し、符号化順に並び替える動作も第１の実施形態と同様である。

本実施形態では、第１の実施形態に対して量子化制御部８３０での動作が変更され、エッジ情報算出部８４０が追加されている。

エッジ情報算出部８４０は、主画像フレームバッファ１０１及び距離画像フレームバッファ１２１から、次に符号化するブロック領域に相当する画像を取得する。

図９は主画像及び距離画像と符号化するブロックを示した図である。

エッジ情報算出部８４０は、主画像及び距離画像に基づき、次に処理するブロックのエッジ強度を算出する。また、従来例における複雑度算出部と同様に主画像に基づき画像の複雑度も算出する。ここでのエッジ強度とはエッジであると判定されるほど高くなる指数である。本実施形態では主画像又は距離画像のエッジ強度の高い方をそのブロックのエッジ強度として採用する。例えば、図９（ａ）に示す主画像のブロック９０１では、背景が複雑な成分を含んでいるため複雑部と判定し、エッジ強度は低くなる。一方、図９（ｂ）に示す距離画像ではブロック９０１に対応するブロック９１１において背景と人物が明確に分かれているためエッジであると判定しエッジ強度が高くなる。その結果、図９の９０１、９１１に示したブロック領域において、距離画像のブロック９１１によるエッジ強度が採用される。逆に、主画像のブロック９０２に示したブロックは主画像ではエッジを強度が高くなるが、距離画像の対応するブロック９１２は平坦部と判定してしまい、エッジ強度は低くなる。ブロック９０２、９１２の場合には主画像のブロック９０２によるエッジ強度が採用される。このように、主画像は模様のエッジの検出に優れ、距離画像は被写体そのもののエッジの検出に優れている。そのため双方の情報を利用することで正確にエッジを検出することが可能となる。尚、エッジ検出に関しては、従来から様々な手法が提案されているので詳細は省略する。

量子化制御部８３０は、ブロック毎のエッジ強度と出力バッファに基づいてブロック毎の量子化パラメータ（量子化スケール）を決定する。

図１０は、第３の実施形態の量子化制御部によるブロック毎の量子化パラメータを決定する処理フローを示している。

図１０において、Ｓ４０１及びＳ４０２は第１の実施形態と同様である。

次に、Ｓ１００３では、視覚特性を反映させるべく、マクロブロック単位でマクロブロックの複雑度に基づいて量子化スケール値を補正し、量子化部１０４に出力する。フレーム目標ビット量を維持しつつ、エッジ強度が高い又は複雑度が低いマクロブロックでは量子化スケールを基準値より小さく補正し、エッジ強度が低く複雑度が高いマクロブロックでは量子化スケールを基準値より大きく補正する。これにより、視覚的に劣化が目立ちやすいエッジ部、平坦部は符号量を多く割り当て、劣化が目立ちにくい複雑な絵柄の部分は符号量を少なく割り当てることが可能となる。

上記実施形態によれば、距離画像に基づき被写体のエッジを検出し、エッジ検出結果に基づき量子化スケールを補正する。これにより、主画像の絵柄からエッジが判定しにくい場合であっても距離画像からエッジを判定でき、エッジの検出精度が向上する。また、エッジ部や平坦部には符号量を多く割り当て、絵柄の複雑部には符号量を少なく割り当てることで量子化処理の精度を高めることができる。

上記実施形態では主画像及び距離画像の双方からエッジを検出する例について説明したが、距離画像のみでのエッジ検出結果に基づいて符号量を決定してもよく、この場合、エッジ検出精度は低下するものの演算処理を簡略化することができる。

［他の実施形態］
本発明の目的は次のような方法によっても達成される。即ち、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（又は記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。即ち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

更に、次のような場合も本発明に含まれる。すなわち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリーに書込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される。

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した手順に対応するプログラムコードが格納されることになる。

Claims (2)

1. 被写体を撮像して得られる主画像を取得する主画像取得手段と、
   前記被写体までの距離を表わす距離画像を取得する距離画像取得手段と、
   前記距離画像を複数のブロックに分割し、前記距離画像の各ブロック毎のエッジ強度を判定する手段であって、手前の被写体と奥の被写体との境界部分を含むことによって前記距離画像中に前記境界部分がエッジとして表れている画像領域を含むブロックを前記エッジ強度が高いと判定するエッジ検出手段と、
   前記主画像を前記距離画像に対応するように複数のブロックに分割し、前記距離画像の各ブロック毎の前記エッジ強度に基づき、前記主画像の各ブロック毎の符号量を決定する手段であって、前記エッジ検出手段によって前記距離画像において前記エッジ強度が高いと判定されたブロックに対応する前記主画像のブロックに対して基準値よりも符号量を多く割り当てるようにする符号量決定手段と、
   前記符号量決定手段によって決定された符号量に従って前記主画像を符号化する符号化手段と、を有することを特徴とする画像符号化装置。
2. 撮像によって前記主画像と前記距離画像とを同時に獲得する撮像手段を更に有することを特徴とする請求項１に記載の画像符号化装置。