JP4860763B2 - 画像符号化装置、画像符号化装置の制御方法、制御プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像の奥行き値を示す奥行き画像を符号化する画像符号化装置、画像復号装置、画像符号化装置の制御方法、画像復号装置の制御方法、プログラムおよび記録媒体に関するものである。

近年、複数の視点からの画像（複数視点画像）を用いることにより、１視点方向からの画像である単一視点画像のみでは得ることのできない臨場感の高い映像表現が実現されている。複数視点画像を用いた映像表現としては、例えば、立体画像表示や任意視点画像表示が挙げられる。

立体画像表示は、視差のある２つの画像を用い、観察者が右眼で一方の画像を左眼で他方の画像を見ることにより、それぞれの画像は平面画像であるにもかかわらず、観察者の脳内ではあたかも立体的な三次元空間を見ているような感覚を与えるものである。具体的に図６を用いて説明する。図６は、立体画像表示の概要を示す説明図である。図６に示すように、視差のある２つ画像５０１、５０２に対し、観察者は左眼で画像５０１を、右眼で画像５０２を見ることにより、観察者の脳内５０３では、画像５０１、５０２内の物体５０４、５０５が立体的に存在しているように感じられる。

また、任意視点画像表示は、視点の異なる複数の視点画像およびそれぞれの視点画像におけるカメラと被写体との距離から、任意の視点における被写体の画像を作成し、表示するものである。具体的に図７を用いて説明する。図７は、任意視点画像表示の概要を示す説明図である。図７に示すように、視点の異なる複数の視点画像６０１ｖ、６０２ｖ、６０３ｖと、それぞれの視点画像におけるカメラと被写体との距離を示す奥行き画像６０１ｄ、６０２ｄ、６０３ｄとから、任意の視点における被写体の画像（図７に示す例では、視点画像６０４ｖ、６０５ｖ）を作成し、表示する。これにより、撮影していない視点からの被写体の画像を表示させることができる。

非特許文献１に、任意の視点おける視点画像（任意視点画像）を生成する方法が記載されている。非特許文献１に記載の方法は、２つの視点画像、およびこれらに対応する奥行き画像を利用して任意視点画像を生成するものである。具体的には、（１）仮想視点に対して奥行き画像を投影し、（２）投影した奥行き画像を平滑化し、（３）平滑化した奥行き画像に対して、実画像の画素値をマッピングし、（４）残った位置の画素を周囲の画素を利用して修復する、という方法である。このように、２視点の視点画像とその奥行き画像を利用することで、それら視点の近傍にある任意視点からの画像を生成することが可能となる。

また、任意視点画像の生成技術を用いることにより、上述した立体画像表示の改善につながる。図８を用いて説明する。図８は、任意視点画像の生成技術により立体表示の改善につながる原理を説明するための図である。図８に示すように、間隔７０６だけ離れて設置されている２つのカメラ７０１、７０２で被写体７０４、７０５を撮影し、視点画像７０１ｖ、７０２ｖを得たとする。そして、間隔７０６が人間の左右の眼の間隔（一般に６５ｍｍ前後と言われている）よりも大きい場合、視点画像７０１ｖを左の眼で、視点画像７０２ｖを右の眼で見たとしても、ぼやけた立体画像となるか、あるいは全く立体としては見えない画像となってしまう。

そこで、カメラ７０１から人間の左右の眼の間隔と同じ間隔７０７だけ離れた視点位置７０３において被写体をみた視点画像７０３ｖを作成し、視点画像７０１ｖと視点画像７０３ｖとを用いることで、適正な立体画像として観察することが可能となる。

また、２つのカメラ７０１、７０２の間隔が、人間の左右の眼の間隔と比較して狭すぎる場合であっても、カメラ７０１、またはカメラ７０２の地点から人間の左右の眼の間隔に相当する地点における視点画像を生成することにより、十分な立体感が得られる立体画像を観察することが可能になる。

さらに、上述した原理を用いることで、任意視点からの立体画像を観察することや、任意視点における立体画像の観察時の立体感を調整することが可能となる。

以上のように、複数の視点画像および対応する奥行き画像（奥行き情報）を利用すれば、画像表示の表現機能を向上させることができる。しかしながら、奥行き画像を必要とするため、記録・伝送時のデータ量が増えるという問題が生じる。

この問題を解決するため、特許文献１では、奥行き情報を伝送するときに、視覚の奥行き変化に対する時間および空間周波数特性に従い、知覚感度の高い周波数成分に対して優先的に伝送量を割り当てるように奥行き値を符号化する技術が開示されている。特許文献１では、奥行き情報の情報量を圧縮するときに、人の奥行き知覚の感度に着目して符号量を割り当てることによって、奥行き情報の品質（すなわち奥行き情報を利用して生成される視点画像の品質）を保ちつつ、情報量の削減を可能にしている。

特開２００１−６１１６４号公報（２００１年３月６日公開）

森、他：奥行き画像を用いた３Ｄ ｗａｒｐｉｎｇによる自由視点画像生成，電子情報通信学会総合大会 情報・システム講演論文集２，Ｄ−１１−７，２００８年３月５日

しかしながら、上記特許文献１の方法では、奥行き情報を符号化するために、奥行き情報の時間周波数特性および空間周波数特性を分析するため、奥行き情報をそのまま符号化する方法に比べて処理量が増加し、処理時間が遅延してしまう。特に、時間周波数特性を得るためには、複数のフレームにわたって奥行き情報を分析する必要があり、必ず処理に数フレーム以上の遅延が生じてしまう。

そして、数フレーム以上の遅延が生じてしまうため、リアルタイムに符号化・復号するようなアプリケーションには適用することができない。

本発明は、上記の問題点に鑑みてなされたものであり、その目的は、奥行き値を、遅延が少なく、簡便な処理で符号化する画像符号化装置等を実現することにある。

上記課題を解決するために、本発明に係る画像符号化装置は、元画像における単位領域毎の奥行き値を符号化する画像符号化装置であって、上記奥行き値を取得する奥行き値取得手段と、上記奥行き値取得手段が取得した奥行き値の上記画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成手段と、上記奥行き値分布作成手段が作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割手段と、上記分割手段が分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当手段と、上記符号割当手段が割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化手段と、上記符号化手段が出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力手段と、を備えていることを特徴としている。

また、本発明に係る画像符号化装置の制御方法は、元画像における単位領域毎の奥行き値を符号化する画像符号化装置の制御方法であって、上記奥行き値を取得する奥行き値取得ステップと、上記奥行き値取得ステップで取得した奥行き値の上記画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成ステップと、上記奥行き値分布作成ステップで作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割ステップと、上記分割ステップで分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当ステップと、上記符号割当ステップで割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化ステップと、上記符号化ステップで出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力ステップと、を含むことを特徴としている。

上記の構成または方法によれば、元画像における奥行き値毎の出現数の分布の形状に基づいて、奥行き値の最小値以上最大値以下の範囲を分割し、分割した各区間に含まれる奥行き値に対し区間毎に異なる符号を割り当てて、上記元画像を符号化する。

これにより、１枚の元画像における奥行き値の出現数の分布の形状の特徴を維持したまま奥行き値を符号化することができるので、画像の特徴を維持することができる。また、奥行き値の出現数の分布を分割し、分割した各区間に符号を割り当てて符号化するので、簡便な処理で元画像の符号化を行うことができる。

また、１枚の元画像のみから、奥行き値を符号化することができるので、画像を複数枚用いて奥行き値の符号化を行う場合のように、画像に対して、符号化した奥行き値が遅延してしまうことを防止することができる。

本発明に係る画像符号化装置では、上記分割手段は、上記奥行き値分布作成手段が作成した奥行き値分布における出現数の極大値の個数を用いて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を分割する個数を決定するものであることが好ましい。

上記の構成によれば、奥行き値分布における出現数の極大値の個数を用いて、奥行き値の最小値以上最大値以下の範囲を分割する個数を決定する。そして、極大値の個数は、奥行き値分布の形状を特徴づけるものであるので、極大値の個数を用いて分割する個数を決定することにより、符号化後の奥行き値の分布の形状を、符号化前の奥行き値の分布の形状と近似したものとすることができる。

これにより、奥行き値分布の形状の特徴を損なうことなく、奥行き値を符号化することができる。

極大値の個数を用いて、奥行き値の最小値以上最大値以下の範囲を分割する個数を決定する方法としては、例えば、極大値の個数と、極大値間の個数とを加算した数を分割する個数とすることが挙げられる。これにより、極大値およびその間を表現することが可能となり、奥行き値の出現数の分布の形状を維持したまま奥行き値の符号化が可能となる。

本発明に係る画像符号化装置では、上記割当手段は、奥行き値分布における奥行き値の最小値以上最大値以下の範囲のうち、該奥行き値の最大値と最小値とに異なる符号を割り当てるとともに、該最大値と該最小値とを除いた残りの範囲を分割した区間毎に異なる符号を割り当てるものであってもよい。

上記の構成によれば、奥行き値の最大値と最小値とに異なる符号が割り当てられるとともに、該最大値と該最小値とを除いた残りの範囲を分割した区間毎に異なる符号が割り当てられる。よって、符号化の前後において、奥行き値の最大値と最小値との出現数は変わらない。そして、奥行き値の最大値と最小値とは、画像における最も遠い被写体と最も近い被写体を示すものである。したがって、奥行き値の最大値と最小値との出現数が符号化によって変化しないので、画像における最も遠い被写体と最も近い被写体とが画像において占める領域を変化させないことができ、画像の特徴を損なわずに符号化を行うことができる。

本発明に係る画像符号化装置では、上記分割手段は、上記奥行き値分布における奥行き値の最小値以上最大値以下の範囲において、上記奥行き値の出現数の極大値を起点として所定の範囲毎に上記奥行き値分布の傾きを求め、奥行き値分布の傾きの大きい所定の範囲を奥行き値分布の傾きの小さい所定の範囲よりも多く分割するものであってもよい。

そして、奥行き値分布において傾きが大きいとは、奥行き値の出現数が急激に変化していることを示している。よって、上記の構成によれば、分割手段は、奥行き値分布における所定の範囲毎の傾きを求め、傾きが大きい所定の範囲を傾きが小さい所定の範囲よりも多く分割するので、奥行き値の出現数が急激に変化している範囲については、割り当てる符号を多くし、奥行き値の出現数があまり変化していない範囲については、割り当てる符号を少なくすることができる。これにより、より少ない符号数で画像の遠近感を損なわずに符号化することができる。

本発明に係る画像符号化装置では、上記元画像は動画像であり、上記出力手段は、上記符号化手段が出力した符号化画像の符号化に用いた符号の符号数と、該符号化画像の直前に上記符号化手段が出力した符号化画像の符号化に用いた符号の符号数との差分を出力するものであってもよい。

上記の構成によれば、出力手段は、符号化手段が出力した符号化画像の符号化に用いた符号の符号数と、該符号化画像の直前に上記符号化手段が出力した符号化画像の符号化に用いた符号の符号数との差分を出力する。そして、差分を示す情報は、符号の数を示す情報よりも情報量が少ない。よって、より少ない情報量で符号化画像の符号化に用いた符号数を示す情報を出力することができる。

上記課題を解決するために、本発明に係る画像復号装置は、元画像を符号化した符号化画像および該符号化画像の符号化に用いられた符号の数である符号数を取得する取得手段と、上記取得手段が取得した符号数と、元画像の奥行き値を表現するための階調数との比である変換比を求め、求めた変換比を上記取得手段が取得した符号化画像の奥行き値に乗ずることによって符号化画像を復号する復号手段と、を備えていることを特徴としている。

また、本発明に係る画像復号装置の制御方法は、元画像を符号化した符号化画像および該符号化画像の符号化に用いられた符号の数である符号数を取得する取得ステップと、上記取得ステップで取得した符号数と、元画像の奥行き値を表現するための階調数との比である変換比を求め、求めた変換比を上記取得ステップで取得した符号化画像の奥行き値に乗ずることによって符号化画像を復号する復号ステップと、を含むことを特徴としている。

上記の構成または方法によれば、符号化画像の奥行き値に対し、該符号化画像が符号化された符号の数と元画像の奥行き値を表現するための階調数との比である変換比を乗ずることにより符号化画像の奥行き値を復号するので、表現すべき階調数で表現された奥行き値の元画像に符号化画像を復号することができる。

なお、上記画像符号化装置および画像復号装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記画像符号化装置をコンピュータにて実現させる画像符号化装置の制御プログラム、上記画像復号装置をコンピュータにて実現させる画像復号装置の制御プログラム、およびこれらの少なくともいずれか一方を記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

以上のように、本発明に係る画像符号化装置は、元画像における単位領域毎の奥行き値を取得する奥行き値取得手段と、上記奥行き値取得手段が取得した奥行き値の上記画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成手段と、上記奥行き値分布作成手段が作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割手段と、上記分割手段が分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当手段と、上記符号割当手段が割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化手段と、上記符号化手段が出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力手段と、を備えている構成である。

また、本発明に係る画像符号化装置の制御方法は、元画像における単位領域毎の奥行き値を取得する奥行き値取得ステップと、上記奥行き値取得ステップで取得した奥行き値の上記画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成ステップと、上記奥行き値分布作成ステップで作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割ステップと、上記分割ステップで分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当ステップと、上記符号割当ステップで割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化ステップと、上記符号化ステップで出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力ステップと、を含む方法である。

これにより、１枚の元画像における奥行き値の出現数の分布の形状の特徴を維持したまま奥行き値を符号化することができるので、画像の特徴を維持することができる。また、奥行き値の出現数の分布を分割し、分割した各区間に符号を割り当てて符号化するので、簡便な処理で元画像の符号化を行うことができるという効果を奏する。

また、１枚の元画像のみから、奥行き値を符号化することができるので、画像を複数枚用いて奥行き値の符号化を行う場合のように、画像に対して、符号化した奥行き値が遅延してしまうことを防止することができるという効果を奏する。

また、本発明に係る画像復号装置は、元画像を符号化した符号化画像および該符号化画像の符号化に用いられた符号の数である符号数を取得する取得手段と、上記取得手段が取得した符号数と、元画像の奥行き値を表現するための階調数との比である変換比を求め、求めた変換比を上記取得手段が取得した符号化画像の奥行き値に乗ずることによって符号化画像を復号する復号手段と、を備えている構成である。

また、本発明に係る画像復号装置の制御方法は、元画像を符号化した符号化画像および該符号化画像の符号化に用いられた符号の数である符号数を取得する取得ステップと、上記取得ステップで取得した符号数と、元画像の奥行き値を表現するための階調数との比である変換比を求め、求めた変換比を上記取得手段が取得した符号化画像の奥行き値に乗ずることによって符号化画像を復号する復号ステップと、を含む方法である。

これにより、表現すべき階調数で表現された奥行き値の元画像に符号化画像を復号することができるという効果を奏する。

本発明の実施の形態を示すものであり、画像符号化装置の要部構成を示すブロック図である。 上記画像符号化装置の奥行き値分析部における処理を説明するための図である。 上記画像符号化装置の処理の流れを示すフローチャートである。 本発明の実施の形態を示すものであり、画像復号装置の要部構成を示すブロック図である。 上記画像復号装置の奥行き値復号部における奥行き値の復元方法を説明するための図である。 立体画像表示の概要を示す説明図である。 任意視点画像表示の概要を示す説明図である。 任意視点画像の生成技術により立体表示の改善につながる原理を説明するための図である。

本発明の一実施の形態について図１から図５に基づいて説明すれば、以下のとおりである。

（画像符号化装置の構成）
図１は、本実施の形態に係る画像符号化装置１の要部構成を示すブロック図である。画像符号化装置１は、複数の視点画像（例えば、右眼用画像および左眼用画像）および対応する奥行き値に対し、符号化処理を施して情報量を削減し、送信する装置である。なお、右眼用画像とは、観察者が右眼で見ることを想定している画像であり、左眼用画像とは、観察者が左眼で見ることを想定している画像である。観察者が、右眼用画像と左眼用画像とを同時に見ることで、画像に表示されている被写体を立体的に見ることができるものである。

図１に示すように、画像符号化装置１は、奥行き値符号化部１０、視点画像取得部１１、視点画像符号化部１２、奥行き算出部１３、奥行き画像符号化部１６、撮影条件情報取得部１７、および多重化部１８を含む構成である。また、奥行き値符号化部１０は、奥行き値分析部（奥行き値取得手段、奥行き値分布作成手段、分割手段、符号割当手段）１４および奥行き値変換部（符号化手段、出力手段）１５を含む構成である。

視点画像取得部１１は、右眼用画像および左眼用画像等の視点画像を取得し、視点画像符号化部１２および奥行き算出部１３へ送信するものである。なお、視点画像取得部１１が取得する視点画像は動画像であってもよいし、静止画像であってもよい。

視点画像符号化部１２は、取得した視点画像を所定の符号化方式に基づいて圧縮符号化するものである。符号化方式としては、視点画像が静止画像であればＪＰＥＧ（Joint Photographic Experts Group）やＪＰＥＧ２０００などの方式を挙げることができる。また、視点画像が動画像であればＭＰＥＧ（Moving Picture Experts Group）−２、ＭＰＥＧ−４、ＡＶＣ（Advanced Video Coding）／Ｈ．２６４などの方式を挙げることができる。

奥行き算出部１３は、視点画像取得部１１から取得した右眼用画像および左眼用画像から、奥行き値を算出するものである。そして、算出した奥行き値を奥行き値符号化部１０へ送信する。なお、本実施の形態では、奥行き算出部１３が算出した奥行き値は、８ビットの輝度情報をもつ奥行き画像（元画像）として表現されている。なお、奥行き値を表現するビット数は８ビットに限られるものではない。

奥行き値を算出する方法としては、右眼用画像と左眼用画像とについて、ブロックマッチングを使って対応する各画素（単位領域）の移動量を求め、求めた移動量から奥行き値を算出する方法を挙げることができる。なお、奥行き値は、画素ごとに算出しなければならないものではなく、複数の画素を一単位として算出するものであってもよい。

また、奥行き値を、距離測定カメラを用いて測定する構成であってもよい。距離測定カメラとは、被写体までの距離を測定することのできるカメラであり、例えば、赤外光線を被写体に向けて照射し、その光線が反射して戻ってくるまでの時間を測定することによって、カメラから被写体までの距離を推定するものである。測定に際し、赤外光線を平面的に密な状態で照射し、その反射光を、赤外光線を検出できる撮像デバイスで受けることにより、画像を撮影するのと同等の解像度の距離画像すなわち奥行き画像を得ることができる。ここで、奥行き画像とは、単位領域（例えば画素）ごとに、カメラと被写体との距離（奥行き値）を輝度情報によって構成した画像である。

奥行き値符号化部１０は、奥行き算出部１３から取得した奥行き値を符号化するものである。具体的には、奥行き値分析部１４が、取得した奥行き値である輝度値の分布状態を分析し、分析した奥行き値分布の奥行き値の最小値と最大値との範囲を複数に分割して、分割した各区間に異なる符号を割り当てるものである。そして、分割した各区間に含まれる奥行き値と各区間に割り当てられた符号とを奥行き値変換部１５へ送信する。奥行き値の分析の詳細については後述する。

奥行き値変換部１５は、取得した各区間に含まれる奥行き値と割り当てられた符号とから、各区間に含まれる奥行き値を割り当てられた符号で符号化するものである。そして、符号化後の奥行き値である符号化奥行き値と割り当てた符号の種類の数である符号数を示す情報である奥行き深度情報とを奥行き画像符号化部１６へ送信する。具体的には、符号化奥行き値が３ビットで表現されている場合、奥行き深度情報は「３」、割り当てた符号の種類の数である符号数は、３ビットで表現できる階調数である「８」となる。なお、奥行き値の符号化、および奥行き深度情報の詳細については後述する。

奥行き画像符号化部１６は、取得した符号化奥行き値を圧縮符号化するものである。符号化奥行き値は、輝度値が符号化されたものであるので画像として表現することができる。よって、奥行き画像符号化部１６は、上述した視点画像符号化部１２における符号化方式と同様の符号化方式により、符号化奥行き値をさらに圧縮符号化することができる。

なお、視点画像取得部１１で取得した視点画像が動画像の場合は、次のような符号化方式を採用してもよい。視点画像が動画像の場合、奥行き値はフレーム単位で変化するため、奥行き値に割り当てる符号の数を示す奥行き深度情報もフレーム単位で変化する。そこで、直前のフレームにおける奥行き深度情報との差分をとり、これを符号化する構成である。

また、時間的に隣接したフレーム間の奥行き深度情報は急激に変化する可能性が低く、差分の値は、小さいほど出現頻度が高くなると考えられる。よって、この性質に基づいてハフマン符号などで最適な符号を生成することにより、さらに符号量を削減することができる。

撮影条件情報取得部１７は、視点画像の撮影条件情報を取得し多重化部１８へ送信するものである。撮影条件情報とは、右眼用画像を撮影したカメラと左眼用画像を撮影したカメラとの距離、各カメラの撮影方向（角度）、各カメラの焦点距離等である。

多重化部１８は、視点画像符号化部１２から取得した符号化された視点画像、奥行き画像符号化部１６から取得した符号化された奥行き値と奥行き深度情報、および撮影条件情報を多重化して、外部の復号装置へ送信する。

（奥行き値分析部１４、および奥行き値変換部１５における処理）
次に、図２を用いて奥行き値分析部１４における処理について説明する。図２は、奥行き値分析部１４における処理を説明するための図である。

図２（ａ）に示すような、近景に人物２０１、中遠景に家屋２０２、遠景に山並み２０３と空２０４を含むような視点画像があった場合、その奥行き値は、視点画像内の各被写体に対するカメラからの距離を輝度情報として表現した奥行き画像（図２（ｂ））として表すことができる。通常、視点画像は各画素８ビットの輝度情報と、各画素８ビットの２種類の色差情報とで構成されている。また、奥行き画像は各画素８ビットの輝度情報で構成されている。

そして、奥行き値分析部１４は、図２（ｂ）の奥行き画像について、奥行き値を示す輝度値ごとの出現数をカウントする。そして、カウントした結果である奥行き値分布は、図２（ｃ）に示すような、横軸を奥行き値を輝度値で示した奥行き情報、縦軸を出現数とした、奥行き値の出現数を示す図（ヒストグラム）として表現することができる。そして、図２（ｃ）から明らかなように、奥行き値の分布は、特定の値に出現数が偏って分布していることが分かる。よって、もともとは８ビット（２５６階調）で表現されている奥行き値を、２５６階調よりも少ない階調で表現しても、奥行き値の分布の形状の特徴は維持することができる。そこで、奥行き値分析部１４は、奥行き値の分布の形状の特徴を維持できる、２５６階調よりも少ない階調を決定し、該階調数に奥行き値の分布を分割する。そして、分割した各区間にそれぞれ異なる符号を割り当てる。

より詳細に説明すると、図２（ｃ）に示すように奥行き分布が３つの極大値を有している場合、極大値の数に相当する３階調に、それらの間の領域を表現する２階調を加えた５階調で、奥行き値を表現できると判定する。そして、５階調を表現できる最小ビット数として３を、奥行き値を表すビット数として決定する。そして、この決定したビット数を奥行き深度情報とする。そして、決定したビット数３がとり得る８階調で奥行き値を表現できるように、奥行き値分布を分割する。具体的には、８ビットで表現される奥行き値の最小値０から最大値２５５の範囲を、３ビットで表せる階調数である８つの区間に均等に分割し、３ビットで表せる最小値０から最大値７を順に割り当てる。

そして、奥行き値変換部１５は、割り当てられた符号に奥行き値を符号化する。

このように奥行き値を表現するビット数を削減した奥行き画像は、中間の階調が粗くなるが、画像の主要部分である近景の人物２０１、中遠景の家屋２０２、および遠景の山並み２０３と空２０４の各領域の奥行き値の関係については、ビット数を削減する前の関係を維持することができる。よって、画像内の遠近感の歪みを小さく抑えることができる。

なお、上記のように２５６階調を８階調に変換する際には、２５６階調を均等に８分割する以外の方法でもよい。例えば、８ビットで表現される奥行き値の最小値０と最大値２５５とに、３ビットの最小値０と最大値７とを符号として割り当てる。そして、残りの範囲の奥行き値である１〜２５４を均等に分割して、小さい方から順に、３ビットの残りの値１〜６を符号として割り当てる。この方法に従うと、変換前の奥行き値が最小値と最大値に特に集中するケースや、最小値と最大値の出現頻度が、隣接するそれぞれの奥行き値の出現頻度と極端に差があるケースなどで、最小値と最大値のみ別符号とすることで、それらの隣接区間との遠近関係を精度よく保持することができ、画像内の遠近感の歪みをより小さく抑えることが可能になる。

また、上記のように、８ビットで表現される奥行き値の０〜２５５または１〜２５４を均等に３ビットの値に割り当てるのではなく、奥行き値の分布に従って出現頻度の変化の大きい領域により多くの値を割り当てるものであってもよい。

例えば、極大値を起点として一定区間ごとにヒストグラムの傾きを求め、傾きの大きな区間すなわち奥行き値の変化の大きい区間には多くの値を割り当て、傾きの小さい区間すなわち奥行き値の変化の小さい区間には少ない値を割り当てる。このような割り当て方法により、表現できる奥行きの階調数を減らしても、奥行き値の変化の表現精度をあまり損なわずに、画像内の遠近感を再現することが可能になる。

以上の処理により、奥行き値変換部１５において、８ビットで表現されている奥行き値を３ビットで表現することが可能となり、奥行き値１つあたりの情報量を５ビット削減することができる。そして、奥行き値変換部１５は、ビット数を削減した奥行き値と、削減後のビット数を示す奥行き深度情報とを送信する。

なお、画像符号化装置１は、図１には図示していない記録装置やネットワーク制御装置と接続しており、多重化部１８で多重化された符号化データ等は磁気ディスク、光ディスク、半導体メモリなどの記録メディアに蓄積されるものであってもよいし、また、ネットワーク経由で遠隔地の受信装置に送信されるものであってもよい。

（画像符号化装置の処理の流れ）
次に図３を用いて、画像符号化装置１の処理の流れを説明する。図３は、画像符号化装置１の処理の流れを示すフローチャートである。

図３に示すように、まず、視点画像取得部１１が視点画像を取得する（Ｓ１）。次に、奥行き算出部１３は、視点画像取得部１１が取得した視点画像の奥行き値を算出する（Ｓ２、奥行き値取得ステップ）。そして、奥行き値分析部１４は、奥行き算出部１３が算出した奥行き値を分析し、奥行き値の分布を求める（Ｓ３、奥行き値分布作成ステップ）。そして、奥行き値の分布から、奥行き値を表現するビット数を決定する（Ｓ４、分割ステップ、符号割当ステップ）。その後、奥行き値変換部１５は、奥行き値を、奥行き値分析部１４が決定したビット数で表現するように変換する（Ｓ５、符号化ステップ、出力ステップ）。

その後、奥行き画像符号化部１６は、変換された奥行き値等をさらに圧縮符号化し（Ｓ６）、多重化部１８が、符号化された符号化奥行き値、別途符号化された符号化視点画像、撮影条件情報を多重化して（Ｓ７）、他の装置等へ送信する。以上で、画像符号化装置１の処理が終了する。

（画像復号装置の構成）
次に、本実施の形態に係る画像復号装置２について、図４を用いて説明する。図４は、画像復号装置２の要部構成を示すブロック図である。画像復号装置２は、図示しない記録メディアやネットワークなどを介して画像符号化装置１から送信された符号化データに対して、復号処理を施し、複数の視点画像および視点画像に対応する奥行き情報、撮影条件情報等を復元するための装置である。

分離部５１は、符号化データを取得して、視点画像の符号化データ、奥行き値の符号化データ、および撮影条件情報とに分離するものである。そして、分離した視点画像の符号化データを視点画像復号部５２へ、奥行き値の符号化データを奥行き画像復号部５３へ送信する。

視点画像復号部５２は、取得した視点画像の符号化データを、対応する方式に基づいて復号し、復号した視点画像（右眼用画像、左眼用画像）を送信するものである。

奥行き画像復号部５３は、取得した奥行き値の符号化データを復号し、奥行き値と奥行き深度情報とを奥行き値復号部５４へ送信するものである。

奥行き値復号部（取得手段、復号手段）５４は、取得した奥行き深度情報を用いて、取得した奥行き値を変換前の奥行き値に復号（復元）するものである。なお、本実施の形態では、奥行き値復号部５４における復号を、奥行き画像復号部５３における復号と区別するため復元と呼ぶ。復元の詳細については後述する。

なお、視点画像が動画像であり、奥行き深度情報が直前のフレームにおける奥行き深度情報との差分として表現されている場合は、奥行き値復号部５４は、直前のフレームにおける奥行き深度情報に、奥行き画像復号部５３において復号した差分値を加算して、今回のフレームの奥行き深度情報を得ればよい。

（奥行き値復号部５４における処理）
次に、奥行き値復号部５４における奥行き値の復号（復元）方法について、図５を用いて説明する。図５は、奥行き値復号部５４における奥行き値の復元方法を説明するための図である。元々、奥行き値は８ビットで表現されており、画像として表現すれば図５（ａ）のようになる。これを、表現するビット数を３ビットに削減し、再び８ビットで表現するように復元する場合、削減したビット数を用いて復元する。具体的には、３ビットで表現される奥行き値を８ビットで表現できるように、削減したビット数である５ビットで表現できる階調数３２を各奥行き値に対し乗じて復元する。

なお、奥行き値の最小値０と最大値７とに、８ビットの最小値０と最大値２５５とを割り当て、３ビットで表現される残りの奥行き値１〜６に対し、８ビットの最小値と最大値を除く２５４階調が均等に対応するように、２５４÷６の商である４２を乗じて復元するものであってもよい。

これにより、３ビットで表現されていた奥行き情報を８ビットで表現することができる。

復元された奥行き値が示す画像は、図５（ｂ）に示すように、中間の階調すなわち表現分解能が粗くはなるが、画像の主要部分については、ビット数削減前の遠近感をほぼ再現することができる。よって、画像内の遠近感の歪みを小さく抑えることができる。

そして、復元された奥行き値は、複数の視点画像から任意視点の画像を生成したり、立体画像として表示するときの立体感の調整などに利用することができる。

以上のように、本実施の形態によれば、視点画像に対応する奥行き値のみ、その表現分解能を削減するように符号化する一方、視点画像の表現分解能は維持して符号化するため、視点画像そのものの品質に影響を及ぼすことなく、奥行き値を符号化しデータ量を削減することができる。

以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も本発明の適用範囲に含まれる。

本発明は上述した実施の形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

最後に、画像符号化装置１および画像復号装置２の各ブロック、特に視点画像取得部１１、視点画像符号化部１２、奥行き算出部１３、奥行き値分析部１４、奥行き値変換部１５、奥行き画像符号化部１６、撮影条件情報取得部１７、多重化部１８、分離部５１、視点画像復号部５２、奥行き画像復号部５３、および奥行き値復号部５４は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（central processing unit）を用いてソフトウェア的に実現してもよい。

後者の場合、画像符号化装置１および画像復号装置２は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像符号化装置１および画像復号装置２の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記の画像符号化装置１および画像復号装置２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ（microprocessor unit））が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（compact disc read-only memory）／ＭＯ（magneto-optical）／ＭＤ（Mini Disc）／ＤＶＤ（digital versatile disk）／ＣＤ−Ｒ（CD Recordable）等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（erasable programmable read-only memory）／ＥＥＰＲＯＭ（electrically erasable and programmable read-only memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、画像符号化装置１および画像復号装置２を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（local area network）、ＩＳＤＮ（integrated services digital network）、ＶＡＮ（value-added network）、ＣＡＴＶ（community antenna television）通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（institute of electrical and electronic engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（asynchronous digital subscriber loop）回線等の有線でも、ＩｒＤＡ（infrared data association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（high data rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。

視点画像に対応する奥行き値を、遅延が少なく簡便な処理で圧縮できるので、奥行き値を用いて画像を処理する装置に画像データを送信する装置、例えば、立体画像や任意の視点における画像を作成する装置に画像データを送信する装置に好適である。

１ 画像符号化装置
２ 画像復号装置
１４ 奥行き値分析部（奥行き値取得手段、奥行き値分布作成手段、分割手段、符号割当手段）
１５ 奥行き値変換部（符号化手段、出力手段）
５４ 奥行き値復号部（取得手段、復号手段）

Claims (9)

1. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置であって、
   上記奥行き値を取得する奥行き値取得手段と、
   上記奥行き値取得手段が取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成手段と、
   上記奥行き値分布作成手段が作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割手段と、
   上記分割手段が分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当手段と、
   上記符号割当手段が割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化手段と、
   上記符号化手段が出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力手段とを備えているとともに、
   上記分割手段は、上記奥行き値分布作成手段が作成した奥行き値分布における出現数の極大値の個数と極大値間の個数とを加算した数を用いて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を分割する個数を決定することを特徴とする画像符号化装置。
2. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置であって、
   上記奥行き値を取得する奥行き値取得手段と、
   上記奥行き値取得手段が取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成手段と、
   上記奥行き値分布作成手段が作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割手段と、
   上記分割手段が分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当手段と、
   上記符号割当手段が割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化手段と、
   上記符号化手段が出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力手段とを備えているとともに、
   上記符号割当手段は、奥行き値分布における奥行き値の最小値以上最大値以下の範囲のうち、該奥行き値の最大値と最小値とに異なる符号を割り当てるとともに、該最大値と該最小値とを除いた残りの範囲を分割した区間毎に異なる符号を割り当てることを特徴とする画像符号化装置。
3. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置であって、
   上記奥行き値を取得する奥行き値取得手段と、
   上記奥行き値取得手段が取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成手段と、
   上記奥行き値分布作成手段が作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割手段と、
   上記分割手段が分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当手段と、
   上記符号割当手段が割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化手段と、
   上記符号化手段が出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力手段とを備えているとともに、
   上記分割手段は、上記奥行き値分布における奥行き値の最小値以上最大値以下の範囲において、上記奥行き値の出現数の極大値を起点として所定の範囲毎に上記奥行き値分布の傾きを求め、奥行き値分布の傾きの大きい所定の範囲を奥行き値分布の傾きの小さい所定の範囲よりも多く分割することを特徴とする画像符号化装置。
4. 上記元画像は動画像であり、
   上記出力手段は、上記符号化手段が出力した符号化画像の符号化に用いた符号の符号数と、該符号化画像の直前に上記符号化手段が出力した符号化画像の符号化に用いた符号の符号数との差分を出力することを特徴とする請求項１〜３のいずれか１項に記載の画像符号化装置。
5. 請求項１〜４のいずれか１項に記載の画像符号化装置を動作させる画像符号化装置制御プログラムであって、コンピュータを上記の各手段として機能させるための画像符号化装置制御プログラム。
6. 請求項５に記載の画像符号化装置制御プログラムを記録したコンピュータ読み取り可能な記録媒体。
7. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置の制御方法であって、
   上記奥行き値を取得する奥行き値取得ステップと、
   上記奥行き値取得ステップで取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成ステップと、
   上記奥行き値分布作成ステップで作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割ステップと、
   上記分割ステップで分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当ステップと、
   上記符号割当ステップで割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化ステップと、
   上記符号化ステップで出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力ステップとを含むとともに、
   上記分割ステップでは、上記奥行き値分布作成ステップで作成した奥行き値分布における出現数の極大値の個数と極大値間の個数とを加算した数を用いて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を分割する個数を決定することを特徴とする画像符号化装置の制御方法。
8. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置の制御方法であって、
   上記奥行き値を取得する奥行き値取得ステップと、
   上記奥行き値取得ステップで取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成ステップと、
   上記奥行き値分布作成ステップで作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割ステップと、
   上記分割ステップで分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当ステップと、
   上記符号割当ステップで割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化ステップと、
   上記符号化ステップで出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力ステップとを含むとともに、
   上記符号割当ステップでは、奥行き値分布における奥行き値の最小値以上最大値以下の範囲のうち、該奥行き値の最大値と最小値とに異なる符号を割り当てるとともに、該最大値と該最小値とを除いた残りの範囲を分割した区間毎に異なる符号を割り当てることを特徴とする画像符号化装置の制御方法。
9. 元画像における単位領域毎の奥行き値を符号化する画像符号化装置の制御方法であって、
   上記奥行き値を取得する奥行き値取得ステップと、
   上記奥行き値取得ステップで取得した奥行き値の上記元画像における出現数を計数し、奥行き値毎の出現数の分布である奥行き値分布を作成する奥行き値分布作成ステップと、
   上記奥行き値分布作成ステップで作成した奥行き値分布の形状に基づいて、奥行き値分布における奥行き値の最小値以上最大値以下の範囲を複数に分割する分割ステップと、
   上記分割ステップで分割した各区間に含まれる奥行き値に対し、区間毎に異なる符号を割り当てる符号割当ステップと、
   上記符号割当ステップで割り当てた符号で上記奥行き値を符号化することによって上記元画像を符号化し、符号化画像を出力する符号化ステップと、
   上記符号化ステップで出力した符号化画像と、該符号化画像の符号化に用いた符号の数である符号数とを対応付けて出力する出力ステップとを含むとともに、
   上記分割ステップでは、上記奥行き値分布における奥行き値の最小値以上最大値以下の範囲において、上記奥行き値の出現数の極大値を起点として所定の範囲毎に上記奥行き値分布の傾きを求め、奥行き値分布の傾きの大きい所定の範囲を奥行き値分布の傾きの小さい所定の範囲よりも多く分割することを特徴とする画像符号化装置の制御方法。