JP3813573B2

JP3813573B2 - 立体画像処理方法及びプログラム及び記録媒体

Info

Publication number: JP3813573B2
Application number: JP2002340247A
Authority: JP
Inventors: 健増谷
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-11-25
Filing date: 2002-11-25
Publication date: 2006-08-23
Anticipated expiration: 2022-11-25
Also published as: JP2004179704A

Description

【０００１】
【産業上の利用分野】
この発明は、立体画像処理方法及びプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
右眼画像と左眼画像とを１画素ごとに交互に配置して立体画像を生成する方法が知られている。前記立体画像に対しては、パララックスバリア等を用いることで、右眼画像を観察者の右眼に、左眼画像を観察者の左眼にそれぞれ導くことができ、眼鏡無しで立体視が可能となる。合成後の立体画像はドット（画素）単位で異なる画像が混在し、隣り合うピクセル間でも相関性が低いものとなり、画像圧縮するには不都合である。すなわち、画素（ドット）毎に画像が並ぶ立体画像を効率よく圧縮する方法はなかった。特に、非可逆圧縮する手法（離散コサイン変換など）を立体画像に適したものとする技術はなく、立体画像に対しては非圧縮あるいは可逆圧縮が用いられていた。なお、合成前の画像に処理を施す従来技術としては、４８０ｉ（走査線４８０本のインタレース映像）映像フォーマットで撮影した２画面（右目用映像と左目用映像）を４８０Ｐ（走査線４８０本のプログレッシブ映像）映像フォーマット一画面の上下に多重し、ディジタル放送波を使ってこれを放送し、受信機側で受信した上下多重映像を元の二画面に戻して立体表示装置で視聴するシステムが提案されている（特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−１７４０６４号公報
【０００４】
【発明が解決しようとする課題】
この発明は、上記の事情に鑑み、画像信号を周波数空間に変換して圧縮等する処理を立体画像に適したものとする立体画像処理方法及びプログラム及び記録媒体を提供することを目的とする。
【０００５】
【課題を解決するための手段】
この発明の立体画像処理方法は、上記の課題を解決するために、画像信号を周波数空間に変換し、周波数成分の情報を操作する画像処理において、立体情報に関係の強い周波数成分の情報を削減させない、または、削減量を少なくすることを特徴とする。
【０００６】
また、この発明の立体画像処理方法は、画像信号を周波数空間に変換し、周波数成分の係数を操作する画像処理において、立体情報に関係の強い周波数成分の情報である係数を削減させない、または、削減量を少なくすることを特徴とする。立体情報に関係の強い周波数成分の係数を量子化しない、又は細かく量子化するのがよい。立体情報に関係する周波成分の係数を、全体の中で最も細かい量子化と同じ細かさで量子化するのがよい。
【０００７】
全周波数成分のうち、情報が示す値が大きいほど情報を削減させない、または、削減量を少なくするのがよい。立体情報に関係する周波数成分は、原画像の水平方向と垂直方向の少なくとも一つの最も高い周波数を表す周波数成分であることとしてもよい。画像のヘッダに記録されている立体情報か否かを示す情報に基づいて画像の種類を判定し、この判定結果に基づいて前記情報に対して立体画像用の処理又は通常画像用の処理を行なうのがよい。周波数成分の情報に基づいて画像の種類を判定し、この判定結果に基づいて前記情報に対して立体画像用の処理又は通常画像用の処理を行なうのがよい。ブロック毎の周波数成分の情報に基づいてブロック毎で前記情報に対する処理を異ならせるのがよい。水平又は垂直又は斜め方向に一画素毎に複数の視点画像を順に並べる立体画像を処理対象としてもよい。情報の操作が画像のフィルタ処理に対応するものでもよいし、情報の操作が画像の符号化処理に対応するものでもよい。立体情報に関係する周波数成分の情報が示す値の絶対値を大きな値に変換してもよい。
【０００８】
また、この発明のプログラムは、コンピュータを、上述したいずれかの立体画像処理方法を実行する手段として機能させることを特徴とする。すなわち、コンピュータを、画像信号を周波数空間に変換する手段と、周波数成分の情報を操作する画像処理手段と、立体情報に関係の強い周波数成分の情報を削減させない、または、削減量を少なくするように処理する手段として機能させる。また、コンピュータを、画像信号を周波数空間に変換する手段と、周波数成分の係数を操作する画像処理手段と、立体情報に関係の強い周波数成分の情報である係数を削減させない、または、削減量を少なくするように処理する手段として機能させる。コンピュータを、立体情報に関係の強い周波数成分の係数を量子化しない、又は細かく量子化するように処理する手段として機能させてもよい。コンピュータを、立体情報に関係する周波成分の係数を、全体の中で最も細かい量子化と同じ細かさで量子化するように処理する手段として機能させてもよい。コンピュータを、全周波数成分のうち、情報が示す値が大きいほど情報を削減させない、または、削減量を少なくするように処理する手段として機能させてもよい。コンピュータを、立体情報に関係する周波数成分は、原画像の水平方向と垂直方向の少なくとも一つの最も高い周波数を表す周波数成分とするように処理する手段として機能させてもよい。コンピュータを、画像のヘッダに記録されている立体情報か否かを示す情報に基づいて画像の種類を判定する手段と、この判定結果に基づいて前記情報に対して立体画像用の処理又は通常画像用の処理を行なう手段として機能させてもよい。コンピュータを、周波数成分の情報に基づいて画像の種類を判定する手段と、この判定結果に基づいて前記情報に対して立体画像用の処理又は通常画像用の処理を行なう手段として機能させてもよい。コンピュータを、ブロック毎の周波数成分の情報に基づいてブロック毎で前記情報に対する処理を異ならせるようにする手段として機能させてもよい。コンピュータを、水平又は垂直又は斜め方向に一画素毎に複数の視点画像を順に並べる立体画像を処理対象する手段として機能させてもよい。コンピュータを、画像のフィルタ処理に対応するように情報の操作を行なう手段として機能させてもよいし、コンピュータを、画像の符号化処理に対応するように情報の操作を行なう手段として機能させてもよい。コンピュータを、立体情報に関係する周波数成分の情報が示す値の絶対値を大きな値に変換する手段として機能させてもよい。
【０００９】
また、この発明の記録媒体は、上記プログラムが格納されたものである。
【００１０】
【発明の実施の形態】
以下、この発明の実施形態の立体画像処理方法を図１乃至図１０に基づいて説明していく。
【００１１】
図１に示すように、黒地（画素値＝０）に白（画素値＝６４）の四角形がある画像１を想定し、前記四角形を画面に対して浮き上がらせる（或いは、奥まらせる）ことを考える。例えば、パララックスバリアを用いる立体視では、右眼画像と左眼画像はストライプ状に表示される。ここで、図１の領域Ａが８ピクセル×８ピクセル（ブロック）とし、この部分の符号化について考える。
【００１２】
まず、視差をつけない（四角形を画面と同位置に表示する）場合には、領域Ａの８ピクセル×８ピクセルは、図２に示すようになり、通常の画像と同じように符号化されても全く問題ない。
【００１３】
少しだけ視差をつけると、図３（ａ）に示すようになる。この程度では、隣接画素間で情報の混ざりがあっても、立体視にはほとんど影響しない。さらに視差をつけると、同図（ｂ）に示すようになり、更に視差をつけると、同図（ｃ）に示すようになる。すなわち、高周波成分が増加していく。そして、同じブロック内に複数画像の対応点が存在しなくなると、ほとんどの場合、高周波成分が最大になる。そして視差が大きいため、隣接画素間で情報が混ざると立体視に著しく支障をきたすことになる。
【００１４】
逆に、１ブロックが８ピクセル×８ピクセル程度の場合は、視差が大きくなると、同じブロック内に複数画像の対応点が存在しなくなり、高周波成分が大きくなるので、この高周波成分を変動させなければ、立体視への影響を小さくすることができる。
【００１５】
もちろん、ブロックの大きさや視差の量に関係なく高周波成分の変動を少なくすることが、立体視にとっては望ましいことである。
【００１６】
一般に、周波数成分の係数を操作する符号化では、値の大きな係数や高周波成分の係数は粗く量子化される。また、高周波数成分の係数はその大きさに関係なく、０にされることが多い。これは、例えばピクセル毎に黒（０）、白（６４）、黒（０）、白（６４）と繰り返されるストライプ模様と、全てのピクセルがグレー（３２）の模様とが、普通人間の目には区別がつかないためである。
【００１７】
立体画像の符号化では、これらの高周波成分の係数を変動させないようにすべきである。
【００１８】
例えば、図４（ａ）に示すデータをＤＣＴ変換すると、同図（ｂ）に示すようになる。図５に示すように係数を定義すると、水平方向の高周波成分を表す右上（７, ０）の係数が大きいのがわかる。
【００１９】
従って、図６（ａ）に示すように、（７, ０）の係数を残し、絶対値が８より小さい係数を０とすれば、冗長性の高い部分（多くの０）が発生し、情報量を削減できる。この場合のコンピュータ内での処理例を図１０に示す。まず、ブロック内の（Ｍ，Ｎ）の係数（ｆ（Ｍ，Ｎ））をメモリから読み出す（ステップＳ１）。次に、｜（ｆ（Ｍ，Ｎ））｜≧８かどうかを判断する（ステップＳ２）。ＮＯであれば、ｆ（Ｍ，Ｎ）＝０とする処理を行い、この０をメモリに書き込む（ステップＳ３）。一方、ＹＥＳであれば、ｆ（Ｍ，Ｎ）＝ｆ（Ｍ，Ｎ）とする処理を行ない、これをメモリに書き込む（ステップＳ４）。次に、Ｍ＝７かどうかを判断する（ステップＳ５）。Ｍ＝７でなければ、Ｍ＝Ｍ＋１とし（ステップＳ６）、ステップＳ１に進む。Ｍ＝７であれば、Ｍ＝０の処理を行なう（ステップＳ７）。次に、Ｎ＝７かどうかを判断する（ステップＳ８）、Ｎ＝７でなければ、Ｎ＝Ｎ＋１とし（ステップＳ９）、ステップＳ１に進む。Ｎ＝７であれば、全ブロック終了かどうかを判断する。ＮＯであれば、次のブロックを選択し、ステップＳ１に進む。ＹＥＳであれば、終了する。なお、一旦メモリに書き込まれた係数を読み出して処理するのではなく、係数生成時に同時時に処理を行なうようにしてもよい。また、上記処理に限るものではない。また、ここでは量子化は行わない。復号時には、そのデータを逆変換する。結果は図６（ｂ）に示すようになり、一列毎に並べられた立体情報が維持されているのがわかる。
【００２０】
以上の一連の処理を示すと、図７に示すようになる。
【００２１】
図８（ａ）では、（７，０）の係数をＤＣＴの結果よりも大きくしている。このための処理例としては、「ｆ（７，０）＝ｆ（７，０）×１．２」といった処理が挙げられる。上記「１．２」は強調度の例示である。これを逆変換すると、図８（ｂ）に示すように立体情報が強調される。このように高周波成分の係数を大きくすることで、隣接画素間の立体信号の混ざりを緩和することも可能である。このことから高周波成分の係数は、細かく量子化するだけでなく、少なくとも値が大きくなるように量子化するとよいことになる。
【００２２】
そして対象となる係数は（７，０）が主となるが、（７，１）から（７，７）も水平方向の高周波成分に関するものであるので、同様に値を大きくする扱いとしてもよい。このための処理例としては、「ｆ（７，０）＝ｆ（７，０）×１．２０、ｆ（７，１）＝ｆ（７，１）×１．１８、ｆ（７，２）＝ｆ（７，２）×１．１６、ｆ（７，３）＝ｆ（７，３）×１．１４、ｆ（７，４）＝ｆ（７，４）×１．１２、…」といった処理例が挙げられる。
【００２３】
また、水平方向に一列毎に異なる視点の画像を並べる方式だけでなく、垂直方向に一行毎に異なる視点の画像を並べる方式でも同様のことがいえる。この場合は（０，７）が主で（１，７）から（７，７）も数値拡大対象となる。このための処理例としては、「ｆ（０，７）＝ｆ（０，７）×１．２０、ｆ（１，７）＝ｆ（１，７）×１．１８、ｆ（２，７）＝ｆ（２，７）×１．１６、ｆ（３，７）＝ｆ（３，７）×１．１４、ｆ（４，７）＝ｆ（４，７）×１．１２、…」といった処理例が挙げられる。
【００２４】
さらに斜めバリア（斜めバリア方式：特許第３０９６６１３号等参照）のように、垂直にも水平にも異なる視点画像が並ぶ方式もある。この場合は（７，７）が主で、（７，０）から（７，６）及び（０，７）から（６，７）も数値拡大対象となる。このための処理例としては、上述処理例の両方を行なうものが例示できる。
【００２５】
さらに多視点方式では、他の周波数成分も対象となる（（７，７）以外のところに大きな係数値が生じる）。この場合はより複雑な処理を採用することもできるが、係数の大きな成分に対して変動が少なくなるような処理とすれば対応できる。この場合の処理例としては、例えば、補正値Ｓとし、ｆ（Ｍ，Ｎ）＝ｆ（Ｍ，Ｎ）−Ｓ／ｆ（Ｍ，Ｎ）といった処理例が挙げられる。
【００２６】
通常の画像か立体画像かの判断のためには、画像のヘッダなどに情報を持たせておけばよい。また、高周波成分の係数値からある程度判定することも可能である。具体的には、高周波成分の係数値が立体画像かどうかの判断のための閾値よりも上かどうかによって行えばよい。
【００２７】
またブロック毎に処理を変え、高周波成分が大きいブロックのみこれら手法を適用すると、圧縮率を高めことができる。この場合の処理例としては、例えば、各ブロックの最大周波数成分の量又は係数をＴとし、所定の閾値をＵとし、Ｔ＜Ｕの場合には通常の情報量削減を行い、Ｔ≧Ｕの場合には立体情報に関係の強い周波数成分の係数を削減させない、または、削減量を少なくするなどの処理を行う。
【００２８】
また、符号化時に立体画像と、それを形成するひとつの視点の画像（通常画像）とを両方変換し、その比較から係数の取り扱いを決めてもよい。例えば、同じ周波数成分で、通常画像の係数より立体画像の係数の方が大きな成分について、適切に処理すればよい。この場合の処理例としては、通常画像の係数をｆ′（Ｍ，Ｎ）とし、差分ｄ＝ｆ′（Ｍ，Ｎ）−ｆ（Ｍ，Ｎ）とし、閾値をＶとし、ｄ＜Ｖの場合には通常の情報量削減を行い、ｄ≧Ｖの場合には立体情報に関係の強い周波数成分の係数を削減させない、または、削減量を少なくするなどの処理を行なう。
【００２９】
ウェーブレット変換の方式でも同じである。ウェーブレット変換では、ブロックへの分割は行われず、画面全体に対して周波数成分の分布を得ることができる。高周波成分は削除されることが多いが、立体画像では高周波成分を削除しないか、または冗長性の高い部分のみを削除するようにする。
【００３０】
符号化処理以外にも周波数変換を行う処理は多く存在し、いずれの場合にも上述した方法を適用できる。
【００３１】
そして、立体画像と、それを形成するひとつの視点の画像（通常画像）とを両方変換し、その比較から各周波数成分の取り扱いを決めてもよい。特に多視点画像では、最も周波数の高い成分以外の周波数成分の取り扱いも容易になる。
【００３２】
なお、以上に記述したことは、赤緑青３色のドットで１ピクセルを表現するカラー画像では、次のように解釈できる。２視点方式では、図９に示したように右眼画像と左眼画像が１ドット毎に表示されるため、ピクセル内に異なる視点の画像が混在する。しかしながら、１ピクセルおきに視点と色の関係が同じ組み合わせとなるため、相関性が高くなる。一般には視点数をＮとすると、Ｎピクセルおきに相関性が高くなる。よって、図９のカラー立体画像に対して、これまでに説明したのと同じ手法で符号化することができる。
【００３３】
【発明の効果】
以上説明したように、この発明によれば、従来の符号化手法を土台としつつ立体画像に適した処理が実現される等の諸効果を奏する。
【図面の簡単な説明】
【図１】画像の説明図である。
【図２】２次元画像の各画素の値を例示した説明図である。
【図３】同図（ａ）は少しだけ視差をつけたときの各画素の値を例示した説明図であり、同図（ｂ）は同図（ａ）よりも更に視差をつけたときの各画素の値を例示した説明図であり、同図（ｃ）は同図（ｂ）よりも更に視差をつけたときの各画素の値を例示した説明図である。
【図４】同図（ａ）は１画素ごとに左眼画像と右眼画像を交互に配置したときの各画素の値を例示した説明図であり、同図（ｂ）はその変換値である。
【図５】係数の位置関係を定義する説明図である。
【図６】同図（ａ）は図４（ｂ）において情報圧縮のための冗長化を行なったときの説明図であり、同図（ｂ）は復元したときの各画素値の説明図である。
【図７】この発明の実施形態の一連の処理を示した説明図である。
【図８】同図（ａ）は図６（ａ）において高周波成分の値を大きくしたときの説明図であり、同図（ｂ）は復元したときの各画素値の説明図である。
【図９】左右カラー画像を交互にストライプ状に配したときの画素配列を示した説明図である。
【図１０】発明の実施形態の立体画像処理方法（アルゴリズム）を例示したフローチャートである。
【符号の説明】
１画像

Claims

画像信号を周波数空間に変換し、周波数成分の係数を生成する画像処理において、処理対象が水平又は垂直又は斜め方向に一画素毎に複数の視点画像を順に並べたタイプの立体画像である場合は、該立体画像であることに起因して生じる周波数成分の係数を削減させないか又は、削減するにしてもその削減量を処理対象が前記立体画像でない場合と比較して少なくする一方、該立体画像であることに起因して生じる周波数成分以外の周波数成分の係数については削減することを特徴とする立体画像処理方法。
請求項１に記載の立体画像処理方法において、前記周波数成分の係数は量子化によってとり得るレベル数が制限された量子化された係数であることを特徴とする立体画像処理方法。
請求項２に記載の立体画像処理方法において、処理対象が前記立体画像である場合は、前記立体画像であることに起因して生じる周波数成分の前記係数を用いるか又は、前記量子化された係数を用いるにしても処理対象が前記立体画像でないと判断したときと比較して細かく量子化することを特徴とする立体画像処理方法。
請求項３に記載の立体画像処理方法において、前記量子化された係数を得るときの量子化の細かさを異ならせることとし、処理対象が前記立体画像でないと判断したときと比較して細かく量子化する場合、前記立体画像であることに起因して生じる周波数成分の前記量子化された係数を、前記量子化の細かさの中で最も細かい量子化と同じ細かさで求めることを特徴とする立体画像処理方法。
請求項１乃至請求項４のいずれかに記載の立体画像処理方法において、処理対象が前記立体画像である場合は、生成された周波数成分の前記係数又は前記量子化された係数のなかで値が大きい係数又は量子化された係数ほど削減させないか又は、削減するにしてもその削減量を処理対象が前記立体画像でない場合と比較して少なくすることを特徴とする立体画像処理方法。
請求項１乃至請求項５のいずれかに記載の立体画像処理方法において、前記立体画像であることに起因して生じる周波数成分は、水平方向と垂直方向の少なくとも一つの最も高い周波数を表す周波数成分であることを特徴とする立体画像処理方法。
請求項１乃至請求項６のいずれかに記載の立体画像処理方法において、処理対象が前記立体画像かどうかの判断は、処理対象となる画像のヘッダに記録されている立体か否かを示す情報に基づいて行うことを特徴とする立体画像処理方法。
請求項１乃至請求項６のいずれかに記載の立体画像処理方法において、処理対象が前記立体画像かどうかの判断は、前記立体画像であることに起因して高い周波数成分が生じることに鑑み、高周波成分の前記係数又は前記量子化された係数の値が立体画像かどうかの判断のための閾値よりも上かどうかによって行うことを特徴とする立体画像処理方法。
請求項１乃至請求項８のいずれかに記載の立体画像処理方法において、画像処理単位として複数画素からなるブロックを用いることとし、各ブロックの最大周波数成分の前記係数又は前記量子化された係数をＴとし、所定の閾値をＵとし、Ｔ≧Ｕの場合には、前記立体画像であることに起因して生じる周波数成分の前記係数又は前記量子化された係数を削減させないか又は、削減するにしてもその削減量を処理対象が前記立体画像でない場合と比較して少なくすることを特徴とする立体画像処理方法。
請求項１乃至請求項９のいずれかに記載の立体画像処理方法において、処理対象が前記立体画像である場合は、前記立体画像であることに起因して生じる周波数成分の前記係数又は前記量子化された係数の値の絶対値を、処理対象が前記立体画像でない場合と比較して大きな値に変換することを特徴とする立体画像処理方法。
コンピュータを、請求項１乃至請求項１０のいずれかに記載の立体画像処理方法を実行する手段として機能させるプログラム。
請求項１１に記載のプログラムが格納された記録媒体。