WO2007116549A1

WO2007116549A1 - 画像処理装置

Info

Publication number: WO2007116549A1
Application number: PCT/JP2006/320202
Authority: WO
Inventors: Yasutaka Wakabayashi; Ryuji Kitaura
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2006-04-07
Filing date: 2006-10-10
Publication date: 2007-10-18
Also published as: US20090284584A1; JPWO2007116549A1; JP4693900B2

Abstract

　３Ｄ画像に画像を合成する際、３Ｄ画像の視差を考慮して合成する事で違和感のない合成画像を実現すると共に、ブロック符号化時の画質の劣化を抑える画像処理装置を提供する。画像処理装置１は、左眼に対応する視点から得られた左眼用画像および右眼からの右眼用画像を入力とし、視差情報を検出する視差検出手段２からの視差情報、並びに位置決定手段５からの位置情報を元に、透明度決定手段３が左眼用画像および右眼用画像に合成するオブジェクトの透明度を決定し、または、調整手段３２によりオブジェクトの合成位置を符号化ブロックの境界に合わせるように決定して、左眼用画像および右眼用画像とオブジェクトの合成を行う。

Description

明細書

画像処理装置

技術分野

[0001] 本発明は、 3次元表示する為の画像データを作成する際に、画像データに視認可能な属性情報を付加する画像処理装置に関する。

背景技術

[0002] 従来、立体画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは、両眼視差を利用する「2眼式」と呼ばれるものである。両眼視差を持った左眼用の画像と右眼用の画像 (以下、それぞれ「左眼用画像」、「右眼用画像」という）を用意し、観察者が左眼用画像を左眼で、右眼用画像を右眼で見ることにより、被写体を直接見て、るかのような立体感を得ることが出来る。

[0003] このような立体視における立体画像の作成方法として、平行法、交差法という 2つの方式が知られている。立体画像を作成するための左'右眼用画像は、左右の視点に対応する位置にカメラを置、て撮影する。ある、はソフトウェア上での擬似的なカメラを視点位置におき、画像を作成する。この時、撮影した該左 ·右眼用画像を用い、平行法においては左眼用画像を向力つて左に、右眼用画像を向かって右に配置し、交差法では左眼用画像を向力つて右に、右眼用画像を向かって左に配置して作成する。

[0004] 近年では、左眼用画像、右眼用画像カゝらなる立体視用の電子画像を裸眼、あるヽは特殊な眼鏡などを使用して立体視することが可能な表示装置も提案されており、 2 眼式の代表的な方式として、例えば、時分割方式、パララクスバリア方式又は偏光フィルタ方式などがある。このうち、例としてパララタスノリア方式に関して説明する。

[0005] 図 14は、パララクスバリア方式を説明するための概念図である。図 14 (a)は、視差が生じる原理を示す図である。一方、図 14 (b)は、パララタスノリア方式で表示される画面を示す図である。

[0006] 図 14 (a)では、図 14 (b)に示すような左眼用画像と右眼用画像が水平方向 1画素おきに交互にならんだ形に配置された画像を、画像表示パネル 50に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララタスノリア 51を画像表示パネル 50の前面に配置することにより、観察者は左眼用画像は左眼 52だけで、右眼用画像は右眼 53だけで観察することになり、立体視を行うことができる。

[0007] ここでパララクスバリア方式に対応した記録データ形式の一例を図 15に示す。図 1 5 (a)に示す左眼用画像と図 15 (b)に示す右眼用画像から、それぞれを水平方向に 1画素列おきに間引きして図 15 (c)に示す 1枚の立体画像を作って記録する。表示する際にはこの立体画像を画素毎に並べ替え、ノララクスノリア方式、あるいはレンティキユラ方式に対応した表示装置により観察者は裸眼で立体的に観察することが可能となる。

[0008] 各立体視の方式に従い、左 ·右眼用画像の画素配置などの構成は変わることがあるものの、 2眼式の立体視用の画像を図 15 (c)に示すような左眼用画像と右眼用画像が左右に並んだフォーマットとすることが多い。

[0009] このような立体画像にぉ、て、画像や文字などを合成した!/、と、う要望がある。例えば、立体画像を立体視に対応しない通常の表示装置で表示した場合、左眼用画像、右眼用画像が左右に並んだ画像が表示されるだけとなってしまう。この場合、通常の表示装置しか所有していない人にとっては、それが立体視向けに撮影された画像であることを明確に識別することが出来ず、混乱を引き起こす可能性がある。このため、立体写真の場合には、撮影した画像のどちらが左眼用、右眼用かを示す識別情報をあらわすパターンと、撮影方法に応じた立体視を補助する為に左眼用、右眼用画像に共通のパターンをフィルム上に写しこむ方法が提案されてヽる。（特許文献 1 参照）

同様に、表示装置で表示する為の立体画像データでもこのようなマークを合成する事で、立体画像であることを明確にすることができる。

[0010] また、立体画像に任意の文字等を書き込む方法が開示されている。入力された任意の文字等の遠近の調整には、これら文字等の遠近感を近づけたり、遠ざけたりするためのボタンがあり、該ボタンによりユーザーが任意に遠近を調整する。（特許文献 2参照）

[0011] また、このような画像合成を行う際、単純に画像合成を行った場合、圧縮符号化処理をする際に画質の劣化を引き起こすという問題があるが、これを回避する方法として、圧縮符号ィ匕を行う際のブロックサイズに応じて合成画像の配置する位置を限定する方法が開示されている。（特許文献 3参照）

[0012] また、文字画像データを合成する際に、前記データを構成する単位画素のサイズを、ブロック符号ィ匕するブロックサイズの偶数分の 1もしくは整数倍にするような方法が開示されている。（特許文献 4参照）

特許文献 1：特開平 6— 324413号公報

特許文献 2 :特開 2004— 104331号公報

特許文献 3 :特開平 7— 38918号公報

特許文献 4：特開平 8 - 251419号公報

発明の開示

発明が解決しょうとする課題

[0013] しかし、このような合成を行う際に立体画像の視差を考慮せずに合成すると、見づらく観察者に疲労を与えることがある。例えば、立体視した際に飛び出して見える画像に、視差をつけず、表示画面上の位置に見える画像を合成すると、合成した画像領域だけが周囲に対して奥の方向に見えることとなり、違和感が強ぐまた疲労を招く可能性もある。

[0014] 本発明は、以上のような問題点を解決するためになされたものであって、立体画像データ内に画像などのオブジェクトを合成する際に、視差を考慮しつつ画質への影響を抑えて合成する画像処理装置を提供することを目的とする。

課題を解決するための手段

[0015] 本発明は、複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置におヽて、前記立体画像データにオブジェクトを合成する画像合成手段と、前記オブジェクトの透明度を設定する透明度決定手段とを備え、前記透明度決定手段は、前記複数視点に対応した複数の画像間の視差情報に基づき前記オブジェクトの透明度を決定することを特徴とする。

[0016] また、前記透明度決定手段は、前記複数視点に対応した複数の画像における前記オブジェ外を合成する領域の視差を視差情報として取得し、前記視差情報から前記オブジェクトの透明度を設定することを特徴とする。

[0017] また、前記透明度決定手段は、前記画像における前記オブジェクトを合成する領域内のそれぞれの視差と、前記オブジェクトの視差との差分値を取り、その値に応じて透明度を決定することを特徴とする。

[0018] また、前記オブジェクトの位置を決定する位置決定手段を備え、前記位置決定手段は、前記画像における視差情報より対応点のないオタルージョン領域を検出し、前記ォクルージョン領域と重なるように前記オブジェクトの位置を決定することを特徴とする。

[0019] また、前記画像合成手段は、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記オブジェクトの視差が該視差情報の視差に最も近くなるよう、前記オブジェクトを前記画像のそれぞれに合成することを特徴とする。

[0020] また、前記画像合成手段は、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記オブジェクトの視差が該視差情報の視差よりも大きぐかつ前記オブジェクトの左端あるいは右端が符号ィ匕ブロックの境界と一致するように前記オブジェクトの水平方向位置を決めることを特徴とする。

[0021] また、前記画像合成手段は、前記オブジェクトを前記画像に合成する際、前記ォブジタトの垂直方向の下端あるいは上端の境界、かつ水平方向の左端ある、は右端の境界を符号化ブロックの境界に一致するよう合成することを特徴とする。

[0022] また、前記オブジェクトの大きさは、垂直方向と水平方向共に、前記符号化ブロックの整数倍の大きさとなることを特徴とする。

[0023] また、前記オブジェクトは、立体画像であることを示す情報を含む視認可能な立体画像識別情報であることを特徴とする。

発明の効果

[0024] 本発明の画像処理装置によれば、前記立体画像データにオブジェクトを合成する画像合成手段と、前記オブジェクトの透明度を設定する透明度決定手段を備え、前記透明度決定手段は、前記複数視点に対応した複数の画像間の視差情報に基づき前記オブジェクトの透明度を決定することを特徴とすることにより、立体画像にォブジェクトを合成する際に、該オブジェクトが立体視の妨げになったり、違和感を生じさせてしまうのを防ぐことが可能となる。

[0025] また、前記透明度決定手段は、前記複数視点に対応した複数の画像における前記オブジェ外を合成する領域の視差を視差情報として取得し、前記視差情報から前記オブジェクトに透明度を設定することが可能であり、この手段を用いることにより、立体画像にオブジェクトを合成する際に、オブジェクトの配置位置力元の立体画像の方がオブジェクトよりも手前に見えるような領域であっても、前記立体画像における視差のある領域に透明度を設定する事で元の立体画像はオブジェクトを通して透けて見えることとなり、違和感を防止して合成することが可能となる。

[0026] また、前記透明度決定手段は、前記画像における前記オブジェクトを合成する領域内のそれぞれの視差と、前記オブジェクトの視差との差分値を取り、その値に応じて透明度を変更することにより、視差が大きく違和感の大きい場所ほど透明度を上げると言ったように、より違和感を防止する合成が可能となる。

[0027] また、前記画像合成手段は、前記画像における視差情報より対応点のな!ヽォクル一ジョン領域を検出し、前記オタルージョン領域と重なるように前記オブジェクトを合成することにより、立体視の妨げとなるオタルージョン領域がオブジェクトにより目立たなくなり、違和感を減ずることが可能となる。

[0028] また、前記画像合成手段を用いて、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記オブジェ外の視差が前記視差情報力もの視差に最も近くなるよう、前記オブジェクトを前記画像それぞれに合成することにより、合成後の画像であっても合成前と同じような視差を保つことが可能となる。

[0029] また、前記画像合成手段を用いて、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記画像よりも手前にみえるように前記オブジェクトを配置し、かつ前記オブジェクトの左端ある、は右端が符号化ブロックの境界と一致するように水平方向位置を決めることにより、表示画面より前方に見えるように合成する際、最も手前に見えるように前記オブジェクトを合成することでオブジェクトが立体画像よりも奥の方向に見えるのを防ぎ、違和感、又は観察者の疲労を少なくすることが可能となる。

[0030] また、前記画像合成手段を用いて、前記オブジェクトを前記画像に合成する場合、前記オブジェクトの垂直方向の下端あるいは上端の境界、かつ水平方向の左端あるいは右端の境界を符号ィ匕ブロックの境界に一致するように合成することにより、符号化の際、前記オブジェクトが符号ィ匕ブロックの境界をまたぐ領域を最小限に抑えることができるため、符号量を少なくすることが可能となる。

[0031] また、前記オブジェクトの大きさを、垂直方向と水平方向共に、前記符号化ブロックの整数倍とすることにより、符号ィ匕ブロックの境界をオブジェクトがまたぐことがなくなるため、効率よく符号ィ匕することが可能となる。

[0032] また、前記オブジェクトを、立体画像であることを示す情報を含む視認可能な立体画像識別情報とすることにより、観察者は、 2Dの表示装置でこの立体画像を表示しても、それが立体向けの画像であることを一目で判別することが可能となる。

図面の簡単な説明

[0033] [図 1]本発明の実施形態 1の画像処理装置の構成を示すブロック図である。

[図 2]立体画像データの視差について説明するための図である。

[図 3]視差検出方法の説明に関する図である。

圆 4]視差検出方法の説明に関する図である。

[図 5]立体画像データへのオブジェクト合成に関する図である。

[図 6]オブジェクト合成後の立体画像データの一例を示す図である。

[図 7]ブロック符号ィ匕時のブロックに関する説明のための図である。

[図 8]ブロック符号ィ匕の手順を示すブロック図である。

[図 9]本発明の実施形態 2の画像処理装置の構成を示すブロック図である。

[図 10]立体画像データにおける 3Dマークの一例を示す図である。

[図 11]立体画像データへのオブジェクトの合成方法に関する説明の図である。

[図 12]立体画像データへのオブジェクトの合成方法に関する説明の図である。

[図 13]時分割方式を説明するための概念図である。

[図 14]パララクスバリア方式を説明するための概念図である。

[図 15]パララクスバリア方式の記録データ形式を説明する図である。

符号の説明

[0034] 1、 30 画像処理装置視差検出手段

透明度決定手段

画像合成手段

位置決定手段

符号化手段

L、8L 左眼用画像の点

R、8R 右眼用画像の点

特徴点

0、 11 カメラ

2 ェピポーラ平面

3、 14 画像平面

5、 16 ェピポーラ線

7、 18 ブロック

9、 35、 40、 41、 42、 43、 44、 45 オブジェク卜0、 21、 36、 37 画像領域

2 ブロック画像

3 DCT器

4 量子化器

5 量子化テーブル

6 エントロピー符号化器

7 符号テーブル

1 3D情報作成手段

2 調整手段

3 画像合成手段

多重化手段

、 39、 46 左右境界線

画像表示パネル

1 パララクスバリア 52 右眼

53 左眼

発明を実施するための最良の形態

[0035] (実施形態 1)

本発明の実施形態について、図面を参照しながら説明する。以下では、 3次元または立体を意味する語として「3D」を、 2次元を意味する語として「2D」をそれぞれ用い、 3次元または立体画像を「3D画像」、通常の 2次元画像を「2D画像」として説明を行なう。

[0036] 図 1は、本発明の実施形態 1の画像処理装置の構成を示すブロック図である。

画像処理装置 1は、左眼に対応する視点から得られた左眼用画像、および右眼からの右眼用画像を入力とし、視差情報を検出する視差検出手段 2と、前記視差情報を元に、前記左眼用画像と前記右眼用画像力もなる画像に合成するオブジェクトの透明度を決定する透明度決定手段 3と、左眼用画像および右眼用画像と、オブジェタトの合成を行う画像合成手段 4と、オブジェクトの合成位置を決定する位置決定手段 5と、合成した画像を符号化する符号化手段 6と、図示しない記録媒体や通信回線にアクセスする手段とを備えて構成される。

本実施形態では、例えば、本画像処理装置によって作成された画像は、ノララタスノリア方式での 3D表示装置で表示するものとして説明する。

[0037] まず、左眼用画像と右眼用画像力もなる画像信号が、画像処理装置 1に入力されると、視差検出手段 2は、該左眼用および該右眼用画像から、視差情報を検出する。視差は、例えば、ステレオマッチングにより検出する。ステレオマッチングとは、左眼用画像が右眼用画像のどの部分に対応するかを面積相関の計算により算出し、対応する点のずれを視差とするものである。

[0038] 3D画像を、 3D表示に対応した 3D表示装置によって表示する場合、視差が大きいほど表示画面より飛び出して、あるいは表示画面よりも奥に見える。

図 2は視差について示す図である。図 2は家を撮影した画像を示しており、それぞれ図 2 (a)の画像は交差法により撮影された左眼用画像、図 2 (b)の画像は右眼用画像を示している。背景は視差がないものとする。ここで、左眼用画像からみた右眼用画像の対応点は、左眼用画像のものより左側にある場合は飛び出して見え、右側にある場合には表示画面よりも奥の方向に見える。また、視差が無い場合、つまり、左眼用画像の点と右眼用画像の点の位置が同じ位置であれば、それらの点は、表示画面の位置にあるように見える。

[0039] 例えば、画像図 2 (a)と図 2 (b)を比較すると、左眼用画像の点 7L、 8Lに対応する右眼用画像の点をそれぞれ 7R、 8Rとすると、それぞれの画像を撮影したカメラの位置に近い 7Lと 7Rの視差は大きくなり、また、前記カメラの位置力遠い 8Lと 8Rの視差は小さくなる。またこのとき、左眼用画像からみた右眼用画像の対応点は左側にある。よって、 7Lと 7R、 8Lと 8Rともに表示画面に対して飛び出して見える力視差が大きい 7Lと 7Rの点の方力 8Lと 8Rの点より観察者には手前に飛び出して見える。

[0040] 前記視差検出手段 2において、ステレオマッチングにより視差情報を検出する方法について、以下、詳細に説明する。

視差は、左眼用画像と右眼用画像を比較し、被写体の対応点を求める事で算出する。しかし、入力画像をそれぞれの画素値を値にもつ 2次元の配列と見て、同じ行における点の対応関係を求めるときに、その点の画素の比較だけでは結果が非常に不安定になってしまう。そこで、面積相関法を使用し、注目している画素の周りの面で比較し、その面中の点それぞれについて左右の画像中で差をとり、その合計力 Sもっとも小さ、ものを対応点とする。

[0041] 図 2においてその例を示す。ここで、ェピポーラ線は一致しているので、対応点を探すときは、縦方向は同じ高さに固定し、横方向のみをずらしながら探索すればよい。ェピポーラ線とは、図 3に示すように空間中の特徴点 9と 2つのカメラ 10、 11のレンズ中心によってできる平面（ェピポーラ平面） 12と、それぞれのカメラの画像平面 13、 1 4との交線が対応する線であり、図では 15、 16の点線となる。図 3では一致していないが、本実施形態の図 2の画像ではカメラを同じ高さにして、水平面に対して平行に設置して!/、る為一致して、る。

[0042] 図 4に示すように、ある一定のサイズのブロック単位で対応点を探す。それぞれの画素の RGB (赤、緑、青)成分の差を元に比較を行う。

図 4 (a)は左眼用画像、図 4 (b)は右眼用画像であり、それぞれの画像において左上から横方向に x番目、縦方向に y番目の画素を、 L (x、 y)、 R (x、 y)と表すものとする。上述のように、縦方向には一致しているので、横方向のみで比較し視差を算出する。視差を dで表し、 L (x、 y)と R(x— d、 y)の画素値について RGB成分の差を比較することになる。これをブロック毎に行い、例えばブロックを 4 X 4の画素構成とすると、左右それぞれ 16個の画素値を比較し、それらの差分およびその総和を求め、この差分の総和によって各ブロックの類似度を見る。この差分の総和が最も小さくなる時それぞれのブロックは対応していることとなり、そのときの dが視差となる。

[0043] 図 4において、図 4 (a)の 17と図 4 (b)の 181、 18m、 18ηのブロックをそれぞれ上記のように RGB成分の差で算出すると、 18mで最も差が小さくなり、このブロックが対応するブロックであることが分かり、視差 dが算出される。画像全体をブロックに分け、それぞれ対応点を見つけ出す事で、画像全体の視差をブロック単位で算出することが出来る。

[0044] また、上記では、 RGB成分の差を比較した力 R、 G、 Bそれぞれの差分に対して異なる重み付けをしても力まわな、。

さらにまた、 RGB成分を、輝度と色差により表現する YUV成分などに変換し、 Y、

U、 Vそれぞれの差分に対して異なる重み付けをしてもかまわない。例えば、輝度成分だけを用いて差分の総和を求めてもょ、。

上記では、ブロックを 4 X 4の画素構成とした力水平'垂直とも少なくとも一つ以上の画素から構成されて、れば、ブロックの画素構成が、くつであってもかまわな！/、。

[0045] 視差検出手段 2は、左眼用画像、右眼用画像をそれぞれ画像合成手段 4へと送り、視差情報は透明度決定手段 3へと送る。透明度決定手段 3は、 3D画像に合成するオブジェクトを入力として受けとり、位置決定手段 5からの位置情報に従って、該ォブジェタトの合成位置を決定する。

[0046] ここでは、例えばオブジェクトを無地で白色、矩形の画像とする。

位置決定手段 5は、例えば、ユーザーからの指示に従い、 3D画像中の配置位置に関する位置情報を得る。例えば、本画像処理装置が PC (Personal Computer)と

V、つた端末機器であったとすると、ユーザーがキーボードやマウスと、つた入力装置により画像中の配置位置を指定することとなる。 [0047] また、視差検出手段 2から位置決定手段 5に視差情報が入力され、位置決定手段 5 は、該視差情報力も元の 3D画像の対応点の無い領域を求め、その領域の割合をもつとも多く含む位置になるようオブジェクトを配置するようにしてもょ、。

視点が異なることから隠蔽され、画像内に対応点が無い領域は、ォクルージョン領域と一般的に呼ばれ、立体視の妨げとなる可能性がある力オブジェクトをォクルージョン領域に重なるように配置することにより、このオタルージョン領域が観察者に見えにくくなり、より立体視しゃすい画像にすることができる。

[0048] 透明度決定手段 3は、位置情報より決定した該 3D画像へのオブジェクトの合成位置を元に、視差検出手段 2からオブジェクトの合成位置における視差情報を得て、該視差情報を元にオブジェクトのどの領域をどのくらいの透明度にするかを示す透明度情報を作成する。

[0049] 例えば、 3D画像においてオブジェクトの配置位置及びその周囲の視差が表示画面より手前に見える方向であった場合、オブジェクトを視差 0となるように左眼用及び右眼用画像にそれぞれ合成し、該画像を立体視したときに、オブジェクトは表示画面位置に、オブジェクトの周囲は手前に飛び出して見えることとなり、不自然で見づらくなってしまう。

[0050] この問題を解決するために、まず元の 3D画像内のオブジェクトを配置する領域の視差情報を参照して、その領域を元の 3D画像の方がオブジェクトよりも前面に表示される領域 P1と、そうでない領域 P2とに分ける。つまり、対象とする領域において、前記視差情報から求めた元の立体画像の視差力前記オブジェクトの視差を引いた値力^より大きくなる領域を P1、0以下の値となる領域を P2とする。

[0051] 次に、透明度決定手段 3は、オブジェクトの透明度を上記のように分けた領域別に決定する。例えば、領域 P1におけるオブジェクトの透明度を 50パーセント、領域 P2 におけるオブジェクトの透明度を 0パーセントとして、透明度情報を作成する。これにより、領域 P1ではオブジェクトが透けて見え、領域 P2ではオブジェクトのみが観察されることとなる。

[0052] このとき、左眼用画像と右眼用画像に対応点がない場合があり、該領域に関しては、オブジェクトの透明度を下げるようにしてもよいし、不透明としてもよい。本実施形態では、そのような領域の透明度を例えば 20パーセントとして透明度情報を作成する。

[0053] 透明度決定手段 3は、上述した透明度情報、オブジェクト及びその配置位置の情報 (以下、「オブジェクト位置情報」、う）を含んだ情報をオブジェクト情報として作成し、画像合成手段 4へと送る。

[0054] 画像合成手段 4は、視差検出手段 2から得た左眼用画像、右眼用画像と、透明度決定手段 3から得たオブジェクト情報に含まれる透明度情報とオブジェクト及びォブジタト位置情報を元に、画像の合成を行う。

[0055] まず、左眼用画像と右眼用画像のそれぞれに対してオブジェクトを合成する方法を図面を用いて説明する。

図 5は、オブジェクトをそれぞれ左'右眼用画像に合成したときの図を示している。 1 9Lは左眼用画像に合成したオブジェクト、 19Rは右眼用画像に合成したオブジェクトを示しており、各画像における左上からのオブジェクトの位置は同じであり、ォブジェタトに視差はないものとする。左眼用画像、右眼用画像力もなる 3D画像は、背景は視差 0で家の領域には視差があるものとする。斜線で表したオブジェクト 19L、 19R が重なる家の端の領域 20L、 20Rは Cで示すように 20Rの左側の境界が 20Lより左に存在することから、オブジェクトが合成される元の画像には観察者から見て手前の方向に見えるように視差が存在し、オブジェクト 19Lと 19Rの斜線でない部分 21L、 2 1Rは背景であること力も視差力^であることを示している。

[0056] 画像合成手段 4は、オブジェクト情報に含まれる透明度情報によりオブジェクトの透明度を設定する。

例えば、立体視の際に元の 3D画像がオブジェクトよりも前面に表示される領域 20L 、 20Rは、オブジェクトの透明度を 50%とすることが透明度情報に指定されているとすると、この情報に従いオブジェクトが元の 3D画像に合成され、オブジェクトより前に元の 3D画像が透けて見えることとなる。

[0057] ここで、オブジェクトの透明度が n% (0≤n≤ 100)で設定されて!、た場合、ォブジェタトが（100— n) %、元の画像カ¾%の割合で画像が合成される。すなわち、ォブジェタトの透明度が 0%であった場合、オブジェクトだけが見えることとなる。合成の割合の設定方法としては、単純に同位置の画素を前記のような割合で重み付けをして作成してもよいし、他の公知の方法を用いてもよぐ本発明とは関係が無いため詳細な説明は省略する。

[0058] また、他に対応点が無!、領域 (オタルージョン領域）に関する情報を位置決定手段 5から取得し、透明度決定手段が透明度情報として、例えば、ォクルージョン領域は透明度を 20パーセント、それ以外の領域は透明度を 0パーセントとすることを指定すれば、この情報に従って、オブジェクトが重なる領域のうち、元の 3D画像が立体視の際にオブジェクトよりも背面に表示される領域ではオブジェクトを不透明に、ォクルージョン領域は視差が存在せず、本来その部分がオブジェクトよりも背面になるか前面になる力判断できないため、前記設定により透明度を 20パーセントにして、元の 3D 画像にオブジェクトを合成することとなる。

[0059] このように、ォクルージョン領域に対して、オブジェクトの透明度を低くして合成することにより、ォクルージョンを観察者に見えにくくすることになり、より立体視しゃすい画像にすることができる。

[0060] このようにして合成することにより、再生手段を通してこの合成画像を 3D表示装置で表示すると、元の 3D画像とオブジェクトが重なっている領域であっても、自然に立体視ができ、また、オブジェクト自体も観察することができる。

これにより、オブジェクトの位置を視差 0で立体画像に合成した際でも、周囲に対してオブジェクトが不自然に見えることがなくなり、違和感を与えることがない。

[0061] 例えば、表示装置がパララクスバリア方式の 3D表示装置である場合、画像合成手段 4が出力する合成画像は、図 15 (c)で示したように左右の各視点画像を水平方向に 1画素列おきに間弓 Iきして左右に合成した画像となる。合成した時の画像の例を図 6に示す。

[0062] 画像合成手段 4によって作成された画像データは、符号化手段 6へと送られる。符号化手段 6は符号化を行い、画像データを圧縮する。ここでは、画像の符号化方式を JPEG (Joint Photographic Expert Group)とする。 JPEGでは、画像を小さな正方形のブロックに分割して直行変換を施し、互、に直行する複数の規定画像の和に展開し、それぞれの規定画像に対する係数を符号化する。直行変換としては D CT (離散フーリヱ変換)が使用される。 [0063] 符号化手段 6では、入力画像は、図 7に示すように複数のブロックに分割され、円で囲まれた拡大図のブロック 22に示すように各ブロックは 8 X 8画素で構成される。符号ィ匕手段 6がこの各ブロックに対して図 8に示す流れで画像の符号ィ匕を行う。まず、ブロック 22に対して DCT器 23により 2次元 DCT変換を行う。これにより周波数分解され、量子化器 24は量子化テーブル 25を参照して、 DCT変換後の各係数を量子化テーブル 25による除数で割り算を行い、余りを丸めて高周波項を落とす。これをエントロピー符号化器 26は、例えばハフマン符号を用い、符号テーブル 27を参照して、符号化し、符号ィ匕データとして 3D画像が出力される。

[0064] 符号化データはこの逆の処理を再生手段が行う事で復号され、表示装置に送られて表示される。ここでは 3D表示装置に送られ、表示される 3D画像は画像合成する際に透明度が設定されて合成される為、画像合成後の画像も違和感や疲労感を増大させることなく立体視することが可能となる。

[0065] なお、本実施形態では左右眼の画像を交差法で撮影したものとしたが、平行法であっても良い。また、ここでは画像を JPEGとしたが、 GIF (Graphic Interchange Format)、 PNG (Portable Network Grapmcsノ、又 is TIFF、丄、 agged Image File Format)といった他の画像形式でもよぐ各形式に応じて図 1における符号ィ匕手段 6の構成は変わる。 Motion—JPEGと!、つた動画であってもよ!/、。

[0066] また、視差検出手段 2は、ここで説明した以外にもこれを改良した方式や複雑系を利用した方式など様々な方式があり、どのような方式であっても構わない。画像から視差を検出しなくてもあら力じめ視差マップ等視差の情報が分力つているときには、単にそれを利用する形であっても良い。

[0067] また、ここではオブジェクトの透明度を 50パーセントや 20パーセントとして説明した力これに限定するわけではなく 80パーセントなどこれより高くても、低くてもよい。

[0068] また、上記の例では、オブジェクトの視差を 0として合成を行った力オブジェクトに視差をつけてもよい。視差をつけた場合であっても同様にして合成を行うことができる

[0069] また、位置決定手段 5からあらかじめ位置情報を視差検出手段 2に入力させておき、オブジェクトが重なる位置に対してのみ視差検出を行うようにしても構わない。 [0070] 本実施形態では視差のある領域と重なる領域だけに透明度を設定するとしたが、オブジェクト全体を透明にしても良ぐ透明度の設定は表示画面に対して前面になる画像だけでなぐ奥側になる画像に適用しても構わない。また、オブジェクトはここでは矩形の画像とした力例えばマウスカーソルと、つたポインタなどであっても良、。

[0071] また、ここでは元の 3D画像のオブジェクトを合成する領域に視差がある場合、あるいは対応点のなヽォクルージョン領域である場合の合成方法を示したが、位置決定手段 5が、元の 3D画像の視差情報力も視差のない領域、あるいは視差のない領域の占める割合の多い場所を求め、該領域の中からオブジェクトの位置を決定し、透明度決定手段 3にて任意の透明度で透明度情報を付加し、オブジェクトを合成する方法もある。

[0072] (実施形態 2)

図 9は、本発明の実施形態 2の画像処理装置の構成を示すブロック図である。なお、上述の実施形態と同様の機能を示すものについては、同一の参照番号を付与している。

[0073] 画像処理装置 30は、立体画像であることを示す識別情報、立体画像の作成方法に関する情報及び視差情報等の 3ひ f青報を入力として、立体画像であることが視覚的に認知可能な 3Dマークをオブジェクトとして作成する 3ひ f青報作成手段 31と、前記 3Dマークを合成する際の位置情報を出力する位置決定手段 5と、前記 3ひ f青報作成手段 31から 3Dマークと視差情報を、位置決定手段 5から位置情報を受け取り、これらを元に 3Dマークの合成位置等を調整する調整手段 32と、調整手段 32から入力される 3Dマーク及び位置情報、図示しない入力手段力入力される左眼の視点に対応する左眼用画像及び右眼の視点に対応する右眼用画像からなる 3D画像より画像の合成を行う画像合成手段 33と、合成した画像を符号化する符号化手段 6と、画像データと 3ひ f青報を多重化して出力する多重化手段 34と、図示しない記録媒体や通信回線にアクセスする手段とを備えて構成される。

本実施形態では、一例として、本画像処理装置 30によって作成された画像は、パララクスノリア方式での 3D表示装置で表示するものとして説明する。

[0074] 左右に合成された左眼用画像と右眼用画像及び 3ひ f青報が多重化された状態の画像を不図示の逆多重化装置で逆多重化し、画像データと 3ひ f青報に分離され、画像処理装置 30に入力される。逆多重化する機能は、本画像処理装置に備えていてもよい。このうち、 3ひ f青報は 3ひ f青報作成手段 31に入力される。 3ひ f青報は、ここでは立体画像であることを示す識別情報、撮影方法を示す種別情報、並びに視差情報をあらわす視差マップ力もなるものとする。 3ひ f青報作成手段 31は、ユーザーが立体画像であること、どのような撮影法かといつた 3Dに関する情報を見て確認することが出来る画像を作成する。これを 3Dマークと呼び、本実施形態で画像合成をするオブジェタトとなる。 3Dマークを合成した際の合成画像例を図 10に示す。

[0075] 図 10に示す画像内の「3D Parallelと表示されている領域 35が 3Dマークを示す。「3D」により、立体画像であることを、「Parallel」によりこの画像が平行法によって作成されたことを示している。立体画像であることを示す文字列としては、「3D」の他、例えば「Stereo」、「Stereo PhotographJといったものや、「Stereo ImageJなどでもよい。また作成方法の種別を示す文字列としては、交差法であれば、例えば「Cr O_Ssing」などと表示すればよぐより簡単に平行法を「P」、交差法を「C」と表してもよい。また、文字以外にも平行法を「 | |」、交差法を「X」といった記号で表してもよい。立体画像であることを示す文字列または作成方法の種別を表す文字列は、任意に定めることができる。

[0076] このようにユーザーが識別できるようにマークを統合することにより、 2Dディスプレイで表示した際に、ユーザーがすぐに 3D用の画像であることが判断可能となる。また作成方式が明確になる事で、 2Dのディスプレイで表示した上記 3D画像を裸眼によつて立体視する際に、立体視しやすいという利点がある。立体視する場合、平行法であれば左眼で左側に配置された画像を、右眼で右側に配置された画像を見る必要があり、交差法であれば左眼で右側に配置された画像を、右眼で左側に配置された画像を見る必要がある力画像の作成方法が明確になる事で、どちらの見方をすればよいかすぐに判別することが可能となる。

[0077] 3ひ f青報作成手段 31は、 3Dマークと視差情報を調整手段 32へと送る。位置決定手段 5は、 3Dマークの合成位置に関する情報を位置情報として調整手段 32へ送る。調整手段 32は、位置情報と視差情報を元に、合成位置を決定する。 [0078] ここで合成位置の決定方法について説明する。ここでは、画像は上述の実施形態同 PEG方式で圧縮されるものとして説明する。図 7、図 8に示したように、画像は符号ィ匕の際 8 X 8画素のブロック毎に符号ィ匕される。これを符号ィ匕ブロックと呼ぶ。画像を合成する際、この符号ィ匕ブロックにまたがるように 3Dマークが合成されると、画像の高周波成分が増大するため符号量が増加することとなり、同じ符号量を保とうとすると画質が劣化するという問題がある。そのため少しでも画質の劣化を防ぐ為に、調整手段 32はブロックと 3Dマークの境界が一致するように位置の調整を行う。

[0079] 図 11は、位置決定手段 5により決定された位置力調整手段 32による 3Dマークの位置決めの調整を表した図を示している。図 11 (a)が調整手段 32によって調整を行う前、図 11 (b)に示す図が調整を行った後である。また左側の円状に囲まれた部分 3 6、 37は、 3Dマークとブロックの位置関係を示す画像の領域拡大図である。中央の黒い太線 38、 39の左側が左眼用画像、右側が右眼用画像に対応しており、升目状に描かれた四角は符号ィ匕ブロックを示している。

[0080] 図 11 (a)の画像を見ると、 3Dマークは視差をつけて配置するように位置決定手段 5 により決められており、左眼用画像の 3Dマーク 40は左眼用画像の左端から 2ブロック以上右側にあるのに対し、右眼用画像の 3Dマーク 41は右眼用画像の左端である中央の太線 38から見て 2ブロックに満たない距離しか離れていない。図 11 (a)の画像に示す位置に配置した場合、左右どちらの 3Dマーク 40、 41も符号ィ匕ブロックをまたぐように配置されているため、画質の劣化が大きくなる。そのため、調整手段 32は 3 Dマーク 40、 41の上側、あるいは下側のブロックの境界のどちらか一方のうち、元画像のブロック境界と近、方のブロック境界と一致するように移動する。左右方向についても同様に、一番移動距離が短くなるようなブロック境界にマークの境界が一致するように 3Dマークを移動する。これにより、図 11 (b)の図に示す 42、 43のように配置される。図 11中の点線および矢印はその方向に 3Dマークが移動したことを示す為に記載している。これにより、画像合成時の画質劣化を抑えることが可能となる。

[0081] 上記の例では、 3Dマークの移動距離が位置決定手段 5により決められた位置から最も少なくなるように移動したが、位置決定手段 5の位置情報が 3Dマークを元画像の重畳領域の視差に合わせて配置するようにして、た場合で、かつ元画像が表示画面に対して手前に見える画像であるときに最短で移動すると、 3Dマークの視差が重畳領域の元画像の視差よりも少なくなり、やや沈んで見えてしまうことがある。前述のように周囲に対して奥側に沈んで見えると違和感があるため、このような場合には、 3 Dマークを視差が大きくなるような方向に移動する。

[0082] また、 3Dマークの上下方向、あるいは左右方向のそれぞれ一方ずつをブロック境界に合わせるだけでは、図 11からも明らかなように、あわせた場所以外のマーク境界はブロックの境界とは一致しない可能性が高い。そこで、図 12に示すように、調整手段 32は、まず、 3Dマークの位置調整を行う際、視差が大きくなる方向で最も近いブロック境界に合わせるように移動する事で、立体視した際の違和感を解消する。次に、 3Dマーク自体の大きさをブロックの整数倍になるように自動で拡大縮小処理をする事で、全ての境界がブロック境界に一致するようにする。

図 12 (a)は、 3Dマーク移動前、図 12 (b)が移動及び拡大 ·縮小後を示しており、左眼用画像では 3Dマーク 44は右側に、右眼用画像側では 3Dマーク 45が左側に移動されており、視差が大きくなつている。また、水平方向に縮小、垂直方向に拡大処理が施され、ブロックサイズの整数倍の大きさになっている。

[0083] このようにして合成された画像データは、画像合成手段 33から符号ィ匕手段 6へと送られる。前述のように、本実施形態の画像 «JPEGとして説明しているので実施形態 1 と同様、図 8に示した流れで符号ィ匕が行われる。合成された 3Dマークは調整手段 32 で符号ィ匕ブロックの境界に合わせているため、符号ィ匕の際の画質の劣化は抑制されている。

[0084] 符号化データは、符号化手段 6から多重化手段 34へと送られ、 3ひ f青報とともに多重化され、多重化データとして出力される。

[0085] なお、本実施形態において画像のサイズやブロック等は、理解を容易にするために実際の大きさとは異なる数値により説明した。画像のサイズは 640 X 480、 1600 X 1 200などこれ以外にも任意のサイズを取りうる。またここでは静止画としている力 MP EG (Moving Picture Experts Group) 1や MPEG2といった符号化による圧縮を行う動画像でもよい。

[0086] また、符号化ブロックの単位はここで ίお PEGのため 8 X 8画素とした力この画素サィズに限定されるものではなく MPEG2であれば 16 X 16等、様々な大きさを取り得る

[0087] また、ここでは位置決定手段 5によって 3Dマークの合成位置が左右とも決められていたが、位置決定手段では大まかな位置だけを設定し、調整手段 32で視差情報である視差マップに基づ、て、背景に応じた視差を自動で設定するようにしても良、。

[0088] また、ここでは符号ィ匕ブロックの境界にオブジェクトをあわせる際、表示画面より前方に見える画像に重畳する際は視差を大きくするようにしたが、視差が小さくなる方向のブロックの境界に合わせて、実施形態 1のように透明度を設定しても画質の劣化を抑えられ、違和感の低減も可能となる。オブジェクトの移動、拡大縮小処理はここでは移動した後拡大縮小するようにした力順序は逆であっても良い。

[0089] また、本発明の説明では、立体表示の方式として、 2眼式であるパララタスノリア方式の例を用いて説明を行った力それ以外の表示方式であっても良、。

例えば、同じく 2眼式の方式である時分割表示方式を用いてもよい。この方式を用いた場合、図 15 (a)、図 15 (b)に示す左眼用画像、右眼用画像を、図 13に示すような 1画素ずつ水平方向に並べた画像をフォーマットとして使用し、これを時分割表示方式に対応した 3D表示装置、例えばプロジェクターなどにより立体表示を行う。この 3D表示装置の再生タイミングに同期して開閉するシャッターを備えた液晶シャッター眼鏡などを通して該画像を観察することにより、ある時間では左眼用画像だけが、次のある時間では右眼用画像だけが見えるようなり、観察者は立体画像として観察することができる。

[0090] またさらに、ここで上げた 2眼式だけでなぐより多くの視点に対応した画像を用意して立体視を行う多眼式やインテグラルフォトグラフィー方式といった方式であっても良い。各方式に従い、 3D画像のフォーマットはここで示した 2種類以外にも様々な方式がある。

[0091] また、本発明は上述した各実施形態に限定されるものではなぐ請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。産業上の利用可能性以上のように、本発明における画像処理装置によれば、 3D画像にオブジェクトを合成する際、 3D画像の視差を考慮してオブジェクトの透明度等を決定し、合成する事で違和感のな、合成画像を実現すると共に、ブロック符号ィヒ時の画質の劣化を抑えるためにオブジェクトの合成位置を調整することを可能とする。

Claims

請求の範囲

[1] 複数視点の各々に対応した複数の画像から構成される立体画像データを作成する画像処理装置において、

前記立体画像データにオブジェクトを合成する画像合成手段と、

前記オブジェクトの透明度を設定する透明度決定手段とを備え、

前記透明度決定手段は、前記複数視点に対応した複数の画像間の視差情報に基づき前記オブジェクトの透明度を決定することを特徴とする画像処理装置。

[2] 前記透明度決定手段は、前記複数視点に対応した複数の画像における前記ォブジ外を合成する領域の視差を視差情報として取得し、前記視差情報から前記ォブジェタトの透明度を設定することを特徴とする請求項 1に記載の画像処理装置。

[3] 前記透明度決定手段は、前記画像における前記オブジェクトを合成する領域内のそれぞれの視差と、前記オブジェクトの視差との差分値を取り、その値に応じて透明度を決定することを特徴とする請求項 1又は 2に記載の画像処理装置。

[4] 前記オブジェクトの位置を決定する位置決定手段を備え、前記位置決定手段は、前記画像における視差情報より対応点のな、ォクルージョン領域を検出し、前記オタルージョン領域と重なるように前記オブジェクトの位置を決定することを特徴とする請求項 1から 3のいずれか 1つに記載の画像処理装置。

[5] 前記画像合成手段は、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記オブジェクトの視差が該視差情報の視差に最も近くなるよう、前記オブジェクトを前記画像のそれぞれに合成することを特徴とする請求項 1から 4のいずれか 1つに記載の画像処理装置。

[6] 前記画像合成手段は、前記画像における前記オブジェクトを合成する領域の視差情報に基づき、前記オブジェクトの視差が該視差情報の視差よりも大きぐかつ前記オブジェクトの左端あるいは右端が符号ィ匕ブロックの境界と一致するように前記ォブジェタトの水平方向位置を決めることを特徴とする請求項 1から 5のいずれ力 1つに記載の画像処理装置。

[7] 前記画像合成手段は、前記オブジェクトを前記画像に合成する際、前記オブジェクトの垂直方向の下端ある!/、は上端の境界、かつ水平方向の左端あるいは右端の境界を符号化ブロックの境界に一致するよう合成することを特徴とする請求項 1から 6のいずれか 1つに記載の画像処理装置。

[8] 前記オブジェクトの大きさは、垂直方向と水平方向共に、前記符号ィ匕ブロックの整数倍の大きさとなることを特徴とする請求項 1から 7のいずれ力 1つに記載の画像処理装置。

[9] 前記オブジェクトは、立体画像であることを示す情報を含む視認可能な立体画像識別情報であることを特徴とする請求項 1から 8のいずれか 1つに記載の画像処理装置