JP4036599B2

JP4036599B2 - ２次元映像を３次元映像に変換する方法

Info

Publication number: JP4036599B2
Application number: JP2000109210A
Authority: JP
Inventors: 周悟山下; 俊哉飯沼; 孝幸森
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2000-04-11
Filing date: 2000-04-11
Publication date: 2008-01-23
Anticipated expiration: 2020-04-11
Also published as: JP2001298753A

Description

【０００１】
【発明の属する技術分野】
この発明は、２次元映像を３次元映像に変換する方法に関する。
【０００２】
【従来の技術】
本出願人は、２次元映像を３次元映像に変換する方法として、一画面を複数の領域に分割し、各々の領域から得た画像情報及び構図から各領域の奥行きを推定し、この推定した奥行きを基に画面内の各画素をシフトすることによって両眼視差を生成する手法（以下、ＣＩＤ法という）を既に開発している（特開平１１−８８６２号公報、特開平１１−９８５３０号公報参照）。
【０００３】
また、本出願人は、既に開発したＣＩＤ法をさらに改良したＣＩＤ法をも開発している。
【０００４】
図１は、改良後のＣＩＤ法（公知ではない）の制御手順を示している。
【０００５】
まず、一画面を複数の領域に分割し、各々の領域から高周波、輝度コントラスト、色(B-Y、R-Y 成分) の情報を得る（ステップ１）。そして、これらの情報及び構図から推定した各領域の奥行き推定値を求める（ステップ２）。求めた奥行き推定値を単にシフト量に変換すると変換画像に歪みが目立つため、歪み抑圧処理を行う（ステップ３）。歪み抑圧処理後の奥行き推定値に距離スケール変換を施す（ステップ４）。
【０００６】
歪み抑圧処理について説明する。ＣＩＤ法では、２Ｄ画像を変形し左右画像を生成する。この変形が大きくなりすぎると不自然な映像となるため、ＣＩＤ法では、隣接する領域間の位相量の差が、ユーザによって予め定められた変換画像の歪み許容範囲h ＿supp＿lev[Pixel]以下になるよう制御している。すなわち、推定した奥行きをMfrontとMrear との間に割り当てることによって求めた各領域の位相量から隣接する領域の位相量の差を求める。この差の最大値をh ＿dv＿max[pixel]とし、h ＿dv＿max が歪み許容範囲h ＿supp＿lev[pixel]を越える場合は、次式１を満足するまでMfrontとMrear を０[pixel] に近づける方向に小さくする。
【０００７】
【数１】

【０００８】
従って、h ＿dv＿max がh ＿supp＿lev より大きい場合は、図２の右側の図に示すように、変換映像の飛び出し位相量front[Pixel]と奥まり位相量rear[Pixel] を、次式２の線形演算により、ユーザが予め定めた最大飛び出し位相量Mfront[Pixel] と最大奥まり位相量Mrear[Pixel]より小さくする。
【０００９】
【数２】

【００１０】
逆に、h ＿dv＿max がh ＿supp＿lev より小さい場合は、変換画像の歪みは許容範囲内であるから、図２の左側の図に示すように、次式３が成り立つ。
【００１１】
【数３】

【００１２】
つまり、h ＿dv＿max がh ＿supp＿lev より小さい場合は、変換映像の位相のダイナミックレンジdv＿range(=front rear) と、ユーザが予め定めた位相のダイナミックレンジMdv ＿range(=Mfront Mrear) とは等しくなる。
【００１３】
なお、実機におけるこのダイナミックレンジを抑圧する歪み抑圧処理は、ＣＰＵ負荷を軽減するためh ＿supp＿lev を推定した奥行きの単位に置き換えて行っているが、ここでは説明の便宜上、画素の単位系を用いて説明を行った。
【００１４】
距離スケール変換方法について説明する。
【００１５】
２眼式立体ディスプレイでは、右眼用画像（Ｒ画像）と左眼用画像（Ｌ画像）の対応点の視差量Ｗとその融像位置（実際に見える管面からの距離）Ypとは、非線形の関係にある。
【００１６】
すなわち、ディスプレイ面上で視差Ｗ[mm]を持つＲ画像およびＬ画像を管面から距離Ｋ[mm]離れた位置から観察した場合、管面からの融像位置までの距離Yp[mm]は次式４で表される。
【００１７】
【数４】

【００１８】
上記数式４において、各変数は以下の値を表す。
K ：ディスプレイ管面からの観察者までの距離 [mm]
E ：眼間の1/2 の長さ [mm]
W ：ディスプレイ面上での左眼用画像と右眼用画像の対応点の視差量 [mm]
Yp：管面から融像位置までの距離[mm]
【００１９】
K=1000mm, 2E=65mm として上記数式４をグラフで表すと、図３のようになる。
【００２０】
図３より、奥行き推定値を線形的に画素の単位に置き換えただけでは、融像する映像には空間的な歪みを生じることが分かる。そこで、距離スケール手法では、空間歪みを考慮して、奥行き推定値を画素の単位に変換する。奥行き推定値を線形的に画素の単位（視差量）に変換する手法を画素スケール変換といい、奥行き推定値を融像位置を考慮して画素の単位（視差量）に変換する手法を距離スケール変換という。
【００２１】
以下、距離スケール変換手法について簡単に説明する。
【００２２】
今、ディスプレイ上の１画素の幅をU[mm] とし、対応点がα画素分の視差Ｗがあるとすると、視差Ｗは次式５で表される。
【００２３】
【数５】

【００２４】
上記数式５を上記数式４に代入することにより、次式６に示すように、画素と融像位置の関係が求まる。
【００２５】
【数６】

【００２６】
また、上式６を変形し次式７を得る。
【００２７】
【数７】

【００２８】
完全距離スケール変換では、管面からの最大飛び出し量Ymax' と管面からの最大奥まり量Ymin' を指定すると、奥行き推定値depth （０〜１００の値を持つ）が決まれば対応する奥行きYpは次式８で表される単純なスケール変換で得ることができる。
【００２９】
【数８】

【００３０】
そして、Ypに対応する視差量αは、上記７により求められる。これにより、空間歪みを考慮して、奥行き推定値を画素の単位に変換することができる。
【００３１】
完全距離スケール変換において、２５６段の視差量変換テーブルＷ" を用いる場合は、図４に示すように、まず、Ymax' 〜Ymin' の間を２５６等分し、各奥行き値Yp毎に対応した視差量変換テーブルW''[pixel]を上記式７に基づいて求める。
【００３２】
この場合、W"[255] がYmax' に対応した視差量となり、W"[0] がYmin' に対応した視差量となる。そして、奥行き推定値depth が決まれば、対応する視差量αは次式９より求まる。
【００３３】
【数９】

【００３４】
ここで、lev は視差量変換テーブル上の段数を表し、次式１０で与えられる。
【００３５】
【数１０】

【００３６】
ここまで、２Ｄ／３Ｄ変換における完全距離スケール変換手法について述べたが、この手法には以下に示す２つの問題がある。
【００３７】
(1) 奥行きYpが飽和する所まで最大飛び出し量Ymax' を大きくすると、Ymax' 近傍の奥行き値を持つ部分において、変換画像自体の歪み( Ｒ画像、Ｌ画像自体の歪み) が大きくなる。
【００３８】
(2) 奥行き再現空間のダイナミックレンジを大きく取ろうとすると、最大奥まり量Ymin' を小さくするしかないので、管面より前に飛び出す領域が極端に少なくなる。
【００３９】
上記の問題を回避するためには、奥行きと視差量がある程度比例関係にある領域のみ使用して変換する必要がある。しかし、それでは画素スケール変換とほぼ同じになってしまい、複雑な処理を行う関係上、完全距離スケール変換はもはや有用とは言い難い。
【００４０】
そこで、考案したのが次に紹介する折れ線距離スケール変換である。折れ線距離スケール変換では、図５に示すように、飛び出し量比Ｃ[%] を導入し、Ymax' 〜0 を255*C/100 等分し、0 〜Ymin' を255 ｛(1-C)/100)｝等分することで、視差量変換テーブルを求める。
【００４１】
すなわち、飛び出し量比Ｃを制御することで、管面より前の飛び出し量を変え、かつ、最大飛び出しとなる部分での変換画像自体の歪みを抑えることができる。なお、折れ線距離スケール変換において上記式８に対応する式は、次式１１となる。
【００４２】
【数１１】

【００４３】
また、視差量変換テーブルＷ" の段数を表す上記式１０に対応する式は、次式１２となる。
【００４４】
【数１２】

【００４５】
ここで、Dlevは、次式１３で定義され、管面に対応する視差量変換テーブル上の段数を表す。
【００４６】
【数１３】

【００４７】
折れ線距離スケール変換は管面より前と、管面より奥において、それぞれ空間的な歪みが出ないようになっている。逆に言えば、管面において空間的な歪みがでることになる。これは、「立体映像を見た場合、管面前後で見え方が違う。」という多くの視聴者から得た言葉より、空間的な歪みは管面近傍で最も分かりづらくなるという仮説に基づいている。
【００４８】
なお、実際に使用している値は、管面前後での奥行き視差量変換テーブルの傾向（ステップ幅）が大きく違わないようYmax',Ymin',C を決定している。
【００４９】
ところで、上述した線形演算を用いた歪み抑圧処理は画素スケール変換には有効であるが、距離スケール変換に対しては有効な手段とは言えない。これは、図６に示すように、距離スケール変換では、奥行きYpと視差量W [pixel] とが非線形であり、奥行き推定量が同じ値、たとえば”１”でも管面の前後ではその視差量が大きく異なるという性質を持つためである。なお、この傾向は、大画面ディスプレイにおいて顕著になる。完全距離スケールの改良型である折れ線距離スケールでは、この特性を緩和する意味でも、飛び出し量比Ｃを導入している。
【００５０】
しかし、飛び出し量比Ｃを制御可能な折れ線距離スケールでも、隣接領域間の位相差の最大値h ＿dv＿max[pixel]を歪み許容範囲h ＿supp＿lev[pixel]内に完全に抑えることはできない（画素スケールにおける歪み抑圧の原理を忠実に実現することはできない）。この歪み抑圧の原理を実現するためには、歪み抑圧処理を距離スケール変換後に行う必要がある。
【００５１】
【発明が解決しようとする課題】
この発明は、距離スケール変換を用いて奥行き推定量を視差量に変換する場合に、変換画像の歪みを押さえることができる２次元映像を３次元映像に変換する方法を提供することを目的とする。
【００５２】
【課題を解決するための手段】
この発明による２次元映像を３次元映像に変換する方法は、２次元映像信号に基づいて、１画面内に設定された複数の視差算出領域それぞれに対して映像の遠近に関する画像特徴量を抽出し、抽出した画像特徴量に基づいて、各視差算出領域毎の奥行き推定値を生成する第１ステップ、各奥行き推定値に対して、所定の最大飛び出し量と所定の最大奥行き量とによって規定されるダイナミックレンジを用いた距離スケール変換を施すことにより、各視差算出領域毎に仮の目標位相量を求める第２ステップ、各視差算出領域毎の仮の目標位相量に基づいて、隣接する視差算出領域間での位相差の最大値を求める第３ステップ、隣接する視差算出領域間での位相差の最大値が予め定められた歪み許容範囲内であるか否かを判定する第４ステップ、ならびに隣接する視差算出領域間での位相差の最大値が予め定められた歪み許容範囲外である場合には、上記視差算出領域間での位相差が歪み許容範囲内となるようなダイナミックレンジを探索し、各奥行き推定値に対して、探索したダイナミックレンジを用いた距離スケール変換を施し、各視差算出領域毎に仮の目標位相量を求めた後、第３ステップに移行する第５ステップを備えていることを特徴とする。
ここで、距離スケール変換とは、奥行き推定値を融像位置を考慮して画素の単位（視差量）に変換する手法をいう。これに対して、奥行き推定値を線形的に画素の単位（視差量）に変換する手法を画素スケール変換という。
【００５３】
上記第５ステップにおいて、探索したダイナミックレンジによって規定される最大飛び出し量と最大奥行き量との比が、予め定められた比となるように、ダイナミックレンジを補正した後、補正後のダイナミックレンジを用いた距離スケール変換を各奥行き推定値に施すようにしてもよい。
【００５４】
【発明の実施の形態】
以下、図７〜図１０を参照して、この発明の実施の形態について説明する。
【００５５】
図７は、この発明の実施の形態によるＣＩＤ法の制御手順を示している。
【００５６】
まず、一画面を複数の領域に分割し、各々の領域から高周波、輝度コントラスト、色(B-Y、R-Y 成分) の情報を得る（ステップ１１）。そして、これらの情報及び構図から推定した各領域の奥行き推定値を求める（ステップ１２）。求めた奥行き推定値に対して距離スケール変換および歪み抑圧処理を施すことにより、目標位相量を得る（ステップ１３）。
【００５７】
図８は、図７のステップ１３の距離スケール変換および歪み抑圧処理の詳細を示している。
【００５８】
まず、MfrontとMrear によって規定されるダイナミックレンジで距離スケール変換を施し、仮の目標位相量を得る（ステップ２１、２２）。得られた仮の目標位相量に基づいて、隣接領域間の位相差の最大値h ＿dv＿max [pixel] を算出する（ステップ２３）。
【００５９】
隣接領域間の位相差の最大値h ＿dv＿max [pixel] が歪み許容範囲h ＿supp＿lev [pixel] であるか否かを判定する（ステップ２４）。許容範囲内である場合には、仮の目標位相量を真の目標位相とする（ステップ２７）。
【００６０】
隣接領域間の位相差の最大値が歪み許容範囲外である場合には、当該位相差の最大値がh ＿supp＿lev 以下になるまで、MfrontとMrear によって規定されるダイナミックレンジを段階的に小さくすることによって最適なfront 、rear値を得る（ステップ２５）。以下、便宜上、ステップ２５の処理を逐次探索処理ということにする。逐次探索処理の詳細については後述する。
【００６１】
逐次探索処理によって求めたfront とrearとの距離比を、ユーザ指定の距離比になるよう、front とrearとを変更した後（ステップ２６）、ステップ２２に戻り、更に距離スケール変換を行う。
【００６２】
ステップ２２、２３、２４、２５、２６の処理を、隣接領域間の位相差の最大値h ＿dv＿max[pixel]が歪み許容範囲h ＿supp＿lev [pixel] 内になるまで繰り返し、最終的な目標位相量を得る。なお、このようにダイナミックレンジが変更する都度、距離スケール変換を施すのは、立体ディスプレイの空間的な歪みに左右されず奥行き推定量に従った立体映像を観察者に知覚させるという、距離スケールの原理を正確に実現するためである。
【００６３】
次に、逐次探索処理について説明する。
【００６４】
奥行き推定値と位相量とが非線形である距離スケールでは、front とrear値で規定されるダイナミックレンジを大きくするため、レンジの決定は逐次探索処理によって行なわれる。
【００６５】
逐次探索処理において、視差量の算出は、奥行き視差量変換式（式１１）を用いても可能だが、以下に示すように予め算出した視差量変換テーブルＷ" を用いた方が効率的である。この方法について、0 〜100 に間に奥行き推定値が規格化された場合の管面レベルの奥行き推定値をsurface ＿depth(= 100- C) として、説明する。
【００６６】
front 値とrear値に対応する視差量変換テーブルＷ" 上の段数をそれぞれMax ＿lev （=255〜Dlev）、Min ＿lev （=Dlev 〜0 ）とした場合、ある奥行き推定値v ＿depth の視差量変換テーブルの段数lev は、次式４で表される。
【００６７】
【数１４】

【００６８】
lev に対応する位相量phase は、視差量変換テーブルＷ" により一意で求まるので、次式１５で表すことができる。
【００６９】
【数１５】

【００７０】
逐次探索処理では、隣接領域間の位相差の最大となる２つの領域の位相差がh ＿supp＿lev 以下になるfront 値とrear値を、Max ＿lev やMin ＿lev を徐々に変化させことによって見つけることができる。
【００７１】
上記式１４から明らかなように、逐次探索処理では、隣接領域間の位相差が最大となる２つの領域が持つ位相量の関係に応じ、最適なfront 値とrear値の探索方法は以下の３種類となる。
【００７２】
第１ケース：両領域が共に管面より前の位相量を持つ場合は、front 値を０に近づけて行く (Max ＿lev をDlevに近づけていく) 。
【００７３】
第２ケース：両領域が共に管面より後ろの位相量を持つ場合は、rear値を０に近づけて行く (Min ＿lev をDlevに近づけていく) 。
【００７４】
第３ケース：一方の領域が管面より前の位相量を持ち、もう一方の領域が管面より後ろの位相量を持つ場合は、front,rear値を共に０に近づけて行く(Max＿lev,Min ＿lev をDlevに近づけていく) 。
【００７５】
第３ケースの場合には、逐次探索処理時に、ユーザが予め指定した距離比を保持するように、つまり次式１６の関係を保持するように、Max ＿lev とMin ＿lev をDlevに近づけていく。
【００７６】
【数１６】

【００７７】
上記式１６は、図８のステップ２６の処理と同義である。第１ケースと第２ケースでは、演算量を減らすため、距離比の変更処理を逐次探索処理時に行わず図８のステップ２６で行う。
【００７８】
距離スケールにおいてこの距離比維持の手法を導入しているのは、ダイナミックレンジが変わっても管面の前後の奥行き関係を保持するためである。具体的には、図９に示すように、第１ケースで管面より前の距離を２０％減少させた場合には、管面より後ろの距離も２０％減少させ、管面前後の関係を維持している。
【００７９】
視差量変換テーブル上でこの距離比維持を行うと、飛び出し量比Ｃの関係も維持することができる。これにより、相対的な奥行きで空間を認知する傾向がある観察者には違和感のない変換映像を提示することができる。
【００８０】
しかし、観察者の目の特性によっては、全体のダイナミックレンジを広げた方が良い映像とみなす場合がある。このような場合は、第１ケース、第２ケースにおいて距離比維持を行わず、量比維持のみを行う。
【００８１】
図１０は、量比維持のみの折れ線距離スケール変換を行なった場合と、さらに距離比維持のための処理を行なった場合とを示している。量比維持のみの折れ線距離スケール変換では、管面の奥行き推定値を境に別個のレンジ変換により奥行き推定値と視差量変換テーブルの対応を取る。なお、距離比維持をした場合は、奥行き推定値の視差量変換テーブルは１つのレンジ変換で対応できる。なお、図１０における関数lev(phase)は上記式１５の逆関数を表し、位相量phase[pixel]から視差量変換テーブルの段数を求めることを意味する。
【００８２】
【発明の効果】
この発明によれば、距離スケール変換を用いて奥行き推定量を視差量に変換する場合に、変換画像の歪みを押さえることができるようになる。
【図面の簡単な説明】
【図１】本出願人が既に開発したＣＩＤ法の制御処理手順を示すフローチャートである。
【図２】図１のステップ３の歪み抑圧処理を説明するための模式図である。
【図３】視差量Ｗとその融像位置Ypとの関係を示すグラフである。
【図４】完全距離スケール変換を説明するためのグラフである。
【図５】折れ線距離スケール変換を説明するためのグラフである。
【図６】奥行きYpと視差量W [pixel] とが非線形であるため、奥行き推定量が同じ値、たとえば”１”でも管面の前後ではその視差量が大きく異なるという性質を示すためのグラフである。
【図７】この発明の実施の形態によるＣＩＤ法の制御手順を示すフローチャートである。
【図８】図７のステップ１３の距離スケール変換および歪み抑圧処理の詳細を示すフローチャートである。
【図９】距離比維持の手法を導入することにより、ダイナミックレンジが変わっても管面の前後の奥行き関係が保持されることを示すグラフである。
【図１０】量比維持のみの折れ線距離スケール変換を行なった場合と、さらに距離比維持のための処理を行なった場合とを示す模式図である。

Claims

２次元映像信号に基づいて、１画面内に設定された複数の視差算出領域それぞれに対して映像の遠近に関する画像特徴量を抽出し、抽出した画像特徴量に基づいて、各視差算出領域毎の奥行き推定値を生成する第１ステップ、
各奥行き推定値に対して、所定の最大飛び出し量と所定の最大奥行き量とによって規定されるダイナミックレンジを用いた距離スケール変換を施すことにより、各視差算出領域毎に仮の目標位相量を求める第２ステップ、
各視差算出領域毎の仮の目標位相量に基づいて、隣接する視差算出領域間での位相差の最大値を求める第３ステップ、
隣接する視差算出領域間での位相差の最大値が予め定められた歪み許容範囲内であるか否かを判定する第４ステップ、
隣接する視差算出領域間での位相差の最大値が予め定められた歪み許容範囲外である場合には、上記視差算出領域間での位相差が歪み許容範囲内となるようなダイナミックレンジを探索し、各奥行き推定値に対して、探索したダイナミックレンジを用いた距離スケール変換を施し、各視差算出領域毎に仮の目標位相量を求めた後、第３ステップに移行する第５ステップ、
を備えている２次元映像を３次元映像に変換する方法。
上記第５ステップにおいて、探索したダイナミックレンジによって規定される最大飛び出し量と最大奥行き量との比が、予め定められた比となるように、ダイナミックレンジを補正した後、補正後のダイナミックレンジを用いた距離スケール変換を各奥行き推定値に施すようにしたことを特徴とする請求項１に記載の２次元映像を３次元映像に変換する方法。