JP5791328B2 - 3d画像処理方法及び3d画像処理装置 - Google Patents
3d画像処理方法及び3d画像処理装置 Download PDFInfo
- Publication number
- JP5791328B2 JP5791328B2 JP2011076719A JP2011076719A JP5791328B2 JP 5791328 B2 JP5791328 B2 JP 5791328B2 JP 2011076719 A JP2011076719 A JP 2011076719A JP 2011076719 A JP2011076719 A JP 2011076719A JP 5791328 B2 JP5791328 B2 JP 5791328B2
- Authority
- JP
- Japan
- Prior art keywords
- contour
- image
- depth
- eye image
- offset
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
このような技法について、デジタル放送を3D表示するTV(Television)やPC(Personal Computer)等の画像処理装置に投入された技術について、LR方式の画像をそのまま3D表示する技術や、通常の一枚絵を擬似的に3D表示する技術については、商品化がされてきた。
擬似的に3D化する技法としては、色空間上の境界線(輝度の変化点など)追跡を用いたり、特徴点の分布を解析したり、フォーカスを解析したりすることで、書割を作成することなどが行われている。
特許文献1に記載の発明は、立体映像生成方法及び立体映像生成装置に関するものであり、具体的には、観者の頭部位置又は観者が入力した操作情報に基づいて仮想カメラ位置を判定し、所定間隔で複数配置されたカメラで撮影したものに相当する複数の2次元映像のなかで仮想カメラ位置に最も近い位置の2次元映像とその立体視用情報とに基づいて立体映像を生成するものである。
さらに、書割ごとに分割描画することができれば、3D表示の臨場感を向上したり、3D非対応の描画装置でも3Dを演出したりできる。
このとき、LR方式の3D画像には、右目用と左目用の2つのカメラの情報が含まれるため、その差分情報を有効に利用して書割を生成することになる。
しかしながら、特許文献1に記載の発明には差分情報を具体的にどのように利用するかについては言及されていない。
<実施形態1>
〔方 法〕
LR画像が差分として含む情報量から、書割を作成するための具体的な方法について説明する。
以下、LR画像自体の技術的な構造について説明する。
図1は、LR画像(サイドバイサイド画像)の一例である。
LR画像は、左目用画像と右目用画像とを並べた画像として構成される。
3Dディスプレイでは、左目用画像と右目用画像とを、偏向・屈折・交互表示とシャッターなどの技術により、それぞれ左目及び右目にだけ移るように、同じ座標に描画する。このとき、左目用画像と右目用画像との視差により、人間の脳が奥行きについて錯覚を起こすようになっている。
ある点は、左目と左目画像上の座標を結ぶ直線L1と、右目と右目用画像上の座標を結ぶ直線L2との、交点P1にあるように錯覚される。つまり、より遠方の点は、左目用画像でより左側の点P1aに描画され、右目用画像ではより右側の点P1aに描画される(図2)。
同様に、より近傍の点は、左目用画像でより右側の点P2bに描画され、右目用画像でより左側の点P2aに描画される(図3)。
同様に、右の面が手前にある場合、左目だけに見えるモヨウが存在する(図5)。どちらの目にも同じモヨウが見えている場合、どちらも同じ距離にある。
本願では、この左目用画像と右目用画像との描画座標の差分を用いて、奥行きごとの書割を作成するものである。
本明細書において、視点変化により画面上の相対位置が並行して変化する画素の集合、つまり同じ奥行きを持つ画像領域、をオブジェクトと呼ぶ。1枚の画像を複数のオブジェクトに分割して表現したものを、書割と呼ぶ。
本発明に係る3D画像処理装置の構成例を図15に示す。
本3D画像処理装置10は、以下の構成から成り立つ。
画像読み込み機能11は、LR方式の3D画像を読み込む機能である。
書割分割機能12は、図16のフローチャートに示された本発明に係る3D画像処理方法(ステップS11〜S16)による手順を踏んで、画像を書割に分割する機能である。
描画機能13は、書割情報を利用して、3D画像を効果的に描画する機能である。書割情報を生成した後の用途は様々であるため、本明細書では2D表示装置への3Dの効果的な描画についてのみ説明する。
動作の主体は3D画像処理装置に設けられた図示しないCPU(Central Processing Unit)である。
まず、LR方式3D画像のオフセットを計算する(ステップS11)。
LR方式3D画像に対する計算により得られたオフセット値に基づいて輪郭を抽出する(ステップS12)。
輪郭画素情報、LR方式3D画像、及びオフセット値に基づいて輪郭ずれを計算する(ステップS13)。
輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいてオブジェクト奥行きを計算する(ステップS14)。
オブジェクト情報、輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいてオブジェクトを結合(統合)する(ステップS15)。
オブジェクト情報、輪郭奥行き情報、輪郭画素情報、LR方式3D画像、及びオフセット値に基づいて書割を作成する(ステップS16)。
以上のステップの結果として、書割情報を出力する。
このステップでは、左右の目用画像の同等の色となる面積が最大となるように、オフセットを決定する。ここで、「オフセット」とは、画面上で主となる視差を指す。
オフセットを算出することで、輪郭抽出(ステップS12)以降で計算対象となる輪郭の面積を小さくすることができる。輪郭ずれ幅計算(ステップS13)以降の処理では、輪郭の面積が大きいと、計算量とアルゴリズムの誤差が大きくなる。このため、最初のステップで、オフセットを計算するものである。
この手順の計算量は、画素数に比例する。このため、予め画像を縮小し、画素数を減らす方法でも計算量を削減することができる。
さらに計算量を削減する場合、無限遠のずれ幅をオフセットとして固定的に採用することもできる。図2を参照すると、画面よりもある程度遠方のオブジェクトについては、視線が平行に近くなる。このため、ある程度遠方のオブジェクトは左右の画像上の描画位置がほとんど変化しない結果となる。また、3D映像内には、画面と視聴者間の距離よりも遠いオブジェクトが存在することが、高い確率で期待できる。これら、遠方のオブジェクトの描画性質を用いて、無限遠方をオフセットとして採用することには、ある程度の妥当性がある。
図6(b)は、図6(a)のオフセット計算結果の一例である。この例では、背景となる画素が画面の大部分を占めるため、背景が一致するオフセットが採用されることになる。
本フローチャートは、LR方式の3D画像を入力として受付け、オフセットを出力する。
最大類似度Max Sを初期値0とする(ステップS21)。
最大類似度のオフセットMax 0を初期値として無効値Φとする(ステップS22)。
以下、オフセットループS23〜S27について、オフセット値oを−1×横解像度×2%から横解像度×2%まで、逐次的に増加させながら繰り返し実行する。
類似度暫定加算値Temp_Sを初期値0とする(ステップS24)。
オフセットoを加算して、画面の画素毎の類似度を加算しTemp_Sとして算出する(ステップS25)。前述したように、画素ごとの類似度としては、輝度や色空間上の距離が閾値以下かどうかを吟味してもよい。
Temp S<Max_Sの不等式が成り立つか否か判定する(ステップS26)。この判定により、計算済みのオフセットのうち、最大の類似度を持つオフセット値を逐次Max_oに保持していく。
Temp S<Max_Sの不等式が成り立つ場合(ステップS26/Yes)、速やかにオフセットループの下端(ステップS27)に到達する。
Temp S<Max_Sの不等式が成り立たない場合(ステップS26/No)、Max SをTemp_Sとし、Max oをoとする(ステップS26)。
オフセットループの下端(ステップ27)において、オフセット値oが横解像度×2%よりも小さければ、oに1加算した上で、ステップS24に戻る。オフセット値oが横解像度×2%よりも大きければ、このフローチャートを終了する。
以上のループの結果、最大の類似度を持つオフセットMax_oが、このフローチャートの結果として得られる。
ステップS11で算出したオフセットを加えた位置で、色の差分が大きな画素を輪郭として認識する。
ステップS12では、視差の異なるオブジェクトの輪郭の候補として、色の差分が大きい画素を抽出する。
図7(a)は、ステップS11の結果のオフセット値を加味して、左目用画像と右目用画像を重ね合わせたイメージである。
図7(b)は、ステップS12の結果として抽出された輪郭のイメージである。
本フローチャートは、LR方式の3D画像を入力及びオフセットを入力として受付け、画素ごとに輪郭に属するかどうかの情報(輪郭画素情報)を出力する。
フローチャート中、L(x,y)は左目用画像の各座標の色情報、R(x,y)は右目用画像の各座標の色情報、F(x,y)は各座標について輪郭か否かを表す情報(輪郭画素情報)である。また、|A-B|は色情報Aと色情報Bの輝度差分を計算する演算子である。
以下の座標ループS31〜S35により、xを0から横解像度まで、yを0から縦解像度まで変化させて逐次実行させる。結果として、画像内の全ての画素について、S32〜S35の処理がなされ、輪郭か否かをF(x,y)に記憶する。
閾値<|L(x,y)-R(x+o,y)|の不等式が成り立つか否かを判定する(ステップS32)。
閾値<|L(x,y)-R(x+o,y)|の不等式が成り立つ場合(ステップS32/Yes)、輪郭であるとしてF(x,y) に trueを代入する(ステップS33)。
閾値<|L(x,y)-R(x+o,y)|の不等式が成り立たない場合(ステップS32/No)、輪郭でないとしてF(x,y) に falseを代入する(ステップS35)。
座標ループの下端(ステップS34)において、未計算のxとyの組み合わせがあれば、それぞれ歩進させた上で、S31に戻る。
以上のループの結果、輪郭画素情報(F(x,y))に各画素が輪郭であるか否かの情報が設定される。
このステップでは、横方向に連続した輪郭ごとに、左目用画像と右目用画像を対応させるためのずれ幅と、輪郭の左側のオブジェクトと右側のオブジェクトの前後関係の推定と、を計算する。
このステップで計算したずれ幅と前後関係の推定値は、ステップS14以降でオブジェクトごとの前後関係の推定に利用される。
前後関係については、採用したずれ幅のとき、左目用画像の輪郭部分を用いた類似度と、右目用画像の輪郭部分を用いた類似度で、どちらが高いかで決定する。図4、図5で図示したように、片方の目のみで見えるモヨウがある。片方の目のみで見えるモヨウを画素として含む輪郭は、もう一方の目用の画像との類似度が低くなる。よって、左(右)目用画像の輪郭部分を用いた場合の類似度が高ければ、左(右)側のオブジェクトが手前にあると推測される。類似度に明らかな差分がない場合、左右のオブジェクトが同等の距離にあると推測される。
類似度が極端に低い場合には、輪郭のずれ幅及び前後関係を未定としておく。ずれ幅及び前後関係は、オブジェクト奥行き計算(ステップS14)にて、上下に隣接する輪郭と合わせて再度吟味される。このため、この手順で無理にずれ幅及び前後関係を無理に決定しておく必要はない。
図8は、画像と輪郭とを重ね合わせたイメージ図である。
雪だるまの右端にあたる輪郭周辺(領域A、図9)と、雪だるまの左端にあたる輪郭周辺(領域B、図10)と、でのずれ幅の計算を具体的に説明する。
図中、カラー画像であることを意識して、「R」、「C」、「W」、「G」、「Y」とは「RED」、「CYAN」、「WHITE」、「GREEN」、「YELLOW」の頭文字を記載する。頭文字ごとに1つの画素を表す。
同様に、右目用画像の輪郭部分の画素は、空色が4画素連続として構成されている。この色配列と一致する左目用画像上の一番近い位置は、右に4画素ずれた箇所である。
よってこの例の場合、左目用画像が右目用画像と比べて、右方向へ4画素ずれていることがわかる。
図10中の文字の意味は図9と同様に画素ごとの色の頭文字である。
図11は、図10(図8の領域B)の色解像度を上げた一例である。
背景(雲の部分)のオブジェクトについては、左目用画像でだけ見えるモヨウが存在する。一方のマフラーのオブジェクトについては、どちらの画像にも表示されているため、左右で同様のモヨウが見えている。よって輪郭よりも右側のオブジェクトが手前にあると推定される。
本フローチャートは、LR方式3D画像、オフセット及び輪郭画素情報を入力として受け付ける。処理の結果として、輪郭奥行き情報を出力する。
本フローチャートは、S43〜S47にて輪郭のずれ幅の計算、S48〜S54にて輪郭の前後関係推定をする。これらを、S41、S55でループさせることにより、全画素の輪郭の計算を構成する。
以下各ステップについて説明する。
座標ループS41〜S56により、xを0から横解像度まで、yを0から縦解像度まで変化させて逐次実行させる。本フローチャート上では、xが0から横解像度まで歩進すると、xを0に戻すと共にyを1つ歩進させるものとする。
F(x,y)がtrueであるか否かを判定する(ステップS42)。
F(x,y)がtrueの場合(ステップS42/Yes)、当該画素についてのずれ幅の計算を開始する(ステップS43)。
F(x,y)がTrueでない場合(ステップS42/No)、当該画素についてずれ幅の計算をせず、座標ループの下端(ステップS55)に遷移する。
横(x増加方向)に連続する輪郭の長さLを計算する(ステップS43)。
ずれ幅ループS44〜S46により、dを−1×横解像度×2%から横解像度×2%まで変化させて逐次実行させる。
輪郭内画素の類似度を計算する(ステップS45)。
ステップS46において、dが横解像度×2%よりも小さければ、dを1歩進させて、ステップS45に戻る。
ステップS44からS46のループで、最大の類似度を持つずれ幅をd(x,y)として採用する(ステップS47)。ここで、d(x,y)は輪郭のずれ幅である。
左目用画像の輪郭部と右目用画像のずれ幅位置の類似度SLと、右目用画像の輪郭部と左目用画像のずれ幅位置の類似度SRを計算する(ステップS48、S49)。
SR+余裕値<SLの不等式が成り立つか否かを判定する(ステップS50)。
SR+余裕値<SLの不等式が成り立つ場合(ステップS50/Yes)、Front(x,y)にLを代入する(ステップS52)。ここで、Front(x,y)は輪郭の左右でどちらが前にあるかの推定値である。
SR+余裕値<SLの不等式が成り立たない場合(ステップS50/No)、SR+余裕値<SRの不等式が成り立つか否かを判定する(ステップS51)。
SR+余裕値<SRの不等式が成り立つ場合(ステップS51/Yes)、Front(x,y)にRを代入する(ステップS53)。
SR+余裕値<SRの不等式が成り立たない場合(ステップS51/No)、Front(x,y)に前後不定を代入する。
計算済みの輪郭に対する処理をスキップするために、XにL-1を加算する(ステップS55)。
このステップでは、オブジェクトを囲む輪郭のずれ幅、前後関係を元に、オブジェクトごとの相対的な前後関係を推定する。
このステップでは、ステップS13で横方向に情報を吟味したものを、縦方向に結合していく。
縦方向に結合していく概要は以下のとおりである。
1.一番縦に長いオブジェクトを基準として奥行き0と仮定する。
2.奥行きが未決定のオブジェクトのうち、奥行きが決定しているオブジェクトともっとも長い距離で横方向に隣接するオブジェクトを選択する。
3.手順2.のオブジェクトについて、奥行きが決定しているオブジェクトとの間の、輪郭のずれ幅、前後関係の平均を、奥行きとする。このとき、ずれ幅は隣接するオブジェクトとの相対関係である。そのため、平均の算出のためには、隣接するオブジェクトの奥行きを加算した上とする必要がある。
4.まだ奥行きが未決定のオブジェクトがあれば、手順2.に戻る。
まず、一番縦に長い背景を基準の奥行きとして採用する。
次に、一番長く隣接する顔部分の奥行きを相対的に計算する。顔部分は、背景よりも4画素分手前、つまり奥行きは手前に4として計算される。
さらに、雪だるまの帽子部分は、背景よりも4画素分手前、顔のオブジェクトと同位置なので、奥行きは手前に4である。
同様に雪だるまの右腕、腹、影、左腕、マフラーの玉、…の順に奥行きが計算される。
LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、オブジェクト情報を出力する。
輪郭で区切られたオブジェクトごとにオブジェクト番号を付与する(ステップS61)このステップでは、例えばペイントアプリケーションの塗りつぶしアルゴリズムと同様にして、同じオブジェクトに属する画素を決定できる。
縦方向に一番長いオブジェクトの奥行き相対値を0にする(RD(オブジェクト番号)=0:ステップS62)。RD(オブジェクト番号)は、オブジェクトごとの相対的な奥行きを表す。
奥行き未計算のオブジェクトがあるか否か判定する(ステップS63)。
奥行き未計算のオブジェクトがある場合(ステップS63/Yes)、奥行き未計算のオブジェクトのうち、奥行き計算済みのオブジェクトとの間に、最長の輪郭線を持つオブジェクトを選択する(ステップS64)。
選択したオブジェクトについて、奥行き計算済みのオブジェクトと、その間の輪郭奥行き情報を元に、奥行きの平均値を計算し、ステップS63に戻る(RD(オブジェクト番号)=平均値:ステップS65)。
奥行き未計算のオブジェクトが無い場合(ステップS63/No)、オブジェクト情報:RD(オブジェクト番号)を出力する。
このステップでは、まず同じ奥行きのオブジェクトを結合する。
同じ奥行きのオブジェクトの結合では、隣接するオブジェクトの相対的な奥行き(RD(オブジェクト番号))が同等であれば、間の輪郭も含めて同じオブジェクトとして結合する。これは、主たる視差とずれたオブジェクトのモヨウについても、輪郭として現れているためである。
本フローチャートは、LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、結合済みのオブジェクト情報を出力する。
オブジェクトループS71〜S74により、iを0からオブジェクト数まで、jを0からオブジェクト数まで実行させる。
i = j かつRD(i) = RD(j)であるか否か判定する(ステップS72)。
i = j かつRD(i) = RD(j)であると判定した場合(ステップS72/Yes)、オブジェクトiとオブジェクトjとを結合する(ステップS73)。
i = j かつRD(i) = RD(j)でないと判定した場合(ステップS72/No)、ステップS74へ進む。
これらの動作により、結合済みオブジェクト情報が出力される(RD(オブジェクト番号))。
このステップでは、オブジェクトごとの奥行きの絶対値を計算し、オブジェクトごとの画像を切り出す。
オブジェクトごとの絶対的な奥行きについては、図4、図5で説明した前面構成物の端点の原理を利用する。この手順の概要は以下のとおりである。
(1) 各オブジェクトについて前に被っている端点の、画面表示としての左右視差を算出する。
(2) 手順(1)の左右視差より奥行きの絶対値を計算する。
(3) 手順(1)、(2)で奥行きの絶対値が計算できなかった各オブジェクトについて、絶対値が計算できたオブジェクトとの相対的な奥行きを用いて、絶対値を計算する。
オブジェクトごとの画像の切り出しについては、横ラインごとに図4と図5の原理を利用する。
左目用画像を元にすると、輪郭の左側のオブジェクトが手前に位置する場合、輪郭の右端までが左側のオブジェクトである。対して、右側のオブジェクトが手前に位置する場合、輪郭の右端からずれ幅分左までが手前のオブジェクトとなる。このような処理を全横ラインに対して実行すると、オブジェクトそれぞれに含まれる画像を切り出すことができる。
図12の例がオフセットとして遠方方向に2画素であると仮定する。
このとき、雪だるまのずれ幅は4画素であった。画面表示としては、もともと2画素分手前方向に視差にあったことになる。背景については、雪だるまから相対的に、4画素遠方である。よって、2画素分遠方に視差があると判断できる。
元のずれ幅がわかれば、表示画面のサイズ・解像度と、みなしの視聴距離を用いて視線が交差する点を求めることができる。交差する点が雪だるまの奥行きの絶対値となる。
同様に、背景についても、2画素分遠方となる交点が、奥行きの絶対値となる。
本フローチャートは、LR方式3D画像、オフセット、輪郭画素情報、及びオブジェクト情報を入力として受け付ける。処理の結果として、書割情報を出力する。
一番手前のオブジェクトを選択する(ステップS81)。
選択したオブジェクト境界線の左右視差を用いて、奥行きの絶対値AD(オブジェクト番号)を計算する(ステップS82)。
以下のオブジェクトループS83〜S87により、iを0からオブジェクト数まで実行させる。
隣接するオブジェクトとの前後関係から境界線を特定する(ステップS84)。
境界線に沿ってオブジェクト画像Object(i,x,y)を切り出す(ステップS85)。
一番手前のオブジェクトとの相対奥行きと、一番手前のオブジェクトの奥行きの絶対値からAD(i)を計算する(ステップS86)。
これらの動作により、オブジェクト情報:Object(オブジェクト番号,x,y)、AD(オブジェクト番号)が得られる。
図14(a)は、雪だるまを上から見た図、図14(b)は、雪だるまを左から見た図、図14(c)は、雪だるまを正面から見た図、図14(d)は、雪だるまを右から見た図、図14(e)は、雪だるまを下から見た図である。
(a)〜(e)の例では、視聴しているとみなす位置によって、書割同士の相対位置をずらして表示している。このとき、後方のオブジェクトについては、視聴する角度により見え隠れする画像の情報量が不足している。そのため、手前に表示する書割を実際よりも大きく描画すると、保持している情報量で効果的に覗きこみの描画が可能である。
なお、多少であれば背景の色の連続性が期待できる。背景を隣接する色で塗りつぶすことで情報量を補うことも可能である。
書割作成(ステップS16)のオブジェクトの画像切り出しの際に、右目用画像も用いて後ろのオブジェクトの画素を補完することができる。
輪郭の左側が手前にあるとき、右目用画像の輪郭の右端からずれ幅分については、左目用画像にはない情報である。この部分を右側のオブジェクトに結合することで、左目からは見えないモヨウを補完することができる。
輪郭ずれ幅計算(ステップS13)による、前後関係の推定において、背景によっては判定が逆転することがある。このため、本実施形態では、オブジェクト結合(ステップS15)の最終段における補正手順について説明する。
ここで想定している、端的な誤判定の例は、背景が極端に単純な場合である。
1.LR画像を横ラインでサンプリングする。
2.サンプリングした横ラインをオブジェクトごとに分割する。
3.オブジェクトごとに分割された色配列について、複雑さを検証する。
ここで、「複雑さの検証」は、色の変化の度合いとなる。例えば、輝度の変化の分散を計算したり、離散コサイン変換の高周波成分の強さを計算したりすると、算出することができる。
4.一定以上の複雑さを持つオブジェクトの色配列を補正の参考情報として利用する。
5.手順4.で選択した色配列について、左右目用画像でずれ方向に合わせた類似性と、ずれ方向と逆に合わせた類似性と、を比較する。
6.ずれ方向と逆に合わせた方が高い類似性となる場合、誤判定の可能性が高いと判断する。
この手順を複数のサンプリングの横ラインで計算し、誤判定の可能性が高い前後関係について、前後を逆転させる。
人の目には、宇宙船や地球が背景の宇宙空間よりも浮いて見えるはずである。
手順(3)によってこの画像を判定すると逆の現象が発生する。背景は座標によらず黒色で、完全に一致する。相対的に、宇宙船や地球は複雑なモヨウを持つため、同じ箇所を示す色配列でも類似性は低く出勝ちになる。結果として、前後関係を逆転して判定することになる。
この図は手順(4)までで、宇宙空間と宇宙船と地球とに分割されていたと仮定する。また、宇宙空間の奥行きが「0」(あくまで相対的な奥行きの基準値である。この例では、宇宙船や地球は最終的に絶対位置が決まる。宇宙空間の絶対位置は、相対的に決まる。)であり、地球の奥行きが後方に2であり、宇宙船の奥行きが後方に4であったとする。
このとき、例えば6箇所のサンプリングの横ラインで画像を比較する。
いずれのサンプリングの横ラインにおいても、宇宙空間のオブジェクトは複雑性が低く、補正計算の対象としない(手順(3)、(4))。
宇宙船については、前後関係を考慮すると、左目用画像のオブジェクトは、右目用画像において4画素右に描画されているはずである。しかしながら、宇宙船は右目用画像において逆方向の4画素左に描画されていると判定できる。地球についても、奥行きが逆とわかる(手順(5)、(6))。
各サンプリングの結果が誤判定の可能性をさすため、オブジェクトの前後関係の判定を逆転させる。
ステップS14及びS15の説明において、オブジェクトの輪郭のずれ幅が一定であることを仮定して説明した。オブジェクトのずれ幅の分布について、n次曲線で近似することにより、奥行き方向に斜めになった面を書割として切り出すことが可能になる。
他の実施形態では、左目用画像を主体として書割を切り出したが、当然右目用画像を主体として書割を切り出すこともできる。
本発明を動画に適用する場合、オフセットの計算など、前のフレームから引き継ぐことで、計算量を低減することもできる。この場合、画面全体が大きく変化した場合にのみ、オフセットを計算すればよい。
本発明により、LR方式の3D画像から、奥行きを持った画像の集まり(書割)を生成できる。書割の生成の結果、以下のような効果を得る。
効果1、ユーザーが見る方向が変わると、オブジェクトの相対位置が変わるので、臨場感が向上する。
効果2、通常の2Dディスプレイ(非3D)でも対応可能である。
効果3、オブジェクトの奥行きの相対関係を割り出すことにより、奥行きを利用した描画や他のアプリケーションへの応用が可能である。
以上で説明した本発明にかかる3D画像処理装置は、コンピュータで処理を実行させるプログラムによって実現されている。コンピュータとしては、例えばパーソナルコンピュータやワークステーションなどの汎用的なものが挙げられるが、本発明はこれに限定されるものではない。よって、一例として、プログラムにより本発明を実現する場合の説明を以下で行う。
3D画像処理装置のコンピュータに、
画像読込手段が、画像を読み込む手順、
書割分割手段が、前記画像読込装置で読み込まれた画像をオブジェクトと背景とに分割する手順、
描画手段が、前記書割分割手段により作成されたオブジェクト及び背景を画面上に描画する手順、
前記書割分割手段が、画面上の左目用画像の座標と右目用画像の座標との差分を用いて、画面から奥行き方向に位置するオブジェクト及び背景からなる書割画像を作成する手順、
を実行させるプログラムが挙げられる。
このようなプログラムは、コンピュータに読み取り可能な記憶媒体に記憶されていてもよい。
ここで、記憶媒体としては、例えば、CD−ROM(Compact Disc Read Only Memory)、フレキシブルディスク(FD)、CD-R(CD Recordable)などのコンピュータで読み取り可能な記憶媒体、フラッシュメモリ、RAM(Random Access Memory)、ROM(Read Only Memory)、FeRAM(強誘電体メモリ)等の半導体メモリやHDD(Hard Disc Drive)が挙げられる。
11 画像読み込み機能
12 書割分割機能
13 描画機能
14 表示装置
Claims (6)
- 左目用画像と右目用画像とからなる3D画像から、奥行きの共通する複数のオブジェクトに分割した書割画像を作成する3D画像処理方法であって、
前記左目用画像と前記右目用画像とにおいて同等の色となる面積が最も大きくなるときの横方向のずれ幅であるオフセットを求めるオフセット計算ステップと、
前記左目用画像と前記右目用画像とを前記オフセットだけずらして重ね合わせたときに色の差分の大きな画素を輪郭として抽出する輪郭抽出ステップと、
前記輪郭の1ラインごとに、同等の色となる画素が最も多くなるときの横方向のずれ幅である輪郭ずれ幅を計算する輪郭ずれ幅計算ステップと、
前記輪郭で区切られた領域を前記オブジェクトとして特定するとともに、該オブジェクトの輪郭の1ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとするオブジェクト奥行き計算ステップと、
前記オフセットと前記オブジェクトの奥行きとに基づいて前記オブジェクトの奥行きの絶対値を計算し、前記オブジェクトごとの画像を切り出す書割画像作成ステップと、を有することを特徴とする3D画像処理方法。 - 隣接する前記オブジェクトについて前記オブジェクト奥行き計算ステップで計算された奥行きが同等のときに、間の輪郭も含めて同じオブジェクトとして結合するオブジェクト結合ステップをさらに有することを特徴とする請求項1記載の3D画像処理方法。
- 前記オブジェクト奥行き計算ステップは、
最も縦に長い前記オブジェクトを基準として奥行き0と仮定する第1のステップと、
奥行きが未決定の前記オブジェクトのうち奥行きが決定している前記オブジェクトと最も長い距離で横方向に隣接する前記オブジェクトを選択する第2のステップと、
前記第2のステップで選択された前記オブジェクトについて、該オブジェクトの輪郭の1ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとする第3のステップと、
前記第3のステップ終了後に、奥行きが未決定の前記オブジェクトがあるときは、前記第2のステップに戻る第4のステップと、を有することを特徴とする請求項1または2記載の3D画像処理方法。 - 前記輪郭の1ラインごとに、前記輪郭ずれ幅だけずらしたときの、前記左目用画像の輪郭と前記右目用画像との類似度と、前記右目用画像の輪郭と前記左目用画像との類似度と、を比較して、前記左目用画像の輪郭と前記右目用画像との類似度の方が大きいときに、左に隣接する前記オブジェクトが手前にあると推定する前後関係推定ステップをさらに有することを特徴とする請求項1ないし3記載の3D画像処理方法。
- 前記オブジェクト奥行き計算ステップは、該オブジェクトの輪郭の1ラインごとに推定された前後関係の平均に基づいて、該オブジェクトの奥行きを補正することを特徴とする請求項4記載の3D画像処理方法。
- 左目用画像と右目用画像とからなる3D画像から、奥行きの共通する複数のオブジェクトに分割した書割画像を作成する3D画像処理装置であって、
前記左目用画像と前記右目用画像とにおいて同等の色となる面積が最も大きくなるときの横方向のずれ幅であるオフセットを求めるオフセット計算手段と、
前記左目用画像と前記右目用画像とを前記オフセットだけずらして重ね合わせたときに色の差分の大きな画素を輪郭として抽出する輪郭抽出手段と、
前記輪郭の1ラインごとに、同等の色となる画素が最も多くなるときの横方向のずれ幅である輪郭ずれ幅を計算する輪郭ずれ幅計算手段と、
前記輪郭で区切られた領域を前記オブジェクトとして特定するとともに、該オブジェクトの輪郭の1ラインごとに計算された輪郭ずれ幅の平均を、該オブジェクトの奥行きとするオブジェクト奥行き計算手段と、
前記オフセットと前記オブジェクトの奥行きとに基づいて前記オブジェクトの奥行きの絶対値を計算し、前記オブジェクトごとの画像を切り出す書割画像作成手段と、を有することを特徴とする3D画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076719A JP5791328B2 (ja) | 2011-03-30 | 2011-03-30 | 3d画像処理方法及び3d画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011076719A JP5791328B2 (ja) | 2011-03-30 | 2011-03-30 | 3d画像処理方法及び3d画像処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012212986A JP2012212986A (ja) | 2012-11-01 |
JP5791328B2 true JP5791328B2 (ja) | 2015-10-07 |
Family
ID=47266612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011076719A Active JP5791328B2 (ja) | 2011-03-30 | 2011-03-30 | 3d画像処理方法及び3d画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5791328B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104091339B (zh) * | 2014-07-17 | 2017-01-11 | 清华大学深圳研究生院 | 一种图像快速立体匹配方法及装置 |
CN113867526A (zh) * | 2021-09-17 | 2021-12-31 | 纵深视觉科技(南京)有限责任公司 | 一种基于人眼追踪的优化显示方法、装置、设备及介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3064928B2 (ja) * | 1996-09-20 | 2000-07-12 | 日本電気株式会社 | 被写体抽出方式 |
JP2005157635A (ja) * | 2003-11-25 | 2005-06-16 | Matsushita Electric Ind Co Ltd | 混雑度計測装置、設備制御システム、および混雑度計測方法 |
JP2006042280A (ja) * | 2004-07-30 | 2006-02-09 | Nihon Brain Ware Co Ltd | 画像処理装置 |
JP4645356B2 (ja) * | 2005-08-16 | 2011-03-09 | ソニー株式会社 | 映像表示方法、映像表示方法のプログラム、映像表示方法のプログラムを記録した記録媒体及び映像表示装置 |
JP5249149B2 (ja) * | 2009-07-17 | 2013-07-31 | 富士フイルム株式会社 | 立体画像記録装置及び方法、立体画像出力装置及び方法、並びに立体画像記録出力システム |
-
2011
- 2011-03-30 JP JP2011076719A patent/JP5791328B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2012212986A (ja) | 2012-11-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6412690B2 (ja) | 深さ情報を取得する方法及びディスプレイ装置 | |
US9237330B2 (en) | Forming a stereoscopic video | |
US9041819B2 (en) | Method for stabilizing a digital video | |
JP7403528B2 (ja) | シーンの色及び深度の情報を再構成するための方法及びシステム | |
US8611642B2 (en) | Forming a steroscopic image using range map | |
US8611641B2 (en) | Method and apparatus for detecting disparity | |
KR101502362B1 (ko) | 영상처리 장치 및 방법 | |
US20130127988A1 (en) | Modifying the viewpoint of a digital image | |
KR20110090958A (ko) | 이미지 속성들에 대한 오클루젼 데이터의 생성 | |
US20130129192A1 (en) | Range map determination for a video frame | |
KR102156402B1 (ko) | 영상 처리 방법 및 장치 | |
KR20110049039A (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
KR20110116671A (ko) | 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법 | |
JP2007506172A (ja) | 3次元画像ディスプレイの画面に3次元画像を描画するシステム及び方法 | |
KR101181199B1 (ko) | 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
Reel et al. | Joint texture-depth pixel inpainting of disocclusion holes in virtual view synthesis | |
KR20130008555A (ko) | 3d 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3d 디스플레이 장치 | |
US20130329985A1 (en) | Generating a three-dimensional image | |
KR20110047791A (ko) | 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치 | |
US20120050485A1 (en) | Method and apparatus for generating a stereoscopic image | |
Schmeing et al. | Depth image based rendering | |
JP5791328B2 (ja) | 3d画像処理方法及び3d画像処理装置 | |
JP2015035799A (ja) | 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム | |
JP2014072809A (ja) | 画像生成装置、画像生成方法、画像生成装置用プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140303 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141029 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150707 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150804 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5791328 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |