JP4214528B2 - 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム - Google Patents
擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム Download PDFInfo
- Publication number
- JP4214528B2 JP4214528B2 JP2004376017A JP2004376017A JP4214528B2 JP 4214528 B2 JP4214528 B2 JP 4214528B2 JP 2004376017 A JP2004376017 A JP 2004376017A JP 2004376017 A JP2004376017 A JP 2004376017A JP 4214528 B2 JP4214528 B2 JP 4214528B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth
- pseudo
- basic
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
さらに、非立体画像をブロック状に分割し、それぞれについて輝度積算、高周波成分積算、輝度コントラスト算出、彩度積算の計算を行うことにより画像の奥行き量を推定する手法も開示されている(例えば、特許文献2参照)。
Y.Horry, K.Anjyo, K.Arai:"Tour Into the Picture:Using a Spidery Mesh Interface to Make Animation from a Single Image",SIGGRAPH'97 Proceedings,pp.225-232(1997) C.Tomasi and T.Kanade: "Shape and Motion from Image Streams under Orthography: A Factorization Method", Int. Journal of Computer Vision.Vol.9,No.2, pp.137-154(1992)
また遠近法的な構造推定が適合する場合であっても自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない。
(1)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び/又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段(4、5、6)と、
入力する前記非立体画像の数をカウントしたカウント数が所定の値になるときにのみ前記入力する前記非立体画像を出力する第一の出力部と、入力する非立体画像を前記カウントに数に関係なくそのまま出力する第二の出力部とを持つ画像入力手段(1)と、
前記画像入力手段の前記第一の出力部から前記非立体画像が入力した場合は、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定し、算定した合成比率の値を出力し、前記画像入力手段の前記第一の出力部から前記非立体画像が入力しない場合は前記算定処理を行わず待機状態となる算定手段(2、3、7、70)と、
前記算定手段により前記複数の基本奥行きモデル間の合成比率の値が入力した場合は、前記記憶手段から読み出した前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成、記憶し、前記合成比率の値が入力しない場合は、直前の前記複数の基本奥行きモデル間の合成比率の値が入力した時に生成、記憶した合成基本奥行きモデルの記憶状態を保持する、合成・記憶手段(7、71〜74)と、
前記合成・記憶手段に記憶している合成基本奥行きモデルと、前記画像入力手段の前記第二の出力機能から入力する前記非立体画像とから前記奥行き推定データを生成する生成手段(10)と、
を有することを特徴とする擬似立体画像生成装置。
(2)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
前記奥行き推定データを生成する上記(1)記載の擬似立体画像生成装置(30)と、
前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置(40)と、
前記複数視点画像生成装置で生成した複数の別視点画像及び/または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置(50)と、
から構成することを特徴とする擬似立体画像表示システム。
(3)奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
入力する前記非立体画像の数をカウントしたカウント数によって前記奥行き推定データの基となる合成奥行き基本モデル生成処理を実行するか否かを判断する判断機能(S1)と、
前記判断機能が、合成奥行き基本モデル生成処理を実行すると判断したならば、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率を算定する算定機能(S2、S3、S4)と、
前記算定機能により前記複数の基本奥行きモデル間の合成比率の値が入力したならば、前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成し、生成した前記合成基本奥行きモデルを記憶手段に書き込む処理を行い、前記合成比率の値が入力されない場合は、前記合成基本モデルの生成処理及び記憶手段への書き込み処理を行わない、合成機能(S5)と、
前記記憶手段に記憶してある前記合成基本奥行きモデルを読み出して、読み出した前記合成基本奥行きモデルと前記入力する前記非立体画像とから前記奥行き推定データを生成する生成機能(S6)と
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。
(4)上記(3)記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。
本発明の擬似立体画像生成装置及び擬似立体画像生成プログラムでは、所謂シェープ・フロム・モーションのような動き情報を利用した奥行き推定は行わず、奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の、画面内の所定領域における輝度信号の高域成分を算定して、その非立体画像のシーンの奥行き構造を推定する。このとき推定されるシーンの奥行き構造は厳密なものではなく、"経験知からあるタイプのシーン奥行き構造が比較的近い可能性が高いので選択する"という程度のものにとどめ、誤判定された場合でも強い違和感を感じさせないようなものを採用する、所謂フェイルセーフの思想に基づくものとする。この理由は、事実上1枚の非立体画像からその内容を確実に検知し、詳細なシーン構造を決定することは技術的に不可能であるためである。
<基本奥行きモデル>
ここで、本実施例で使用する複数の基本奥行きモデルの一例について説明する。
[タイプ1]
基本奥行きモデルタイプ1は、図20の座標系によれば各画素毎の奥行き量zは数式1で表される。rは球の半径、wは基本奥行きモデル1の画像の水平サイズ、hは基本奥行きモデル1の画像の垂直サイズであるとする。
この基本奥行きモデルタイプ1でこのような凹面を使用する理由は、基本的にオブジェクトが存在しないシーンにおいては画面中央を一番遠距離に設定することにより違和感の少ない立体感及び適度な奥行き感が得られるからである。基本奥行きモデルタイプ1が使用されるシーン構成の一例として、図6のようなシーンがあげられる。
[タイプ2]
基本奥行きモデルタイプ2は、図20の座標系によれば各画素毎の奥行き量zは数式2で表される。rは円筒、及び球の半径、wはモデル画像の水平サイズ、hはモデル画像の垂直サイズである。
[タイプ3]
基本奥行きモデルタイプ3は、図20の座標系によれば各画素毎の奥行き量zは数式3で表される。rは円筒の半径、wはモデル画像の水平サイズ、hはモデル画像の垂直サイズである。
<装置の構成>
次に、本発明の擬似立体画像生成装置の具体的な実施例を図面と共に説明する。図1は本発明の擬似立体画像生成装置の一実施例のブロック図である。
<処理の詳細説明>
<擬似立体画像生成装置>
次に、図1の実施例の動作を図3のフローチャートと共に詳細に説明する。
(top_act−tps):(tpl−top_act)
の比率で基本奥行きモデルタイプ1(Type1)と基本奥行きモデルタイプ2(Type2)の合成比率を決定する。すなわち、Type1/2の合成比率は、基本奥行きモデルタイプ3(Type3)は使用せず、
Type1:Type2:Type3 =
(top_act−tps):(tpl−top_act):0
で合成比率を決定する。
(bottom_act−bms):(bml−bottom_act)
の比率で基本奥行きモデルタイプ2と基本奥行きモデルタイプ3の合成比率を決定し、基本奥行きモデルタイプ1と基本奥行きモデルタイプ3の合成比率を決定する。すなわち、Type2/3の合成比率は、基本奥行きモデルタイプ1(Type1)は使用せず、
Type1:Type2:Type3 =
0:(bottom_act−bms):(bml−bottom_act)
で合成比率を決定し、Type1/3の合成比率は、基本奥行きモデルタイプ2(Type2)は使用せず、
Type1:Type2:Type3 =
(bottom_act−bms):0:(bml−bottom_act)
で合成比率を決定する。
Type1:Type2:Type3 =
(top_act−tps)+(bottom_act−bms):
(tpl−top_act):(bml−bottom_act)
で合成比率を決定する。なお、図2における合成比率k1、k2、k3は
k1= Type1/(Type1+Type2+Type3)
k2= Type2/(Type1+Type2+Type3)
k3= Type3/(Type1+Type2+Type3)
のように表現する。
生成した擬似立体画像である奥行き推定データと、画像入力部1に入力された非立体画像
とを図17に示した構成のステレオペア生成装置40のテクスチャシフト部17に供給し、これによりステレオペア生成装置40で生成されたステレオペア画像(右目画像20及び左目画像21)をステレオ表示装置50に供給する構成である。
テム、時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しく
はディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式の
ステレオディスプレイ、ヘッドマウントディスプレイなどを含む。特にステレオ画像の各
画像に対応した2台のプロジェクタによるプロジェクタシステムを含む。また、上記のよ
うに2視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。
奥行きモデルの合成を基本にし、経験知に基づき、現実のシーン構造に比較的に近い可能
性が高いようにすることを目標としつつも、複雑なシーンの場合には、球面の基本モデル
タイプ1が主体になるように、いわばフェイルセーフに配慮した処理を行う。従って得られたステレオペア(擬似立体画像)は、左画像について目立った破綻がなく、また立体視した場合、大きな違和感がないため、動画像からシーン内容に応じた奥行きモデルを構築することが可能になり、これを基に違和感の少ない擬似立体画像を生成することができる。
合に限定されるものではなく、図3の手順を実行するコンピュータプログラムによるソフ
トウェアにより擬似立体画像作成を行うこともできる。この場合、コンピュータプログラ
ムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュ
ータに取り込まれてもよい。
2 上部の高域成分評価部
3 下部の高域成分評価部
4、5、6 フレームメモリ
7 合成部
9 R信号
10 加算器
11 奥行き推定データ
Claims (4)
- 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する擬似立体画像生成装置であって、
基本となる複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを記憶する、及び/又は所定の計算式より算出して得る複数の基本奥行きモデルを記憶する記憶手段と、
入力する前記非立体画像の数をカウントしたカウント数が所定の値になるときにのみ前記入力する前記非立体画像を出力する第一の出力部と、入力する非立体画像を前記カウントに数に関係なくそのまま出力する第二の出力部とを持つ画像入力手段と、
前記画像入力手段の前記第一の出力部から前記非立体画像が入力した場合は、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、前記複数の基本奥行きモデル間の合成比率を算定し、算定した合成比率の値を出力し、前記画像入力手段の前記第一の出力部から前記非立体画像が入力しない場合は前記算定処理を行わず待機状態となる算定手段と、
前記算定手段により前記複数の基本奥行きモデル間の合成比率の値が入力した場合は、前記記憶手段から読み出した前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成、記憶し、前記合成比率の値が入力しない場合は、直前の前記複数の基本奥行きモデル間の合成比率の値が入力した時に生成、記憶した合成基本奥行きモデルの記憶状態を保持する、合成・記憶手段と、
前記合成・記憶手段に記憶している合成基本奥行きモデルと、前記画像入力手段の前記第二の出力機能から入力する前記非立体画像とから前記奥行き推定データを生成する生成手段と、
を有することを特徴とする擬似立体画像生成装置。 - 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体動画像から擬似的な立体動画像を生成し表示する擬似立体画像表示システムであって、
前記奥行き推定データを生成する請求項1記載の擬似立体画像生成装置と、
前記擬似立体画像生成装置の生成手段より供給される前記奥行き推定データと擬似立体画像生成の対象となる前記非立体画像とを用いて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成装置と、
前記複数視点画像生成装置で生成した複数の別視点画像及び/または擬似立体画像生成の対象となる前記非立体画像を用いて擬似立体画像を表示する表示装置と、
から構成することを特徴とする擬似立体画像表示システム。 - 奥行き情報が明示的にも又はステレオ画像のように暗示的にも与えられておらず、また時系列的に連続した複数の画像で動画を構成する非立体画像から擬似立体動画像を生成するための奥行き推定データを生成する機能をコンピュータに実現させる擬似立体画像生成プログラムであって、
入力する前記非立体画像の数をカウントしたカウント数によって前記奥行き推定データの基となる合成奥行き基本モデル生成処理を実行するか否かを判断する判断機能と、
前記判断機能が、合成奥行き基本モデル生成処理を実行すると判断したならば、前記非立体画像のシーン構造を推定するために、前記非立体画像の画面内の所定領域における画素値の統計量を利用して、擬似立体画像を生成するための基本となり所定の計算式で求められる、複数のシーン構造のそれぞれについて奥行き値を示す複数の基本奥行きモデルを合成するための合成比率を算定する算定機能と、
前記算定機能により前記複数の基本奥行きモデル間の合成比率の値が入力したならば、前記複数の基本奥行きモデルを、入力した前記合成比率で合成して、合成基本奥行きモデルを生成し、生成した前記合成基本奥行きモデルを記憶手段に書き込む処理を行い、前記合成比率の値が入力されない場合は、前記合成基本モデルの生成処理及び記憶手段への書き込み処理を行わない、合成機能と、
前記記憶手段に記憶してある前記合成基本奥行きモデルを読み出して、読み出した前記合成基本奥行きモデルと前記入力する前記非立体画像とから前記奥行き推定データを生成する生成機能と
をコンピュータに実現させることを特徴とする擬似立体画像生成プログラム。 - 請求項3記載の擬似立体画像生成プログラムにおいて生成した奥行き推定データに応じて、前記非立体画像のテクスチャのシフトを対応部分の奥行き応じた量だけ行うことによって擬似立体画像表示を実現するための別視点画像を生成する複数視点画像生成機能をコンピュータに実現させることを特徴とする複数視点画像生成プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004376017A JP4214528B2 (ja) | 2004-12-27 | 2004-12-27 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004376017A JP4214528B2 (ja) | 2004-12-27 | 2004-12-27 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006186510A JP2006186510A (ja) | 2006-07-13 |
JP4214528B2 true JP4214528B2 (ja) | 2009-01-28 |
Family
ID=36739308
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004376017A Active JP4214528B2 (ja) | 2004-12-27 | 2004-12-27 | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4214528B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100894874B1 (ko) | 2007-01-10 | 2009-04-24 | 주식회사 리얼이미지 | 그물 지도를 이용한 이차원 영상으로부터의 입체 영상 생성장치 및 그 방법 |
WO2010073547A1 (ja) | 2008-12-25 | 2010-07-01 | パナソニック株式会社 | 画像処理装置及び擬似立体画像生成装置 |
JP5444848B2 (ja) | 2009-05-26 | 2014-03-19 | ソニー株式会社 | 画像表示装置、画像観察用眼鏡、および画像表示制御方法、並びにプログラム |
JP5238849B2 (ja) | 2011-05-16 | 2013-07-17 | 株式会社東芝 | 電子機器、電子機器の制御方法及び電子機器の制御プログラム |
JP5708395B2 (ja) * | 2011-09-16 | 2015-04-30 | 株式会社Jvcケンウッド | 映像表示装置及び映像表示方法 |
JP6024110B2 (ja) * | 2012-01-26 | 2016-11-09 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム |
-
2004
- 2004-12-27 JP JP2004376017A patent/JP4214528B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2006186510A (ja) | 2006-07-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4214976B2 (ja) | 擬似立体画像作成装置及び擬似立体画像作成方法並びに擬似立体画像表示システム | |
US7262767B2 (en) | Pseudo 3D image creation device, pseudo 3D image creation method, and pseudo 3D image display system | |
JP5402483B2 (ja) | 擬似立体画像作成装置及び擬似立体画像表示システム | |
WO2020063100A1 (zh) | 增强现实的图像展示方法、装置及设备 | |
JP5402504B2 (ja) | 擬似立体画像作成装置及び擬似立体画像表示システム | |
JP4489610B2 (ja) | 立体視可能な表示装置および方法 | |
CN102034265B (zh) | 一种三维视图获取方法 | |
US20050219239A1 (en) | Method and apparatus for processing three-dimensional images | |
TWI531212B (zh) | 呈現立體影像之系統及方法 | |
JP2007264722A (ja) | 画像処理装置 | |
JP4214529B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
CN112446939A (zh) | 三维模型动态渲染方法、装置、电子设备及存储介质 | |
JP4214527B2 (ja) | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム | |
JP5692051B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP5691965B2 (ja) | 奥行き推定データの生成装置、生成方法及び生成プログラム、並びに疑似立体画像の生成装置、生成方法及び生成プログラム | |
JP4214528B2 (ja) | 擬似立体画像生成装置及び擬似立体画像生成プログラム並びに擬似立体画像表示システム | |
KR102091860B1 (ko) | 영상 부호화 방법 및 장치 | |
JP2012060345A (ja) | 多視点画像作成装置及び多視点画像作成方法並びに多視点画像表示システム | |
CN106412562B (zh) | 三维场景中显示立体内容的方法及其系统 | |
JP4419139B2 (ja) | 奥行き信号生成装置、奥行き信号生成プログラム、擬似立体画像生成装置、及び擬似立体画像生成プログラム | |
US8976175B2 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
KR100272132B1 (ko) | 가상 세계 모델링 언어에 의해 표현된 영상의 입체화방법 및그 장치 | |
Li et al. | High-quality view interpolation based on depth maps and its hardware implementation | |
JP5888140B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム | |
JP6056459B2 (ja) | 奥行き推定データ生成装置、擬似立体画像生成装置、奥行き推定データ生成方法及び奥行き推定データ生成プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081010 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081023 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4214528 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111114 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121114 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131114 Year of fee payment: 5 |