JP3086577B2 - 2次元画像の3次元化方法 - Google Patents

2次元画像の3次元化方法

Info

Publication number
JP3086577B2
JP3086577B2 JP05324246A JP32424693A JP3086577B2 JP 3086577 B2 JP3086577 B2 JP 3086577B2 JP 05324246 A JP05324246 A JP 05324246A JP 32424693 A JP32424693 A JP 32424693A JP 3086577 B2 JP3086577 B2 JP 3086577B2
Authority
JP
Japan
Prior art keywords
image
dimensional
eye
dimensional image
foreground
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP05324246A
Other languages
English (en)
Other versions
JPH07182533A (ja
Inventor
一浩 澤池
敦郎 西垣
一行 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP05324246A priority Critical patent/JP3086577B2/ja
Publication of JPH07182533A publication Critical patent/JPH07182533A/ja
Application granted granted Critical
Publication of JP3086577B2 publication Critical patent/JP3086577B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、映画、VTR(Video T
ape Recorder) 、LD(Laser Disc)、CATV(Cable T
elevision)、テレビ電話、テレビ会議システム、及びビ
デオカメラの撮像信号等の2次元画像を3次元化する方
法に関する。
【0002】
【従来の技術】3次元画像は歴史的にかなり古くから存
在し、以来さまざまな方式が提案されてきたが、これま
での技術では十分な満足度が得られていないのが現状で
ある。
【0003】一般に人の目で認識できる画像は3次元画
像であるが、それを記録しようとすると絵画や写真のよ
うに2次元画像に置き換えることになる。また3次元画
像としての記録では彫刻等が古くからあるが、背景まで
実像に近いものを含めることは基本的にできていない。
【0004】このため人の目と同じ3次元で記録表示さ
せたいということが人が持つ自然な欲求の一つであり続
けているのが現状である。
【0005】ところで近年アミューズメント施設等で見
受けられるようになってきつつある3次元映像には表示
装置等において偏光あるいは色付け等の加工を施された
映像をスクリーンに映し出し、偏光あるいは色付けの眼
鏡を人が着用して実現し得るものが多くある。これらの
表示装置は元々左目映像と右目映像のソースがあり、そ
れを偏光あるいは色付け等の加工により同一のスクリー
ン上に映し出した後、眼鏡によって左目映像と右目映像
とを分離するものである。
【0006】また最近眼鏡なしの3次元映像表示装置が
実用化されたが、左目映像と右目映像が光学的に見てい
る人の夫々左目、右目に像を結ぶようになっており、元
々左目映像と右目映像のソースが準備されていることに
変わりはない。
【0007】そして実用化されている3次元画像表示装
置の殆どは、人の目が立体を知覚する時のさまざまな機
能、両眼視差、運動視差、輻奏、単眼の調節機能などの
内の、両眼視差を応用している。
【0008】ここで左右の目が離れていることによって
左目画像と右目画像において像のずれがあり、目と物体
との距離によって異なるずれの大小を大脳の視覚中枢で
遠近感として知覚しているのが両眼視差の機能である。
【0009】左目映像と右目映像のソースを作るには、
実写の場合、人間の左右の目の感覚距離だけ離して2台
のカメラを設置し撮影することで簡単に行える。その他
のアニメーション等の場合、両眼視差を応用して左目か
ら見た映像、右目から見た映像を作り出す。
【0010】最近のコンピュータグラフィックス技術の
進歩によりコンピュータに計算させてアニメーションの
左目映像、右目映像を比較的速く生成させることができ
るようになってきた。
【0011】前述のような人間の目で見える実像に近い
3次元画像でなくても実現し得る3次元画像のほぼ全て
が人間の両眼視差を応用しており、手前の画像が背景画
像に対し左目画像と右目画像とで左右にずれていること
から、例えば特開平2-293733号公報では平面的な背景画
像と手前画像夫々を別々に用意して、重ね合わせ合成を
行うことにより簡便に3次元画像を得られる方法が提案
されている。
【0012】このように新しく3次元映像を作り出すこ
とは比較的簡単にできるようになってきたが、既にある
2次元映像から3次元映像に変換することはあまり行わ
れてない。映画やTV、ビデオ、写真などの2次元映像
文化の歴史は長くその間に蓄えられた2次元映像は膨大
な量に上る。
【0013】またこれらの2次元映像の制作にかかった
費用や時間も莫大なものである。人類が持つこのような
2次元の文化財産をこれからの3次元映像表示装置、延
ては3次元映像文化に活用していくことが3次元映像産
業の発展、さらには生活やビジネスの文化の発展に寄与
していくものと考えられる。
【0014】そこで2次元画像ソースから3次元画像に
変換するため例えば特開平2-39690号公報の発明では撮
像した2次元画像から人物像を抽出し、この人物像と別
途用意した背景画像とを3次元手法的に異なる位置に表
示するよう表示装置を構成することにより、人物像を3
次元空間中に実像として表示できるように提案してい
る。
【0015】しかし、当該公報の技術では背景画像を元
々の人物像を含んだ2次元画像から取り出すのではなく
別途用意する必要があった。
【0016】
【発明が解決しようとする課題】ところで2次元画像ソ
ースを3次元画像の左目画像及び右目画像に変換するた
めには2次元画像中から背景より手前にある人物像の画
像を抽出し、両眼視差と遠近感に応じて手前画像を左右
にずらし、背景画像と重ね、左目画像及び右目画像がで
きる。
【0017】しかし、手前画像が元々在った領域には背
景画像情報がないことから、図4に示す通り、手前画像
がずれることによって画像情報のない領域ができてしま
うことになる。
【0018】この画像情報のない領域を背景画像あるい
は手前画像が左右に延長された画像として補填するには
コンピュータグラフィックスを主とするアニメーション
で作り出す方法も考えられるが、画像を類推して作り出
すことは大変な手間や労力がかかることを否めない。
【0019】その上既存の2次元画像ソースとして映画
やTV、ビデオ、写真等殆どのものは実写であり、実写
画像の一部にアニメーション画像が含まれることは画像
の質感が異なることから補填部分が際立って目について
しまい、違和感のある3次元画像になってしまう問題点
が生じる。
【0020】一方、背景画像を別途用意し、既存の手前
画像と合成する方式では、画像情報のない領域ができて
しまう問題点は克服できるものの、画像が別のものにな
ってしまうという問題点が生じる。
【0021】そこで本発明は既存の2次元画像の情報の
みからでも違和感の少ない3次元画像化を実現できる方
式を提供することを目的とする。
【0022】
【課題を解決するための手段】本発明は、2次元画像か
ら3次元画像用の左目画像あるいは右目画像を作成する
2次元画像の3次元化方法であって、背景画像やそれよ
り手前の人物像等からなる手前画像からなる2次元画像
から該手前画像を抽出するステップと、視差や遠近感に
応じて前記手前画像を水平方向に移動させるステップ
と、前記手前画像の移動によって生じる無画像情報領域
を補填するように移動後の前記手前画像を拡大するステ
ップと、前記手前画像と背景画像とを合成するステップ
とよりなる。
【0023】
【作用】上記構成において、手前画像を拡大せずにその
まま視差や遠近感に応じて左右にずらすこと等により生
ずる画像情報のない領域に画像情報を補填し、3次元表
示装置に供給できる左目画像及び右目画像を生成する。
【0024】
【実施例】以下本発明の2次元画像の3次元化方法の実
施例として、変換後の3次元用片目(右目)画像を生成
する方法を挙げて図面に基づき詳細に説明する。
【0025】図1(a)は本方法を解り易く説明するた
めの背景より手前にある画像の輪郭線が元々の2次元画
像に対しどのように変わったかを示す概念図を示してい
る。同図において、元々の2次元画像上の手前画像1
(図中黒塗りで示す)は拡大することと、視差や遠近感
に応じて背景に対し左右にずらすことの両方を少なくと
も行わせることにより手前画像2となる。
【0026】また図1(b)は前述のずらしの結果の3
次元片目(右目)画像を示す。同図において従来左右に
手前画像がずれることによって生じる画像情報のない領
域は以下に述べる方法によって補填され、違和感の少な
い画像が生成されている。
【0027】ここで3次元用の左目画像と右目画像と
は、左右へのずれ方が異なるだけで同様の方法にて生成
される。そしてこれらの画像はTVや映画の動画ソース
であっても良いし、写真や印刷物等の静止画ソースであ
っても構わない。
【0028】次に図2の本発明方法を説明するブロック
構成図について説明する。まずステップS1においてビ
デオカメラの撮影等の2次元画像の入力装置によって得
られた2次元画像ソースS2は左目画像・右目画像の夫
々の生成ブロックの流れに分岐される。
【0029】そして2次元画像ソースS2のデータから
夫々のブロック毎に手前画像を周知の輪郭検知の画像処
理技術等を用いて抽出する(ステップLS3、RS
3)。このときの手前画像抽出の過程は左目画像と右目
画像とで同一であるので当該ステップLS3、RS3は
共通化しても構わない。
【0030】次にステップLS4、RS4において視差
と遠近感に応じて手前画像を少なくとも左右に移動させ
る。このとき移動させた手前画像と背景画像との合成画
像には先に述べたように画像情報のない領域(無画像情
報領域)が生じる。
【0031】そこでステップLS5、RS5において前
記無画像情報領域を補填するように移動させた手前画像
を拡大させる。
【0032】そしてステップLS4、RS4で移動、ス
テップLS5、RS5で拡大を済ませた手前画像と、元
々の背景画像とをステップLS6、RS6において手前
画像を優先して選択することにより合成する。これは背
景画像と拡大された手前画像とで重なることを防止する
ためである。
【0033】こうして生成された3次元画像ソースとな
る3次元左目画像LS7と3次元右目画像RS7は視差
による左右のずれが確保されているため、ステップ8に
おいて偏光方式の3次元表示装置による映写等の3次元
画像表示装置・手段により表示され、人の目に3次元の
映像として認知される。
【0034】このように上記実施例の方法によれば手間
や労力が少なくて済む簡便な方法で2次元画像から違和
感の少ない3次元画像を得ることが可能となる。
【0035】尚、上記の3次元画像への変換の過程で、
画像はビデオ信号の電気信号で処理されても構わない
し、電気信号で処理されなくても構わない。また撮影装
置等の2次元画像入力装置が無く、ビデオテープやビデ
オ信号等により2次元画像ソースを入手しても構わない
し、あるいは3次元画像表示装置が無くビデオテープや
ビデオ信号等の3次元画像ソースとして他の装置に出力
しても構わない。
【0036】さて前述したような手前画像を拡大させる
方法としては重心などのある点を中心にした拡大でも良
いし、あるいは左右方向だけ又は上下方向だけを拡大し
ても構わない。また中心線(直線)を基線として拡大を
行っても良いし、直線ではなく曲線を基線としても構わ
ない。
【0037】拡大のための基線を決める一例として次の
ようなものがある。
【0038】(1)輪郭線から内側に該輪郭線と平行な
曲線(直線群)を作り、その曲線に対しさらに内側の曲
線(直線群)を作るというように曲線(直線群)で囲ま
れた領域を各部分同じ割合(速さ)で次第に小さくして
いく。そうすると領域における境界線と対面の境界線が
くっつく。
【0039】このようにくっついたところの曲線(直線
群)を残していくようにすると、最終的に枝わかれして
いることが多く、且つ内部面積を持たない曲線(直線
群)ができる。例えば図3(a)に示すような外形をし
た図形の場合、内部に図のような基線を規定することが
できる。
【0040】(2)基線のでき始めについては図3
(b)に示すように勾配が不連続となる点(頂点)が直
線の線分で囲まれている場合、勾配が不連続となる点
(頂点)がいくつかあり、各頂点間の線分(辺)が短い
もの(短辺)と長いもの(長辺)があり、領域を次第に
小さくしていくと短辺と長辺共に短くなっていき、短辺
の長さが無くなる時がある。この時から基線ができ始め
るものとする。
【0041】(3)一方直線の線分で囲まれていても、
図3(c)に示すように短辺のみの長さがなくならず、
長さがなくなったときは、基線は点(点群)になってい
る場合もある。
【0042】(4)曲線の線分で囲まれている場合も、
前記(1)〜(3)の条件に準じる。不連続点(頂点)
がいくつかある場合、辺の長さがなくなるときは必ず基
線ができる。
【0043】不連続点(頂点)がなくとも図3(d)に
示すように領域における境界線と対面との境界線が18
0°の関係でくっつく場合、その接点(接点群)から基
線ができ始める。
【0044】さらに図3(e)に示すような外形をした
曲線図形の場合、内部に図示のごとき基線を規定するこ
とができる。
【0045】そして上記(1)〜(4)の方法で規定さ
れた基線を基に、領域を小さくするのと逆に輪郭線を大
きくするようにして、手前画像の拡大は実現可能とな
る。
【0046】
【発明の効果】現在実用化されている3次元表示装置の
殆どは人の目が立体を知覚する時のさまざまな機能、両
眼視差、運動視差、輻奏、単眼の調節機能などのうちの
両眼視差を応用している。
【0047】左右の目が離れていることによって左目画
像と右目画像において像のずれがあり、目と物体の距離
によって異なるずれの大小を大脳の視覚中枢で遠近感と
して知覚しているのが両眼視差の機能である。
【0048】2次元画像ソースから左目画像と右目画像
を作り出すには背景画像に対して手前画像を左右にずれ
させると良いのであるが、ただずれさせただけでは手前
画像が元々あって、ずれさせた後は手前画像が無くなっ
たところに画像情報を持たない部分が発生するため、新
たに画像情報を作る等の補正方法をとる必要があった。
【0049】また、新たに画像情報を作ることは大変な
手間と労力がかかる上、補正した画像部分は質感が異な
ること等から補正部分が目立ち、違和感のある左目画像
や右目画像しか得られなかった。
【0050】しかしながら本発明の方法によれば手前画
像を効果的に拡大、移動させることにより新たに画像情
報を作ることのない比較的簡便な方法で、且つ元々の画
像情報を活用することから比較的違和感の無い方法で2
次元画像ソースから3次元画像ソースを作り出すことが
できる。
【0051】従って人がこれまで作り出し蓄えてきた映
画、TV記録ビデオ、写真等の2次元画像による膨大な
文化財産は3次元画像として変換して有効に活用するこ
とができ、また2次元の撮影機器等の画像入力装置も引
き続き活用できる効果が期待できる。
【図面の簡単な説明】
【図1】(a)は本発明の2次元画像の3次元化方法の
一実施例である右目画像を示す図、(b)は結果として
得られた3次元画像用右目画像を示す図である。
【図2】本発明方法を説明するブロックで表された流れ
図である。
【図3】(a)〜(e)は画像の拡大のさまざまな基線
の規定方法を説明する図である。
【図4】従来の方法による3次元画像用右目画像を示す
図である。
【符号の説明】
1 元々の手前画像 2 3次元化された手前画像
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 15/00 G06T 7/00 G06T 1/00 H04N 13/00 特許ファイル(PATOLIS) JICSTファイル(JOIS)

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】 2次元画像から3次元画像用の左目画像
    あるいは右目画像を作成する2次元画像の3次元化方法
    であって、背景画像やそれより手前の人物像等からなる
    手前画像からなる2次元画像から該手前画像を抽出する
    ステップと、視差や遠近感に応じて前記手前画像を水平
    方向に移動させるステップと、前記手前画像の移動によ
    って生じる無画像情報領域を補填するように移動後の前
    記手前画像を拡大するステップと、前記手前画像と背景
    画像とを合成するステップとよりなる2次元画像の3次
    元化方法。
JP05324246A 1993-12-22 1993-12-22 2次元画像の3次元化方法 Expired - Fee Related JP3086577B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05324246A JP3086577B2 (ja) 1993-12-22 1993-12-22 2次元画像の3次元化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05324246A JP3086577B2 (ja) 1993-12-22 1993-12-22 2次元画像の3次元化方法

Publications (2)

Publication Number Publication Date
JPH07182533A JPH07182533A (ja) 1995-07-21
JP3086577B2 true JP3086577B2 (ja) 2000-09-11

Family

ID=18163666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05324246A Expired - Fee Related JP3086577B2 (ja) 1993-12-22 1993-12-22 2次元画像の3次元化方法

Country Status (1)

Country Link
JP (1) JP3086577B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172097A1 (ja) 2012-05-14 2013-11-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9686529B2 (en) 2012-05-14 2017-06-20 Saturn Licensing Llc Image processing apparatus, image processing method, and program

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997015150A1 (fr) * 1995-10-19 1997-04-24 Sony Corporation Procede et dispositif de formation d'images en trois dimensions
JP3934211B2 (ja) * 1996-06-26 2007-06-20 松下電器産業株式会社 立体cg動画像生成装置
KR100445619B1 (ko) 1996-07-18 2004-08-25 산요덴키가부시키가이샤 2차원 영상을 3차원 영상으로 변환하는 장치 및 방법
FR2754611B1 (fr) * 1996-10-15 1998-12-31 Atelier Publi 3 Procede de visualisation tridimentsionnelle d'un objet et ensemble de visualisation correspondant
US7271803B2 (en) 1999-01-08 2007-09-18 Ricoh Company, Ltd. Method and system for simulating stereographic vision
JP4672094B2 (ja) 1999-01-22 2011-04-20 ソニー株式会社 画像処理装置および方法、並びに記録媒体
JP2004040445A (ja) 2002-07-03 2004-02-05 Sharp Corp 3d表示機能を備える携帯機器、及び3d変換プログラム
JP2007272318A (ja) * 2006-03-30 2007-10-18 Rozefu Technol:Kk 人物写真画像の加工方法
KR100915039B1 (ko) * 2007-10-11 2009-09-02 최명렬 다중 초점 2차원 영상을 이용한 3차원 입체 영상 변환 방법및 변환 장치와 이를 위한 기록매체
JP5540942B2 (ja) 2010-06-29 2014-07-02 富士通セミコンダクター株式会社 処理装置
JP5008772B2 (ja) * 2011-04-28 2012-08-22 日本電信電話株式会社 静止画の動画化方法、装置およびプログラム
JP5726646B2 (ja) * 2011-06-10 2015-06-03 株式会社東芝 画像処理装置、方法、及びプログラム
JP5900321B2 (ja) * 2012-02-08 2016-04-06 株式会社Jvcケンウッド 画像処理装置、画像処理方法及び画像処理プログラム
WO2013146041A1 (ja) 2012-03-28 2013-10-03 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP2021118479A (ja) 2020-01-28 2021-08-10 株式会社ジャパンディスプレイ 画像処理装置およびヘッドアップディスプレイ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013172097A1 (ja) 2012-05-14 2013-11-21 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US9686529B2 (en) 2012-05-14 2017-06-20 Saturn Licensing Llc Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JPH07182533A (ja) 1995-07-21

Similar Documents

Publication Publication Date Title
JP3086577B2 (ja) 2次元画像の3次元化方法
US4925294A (en) Method to convert two dimensional motion pictures for three-dimensional systems
EP2188672B1 (en) Generation of three-dimensional movies with improved depth control
US5530774A (en) Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields
US8243123B1 (en) Three-dimensional camera adjunct
JP4351996B2 (ja) モノスコープ・イメージから立体的なイメージを生成するための方法
US20020191841A1 (en) Image processing method and apparatus
JP3524147B2 (ja) 3次元画像表示装置
US20090219383A1 (en) Image depth augmentation system and method
JP2002174866A (ja) ダイアゴナルレンチキュラー画像システム
WO2000035200A9 (en) Image correction method to compensate for point of view image distortion
JP3452244B2 (ja) 3次元表示方法及び装置
JP3538263B2 (ja) 画像生成方法
JP3091644B2 (ja) 2次元画像の3次元化方法
Owczarczyk et al. Evaluation of true 3 D display systems for visualizing medical volume data
US20010043400A1 (en) Lenticular image product with zoom image effect
Mori et al. An overview of augmented visualization: observing the real world as desired
JP7011728B2 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
Venolia et al. Virtual integral holography
JP7336871B2 (ja) 全天周映像処理装置及びプログラム
JP2005026772A (ja) 立体映像表示方法及び立体映像表示装置
JPH07175930A (ja) 画像処理装置
JP3357754B2 (ja) 疑似ステレオ画像生成方法及び疑似ステレオ画像生成装置
JPH0447377A (ja) コンピュタ・三次元グラフィック・システム
JPH09261537A (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080707

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080707

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090707

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100707

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110707

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120707

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130707

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees