JP4956658B2 - 立体映像変換装置及び立体映像表示装置 - Google Patents
立体映像変換装置及び立体映像表示装置 Download PDFInfo
- Publication number
- JP4956658B2 JP4956658B2 JP2010229607A JP2010229607A JP4956658B2 JP 4956658 B2 JP4956658 B2 JP 4956658B2 JP 2010229607 A JP2010229607 A JP 2010229607A JP 2010229607 A JP2010229607 A JP 2010229607A JP 4956658 B2 JP4956658 B2 JP 4956658B2
- Authority
- JP
- Japan
- Prior art keywords
- convergence angle
- parallax
- amount
- video
- conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
左右映像を撮影する立体撮像装置では立体映像表示時での立体感を変化させるために2つの撮像装置の光軸に角度をつけて輻輳配置にした撮像システムがある。このように2つの撮像装置が内側を向くように輻輳を付けて左右に配置した場合、右側の撮像装置の撮像視野と左側の撮像装置の撮像視野との関係は、被写体の奥行きに応じて変化する。被写体が手前にある場合は、右側の撮像装置の撮像視野は右側に、左側の撮像装置の撮像視野は左側に位置するが、左右の撮像装置の光軸が交差する点である輻輳点では右側の撮像装置の撮像視野と左側の撮像装置の撮像視野とが一致する。さらに奥の被写体では、右側の撮像装置の撮像視野は左側に、左側の撮像装置の撮像視野は右側に位置し、左右の関係が逆転する。これを表示装置に、右側の撮像装置の画像を右眼に、左側の撮像装置の画像を左眼に表示させると、手前の被写体に対しては表示装置の手前に飛び出して見え、輻輳点の被写体は表示装置の表示面と同じ位置に見え、それより奥の被写体は表示装置の表示面より引っ込んで見えるようになる。
また、輻輳点の位置を変化させずに、引っ込み方向の視差量を所定の視差量以下に調整することができるため、ディスプレイ面上に表示される視差0の被写体位置が変化することがない。
図1は、本発明による立体映像変換装置の概略構成例を示す図である。図1(A)は立体映像変換装置を含む立体映像変換システムの構成例を示す図で、図中、100は立体映像変換装置、101は映像入力装置、102は映像出力装置を示す。また、図1(B)は立体映像変換装置100の構成例を示すブロック図である。この立体映像変換装置100は、撮像条件抽出部111、映像変換部112を備え、映像入力装置101から得られる2つ以上の視点の異なる映像の一例として左右の映像を撮像した際の輻輳角を変更(例えば、射影変換など)し、この輻輳角が変更された左右映像を映像出力装置102に出力する。
図2は、輻輳のついた撮像装置で撮影した場合の光学系に関して上方から見た場合の概略図である。図2では簡略化のため2次元で表記し、2つの撮像装置のうち片側の撮像装置のみ記載している。2つの撮像装置201Lと201Rが基準面202上に左側に左撮像装置201L、右側に右撮像装置201Rとなるように距離Wbの間隔で配置されている。
DL = w’/wc = dL/ w …式(1)
これより、撮像装置201Lで撮影された映像をそのまま表示させると表示画面幅Wに対して(W×DL)分だけ中心よりずれた位置に被写体Oが表示されることになる。
DL = dL/ wL …式(2)
DR = dR/ wR …式(3)
と表される。ここでwL、wRは前述の図2のwに対応し、それぞれのカメラにおいての点Oを通り、光軸に垂直でかつ撮影画角内における幅に相当する。
d=(DL+DR)×W …式(4)
で示される。
通常の映像には視差量の大きな被写体と視差量の小さな被写体とが含まれているが、例えば、入力映像に含まれるある被写体の視差量が表示画面幅Wに対してt%であれば、表示装置で表示される視差量は表示画面幅Wのt%となり、視差量は、W×t/100、となる。ここで、被写体距離と視差の対応関係について例を用いて説明する。例えば、前述の図3において、撮像装置の間隔Wbを65mm、撮像装置の画角を52度、輻輳角θを2.5度とした場合、輻輳点までの距離は約1.5mとなり、1.5mより遠方の被写体には引っ込み方向の視差がつく。このような撮影条件において、被写体Oの距離Loの値を輻輳点からさらに遠方に変化させた場合に被写体Oにおける画面幅に対する視差量の割合がどのように変化するのかを図5に示す。図5に示すように被写体Oが無限遠にある場合には表示画面幅に対する視差量の割合はある一定の値の約4.5%に収束する。この場合、例えば表示画面幅が132.9cmである映像表示装置に表示した際には、最大視差量は132.9×4.5/100≒6.0cmとなり、子供の平均的な目幅間隔の5cmよりも大きな視差となる。
DL+DR≒α×(Tan(θ/2)/Tan(θv/2)) …式(5)
と示すことができる。ここでαはカメラ配置やカメラパラメータで決まる画角と輻輳角に依存しない係数である。つまり、最大の視差の割合である収束値は輻輳角θと撮像装置の画角θvによって示すことができる。ただし、ここでは無限遠L0に対して基線長は十分に小さくなる値としている。また、θが0の場合、つまり2つの撮像装置が平行に配置されている場合は、無限遠の視差の割合は0に収束する。
図6は、本発明の第1の実施例に係る映像変換部112の構成例を示すブロック図である。映像変換部112は、撮像条件抽出部111で抽出された輻輳角変換情報及び左右映像を表示させる表示画面の表示サイズ情報に基づいて、左右映像の最大視差量を算出し、算出した最大視差量が予め指定された指定最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部112aと、輻輳角補正値算出部112aで算出した輻輳角補正値に基づいて左右映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部112bとから構成される。
次に、輻輳角補正値算出部112aの処理の一例について、図7のフローチャートに基づいて説明する。輻輳角補正値算出部112aは、左右入力映像の輻輳角変換情報と、左右入力映像を表示する表示装置の表示サイズ情報とを入力し、表示装置の表示画面より奥側に引っ込む方向の最大視差量を算出する(ステップS1)。そして、算出した最大視差値が最大視差量情報によって示される指定最大視差量を超えているか否かを判定する(ステップS2)。指定最大視差量を超えている場合(YESの場合)、表示装置の表示画面より奥側に引っ込む方向の左右入力映像の最大視差値が指定最大視差量以下となるように輻輳角を調整するための輻輳角補正値を左右入力映像毎に算出する(ステップS3)。また、ステップS2において、指定最大視差量を超えていない場合(NOの場合)、左右入力映像の輻輳角補正値をともに0にする(ステップS4)。そして、算出した左右入力映像毎の輻輳角補正値を輻輳角変換処理部112bへ出力する。
次に、輻輳角変換処理部112bについて説明する。輻輳角変換処理部112bは、輻輳角補正値算出部112aにて算出した左右入力映像毎の輻輳角補正値に基づいて、入力左右映像の映像変換を行って、最大視差量が指定最大視差量以下となるように輻輳角を変換した左右映像を出力する。
θ=θL+θR …式(6)
θL′=θL−θyL …式(7)
θR′=θR−θyR …式(8)
なお、θyL及びθyRは輻輳角補正値に相当する。
θ′=θL′+θR′ …式(9)
次に、クロスポイントがP、輻輳角θで撮影された画像を、クロスポイントP′、輻輳角θ′の画像に変換する方法について説明する。3次元上の点X= [Xx Xy Xz]Tを撮像装置の3次元座標系のY軸を中心に回転させた点X′= [X’x X’y X’z]Tは、下記の式(10)で示されるY軸回転式で表わすことができる。
X′=RX …式(10)
θy:Y軸の回転角(回転方向は右ねじの方向)
sx′=ARA−1x …式(11)
fx,fy:X,Y軸成分の焦点距離
cx,cy:主点座標
s:スケール係数(右辺のz成分の逆数)
図9は、輻輳角変換による視差量と左右画像の相対位置を変えた場合の視差量とを比較して説明するための概念図である。本発明での左右画像の相対位置とはどちらか片側の画像に対してもう片側の画像を水平方向にシフトさせることや両画像共にシフトさせることを意味し、今後の記載で相対位置とはこのように定義するものとする。2つの撮像装置201L、201Rの光軸がそれぞれCL、CRであり、基線長Wb、輻輳角θとなった配置となっている。この時輻輳点はPの位置(基準面202からの距離Lp)になる。また、基準面202から距離Loでの視差量を視差量d、低減後の視差量を視差量d′とする。実際には表示サイズと視差の割合によって表示上の視差量が規定されるが、説明の簡略化のため、ここでは表示サイズ、撮影画角を同じ条件とし、視差量dとd’の相対値がそのまま表示上の視差の相対値になるものとしている。
また、視差量を調整する手法として2つの撮像装置から得られた画像から領域ごとの視差情報を算出し、この視差情報を用いて画像変換させるという手法もあるが、視差算出のための処理量が膨大であることや画像領域全体で精度のよい視差情報を得ることが困難であるなどの大きな課題もある。本発明ではこのような視差算出を行う必要がなく、簡単且つ低負荷の処理で視差制御が可能であり、リアルタイムでの変換処理が可能となる。
図10は、本発明の第2の実施例に係る映像変換部の構成例を示すブロック図である。図10の映像変換部112は、前述の第1の実施例の映像変換部112(図6)の構成を変更したものであり、図6の映像変換部112を除いた構成に関しては、第1の実施例と同じであるため、ここでの説明は省略する。
以上のように、左右映像をクロスポイントPを中心に回転することによって、表示画面奥側の最大視差量を指定最大視差量以下とし、クロスポイントが移動しない映像に変換することができる。
Claims (10)
- 視点の異なる2つ以上の映像を入力し、該入力した2つ以上の映像の輻輳角を変更して出力する立体映像変換装置であって、
前記2つ以上の映像を撮像した際の撮像条件である輻輳角変換情報を抽出する撮像条件抽出部と、前記2つ以上の映像を撮像した際の輻輳角を変更する映像変換部とを備え、
該映像変換部は、前記撮像条件抽出部により抽出された輻輳角変換情報及び前記2つ以上の映像を表示させる表示画面の表示サイズ情報に基づいて、前記2つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出する輻輳角補正値算出部と、該算出した輻輳角補正値に基づいて前記2つ以上の映像を撮像した際の輻輳角を変更させた映像を生成する輻輳角変換処理部とを備えたことを特徴とする立体映像変換装置。 - 前記映像変換部は、前記輻輳角変更前の輻輳点の位置と前記輻輳角変更後の輻輳点の位置とが一致するように前記輻輳角変換処理部で生成された映像の相対位置を変換する相対位置変換処理部を備えたことを特徴とする請求項1に記載の立体映像変換装置。
- 前記輻輳角変換処理部は、前記2つ以上の映像の最大視差量を低減させるように輻輳角を変更させることを特徴とする請求項1又は2に記載の立体映像変換装置。
- 前記予め指定された最大視差量は、視聴者の目幅間隔であることを特徴とする請求項1〜3のいずれか1項に記載の立体映像変換装置。
- 前記視聴者の目幅間隔は、5cmであることを特徴とする請求項4に記載の立体映像変換装置。
- 前記輻輳角変換処理部は、前記2つ以上の映像の最大視差量を拡大させるように輻輳角を変更させることを特徴とする請求項1又は2に記載の立体映像変換装置。
- 前記撮像条件抽出部は、前記撮像条件として、さらに、前記2つ以上の映像を撮像した際の輻輳角情報、基線長情報、及び画角情報を抽出し、前記輻輳角補正値算出部は、前記表示サイズ情報、前記輻輳角情報、前記基線長情報、及び前記画角情報に基づいて、前記2つ以上の映像の最大視差量を算出し、該算出した最大視差量が予め指定された最大視差量以下となる輻輳角補正値を算出することを特徴とする請求項1〜6のいずれか1項に記載の立体映像変換装置。
- 前記撮像条件抽出部は、前記2つ以上の映像のメタデータから前記撮像条件を抽出することを特徴とする請求項1〜7のいずれか1項に記載の立体映像変換装置。
- 前記撮像条件抽出部は、前記2つ以上の映像それぞれを撮像した撮像装置を特定する機器情報に基づいて、該機器情報と前記撮像条件とが対応付けられたテーブルを参照することによって前記撮像条件を抽出することを特徴とする請求項1〜7のいずれか1項に記載の立体映像変換装置。
- 請求項1〜9のいずれか1項に記載の立体映像変換装置を備えたことを特徴とする立体映像表示装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010229607A JP4956658B2 (ja) | 2010-10-12 | 2010-10-12 | 立体映像変換装置及び立体映像表示装置 |
EP11832475.5A EP2629536A1 (en) | 2010-10-12 | 2011-10-06 | Stereoscopic image conversion device and stereoscopic image display device |
PCT/JP2011/073081 WO2012050040A1 (ja) | 2010-10-12 | 2011-10-06 | 立体映像変換装置及び立体映像表示装置 |
CN2011800491169A CN103181175A (zh) | 2010-10-12 | 2011-10-06 | 立体影像转换装置及立体影像显示装置 |
US13/823,630 US20130170737A1 (en) | 2010-10-12 | 2011-10-06 | Stereoscopic image converting apparatus and stereoscopic image displaying apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010229607A JP4956658B2 (ja) | 2010-10-12 | 2010-10-12 | 立体映像変換装置及び立体映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012085102A JP2012085102A (ja) | 2012-04-26 |
JP4956658B2 true JP4956658B2 (ja) | 2012-06-20 |
Family
ID=45938269
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010229607A Expired - Fee Related JP4956658B2 (ja) | 2010-10-12 | 2010-10-12 | 立体映像変換装置及び立体映像表示装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20130170737A1 (ja) |
EP (1) | EP2629536A1 (ja) |
JP (1) | JP4956658B2 (ja) |
CN (1) | CN103181175A (ja) |
WO (1) | WO2012050040A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4787369B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
WO2011136137A1 (ja) * | 2010-04-28 | 2011-11-03 | 富士フイルム株式会社 | 立体撮像装置及びその制御方法 |
CN103329549B (zh) | 2011-01-25 | 2016-03-09 | 富士胶片株式会社 | 立体视频处理器、立体成像装置和立体视频处理方法 |
CN102802015B (zh) * | 2012-08-21 | 2014-09-10 | 清华大学 | 一种立体图像视差优化方法 |
US9398264B2 (en) | 2012-10-19 | 2016-07-19 | Qualcomm Incorporated | Multi-camera system using folded optics |
US10178373B2 (en) | 2013-08-16 | 2019-01-08 | Qualcomm Incorporated | Stereo yaw correction using autofocus feedback |
WO2015100490A1 (en) * | 2014-01-06 | 2015-07-09 | Sensio Technologies Inc. | Reconfiguration of stereoscopic content and distribution for stereoscopic content in a configuration suited for a remote viewing environment |
KR101622344B1 (ko) * | 2014-12-16 | 2016-05-19 | 경북대학교 산학협력단 | 적응적 영역 가중치가 적용된 센서스 변환 기반 스테레오 정합을 통한 시차 계산 방법 및 그 시스템 |
US10561304B2 (en) | 2015-06-24 | 2020-02-18 | Sony Olympus Medical Solutions Inc. | Medical stereoscopic observation device, medical stereoscopic observation method, and program |
US20190241070A1 (en) | 2016-10-28 | 2019-08-08 | Mitsubishi Electric Corporation | Display control device and display control method |
CN107895399A (zh) * | 2017-10-26 | 2018-04-10 | 广州市雷军游乐设备有限公司 | 一种全方位视角切换方法、装置、终端设备及存储介质 |
KR102113285B1 (ko) * | 2018-08-01 | 2020-05-20 | 한국원자력연구원 | 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치 |
CN113426113B (zh) * | 2021-07-05 | 2024-06-25 | 未来科技(襄阳)有限公司 | 3d游戏启动器及2d游戏的3d启动方法 |
CN113645462B (zh) * | 2021-08-06 | 2024-01-16 | 深圳臻像科技有限公司 | 一种3d光场的转换方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3157384B2 (ja) * | 1994-06-20 | 2001-04-16 | 三洋電機株式会社 | 立体映像装置 |
JP3619063B2 (ja) * | 1999-07-08 | 2005-02-09 | キヤノン株式会社 | 立体画像処理装置、その方法、立体視パラメータ設定装置、その方法そしてコンピュータプログラム記憶媒体 |
EP2357837A3 (en) * | 2002-03-27 | 2012-02-22 | Sanyo Electric Co., Ltd. | Method and apparatus for processing three-dimensional images |
JP3749227B2 (ja) * | 2002-03-27 | 2006-02-22 | 三洋電機株式会社 | 立体画像処理方法および装置 |
EP1617684A4 (en) * | 2003-04-17 | 2009-06-03 | Sharp Kk | THREE-DIMENSIONAL IMAGE CREATION DEVICE, THREE-DIMENSIONAL IMAGE REPRODUCING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING DEVICE, THREE-DIMENSIONAL IMAGE PROCESSING PROGRAM, AND RECORDING MEDIUM CONTAINING THE SAME |
JP2005073049A (ja) * | 2003-08-26 | 2005-03-17 | Sharp Corp | 立体映像再生装置および立体映像再生方法 |
JP4763571B2 (ja) * | 2006-10-24 | 2011-08-31 | シャープ株式会社 | 立体画像生成装置及び立体画像復号装置 |
JPWO2011086636A1 (ja) * | 2010-01-13 | 2013-05-16 | パナソニック株式会社 | ステレオ画像用撮像装置、ステレオ画像用撮像方法、ステレオ画像表示装置、および、プログラム |
JP5444452B2 (ja) * | 2010-03-05 | 2014-03-19 | パナソニック株式会社 | 立体撮像装置および立体撮像方法 |
-
2010
- 2010-10-12 JP JP2010229607A patent/JP4956658B2/ja not_active Expired - Fee Related
-
2011
- 2011-10-06 US US13/823,630 patent/US20130170737A1/en not_active Abandoned
- 2011-10-06 WO PCT/JP2011/073081 patent/WO2012050040A1/ja active Application Filing
- 2011-10-06 CN CN2011800491169A patent/CN103181175A/zh active Pending
- 2011-10-06 EP EP11832475.5A patent/EP2629536A1/en not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN103181175A (zh) | 2013-06-26 |
US20130170737A1 (en) | 2013-07-04 |
EP2629536A1 (en) | 2013-08-21 |
JP2012085102A (ja) | 2012-04-26 |
WO2012050040A1 (ja) | 2012-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4956658B2 (ja) | 立体映像変換装置及び立体映像表示装置 | |
CN102722080B (zh) | 一种基于多镜头拍摄的多用途立体摄像方法 | |
EP2328125B1 (en) | Image splicing method and device | |
US11558600B2 (en) | Multiscopic image capture system | |
JP2017505565A (ja) | 多面映像の生成方法及びシステム | |
JP4489610B2 (ja) | 立体視可能な表示装置および方法 | |
JP5450330B2 (ja) | 画像処理装置および方法、ならびに立体画像表示装置 | |
US11812009B2 (en) | Generating virtual reality content via light fields | |
US10074343B2 (en) | Three-dimensional image output apparatus and three-dimensional image output method | |
JP6055223B2 (ja) | 射影変換映像生成装置及びそのプログラム、並びに、多視点映像表現装置 | |
JP2010181826A (ja) | 立体画像形成装置 | |
JP2016504828A (ja) | 単一のカメラを用いて3d画像を取り込む方法およびシステム | |
US8928673B2 (en) | Methods and systems for 3D animation | |
JP2019029721A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2011141381A (ja) | 立体画像表示装置及び立体画像表示方法 | |
JP6016180B2 (ja) | 画像処理方法及び画像処理装置 | |
Park et al. | 48.2: Light field rendering of multi‐view contents for high density light field 3D display | |
KR101634225B1 (ko) | 다시점 입체 영상 보정 장치 및 방법 | |
US9591284B2 (en) | Visually-assisted stereo acquisition from a single camera | |
US10110876B1 (en) | System and method for displaying images in 3-D stereo | |
JP2012105172A (ja) | 画像生成装置、画像生成方法、コンピュータプログラムおよび記録媒体 | |
JP2011182003A (ja) | パノラマカメラ及び360度パノラマ立体映像システム | |
JP4249187B2 (ja) | 立体映像処理装置並びにそのプログラム | |
TWI530155B (zh) | 包裝多視角圖框的方法、裝置及儲存包裝圖框之非暫態儲存媒體 | |
TW201325201A (zh) | 可追蹤觀看者的立體顯示器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120221 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120316 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |