JP4875762B2 - 画像処理装置、画像表示装置および画像撮像装置 - Google Patents
画像処理装置、画像表示装置および画像撮像装置 Download PDFInfo
- Publication number
- JP4875762B2 JP4875762B2 JP2010120216A JP2010120216A JP4875762B2 JP 4875762 B2 JP4875762 B2 JP 4875762B2 JP 2010120216 A JP2010120216 A JP 2010120216A JP 2010120216 A JP2010120216 A JP 2010120216A JP 4875762 B2 JP4875762 B2 JP 4875762B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- subject
- processing apparatus
- main subject
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
例えば、カメラの光軸が平行になるように2台のカメラを直線上に配置し、同一被写体を撮影する場合を想定する。このとき、被写体が遠方にあると、当該被写体の視差はほぼ0になる。そして、カメラと被写体との距離が短くなるにつれて、当該被写体の視差が大きくなる。従って、視差が大きい被写体を含む2つの画像に基づき立体画像を生成し、表示出力すると、前記被写体の飛び出し量が大きくなり(近づいて見える)、立体感が強調される。
前述したように、直線上に配置された2台のカメラを用いて主要被写体1600、1601、背景1602を撮影した画像に対して各種画像処理を実行し、立体画像を生成し、立体画像表示装置(以下、表示装置と略記する)に表示出力する。
このように、図16に示した主要被写体1600、1601、背景1602の立体画像を表示パネルPに表示すると、主要被写体1600、1601が背景1602付近に引っ込んでいるように観察者により知覚されてしまう。その結果、被写体の立体感を十分に得ることができず、立体画像としての立体感が弱まって知覚されてしまう。
以下、図面を用いて本発明を詳細に説明する。なお、各図における構成は理解しやすいように誇張して記載しており、実際の間隔や大きさとは異なる。
図1は、実施例1で説明する、本発明の画像処理装置100の機能ブロック図である。
画像処理装置100は、視差補正部101、主要被写体決定部102、視差変換部103、画像生成部104から構成され、1視点からの撮影画像と前記撮影画像に対応する視差画像を入力とし、前記撮影画像と前記視差画像に基づいて立体画像を生成するものである。
主要被写体決定部102は、入力された撮影画像の主要被写体を決定し、主要被写体の位置情報を視差変換部103に出力する。
その結果、主要被写体の立体感が強調されるように視差が変換される。
すなわち、画像生成部104は、視差変換部103が変換した視差による視差画像と、撮影画像に基づいて立体画像を生成する。
視差画像206の他の画素206bにも、画素206bに対応する左画像204の被写体の視差が格納されている。
なお、視差の単位は画素でもよいし距離でもよい。
視差補正方法には、代表的な2つの方法がある。1つは視差を正規化する方法、もう1つは視差をクリップする方法である。視差を正規化すると、視差が飽和せずに、全体の奥行き関係が保存され、視差をクリップすると、立体視可能な範囲内の視差を持つ被写体の奥行き量は保持される特徴がある。
図3は、視差を正規化する視差補正式のグラフを示し、前記視差補正式は、(式1)で表される。
Dout_minは立体視可能な視差の最小値、Dout_maxは立体視可能な視差の最大値であり、融合限界の視差に対応する。
図5は、観察者が表示装置を見た場合の左右画像間の視差と奥行き量の関係を示すグラフである。奥行き量とは飛び出し量と引っ込み量のことであり、飛び出し量とは実際の表示位置よりも観察者の方へ近づいて見える量で、引っ込み量とは実際の表示位置よりも観察者から遠ざかって見える量のことである。
図6に示す被写体Aの手前側面の視差をDin(入力視差)とする。ここで、視差Dinの値を0に変換、すなわち、変換後の視差を0(以下、変換後の視差をDoutと記す)にして、視差が0の被写体Aを表示装置Pに表示すると、被写体Aは、観察者によって、表示装置Pの画像表示面である位置600付近に知覚される。
図7は、図3に示した、正規化することにより補正した視差に視差変換を実行する視差変換式のグラフを示し、図8は、クリップすることにより補正した視差に視差変換を実行する視差変換式のグラフを示す。
出力視差Doutは視差変換後の視差を示し、Dout_maxは視差変換後の最大視差、Dout_minは視差変換後の最小視差を示す。
線302は視差変換前の入力視差Dinと視差変換後の出力視差Doutの関係を表す。Din0、Dout0については任意の値とすることができる。
図7のグラフによれば、入力視差は減らされ、図8のグラフによれば、入力視差は増やされる。
図6で説明した被写体Aが位置600付近に知覚されている状態において、図8のグラフに示した変換式を用いて被写体Aの視差を増やして正の値に変換すると、被写体Aは、位置601のように画像表示面の手前側に飛び出すように知覚される。
視差を増やすことにより、主要被写体1600は位置1000付近に知覚され、主要被写体1601は位置1001付近に知覚されるようになる。このようにすることで、奥行き量を拡大することができ、立体感が強調される。
図17と比べると、視差を増やすことにより、背景1602の位置と、主要被写体1600、1601との位置の違いがはっきりと知覚されるようになる。その結果、立体感が強調された画像表示が可能になる。
ここで、立体画像生成方法を以下に述べる。撮影画像をI、視差画像をD、出力画像をOとする。画像中の座標(x、y)における画素値をI(x、y)とD(x、y)で表す。(式11)を用いて撮影画像Iから出力画像Oへ視差分水平移動した画像を作成する。
その結果、主要被写体と前景または背景との奥行き量を変換し、観察者が立体視可能な範囲内で立体感を強調した画像を生成することができる。
本実施例では、Din0とDout0という入力視差と出力視差の1組を用いたが、2組以上を用いて視差の変換を行っても、同様の効果を得ることができる。
以下、本発明の実施例2について図面を参照して詳細に説明する。ただし、実施例1と同様の機能を有する部分については同一の符合を付している。
図11は、実施例2で説明する、本発明の画像処理装置1100の機能ブロック図である。
画像処理装置1100は、図1で説明した画像処理装置100に、視差算出部1101を追加したもので、同一被写体を2つの視点位置から撮影した2つの撮影画像を入力とし、前記撮影画像に基づいて立体画像を生成するものである。
左画像、右画像は、視差算出部1101に入力され、左画像は、主要被写体決定部102、画像生成部104に入力される。
視差補正部101は、実施例1で説明したように、視差算出部1101から入力される視差画像の視差を所定の範囲で補正する。すなわち、視差算出部1101で算出した視差を所定の範囲で補正する。
しかしながら、カメラの設置位置の関係上、基線長65mm以下での撮影を余儀なくされることもある。同じ被写体を同じ構図で撮影した場合、基線長が短くなるにつれて視差が減少するため、奥行き感が減少してしまう。視差補正部101は、入力視差の最小値と最大値を拡大する補正をすることで、この奥行き感の減少を防ぐ。すなわち、基線長固定で撮影された画像から、任意の基線長で撮影した画像を生成することができる。
視差変換部103は、前述のようにして、主要被写体の視差を、図7に対応する図13に示す視差変換により変換し、変換後の視差が格納された視差画像を画像生成部104に出力する。図13の視差変換には、前述した(式5)、(式6)を用いる。
以下、本発明の実施例3について図面を参照して詳細に説明する。ただし、実施例1と同様の機能を有する部分については同一の符合を付している。
図14は、実施例3で説明する、本発明の画像処理装置1400の機能ブロック図である。
図14の画像処理装置1400は、図1で説明した画像処理装置100にぼかし処理部1401を追加したものである。
ぼかし処理部1401が、第1所定値以下(符号1500で示す範囲)の視差の被写体、すなわち、Dout_min(立体視可能な視差の最小値)以下の視差の被写体をぼかし対象の被写体とした場合、被写体の視差が小さい(被写体がカメラ位置から遠ざかる)ほど、前記被写体のぼかし量を大きくする。
すなわち、ぼかし処理部1401は、撮影画像中の主要被写体の視差の絶対値に比例して当該主要被写体の画素値に対するぼかし量を大きくする。
Claims (7)
- 1視点からの撮影画像と前記撮影画像に対応する視差画像が入力され、
前記視差画像の視差が第1所定値以下または第2所定値以上の被写体に対応する前記撮影画像の画素に対し、前記視差の絶対値に比例してぼかし量を大きくするぼかし処理をするぼかし処理部と、
前記視差画像の所定範囲外の視差を飽和させる視差補正部と、
前記撮影画像の少なくとも一つの主要被写体に対応する視差を所定値に変換する視差変換部と、
前記ぼかし処理部でぼかし処理された前記撮影画像および、前記視差補正部によって補正されると共に、前記視差変換部で主要被写体に対応する視差が変換された前記視差画像に基づいて立体画像を生成する画像生成部とを備え、立体画像を生成することを特徴とする画像処理装置。 - 前記撮影画像は同一被写体を2つの視点位置から撮影した2つの撮影画像のうちの1つであり、前記視差画像は、前記2つの撮影画像から算出された視差画像であることを特徴とする請求項1に記載の画像処理装置。
- 前記視差変換部は、主要被写体に対応する入力視差と出力視差との間の関係を規定する一次関数に基づいて前記所定値となるように変換され、前記入力視差と出力視差との間の関係を表すグラフは複数の異なる傾きの線分が連結されてなることを特徴とする請求項1または2に記載の画像処理装置。
- 前記所定値は、0、または、0を基準に所定の範囲内にある値であることを特徴とする請求項1から3のいずれかに記載の画像処理装置。
- 前記視差画像の所定範囲は、最小値が前記第1所定値以下でかつ最大値が前記第2所定値以上であることを特徴とする請求項1から4のいずれかに記載の画像処理装置。
- 請求項1から5のいずれか1項に記載の画像処理装置を備えたことを特徴とする画像表示装置。
- 請求項1から5のいずれか1項に記載の画像処理装置を備えたことを特徴とする画像撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010120216A JP4875762B2 (ja) | 2010-05-26 | 2010-05-26 | 画像処理装置、画像表示装置および画像撮像装置 |
US13/696,774 US8831338B2 (en) | 2010-05-26 | 2011-05-24 | Image processor, image display apparatus, and image taking apparatus |
CN201180025916.7A CN102939764B (zh) | 2010-05-26 | 2011-05-24 | 图像处理器、图像显示装置和图像拍摄装置 |
PCT/JP2011/061821 WO2011148921A1 (ja) | 2010-05-26 | 2011-05-24 | 画像処理装置、画像表示装置および画像撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010120216A JP4875762B2 (ja) | 2010-05-26 | 2010-05-26 | 画像処理装置、画像表示装置および画像撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011250059A JP2011250059A (ja) | 2011-12-08 |
JP4875762B2 true JP4875762B2 (ja) | 2012-02-15 |
Family
ID=45003911
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010120216A Expired - Fee Related JP4875762B2 (ja) | 2010-05-26 | 2010-05-26 | 画像処理装置、画像表示装置および画像撮像装置 |
Country Status (4)
Country | Link |
---|---|
US (1) | US8831338B2 (ja) |
JP (1) | JP4875762B2 (ja) |
CN (1) | CN102939764B (ja) |
WO (1) | WO2011148921A1 (ja) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4787369B1 (ja) * | 2010-03-30 | 2011-10-05 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
US9338426B2 (en) | 2010-10-27 | 2016-05-10 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method |
JP5838775B2 (ja) * | 2011-12-14 | 2016-01-06 | コニカミノルタ株式会社 | 画像処理方法、画像処理システムおよび画像処理プログラム |
JP6017144B2 (ja) * | 2012-02-06 | 2016-10-26 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 画像処理装置および方法、プログラム、並びに記録媒体 |
JP5572647B2 (ja) | 2012-02-17 | 2014-08-13 | 任天堂株式会社 | 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法 |
JP2013219421A (ja) * | 2012-04-04 | 2013-10-24 | Seiko Epson Corp | 画像処理装置および画像処理方法 |
JP6016061B2 (ja) * | 2012-04-20 | 2016-10-26 | Nltテクノロジー株式会社 | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム |
US20150181204A1 (en) * | 2012-07-18 | 2015-06-25 | Sony Corporation | Image processing apparatus, image processing method, and image display device |
JP5745183B2 (ja) * | 2012-07-30 | 2015-07-08 | オリンパス株式会社 | 撮像装置及び撮像方法 |
JP5949314B2 (ja) * | 2012-08-20 | 2016-07-06 | 株式会社日本自動車部品総合研究所 | 視差マップ生成装置および視差マップ生成装置用のプログラム |
US9317958B2 (en) * | 2013-03-07 | 2016-04-19 | Mediatek Inc. | Auto-convergence system with active learning and related method and machine-readable medium thereof |
TWI547142B (zh) | 2013-04-02 | 2016-08-21 | 杜比實驗室特許公司 | 引導的3d顯示器適配 |
JP2014220704A (ja) * | 2013-05-09 | 2014-11-20 | ソニー株式会社 | 画像処理装置および画像処理方法 |
JP6313569B2 (ja) * | 2013-11-07 | 2018-04-18 | 日本放送協会 | 立体映像生成装置、そのプログラム及び立体映像表示装置 |
JP5893808B2 (ja) * | 2014-01-24 | 2016-03-23 | オリンパス株式会社 | 立体内視鏡画像処理装置 |
JP6415179B2 (ja) * | 2014-08-20 | 2018-10-31 | キヤノン株式会社 | 画像処理装置、画像処理方法、および撮像装置並びにその制御方法 |
KR102290301B1 (ko) * | 2015-05-06 | 2021-08-17 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
CN105100772B (zh) * | 2015-07-16 | 2017-03-15 | 深圳市华星光电技术有限公司 | 一种三维图像处理方法及装置 |
US10602116B2 (en) * | 2015-08-03 | 2020-03-24 | Sony Corporation | Information processing apparatus, information processing method, and program for performing display control |
US10609354B2 (en) | 2016-02-12 | 2020-03-31 | Sony Corporation | Medical image processing device, system, method, and program |
US10469821B2 (en) * | 2016-06-17 | 2019-11-05 | Altek Semiconductor Corp. | Stereo image generating method and electronic apparatus utilizing the method |
KR20220107831A (ko) | 2021-01-26 | 2022-08-02 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3182009B2 (ja) * | 1992-12-24 | 2001-07-03 | 日本電信電話株式会社 | 両眼立体視装置 |
AUPN003894A0 (en) * | 1994-12-13 | 1995-01-12 | Xenotech Research Pty Ltd | Head tracking system for stereoscopic display apparatus |
US5748199A (en) * | 1995-12-20 | 1998-05-05 | Synthonics Incorporated | Method and apparatus for converting a two dimensional motion picture into a three dimensional motion picture |
JPH10191397A (ja) * | 1996-12-27 | 1998-07-21 | Sanyo Electric Co Ltd | 意図適応型の2次元映像を3次元映像に変換する装置 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2004221700A (ja) * | 2003-01-09 | 2004-08-05 | Sanyo Electric Co Ltd | 立体画像処理方法および装置 |
JP2005091508A (ja) | 2003-09-12 | 2005-04-07 | Advanced Telecommunication Research Institute International | 立体画像表示装置および立体画像表示方法 |
US8320641B2 (en) * | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US7599547B2 (en) * | 2005-11-30 | 2009-10-06 | Microsoft Corporation | Symmetric stereo model for handling occlusion |
CN101282492B (zh) * | 2008-05-23 | 2010-07-21 | 清华大学 | 三维影像显示深度调整方法 |
WO2009149413A1 (en) * | 2008-06-06 | 2009-12-10 | Real D | Blur enhancement of stereoscopic images |
CN101393497A (zh) * | 2008-10-30 | 2009-03-25 | 上海交通大学 | 基于双目立体视觉的多点触摸方法 |
-
2010
- 2010-05-26 JP JP2010120216A patent/JP4875762B2/ja not_active Expired - Fee Related
-
2011
- 2011-05-24 WO PCT/JP2011/061821 patent/WO2011148921A1/ja active Application Filing
- 2011-05-24 CN CN201180025916.7A patent/CN102939764B/zh not_active Expired - Fee Related
- 2011-05-24 US US13/696,774 patent/US8831338B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130051660A1 (en) | 2013-02-28 |
WO2011148921A1 (ja) | 2011-12-01 |
CN102939764B (zh) | 2015-04-15 |
CN102939764A (zh) | 2013-02-20 |
JP2011250059A (ja) | 2011-12-08 |
US8831338B2 (en) | 2014-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4875762B2 (ja) | 画像処理装置、画像表示装置および画像撮像装置 | |
JP5679978B2 (ja) | 立体視用画像位置合わせ装置、立体視用画像位置合わせ方法、及びそのプログラム | |
US20130294683A1 (en) | Three-dimensional image processing apparatus, three-dimensional image processing method, and program | |
JP2013005259A (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
US9948848B2 (en) | Imaging device with depth of field adjustment | |
US10165249B2 (en) | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras | |
US10547832B2 (en) | Image processing apparatus, method, and storage medium for executing gradation on stereoscopic images | |
Jung et al. | Visual comfort improvement in stereoscopic 3D displays using perceptually plausible assessment metric of visual comfort | |
JP5178876B2 (ja) | 立体映像表示装置及び立体映像表示方法 | |
US20130208088A1 (en) | Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method | |
US20130342530A1 (en) | Image processing apparatus and image processing method | |
JP5175910B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20180232945A1 (en) | Image processing apparatus, image processing system, image processing method, and storage medium | |
TWI613904B (zh) | 立體影像產生方法及使用此方法的電子裝置 | |
TWI589150B (zh) | 3d自動對焦顯示方法及其系統 | |
JP6113411B2 (ja) | 画像処理装置 | |
JP6170725B2 (ja) | 画像処理装置、及びプログラム | |
JP2013078101A5 (ja) | 画像処理装置 | |
WO2014038476A1 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
JP2012109725A (ja) | 立体映像処理装置および立体映像処理方法 | |
JP5838775B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
US20160165207A1 (en) | Electronic device, method, and computer program product | |
JP5601375B2 (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110922 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111125 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141202 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4875762 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |