JP5942195B2 - 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 - Google Patents
3次元画像処理装置、3次元撮像装置および3次元画像処理方法 Download PDFInfo
- Publication number
- JP5942195B2 JP5942195B2 JP2012540675A JP2012540675A JP5942195B2 JP 5942195 B2 JP5942195 B2 JP 5942195B2 JP 2012540675 A JP2012540675 A JP 2012540675A JP 2012540675 A JP2012540675 A JP 2012540675A JP 5942195 B2 JP5942195 B2 JP 5942195B2
- Authority
- JP
- Japan
- Prior art keywords
- distance
- image
- dimensional
- emphasized
- blur
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/08—Stereoscopic photography by simultaneous recording
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B35/00—Stereoscopic photography
- G03B35/18—Stereoscopic photography by simultaneous viewing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
Description
まず、ステップS102の距離情報取得処理の詳細について説明する。
次に、ステップS104において、距離指定部401は、立体感を強調したい被写体の距離である指定距離の入力をユーザから受け付ける。ユーザは、例えば、図5Aに示すようなスライドバーを用いて、立体感を強調したい距離を指定すればよい。
次に、ステップS106の距離変換処理の詳細を説明する。
次に、ステップS108の強調画像生成処理の詳細について説明する。
最後に、視差画像生成部404は、立体距離と全焦点画像とを用いて、視差画像(ここでいう視差画像とは左目用画像と右目用画像との2枚の画像を指す)を生成する。以下、全焦点画像をテクスチャ(あるいはテクスチャ画像)と呼び、立体距離の値を画素値として表現した画像を距離画像と呼ぶ。
B:左視差位置
C、D:被写体
E:左視差位置の光軸
G、I:被写体C、Dの左目用カメラでの撮影位置
f:距離計測位置の焦点距離
d:AとBの距離
Z,Z’:C、Dまでの距離
X1、X2:撮影画像上の座標
なお、以下のような場合も本発明に含まれる。
100 撮像部
101 撮像素子
103 光学レンズ
104 フィルタ
105 制御部
106 素子駆動部
200 信号処理部
201 メモリ
202 3次元画像処理部
203 インタフェース部
300 表示部
400 距離情報取得部
401、501 距離指定部
402、502 距離変換部
403、503 強調画像生成部
404 視差画像生成部
500 3次元画像処理装置
Claims (8)
- シーンのカメラからの距離を示す距離情報を用いて、前記シーンの撮影画像を処理する3次元画像処理装置であって、
立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定部と、
前記指定距離における前記シーンの立体感が強調されるように、前記距離情報が示す距離を、3次元画像を生成するための立体距離に変換する距離変換部と、
前記指定距離と前記立体距離との差が大きい領域ほどボケが大きくなるように前記撮影画像を加工することにより、前記指定距離に応じてユーザに知覚される立体感が強調された強調画像を生成する強調画像生成部とを備え、
前記強調画像生成部は、前記撮影画像のボケの特徴を示すボケ情報を用いて前記撮影画像に対して復元処理を行うことにより復元画像を生成し、前記指定距離と前記立体距離との差が大きい領域ほど大きなボケを付加することにより、前記強調画像を生成する
3次元画像処理装置。 - 前記3次元画像処理装置は、さらに、
前記撮影画像に基づいて、前記立体距離に応じた視差を有する視差画像を前記3次元画像として生成する視差画像生成部を備える
請求項1に記載の3次元画像処理装置。 - 前記距離変換部は、前記距離情報が示す距離の関数として前記立体距離が表された変換式を用いて、前記距離情報が示す距離を前記立体距離に変換し、
前記指定距離における前記関数の変化の割合は1より大きい
請求項1または2に記載の3次元画像処理装置。 - 前記距離変換部は、あらかじめ保持された複数の変換式のうち、前記指定距離において変化の割合が最も大きい変換式を用いて、前記距離情報が示す距離を前記立体距離に変換する
請求項3に記載の3次元画像処理装置。 - 前記3次元画像処理装置は、集積回路として構成されている
請求項1〜4のいずれか1項に記載の3次元画像処理装置。 - 請求項1〜5のいずれか1項に記載の3次元画像処理装置と、
前記シーンの撮影画像を撮影する撮像部と、
前記強調画像を表示する表示部とを備える
3次元撮像装置。 - シーンのカメラからの距離を示す距離情報を用いて、前記シーンの撮影画像を処理する3次元画像処理方法であって、
立体感を強調する対象となる距離である指定距離の入力を受け付ける距離指定ステップと、
前記指定距離における前記シーンの立体感が強調されるように、前記距離情報が示す距離を、3次元画像を生成するための立体距離に変換する距離変換ステップと、
前記指定距離と前記立体距離との差が大きい領域ほどボケが大きくなるように前記撮影画像を加工することにより、前記指定距離に応じてユーザに知覚される立体感が強調された強調画像を生成する強調画像生成ステップとを含み、
前記強調画像生成ステップでは、前記撮影画像のボケの特徴を示すボケ情報を用いて前記撮影画像に対して復元処理を行うことにより復元画像を生成し、前記指定距離と前記立体距離との差が大きい領域ほど大きなボケを付加することにより、前記強調画像を生成する
3次元画像処理方法。 - 請求項7に記載の3次元画像処理方法をコンピュータに実行させるためのプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010240460 | 2010-10-27 | ||
JP2010240460 | 2010-10-27 | ||
PCT/JP2011/005955 WO2012056685A1 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012056685A1 JPWO2012056685A1 (ja) | 2014-03-20 |
JP5942195B2 true JP5942195B2 (ja) | 2016-06-29 |
Family
ID=45993431
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012540675A Active JP5942195B2 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9338426B2 (ja) |
JP (1) | JP5942195B2 (ja) |
CN (1) | CN103181173B (ja) |
WO (1) | WO2012056685A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101852811B1 (ko) * | 2011-01-05 | 2018-04-27 | 엘지전자 주식회사 | 영상표시 장치 및 그 제어방법 |
CN103634588A (zh) * | 2012-08-27 | 2014-03-12 | 联想(北京)有限公司 | 一种影像构成方法及电子设备 |
CN105103534B (zh) * | 2013-03-27 | 2018-06-22 | 富士胶片株式会社 | 摄像装置及校准方法 |
JP6405531B2 (ja) * | 2013-11-19 | 2018-10-17 | パナソニックIpマネジメント株式会社 | 撮像装置 |
US10567635B2 (en) | 2014-05-15 | 2020-02-18 | Indiana University Research And Technology Corporation | Three dimensional moving pictures with a single imager and microfluidic lens |
JP6645492B2 (ja) * | 2015-02-20 | 2020-02-14 | ソニー株式会社 | 撮像装置および撮像方法 |
CN106034233B (zh) * | 2015-03-16 | 2018-08-10 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US10701282B2 (en) * | 2015-06-24 | 2020-06-30 | Intel Corporation | View interpolation for visual storytelling |
WO2017217115A1 (ja) * | 2016-06-17 | 2017-12-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び画像処理システム |
CN106331672B (zh) * | 2016-08-19 | 2018-12-25 | 深圳奥比中光科技有限公司 | 视点图像的获得方法、装置及系统 |
US11449979B2 (en) * | 2020-10-09 | 2022-09-20 | Applied Materials Israel Ltd. | Measuring a pattern |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266388A (ja) * | 1998-03-17 | 1999-09-28 | Canon Inc | デジタルカメラ及び撮影方法並びに記憶媒体 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2006042298A (ja) * | 2004-06-25 | 2006-02-09 | 雅貴 ▲吉▼良 | 立体視画像作成方法および装置 |
JP2007110360A (ja) * | 2005-10-13 | 2007-04-26 | Ntt Comware Corp | 立体画像処理装置およびプログラム |
JP2007124282A (ja) * | 2005-10-28 | 2007-05-17 | Nikon Corp | 撮像装置 |
JP2008033897A (ja) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
JP2009059113A (ja) * | 2007-08-30 | 2009-03-19 | Univ Waseda | 立体画像生成装置およびプログラム |
JP2010206774A (ja) * | 2009-02-05 | 2010-09-16 | Fujifilm Corp | 3次元画像出力装置及び方法 |
JP2011250059A (ja) * | 2010-05-26 | 2011-12-08 | Sharp Corp | 画像処理装置、画像表示装置および画像撮像装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AUPO894497A0 (en) * | 1997-09-02 | 1997-09-25 | Xenotech Research Pty Ltd | Image processing method and apparatus |
US8384763B2 (en) * | 2005-07-26 | 2013-02-26 | Her Majesty the Queen in right of Canada as represented by the Minster of Industry, Through the Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
US8009903B2 (en) * | 2006-06-29 | 2011-08-30 | Panasonic Corporation | Image processor, image processing method, storage medium, and integrated circuit that can adjust a degree of depth feeling of a displayed high-quality image |
JP5109803B2 (ja) * | 2007-06-06 | 2012-12-26 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP5255789B2 (ja) * | 2007-06-27 | 2013-08-07 | 任天堂株式会社 | 画像処理プログラムおよび画像処理装置 |
JP4998956B2 (ja) | 2007-12-10 | 2012-08-15 | 富士フイルム株式会社 | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
US20090148038A1 (en) * | 2007-12-10 | 2009-06-11 | Youichi Sawachi | Distance image processing apparatus and method |
JP2009163717A (ja) | 2007-12-10 | 2009-07-23 | Fujifilm Corp | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
JP2009162748A (ja) | 2007-12-10 | 2009-07-23 | Fujifilm Corp | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
JP5147650B2 (ja) | 2007-12-10 | 2013-02-20 | 富士フイルム株式会社 | 距離画像処理装置および方法、距離画像再生装置および方法並びにプログラム |
JP2009163718A (ja) | 2007-12-10 | 2009-07-23 | Fujifilm Corp | 距離画像再生装置および方法並びにプログラム |
JP4497211B2 (ja) * | 2008-02-19 | 2010-07-07 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
JP4990234B2 (ja) | 2008-07-07 | 2012-08-01 | オリンパス株式会社 | 測距装置、測距方法、測距プログラム又は撮像装置 |
EP2197217A1 (en) * | 2008-12-15 | 2010-06-16 | Koninklijke Philips Electronics N.V. | Image based 3D video format |
US20110025830A1 (en) * | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
-
2011
- 2011-10-26 JP JP2012540675A patent/JP5942195B2/ja active Active
- 2011-10-26 US US13/879,710 patent/US9338426B2/en active Active
- 2011-10-26 WO PCT/JP2011/005955 patent/WO2012056685A1/ja active Application Filing
- 2011-10-26 CN CN201180051266.3A patent/CN103181173B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11266388A (ja) * | 1998-03-17 | 1999-09-28 | Canon Inc | デジタルカメラ及び撮影方法並びに記憶媒体 |
JP2003209858A (ja) * | 2002-01-17 | 2003-07-25 | Canon Inc | 立体画像生成方法及び記録媒体 |
JP2006042298A (ja) * | 2004-06-25 | 2006-02-09 | 雅貴 ▲吉▼良 | 立体視画像作成方法および装置 |
JP2007110360A (ja) * | 2005-10-13 | 2007-04-26 | Ntt Comware Corp | 立体画像処理装置およびプログラム |
JP2007124282A (ja) * | 2005-10-28 | 2007-05-17 | Nikon Corp | 撮像装置 |
JP2008033897A (ja) * | 2006-06-29 | 2008-02-14 | Matsushita Electric Ind Co Ltd | 画像処理装置、画像処理方法、プログラム、記録媒体および集積回路 |
JP2009059113A (ja) * | 2007-08-30 | 2009-03-19 | Univ Waseda | 立体画像生成装置およびプログラム |
JP2010206774A (ja) * | 2009-02-05 | 2010-09-16 | Fujifilm Corp | 3次元画像出力装置及び方法 |
JP2011250059A (ja) * | 2010-05-26 | 2011-12-08 | Sharp Corp | 画像処理装置、画像表示装置および画像撮像装置 |
Also Published As
Publication number | Publication date |
---|---|
US20130208088A1 (en) | 2013-08-15 |
CN103181173A (zh) | 2013-06-26 |
CN103181173B (zh) | 2016-04-27 |
WO2012056685A1 (ja) | 2012-05-03 |
JPWO2012056685A1 (ja) | 2014-03-20 |
US9338426B2 (en) | 2016-05-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
US9076267B2 (en) | Image coding device, integrated circuit thereof, and image coding method | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
JP6734620B2 (ja) | 映像処理方法及び映像処理装置 | |
JP5186614B2 (ja) | 画像処理装置および画像処理方法 | |
JP4942106B2 (ja) | 奥行データ出力装置及び奥行データ受信装置 | |
US9443338B2 (en) | Techniques for producing baseline stereo parameters for stereoscopic computer animation | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
TW201019708A (en) | A method of processing parallax information comprised in a signal | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
TW201225635A (en) | Image processing device and method, and stereoscopic image display device | |
JP2022522504A (ja) | 画像の奥行きマップの処理 | |
JP2016225811A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013150071A (ja) | 符号化装置、符号化方法、プログラム及び記憶媒体 | |
JP5741353B2 (ja) | 画像処理システム、画像処理方法および画像処理プログラム | |
US20130050420A1 (en) | Method and apparatus for performing image processing according to disparity information | |
Galabov | A real time 2D to 3D image conversion techniques | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013242378A (ja) | 撮像装置、表示方法、およびプログラム | |
US20160165207A1 (en) | Electronic device, method, and computer program product | |
WO2012090813A1 (ja) | 画像処理装置及び画像処理システム | |
JP2012060512A (ja) | 多眼撮像装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140516 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20141008 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151013 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160426 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5942195 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |