JPWO2012056686A1 - 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 - Google Patents
3次元画像補間装置、3次元撮像装置および3次元画像補間方法 Download PDFInfo
- Publication number
- JPWO2012056686A1 JPWO2012056686A1 JP2012517976A JP2012517976A JPWO2012056686A1 JP WO2012056686 A1 JPWO2012056686 A1 JP WO2012056686A1 JP 2012517976 A JP2012517976 A JP 2012517976A JP 2012517976 A JP2012517976 A JP 2012517976A JP WO2012056686 A1 JPWO2012056686 A1 JP WO2012056686A1
- Authority
- JP
- Japan
- Prior art keywords
- image
- distance
- interpolation
- motion vector
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4007—Interpolation-based scaling, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/571—Depth or shape recovery from multiple images from focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
Description
まず、ステップS102の距離画像取得処理の詳細について説明する。
次に、ステップS104の距離動きベクトル算出処理の詳細を説明する。
次に、ステップS105のテクスチャ画像取得処理の詳細を説明する。
次に、ステップS106の画像動きベクトル算出処理について説明する。
次に、ステップS108のベクトル類似度算出処理の詳細について説明する。
次に、ステップS110の補間画像数決定処理について説明する。
次に、ステップS112の補間距離画像生成処理と、ステップS114の補間テクスチャ画像生成処理とについて詳細に説明する。
最後に、ステップS116の補間視差画像生成処理の詳細について説明する。
B:左視差位置
C、D:被写体
E:左視差位置の光軸
G、I:被写体C、Dの左目用カメラでの撮影位置
f:距離計測位置の焦点距離
d:AとBの距離
Z、Z’:C、Dまでの距離
X1、X2:撮影画像上の座標
なお、以下のような場合も本発明に含まれる。
100 撮像部
101 撮像素子
103 光学レンズ
104 フィルタ
105 制御部
106 素子駆動部
200 信号処理部
201 メモリ
202 3次元画像補間部
203 インタフェース部
300 表示部
400 距離画像取得部
401 距離動きベクトル算出部
402 画像動きベクトル算出部
403 ベクトル類似度算出部
404 補間画像数決定部
405、501 距離画像補間部
406、502 画像補間部
407、503 補間視差画像生成部
408 テクスチャ画像取得部
500 3次元画像補間装置
Claims (10)
- 3次元動画像のフレーム補間を行う3次元画像補間装置であって、
前記3次元動画像に含まれる第1画像および第2画像の奥行きをそれぞれ表す第1距離画像と第2距離画像との間を補間する少なくとも1枚の補間距離画像を生成する距離画像補間部と、
前記第1画像と前記第2画像との間を補間する少なくとも1枚の補間画像を生成する画像補間部と、
前記補間画像に基づいて、前記補間距離画像が示す奥行きに応じた視差を有する少なくとも1組の補間視差画像を生成する補間視差画像生成部とを備える
3次元画像補間装置。 - 前記3次元画像補間装置は、さらに、
前記第1距離画像および前記第2距離画像から動きベクトルを距離動きベクトルとして算出する距離動きベクトル算出部と、
前記第1画像および前記第2画像から動きベクトルを画像動きベクトルとして算出する画像動きベクトル算出部と、
前記画像動きベクトルと前記距離動きベクトルとの類似性の高さを示す値であるベクトル類似度を算出するベクトル類似度算出部と、
算出された前記ベクトル類似度が大きいほど数が多くなるように、補間の上限数を決定する補間画像数決定部とを備え、
前記補間視差画像生成部は、決定された前記上限数以下の数の前記補間視差画像を生成する
請求項1に記載の3次元画像補間装置。 - 前記距離動きベクトル算出部は、第1サイズのブロック毎に前記距離動きベクトルを算出し、
前記画像動きベクトル算出部は、前記第1サイズのブロック毎に前記画像動きベクトルを算出し、
前記ベクトル類似度算出部は、
前記第1サイズよりも大きい第2サイズのブロック毎に、前記距離動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、
前記第2サイズのブロック毎に、前記画像動きベクトルの方向および強度のうちの少なくとも一方のヒストグラムを生成し、
前記距離動きベクトルおよび前記画像動きベクトルの方向のヒストグラム間の類似性と、前記距離動きベクトルおよび前記画像動きベクトルの強度のヒストグラム間の類似性とのうちの少なくとも一方に基づいて前記ベクトル類似度を算出する
請求項2に記載の3次元画像補間装置。 - 前記補間画像数決定部は、ユーザによって入力された前記上限数以下の数を補間数と決定し、
前記補間視差画像生成部は、決定された前記補間数の前記補間視差画像を生成する
請求項2または3に記載の3次元画像補間装置。 - 前記3次元画像補間装置は、さらに、
第1撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第1距離画像を取得し、かつ、前記第1撮影画像群よりも時間的に後の第2撮影画像群に含まれる互いに焦点距離が異なる複数の撮影画像間のボケの相関性に基づいて前記第2距離画像を取得する距離画像取得部を備える
請求項1〜4のいずれか1項に記載の3次元画像補間装置。 - 前記3次元画像補間装置は、さらに、
前記第1撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第1テクスチャ画像を前記第1画像として取得し、かつ、前記第2撮影画像群に含まれる一の撮影画像のボケの特徴を示すボケ情報を用いて当該一の撮影画像に対して復元処理を行うことにより、第2テクスチャ画像を前記第2画像として取得するテクスチャ画像取得部を備える
請求項5に記載の3次元画像補間装置。 - 前記3次元画像補間装置は、集積回路として構成されている
請求項1〜6のいずれか1項に記載の3次元画像補間装置。 - 撮像部と、
請求項1〜7のいずれか1項に記載の3次元画像補間装置とを備える
3次元撮像装置。 - 3次元動画像のフレーム補間を行う3次元画像補間方法であって、
前記3次元動画像に含まれる第1画像および第2画像の奥行きをそれぞれ表す第1距離画像と第2距離画像との間を補間する少なくとも1枚の補間距離画像を生成する距離画像補間ステップと、
前記第1画像と前記第2画像との間を補間する少なくとも1枚の補間画像を生成する画像補間ステップと、
前記補間画像に基づいて、前記補間距離画像が示す奥行きに応じた視差を有する少なくとも1組の補間視差画像を生成する補間視差画像生成ステップとを含む
3次元画像補間方法。 - 請求項9に記載の3次元画像補間方法をコンピュータに実行させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012517976A JP5887267B2 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010240461 | 2010-10-27 | ||
JP2010240461 | 2010-10-27 | ||
JP2012517976A JP5887267B2 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 |
PCT/JP2011/005956 WO2012056686A1 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012056686A1 true JPWO2012056686A1 (ja) | 2014-03-20 |
JP5887267B2 JP5887267B2 (ja) | 2016-03-16 |
Family
ID=45993432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012517976A Expired - Fee Related JP5887267B2 (ja) | 2010-10-27 | 2011-10-26 | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9270970B2 (ja) |
EP (1) | EP2635034B1 (ja) |
JP (1) | JP5887267B2 (ja) |
CN (1) | CN102687515B (ja) |
WO (1) | WO2012056686A1 (ja) |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101055411B1 (ko) * | 2010-03-12 | 2011-08-09 | 이상원 | 입체 영상 생성 방법 및 그 장치 |
KR101852811B1 (ko) * | 2011-01-05 | 2018-04-27 | 엘지전자 주식회사 | 영상표시 장치 및 그 제어방법 |
WO2013085513A1 (en) * | 2011-12-07 | 2013-06-13 | Intel Corporation | Graphics rendering technique for autostereoscopic three dimensional display |
US9171393B2 (en) * | 2011-12-07 | 2015-10-27 | Microsoft Technology Licensing, Llc | Three-dimensional texture reprojection |
TWI483612B (zh) * | 2011-12-22 | 2015-05-01 | Nat Univ Chung Cheng | Converting the video plane is a perspective view of the video system |
JP6071257B2 (ja) * | 2012-06-07 | 2017-02-01 | キヤノン株式会社 | 画像処理装置及びその制御方法、並びにプログラム |
JP2014036362A (ja) * | 2012-08-09 | 2014-02-24 | Canon Inc | 撮像装置、その制御方法、および制御プログラム |
JP6007682B2 (ja) * | 2012-08-31 | 2016-10-12 | 富士通株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5966837B2 (ja) * | 2012-10-05 | 2016-08-10 | 大日本印刷株式会社 | 奥行き制作支援装置、奥行き制作支援方法、およびプログラム |
KR101433242B1 (ko) * | 2012-11-16 | 2014-08-25 | 경북대학교 산학협력단 | 정복 시술 로봇 및 그의 구동 제어 방법 |
JP5786847B2 (ja) * | 2012-12-19 | 2015-09-30 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
US9036040B1 (en) | 2012-12-20 | 2015-05-19 | United Services Automobile Association (Usaa) | Vehicle identification number capture |
JP6182930B2 (ja) * | 2013-03-28 | 2017-08-23 | 大日本印刷株式会社 | 奥行き制作支援装置、奥行き制作方法、及びプログラム |
JP6214233B2 (ja) | 2013-06-21 | 2017-10-18 | キヤノン株式会社 | 情報処理装置、情報処理システム、情報処理方法およびプログラム。 |
KR102103984B1 (ko) | 2013-07-15 | 2020-04-23 | 삼성전자주식회사 | 깊이 영상 처리 방법 및 장치 |
JP6264107B2 (ja) * | 2014-03-10 | 2018-01-24 | サクサ株式会社 | 画像処理装置 |
US9769498B2 (en) | 2014-03-28 | 2017-09-19 | University-Industry Cooperation Group Of Kyung Hee University | Method and apparatus for encoding of video using depth information |
TWI549478B (zh) * | 2014-09-04 | 2016-09-11 | 宏碁股份有限公司 | 產生三維影像的方法及其電子裝置 |
US9781405B2 (en) | 2014-12-23 | 2017-10-03 | Mems Drive, Inc. | Three dimensional imaging with a single camera |
CN105208366A (zh) * | 2015-09-16 | 2015-12-30 | 云南师范大学 | 一种用于近视患者立体视觉增强的方法 |
US10484629B2 (en) * | 2015-10-16 | 2019-11-19 | Capso Vision Inc | Single image sensor for capturing mixed structured-light images and regular images |
WO2017077906A1 (ja) | 2015-11-06 | 2017-05-11 | 富士フイルム株式会社 | 情報処理装置、情報処理方法、及びプログラム |
CN108603743B (zh) * | 2016-02-04 | 2020-03-27 | 富士胶片株式会社 | 信息处理装置、信息处理方法及程序 |
US10277889B2 (en) * | 2016-12-27 | 2019-04-30 | Qualcomm Incorporated | Method and system for depth estimation based upon object magnification |
TWI622022B (zh) * | 2017-07-13 | 2018-04-21 | 鴻海精密工業股份有限公司 | 深度計算方法及其裝置 |
US10502791B1 (en) * | 2018-09-04 | 2019-12-10 | Lg Chem, Ltd. | System for determining an accurate ohmic resistance value associated with a battery cell |
US10699430B2 (en) * | 2018-10-09 | 2020-06-30 | Industrial Technology Research Institute | Depth estimation apparatus, autonomous vehicle using the same, and depth estimation method thereof |
CN111862183A (zh) * | 2020-07-02 | 2020-10-30 | Oppo广东移动通信有限公司 | 深度图像处理方法和系统、电子设备及存储介质 |
CN112258635B (zh) * | 2020-10-26 | 2023-07-21 | 北京石油化工学院 | 基于改进双目匹配sad算法的三维重建方法及装置 |
WO2024057902A1 (ja) * | 2022-09-12 | 2024-03-21 | ソニーグループ株式会社 | 情報処理装置および方法、並びにプログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07262382A (ja) | 1994-03-17 | 1995-10-13 | Fujitsu Ltd | 画像処理システムにおける物体認識及び画像補間装置 |
JP3988879B2 (ja) * | 2003-01-24 | 2007-10-10 | 日本電信電話株式会社 | 立体画像生成方法及び立体画像生成装置、ならびに立体画像生成プログラム及び記録媒体 |
JP2009244490A (ja) * | 2008-03-31 | 2009-10-22 | Casio Comput Co Ltd | カメラ、カメラ制御プログラム及びカメラ制御方法 |
JP4483983B2 (ja) | 2008-06-26 | 2010-06-16 | ソニー株式会社 | 画像圧縮装置及び画像圧縮方法 |
JP4990234B2 (ja) | 2008-07-07 | 2012-08-01 | オリンパス株式会社 | 測距装置、測距方法、測距プログラム又は撮像装置 |
JP4670918B2 (ja) | 2008-08-26 | 2011-04-13 | ソニー株式会社 | フレーム補間装置及びフレーム補間方法 |
JP2010081357A (ja) | 2008-09-26 | 2010-04-08 | Olympus Corp | 画像処理装置、画像処理方法、画像処理プログラム及び撮像装置 |
JP2010171672A (ja) | 2009-01-22 | 2010-08-05 | Hitachi Ltd | フレームレート変換装置、映像表示装置、フレームレート変換方法 |
-
2011
- 2011-10-26 WO PCT/JP2011/005956 patent/WO2012056686A1/ja active Application Filing
- 2011-10-26 US US13/519,158 patent/US9270970B2/en not_active Expired - Fee Related
- 2011-10-26 JP JP2012517976A patent/JP5887267B2/ja not_active Expired - Fee Related
- 2011-10-26 EP EP11835831.6A patent/EP2635034B1/en not_active Not-in-force
- 2011-10-26 CN CN201180005126.2A patent/CN102687515B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
CN102687515B (zh) | 2015-07-15 |
US9270970B2 (en) | 2016-02-23 |
EP2635034A4 (en) | 2014-04-23 |
JP5887267B2 (ja) | 2016-03-16 |
WO2012056686A1 (ja) | 2012-05-03 |
EP2635034A1 (en) | 2013-09-04 |
EP2635034B1 (en) | 2014-09-24 |
US20120293627A1 (en) | 2012-11-22 |
CN102687515A (zh) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
JP5942195B2 (ja) | 3次元画像処理装置、3次元撮像装置および3次元画像処理方法 | |
JP5156837B2 (ja) | 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法 | |
US9076267B2 (en) | Image coding device, integrated circuit thereof, and image coding method | |
EP3067746A1 (en) | Photographing method for dual-camera device and dual-camera device | |
US20120140038A1 (en) | Zero disparity plane for feedback-based three-dimensional video | |
JP5370542B1 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP2011166264A (ja) | 画像処理装置、撮像装置、および画像処理方法、並びにプログラム | |
JP2015035658A (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP5755571B2 (ja) | 仮想視点画像生成装置、仮想視点画像生成方法、制御プログラム、記録媒体、および立体表示装置 | |
JP7184748B2 (ja) | 場面の積層深度データを生成するための方法 | |
JP6585938B2 (ja) | 立体像奥行き変換装置およびそのプログラム | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、系统 | |
JP3990271B2 (ja) | 簡易ステレオ画像入力装置、方法、プログラム、および記録媒体 | |
US20140192163A1 (en) | Image pickup apparatus and integrated circuit therefor, image pickup method, image pickup program, and image pickup system | |
JP2016225811A (ja) | 画像処理装置、画像処理方法およびプログラム | |
Jung | A modified model of the just noticeable depth difference and its application to depth sensation enhancement | |
TWI613904B (zh) | 立體影像產生方法及使用此方法的電子裝置 | |
JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
Kao | Stereoscopic image generation with depth image based rendering | |
CN104463958A (zh) | 基于视差图融合的三维超分辨率方法 | |
JP2015005200A (ja) | 情報処理装置、情報処理システム、情報処理方法、プログラムおよび記憶媒体 | |
CN111754558B (zh) | 用于rgb-d摄像系统与双目显像系统的匹配方法及其相关系统 | |
Fatima et al. | Quality assessment of 3D synthesized images based on structural and textural distortion | |
WO2012090813A1 (ja) | 画像処理装置及び画像処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20140616 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141024 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5887267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |