JP6571779B2 - 立体画像化 - Google Patents
立体画像化 Download PDFInfo
- Publication number
- JP6571779B2 JP6571779B2 JP2017534812A JP2017534812A JP6571779B2 JP 6571779 B2 JP6571779 B2 JP 6571779B2 JP 2017534812 A JP2017534812 A JP 2017534812A JP 2017534812 A JP2017534812 A JP 2017534812A JP 6571779 B2 JP6571779 B2 JP 6571779B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image sensor
- area
- lens
- readout
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Description
Claims (20)
- 画像データを捕捉するための立体画像捕捉手段を容易にするステップであって、前記立体画像捕捉手段が、第1レンズを介して光を受光するように構成された第1画像センサーを備えた第1画像化サブシステムと、第2レンズを介して光を受光するように構成された第2画像センサーを備えた第2画像化サブシステムとを備え、前記第1および第2画像化サブシステムは、前記第1および第2レンズの光学軸が
互いに平行であるように構成されている、ステップと、
前記第1および第2画像センサーのそれぞれの感光性領域から画素値を読み取るステップであって、前記第1画像センサーの上の第1読み出し領域から第1画像についての画素値を読み取ることと、前記第2画像センサーの上で第2読み出し領域から第2画像についての画素値を読み取ることと、前記第1および第2画像センサーのうちの少なくとも1つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取ることと、を含む、ステップと、
前記第1画像、前記第2画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第1および第2画像に関係する視差情報を導出するステップと、
を含む方法であって、
サポ−ト・データについての画素値を読み取るステップは、前記第1読み出し領域と、前記第2レンズの光学軸から最も遠い前記第1画像センサーの側の第1画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
方法。 - 前記第1および第2読み出し領域は、同一のサイズおよび縦横比を有する矩形の読み出し領域である、請求項1に記載の方法。
- 前記第1および第2読み出し領域の各々は、異なる縦横比を有する少なくとも2つの所定の矩形読み出し領域のうちの予め選択された1つである、請求項2に記載の方法。
- 異なる縦横比を有する前記少なくとも2つの所定の矩形読み出し領域は、4:3の前記縦横比を有する第1所定の読み出し領域と、16:9の前記縦横比を有する第2所定の読み出し領域とを含む、請求項3に記載の方法。
- 前記第1および第2画像化サブシステムは、レンズおよび画像センサーの同一の構成を備える、請求項1ないし4のいずれか1項に記載の方法。
- 前記第2画像化サブシステムによって可能にされる視野(FOV)は、少なくとも1つの次元で、前記第1画像化サブシステムにより可能にされるFOVを完全に包含する、請求項1ないし4のいずれか1項に記載の方法。
- 前記第2画像センサーの前記感光性領域は、前記第2画像センサーの前記感光性領域の上に投影される画像コンテンツが、前記少なくとも1つの次元において、前記第1画像センサーの前記感光性領域の上に投影される画像コンテンツを完全に包み込むように、前記少なくとも1つの次元で前記第1画像センサーの前記感光性領域よりも大きい、請求項6に記載の方法。
- サポ−ト・データについての画素値を読み取るステップは、前記第2読み出し領域と、前記第1レンズの光学軸から最も遠い前記第2画像センサーの側の第2画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、請求項1に記載の方法。
- 画像データを捕捉するための立体画像捕捉手段を容易にするコードであって、前記立体画像捕捉手段が、第1レンズを介して光を受光するように構成された第1画像センサーを備えた第1画像化サブシステムと、第2レンズを介して光を受光するように構成された第2画像センサーを備えた第2画像化サブシステムとを備え、前記第1および第2画像化サブシステムは、前記第1および第2レンズの光学軸が
互いに平行であるように構成されている、コードと、
前記第1および第2画像センサーのそれぞれの感光性領域から画素値を読み取るコードであって、前記第1画像センサーの上の第1読み出し領域から第1画像についての画素値を読み取るコードと、
前記第2画像センサーの上で第2読み出し領域から第2画像についての画素値を読み取るコードと、
前記第1および第2画像センサーのうちの少なくとも1つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取るコードと、を含む、コードと、
前記第1画像、前記第2画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第1および第2画像に関係する視差情報を導出するコードと、
を備えるコンピュータ・プログラムであって、
サポ−ト・データについての画素値を読み取るステップは、前記第1読み出し領域と、前記第2レンズの光学軸から最も遠い前記第1画像センサーの側の第1画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
コンピュータ・プログラム。 - 少なくとも1つのプロセッサと、命令プログラムを記憶するメモリと、を含む装置であって、
前記命令プログラムを記憶する前記メモリは、前記少なくとも1つのプロセッサを用いて、該装置に、少なくとも、
画像データを捕捉するための立体画像捕捉手段を容易にさせ、ここで、前記立体画像捕捉手段は、第1レンズを介して光を受光するように構成された第1画像センサーを備えた第1画像化サブシステムと、第2レンズを介して光を受光するように構成された第2画像センサーを備えた第2画像化サブシステムとを備え、
前記第1および第2画像化サブシステムは、前記第1および第2レンズの光学軸が
互いに平行であるように構成されており、
前記第1および第2画像センサーのそれぞれの感光性領域から画素値を読み取らせ、ここで、該読み取らせることは、前記第1画像センサーの上の第1読み出し領域から第1画像についての画素値を読み取り、前記第2画像センサーの上で第2読み出し領域から第2画像についての画素値を読み取らせることと、前記第1および第2画像センサーのうちの少なくとも1つの上のそれぞれの読み出し領域に隣接する前記感光性領域の少なくとも一部分から、サポート・データについての画素値を読み取らせることとを含み、
前記第1画像、前記第2画像および前記サポート・データについて読み取られた前記画素値に基づいて前記第1および第2画像に関係する視差情報を導出させるように構成される、装置であって、
サポ−ト・データについての画素値を読み取るステップは、前記第1読み出し領域と、前記第2レンズの光学軸から最も遠い前記第1画像センサーの側の第1画像センサーの前記感光性領域の境界との間にある未使用領域から画素値を読み取るステップを含む、
装置。 - 前記第1および第2読み出し領域は、同一のサイズおよび縦横比を有する矩形の読み出し領域である、請求項11に記載の装置。
- 前記第1および第2読み出し領域の各々は、異なる縦横比を有する少なくとも2つの所定の矩形読み出し領域のうちの予め選択されたものである、請求項12に記載の装置。
- 異なる縦横比を有する前記少なくとも2つの所定の矩形読み出し領域は、4:3の前記縦横比を有する第1所定の読み出し領域と16:9の前記縦横比を有する第2所定の読み出し領域とを含む、請求項13に記載の装置。
- 前記第1および第2画像化サブシステムは、レンズおよび画像センサーの同一の構成を備える、請求項11ないし14のいずれか1項に記載の装置。
- 前記第2画像化サブシステムによって可能にされる視野(FOV)は、少なくとも1つの次元において、前記第1画像化サブシステムにより可能にされるFOVを完全に包含する、請求項11ないし14のいずれか1項に記載の装置。
- 前記第2画像センサーの前記感光性領域は、前記第2画像センサーの前記感光性領域の上に投影される画像コンテンツが前記少なくとも1つの次元において、前記第1画像センサーの前記感光性領域の上に投影される画像コンテンツを完全に包含するように、前記少なくとも1つの次元において前記第1画像センサーの前記感光性領域よりも大きい、請求項16に記載の装置。
- 前記少なくとも1つの次元において、前記第1画像センサーの前記感光性領域のサイズとの関係における前記少なくとも1つの次元において、前記第2画像センサーの前記感光性領域のサイズは、少なくとも、
ここで、
d1は前記第1画像センサーの前記感光性領域のサイズを表し、
Bは前記第1レンズおよび前記第2レンズの前記光学軸の間の距離を表し、
f1は前記第1レンズの焦点距離を表し、
f2は前記第2レンズの焦点距離を表し、
vは前記第1レンズと前記第1および第2画像内で描かれるべき現実世界の物体との間の想定された距離を表し、
d2は前記最小サイズを表す、
請求項16に記載の装置。 - 前記装置は、前記第2レンズの光学軸から最も遠い前記第1画像センサーの側の第1画像センサーの前記第1読み出し領域と前記感光性領域の境界との間にある未使用領域からサポ−ト・データについての画素値を読み取るように構成されている、請求項11ないし18のいずれか1項に記載の装置。
- 前記装置は、前記第1レンズの光学軸から最も遠い前記第2画像センサーの側の前記第2画像センサーの前記第2読み出し領域と前記感光性領域の境界との間にある未使用領域からサポ−ト・データについての画素値を読み取るように構成される、請求項19に記載の装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IN6836/CHE/2014 | 2014-12-31 | ||
IN6836CH2014 | 2014-12-31 | ||
PCT/FI2015/050860 WO2016107964A1 (en) | 2014-12-31 | 2015-12-08 | Stereo imaging |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018517310A JP2018517310A (ja) | 2018-06-28 |
JP6571779B2 true JP6571779B2 (ja) | 2019-09-04 |
Family
ID=56284338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017534812A Active JP6571779B2 (ja) | 2014-12-31 | 2015-12-08 | 立体画像化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10425630B2 (ja) |
EP (1) | EP3241349A4 (ja) |
JP (1) | JP6571779B2 (ja) |
CN (1) | CN107211118B (ja) |
WO (1) | WO2016107964A1 (ja) |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB8623718D0 (en) | 1986-10-02 | 1986-11-05 | British Aerospace | Real time generation of stereo depth maps |
JPH08205200A (ja) | 1995-01-27 | 1996-08-09 | Olympus Optical Co Ltd | 立体撮像装置 |
US6606406B1 (en) | 2000-05-04 | 2003-08-12 | Microsoft Corporation | System and method for progressive stereo matching of digital images |
JP2005099265A (ja) * | 2003-09-24 | 2005-04-14 | Fujinon Corp | 撮像装置および撮像方法、ならびに測距方法 |
WO2005125186A1 (en) | 2004-06-15 | 2005-12-29 | Quantum Semiconductor Llc | Imaging devices operable with multiple aspect ratios |
JP2008040115A (ja) * | 2006-08-04 | 2008-02-21 | Fuji Heavy Ind Ltd | ステレオカメラ |
KR100899422B1 (ko) * | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
US9582889B2 (en) | 2009-07-30 | 2017-02-28 | Apple Inc. | Depth mapping based on pattern matching and stereoscopic information |
WO2011107550A1 (en) * | 2010-03-05 | 2011-09-09 | Sony Corporation | Disparity distribution estimation for 3d tv |
KR100971730B1 (ko) * | 2010-04-15 | 2010-07-21 | (주)에이직뱅크 | 평행축 입체카메라 |
KR101735612B1 (ko) * | 2010-08-16 | 2017-05-15 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
CN102005039B (zh) | 2010-08-24 | 2012-05-23 | 浙江大学 | 基于泰勒级数模型的鱼眼相机立体视觉深度测量方法 |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US9883164B2 (en) * | 2011-08-03 | 2018-01-30 | Sony Mobile Communications Inc. | Optimizing usage of image sensors in a stereoscopic environment |
US9007441B2 (en) * | 2011-08-04 | 2015-04-14 | Semiconductor Components Industries, Llc | Method of depth-based imaging using an automatic trilateral filter for 3D stereo imagers |
US8817073B2 (en) * | 2011-08-12 | 2014-08-26 | Himax Technologies Limited | System and method of processing 3D stereoscopic image |
JPWO2013038833A1 (ja) * | 2011-09-16 | 2015-03-26 | コニカミノルタ株式会社 | 画像処理システム、画像処理方法および画像処理プログラム |
CN102404594B (zh) | 2011-10-31 | 2014-02-12 | 庞志勇 | 基于图像边缘信息的2d转3d的方法 |
JP6064040B2 (ja) * | 2012-05-09 | 2017-01-18 | ライトロ, インコーポレイテッドLytro, Inc. | ライトフィールドの取り込み及び操作を改善するための光学系の最適化 |
US9571818B2 (en) * | 2012-06-07 | 2017-02-14 | Nvidia Corporation | Techniques for generating robust stereo images from a pair of corresponding stereo images captured with and without the use of a flash device |
JP6520119B2 (ja) * | 2012-08-06 | 2019-05-29 | ソニー株式会社 | 画像処理装置および画像処理方法 |
US8908041B2 (en) | 2013-01-15 | 2014-12-09 | Mobileye Vision Technologies Ltd. | Stereo assist with rolling shutters |
US20140363097A1 (en) * | 2013-06-06 | 2014-12-11 | Etron Technology, Inc. | Image capture system and operation method thereof |
US9519956B2 (en) * | 2014-02-28 | 2016-12-13 | Nokia Technologies Oy | Processing stereo images |
KR102350232B1 (ko) * | 2014-11-20 | 2022-01-13 | 삼성전자주식회사 | 스테레오 영상 매칭 방법 및 장치 |
-
2015
- 2015-12-08 EP EP15875300.4A patent/EP3241349A4/en not_active Withdrawn
- 2015-12-08 CN CN201580071832.5A patent/CN107211118B/zh active Active
- 2015-12-08 WO PCT/FI2015/050860 patent/WO2016107964A1/en active Application Filing
- 2015-12-08 US US15/540,200 patent/US10425630B2/en active Active
- 2015-12-08 JP JP2017534812A patent/JP6571779B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
US10425630B2 (en) | 2019-09-24 |
US20170374353A1 (en) | 2017-12-28 |
CN107211118A (zh) | 2017-09-26 |
EP3241349A4 (en) | 2018-08-15 |
CN107211118B (zh) | 2020-02-07 |
WO2016107964A1 (en) | 2016-07-07 |
EP3241349A1 (en) | 2017-11-08 |
JP2018517310A (ja) | 2018-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107087107B (zh) | 基于双摄像头的图像处理装置及方法 | |
US9998650B2 (en) | Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map | |
WO2019105214A1 (zh) | 图像虚化方法、装置、移动终端和存储介质 | |
US10257502B2 (en) | Methods and apparatus for controlling light field capture | |
US9843787B2 (en) | Generation and use of a 3D radon image | |
CN108432230B (zh) | 一种成像设备和一种用于显示场景的图像的方法 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
KR20170135855A (ko) | 패닝 샷들의 자동 생성 | |
CN107105157A (zh) | 从手持设备所捕获的多个图像进行肖像图像合成 | |
KR101997991B1 (ko) | 시점 변환을 이용하는 영상 결합 방법 및 시스템 | |
JP2013143712A (ja) | 画像処理装置、画像処理装置を有する撮像装置、画像処理方法、プログラム、及びプログラムを記憶した記憶媒体 | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
CN104155839B (zh) | 用于提供3维图像的系统和方法 | |
JP5929922B2 (ja) | 画像処理装置および画像処理方法 | |
JP6608194B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
WO2013069279A1 (ja) | 撮像装置 | |
JP6571779B2 (ja) | 立体画像化 | |
CN105467741A (zh) | 一种全景拍照方法及终端 | |
KR20160123757A (ko) | 이미지 촬영 장치 및 이미지 촬영 방법 | |
JP6491442B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
JP6157238B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
KR102209908B1 (ko) | 소프트웨어로 벨로우즈(Bellows) 카메라를 구현하는 영상 변환 카메라 장치 및 그 동작 방법 | |
US20150365599A1 (en) | Information processing apparatus, image capturing apparatus, and control method | |
JP6616668B2 (ja) | 画像処理装置および画像処理方法 | |
JP2016103807A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170825 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170825 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180126 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180126 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20180228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180413 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20181228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190709 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6571779 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |