JP5222205B2 - 画像処理装置、方法及びプログラム - Google Patents
画像処理装置、方法及びプログラム Download PDFInfo
- Publication number
- JP5222205B2 JP5222205B2 JP2009090659A JP2009090659A JP5222205B2 JP 5222205 B2 JP5222205 B2 JP 5222205B2 JP 2009090659 A JP2009090659 A JP 2009090659A JP 2009090659 A JP2009090659 A JP 2009090659A JP 5222205 B2 JP5222205 B2 JP 5222205B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- depth information
- viewpoint
- pixel
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computing Systems (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Description
所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を使用して任意の視点での画像を生成する装置のための画像データを作成する画像処理装置であって、所定の画像を参照画像とし、参照画像の奥行き情報を、参照画像以外の画像である対象画像の奥行き情報に変換する手段と、該対象画像の奥行き情報と、前記参照画像の奥行き情報から変換して求めた該対象画像の奥行き情報との差分である差情報を求める手段と、参照画像の奥行き情報と、対象画像の差情報を保存する手段とを備えていることを特徴とする。
差情報をフィルタ処理して前記保存する手段に保存することも好ましい。また、参照画像の奥行き情報から変換して求めた対象画像の奥行き情報と、該対象画像の差情報を加算して、該対象画像の奥行き情報を復元する手段を、さらに、備えていることも好ましく、その際、対象画像の差情報のエッジ領域を検出し、復元された対象画像の奥行き情報のうち、検出されたエッジ領域に対応する領域をフィルタ処理することも好ましい。
上記画像処理装置としてコンピュータを機能させることを特徴とする。
光線36により生じる画素の画素値=a×X+(1−a)×Y
により求める。
2 補間画像生成部
3 奥行き情報生成部
4 奥行き情報圧縮部
5 画像生成部
6 奥行き情報復元部
10、11、12 被写体
13、14 被写体上の一点
20、23 視点
30、80 指定された視点での画像
21、22、24、25、27、28、31、32、81〜87 事前画像
33 事前画像間の画像
34、35、36、37、43、70、71 光線
41 空間分割部
42 参照画像選択部
43、61 射影変換部
44 差情報生成部
45 フィルタ部
62 復元部
63 エッジ領域フィルタ部
64 参照画像
65、66 対象画像
51、52、53、54、55 層
90 画面
91 視点
92 画素
Claims (5)
- 所定の複数の線上に設けた複数の視点それぞれでの画像、及び、画像の各画素の奥行きの値を示す、各画像についての奥行き情報を使用して任意の視点での画像を生成する装置のための画像データを作成する画像処理装置であって、
前記画像の視点を含む領域を、複数の領域に分割し、各領域から参照画像として使用する画像を1つ選択し、各領域の参照画像以外の画像を対象画像とする選択手段と、
前記参照画像の奥行き情報を、前記対象画像の奥行き情報に変換する手段と、
該対象画像の奥行き情報と、前記参照画像の奥行き情報から変換して求めた該対象画像の奥行き情報との差分である差情報を求める手段と、
参照画像の奥行き情報と、対象画像の差情報を保存する手段と、
を備えている画像処理装置。 - 差情報をフィルタ処理して前記保存する手段に保存する、
請求項1に記載の画像処理装置。 - 参照画像の奥行き情報から変換して求めた対象画像の奥行き情報と、該対象画像の差情報を加算して、該対象画像の奥行き情報を復元する手段を、さらに、備えている、
請求項2に記載の画像処理装置。 - 対象画像の差情報のエッジ領域を検出し、復元された対象画像の奥行き情報のうち、検出されたエッジ領域に対応する領域をフィルタ処理する、
請求項3に記載の画像生成装置。 - 請求項1から4のいずれか1項に記載の画像処理装置としてコンピュータを機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090659A JP5222205B2 (ja) | 2009-04-03 | 2009-04-03 | 画像処理装置、方法及びプログラム |
US12/718,710 US8548227B2 (en) | 2009-04-03 | 2010-03-05 | Image processing apparatus and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009090659A JP5222205B2 (ja) | 2009-04-03 | 2009-04-03 | 画像処理装置、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010244220A JP2010244220A (ja) | 2010-10-28 |
JP5222205B2 true JP5222205B2 (ja) | 2013-06-26 |
Family
ID=42826236
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009090659A Expired - Fee Related JP5222205B2 (ja) | 2009-04-03 | 2009-04-03 | 画像処理装置、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8548227B2 (ja) |
JP (1) | JP5222205B2 (ja) |
Families Citing this family (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101733443B1 (ko) | 2008-05-20 | 2017-05-10 | 펠리칸 이매징 코포레이션 | 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리 |
US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
US8514491B2 (en) | 2009-11-20 | 2013-08-20 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
JP5848754B2 (ja) | 2010-05-12 | 2016-01-27 | ペリカン イメージング コーポレイション | 撮像装置アレイおよびアレイカメラのためのアーキテクチャ |
US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
JP2014519741A (ja) | 2011-05-11 | 2014-08-14 | ペリカン イメージング コーポレイション | アレイカメラ画像データを伝送および受信するためのシステムおよび方法 |
US9191646B2 (en) * | 2011-08-29 | 2015-11-17 | Nokia Technologies Oy | Apparatus, a method and a computer program for video coding and decoding |
WO2013043761A1 (en) | 2011-09-19 | 2013-03-28 | Pelican Imaging Corporation | Determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
KR102002165B1 (ko) | 2011-09-28 | 2019-07-25 | 포토내이션 리미티드 | 라이트 필드 이미지 파일의 인코딩 및 디코딩을 위한 시스템 및 방법 |
US9661310B2 (en) * | 2011-11-28 | 2017-05-23 | ArcSoft Hanzhou Co., Ltd. | Image depth recovering method and stereo image fetching device thereof |
EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
US9846960B2 (en) | 2012-05-31 | 2017-12-19 | Microsoft Technology Licensing, Llc | Automated camera array calibration |
US20130321564A1 (en) | 2012-05-31 | 2013-12-05 | Microsoft Corporation | Perspective-correct communication window with motion parallax |
EP2873028A4 (en) | 2012-06-28 | 2016-05-25 | Pelican Imaging Corp | SYSTEMS AND METHOD FOR DETECTING DEFECTIVE CAMERA ARRAYS, OPTICAL ARRAYS AND SENSORS |
US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
EP4296963A3 (en) | 2012-08-21 | 2024-03-27 | Adeia Imaging LLC | Method for depth detection in images captured using array cameras |
CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
US20140092281A1 (en) | 2012-09-28 | 2014-04-03 | Pelican Imaging Corporation | Generating Images from Light Fields Utilizing Virtual Viewpoints |
WO2014056150A1 (en) * | 2012-10-09 | 2014-04-17 | Nokia Corporation | Method and apparatus for video coding |
US20140204088A1 (en) * | 2013-01-18 | 2014-07-24 | Microsoft Corporation | Surface codec using reprojection onto depth maps |
WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
WO2014138697A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for high dynamic range imaging using array cameras |
US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
WO2014164909A1 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | Array camera architecture implementing quantum film sensors |
WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
WO2014159779A1 (en) | 2013-03-14 | 2014-10-02 | Pelican Imaging Corporation | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
US9438888B2 (en) | 2013-03-15 | 2016-09-06 | Pelican Imaging Corporation | Systems and methods for stereo imaging with camera arrays |
US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
US9898856B2 (en) | 2013-09-27 | 2018-02-20 | Fotonation Cayman Limited | Systems and methods for depth-assisted perspective distortion correction |
US9185276B2 (en) | 2013-11-07 | 2015-11-10 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
US10119808B2 (en) | 2013-11-18 | 2018-11-06 | Fotonation Limited | Systems and methods for estimating depth from projected texture using camera arrays |
US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
US10250871B2 (en) | 2014-09-29 | 2019-04-02 | Fotonation Limited | Systems and methods for dynamic calibration of array cameras |
PL412832A1 (pl) * | 2015-06-24 | 2017-01-02 | Politechnika Poznańska | Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi |
CN108141593B (zh) * | 2015-07-31 | 2022-05-03 | 港大科桥有限公司 | 用于针对深度视频的高效帧内编码的基于深度不连续的方法 |
JP6824579B2 (ja) * | 2017-02-17 | 2021-02-03 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置および画像生成方法 |
US11474978B2 (en) | 2018-07-06 | 2022-10-18 | Capital One Services, Llc | Systems and methods for a data search engine based on data profiles |
US11615208B2 (en) | 2018-07-06 | 2023-03-28 | Capital One Services, Llc | Systems and methods for synthetic data generation |
EP3821267A4 (en) | 2019-09-17 | 2022-04-13 | Boston Polarimetrics, Inc. | SURFACE MODELING SYSTEMS AND METHODS USING POLARIZATION MARKERS |
CN114746717A (zh) | 2019-10-07 | 2022-07-12 | 波士顿偏振测定公司 | 利用偏振进行表面法线感测的系统和方法 |
MX2022005289A (es) | 2019-11-30 | 2022-08-08 | Boston Polarimetrics Inc | Sistemas y metodos para segmentacion de objetos transparentes usando se?ales de polarizacion. |
US11195303B2 (en) | 2020-01-29 | 2021-12-07 | Boston Polarimetrics, Inc. | Systems and methods for characterizing object pose detection and measurement systems |
JP2023511747A (ja) | 2020-01-30 | 2023-03-22 | イントリンジック イノベーション エルエルシー | 偏光画像を含む異なる撮像モダリティで統計モデルを訓練するためのデータを合成するためのシステムおよび方法 |
WO2021243088A1 (en) | 2020-05-27 | 2021-12-02 | Boston Polarimetrics, Inc. | Multi-aperture polarization optical systems using beam splitters |
US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10111951A (ja) * | 1996-10-04 | 1998-04-28 | Canon Inc | 画像処理方法および装置および記憶媒体 |
JPH10141913A (ja) * | 1996-11-07 | 1998-05-29 | Komatsu Ltd | 移動体の位置、速度計測装置 |
JP2000003445A (ja) | 1998-06-15 | 2000-01-07 | Toshiba Corp | 情報抽出方法および情報抽出装置および記録媒体 |
JP3561446B2 (ja) * | 1999-08-25 | 2004-09-02 | 日本電信電話株式会社 | 画像生成方法及びその装置 |
JP2001175863A (ja) * | 1999-12-21 | 2001-06-29 | Nippon Hoso Kyokai <Nhk> | 多視点画像内挿方法および装置 |
JP2001256482A (ja) * | 2000-03-08 | 2001-09-21 | Fuji Xerox Co Ltd | 視差画像生成装置および視差画像生成方法 |
JP4460782B2 (ja) * | 2001-01-10 | 2010-05-12 | セコム株式会社 | 侵入監視装置 |
US20070285554A1 (en) * | 2005-10-31 | 2007-12-13 | Dor Givon | Apparatus method and system for imaging |
JP4803594B2 (ja) | 2006-07-05 | 2011-10-26 | Kddi株式会社 | 局所領域分割による自由視点画像の生成装置およびプログラム |
KR100899422B1 (ko) * | 2007-08-06 | 2009-05-27 | 삼성모바일디스플레이주식회사 | 스테레오 매칭 시스템 및 이를 이용한 스테레오 매칭방법 |
-
2009
- 2009-04-03 JP JP2009090659A patent/JP5222205B2/ja not_active Expired - Fee Related
-
2010
- 2010-03-05 US US12/718,710 patent/US8548227B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8548227B2 (en) | 2013-10-01 |
JP2010244220A (ja) | 2010-10-28 |
US20100254627A1 (en) | 2010-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5222205B2 (ja) | 画像処理装置、方法及びプログラム | |
JP5249114B2 (ja) | 画像生成装置、方法及びプログラム | |
JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
TWI510086B (zh) | 數位重對焦方法 | |
KR102156402B1 (ko) | 영상 처리 방법 및 장치 | |
JP4508878B2 (ja) | 立体画像のためのビデオフィルタ処理 | |
JP5887267B2 (ja) | 3次元画像補間装置、3次元撮像装置および3次元画像補間方法 | |
JP4658223B2 (ja) | 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体 | |
JP6734620B2 (ja) | 映像処理方法及び映像処理装置 | |
JPWO2008050904A1 (ja) | 高解像度仮想焦点面画像生成方法 | |
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP5446949B2 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP6406853B2 (ja) | 光フィールド映像を生成する方法及び装置 | |
JP2012186790A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP5035195B2 (ja) | 画像生成装置及びプログラム | |
KR101969082B1 (ko) | 다수의 카메라를 이용한 최적의 구형 영상 획득 방법 | |
JP5225313B2 (ja) | 画像生成装置、画像生成方法、及びプログラム | |
JP2013196532A (ja) | 3次元モデル−インテグラル画像変換装置およびそのプログラム | |
JPWO2019198501A1 (ja) | 画像処理装置、画像処理方法、プログラム、および画像伝送システム | |
JP2016063248A (ja) | 画像処理装置および画像処理方法 | |
JP6148154B2 (ja) | 画像処理装置及び画像処理プログラム | |
JPWO2013080544A1 (ja) | 立体画像処理装置、立体画像処理方法、および立体画像処理プログラム | |
KR20200143276A (ko) | 비디오 부호화 방법 및 비디오 복호화 방법 | |
KR101289283B1 (ko) | 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 | |
JP4998422B2 (ja) | 画像生成装置、方法、通信システム及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100823 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120220 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121204 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130204 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130219 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160315 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |