JP5984493B2 - 画像処理装置、画像処理方法、撮像装置およびプログラム - Google Patents
画像処理装置、画像処理方法、撮像装置およびプログラム Download PDFInfo
- Publication number
- JP5984493B2 JP5984493B2 JP2012107581A JP2012107581A JP5984493B2 JP 5984493 B2 JP5984493 B2 JP 5984493B2 JP 2012107581 A JP2012107581 A JP 2012107581A JP 2012107581 A JP2012107581 A JP 2012107581A JP 5984493 B2 JP5984493 B2 JP 5984493B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- color
- information
- colors
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 67
- 238000003384 imaging method Methods 0.000 title claims description 43
- 238000003672 processing method Methods 0.000 title claims description 3
- 239000002131 composite material Substances 0.000 claims description 53
- 238000000034 method Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 46
- 230000003287 optical effect Effects 0.000 claims description 28
- 239000003086 colorant Substances 0.000 claims description 19
- 230000015572 biosynthetic process Effects 0.000 claims description 9
- 238000003786 synthesis reaction Methods 0.000 claims description 9
- 239000000203 mixture Substances 0.000 description 34
- 238000004364 calculation method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 19
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000009795 derivation Methods 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013041 optical simulation Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G06T5/92—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
- G06T15/205—Image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Geometry (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Description
図1は、本実施例に係る多眼方式の撮像装置(カメラ)の主要な構成要素を示す図である。
図3は、通常の撮像光学系の構成を示す図であり、ピントがずれてしまった状態を表している。なお、図3では、IRカットフィルタ、ズームレンズ、絞りなどの構成については省略してある。また、レンズ構成についても、メインレンズ303でレンズ群を代表して表している。
次に、画像処理部103内の画像合成部201の詳細について説明する。
(1/σfocus)+(1/σvirtual)=(1/fmain) ・・・式(1)
X1 = l + (σvirtual/σreal)*(x+s/2-l) ・・・式(2)
X2 = l + (σvirtual/σreal)*(x-s/2-l) ・・・式(3)
実施例1では、順次取得した入力画素に対して、算出された合成画像の画素位置と導出された色が相互に同一である範囲をインデックスの単位として合成画像の画素値の算出を行っていた。次に、合成画像の画素位置が同一の範囲をインデックスの単位とする態様について、実施例2として説明する。なお、実施例1との違いは、インデックスの1単位の範囲だけであるので、その余の共通する部分(図8のフローチャートのステップ801〜804、807)については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
Rm’ = C1*Rm + C2*Gm + C3*Bm ・・・式(4)
Gm’ = C4*Rm + C5*Gm + C6*Bm ・・・式(5)
Bm’ = C7*Rm + C8*Gm + C9*Bm ・・・式(6)
Rm’=(0.8×25)+(0.1×33)+(0.1×22)=25.5
Gm’=(0.1×25)+(0.8×33)+(0.1×22)=31.1
Bm’=(0.1×25)+(0.1×33)+(0.8×22)=23.4
合成画像の端の領域では、多視点画像の画素値が割り当てられていない画素が発生し得る。例えば、図13の(a)において、仮想センサ1302上の△の画素位置では画素値が割り当てられていない。これは、図11のテーブルでいえば、合成画像の画素位置と色で指定されるインデックスに対して、画素値が1つも割り当てられていないことを意味する。そこで、次に、合成画像において欠落した画素の発生を防ぐべく、合成画像の画素値の補間を行う態様について、実施例3として説明する。なお、実施例1と共通する部分(図8のフローチャートのステップ801〜804、807)については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
次に、縮小画像の生成を行う態様について、実施例4として説明する。なお、他の実施例と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
z = (σvirtual/σreal)*x ・・・式(7)
さらに、zとyの間には次の式(8)の関係が成り立つ。
z = (σvirtual/σreal)*(y-l)+l ・・・式(8)
ここで、lは隣り合うマイクロレンズ(図19では1900及び1904)のそれぞれの中心(光学中心)間の距離を表す。
そして、式(7)及び式(8)からzを消去すると、以下の式(9)のようになる。
y = l + x - (σreal/σvirtual)*l ・・・式(9)
このようにして、xとyの関係式が得られる。
上記式(9)を一般化して、n個隣のサブ画像における対応点の座標ynを式で表すと、式(10)のようになる。
yn = n*l + x - (σreal/σvirtual)*n*l ・・・式(10)
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
Claims (8)
- 複数の色に対応する複数のカラーフィルタを有するカラーフィルタアレイを介してそれぞれが互いに異なる視点から撮像された、各画素が前記複数の色のうちの少なくとも一つの色の情報を欠いている複数のカラー画像を取得する取得手段と、
前記複数のカラー画像を、前記欠いている色の情報の補間を行う前に合成することで、少なくとも一つの画素が前記複数の色の全ての情報を有する合成画像を生成する生成手段と、
前記複数のカラー画像の合成において、互いに画素値を合成する画素を決定する決定手段と、
を備え、
前記生成手段は、前記決定手段により決定された画素において、同じ色に対応する画素値が複数存在する場合に、当該同じ色に対応する複数の画素値の平均値を求めることにより、当該同じ色の画素値を算出して、前記合成画像を生成する
ことを特徴とする画像処理装置。 - 前記合成画像においてフォーカスする位置を示すフォーカス情報を入力する入力手段を更に有し、
前記決定手段は、前記フォーカス情報が示すフォーカス位置と、前記複数のカラー画像の撮像に用いられた撮像手段の光学パラメータとに基づいて、前記合成する画素位置を決定する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記合成画像は、前記複数の色のうちの少なくとも一つの色の情報を有しかつ前記複数の色のうちの少なくとも一つの色の情報を欠いている欠落画素を少なくとも一つ含み、
前記生成手段は、前記合成画像に対し、前記欠落画素に前記欠いている色の情報を補間するための補間処理を更に行うことを特徴とする請求項1又は2に記載の画像処理装置。 - 前記生成手段は、前記合成画像の各画素および前記複数の色のそれぞれについて、各画素が各色の情報を有するかを判定し、前記複数の色の全てに関する情報は有しないと判定された画素に、前記欠いている色の情報を補間するための前記補間処理を行うことを特徴とする請求項3に記載の画像処理装置。
- 前記生成手段は、前記合成画像において前記欠落画素に隣接している画素の画素値を用いて、前記欠落画素に前記欠いている色の情報を補間するための前記補間処理を行うことを特徴とする請求項3又は4に記載の画像処理装置。
- 請求項1乃至5のいずれか一項に記載の画像処理装置と、前記複数のカラー画像を撮像する複数の撮像手段とを有する撮像装置。
- 複数の色に対応する複数のカラーフィルタを有するカラーフィルタアレイを介してそれぞれが互いに異なる視点から撮像された、各画素が前記複数の色のうちの少なくとも一つの色の情報を欠いている複数のカラー画像を取得する取得工程と、
前記複数のカラー画像を、前記欠いている色の情報の補間を行う前に合成することで、少なくとも一つの画素が前記複数の色の全ての情報を有する合成画像を生成する生成工程と、
前記複数のカラー画像の合成において、互いに画素値を合成する画素を決定する決定工程と、
を含み、
前記生成工程では、前記決定工程で決定された画素において、同じ色に対応する画素値が複数存在する場合に、当該同じ色に対応する複数の画素値の平均値を求めることにより、当該同じ色の画素値を算出して、前記合成画像が生成される
ことを特徴とする画像処理方法。 - コンピュータを請求項1乃至5のいずれか一項に記載の画像処理装置として機能させるプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012107581A JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
US13/525,155 US8988546B2 (en) | 2011-06-24 | 2012-06-15 | Image processing device, image processing method, image capturing device, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011140741 | 2011-06-24 | ||
JP2011140741 | 2011-06-24 | ||
JP2012107581A JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013031154A JP2013031154A (ja) | 2013-02-07 |
JP2013031154A5 JP2013031154A5 (ja) | 2015-06-25 |
JP5984493B2 true JP5984493B2 (ja) | 2016-09-06 |
Family
ID=47361494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012107581A Active JP5984493B2 (ja) | 2011-06-24 | 2012-05-09 | 画像処理装置、画像処理方法、撮像装置およびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8988546B2 (ja) |
JP (1) | JP5984493B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10902557B2 (en) | 2017-11-24 | 2021-01-26 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5310837B2 (ja) * | 2011-12-28 | 2013-10-09 | カシオ計算機株式会社 | 画像生成装置、デジタルカメラ、方法、及びプログラム |
JP5631935B2 (ja) * | 2012-07-11 | 2014-11-26 | 株式会社東芝 | 画像処理装置、画像処理方法およびプログラム、ならびに、撮像装置 |
EP2835613B1 (de) * | 2013-08-08 | 2019-01-16 | Hexagon Technology Center GmbH | Geodätisches Vermessungsgerät mit Mikrolinsenarray |
KR101567668B1 (ko) | 2014-01-28 | 2015-11-20 | 조선대학교산학협력단 | 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법 |
US9807372B2 (en) * | 2014-02-12 | 2017-10-31 | Htc Corporation | Focused image generation single depth information from multiple images from multiple sensors |
JP6463900B2 (ja) * | 2014-04-17 | 2019-02-06 | キヤノン株式会社 | 画像符号化装置及びその制御方法 |
JP6585890B2 (ja) * | 2014-09-30 | 2019-10-02 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム、並びに撮像装置 |
CN106157356B (zh) * | 2016-07-05 | 2018-12-28 | 北京邮电大学 | 一种图像处理方法及装置 |
JP6904684B2 (ja) * | 2016-11-04 | 2021-07-21 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
KR102653106B1 (ko) | 2018-10-18 | 2024-04-01 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7113634B2 (en) * | 2001-07-31 | 2006-09-26 | Canon Kabushiki Kaisha | Stereoscopic image forming apparatus, stereoscopic image forming method, stereoscopic image forming system and stereoscopic image forming program |
JP4826152B2 (ja) * | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
WO2008050904A1 (fr) | 2006-10-25 | 2008-05-02 | Tokyo Institute Of Technology | Procédé de génération d'image dans un plan de focalisation virtuel haute résolution |
JP2008294741A (ja) | 2007-05-24 | 2008-12-04 | Olympus Corp | 撮像システム |
JP4968527B2 (ja) * | 2007-07-10 | 2012-07-04 | ソニー株式会社 | 撮像装置 |
JP4905326B2 (ja) * | 2007-11-12 | 2012-03-28 | ソニー株式会社 | 撮像装置 |
JP4483951B2 (ja) | 2008-01-28 | 2010-06-16 | ソニー株式会社 | 撮像装置 |
JP4706882B2 (ja) * | 2009-02-05 | 2011-06-22 | ソニー株式会社 | 撮像装置 |
KR20120063984A (ko) * | 2010-12-08 | 2012-06-18 | 한국전자통신연구원 | 다시점 영상 생성 방법 및 장치 |
JP5687608B2 (ja) * | 2011-11-28 | 2015-03-18 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
-
2012
- 2012-05-09 JP JP2012107581A patent/JP5984493B2/ja active Active
- 2012-06-15 US US13/525,155 patent/US8988546B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10902557B2 (en) | 2017-11-24 | 2021-01-26 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
US11334968B2 (en) | 2017-11-24 | 2022-05-17 | Samsung Electronics Co., Ltd. | Method and apparatus for restoring image |
Also Published As
Publication number | Publication date |
---|---|
JP2013031154A (ja) | 2013-02-07 |
US20120327259A1 (en) | 2012-12-27 |
US8988546B2 (en) | 2015-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5984493B2 (ja) | 画像処理装置、画像処理方法、撮像装置およびプログラム | |
JP6168794B2 (ja) | 情報処理方法および装置、プログラム。 | |
JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
JP6029380B2 (ja) | 画像処理装置、画像処理装置を具備する撮像装置、画像処理方法、及びプログラム | |
JP6021541B2 (ja) | 画像処理装置及び方法 | |
JP5054248B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、撮像装置 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2015197745A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5882789B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010140442A (ja) | 画像処理装置およびその方法 | |
US20130162780A1 (en) | Stereoscopic imaging device and shading correction method | |
JP2013009274A (ja) | 画像処理装置および画像処理方法、プログラム | |
JP2010034964A (ja) | 画像合成装置、画像合成方法及び画像合成プログラム | |
US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
JP5455728B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP6190119B2 (ja) | 画像処理装置、撮像装置、制御方法、及びプログラム | |
JP2009047734A (ja) | 撮像装置及び画像処理プログラム | |
JP6012396B2 (ja) | 画像処理装置、画像処理方法およびプログラム。 | |
JP6732440B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP6415330B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
JP6105960B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP7183015B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2013175821A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
JP5863280B2 (ja) | 撮像装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160802 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5984493 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |