JP4952768B2 - 撮像装置および画像解析コンピュータプログラム - Google Patents
撮像装置および画像解析コンピュータプログラム Download PDFInfo
- Publication number
- JP4952768B2 JP4952768B2 JP2009246881A JP2009246881A JP4952768B2 JP 4952768 B2 JP4952768 B2 JP 4952768B2 JP 2009246881 A JP2009246881 A JP 2009246881A JP 2009246881 A JP2009246881 A JP 2009246881A JP 4952768 B2 JP4952768 B2 JP 4952768B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pupil
- light receiving
- optical system
- microlens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 32
- 238000010191 image analysis Methods 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 78
- 230000003287 optical effect Effects 0.000 claims description 38
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 9
- 238000000034 method Methods 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 210000003462 vein Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/67—Focus control based on electronic image sensor signals
- H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
- G02B3/0037—Arrays characterized by the distribution or form of lenses
- G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Description
請求項9に記載の発明による画像解析コンピュータプログラムは、複数のマイクロレンズが配列されたマイクロレンズアレイと、複数の受光素子が配列された受光素子アレイとを備える撮像装置において生成される撮影画像データに対する画像解析に用いられる画像解析コンピュータプログラムであって、複数の受光素子で得られる受光信号に基づいて、複数のマイクロレンズの輪郭に相当する画像を含む第1画像データを生成する生成指示と、第1画像のうち、マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算指示とを備えることを特徴とする。
図1〜図10を参照して、本発明による撮像装置をカメラに適用した第1の実施の形態を説明する。図1は、本実施の形態によるカメラ1の構成を説明する図である。図1に示すカメラ1は、カメラボディ10と鏡筒15とを有し、焦点検出機能または画像合成機能のいずれかまたは両方の機能を備えている。鏡筒15は、撮影光学系制御部150、撮影レンズ160、鏡筒メモリ170とを含む。カメラボディ10は、主制御部100、撮像素子110、マイクロレンズアレイ120、内蔵メモリ130、メモリカード140とを含む。
本発明による撮像装置をカメラに適用した第1の実施の形態では、図7に示すステップS740において、内蔵メモリ130に予め記録されている図6(a)〜(c)に示すテンプレート画像の中から瞳径に対応した好適なものを選択している。しかし、例えば、テンプレート画像の選択肢が限定されない場合、あるいは、鏡筒15が撮影光学系制御部150を有していないためにステップS730で撮影光学系属性情報が取得できない場合は、ステップS740において、瞳径に対応した好適なテンプレート画像を生成する必要がある。ステップS730で撮影光学系属性情報が取得できない場合において、本発明による撮像装置をカメラに適用した第2の実施の形態について、図9を用いて説明する。
本発明による撮像装置をカメラに適用した第1の実施の形態では、図7に示すステップS790において、瞳投影中心位置を内蔵メモリ130に記録している。その場合において、例えば、撮影レンズ160の焦点調節、または鏡筒15の交換により、瞳位置hが変化した際には、記録されている瞳投影中心位置に基づいて瞳投影中心位置の補正量を算出することによって、全ての瞳投影中心位置を算出できるようにしても良い。図10を用い、本発明による撮像装置をカメラに適用した第3の実施の形態について説明する。
本発明による撮像装置をカメラに適用した第1〜3の実施の形態では、カメラ1のカメラボディ10が有する主制御部100が撮影レンズ160の焦点検出および焦点調節または画像合成と、瞳中心投影位置決定とを行っている。しかし、画像合成と瞳中心投影位置決定とは、例えば画像解析コンピュータプログラムに従って動作するPC(パーソナルコンピュータ)がカメラ1から必要な情報を取得して実行するようにしても良い。図11および図12を用い、本発明による画像解析コンピュータプログラムをインストールしたPCに適用した第4の実施の形態について説明する。
上述した本発明の第1の実施の形態においては、エッジ抽出処理は、たとえばラプラシアン等の微分フィルタ処理によるものとしたが、被写体が細かい模様を有しているような高周波成分を含む撮像データに対しては、ローパスフィルターによる前処理を施した後に実施することとしても良い。
2 PC
3 記録媒体
10 カメラボディ
15 鏡筒
100 主制御部
110 撮像素子
115 撮像画素
120 マイクロレンズアレイ
130 内蔵メモリ
140 メモリカード
150 撮影光学系制御部
160 撮影レンズ
170 鏡筒メモリ
Claims (10)
- 複数のマイクロレンズが配列されたマイクロレンズアレイと、
前記マイクロレンズアレイを介して光学系からの光束を受光して受光信号を出力する複数の受光素子が配列された受光素子アレイと、
前記複数の受光素子で得られる前記受光信号に基づいて、前記複数のマイクロレンズの輪郭に相当する画像を含む第1画像を生成する画像生成手段と、
前記第1画像のうち、前記マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算手段とを備えたことを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記演算手段は、前記第1画像のうち、前記複数のマイクロレンズの第1マイクロレンズに対応する第1部分について前記第2画像に符合する画像の位置を求め、前記第1マイクロレンズとは異なる第2マイクロレンズに対応する第2部分については、前記複数のマイクロレンズの配列と前記第2画像に符合する画像の位置とに基づいて前記第2画像に符合する画像の位置を求めることを特徴とする撮像装置。 - 請求項1または2に記載の撮像装置において、
前記第2画像は、前記光学系の瞳径に基づいて生成することを特徴とする撮像装置。 - 請求項1〜3のいずれか1項に記載の撮像装置において、
前記光学系の瞳の位置が所定値であるときの前記第2画像に符合する画像の位置を基準位置として記憶する記憶手段をさらに備え、
前記演算手段は、前記光学系の瞳の位置が前記所定値とは異なる値であるとき、前記第2画像に符合する画像の位置を補正することを特徴とする撮像装置。 - 請求項4に記載の撮像装置において、
前記演算手段は、前記光学系の瞳の位置が前記所定値とは異なる値であるとき、前記異なる値と前記所定値との差に基づいて、前記第2画像に符合する画像の位置を補正することを特徴とする撮像装置。 - 請求項1〜5のいずれか1項に記載の撮像装置において、
前記第2画像に符合する画像の位置に基づいて、前記複数のマイクロレンズの各々について、前記複数の受光素子から一部の受光素子を選択し、前記一部の受光素子の出力を用いて被写体像の画像データを合成する画像合成手段をさらに備えることを特徴とする撮像装置。 - 請求項1〜5のいずれか1項に記載の撮像装置において、
前記第2画像に符合する画像の位置に基づいて、前記光学系の相異なる一対の瞳を通過する一対の前記光束により一対の像が形成される一対の受光素子を、前記複数のマイクロレンズの各々について、前記複数の受光素子から選択し、前記一対の受光素子の出力を用いて前記光学系の焦点調節状態を検出する焦点検出手段をさらに備えることを特徴とする撮像装置。 - 請求項1に記載の撮像装置において、
前記画像生成手段は、前記光学系の瞳径の値が暫定値の場合における暫定的な前記第2画像と前記第1画像との相関性に基づいて、前記光学系の瞳径の値を更新値に更新し、前記光学系の瞳径の値が更新値の場合における暫定的な前記第2画像を生成することを特徴とする撮像装置。 - 複数のマイクロレンズが配列されたマイクロレンズアレイと、複数の受光素子が配列された受光素子アレイとを備える撮像装置において生成される撮影画像データに対する画像解析に用いられる画像解析コンピュータプログラムであって、
前記複数の受光素子で得られる受光信号に基づいて、前記複数のマイクロレンズの輪郭に相当する画像を含む第1画像データを生成する生成指示と、
前記第1画像のうち、前記マイクロレンズの輪郭に対応する第2画像に符合する画像の位置を求める演算指示とを備えることを特徴とする画像解析コンピュータプログラム。 - 請求項9に記載の画像解析コンピュータプログラムにおいて、
前記演算指示により、前記第1画像のうち、前記複数のマイクロレンズの第1マイクロレンズに対応する第1部分について前記第2画像に符合する画像の位置を求め、前記第1マイクロレンズとは異なる第2マイクロレンズに対応する第2部分については、前記複数のマイクロレンズの配列と前記第2画像に符合する画像の位置とに基づいて前記第2画像に符合する画像の位置を求めることを特徴とする画像解析コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246881A JP4952768B2 (ja) | 2009-10-27 | 2009-10-27 | 撮像装置および画像解析コンピュータプログラム |
US12/911,194 US8537261B2 (en) | 2009-10-27 | 2010-10-25 | Image-capturing apparatus and computer-readable computer program product containing image analysis computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009246881A JP4952768B2 (ja) | 2009-10-27 | 2009-10-27 | 撮像装置および画像解析コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011097179A JP2011097179A (ja) | 2011-05-12 |
JP4952768B2 true JP4952768B2 (ja) | 2012-06-13 |
Family
ID=44113668
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009246881A Active JP4952768B2 (ja) | 2009-10-27 | 2009-10-27 | 撮像装置および画像解析コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8537261B2 (ja) |
JP (1) | JP4952768B2 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5854984B2 (ja) * | 2012-02-20 | 2016-02-09 | キヤノン株式会社 | 画像処理装置、撮像装置、制御方法、及びプログラム |
JP5627622B2 (ja) * | 2012-03-15 | 2014-11-19 | 株式会社東芝 | 固体撮像装置および携帯情報端末 |
JP2013239904A (ja) * | 2012-05-15 | 2013-11-28 | Sony Corp | 画像処理装置と画像処理方法およびプログラム |
JP5988790B2 (ja) * | 2012-09-12 | 2016-09-07 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム |
US9480860B2 (en) | 2013-09-27 | 2016-11-01 | Varian Medical Systems, Inc. | System and methods for processing images to measure multi-leaf collimator, collimator jaw, and collimator performance utilizing pre-entered characteristics |
JP2015177510A (ja) * | 2014-03-18 | 2015-10-05 | 株式会社リコー | カメラシステム、画像処理方法及びプログラム |
EP3104595A1 (en) * | 2015-06-08 | 2016-12-14 | Thomson Licensing | Light field imaging device |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01216306A (ja) | 1988-02-24 | 1989-08-30 | Canon Inc | 撮像手段を有した焦点検出装置 |
JPH09102039A (ja) | 1995-10-05 | 1997-04-15 | Nippon Steel Corp | テンプレートマッチング方法 |
JP2004004471A (ja) | 2002-04-26 | 2004-01-08 | Bridgestone Corp | 画像表示粒子及びそれを用いた画像表示装置 |
US7936392B2 (en) | 2004-10-01 | 2011-05-03 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangements and methods therefor |
JP4826152B2 (ja) | 2005-06-23 | 2011-11-30 | 株式会社ニコン | 画像合成方法及び撮像装置 |
US7924483B2 (en) * | 2006-03-06 | 2011-04-12 | Smith Scott T | Fused multi-array color image sensor |
US8189065B2 (en) * | 2008-01-23 | 2012-05-29 | Adobe Systems Incorporated | Methods and apparatus for full-resolution light-field capture and rendering |
JP4483951B2 (ja) * | 2008-01-28 | 2010-06-16 | ソニー株式会社 | 撮像装置 |
JP4886716B2 (ja) * | 2008-02-26 | 2012-02-29 | 富士フイルム株式会社 | 画像処理装置および方法並びにプログラム |
-
2009
- 2009-10-27 JP JP2009246881A patent/JP4952768B2/ja active Active
-
2010
- 2010-10-25 US US12/911,194 patent/US8537261B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US8537261B2 (en) | 2013-09-17 |
JP2011097179A (ja) | 2011-05-12 |
US20110228131A1 (en) | 2011-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4952768B2 (ja) | 撮像装置および画像解析コンピュータプログラム | |
JP6271990B2 (ja) | 画像処理装置、画像処理方法 | |
CN103081455B (zh) | 从手持设备所捕获的多个图像进行肖像图像合成 | |
JP6548367B2 (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5609270B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法およびプログラム | |
JP2009115981A (ja) | 撮影装置、その制御方法およびプログラム | |
JP4974812B2 (ja) | 電子カメラ | |
JP6823469B2 (ja) | 像ブレ補正装置及びその制御方法、撮像装置、プログラム、記憶媒体 | |
JP6518452B2 (ja) | 撮像装置及び撮像方法 | |
EP2866430B1 (en) | Imaging apparatus and its control method and program | |
US11682131B2 (en) | Image capturing apparatus and method of controlling image capturing apparatus | |
JP2010256530A (ja) | 顕微鏡装置 | |
JP5857712B2 (ja) | ステレオ画像生成装置、ステレオ画像生成方法及びステレオ画像生成用コンピュータプログラム | |
JP2011135191A (ja) | 撮像装置及び画像処理装置 | |
JP2016001853A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2011113174A (ja) | 画像合成装置、画像再生装置、および撮像装置 | |
JP6645711B2 (ja) | 画像処理装置、画像処理方法、プログラム | |
CN110995982A (zh) | 图像处理装置及其控制方法、摄像装置、以及记录介质 | |
KR101761105B1 (ko) | 화상처리장치, 그 제어 방법 및 기억매체 | |
JP5965654B2 (ja) | 追尾装置及び撮像装置、撮像装置に用いる追尾方法 | |
JP6046922B2 (ja) | 焦点検出装置、撮像装置、制御方法、プログラム及び記録媒体 | |
JP5893412B2 (ja) | 撮像装置およびその制御方法 | |
JP6478536B2 (ja) | 画像処理装置および撮像装置、ならびにそれらの制御方法、プログラム | |
JP6916627B2 (ja) | 撮像装置およびその制御方法 | |
KR101599434B1 (ko) | 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111108 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120214 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120227 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4952768 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |