JP4825748B2 - 画像データ処理方法および撮像装置 - Google Patents
画像データ処理方法および撮像装置 Download PDFInfo
- Publication number
- JP4825748B2 JP4825748B2 JP2007185096A JP2007185096A JP4825748B2 JP 4825748 B2 JP4825748 B2 JP 4825748B2 JP 2007185096 A JP2007185096 A JP 2007185096A JP 2007185096 A JP2007185096 A JP 2007185096A JP 4825748 B2 JP4825748 B2 JP 4825748B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- focus
- focus function
- function
- smart
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 32
- 238000003672 processing method Methods 0.000 title claims description 18
- 230000006870 function Effects 0.000 claims description 172
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 description 15
- 238000005070 sampling Methods 0.000 description 5
- 101100201894 Mus musculus Rtn4ip1 gene Proteins 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
特許文献3では、合焦点領域と焦点外れ(非合焦点)領域とが混在する画像を鮮明化するため、対象画像を構成する全画素のそれぞれを着目画素として、着目画素の色情報に影響を与える周辺画素の範囲を示す錯乱円を推定し、当該推定された錯乱円に基づいてボケ関数の逆フィルタを用いて、着目画素の色情報を周辺画素の影響の無い状態に復元するという方法並びに装置が提案されている。
(ステップ1)詳細フォーカス関数の4角を重要点として選択する。
(ステップ2)現在重要点として残している点でドローネ三角形分割を行う。
(ステップ3)全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
(ステップ4)全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
(ステップ5)重要点の個数が予め定めた値を越えるまで上記ステップ2〜ステップ4を繰り返す。
Fsmart(i,j)とし、当該Fsmart(i,j)が重要点の場合にw=1、重要点でない場合にw=0、x,yを整数、m,nを自然数としたとき、非合焦点画像から合焦点画像への第2の変換式を以下の如く定義し、
あるチャート等を被写体として、これをピント外れの状態で近接撮影してデフォーカス画像を取得する。次に、このチャートを拡大印刷して、既に取得したデフォーカス画像と同じ大きさに写る距離でピントのあった状態で撮影してフォーカス画像を取得してコンピュータ装置2へ入力する。
まず、マクロ切替機能を有する撮像手段をマクロモードにして、ある被写体の画像を取得する。この画像は合焦点画像(フォーカス画像)であり、これを原画像として、コンピュータ装置2へ取り込む。次に、撮像手段のマクロ機能を無効にして、同じ被写体の画像を取得する。この画像は、ピントの合っていない非合焦点画像(デフォーカス画像)であり、同様にコンピュータ装置2へ保存する。
まず、コンピュータ装置2によってスマートフォーカス関数データを生成する方法について説明する。
まず、上記ステップS101で説明したいずれかの方法によって、被写体のフォーカス画像31とデフォーカス画像32を撮影し、これらの画像をコンピュータ装置2の入力部12、画像データ入力手段21を介して、記憶部11へ取り込む。
原画像をデフォーカス画像に位置合わせした後、詳細フォーカス関数を求める。なお、フォーカス関数はそのピクセルサイズが比較的大きなフィルタ関数であり、詳細フォーカス関数とはピクセル(もしくは数ピクセル)単位でその関数値を持つもので、正確であるがデータ量が多くフォーカス演算処理時間がかかる。
Sw=s×(Nw−1)+1
Sh=s×(Nh−1)+1
次に、スマートフォーカス関数演算手段23を起動して、詳細フォーカス関数からスマートフォーカス関数を求める。詳細フォーカス関数は点の個数が多く、フォーカス画像生成の際に計算時間がかかる。
(S1)詳細フォーカス関数の4角を重要点として選択する。
(S2)現在重要点として残している点でドローネ三角形分割を行う。
(S3)全ての点について予測フォーカス関数値を求める。予測フォーカス関数値は、その点が所属する三角形の頂点のフォーカス関数値から内挿することによって求める。
(S4)全ての点について予測フォーカス関数値と実際のフォーカス関数値を比較して、その差分が最も大きい点を重要点として追加する。
(S5)重要点の個数がNimpを越えるまでステップ(S2)〜(S4)を繰り返す。
単純に重要点の詳細フォーカス関数値Fdetail(i,j)を用いず、再度フォーカス関数値Fsmart(i,j)求めることにより、フォーカス画像の精度を向上させることができる。
スマートフォーカス関数演算手段23によって作成されたスマートフォーカス関数データは、出力手段24、出力部13を介して取り出され、撮像装置1の記憶部に実装される。
(S11)まず、連写した複数枚(n枚)のデフォーカス画像データの輝度画像を生成する。
(S12)次に、各輝度画像の特徴点を抽出する。
(S13)n枚の輝度画像のうち、一の輝度画像(たとえば最初に取得した画像)を基準画像とし、以降に取得した画像を比較画像として、特徴点のマッチング処理によって特徴点間の動きデータを計算する。すなわち、n−1枚の比較画像の特徴点間の動きデータを算出する。
(S14)スマートフォーカス関数を用いて、n枚のデフォーカス画像のフォーカス画像を生成し、各フォーカス画像に対してステップS11の輝度画像生成処理とステップS12の特徴点抽出処理処理を実行する。
(S15)ステップS14で生成したn枚のフォーカス画像の輝度画像に対して、ステップS13で求めたデフォーカス画像の動きデータを初期値として対応するフォーカス画像の動きデータを算出し、順次、動き補正をして基準画像に合成していく。
2 コンピュータ装置
3 撮像手段(マクロ切替機能あり)
4 撮像手段(マクロ機能なし)
10 演算部
11 記憶部
12 入力部
13 出力部
21 画像データ入力手段
22 詳細フォーカス関数演算手段
23 スマートフォーカス関数演算手段
24 出力手段
31 原画像データ
32,41 デフォーカス画像データ
33 詳細フォーカス関数データ
34 設定値
35 スマートフォーカス関数データ
42 フォーカス画像生成手段
43 フォーカス画像
Claims (7)
- 合焦点画像と、同一被写体の非合焦点画像とをもとにフォーカス関数を生成し、該フォーカス関数を用いて撮像画像を鮮明化する画像データ処理方法であって、
非合焦点画像の座標と合焦点画像の座標とを引数とし、詳細フォーカス関数を用いて、非合焦点画像から合焦点画像へのピクセル値の第1の変換式を定義し、該第1の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解として詳細フォーカス関数を算出し、
前記算出した詳細フォーカス関数について、所定の点を初期の重要点として選択し、既に選択された重要点から予測フォーカス関数値を算出し、実際のフォーカス関数値と比較して、その差分が大きい点を新たな重要点として選択することを繰り返すことによって、予め定められた個数の座標上の重要点を抽出する重要点選択処理を実行し、
前記重要点選択処理によって重要点を抽出した後、非合焦点画像の座標と合焦点画像の座標とを引数とし、スマートフォーカス関数を用いて、該重要点に基づいて非合焦点画像から合焦点画像へのピクセル値の第2の変換式を定義し、該第2の変換式に対して、教育データとなる合焦点画像と非合焦点画像とから最適解としてスマートフォーカス関数を算出し、
当該スマートフォーカス関数を前記フォーカス関数とし、該フォーカス関数を用いて撮像手段を通して得られた非合焦点画像から合焦点画像を生成することを特徴とする画像データ処理方法。
- 前記第1の変換式は、詳細フォーカス関数値をFdetail(i,j)、合焦点画像のピクセル値をIfocus(x,y)、非合焦点画像のピクセル値Idefocus(x+i,y+j)、x,yを整数、m,nを自然数としたとき、
- 前記重要点選択処理は、
(ステップ1)詳細フォーカス関数の4角を重要点として選択し、
(ステップ2)現在重要点として残している点でドローネ三角形分割を行い、
(ステップ3)全ての点について、夫々の点が所属する三角形の頂点のフォーカス関数値から内挿することによって予測フォーカス関数値を演算し、
(ステップ4)全ての点について前記予測フォーカス関数値と実際のフォーカス関数値とを比較して、その差分が最も大きい点を重要点として追加し、
(ステップ5)重要点の個数が予め定めた値を越えるまでステップ2〜ステップ4を繰り返す、
という処理によって、所定個数の重要点を抽出することを特徴とする請求項1または2に記載の画像データ処理方法。 - 前記第2の変換式は、スマートフォーカス関数値をFsmart(i,j)とし、当該Fsmart(i,j)が重要点の場合にw=1、重要点でない場合にw=0、x,yを整数、m,nを自然数としたとき、
- 焦点外れおよび手ぶれによる不鮮明画像を鮮明化する画像データ処理方法であって、一回の撮影時に複数枚の撮像画像を取得し、各撮像画像に対して請求項1乃至4のいずれか一に記載の画像データ処理方法を使用して合焦点画像を生成した後、複数の合焦点画像のうち一の合焦点画像を基準画像として、該基準画像と他の合焦点画像との間の動きデータを算出し、該動きデータを用いて複数の合焦点画像を重ね合わせることによって手ぶれ補正画像を生成することを特徴とする画像データ処理方法。
- 請求項1乃至5のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、焦点距離ごとに複数のスマートフォーカス関数を備え、撮像した画像に対して前記複数のスマートフォーカス関数の夫々を用いてフォーカス画像を生成し、各フォーカス画像のうち、画像のピクセル値から算出されるエッジまたはコーナの値に基づいて一のフォーカス関数を選択し、該フォーカス関数によって生成したフォーカス画像を撮像画像として出力することを特徴とする撮像装置。
- 請求項1乃至5のいずれか一に記載のスマートフォーカス関数を有する撮像装置であって、画像内の位置に対応付けられた複数のスマートフォーカス関数を備え、撮像した画像に対して画像内の位置に応じて対応するスマートフォーカス関数を用いてフォーカス画像を生成し、該フォーカス画像を撮像画像として出力することを特徴とする撮像装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007185096A JP4825748B2 (ja) | 2007-07-13 | 2007-07-13 | 画像データ処理方法および撮像装置 |
EP08290682A EP2015560A3 (en) | 2007-07-13 | 2008-07-10 | Image data processing method and imaging apparatus |
US12/218,355 US8155467B2 (en) | 2007-07-13 | 2008-07-12 | Image data processing method and imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007185096A JP4825748B2 (ja) | 2007-07-13 | 2007-07-13 | 画像データ処理方法および撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009020844A JP2009020844A (ja) | 2009-01-29 |
JP4825748B2 true JP4825748B2 (ja) | 2011-11-30 |
Family
ID=39846635
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007185096A Expired - Fee Related JP4825748B2 (ja) | 2007-07-13 | 2007-07-13 | 画像データ処理方法および撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8155467B2 (ja) |
EP (1) | EP2015560A3 (ja) |
JP (1) | JP4825748B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5374217B2 (ja) * | 2009-04-22 | 2013-12-25 | キヤノン株式会社 | 画像処理装置およびその方法 |
US20100271536A1 (en) * | 2009-04-27 | 2010-10-28 | Digital Imaging Systems Gmbh | Blended autofocus using mechanical and softlens technologies |
JP5528139B2 (ja) | 2010-02-02 | 2014-06-25 | キヤノン株式会社 | 画像処理装置、撮像装置および画像処理プログラム |
JP5468404B2 (ja) * | 2010-02-02 | 2014-04-09 | パナソニック株式会社 | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 |
US20120098947A1 (en) * | 2010-10-20 | 2012-04-26 | David Robert Wilkes | Producing universally sharp images |
WO2013156596A1 (de) * | 2012-04-19 | 2013-10-24 | OMS Software GMBH | Verfahren und system zum erfassen von problembildern und zum ermitteln von lösungsvorschlägen |
GB2502356A (en) * | 2012-05-23 | 2013-11-27 | Plastic Logic Ltd | Compensating for degradation due to pixel influence |
US10282822B2 (en) * | 2016-12-01 | 2019-05-07 | Almalence Inc. | Digital correction of optical system aberrations |
US10389936B2 (en) | 2017-03-03 | 2019-08-20 | Danylo Kozub | Focus stacking of captured images |
JP7129229B2 (ja) * | 2018-06-07 | 2022-09-01 | キヤノン株式会社 | 画像処理方法、画像処理装置、撮像装置、プログラム、および、記憶媒体 |
CN109585000B (zh) * | 2018-12-25 | 2023-06-30 | 贵阳朗玛信息技术股份有限公司 | 医用胶片的打印方法、装置及系统 |
CN115184999B (zh) * | 2022-07-06 | 2024-04-19 | 吉林大学 | 基于深度学习的Marchenko成像聚焦函数校正方法 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4532548A (en) * | 1983-01-27 | 1985-07-30 | Hughes Aircraft Company | Resolution enhancement and zoom |
JP4337186B2 (ja) * | 1998-10-29 | 2009-09-30 | ソニー株式会社 | 画像情報変換装置および画像情報変換方法、学習装置および学習方法 |
JP4345940B2 (ja) | 1999-04-13 | 2009-10-14 | 株式会社リコー | 手ぶれ画像補正方法、記録媒体及び撮像装置 |
JP4135045B2 (ja) * | 1999-06-08 | 2008-08-20 | ソニー株式会社 | データ処理装置およびデータ処理方法、並びに媒体 |
US7176962B2 (en) * | 2001-03-01 | 2007-02-13 | Nikon Corporation | Digital camera and digital processing system for correcting motion blur using spatial frequency |
US6636298B1 (en) * | 2001-12-18 | 2003-10-21 | Cognex Technology And Investment Corporation | Method and apparatus for focusing an optical inspection system |
JP4686147B2 (ja) | 2003-07-31 | 2011-05-18 | 株式会社東芝 | 画像データ処理装置 |
JP2005063000A (ja) | 2003-08-08 | 2005-03-10 | Central Res Inst Of Electric Power Ind | 画像の鮮明化方法および装置並びにプログラム |
US8019803B2 (en) * | 2004-10-14 | 2011-09-13 | Lightron Co., Ltd. | Method and device for restoring degraded information |
EP1843294B1 (en) | 2005-01-14 | 2010-09-15 | Morpho Inc. | Motion vector calculation method, hand-movement correction device using the method, imaging device, and motion picture generation device |
US7593598B2 (en) * | 2005-02-03 | 2009-09-22 | Siemens Medical Solutions Usa, Inc. | System and method for efficient filter design through weighted difference of Gaussian filters |
US8654201B2 (en) * | 2005-02-23 | 2014-02-18 | Hewlett-Packard Development Company, L.P. | Method for deblurring an image |
-
2007
- 2007-07-13 JP JP2007185096A patent/JP4825748B2/ja not_active Expired - Fee Related
-
2008
- 2008-07-10 EP EP08290682A patent/EP2015560A3/en not_active Withdrawn
- 2008-07-12 US US12/218,355 patent/US8155467B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8155467B2 (en) | 2012-04-10 |
EP2015560A2 (en) | 2009-01-14 |
JP2009020844A (ja) | 2009-01-29 |
EP2015560A3 (en) | 2011-06-22 |
US20090039233A1 (en) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4825748B2 (ja) | 画像データ処理方法および撮像装置 | |
KR101036787B1 (ko) | 움직임 벡터 연산 방법과 이 방법을 이용한 손 떨림 보정장치, 촬상 장치, 및 동영상 생성 장치 | |
US8189960B2 (en) | Image processing apparatus, image processing method, program and recording medium | |
RU2523028C2 (ru) | Устройство обработки изображения, устройство захвата изображения и способ обработки изображения | |
WO2011145296A1 (ja) | 撮像装置、画像処理装置、画像処理方法、および画像処理プログラム | |
JP6266131B2 (ja) | 画像処理装置及び方法、並びに撮像装置、並びにプログラム及び記録媒体 | |
JP5535053B2 (ja) | 画像処理装置、及び画像処理方法 | |
JP6308748B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2010087672A (ja) | 画像処理方法、画像処理装置及び撮像装置 | |
US20110158551A1 (en) | Image composition device, image composition method, and storage medium storing program | |
JP2015231220A (ja) | 画像処理装置、撮像装置、画像処理方法、撮像方法及びプログラム | |
JP2023055848A (ja) | 画像処理方法、画像処理装置、画像処理システム、およびプログラム | |
JP6355315B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005332381A (ja) | 画像処理方法および装置並びにプログラム | |
JP2015115733A (ja) | 画像処理方法、画像処理装置、撮像装置および画像処理プログラム | |
JP5455728B2 (ja) | 撮像装置、画像処理装置、及び画像処理方法 | |
JP6239985B2 (ja) | 画像処理装置、画像処理プログラム及び撮像装置 | |
JP2010232710A (ja) | 画像処理装置および画像処理方法 | |
CN107979715B (zh) | 摄像装置 | |
JP2017050662A (ja) | 画像処理装置、撮像装置および画像処理プログラム | |
KR20150032764A (ko) | 인위적으로 디포커스된 블러 이미지를 생성하는 방법 및 이미지 캡쳐링 디바이스 | |
JP2016184888A (ja) | 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム | |
JP6436840B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2004310504A (ja) | 画像処理方法 | |
JP5486280B2 (ja) | 画像処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091014 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110616 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110621 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110815 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110906 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110912 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4825748 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140916 Year of fee payment: 3 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |