JP6578960B2 - 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 - Google Patents

撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP6578960B2
JP6578960B2 JP2016010094A JP2016010094A JP6578960B2 JP 6578960 B2 JP6578960 B2 JP 6578960B2 JP 2016010094 A JP2016010094 A JP 2016010094A JP 2016010094 A JP2016010094 A JP 2016010094A JP 6578960 B2 JP6578960 B2 JP 6578960B2
Authority
JP
Japan
Prior art keywords
image
restoration
imaging
processing
restored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016010094A
Other languages
English (en)
Other versions
JP2017130848A (ja
Inventor
▲イン▼ 王
▲いん▼ 王
松本 慎也
慎也 松本
沱 庄
沱 庄
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to JP2016010094A priority Critical patent/JP6578960B2/ja
Publication of JP2017130848A publication Critical patent/JP2017130848A/ja
Application granted granted Critical
Publication of JP6578960B2 publication Critical patent/JP6578960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration by non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles related to virtual studio applications
    • H04N5/2226Determination of depth image, e.g. for foreground/background separation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/2251Constructional details
    • H04N5/2253Mounting of pick-up device, electronic image sensor, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23212Focusing based on image signals provided by the electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23225Input of new or changed control program into camera control means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2351Circuitry for evaluating the brightness variations of the object
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/369SSIS architecture; Circuitry associated therewith
    • H04N5/378Readout circuits, e.g. correlated double sampling [CDS] circuits, output amplifiers or A/D converters
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20024Filtering details
    • G06T2207/20032Median filtering

Description

本発明は、撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体に関し、特に、ボケ画像の復元によって被写界深度拡大が可能な撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体に関する。
従来、WFC(Wavefront Coding)など特殊な光学装置を用いた被写界深度拡大撮影装置では、一定設計範囲内で画像復元することが必要となる。
しかしながら、撮影距離はピント位置から離れると、実際に元画像にかけられたPSF(点拡がり関数:Point spread function、距離毎に少しずつ変化する)と画像復元用PSF(固定、ピント位置のPSFを使用)がずれるので、ピント位置と同じ復元精度を保つことは実現できない。つまり、撮影距離によって実際に元画像にかけられたPSFが一定ではないことによる復元画像の画質劣化が発生してしまう。
特許文献1や特許文献2では、距離検出センサ、若しくは、複数の撮像部で距離を算出し、各概算した距離に応じたPSFデータに基づいて復元処理を行う。
特許文献3では、複数のデフォーカス位置に対応するPSFを全て考慮して周波数領域の平均二乗誤差を最小にする復元フィルタが設計されている。
また、非特許文献1には、パナソニック株式会社が2014年4月から販売開始したデジタルカメラに搭載されている「空間認識AF」という技術が記載されている。この技術では、ボケ量の解析から距離を求めるDFD(Depth from Defocus)に基づいて2枚の画像から被写体までの距離を算出した上で、ボケモデルを推定して合焦画像を作成する。
非特許文献2には、画像の鮮明度の計算についての記載がある。
特開2011−120309号公報 特開2013−162369号公報 特開2015−005933号公報
「Panasonic デジタルカメラ総合カタログ 2015/秋冬」、パナソニック株式会社、2015年9月、P.21 Research of Measurement for Digital Image Definition, WANG HongNan, ..., etc, Journal of Image and Graphics, Vol. 9 ,No. 7, 2004
しかしながら、特許文献1や特許文献2に開示されている従来技術では、撮像された各画像データに含まれる各被写体について距離情報を正しく推定しないと正確なPSFデータを使えないため、最適な復元処理ができない。そのため、撮影距離を算出するために必要な距離検出センサや複数の撮像部によるコストアップという問題点があった。
また、特許文献3に開示されている従来技術では、平均処理となっているため距離情報は不要であるが、複数の位置におけるPSFデータの差異によって、たとえ平均二乗誤差という意味での最適な復元処理をしても、撮影距離に応じたPSFを用いた復元結果に比べて、精度が劣るという問題点があった。
従来技術のこのような課題に鑑み、本発明の目的は、被写体の撮影距離を推測すること無しに、最適なPSFを用いて高精度な復元画像を得ることが可能な撮像装置、撮像方法、撮像プログラム、およびそのプログラムを記録した記録媒体を提供することである。
上記目的を達成するため、本発明の撮像装置は、1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、この光学系より後方に配置された撮像素子と、この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、この画像復元処理部によって復元された画像を出力する復元画像出力部とを備え、前記画像復元処理部は、複数の異なる距離に対応する複数の点拡がり関数(PSF)を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納部と、前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理部と、前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価部とを備えることを特徴とする。
ここで、前記光学系は、被写界深度拡大を目的としており、PSFによる復元を行うものであればよい。前記レンズは、球面レンズおよび非球面レンズのいずれでもよく、複数枚の場合は適宜組み合わせてもよい。前記光学素子としては、例えば、光拡散板、位相板や回折格子などが挙げられるが、これらに限らない。
前記画像復元処理部は、前記復元フィルタ処理部が対象とする画像領域を指定する画像領域指定部と、前記画像評価部が対象から除外すべき領域を指定する除外領域指定部とをさらに備えてもよい。また、前記画像復元処理部は、色信号毎に復元した色信号別復元画像を合成してもよい。また、前記画像復元処理部は、拡散されて前記撮像素子に入射した点像関数のパターンから作成されたウィナー(Wiener)フィルタまたはFIRフィルタなどのような周波数空間、画像空間、時空間のフィルタを有してもよい。
また、本発明の撮像装置は、1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、この光学系より後方に配置された撮像素子と、この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、この画像復元処理部によって復元された画像を出力する復元画像出力部とを備え、前記画像復元処理部は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納部と、前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを前記復元フィルタ格納部から選択する画像評価部と、選択された復元フィルタを用いて復元画像を得る復元フィルタ処理部とを備えることを特徴とする。
また、本発明の撮像方法は、被写体を撮像する撮像工程と、この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、前記画像復元処理工程は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納工程と、前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理工程と、前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価工程とを含むことを特徴とする。
また、本発明の撮像方法は、被写体を撮像する撮像工程と、この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、前記画像復元処理工程は、複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納工程と、前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを選択する画像評価工程と、選択された復元フィルタを用いて復元画像を得る復元フィルタ処理工程とを含むことを特徴とする。
あるいは、本発明の撮像プログラムは、コンピュータに上記の撮像方法を実行させることを特徴とする。
このような構成の撮像プログラムによれば、プログラムが実行可能なコンピュータによって本発明の撮像方法を実現することができる。
あるいは、本発明の撮像プログラムを記録した記録媒体は、コンピュータ読み取り可能な記録媒体であって、上記の撮像プログラムを記録していることを特徴とする。
このような構成の撮像プログラムを記録した記録媒体によれば、本発明の撮像方法を様々な場所や環境で実現することが容易になるとともに、安価での提供が可能となり、本発明の撮像方法の有用性を高めることができる。
本発明の撮像装置によれば、被写体の撮影距離を推測するために必要な部品のコストアップを伴わず、最適な点拡がり関数を用いて高精度な復元画像を得ることが可能となる。
本発明の画像復元方法によれば、被写体の撮影距離を推測することなく、最適な点拡がり関数を用いて高精度な復元画像を得ることが可能となる。
本発明の撮像プログラムによれば、プログラムが実行可能なコンピュータによって本発明の撮像方法を実現することができる。
本発明の撮像プログラムを記録した記録媒体によれば、本発明の撮像方法を様々な場所や環境で実現することが容易になるとともに、安価での提供が可能となり、本発明の撮像方法の有用性を高めることができる。
本発明の実施形態1に係る撮像装置100の概略構成を示すブロック図である。 (a)は撮像装置100による画像生成過程および画像復元過程を説明する概略図である。図2(b)はウィナーフィルタを表す式である。 (a)〜(c)は復元用PSFと復元画像の精度の関係についての説明図であって、(a)は高精度復元画像、(b)はArtifactあり復元画像、(c)はボケあり復元画像である。 画像復元処理部150の概略構成を示すブロック図である。 画像復元処理部150Aにおける復元フィルタ作成に関連する原理の説明図である。 (a)〜(c)は中間候補画像の説明図である。 図4に示した画像復元処理部150Aに含まれる画像評価部155の概略構成を示すブロック図である。 画像評価部155内の処理を示すフローチャートである。 画像評価部155内の処理の変形例として、例えば3枚の中間候補画像を入力画像として具体化した並列処理を示すフローチャートである。 (a)、(b)は画像Artifact評価の原理の説明図であって、図10(a)が通常Artifactなしの復元画像における画像輝度値のヒストグラム、図10(b)がArtifactありの復元画像における画像輝度値のヒストグラムである。 画像鮮明度演算の全体を示すフローチャートである。 強いエッジ抽出方法を示すフローチャートである。 (a)〜(f)は、ジャストピント位置とここから離れた位置とで、それぞれ撮影されたボケ画像、従来方法による復元画像、本発明による復元画像を比較例示する図である。 本発明の実施形態2に係る撮像装置の画像復元処理部150Bの概略構成を示すブロック図である。 本発明の実施形態3に係る撮像装置のうちで実施形態1と異なる主要部分を示すブロック図である。 (a)、(b)は通常のRGB画像復元手法を例示するブロック図である。 実施形態3によるRGB画像復元手法を示すブロック図である。 本発明の実施形態4に係る撮像装置の画像復元処理部150Cの概略構成を示すブロック図である。 画像復元処理部150Cにおける復元フィルタなどの作成に関連する原理の説明図である。 (a)は図18に示した画像復元処理部150Cに含まれる画像評価部155Cの概略構成を示すブロック図である。(b)は(a)の画像評価部155Cに含まれる総合判断155Ccの概略構成を示すブロック図である。
以下、本発明のいくつかの実施形態を、図面を参照して説明する。
<実施形態1>
図1は本発明の実施形態1に係る撮像装置100の概略構成を示すブロック図である。なお、以下の説明では、光学系110へ光線が入射する側を「前」(図中では左)、光学系110から光線が出射する側を「後」(図中では右)ということとする。
図1に示すように、撮像装置100は、光学系110と、この光学系110より後方に配置された撮像素子120と、この撮像素子120から出力されたアナログ信号をデジタル信号に変換するA/Dコンバーター130と、RAW画像メモリ141とコンボリューション演算部142とを有するとともにA/Dコンバーター130から出力されたデジタル信号の画像データに対して画像処理を行う画像処理部140と、デコンボリューション演算部151を有するとともに画像処理部140による画像処理後の画像データに対して復元処理を行う画像復元処理部150と、この画像復元処理部150によって復元された画像を出力する復元画像出力部160とを備えている。
光学系110は、レンズ112a〜112cと、第2レンズ112bの直前に配置された絞り113と、第1レンズ112aより前方に配置された光拡散板115とを備えている。
ここでは、第1レンズ112aおよび第3レンズ112cを凸レンズ、第2レンズ112bを凹レンズとしているが、このような組み合わせに限らないし、全体のレンズ枚数も2枚以上であればよく、必ずしも3枚に限らない。また、球面レンズおよび非球面レンズのいずれでもよく、複数枚の場合は適宜組み合わせてもよい。光拡散板115は光学素子の1種であるが、位相板や回折素子といった他の光学素子でもよい。その配置も、第1レンズ112aより前方に限るわけではなく、例えば、第3レンズ112cの後方でもよい。
絞り113は開口絞りであるが、その配置は必ずしも図示された位置に限らない。
光拡散板115は、その前面が平面であって、その後面は拡散面115bとなっている。その配置は必ずしも図示された位置に限らず、第3レンズ112cの後方に配置してもよい。
撮像素子120としては、CCDセンサ、CMOSセンサ、MOSセンサなどが挙げられるが、これらに限らない。撮像素子120がアナログ信号ではなく、デジタル信号を直接出力できる場合は、A/Dコンバーター130を省略可能である。
画像処理部140と画像復元処理部150とは、必ずしも独立している必要はなく、1つに統合してもよい。
画像復元処理部150のデコンボリューション演算部151では、例えば、ウィナーフィルタやFIRフィルタなどを用いて演算を行ってもよいが、これらのフィルタに限らない。
図2(a)は撮像装置100による画像生成過程および画像復元過程を説明する概略図である。図2(b)はウィナーフィルタを表す式である。図3(a)〜(c)は復元用PSFと復元画像の精度の関係についての説明図であって、(a)は高精度復元画像、(b)はArtifactあり復元画像、(c)はボケあり復元画像である。なお、Artifactとは、観測や解析の段階で発生したデータのエラーや信号の歪みのことである。
図2(a)に示すように、空間領域では、元画像f(x,y)とPSFから観測画像g(x,y)が得られる。周波数領域において、フーリエ変換された観測画像のパワースペクトルG(u,v)とウィナーフィルタのパワースペクトルW(u,v)の掛け算で復元画像のパワースペクトルFr(u,v)が得られ、さらにこれを逆フーリエ変換することで復元画像fr(x,y)が得られる。
ウィナーフィルタは複数の画像復元手法の一例として広く利用されている(例えば、特許文献2を参照)。簡単に言うと、復元画像と元画像の誤差を最小にするような逆フィルタであり、図2(b)に示す式で表される。ここで、HはPSFのフーリエ変換を表す。SfとSnは、元画像fと画像上ノイズnのパワースペクトル分布である。
画像の復元結果はHの精度、つまり、復元用PSFが実際に元画像にかけられたPSFにどの程度近づいているかに依存する。
図3(a)に示す高精度復元画像は、適切なPSFから生成された復元フィルタを利用した場合、より具体的には、復元用PSFと実際に元画像にかけられたPSFとがほぼ一致した場合に得られる復元画像である。
図3(b)に示すArtifactあり復元画像は、不適切なPSFから生成された復元フィルタを利用した場合、より具体的には、復元用PSFが実際に元画像にかけられたPSFより高いパワースペクトルを持つ場合に得られる復元画像であり、過剰補正によるコード周辺の白飛び状態が発生している。
図3(c)に示すボケあり復元画像は、不適切なPSFから生成された復元フィルタを利用した場合、より具体的には、復元用PSFが実際に元画像にかけられたPSFより低いパワースペクトルを持つ場合に得られる復元画像である。
図4は画像復元処理部150Aの概略構成を示すブロック図である。図5は画像復元処理部150Aにおける復元フィルタ作成に関連する原理の説明図である。図6(a)〜(c)は中間候補画像の説明図である。
図4に示すように、画像復元処理部150Aは、撮像素子120から画像データを受ける画像バッファメモリ152と、予め求めた復元フィルタを格納する復元フィルタ格納メモリ154と、画像バッファメモリ152から受けた画像データと復元フィルタ格納メモリ154に格納されている復元フィルタから復元フィルタの処理を行う復元フィルタ処理部153と、この復元フィルタ処理部153によって処理された復元画像の評価を行うとともに復元画像バッファメモリ159へ送る画像評価部155とを備えている。
画像復元処理部150Aにおける全体処理の概略は次の通りである(図5も参照)。
1.予め、複数の異なる距離に対応する、複数のPSFを用いて復元フィルタをそれぞれ作成し、それらの復元フィルタを格納しておく。
2.画像を撮像して、入力画像を取得する。
3.入力画像に対して、格納されていた複数のPSFに応じた復元フィルタを用いてそれぞれ復元処理を行う。これにより、複数の中間候補画像が得られる。
4.画像鮮明度と画像Artifactの2つの指標で、複数の中間候補画像の画質をそれぞれ評価する。
5.最も評価の高い中間候補画像を復元処理結果として出力する。
図5に示すように、撮影距離を変えた時、これに応じたPSFのフーリエ変換、つまり、MTFの絶対値も変化する。
オフライン処理で上記の撮影距離に応じたPSFを用いて前記のウィナーフィルタ手法でそれぞれ復元フィルタを作成し、復元フィルタ格納メモリ154に保存しておく。
なお、これらの処理は、コンピュータのプログラム用メモリに書き込まれた撮像プログラムを実行することによって行うようにしてもよい。この撮像プログラムは、これを記録したCD−ROMやUSBメモリなどの記録媒体を用いたり、または、ネットワークなどを経由して提供することもできる。
図6(a)〜(c)に示すように、撮影された元のボケ画像に対して、距離に応じて予め用意した異なる復元フィルタで復元することで中間候補画像が得られる。図6(a)は補正不足でボケが残った中間候補画像の例である。図6(b)はボケの補正が適切にできており、Artifactが出ないレベルの中間候補画像の例である。図6(c)は過剰ではあるがボケの補正ができており、白飛びしたArtifactが発生した中間候補画像の例である。
図7は図4に示した画像復元処理部150Aに含まれる画像評価部155の概略構成を示すブロック図である。
図7に示すように、画像評価部155は、中間候補画像バッファメモリ156から受けた中間候補画像に対して画像鮮明度演算155aおよび画像Artifact評価155bを行った後に総合判断155cを行って、最も評価の高い中間候補画像を復元処理結果として復元画像バッファメモリ159へ送る。
図8は画像評価部155内の処理を示すフローチャートである。
図8に示すように、初期化として鮮明度MAXおよび画像番号を0にリセットする(ステップS80)。
N枚目の中間候補画像を入力し(ステップS81)、Artifact評価値計算を実行する(ステップS82)。
閾値より大きいか否かの判定を行い(ステップS83)、NOであればステップS87へ進む。
ステップS83の判定がYESであれば、次に鮮明度計算を行ってから(ステップS84)、現在の鮮明度MAXの値より大きいか否かの判定を行い(ステップS85)、NOであれば未処理の中間候補画像が残っているかどうか の判断を行う(ステップS87)。
ステップS85の判定がYESであれば、鮮明度MAXを現在の鮮明度に更新するとともに、画像番号にそのときのカウンタNの値を入れる。
カウンタNの中間候補画像数に等しいか否かの判定を行い(ステップS87)、YESであればすべての中間候補画像の処理が済んでいるので、そのときの画像番号を出力してから(ステップS88)、処理を終了する。
ステップS87の判定がNOであれば、未処理の中間候補画像が残っているので、カウンタNに1を加算してから(ステップS89)、ステップS81へ戻って処理を繰り返す。
図9は画像評価部155内の処理の変形例として、例えば3枚の中間候補画像を入力画像として具体化した並列処理を示すフローチャートである。これらの中間候補画像は、図6(a)〜(c)にそれぞれ対応している。なお、処理の各ステップの詳細な説明は省略する。
中間候補画像の鮮明度計算結果の一例を次に示す。
距離a pts sharpness value is 0.973596
距離b pts sharpness value is 1.161603
距離c pts sharpness value is 1.183418
また、Artifactの判明結果の一例を次に示す。閾値T未満であれば1(Artifactなし)、閾値T以上であれば0(Artifact発生)である。
距離a 1
距離b 1
距離c 0
これらの結果、Artifactが発生したものを除外して、鮮明度が最高のものを選択する。つまり、最も高く評価された画像は次の通りである。
距離b pts sharpness value is 1.161603
図10(a)、(b)は画像Artifact評価の原理の説明図であって、図10(a)が通常Artifactなしの復元画像における画像輝度値のヒストグラム、図10(b)がArtifactありの復元画像における画像輝度値のヒストグラムである。
これらのヒストグラムに示すように、横軸が画素輝度値であって、8ビットデータの輝度値の範囲は0〜255であり、縦軸は各輝度値を有する画素数(ピクセル数)である。通常Artifactなしの復元画像に比べて、Artifactありの復元画像には、ヒストグラムプロット図のMAX(輝度値=255)とMIN(輝度値=0)の2ヶ所にピーク値がはっきり見られる。輝度値の範囲が250〜255であるピクセル数の合計が一定閾値Tより高くなれば、 Artifactありと判断される。
図11は画像鮮明度演算の全体を示すフローチャートである。
この図11に示すように、復元画像が入力されると、まず、輝度値を0〜1の範囲に正規化する(ステップS111)。画像輝度値の正規化には、次式を用いる。
変換後の輝度値 = (変換前の輝度値−変換前の輝度最小値)/
(変換前の輝度最大値−変換前の輝度最小値)
次に、「強いエッジ抽出」(図12を参照して後述)を実行する(ステップS112)。
最後に鮮明度を計算して(ステップS113)、鮮明度値を出力する。
上述した非特許文献2は、Point sharpnessという画像鮮明度を測れる画質(Image Clarity)評価指標を提案したが、評価したい入力画像のままで、全ての画素に対して計算するため、以下の3つのケースにおいてロバスト性が失われてしまう。
1)画像内容
被写体が同じではない場合、例えば、風景と人物画像の比較ができない。
2)画像輝度値
同じ画像内容があっても、明るさが異なる場合には比較ができない。
3)ノイズレベル
同じ画像内容であっても、ノイズレベルが異なる場合には比較ができない。
図11に示した画像鮮明度演算では、画像輝度値を正規化して、強いエッジを自動的に抽出することによって上記問題点が改善される。
図12は強いエッジ抽出方法を示すフローチャートである。
この図12に示すように、まず、Sobelフィルタリングによる輝度エッジを計算する(ステップS121)。
次に、画素を勾配の強さでソーティングする(ステップS122)。
そして、確かな強いエッジを抽出するため、特定方向の勾配が強い画素を抽出する(ステップS123)。例えば、被写体が画像上で水平か垂直に入る場合、勾配の方向はかなり限られる。ノイズによって勾配が高くなっている画素について、このような判断によって除外することができる。
また、画像輝度値の非均一性などの影響を減らすため、できるだけ被写体の全体にむらがないエッジ画素を均一的に抽出したいので、強いエッジを持つ画素の隣接画素を削除する(ステップS124)。ある画素が強いエッジと判断すれば、近傍8点(3×3領域)の画素が強いエッジではないとして判断して処理する。
図13(a)〜(f)は、ジャストピント位置とジャストピントから離れた位置とで、それぞれ撮影されたボケ画像、従来方法による復元画像、本発明による復元画像を比較例示する図である。左列の画像がジャストピント位置に、右列の画像がジャストピントから離れた位置にそれぞれ対応する。
図13(a)および図13(b)は、撮影されたボケ画像である。
ジャストピント位置のPSFに基づいて復元を行う従来方法では、図13(c)に示すジャストピント位置の復元画像に比べたら、図13(d)に示すジャストピントから離れた位置での復元画像の画質が明らかに落ちている。
これに対して、画像鮮明度により得られた最適なPSFに基づいて復元を行う本発明によれば、図13(e)に示すジャストピント位置の復元画像と比べて、図13(f)に示すジャストピントから離れた位置での復元画像の画質もそれほど低下していない。
本発明によれば、距離推定することもなく、画質が最も良くなる画像を選択するので、ジャストピント位置から離れていても、ジャストピント位置での復元精度に近い結果が得られる。
なお、モーションブラー(motion blur)、つまり、被写体ぶれがあったり、撮影範囲内または視野範囲内で、例えば像高によってPSFが変化したりする光学系など、PSFが変化するもののそれらのPSFが既知である場合にも、上記と同様の処理を適用でき、同様の効果を奏することができる。
<実施形態2>
上述した実施形態1では、画像全体に対して強いエッジ点を自動的に抽出して鮮明度計算を行っていた。実施形態2では、コード画像や瞳検出画像などのように対象物が事前にわかっている画像に対して、その部分画像の評価を行うようにした。
図14は、本発明の実施形態2に係る撮像装置の画像復元処理部150Bの概略構成を示すブロック図である。なお、この画像復元処理部150Bは、実施形態1の画像復元処理部150A(図4参照)に対応している。
図14に示すように、画像復元処理部150Bでは、実施形態1の画像復元処理部150A(図4参照)と比較して、画像バッファメモリ152と復元フィルタ処理部153Bとの間に画像領域指定157が追加されるとともに、画像評価部155Bへの被写体エッジ指定158が追加されている。なお、画像領域指定157および被写体エッジ指定158の追加に伴って、画像復元処理部150Aの復元フィルタ処理部153および画像評価部155の処理内容をそれぞれ一部変更して、復元フィルタ処理部153Bおよび画像評価部155Bとしている。
画像の領域限定、勾配の方向の閾値調整、または手動によるエッジ点指定などの手法を加えることで、処理速度をさらに加速することができる。不要な領域を除外するので、誤検出なども減らすことができる。
また、使用目的によっては、実施形態1の構成と処理フローの通りにすれば、画像の一部だけの高精度な復元も可能である。例えば、撮影画像のうちで中央部分もしくは周辺部分のみを撮影対象とする場合などに有効である。
<実施形態3>
上述した実施形態1や実施形態2では、モノクロ画像に対して処理を行っていたが、実施形態3はカラー画像を処理対象としている。例えば、RGB画像であれば、RGBチャンネル別に処理した高精度復元画像を合成することによって、RGB画像に対しても同様の効果を奏することができる。
図15は本発明の実施形態3に係る撮像装置のうちで実施形態1と異なる主要部分を示すブロック図である。図16(a)、(b)は通常のRGB画像復元手法を例示するブロック図である。図17は実施形態3によるRGB画像復元手法を示すブロック図である。
図15に示すように、実施形態3では、撮像素子120と画像復元処理部150Aとの間にRGB画像分解部171と、復元画像バッファメモリ159の先にRGB画像合成部172とがそれぞれ追加されている。
図16(a)や図16(b)に示す通常のRGB画像復元手法の場合、輝度画像/RGBチャンネルに変換して1つのPSFに基づいて復元される。しかし、本来R、G、B各チャンネルのPSFには微妙な差異があるので、1つのPSFのみで復元すると、R、G、B各チャンネル間のPSFの差異の影響が発生し得る。
これに対して、実施形態3では、図17に示すように、R、G、B各チャンネルにおいて、画像鮮明度により最適なPSFがそれぞれ得られ、高精度復元画像が得られるので、より高精度の合成RGB復元画像を得ることができる。
なお、R、G、Bチャンネルだけに限らず、例えば、IRチャンネルを追加してもよい。
<実施形態4>
上述した各実施形態では、複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像の画像評価を行っていた。実施形態4では、復元前のボケ画像に基づく評価を先に行って復元フィルタを選択するようにした。
図18は本発明の実施形態4に係る撮像装置の画像復元処理部150Cの概略構成を示すブロック図である。図19は画像復元処理部150Cにおける復元フィルタなどの作成に関連する原理の説明図である。図20(a)は図18に示した画像復元処理部150Cに含まれる画像評価部155Cの概略構成を示すブロック図である。図20(b)は図20(a)の画像評価部155Cに含まれる総合判断155Ccの概略構成を示すブロック図である。
図18に示すように、画像復元処理部150Cでは、実施形態1の画像復元処理部150A(図4参照)と比較して、復元フィルタ処理部153Cと画像評価部155Cの順序が入れ替わっている。なお、これに伴って、画像復元処理部150Aの復元フィルタ処理部153、復元フィルタ格納メモリ154、および画像評価部155の処理内容をそれぞれ一部変更して、復元フィルタ処理部153C、復元フィルタ格納メモリ154C、および画像評価部155Cとしている。
画像復元処理部150Cにおける全体処理の概略は次の通りである(図19も参照)。
1.予め、複数の異なる距離に対応する、複数のPSFを用いて復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度をペアで作成しておく。なお、標準登録画像とは、各距離で撮影した代表的なボケ画像である。
2.画像を撮像して入力画像を取得する。
3.入力画像に対して、画像鮮明度という指標でボケ画像の画質を評価する。
4.標準登録画像に対応する画像鮮明度と比較して、最も数値の近い画像鮮明度とペアとなる復元フィルタを入力画像復元のための復元フィルタとして選ぶ。
5.上記の復元フィルタを用いて復元処理を行い、復元処理結果として出力する。
図20(a)に示すように、画像評価部155Cでは、画像バッファメモリ152から受けた画像データの画像鮮明度演算155Caの後に総合判断155Ccを行って、復元処理結果を復元フィルタバッファ159Cへ送る。
総合判断155Ccは、図20(b)に示すように、画像鮮明度演算155Caの結果と復元フィルタ格納メモリ154Cに格納されている復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度とに基づいて鮮明度値比較155Cc1を行って、復元フィルタ155Cc2を選択する。
標準登録画像(複数)は、撮影距離に応じた復元前のボケ画像である。それぞれ異なるボケ度合いを持っているため、計算した画像鮮明度も違う。
実施形態1とは違って、事前にオフラインで用意すべきものは、復元フィルタだけではない。それに応じた画像鮮明度もペアで用意しておく。
総合判断の方は、オンラインで撮影画像の鮮明度を計算した上、復元フィルタ格納メモリに保存した標準登録画像の鮮明度と比較する。画像鮮明度と復元フィルタをペアで用意したので、一番近いものに応じた復元フィルタを用いて後で復元する。
なお、本発明は、その主旨または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の各実施形態や各実施例はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
100 撮像装置
110 光学系
112a 第1レンズ
112b 第2レンズ
112c 第3レンズ
113 絞り
115 光拡散板
120 撮像素子
130 A/Dコンバーター
140 画像処理部
141 RAW画像メモリ
142 コンボリューション演算部
150 画像復元処理部
150A 画像復元処理部
150B 画像復元処理部
150C 画像復元処理部
151 デコンボリューション演算部
152 画像バッファメモリ
153 復元フィルタ処理部
153B 復元フィルタ処理部
153C 復元フィルタ処理部
154 復元フィルタ格納メモリ
154C 復元フィルタ格納メモリ
155 画像評価部
155B 画像評価部
155C 画像評価部
156 中間候補画像バッファメモリ
157 画像領域指定
158 被写体エッジ指定
159 復元画像バッファメモリ
159C 復元フィルタバッファ
160 復元画像出力部
171 RGB画像分解部
172 RGB画像合成部

Claims (8)

  1. 1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
    この光学系より後方に配置された撮像素子と、
    この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
    この画像復元処理部によって復元された画像を出力する復元画像出力部と
    を備え、
    前記画像復元処理部は、
    複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納部と、
    前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理部と、
    前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価部と
    前記復元フィルタ処理部が対象とする画像領域を指定する画像領域指定部と、
    前記画像評価部が対象から除外すべき領域を指定する除外領域指定部と
    を備えることを特徴とする撮像装置。
  2. 請求項に記載の撮像装置において、
    前記画像復元処理部は、色信号毎に復元した色信号別復元画像を合成することを特徴とする撮像装置。
  3. 1枚以上のレンズまたは前記レンズおよび光学素子を有する光学系と、
    この光学系より後方に配置された撮像素子と、
    この撮像素子で取得された画像データに対して画像処理および復元処理を行う画像復元処理部と、
    この画像復元処理部によって復元された画像を出力する復元画像出力部と
    を備え、
    前記画像復元処理部は、
    複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納部と、
    前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを前記復元フィルタ格納部から選択する画像評価部と、
    選択された復元フィルタを用いて復元画像を得る復元フィルタ処理部と
    を備えることを特徴とする撮像装置。
  4. 請求項1〜のいずれか1項に記載の撮像装置において、
    前記画像復元処理部は、拡散されて前記撮像素子に入射した点像関数のパターンから作成されたWienerフィルタまたはFIRフィルタを有することを特徴とする撮像装置。
  5. 被写体を撮像する撮像工程と、
    この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程とを含み、
    前記画像復元処理工程は、
    複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタを格納する復元フィルタ格納工程と、
    前記画像データから前記複数の復元フィルタを用いてそれぞれ復元した複数の中間候補画像を得る復元フィルタ処理工程と、
    前記複数の中間候補画像の画質をそれぞれ評価して最良の中間候補画像を復元処理結果として出力する画像評価工程と
    前記復元フィルタ処理工程が対象とする画像領域を指定する画像領域指定工程と、
    前記画像評価工程が対象から除外すべき領域を指定する除外領域指定工程と
    を含むことを特徴とする撮像方法。
  6. 被写体を撮像する撮像工程と、
    この撮像工程で取得された画像データに対して画像処理および復元処理を行う画像復元処理工程と
    を含み、
    前記画像復元処理工程は、
    複数の異なる距離に対応する複数の点拡がり関数を用いて予め作成された複数の復元フィルタおよび標準登録画像とそれらに対応する画像鮮明度を格納する復元フィルタ格納工程と、
    前記画像データの画質を評価して得られた画像鮮明度に基づき、最も近い画像鮮明度に対応する復元フィルタを選択する画像評価工程と、
    選択された復元フィルタを用いて復元画像を得る復元フィルタ処理工程と
    を含むことを特徴とする撮像方法。
  7. 請求項または請求項に記載の撮像方法をコンピュータに実行させる撮像プログラム。
  8. 請求項に記載の撮像プログラムを記録した記録媒体。
JP2016010094A 2016-01-21 2016-01-21 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体 Active JP6578960B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016010094A JP6578960B2 (ja) 2016-01-21 2016-01-21 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2016010094A JP6578960B2 (ja) 2016-01-21 2016-01-21 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
EP16204384.8A EP3209014B1 (en) 2016-01-21 2016-12-15 Image shooting apparatus, image shooting method, image shooting program, and recording medium that records the image shooting program
CN201611175006.8A CN106993111B (zh) 2016-01-21 2016-12-16 摄像装置、摄像方法及记录介质
US15/384,324 US10217194B2 (en) 2016-01-21 2016-12-20 Image shooting apparatus that extends depth of field by recovering blurred image and an image shooting method thereof

Publications (2)

Publication Number Publication Date
JP2017130848A JP2017130848A (ja) 2017-07-27
JP6578960B2 true JP6578960B2 (ja) 2019-09-25

Family

ID=57914634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016010094A Active JP6578960B2 (ja) 2016-01-21 2016-01-21 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

Country Status (4)

Country Link
US (1) US10217194B2 (ja)
EP (1) EP3209014B1 (ja)
JP (1) JP6578960B2 (ja)
CN (1) CN106993111B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110191287B (zh) * 2019-06-28 2021-05-11 Oppo广东移动通信有限公司 对焦方法和装置、电子设备、计算机可读存储介质
CN110691180A (zh) * 2019-08-13 2020-01-14 中国人民解放军国防科技大学 一种可抑制激光后向反射的光电成像系统

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4749985B2 (ja) * 2006-09-28 2011-08-17 京セラ株式会社 撮像装置、並びにその製造装置および製造方法
TWI399524B (zh) * 2009-02-20 2013-06-21 Ind Tech Res Inst 景物深度資訊之取得方法與裝置
JP5409112B2 (ja) * 2009-05-21 2014-02-05 キヤノン株式会社 画像処理装置およびその方法
JP2011135563A (ja) * 2009-11-30 2011-07-07 Canon Inc 撮像装置および画像処理方法
JP2011215707A (ja) * 2010-03-31 2011-10-27 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5197784B2 (ja) 2011-03-22 2013-05-15 京セラ株式会社 撮像装置
JP5868076B2 (ja) * 2011-08-31 2016-02-24 キヤノン株式会社 画像処理装置及び画像処理方法
JP2013162369A (ja) * 2012-02-07 2013-08-19 Sharp Corp 撮像装置
JP6056160B2 (ja) * 2012-03-09 2017-01-11 カシオ計算機株式会社 自動合焦装置、自動合焦方法及びプログラム
US9142012B2 (en) * 2012-05-31 2015-09-22 Apple Inc. Systems and methods for chroma noise reduction
US9332239B2 (en) * 2012-05-31 2016-05-03 Apple Inc. Systems and methods for RGB image processing
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
JP5933105B2 (ja) * 2013-02-15 2016-06-08 富士フイルム株式会社 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
CN104704807B (zh) * 2013-03-28 2018-02-02 富士胶片株式会社 图像处理装置、摄像装置及图像处理方法
WO2014175314A1 (ja) * 2013-04-26 2014-10-30 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP6236908B2 (ja) 2013-06-21 2017-11-29 株式会社リコー 撮像装置、撮像システムおよび撮像方法
WO2015015935A1 (ja) * 2013-07-29 2015-02-05 富士フイルム株式会社 撮像装置及び画像処理方法
WO2015064264A1 (ja) * 2013-10-31 2015-05-07 富士フイルム株式会社 画像処理装置、撮像装置、パラメータ生成方法、画像処理方法及びプログラム
DE112014005900T5 (de) * 2013-12-20 2016-09-22 Sony Corporation Vorrichtung und optisches System, das ein optisches Element enthält
CN106165390B (zh) * 2014-03-28 2019-06-28 富士胶片株式会社 图像处理装置、摄影装置、图像处理方法
JP6512893B2 (ja) * 2015-03-26 2019-05-15 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
US20170213325A1 (en) 2017-07-27
CN106993111A (zh) 2017-07-28
EP3209014B1 (en) 2020-01-29
CN106993111B (zh) 2019-12-10
US10217194B2 (en) 2019-02-26
EP3209014A1 (en) 2017-08-23
JP2017130848A (ja) 2017-07-27

Similar Documents

Publication Publication Date Title
JP6327922B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5198192B2 (ja) 映像復元装置および方法
CN102209245B (zh) 图像处理装置、图像拾取装置和图像处理方法
JP5374119B2 (ja) 距離情報取得装置、撮像装置、及びプログラム
US10282822B2 (en) Digital correction of optical system aberrations
US9071737B2 (en) Image processing based on moving lens with chromatic aberration and an image sensor having a color filter mosaic
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
CN102082912A (zh) 图像拍摄装置及图像处理方法
EP3093818B1 (en) Image processing apparatus that performs image restoration processing, method of controlling the same, and storage medium
KR101341101B1 (ko) 영상 복원 장치 및 복원 방법
JP2014138290A (ja) 撮像装置及び撮像方法
JPWO2012086127A1 (ja) 画像処理装置、撮像装置、及び画像処理方法
US20180182075A1 (en) Image processing apparatus, image capturing apparatus, method of image processing, and storage medium
JP6578960B2 (ja) 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体
JP5159715B2 (ja) 画像処理装置
JP2008042227A (ja) 撮像装置
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6486076B2 (ja) 画像処理装置および画像処理方法
JP2017126952A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2018125041A (ja) 被写体特定装置およびプログラム
JP6331363B2 (ja) 被写体特定装置、撮像装置およびプログラム
JP6452389B2 (ja) 画像処理装置および画像処理方法
JP6238673B2 (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体
JP2017116606A (ja) 焦点調節装置、撮像装置およびプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160316

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20160316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190108

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190812

R150 Certificate of patent or registration of utility model

Ref document number: 6578960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150