JP6236908B2 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

撮像装置、撮像システムおよび撮像方法 Download PDF

Info

Publication number
JP6236908B2
JP6236908B2 JP2013131182A JP2013131182A JP6236908B2 JP 6236908 B2 JP6236908 B2 JP 6236908B2 JP 2013131182 A JP2013131182 A JP 2013131182A JP 2013131182 A JP2013131182 A JP 2013131182A JP 6236908 B2 JP6236908 B2 JP 6236908B2
Authority
JP
Japan
Prior art keywords
image
imaging
frequency characteristic
pixels
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013131182A
Other languages
English (en)
Other versions
JP2015005933A (ja
Inventor
亮介 笠原
亮介 笠原
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority to JP2013131182A priority Critical patent/JP6236908B2/ja
Publication of JP2015005933A publication Critical patent/JP2015005933A/ja
Application granted granted Critical
Publication of JP6236908B2 publication Critical patent/JP6236908B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/72Modifying the appearance of television pictures by optical filters or diffusing screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3572Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N5/35721Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modeling the optical system, e.g. Optical Transfer Function [OTF], Phase Transfer Function [PhTF] or Modulation Transfer Function [MTF]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/003Deblurring; Sharpening
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/217Circuitry for suppressing or minimising disturbance, e.g. moiré or halo in picture signal generation in cameras comprising an electronic image sensor, e.g. in digital cameras, TV cameras, video cameras, camcorders, webcams, or to be embedded in other devices, e.g. in mobile phones, computers or vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise

Description

本発明は、撮像装置、撮像システムおよび撮像方法に関する。
近年、情報のデジタル化の発展に伴い、撮像装置に分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子(以下、単に撮像素子という)として、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等が使用されている。
このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)および産業用カメラ等が挙げられる。
上述のような撮像装置においては、光学系によって、被写界深度を拡張するいわゆる被写界深度拡張カメラ(EDoF:Extended Depth of Field)がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。
上述の光学系による被写界深度の拡張について具体的に説明する。光学系に含まれるレンズおよび位相板は、撮像素子に入射される被写体の光に収差を与えて点像分布関数(PSF:Point Spread Function)を付加する働きをする。例えば、レンズは、収差として、撮像素子に入射される被写体の光に球面収差を与える。光学系は、収差によって撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、光学系によってぼけた画像は、所定のMTF(Modulation Transfer Function)の値が得られるように補正する必要がある。MTFは、被写体の持つコントラストを、どれくらい忠実に再現できるかを数値化した値、すなわちコントラストの再現率を示す。このような、光学系によってぼけた画像に対して、ぼけを補正する撮像装置として、点像分布関数の逆変換処理を施すことによって、MTFを向上させ、高解像度の画像に補正する装置が提案されている(特許文献1参照)。逆変換処理は、光学系によってぼけた画像を形成する各画素の情報(以下、画素から出力される情報(値)自体を画素というものとする)に対して、逆変換フィルタによるフィルタ処理を施すことにより画像のぼけを補正することによって実現される。
しかしながら、特許文献1に記載された撮像装置は、光学的に収差を与えて被写界深度を拡張し、画像のぼけを逆変換フィルタによって補正しているが、一点のフォーカス位置におけるMTFに基づいて逆変換フィルタを導出している。したがって、被写界深度において光学的に拡大されたスポットのうち逆変換フィルタを導出したフォーカス位置のスポットの形状からはずれた位置においては、正常に補正ができないという問題点があった。つまり、正常に逆変換フィルタによる補正が可能な範囲はスポットの形状が変化しない範囲にとどまり、その範囲までしか被写界深度を拡張することができないという問題点があった。
本発明は、上記に鑑みてなされたものであって、より広い範囲にまで被写界深度を拡張することができる撮像装置、撮像システムおよび撮像方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、入射した光に収差を与える光学系と、前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、前記光学系の光軸上の所定範囲内の2箇所以上のデフォーカス位置における出力画像の画素の周波数特性が、前記被写体の理想画像の画素の周波数特性に対して、周波数の全域で大きい値をとる周波数特性および周波数の全域で小さい値をとる周波数特性を少なくともそれぞれ1つ以上含むようにする逆変換フィルタによって、前記所定範囲において前記撮像手段により撮像された画像に対して逆変換処理を行う逆変換手段と、を備えることを特徴とする。
本発明によれば、より広い範囲にまで被写界深度を拡張することができる。
図1は、実施の形態の撮像システムの全体構成の一例を示す図である。 図2は、実施の形態の情報処理装置の構成の一例を示す図である。 図3は、実施の形態の撮像装置の構成の一例を示す図である。 図4は、実施の形態の撮像装置の画像処理部の構成の一例を示す図である。 図5は、実施の形態の撮像装置の撮像素子によって検出される画像の一例を示す図である。 図6は、実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。 図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図8は、実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。 図9は、逆変換フィルタの構成の一例を示す図である。 図10は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。 図11は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。 図12は、実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。 図13は、光学系を通過した光によって検出された画像の空間周波数特性を示す図である。 図14は、逆変換処理が行われた画像の空間周波数特性を示す図である。
以下に、図面を参照しながら、本発明に係る撮像装置、撮像システムおよび撮像方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。
(実施の形態)
<撮像システムの全体構成>
図1は、実施の形態の撮像システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の撮像システム500の構成について説明する。
図1に示すように、本実施の形態の撮像システム500は、撮像装置1と、PC2と、を備えている。撮像装置1とPC2とは、Ethernet(登録商標)ケーブル等の通信ケーブル3によって通信可能に接続されている。
撮像装置1は、被写体4から出る光を電気信号に変換することによって被写体4を撮像し、画像の情報(以下、単に画像という)にして通信ケーブル3を介してPC2へ送信する。PC2は、撮像装置1から受信した画像に対して所定の処理を実行する。
例えば、撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信した画像からバーコードの情報を読み出して解析する。
なお、図1に示すように、撮像システム500は、撮像装置1とPC2とが通信ケーブル3を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置1とPC2とは、Wi−Fi(WirelessFidelity)等の無線通信方式によって互いにデータが通信可能であってもよい。
また、撮像装置1およびPC2が生産ラインにおいて使用される場合、撮像システム500は、PC2がPLC(Programmable Logic Controller)等に通信可能に接続されている構成としてもよい。この場合、撮像システム500の動作として、以下の動作が一例として挙げられる。撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。PC2は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、判定した品番に対応する製品は異なる品番の製品であることを示す信号をPLCに送信する。PLCは、PC2から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去するように生産ラインの動作を制御する。
<情報処理装置の構成>
図2は、実施の形態の情報処理装置の構成の一例を示す図である。図2を参照しながら、情報処理装置の一例であるPC2の構成について説明する。
図2に示すように、情報処理装置の一例であるPC2は、通信部21と、操作部22と、表示部23と、記憶部24と、外部記憶装置25と、制御部26と、を備えている。上記の各部は、バス27によって接続され、互いにデータの送受信が可能となっている。
通信部21は、通信ケーブル3を介して、撮像装置1と通信する装置である。通信部21は、例えば、NIC(Network Interface Card)等の通信装置によって実現される。通信部21の通信プロトコルは、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)またはUDP(User Datagram Protocol)/IP等によって実現される。
操作部22は、ユーザによって制御部26に対して所定の処理を実行させるための操作入力を行う装置である。操作部22は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。
表示部23は、制御部26により実行されているアプリケーション画像等を表示する装置である。表示部23は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等によって実現される。
記憶部24は、PC2で実行される各種プログラムおよびPC2で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部24は、例えば、ROM(Read Only Memory)およびRAM(Random Access Memory)等の記憶装置によって実現される。
外部記憶装置25は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、または光磁気ディスク(MO:Magneto−Optical Disk)等の記憶装置によって実現される。
制御部26は、PC2の各部の動作を制御する装置である。制御部26は、例えば、CPU(Central Processing Unit)およびASIC(Application Specific Integrated Circuit)等で実現される。
<撮像装置の構成>
図3は、実施の形態の撮像装置の構成の一例を示す図である。図3を参照しながら、本実施の形態の撮像装置1の構成について説明する。
図3に示すように、撮像装置1は、レンズユニット11(光学系)と、撮像素子12(撮像手段)と、画像処理部14と、通信部15と、を備えている。
レンズユニット11は、被写体4から出る光を集光し、撮像素子12に対して結像させるユニットである。レンズユニット11は、1枚以上のレンズで構成された光学系によって実現される。レンズユニット11は、位相板11aと、絞り11bとを備えている。被写体4は、例えば、人物、被監視物、バーコード、2次元コードまたは文字列等である。
位相板11aは、レンズユニット11に入射する光に対して収差を与える作用を有する。その結果、位相板11aは、撮像素子12に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子12で撮像される画像がぼけた状態とする代わりに広い被写界深度でそのぼけが一定となるようにする。
絞り11bは、レンズユニット11に入射する光の量を自在に調整する部材であり、位相板11aの近傍に配置されている。
撮像素子12は、レンズユニット11に入射する被写体からの光を電気信号に変換することによって被写体4を撮像して画像を生成する固体撮像素子である。撮像素子12は、固体撮像素子を構成する各画素によって撮像した画像を構成する画素を出力する。撮像素子12は、例えば、CCDセンサまたはCMOSセンサ等によって実現される。
画像処理部14は、撮像素子12から出力される画像から、フィルタ処理を施した画像を生成する装置である。
通信部15は、通信ケーブル3を介して、PC2と通信する装置である。通信部15は、例えば、画像処理部14から出力される画像をPC2に対して送信する。通信部15は、例えば、NIC等の通信装置によって実現される。通信部15の通信プロトコルは、例えば、TCP/IPまたはUDP/IP等によって実現される。
<画像処理部の構成および動作>
図4は、実施の形態の撮像装置の画像処理部の構成の一例を示す図である。図5は、実施の形態の撮像装置の撮像素子によって検出される画像の一例を示す図である。図4を参照しながら、本実施の形態の撮像装置1の画像処理部14の構成について説明する。
撮像素子12は、上述のように、レンズユニット11に入射する被写体からの光を電気信号に変換することにより被写体4を撮像し、画像を生成する固体撮像素子である。以下、撮像素子12は、VGAの画像を形成して出力するものとして説明する。具体的には、撮像素子12は、図5に示すように、X方向に640個、Y方向に480個の検出素子によって、640×480のマトリックス状に配列された画素で構成される画像である検出画像101を検出する。
なお、撮像素子12が検出する画像の大きさは640×480のVGAの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよい。
図4に示すように、本実施の形態の画像処理部14は、画像バッファ部141と、フィルタ処理部143(逆変換手段)とを備えている。
画像バッファ部141は、撮像素子12から出力される画素を順に入力してバッファリングする装置である。画像バッファ部141の具体的な構成および動作については、図6および7において後述する。
フィルタ処理部143は、画像バッファ部141から出力される画素に対して、フィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理に使用するフィルタとして、位相板11aの作用によって点像分布関数を与えられたぼけた画像に対して、ぼけを補正する逆変換処理をするための逆変換フィルタを例に説明する。フィルタ処理部143の具体的な構成および動作については、図8〜11において後述する。
<<画像バッファ部141の構成および動作>>
図6は、実施の形態の画像処理部の画像バッファ部の構成の一例を示す図である。図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図6および7を参照しながら、画像処理部14の画像バッファ部141の構成および動作について説明する。
画像バッファ部141は、図6に示すように、レジスタ1411a〜1411dと、ラインバッファ1412a〜1412dと、を備えている。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力し、バッファリングした画素を出力部1413a〜1413eから出力する。撮像素子12によって検出される画像の640×480の各画素について、X方向のX番目およびY方向のY番目の画素を(X,Y)の画素というものとする。
図6に示すように、レジスタ1411aの入力側は、入力部1410および出力部1413aに接続されている。レジスタ1411a〜1411dの出力側は、それぞれラインバッファ1412a〜1412dの入力側に接続されている。ラインバッファ1412a〜1412cの出力側は、それぞれレジスタ1411b〜1411dの入力側に接続されている。そして、ラインバッファ1412a〜1412dの出力側は、それぞれ出力部1413b〜1413eに接続されている。
次に、図7を参照しながら、撮像素子12によって検出された画像の出力動作について説明する。撮像素子12は、検出した画素をX方向の1水平ラインずつ走査しながら、その1水平ラインに含まれる画素を出力する。具体的には、撮像素子12は、Y方向の1番目の水平ラインに含まれる画素を、X方向の1番目の画素から640番目の画素まで順に出力する。撮像素子12は、上記の動作を、Y方向の480番目までの水平ラインに含まれる画素の出力をそれぞれ行う。
上記の動作を図7に示すタイミングチャートに基づいて説明する。図7に示すように、撮像素子12は、有効フレーム信号がオン状態のとき、1フレーム分、すなわち1画像分の画素を出力する。撮像素子12において、有効フレーム信号がオン状態になってからフレーム開始期間Aを経て、Y方向の1番目の水平ラインの画素の出力許可を示す有効ライン信号L1がオン状態になる。撮像素子12は、有効ライン信号L1がオン状態になっている有効データ期間Tの間に、Y方向の1番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,1)〜(640,1)の画素)を順に出力する。撮像素子12によってY方向の1番目の水平ラインの画素が出力された後、有効ライン信号L1がオフ状態になる。
撮像素子12において、有効ライン信号L1がオフ状態になってから水平ブランキング期間Bを経て、Y方向の2番目の水平ラインの画素の出力許可を示す有効ライン信号L2がオン状態になる。撮像素子12は、有効ライン信号L2がオン状態になっている有効データ期間Tの間に、Y方向の2番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,2)〜(640,2)の画素)を順に出力する。撮像素子12によってY方向の2番目の水平ラインの画素が出力された後、有効ライン信号L2がオフ状態になる。
撮像素子12は、以上の動作について、有効ライン信号L480がオン状態になっている有効データ期間Tの間に、Y方向の480番目の水平ラインに含まれるX方向の1〜640番目の画素を出力するまで行う。撮像素子12において、有効ライン信号L480がオフ状態になってからフレーム終了期間Cを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子12による1フレーム分の画素の出力が終了する。また、撮像素子12において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Dを経て、再び有効フレーム信号がオン状態になり、次の1フレーム分の画素の出力が開始される。
次に、図6を参照しながら、画像バッファ部141における撮像素子12から出力される画素のバッファリング処理について説明する。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力する。具体的には、画像バッファ部141は、まず、Y方向の1番目の水平ラインについて、撮像素子12から入力した(1,1)の画素を、出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、レジスタ1411aに格納した画素をラインバッファ1412aの記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1aに格納した画素をラインバッファ1412aの記憶領域2aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1番目の水平ラインの画素を出力部1413aから出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
次に、画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(1,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、Y方向の2番目の水平ラインについて、撮像素子12から入力した(1,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。すなわち、画像バッファ部141は、X方向の値が同一の画素である(1,1)および(1,2)の画素を、出力部1413bおよび1413aからそれぞれ出力する。
画像バッファ部141は、次のタイミングで、レジスタ1411bに格納した画素をラインバッファ1412bの記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(2,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1bに格納した画素をラインバッファ1412bの記憶領域2bにシフトして格納し、レジスタ1411bに格納した画素を記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(3,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1および2番目の水平ラインの画素についてX方向の値が同一の画素を、出力部1413aおよび1413bからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412bの記憶領域1b〜639bにそれぞれ格納し、640番目の画素をレジスタ1411bに格納する。さらに、画像バッファ部141は、Y方向の2番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域1a〜639aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
以上の動作のように、画像バッファ部141は、撮像素子12から入力した各水平ラインの画素をラインバッファ1412a〜1412dにバッファリングする。それと共に、画像バッファ部141は、X方向の値が同一の画素、すなわち、(X,Y−4)、(X,Y−3)、(X,Y−2),(X,Y−1)および(X,Y)の画素を、出力部1413a〜1413eからそれぞれ同一のタイミングで出力する。
なお、図6は画像バッファ部141の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部141のバッファリング処理と同様の作用を奏する構成であればよい。
<<フィルタ処理部143の構成および動作>>
図8は、実施の形態の画像処理部のフィルタ処理部の構成の一例を示す図である。図9は、逆変換フィルタの構成の一例を示す図である。図10は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。図11は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図8〜11を参照しながら、画像処理部14のフィルタ処理部143の構成および動作について説明する。
フィルタ処理部143は、図8に示すように、レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eを備えている。フィルタ処理部143は、乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eを備えている。フィルタ処理部143は、加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446eおよび1447a〜1447cを備えている。フィルタ処理部143は、画像バッファ部141から出力される画素を入力部1431a〜1431eから入力する。そして、フィルタ処理部143は、入力した画素について、導出方法を後述するフィルタ係数を有する逆変換フィルタによってコンボリューション演算(畳み込み演算)を行い、演算値を出力部1448から出力する。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eは、入力側から入力される画素の値とフィルタ係数との乗算値を出力する回路である。具体的には、乗算器1438a〜1442aは、それぞれフィルタ係数a55〜a51と画素との乗算値を出力する。乗算器1438b〜1442bは、それぞれフィルタ係数a45〜a41と画素との乗算値を出力する。乗算器1438c〜1442cは、それぞれフィルタ係数a35〜a31と画素との乗算値を出力する。乗算器1438d〜1442dは、それぞれフィルタ係数a25〜a21と画素との乗算値を出力する。乗算器1438e〜1442eは、それぞれフィルタ係数a15〜a11と画素との乗算値を出力する。加算器1443a〜1443e、1444a〜1444e、1445a〜1445e、1446a〜1446e、ならびに1447aおよび1447cは、入力側から入力される2つのデータの値の加算値を出力する回路である。加算器1447bは、入力側から入力される3つのデータの値の加算値を出力する回路である。
図8に示すように、入力部1431a〜1431eは、それぞれレジスタ1432a〜1432eの入力側に接続されている。レジスタ1432a〜1437aは、直列に接続している。レジスタ1432b〜1437b、1432c〜1437c、1432d〜1437dおよび1432e〜1437eのそれぞれについても同様である。
入力部1431a〜1431eは、それぞれ乗算器1438a〜1438eの入力側に接続されている。レジスタ1432a〜1435aの出力側は、それぞれ乗算器1439a〜1442aの入力側に接続されている。レジスタ1432b〜1435bと乗算器1439b〜1442bとの接続関係、レジスタ1432c〜1435cと乗算器1439c〜1442cとの接続関係、レジスタ1432d〜1435dと乗算器1439d〜1442dとの接続関係、およびレジスタ1432e〜1435eと乗算器1439e〜1442eとの接続関係もそれぞれ同様である。
乗算器1438a〜1438eの出力側は、それぞれ加算器1443a〜1443eの入力側に接続されている。加算器1443a〜1446aは、直列に接続している。加算器1443b〜1446b、1443c〜1446c、1443d〜1446dおよび1443e〜1446eのそれぞれについても同様である。
乗算器1439a〜1442aの出力側は、それぞれ加算器1443a〜1446aの入力側に接続されている。乗算器1439b〜1442bと加算器1443b〜1446bとの接続関係、乗算器1439c〜1442cと加算器1443c〜1446cとの接続関係、乗算器1439d〜1442dと加算器1443d〜1446dとの接続関係、および乗算器1439e〜1442eと加算器1443e〜1446eとの接続関係もそれぞれ同様である。
加算器1446aおよび1446bの出力側は、加算器1447aの入力側に接続されている。加算器1446dおよび1446eの出力側は、加算器1447cの入力側に接続されている。加算器1446c、1447aおよび1447cの出力側は、加算器1447bの入力側に接続されている。加算器1447bの出力側は、出力部1448に接続されている。
次に、図8〜11を参照しながら、フィルタ処理部143における逆変換処理について説明する。逆変換処理に使用されるフィルタは、図9に示すように、上述したフィルタ係数a11〜a15、a21〜a25、a31〜a35、a41〜a45およびa51〜a55によって構成されるタップ数が5×5の線形フィルタである逆変換フィルタ121である。逆変換フィルタ121による逆変換処理の対象となる画像の部分を、図10に示す対象部分画像131であるものとする。対象部分画像131は、画素A11〜A15、A21〜A25、A31〜A35、A41〜A45およびA51〜A55によって構成された5×5の部分画像である。
レジスタ1432a〜1432e、1433a〜1433e、1434a〜1434e、1435a〜1435e、1436a〜1436eおよび1437a〜1437eには、データが格納されていない状態、すなわち、0の値が格納された状態であるものとする。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像131の画素A51、A41、A31、A21およびA11を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eによって演算された乗算値は、加算器1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
フィルタ処理部143は、次のタイミングで、レジスタ1432a〜1432eに格納した画素A51、A41、A31、A21およびA11を、それぞれレジスタ1433a〜1433eにシフトして格納し、乗算器1439a〜1439eに入力させる。フィルタ処理部143は、入力部1431a〜1431eから対象部分画像131の画素A52、A42、A32、A22およびA12を入力し、それぞれレジスタ1432a〜1432eに格納すると共に、乗算器1438a〜1438eに入力させる。乗算器1439a〜1439eは、それぞれのフィルタ係数であるa54、a44、a34、a24およびa14と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1439a〜1439eによって演算された乗算値、および乗算器1438a〜1438eによって演算された乗算値は、加算器1443a〜1443eおよび1447a〜1447cによって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。
そして、以上の動作が繰り返された結果、レジスタ1432a〜1436a、1432b〜1436b、1432c〜1436c、1432d〜1436dおよび1432e〜1436eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が格納されたものとする。また、乗算器1438a〜1442a、1438b〜1442b、1438c〜1442c、1438d〜1442dおよび1438e〜1442eに、それぞれ画素A55〜A51、A45〜A41、A35〜A31、A25〜A21およびA15〜A11が入力されたものとする。乗算器1442a〜1442eは、それぞれのフィルタ係数であるa51、a41、a31、a21およびa11と、それぞれ入力した画素A51、A41、A31、A21およびA11との乗算値を出力する。乗算器1441a〜1441eは、それぞれのフィルタ係数であるa52、a42、a32、a22およびa12と、それぞれ入力した画素A52、A42、A32、A22およびA12との乗算値を出力する。乗算器1440a〜1440eは、それぞれのフィルタ係数であるa53、a43、a33、a23およびa13と、それぞれ入力した画素A53、A43、A33、A23およびA13との乗算値を出力する。乗算器1439a〜1439eは、それぞれのフィルタ係数であるa54、a44、a34、a24およびa14と、それぞれ入力した画素A54、A44、A34、A24およびA14との乗算値を出力する。乗算器1438a〜1438eは、それぞれのフィルタ係数であるa55、a45、a35、a25およびa15と、それぞれ入力した画素A55、A45、A35、A25およびA15との乗算値を出力する。
乗算器1438a〜1438e、1439a〜1439e、1440a〜1440e、1441a〜1441eおよび1442a〜1442eによって演算された乗算値は、図8に示す全ての加算器によって加算される。加算値は、加算器1447bから出力され、出力部1448からフィルタ処理部143の外部に出力される。この加算値は、図10に示すように、対象部分画像131に対して逆変換フィルタ121によってコンボリューション演算した値、すなわち、式(1)で表される演算値と同一である。コンボリューション演算の演算値は、対象部分画像131の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の画像において、逆変換処理前の画像の中央データに相当する位置の画素となる。
次に、フィルタ処理部143の逆変換処理について、図11を参照しながら、画像105においてX方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図11(a)は、フィルタ処理部143が、画像105における(1,1)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図11(a)に示すように、(1,1)の画素を中央データ135aとしてコンボリューション演算するためには、(1,1)の画素を中央データとする対象部分画像131aと、画像105とが重複している部分の画素が必要になる。すなわち、対象部分画像131aのうち、図10に示す対象部分画像131の画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が必要である。
そのためには、画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が、画像バッファ部141の出力部1413a〜1413cから出力されている必要がある。さらに、画素A35〜A33、A45〜A43およびA55〜A53に相当する画素が、フィルタ処理部143のレジスタ1432c〜1434c、1432b〜1434bおよび1432a〜1434aに格納されている必要がある。そして、対象部分画像131aにおいて、画像105と重複していない部分の画素は「0」として取り扱うものとする。
以上の状態において、フィルタ処理部143は、図10に示したコンボリューション演算と同様に、対象部分画像131aに対して逆変換フィルタ121によってコンボリューション演算を行う。フィルタ処理部143は、画像105の対象部分画像131aの中央データ135aである(1,1)の画素に対してコンボリューション演算した値を、逆変換処理後の画像の(1,1)の画素として出力する。
次に、フィルタ処理部143は、図11(b)に示すように、コンボリューション演算の対象となる画素をX方向にひとつシフトし、対象部分画像131bの中央データ135bである(2,1)の画素に対して逆変換処理をする。そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図11(c)に示すように、X方向の水平ラインの最後の画素である(640,1)の画素に対して逆変換処理をする。(640,1)の画素は、図11(c)に示すように、対象部分画像131cの中央データ135cである。
以上のように、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Y方向の次の水平ラインに対して同様に逆変換処理を行う。
図11(d)〜11(f)は、フィルタ処理部143が、画像105におけるY方向の4番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図11(d)は、フィルタ処理部143が、画像105における(1,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図11(d)に示すように、(1,4)の画素を中央データ135dとしてコンボリューション演算するためには、(1,4)の画素を中央データとする対象部分画像131dと、画像105とが重複している部分の画素が必要になる。そして、対象部分画像131dにおいて、画像105と重複していない部分の画素は、上述と同様に「0」として取り扱うものとする。
図11(e)は、フィルタ処理部143が、画像105における(5,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図11(e)に示すように、(5,4)の画素を中央データ135eとする対象部分画像131eは全体が画像105と重複しているので、フィルタ処理部143は、対象部分画像131eに含まれる画素をすべて利用した逆変換処理が可能となる。
そして、フィルタ処理部143は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図11(f)に示すように、X方向の水平ラインの最後の画素である(640,4)の画素に対して逆変換処理をする。(640,4)の画素は、図11(f)に示すように、対象部分画像131fの中央データ135fである。
以上のように、フィルタ処理部143は、画像105を構成する各画素に対して逆変換フィルタ121によるコンボリューション演算を行って逆変換処理をするので、位相板11aによってぼけた画像を補正し、画像の解像度を向上させることができる。
なお、上述のように、画像105における逆変換フィルタ121によるコンボリューション演算の対象となる対象部分画像について、画像105と重複していない部分の画素は「0」としたが、これに限定されるものではない。例えば、対象部分画像の画像105と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の画像105と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。
具体的に、図11(a)の対象部分画像131aを例にして説明する。対象部分画像131aのそれぞれの画素の名称を、仮に図10に示す対象部分画像131の画素の名称と同様とする。この場合、対象部分画像131aの画像105と重複していない部分の画素は、画素A11〜A15、A21〜A25、A31、A32、A41、A42、A51およびA52である。また、対象部分画像131aの画像105と重複している部分の画素は、画素A33〜A35、A43〜A45およびA53〜A55である。
このとき、画素A31、A32、A41、A42、A51およびA52は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素を折り返し、それぞれ画素A35、A34、A45、A44、A55およびA54の値を用いる。また、画素A13〜A15およびA23〜A25は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素を折り返し、それぞれ画素A53〜A55およびA43〜A45の値を用いる。そして、画素A11、A12、A21およびA22は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれA55、A54、A45およびA44の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。
また、図9および10に示すように、フィルタ処理部143が有する逆変換フィルタはタップ数が5×5のフィルタとしているが、これに限定されるものではない。すなわち、フィルタのタップ数は3×3、15×15または21×21等異なるタップ数としてもよい。この場合、フィルタのタップ数に合わせて、対象部分画像の大きさも一致させる必要がある。また、フィルタによる逆変換処理の対象となる中央データが存在するように、フィルタのタップ数は奇数である必要がある。
また、逆変換フィルタは、例えば15×15以上のタップ数であることが好ましい。逆変換フィルタは、タップ数が多いほど、位相板によって被写界深度が拡張されてぼけが加えられた画像に対して、ぼけを補正できる光軸上の幅を大きくすることができる。したがって、タップ数が多い逆変換フィルタを用いることによって、位相板およびレンズの被写界深度についての設計のバリエーションを増やすことができる。
<逆変換フィルタの周波数特性の導出>
まず、1箇所のフォーカス位置において光学系であるレンズユニット11によって広がったスポットを一点に集まるように復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。上述の周波数特性を実現するフィルタとしては、2次元の線形フィルタかつFIR(Finite Impulse Response)フィルタが好適である。
まず、撮像素子12によって撮像された画像への光学系による影響のモデルを以下の式(2)に示す2次元のコンボリューション演算(畳み込み演算)の式によって表す。
ここで、imagecapturedは光学系を通って検出された2次元の撮像画像の画素であり、imageidealは被写体4そのものを示す理想画像の画素であり、hは光学系のPSFを示す。
以下、画像処理系(撮像素子12および画像処理部14)に加わるノイズの影響を考慮して、逆変換処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする逆変換フィルタの周波数特性の導出を考える。平均二乗誤差は、以下の式(3)によって表される。
ここで、E[]は期待値(平均値)を示し、nは画像上の位置を示し、imageprocessed(n)は、imagecapturedに対して逆変換処理をした画像の画素を示す。なお、imagecapturedは、ノイズが含まれていることを考慮する。
波形x(n)が持つ全エネルギーのnの全領域についての総和と、波形x(n)のエネルギーのフーリエ変換X(ω)の全周波数成分についての総和とが等しいとするパーセバルの定理より、式(3)は、周波数領域における平均二乗誤差として以下の式(4)で表される。
ここで、IMAGEideal(ω)はimageideal(n)の周波数特性を示し、IMAGEprocessed(ω)はimageprocessed(n)の周波数特性を示し、ωは空間周波数を示す。
逆変換フィルタの周波数特性をR(ω)とすると、以下の式(5)の最小値を与える周波数特性R(ω)が最適の逆変換フィルタとなる。
ここで、IMAGEcaptured(ω)は、imagecaptured(n)の周波数特性である。
式(5)において、IMAGEideal(ω)=S(ω)、およびIMAGEcaptured(ω)=X(ω)とし、式(5)の最小値をもとめるため、式(5)をRによって微分すると、下記の式(6)が得られる。
ここで、E[|X(ω)|]は、ノイズを含んだ撮像画像のパワースペクトルであり、E[S(ω)・X(ω)]は、ノイズを含んだ撮像画像と理想画像との相互パワースペクトルである。
式(5)の最小値をもとめるため式(6)の最右辺を0とすると下記の式(7)が得られる。
式(7)から下記の式(8)が得られる。
この式(8)に示す周波数特性R(ω)に基づく逆変換フィルタが、上述の式(3)に示す平均二乗誤差を最小とする最適のフィルタとなる。
ここで、ノイズの周波数特性をW(ω)とし、光学系のPSFであるhの周波数特性をH(ω)として、上述の式(2)を周波数空間で示すと下記の式(9)で示される。
ノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であるとすると、E[S(ω)・W(ω)]=0であるので、上述の式(8)の右辺の分母に、式(9)を代入すると、下記の式(10)が得られる。
同じくノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であるとすると、E[W(ω)・S(ω)]=0およびE[S(ω)・W(ω)]=0であるので、上述の式(8)の右辺の分母に、式(9)を代入すると、下記の式(11)が得られる。
上述の式(8)、(10)および(11)から、下記の式(12)に示す周波数特性R(ω)が得られる。
この式(12)に示す周波数特性R(ω)に基づく逆変換フィルタが、画像処理系のノイズを考慮した場合の上述の式(3)に示す平均二乗誤差を最小とする最適なフィルタとなる。ここで、E[|S(ω)|]は理想画像のパワースペクトルの平均値であり、E[|W(ω)|]はノイズのパワースペクトルの平均値であり、|H(ω)|は光学系の周波数特性のパワースペクトルである。
また、上述の式(12)に示す周波数特性R(ω)を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式(13)が得られる。
上記の式(13)の演算においては、上述のように、ノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であることを利用している式(13)の最右辺の第1項は、逆変換処理後の画像の復元しきれなかった誤差量を示している。第2項は、ノイズによる誤差量を示している。
式(13)の積分値が最小となるように、光学系の周波数特性H(ω)を設計することによって、上述の式(5)に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理より、上述の式(3)に示す実空間における平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。
ただし、上述の式(12)に示す周波数特性R(ω)に基づく逆変換フィルタは、1箇所のフォーカス位置(すなわち1箇所の周波数特性H)において、光学系によって広がったスポットを復元することができるものである。したがって、式(12)に示す周波数特性R(ω)に基づく逆変換フィルタは、スポットの形状が異なるその他のデフォーカス位置においては、スポットを復元するための最適なフィルタにはならない。
次に、光軸上のあるデフォーカス位置範囲内において光学系であるレンズユニット11によって広がったスポットを復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。これによって、1箇所のフォーカス位置における最適な逆変換フィルタではなく、複数の位置において最適な逆変換フィルタをもとめることができる。
まず、2箇所のデフォーカス位置を想定し、上述の式(5)を変形して、2つの画像についての周波数領域における平均二乗誤差の和は、下記の式(14)で表される。
2つの画像は、それぞれIMAGE1およびIMAGE2に対応する。
式(14)において、IMAGE1ideal(ω)=S1(ω)、IMAGE1captured(ω)=X1(ω)、IMAGE2ideal(ω)=S2(ω)およびIMAGE2captured(ω)=X2(ω)とする。そして、式(14)の最小値をもとめるため、式(14)をRによって微分すると、下記の式(15)が得られる。
式(15)の最小値をもとめるため式(15)の最右辺を0として、周波数特性R(ω)について解くと、下記の式(16)が得られる。
撮像装置1によって同一の画像を撮像しているものと仮定すると、S1(ω)=S2(ω)となり、これをS(ω)とおき、さらに、上述の式(9)の関係式から下記の式(17)が得られる。
この式(17)に示す周波数特性R(ω)に基づく逆変換フィルタが、上述の式(14)に示す周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。
以上は2つの画像の場合であったが、N個の画像、すなわち、N箇所のデフォーカス位置に一般化した周波数特性R(ω)は、下記の式(18)で表される。
この式(18)に示す周波数特性R(ω)に基づく逆変換フィルタが、画像処理系のノイズを考慮し、式(14)に基づく複数のデフォーカス位置に対応する周波数領域の平均二乗誤差を最小とする最適なフィルタとなる。なお、できるだけ多くのデフォーカス位置、すなわち、できるだけ大きなNの値によって周波数特性Rを導出するのが好ましい。
また、上述の式(17)に示す周波数特性R(ω)を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の式(19)が得られる。
上記の式(19)の演算においては、上述のように、ノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であることを利用している。
上述の式(19)について、N個の画像、すなわち、N箇所のデフォーカス位置に一般化すると、下記の式(20)が得られる。
式(20)に示す値をNで割った値である下記の式(21)で示される値をN箇所のデフォーカス位置に一般化した場合の周波数領域における平均二乗誤差MSE(Mean Square Error)であると定義する。
式(21)に示すMSEが最小となるように、光学系の周波数特性H(ω)を設計することによって、上述の式(14)に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理により、実空間においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。したがって、式(18)に示す周波数特性R(ω)に基づいて、例えば、画像処理部14の画像バッファ部141が有する逆変換フィルタ121を導出するものとすればよい。
以上のように、N箇所のデフォーカス位置、すなわち、複数のデフォーカス位置について、式(18)に示す周波数特性R(ω)から最適な逆変換フィルタをもとめることができる。これによって、デフォーカス位置によってスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。
図12は、実施の形態の画像処理部のフィルタ処理部の逆変換フィルタを決定するための周波数特性を演算する流れを示すフローチャートである。図12を参照しながら、式(18)に示す周波数特性Rを具体的に演算する流れについて説明する。
<<ステップS1>>
まず、レンズユニット11における面曲率および面間隔等、ならびに位相板11aの特性等の光学系パラメータに基づいて、レンズユニット11に対する光線追跡演算によりPSFを導出する。ここで、複数のデフォーカス位置における光学系パラメータによって光線追跡演算を行い、PSFを導出する。そして、ステップS2へ進む。
<<ステップS2>>
ステップS1で導出したPSFをフーリエ変換することによって、光学系の周波数特性Hを導出する。そして、ステップS5へ進む。
<<ステップS3>>
画像処理系(撮像素子12および画像処理部14)に加わるノイズ特性を測定する。そして、ノイズ特性をフーリエ変換することによって、ノイズの周波数特性Wを導出する。なお、ノイズ特性の測定が困難である場合は、空間周波数によらず、撮像素子12のS/N比の値を定数としてノイズの周波数特性Wを導出するものとしてもよい。そして、ステップS5へ進む。
<<ステップS4>>
撮像装置1により、自然風景またはバーコード等を様々な大きさおよび撮影条件によって撮像された画像を理想画像とする。理想画像を構成する画素の値をフーリエ変換し、空間周波数ωについての平均値を被写体の周波数特性Sとして導出する。なお、被写体の周波数特性Sは、被写体から出る光に収差を与えない光学系を通過した光に基づく撮像画像の画素の周波数特性としてもよい。また、被写体の周波数特性Sは、定数としてもよい。そして、ステップS5へ進む。
<<ステップS5>>
ステップS2で導出した光学系の周波数特性H、ステップS3で導出したノイズの周波数特性W、およびステップS4で導出した被写体の周波数特性Sから、上述の式(18)を使用して、逆変換フィルタの周波数特性Rを演算する。
<MTFの空間周波数特性>
図13は、光学系を通過した光によって検出された画像の空間周波数特性を示す図である。図14は、逆変換処理が行われた画像の空間周波数特性を示す図である。図13および14を参照しながら、画像の空間周波数特性について説明する。
まず、図13を参照しながら、レンズユニット11(光学系)を通過した光が撮像素子12によって撮像された画像についての空間周波数ωに対するMTFについて説明する。図13に示される目標空間周波数特性201は、被写体の撮像画像のコントラストが完全に再現された場合のMTFの空間周波数ωについての特性(MTF=1)を示す。
上述したように、レンズユニット11を通過した光は、収差を与えるレンズおよび位相板11aの作用によって点像分布関数(PSF)が付加される。図13における空間周波数特性202は、レンズユニット11を通過した光に基づいて、撮像素子12によりフォーカス位置において撮像された撮像画像のMTFの空間周波数ωについての特性を示す。図13における空間周波数特性203は、レンズユニット11を通過した光に基づいて撮像素子12によってあるデフォーカス位置において撮像された撮像画像のMTFの空間周波数ωについての特性を示す。レンズユニット11を通過した光はPSFが付加されているので、フォーカス位置における空間周波数特性202、およびデフォーカス位置における空間周波数特性203は、図13に示すように、何れも目標空間周波数特性201よりも低い値となる。
次に、図14(a)を参照しながら、図8に示すフィルタ処理部143が有する逆変換フィルタが、上述の式(12)に示す周波数特性Rによってもとめられた場合を考える。この場合において、撮像素子12によって撮像された画像がフィルタ処理部143によって逆変換処理が行われた画像についての空間周波数ωに対するMTFについて説明する。
図14(a)における空間周波数特性202aは、撮像素子12によりフォーカス位置において撮像された撮像画像について、フィルタ処理部143により逆変換処理された画像のMTFの空間周波数ωについての特性を示す。図14(a)における空間周波数特性203aは、撮像素子12によりあるデフォーカス位置において撮像された撮像画像について、フィルタ処理部143により逆変換処理された画像のMTFの空間周波数ωについての特性を示す。上述のように、式(12)は1箇所のフォーカス位置において、レンズユニット11によってPSFが付加された画像を復元する逆変換フィルタの周波数特性Rなので、空間周波数特性202aのように、MTF=1となり、目標空間周波数特性201と一致する。しかし、式(12)に示す周波数特性Rから導出された逆変換フィルタは、フォーカス位置におけるスポットとは形状の異なるデフォーカス位置には対応していないので、空間周波数特性203aのMTFは、空間周波数特性202aのMTFよりも低くなる。
次に、図14(b)を参照しながら、図8に示すフィルタ処理部143が有する逆変換フィルタが、上述の式(18)に示す周波数特性Rに基づいてもとめられた場合を考える。この場合において、撮像素子12によって撮像された画像がフィルタ処理部143によって逆変換処理が行われた画像についての空間周波数ωに対するMTFについて説明する。
図14(b)における空間周波数特性202bは、撮像素子12によってあるデフォーカス位置P1において撮像された撮像画像について、フィルタ処理部143により逆変換処理された画像のMTFの空間周波数ωについての特性を示す。図14(b)における空間周波数特性203bは、撮像素子12によってあるデフォーカス位置P2において撮像された撮像画像について、フィルタ処理部143により逆変換処理された画像のMTFの空間周波数ωについての特性を示す。上述のように、式(18)は複数のデフォーカス位置において、すなわち、光軸上の所定の位置範囲(被写界深度)において、レンズユニット11によってPSFが付加された画像を復元する逆変換フィルタの周波数特性Rである。したがって、被写界深度に含まれる何れのデフォーカス位置においても、撮像素子12により撮像され、かつ、フィルタ処理部143により逆変換処理された画像の空間周波数特性におけるMTFは、目標空間周波数特性201のMTFに近接することになる。すなわち、上述の逆変換フィルタによって複数のデフォーカス位置における画像が逆変換処理された画像の周波数特性は、図14(b)に示すように、目標空間周波数特性201よりも大きい値であったり、小さい値であったりする。いずれにしても、上述の逆変換フィルタによって逆変換処理された画像の周波数特性は、図14(b)に示すように、目標空間周波数特性201に近接する。
以上のように、フィルタ処理部143は、式(18)に示す周波数特性R(ω)に基づいてもとめられた逆変換フィルタによる逆変換処理によって、所定の位置範囲において、レンズユニット11によってPSFが付加された画像を復元することができる。したがって、所定の位置範囲においてスポットの形状が変わっても、同一の逆変換フィルタによって復元することができるので、より広い範囲にまで被写界深度を拡張することができる。
1 撮像装置
2 PC
3 通信ケーブル
4 被写体
11 レンズユニット
11a 位相板
11b 絞り
12 撮像素子
14 画像処理部
15 通信部
21 通信部
22 操作部
23 表示部
24 記憶部
25 外部記憶装置
26 制御部
27 バス
101 検出画像
105 画像
121 逆変換フィルタ
131、131a〜131f 対象部分画像
135a〜135f 中央データ
141 画像バッファ部
143 フィルタ処理部
201 目標空間周波数特性
202、202a、202b 空間周波数特性
203、203a、203b 空間周波数特性
500 撮像システム
1410 入力部
1411a〜1411d レジスタ
1412a〜1412d ラインバッファ
1413a〜1413e 出力部
1431a〜1431e 入力部
1432a〜1432e レジスタ
1433a〜1433e レジスタ
1434a〜1434e レジスタ
1435a〜1435e レジスタ
1436a〜1436e レジスタ
1437a〜1437e レジスタ
1438a〜1438e 乗算器
1439a〜1439e 乗算器
1440a〜1440e 乗算器
1441a〜1441e 乗算器
1442a〜1442e 乗算器
1443a〜1443e 加算器
1444a〜1444e 加算器
1445a〜1445e 加算器
1446a〜1446e 加算器
1447a〜1447c 加算器
1448 出力部
A フレーム開始期間
B 水平ブランキング期間
C フレーム終了期間
D 垂直ブランキング期間
T 有効データ期間
特開2011−151448号公報

Claims (11)

  1. 入射した光に収差を与える光学系と、
    前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、
    前記光学系の光軸上の所定範囲内の2箇所以上のデフォーカス位置における出力画像の画素の周波数特性が、被写体の理想画像の画素の周波数特性に対して、周波数の全域で大きい値をとる周波数特性および周波数の全域で小さい値をとる周波数特性を少なくともそれぞれ1つ以上含むようにする逆変換フィルタによって、前記所定範囲において前記撮像手段により撮像された前記画像に対して逆変換処理を行う逆変換手段と、
    を備える撮像装置。
  2. 入射した光に収差を与える光学系と、
    前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、
    前記光学系の光軸上の所定範囲内の2箇所以上のデフォーカス位置における出力画像の画素の周波数特性が、被写体の理想画像の画素の周波数特性に対して、大きい値をとる周波数特性および小さい値をとる周波数特性を少なくともそれぞれ1つ以上含むようにする逆変換フィルタによって、前記所定範囲において前記撮像手段により撮像された前記画像に対して逆変換処理を行う逆変換手段と、
    を備え、
    前記逆変換フィルタは、記被写体の理想画像の画素と、前記所定範囲における2箇所以上の前記デフォーカス位置それぞれの前記出力画像の画素との平均二乗誤差の和を最小にするフィルタであ撮像装置。
  3. 前記逆変換フィルタは、前記被写体の前記理想画像の画素の周波数特性と、前記逆変換手段の前記出力画像の画素の周波数特性との平均二乗誤差を最小にするフィルタである請求項1または2に記載の撮像装置。
  4. 前記撮像手段によって撮像された前記画像の画素は、ノイズを含む請求項1〜3のいずれか一項に記載の撮像装置。
  5. 前記逆変換フィルタの周波数特性Rは、下記の式(1)で算出される請求項1〜4のいずれか一項に記載の撮像装置。
  6. 前記理想画像の画素の周波数特性Sは、入射した前記被写体から出る光に収差を与えない光学系を通過した光に対して前記撮像手段が変換した画素の周波数特性である請求項5に記載の撮像装置。
  7. 前記理想画像の画素の周波数特性Sは、定数である請求項5に記載の撮像装置。
  8. 前記光学系は、前記被写体から出る前記光に前記収差を与える位相板を含む請求項1〜7のいずれか一項に記載の撮像装置。
  9. 前記光学系は、前記被写体から出る前記光に前記収差として球面収差を与えるレンズを含む請求項1〜8のいずれか一項に記載の撮像装置。
  10. 請求項1〜9のいずれか一項に記載の撮像装置と、
    前記撮像装置から前記逆変換処理が行われた前記画像を受信する通信手段と、該画像を表示する表示手段とを備える情報処理装置と、
    を備える撮像システム。
  11. 光学系により入射した光に収差を与えるステップと、
    前記収差を与えた前記光を画素に変換して画像を撮像するステップと、
    前記光学系の光軸上の所定範囲内の2箇所以上のデフォーカス位置における出力画像の画素の周波数特性が、被写体の理想画像の画素の周波数特性に対して、周波数の全域で大きい値をとる周波数特性および周波数の全域で小さい値をとる周波数特性を少なくともそれぞれ1つ以上含むようにする逆変換フィルタによって、前記所定範囲において撮像した前記画像に対して逆変換処理を行うステップと、
    を有する撮像方法。
JP2013131182A 2013-06-21 2013-06-21 撮像装置、撮像システムおよび撮像方法 Active JP6236908B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013131182A JP6236908B2 (ja) 2013-06-21 2013-06-21 撮像装置、撮像システムおよび撮像方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013131182A JP6236908B2 (ja) 2013-06-21 2013-06-21 撮像装置、撮像システムおよび撮像方法
US14/290,086 US9247188B2 (en) 2013-06-21 2014-05-29 Image capturing apparatus, image capturing system, and image capturing method that performs inverse transform processing on an image using an inverse transform filter
EP14171519.3A EP2816799A1 (en) 2013-06-21 2014-06-06 Image capturing apparatus, image capturing system and image capturing method

Publications (2)

Publication Number Publication Date
JP2015005933A JP2015005933A (ja) 2015-01-08
JP6236908B2 true JP6236908B2 (ja) 2017-11-29

Family

ID=50982765

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013131182A Active JP6236908B2 (ja) 2013-06-21 2013-06-21 撮像装置、撮像システムおよび撮像方法

Country Status (3)

Country Link
US (1) US9247188B2 (ja)
EP (1) EP2816799A1 (ja)
JP (1) JP6236908B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9477999B2 (en) * 2013-09-20 2016-10-25 The Board Of Trustees Of The Leland Stanford Junior University Low power programmable image processor
JP6318520B2 (ja) 2013-09-27 2018-05-09 株式会社リコー 撮像装置、撮像システムおよび撮像方法
TW201716933A (zh) * 2015-11-06 2017-05-16 原相科技股份有限公司 具有補償失焦影像的光學導航裝置及其補償電路
JP6578960B2 (ja) 2016-01-21 2019-09-25 オムロン株式会社 撮像装置、撮像方法、撮像プログラム、およびその撮像プログラムを記録した記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0451671A (en) * 1990-06-19 1992-02-20 Fujitsu Ltd Color reader
JP3182015B2 (ja) * 1993-01-27 2001-07-03 テキサス インスツルメンツ インコーポレイテツド 光学像の合成方法
KR100247938B1 (ko) 1997-11-19 2000-03-15 윤종용 영상처리 시스템의 디지탈 초점 조절방법 및 장치
WO2004063989A2 (en) 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
JP5479123B2 (ja) 2010-01-19 2014-04-23 京セラ株式会社 撮像装置および電子機器
JP2011159178A (ja) * 2010-02-02 2011-08-18 Univ Of Electro-Communications 光学的情報読取装置、光学的情報読取方法及びデジタルフィルタの作成方法
WO2011122284A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
CN102713512B (zh) * 2010-11-17 2015-06-03 松下电器产业株式会社 摄像装置以及距离测量方法
JP5614256B2 (ja) * 2010-11-18 2014-10-29 富士通株式会社 撮像装置、画像処理装置および撮像方法
EP2672696B1 (en) * 2011-01-31 2018-06-13 Panasonic Corporation Image restoration device, imaging device, and image restoration method
US8810674B2 (en) 2011-03-16 2014-08-19 Olympus Imaging Corp. Optical apparatus, imaging apparatus and imaging system having a substantially constant MTF or MTF shape
JP5274623B2 (ja) 2011-07-04 2013-08-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
JP5743772B2 (ja) * 2011-07-22 2015-07-01 京セラ株式会社 画像処理システム

Also Published As

Publication number Publication date
JP2015005933A (ja) 2015-01-08
EP2816799A1 (en) 2014-12-24
US9247188B2 (en) 2016-01-26
US20140375847A1 (en) 2014-12-25

Similar Documents

Publication Publication Date Title
JP2015165610A (ja) 撮像装置、撮像システムおよび撮像方法
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
JP5864813B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP5184574B2 (ja) 撮像装置、画像処理装置、および画像処理方法
JP2012156775A (ja) カメラモジュール
JP2015219754A (ja) 撮像装置および撮像方法
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
JP6318520B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP2012204856A (ja) 画像処理方法及びカメラモジュール
JP2015211401A (ja) 撮像装置および撮像方法
JP6291795B2 (ja) 撮像システムおよび撮像方法
JP2015005881A (ja) 画像処理装置、撮像装置および撮像システム
JP2015070529A (ja) 画像処理装置、撮像装置および画像処理方法
JP2016005080A (ja) 撮像装置、撮像システムおよび撮像方法
JP6314641B2 (ja) 撮像装置および撮像方法
JP2015211357A (ja) 撮像装置および撮像方法
JP2015216544A (ja) 撮像装置および撮像方法
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JPWO2011161746A1 (ja) 画像処理方法、プログラム、画像処理装置及び撮像装置
JP2011114537A (ja) 画像処理装置
JP2011040806A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160607

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171016

R151 Written notification of patent or utility model registration

Ref document number: 6236908

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151