JP6318520B2 - 撮像装置、撮像システムおよび撮像方法 - Google Patents

撮像装置、撮像システムおよび撮像方法 Download PDF

Info

Publication number
JP6318520B2
JP6318520B2 JP2013202576A JP2013202576A JP6318520B2 JP 6318520 B2 JP6318520 B2 JP 6318520B2 JP 2013202576 A JP2013202576 A JP 2013202576A JP 2013202576 A JP2013202576 A JP 2013202576A JP 6318520 B2 JP6318520 B2 JP 6318520B2
Authority
JP
Japan
Prior art keywords
image
filter
imaging
inverse transform
frequency characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013202576A
Other languages
English (en)
Other versions
JP2015070435A (ja
Inventor
亮介 笠原
亮介 笠原
Original Assignee
株式会社リコー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社リコー filed Critical 株式会社リコー
Priority to JP2013202576A priority Critical patent/JP6318520B2/ja
Publication of JP2015070435A publication Critical patent/JP2015070435A/ja
Application granted granted Critical
Publication of JP6318520B2 publication Critical patent/JP6318520B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23229Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor comprising further processing of the captured image without influencing the image pickup process
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/001Image restoration
    • G06T5/002Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/006Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration by the use of local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/357Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N5/3575Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double or triple sampling
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Description

本発明は、撮像装置、撮像システムおよび撮像方法に関する。
近年、情報のデジタル化の発展に伴い、撮像装置に分野においてもデジタル化の発展が著しい。特に、デジタルカメラに代表される撮像装置において、撮像面は従来のフィルムに置き換わって固体撮像素子が使用されている。固体撮像素子(以下、単に撮像素子という)として、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサ等が使用されている。
このように、撮像素子を使用した撮像装置は、被写体からの光を光学系によって取り込み、固体撮像素子によって光を電気信号に変換して抽出するものである。このような撮像装置として、デジタルカメラの他、ビデオカメラ、バーコードリーダ、携帯電話機、携帯情報端末(PDA:Personal Digital Assistant)および産業用カメラ等が挙げられる。
上述のような撮像装置においては、光学系によって、被写界深度を拡張するいわゆる被写界深度拡張カメラ(EDoF:Extended Depth of Field)がある。被写界深度とは、カメラのレンズからある距離にある被写体に対して、焦点が合っていると許容できるレンズの光軸方向の距離範囲のことをいう。
上述の光学系による被写界深度の拡張について具体的に説明する。光学系に含まれるレンズおよび位相板は、撮像素子に入射される被写体の光に収差を与えて点像分布関数(PSF:Point Spread Function)を付加する働きをする。例えば、レンズは、収差として、撮像素子に入射される被写体の光に球面収差を与える。光学系は、収差によって撮像素子で撮像する画像がぼけた状態にする代わりに広い被写界深度でそのぼけが一定となるようにする。したがって、光学系によってぼけた画像は、所定のMTF(Modulation Transfer Function)の値が得られるように補正する必要がある。MTFは、被写体の持つコントラストを、どれくらい忠実に再現できるかを数値化した値、すなわちコントラストの再現率を示す。この場合、光学系によってぼけた画像に対して、点像分布関数の逆変換処理を施すことによって、高解像度の画像に復元する。逆変換処理は、光学系によってぼけた画像を形成する各画素の情報(以下、単に画素という)に対して、逆変換フィルタによるフィルタ処理を施すことにより画像のぼけを補正することによって実現される。
また、一般に撮像素子によって撮像された画像にはノイズが含まれるので、ノイズを低減する処理も必要になる。このような撮像画像のノイズを低減し、かつ、ぼけを補正して復元する装置として、ノイズを低減するノイズ処理を入力画像に対して行うことによりノイズ処理画像を生成するノイズ処理部と、ぼけを低減する復元処理をノイズ処理画像に対して行う復元処理部とを備えた装置が提案されている(特許文献1)。ノイズ処理部は、復元処理の特性に基づいてノイズ処理を行うものとしている。
しかしながら、特許文献1に記載された装置は、ノイズ処理部の影響を復元処理によって増幅し、画像が劣化するのを抑制するものであり、根本的にノイズの増幅を防げるものではないという問題点があった。また、解像度とノイズ量とはトレードオフの関係にあり、レンズの解像度を大きく補おうとするとノイズ量が増加するという問題点もあった。
本発明は、上記に鑑みてなされたものであって、ノイズを抑制しながら、光学的な収差であるぼけを復元する撮像装置、撮像システムおよび撮像方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、入射した光に収差を与える光学系と、前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、前記撮像手段によって撮像された撮像画像の所定部分ごとに前記収差を復元するための第1逆変換フィルタを求め、前記第1逆変換フィルタによって前記撮像画像に対して第1逆変換処理を行う逆変換手段と、を備えることを特徴とする。
本発明によれば、ノイズを抑制しながら、光学的な収差であるぼけを復元することができる。
図1は、第1の実施の形態に係る撮像システムの全体構成の一例を示す図である。 図2は、第1の実施の形態の情報処理装置の構成の一例を示す図である。 図3は、第1の実施の形態に係る撮像装置の構成の一例を示す図である。 図4は、第1の実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。 図5は、撮像素子によって検出される画像の一例を示す図である。 図6は、画像処理部の画像バッファ部の構成の一例を示す図である。 図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。 図8は、検出画像における各エリアによってパワースペクトルが異なることを説明する図である。 図9は、検出画像全体のパワースペクトルと最適フィルタとを説明する図である。 図10は、検出画像の平坦部のエリアのパワースペクトルと最適フィルタとを説明する図である。 図11は、検出画像のテクスチャ部のエリアのパワースペクトルと最適フィルタとを説明する図である。 図12は、第1の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。 図13は、第2の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。 図14は、逆変換フィルタの構成の一例を示す図である。 図15は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。 図16は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。
以下に、図面を参照しながら、本発明に係る撮像装置、撮像システムおよび撮像方法の実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換および変更を行うことができる。
(第1の実施の形態)
<撮像システムの全体構成>
図1は、第1の実施の形態に係る撮像システムの全体構成の一例を示す図である。図1を参照しながら、本実施の形態の撮像システム500の構成について説明する。
図1に示すように、本実施の形態の撮像システム500は、撮像装置1と、PC2と、を備えている。撮像装置1とPC2とは、Ethernet(登録商標)ケーブル等の通信ケーブル3によって通信可能に接続されている。
撮像装置1は、被写体4から出る光を電気信号に変換することによって被写体4を撮像し、撮像した画像の情報(以下、単に画像という)に対して各種処理を実行し、処理後の画像を、通信ケーブル3を介してPC2へ送信する。PC2は、撮像装置1から受信した画像に対して所定の処理を実行する。
例えば、撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信した画像からバーコードの情報を読み出して解析する。
なお、図1に示すように、撮像システム500は、撮像装置1とPC2とが通信ケーブル3を介してデータを通信する有線通信方式のシステムとしているが、これに限定されるものではない。例えば、撮像装置1とPC2とは、Wi−Fi(登録商標)(WirelessFidelity)等の無線通信方式によって互いにデータが通信可能であってもよい。
また、撮像システム500が生産ラインにおいて使用される場合、PC2は、PLC(Programmable Logic Controller)等に通信可能に接続されている構成としてもよい。この場合、撮像システム500の動作として、以下の動作が一例として挙げられる。撮像装置1は、生産ラインを流れる製品に添付されたバーコードを撮像して、バーコードの画像をPC2に送信する。PC2は、受信したバーコードの画像から、生産ラインを流れている製品の品番を判定する。PC2は、判定した品番が、生産ラインにおいて段替えされている品番と不一致である場合、品番を判定した製品は異なる品番の製品であることを示す信号をPLCに送信する。PLCは、PC2から異なる品番の製品であることを示す信号を受信した場合、その製品を生産ラインから除去し、あるいは、警告ランプを点灯させて生産ラインを停止するように生産ラインの動作を制御する。
<情報処理装置の構成>
図2は、第1の実施の形態の情報処理装置の構成の一例を示す図である。図2を参照しながら、情報処理装置の一例であるPC2の構成について説明する。
図2に示すように、情報処理装置の一例であるPC2は、通信部21と、操作部22と、表示部23と、記憶部24と、外部記憶装置25と、制御部26と、を備えている。上記の各部は、バス27によって接続され、互いにデータの送受信が可能となっている。
通信部21は、通信ケーブル3を介して、撮像装置1と通信する装置である。通信部21は、例えば、NIC(Network Interface Card)等の通信装置によって実現される。通信部21の通信プロトコルは、例えば、TCP(Transmission Control Protocol)/IP(Internet Protocol)またはUDP(User Datagram Protocol)/IP等によって実現される。
操作部22は、ユーザによって制御部26に対して所定の処理を実行させるための操作入力を行う装置である。操作部22は、例えば、マウス、キーボード、テンキー、タッチパッドまたはタッチパネルにおける操作入力機能によって実現される。
表示部23は、制御部26により実行されているアプリケーション画像等を表示する装置である。表示部23は、例えば、CRT(Cathode Ray Tube)ディスプレイ、液晶ディスプレイ、プラズマディスプレイまたは有機EL(Electroluminescence)ディスプレイ等によって実現される。
記憶部24は、PC2で実行される各種プログラムおよびPC2で行われる各種処理に使用されるデータ等を記憶する装置である。記憶部24は、例えば、ROM(Read Only Memory)およびRAM(Random Access Memory)等の記憶装置によって実現される。
外部記憶装置25は、画像、プログラムおよびフォントデータ等を蓄積して記憶する記憶装置である。外部記憶装置25は、例えば、HDD(Hard Disk Drive)、SSD(Solid State Drive)、光ディスク、または光磁気ディスク(MO:Magneto−Optical Disk)等の記憶装置によって実現される。
制御部26は、PC2の各部の動作を制御する装置である。制御部26は、例えば、CPU(Central Processing Unit)およびASIC(Application Specific Integrated Circuit)等で実現される。
<撮像装置の構成>
図3は、第1の実施の形態に係る撮像装置の構成の一例を示す図である。図3を参照しながら、本実施の形態の撮像装置1の構成について説明する。
図3に示すように、撮像装置1は、レンズユニット11と、撮像素子12と、画像処理部14と、通信部15と、を備えている。
レンズユニット11は、被写体4から出る光を集光し、撮像素子12に結像させるユニットである。レンズユニット11は、1枚以上のレンズで構成された光学系によって実現される。レンズユニット11は、位相板11aと、絞り11bとを備えている。被写体4は、例えば、人物、被監視物、バーコード、2次元コードまたは文字列等である。
位相板11aは、レンズユニット11に入射する光に対して収差を与える作用を有する。その結果、位相板11aは、撮像素子12に入射される光に対して点像分布関数を付加する作用を奏し、撮像素子12で撮像される画像がぼけた状態とする代わりに広い被写界深度でそのぼけが一定となるようにする。
絞り11bは、レンズユニット11に入射する光の量を自在に調整する部材であり、位相板11aの近傍に配置されている。
撮像素子12は、レンズユニット11に入射する被写体からの光を電気信号に変換することによって被写体4を撮像して画像を生成する固体撮像素子である。撮像素子12は、固体撮像素子を構成する各検出単位によって撮像した画像を構成する画素を出力する。撮像素子12は、例えば、CCDセンサまたはCMOSセンサ等によって実現される。
画像処理部14は、撮像素子12から出力される画像から、フィルタ処理を施した画像を生成する装置である。
通信部15は、通信ケーブル3を介して、PC2と通信する装置である。通信部15は、例えば、画像処理部14から出力される画像をPC2に対して送信する。通信部15は、例えば、NIC等の通信装置によって実現される。通信部15の通信プロトコルは、例えば、TCP/IPまたはUDP/IP等によって実現される。
<画像処理部の構成>
図4は、第1の実施の形態に係る撮像装置の画像処理部の構成の一例を示す図である。図5は、撮像素子によって検出される画像の一例を示す図である。図4を参照しながら、本実施の形態の撮像装置1の画像処理部14の構成について説明する。
撮像素子12は、上述のように、レンズユニット11に入射する被写体からの光を電気信号に変換することにより被写体4を撮像し、画像を生成する固体撮像素子である。以下、撮像素子12は、VGAの画像を形成して出力するものとして説明する。具体的には、撮像素子12は、図5に示すように、X方向に640個、Y方向に480個の検出素子によって、640×480のマトリックス状に配列された画素で構成される画像である検出画像101を検出するものとして説明する。
なお、撮像素子12が検出する画像の大きさは640×480のVGAの画像であるものとしたが、これに限定されるものではなく、異なる大きさの画像であってもよいのは言うまでもない。
図4に示すように、本実施の形態の画像処理部14は、画像バッファ部141と、フィルタ処理部143とを備えている。
画像バッファ部141は、撮像素子12から出力される画素を順に入力してバッファリングする装置である。画像バッファ部141の具体的な構成および動作については、図6および7において後述する。
フィルタ処理部143は、画像バッファ部141から出力される画素に対して、後述するフィルタ回路によって、所定のフィルタ処理を行う。本実施の形態においては、フィルタ処理に使用するフィルタとして、位相板11aの作用によって点像分布関数を与えられたぼけた画像に対して、局所的に(画素ごとに)ぼけを補正する逆変換処理をするための逆変換フィルタを例に説明する。フィルタ処理部143の具体的な構成および動作については、図12において後述する。
<画像バッファ部の構成および動作>
図6は、画像処理部の画像バッファ部の構成の一例を示す図である。図7は、撮像素子から出力される画素が画像バッファ部に入力される動作を示すタイミングチャートである。図6および7を参照しながら、画像処理部14の画像バッファ部141の構成および動作について説明する。
画像バッファ部141は、図6に示すように、レジスタ1411a〜1411dと、ラインバッファ1412a〜1412dと、を備えている。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力し、バッファリングした画素を出力部1413a〜1413eから出力する。撮像素子12によって検出される画像の640×480の各画素について、X方向のX番目およびY方向のY番目の画素を(X,Y)の画素というものとする。
図6に示すように、レジスタ1411aの入力側は、入力部1410および出力部1413aに接続されている。レジスタ1411a〜1411dの出力側は、それぞれラインバッファ1412a〜1412dの入力側に接続されている。ラインバッファ1412a〜1412cの出力側は、それぞれレジスタ1411b〜1411dの入力側に接続されている。そして、ラインバッファ1412a〜1412dの出力側は、それぞれ出力部1413b〜1413eに接続されている。
次に、図7を参照しながら、撮像素子12によって検出された画像の出力動作について説明する。撮像素子12は、検出した画素をX方向の1水平ラインずつ走査しながら、その1水平ラインに含まれる画素を出力する。具体的には、撮像素子12は、Y方向の1番目の水平ラインに含まれる画素を、X方向の1番目の画素から640番目の画素まで順に出力する。撮像素子12は、上記の動作を、Y方向の480番目までの水平ラインに含まれる画素の出力をそれぞれ行う。
上記の動作を図7に示すタイミングチャートに基づいて説明する。図7に示すように、撮像素子12は、有効フレーム信号がオン状態のとき、1フレーム分、すなわち1画像分の画素を出力する。撮像素子12において、有効フレーム信号がオン状態になってからフレーム開始期間Aを経て、Y方向の1番目の水平ラインの画素の出力許可を示す有効ライン信号L1がオン状態になる。撮像素子12は、有効ライン信号L1がオン状態になっている有効データ期間Tの間に、Y方向の1番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,1)〜(640,1)の画素)を順に出力する。撮像素子12によってY方向の1番目の水平ラインの画素が出力された後、有効ライン信号L1がオフ状態になる。
撮像素子12において、有効ライン信号L1がオフ状態になってから水平ブランキング期間Bを経て、Y方向の2番目の水平ラインの画素の出力許可を示す有効ライン信号L2がオン状態になる。撮像素子12は、有効ライン信号L2がオン状態になっている有効データ期間Tの間に、Y方向の2番目の水平ラインを走査し、その水平ラインに含まれるX方向の1〜640番目の画素((1,2)〜(640,2)の画素)を順に出力する。撮像素子12によってY方向の2番目の水平ラインの画素が出力された後、有効ライン信号L2がオフ状態になる。
撮像素子12は、以上の動作について、有効ライン信号L480がオン状態になっている有効データ期間Tの間に、Y方向の480番目の水平ラインに含まれるX方向の1〜640番目の画素((1,480)〜(640,480)の画素)を出力するまで行う。撮像素子12において、有効ライン信号L480がオフ状態になってからフレーム終了期間Cを経て、有効フレーム信号がオフ状態になる。以上の動作によって、撮像素子12による1フレーム分の画素の出力が終了する。また、撮像素子12において、有効フレーム信号がオフ状態になってから垂直ブランキング期間Dを経て、再び有効フレーム信号がオン状態になり、次の1フレーム分の画素の出力が開始される。
次に、図6を参照しながら、画像バッファ部141における撮像素子12から出力される画素のバッファリング処理について説明する。画像バッファ部141は、撮像素子12から出力される画素を入力部1410から入力する。具体的には、画像バッファ部141は、まず、Y方向の1番目の水平ラインについて、撮像素子12から入力した(1,1)の画素を、出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、レジスタ1411aに格納した画素をラインバッファ1412aの記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1aに格納した画素をラインバッファ1412aの記憶領域2aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,1)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1番目の水平ラインの画素を出力部1413aから出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
次に、画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(1,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、Y方向の2番目の水平ラインについて、撮像素子12から入力した(1,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。すなわち、画像バッファ部141は、X方向の値が同一の画素である(1,1)および(1,2)の画素を、出力部1413bおよび1413aからそれぞれ出力する。
画像バッファ部141は、次のタイミングで、レジスタ1411bに格納した画素をラインバッファ1412bの記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(2,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(2,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
画像バッファ部141は、次のタイミングで、記憶領域1bに格納した画素をラインバッファ1412bの記憶領域2bにシフトして格納し、レジスタ1411bに格納した画素を記憶領域1bに格納する。画像バッファ部141は、ラインバッファ1412aの記憶領域1a〜639aに格納した画素を記憶領域2a〜640aにシフトして格納し、レジスタ1411aに格納した画素を記憶領域1aに格納する。画像バッファ部141は、記憶領域640aに格納した(3,1)の画素を出力部1413bから出力すると共に、レジスタ1411bに格納する。そして、画像バッファ部141は、撮像素子12から次に入力した(3,2)の画素を出力部1413aから出力すると共に、レジスタ1411aに格納する。
以上の動作を繰り返すことにより、画像バッファ部141は、撮像素子12から入力したY方向の1および2番目の水平ラインの画素についてX方向の値が同一の画素を、出力部1413aおよび1413bからそれぞれ同一のタイミングで出力する。それと共に、画像バッファ部141は、Y方向の1番目の水平ラインの1〜639番目の画素をラインバッファ1412bの記憶領域639b〜1bにそれぞれ格納し、640番目の画素をレジスタ1411bに格納する。さらに、画像バッファ部141は、Y方向の2番目の水平ラインの1〜639番目の画素をラインバッファ1412aの記憶領域639a〜1aにそれぞれ格納し、640番目の画素をレジスタ1411aに格納する。
以上の動作のように、画像バッファ部141は、撮像素子12から入力した各水平ラインの画素をラインバッファ1412a〜1412dにバッファリングする。それと共に、画像バッファ部141は、X方向の値が同一の画素、すなわち、(X,Y−4)、(X,Y−3)、(X,Y−2),(X,Y−1)および(X,Y)の画素を、出力部1413a〜1413eからそれぞれ同一のタイミングで出力する。
なお、図6は画像バッファ部141の構成の一例を示すものであり、この構成に限定されるものではなく、上述した画像バッファ部141のバッファリング処理と同様の作用を奏する構成であればよい。
<逆変換フィルタの周波数特性Rの導出>
次に、所定のフォーカス位置において光学系であるレンズユニット11によって広がったスポットを一点に集まるように復元する逆変換処理に使用される逆変換フィルタの周波数特性の導出方法について説明する。上述の周波数特性を実現するフィルタとしては、2次元の線形フィルタかつFIR(Finite Impulse Response)フィルタが好適である。
まず、撮像素子12によって撮像された画像への光学系による影響のモデルを以下の式(1)に示す2次元のコンボリューション演算(畳み込み演算)の式によって表す。
ここで、imagecapturedは光学系を通って検出された2次元の撮像画像の画素であり、imageidealは被写体4そのものを示す理想画像の画素であり、hは光学系のPSFを示す。
以下、画像処理系(撮像素子12および画像処理部14)に加わるノイズの影響を考慮して、逆変換処理後の画像の各画素と、理想画像の各画素との誤差についての平均二乗誤差を最小とする逆変換フィルタの周波数特性の導出を考える。平均二乗誤差は、以下の式(2)によって表される。
ここで、E[]は期待値(平均値)を示し、nは画像上の位置を示し、imageprocessed(n)は、imagecapturedに対して逆変換処理をした画像の画素を示す。なお、imagecapturedは、ノイズが含まれていることを考慮する。
波形x(n)が持つ全エネルギーのnの全領域についての総和と、波形x(n)のエネルギーのフーリエ変換X(ω)の全周波数成分についての総和とが等しいとするパーセバルの定理より、式(2)は、周波数領域における平均二乗誤差として以下の式(3)で表される。
ここで、IMAGEideal(ω)はimageideal(n)の周波数特性を示し、IMAGEprocessed(ω)はimageprocessed(n)の周波数特性を示し、ωは空間周波数を示す。
逆変換フィルタの周波数特性をR(ω)とすると、以下の式(4)の最小値を与える周波数特性R(ω)が最適の逆変換フィルタとなる。
ここで、IMAGEcaptured(ω)は、imagecaptured(n)の周波数特性である。
式(4)において、IMAGEideal(ω)=S(ω)、およびIMAGEcaptured(ω)=X(ω)とし、式(4)の最小値を求めるため、式(4)をRによって微分すると、下記の式(5)が得られる。
ここで、E[|X(ω)|]は、ノイズを含んだ撮像画像のパワースペクトルであり、E[S(ω)・X(ω)]は、ノイズを含んだ撮像画像と理想画像との相互パワースペクトルである。
式(4)の最小値を求めるため式(5)の最右辺を0とすると下記の式(6)が得られる。
式(6)から下記の式(7)が得られる。
この式(7)に示す周波数特性R(ω)に基づく逆変換フィルタが、上述の式(2)に示す平均二乗誤差を最小とする最適のフィルタとなる。
ここで、ノイズの周波数特性をW(ω)とし、光学系のPSFであるhの周波数特性をH(ω)として、上述の式(1)を周波数空間で示すと下記の式(8)で示される。
ノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であるとすると、E[S(ω)・W(ω)]=0であるので、上述の式(7)の右辺の分子に、式(8)を代入すると、下記の式(9)が得られる。
同じくノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であるとすると、E[W(ω)・S(ω)]=0およびE[S(ω)・W(ω)]=0であるので、上述の式(7)の右辺の分母に、式(8)を代入すると、下記の式(10)が得られる。
上述の式(7)、(9)および(10)から、下記の式(11)に示す周波数特性R(ω)が得られる。
この式(11)に示す周波数特性R(ω)に基づく逆変換フィルタが、画像処理系のノイズを考慮した場合の上述の式(2)に示す平均二乗誤差を最小とする最適なフィルタとなる。ここで、E[|S(ω)|]は理想画像のパワースペクトルの平均値であり、E[|W(ω)|]はノイズのパワースペクトルの平均値であり、|H(ω)|は光学系の周波数特性のパワースペクトルである。
また、上述の式(11)に示す周波数特性R(ω)を適用した場合において、逆変換処理後の画像の各画素と、理想画像の各画素との二乗誤差についての周波数領域における積分を取ると、下記の平均二乗誤差MSE(Mean Square Error)の式(12)が得られる。
上記の式(12)の演算においては、上述のように、ノイズの周波数特性W(ω)と、周波数特性S(ω)とが無相関であることを利用している。式(12)の最右辺の第1項は、逆変換処理後の画像の復元しきれなかった誤差量を示している。第2項は、ノイズによる誤差量を示している。
式(12)の積分値が最小となるように、光学系の周波数特性H(ω)を設計することによって、上述の式(4)に示す周波数領域においての平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。また、パーセバルの定理より、上述の式(2)に示す実空間における平均二乗誤差が最小となる光学系および逆変換フィルタの組み合わせを得ることができる。
<局所的な逆変換フィルタの周波数特性R’について>
図8は、検出画像における各エリアによってパワースペクトルが異なることを説明する図である。図9は、検出画像全体のパワースペクトルと最適フィルタとを説明する図である。図10は、検出画像の平坦部のエリアのパワースペクトルと最適フィルタとを説明する図である。図11は、検出画像のテクスチャ部のエリアのパワースペクトルと最適フィルタとを説明する図である。図8〜11を参照しながら、局所的な逆変換フィルタの周波数特性R’(ω)について説明する。
上述の逆変換フィルタの周波数特定R(ω)を求める式(11)における周波数特性S(ω)は、既知であるものとし、すなわち、理想画像全体の周波数特性であるといえるものである。しかし、図8に示すように、実際の撮像素子12によって実際に撮像された画像である検出画像101は、テクスチャ部101aやテクスチャ部101aとは異なる平坦部を有するものである。上述の説明においては、図9(a)に示す既知である理想画像全体の周波数特性S(ω)に基づいて、上述の式(12)に示すMSEが最小となるような図9(b)に示す逆変換フィルタの周波数特性R(ω)を用いてフィルタ処理を実行する動作を説明した。この周波数特性R(ω)に基づいてフィルタ処理を実行すると、検出画像101全体では、確かに上述の式(12)に示すMSEを最小にすることができる。しかし、例えば、検出画像101における平坦部であるエリア102においては、スペクトルがない部分の空間周波数ωの領域まで増幅されてしまい、不要なノイズが増加する。
ここで、図10(a)に示すように、理想画像においてエリア102に相当する局所的なエリアの周波数特性をS’(ω)とする。そして、周波数特性S’(ω)のスペクトルが存在する空間周波数ωの領域(低周波数領域)のみを増幅し、エリア102において最小のMSEを与えるような局所的な逆変換フィルタの周波数特性R’(ω)を考えることができる(図10(b)参照)。
また、テクスチャ部101aを含むエリア103においては、図11(a)に示すように、理想画像においてエリア103に相当する局所的なエリアの周波数特性S’(ω)は、空間周波数ωの高周波領域までスペクトルが存在する。したがって、エリア103の周波数特性S’(ω)については、高周波領域まで増幅し、エリア103において最小のMSEを与えるような局所的な逆変換フィルタの周波数特性R’(ω)を考えることができる(図11(b)参照)。
このように、画像のフィルタ処理として、局所的に逆変換フィルタをかける周波数特性R’(ω)を導出することによって、ノイズの増幅を抑制し、画像のテクスチャの再現性を向上することができる。以下に、局所的な逆変換フィルタの周波数特性R’(ω)、および、周波数特性R’(ω)によるフィルタ処理の演算を簡略化するために導出する周波数特性K(ω)について説明する。
まず、上述の式(11)に示す周波数特性R(ω)を求める式の中の周波数特性S(ω)を、理想画像の局所的なエリアの周波数特性S’(ω)に置き換えると、下記の式(13)で示される局所的なエリアの最小のMSEを与える周波数特性R’(ω)が得られる。
この周波数特性R’(ω)を、検出画像ごと、かつ、検出画像の局所的なエリアごと(画素ごと)に求めることによって、局所的なエリアの最小のMSEが得られ、かつ、検出画像全体に共通の周波数特性R(ω)に基づく逆変換フィルタによるフィルタ処理を実行するよりもノイズの増加を抑制することができる。なお、周波数特性R’(ω)を求める局所的なエリアは、画素ごとに限らず、検出画像の所定の画素群(所定部分)ごとであってもよい。
ここで、式(13)の中の周波数特性S’(ω)は、検出画像から直接得ることができないので、上述の式(8)を使用して、理想画像の局所的なパワースペクトルの平均値E[|S’(ω)|]を下記の式(14)のように定義する。
ここで、X’(ω)は、検出画像の局所的なエリア(画素)の周波数特性であり、式(14)は、X’(ω)>>W(ω)の関係から近似をとっている。すなわち、撮像された画像のノイズ成分は、画素よりも十分小さいと仮定している。また、ここで、平均値E[|S’(ω)|]は、より正確には、周波数特性S(ω)に対して周波数特性X(ω)についての最小のMSEを与える逆変換フィルタの周波数特性R(ω)を用いた場合、下記の式(15)によって表される。
次に、ノイズのモデルを下記のように考える。撮像された画像のノイズは、画素によらず定常的な振幅を持つノイズと、その画素に比例する振幅を持つノイズとを有することを考慮し、下記の式(16)のように定義する。
ここで、kは、検出画像の画素に比例する振幅を持つノイズの比例定数であり、cは、検出画像の各画素に依存しない定常的な振幅を持つノイズ成分である。パーセバルの定理により、式(16)を周波数領域に変換すると、下記の式(17)となる。
上述の式(15)および(16)を、式(13)に代入すると、下記の式(18)が得られる。
kとcとは、グレースケールチャートの検出画像の解析によって得ることができ、その値を用いることによって、最小のMSEを与える局所的な逆変換フィルタの周波数特性R’(ω)が得られる。
実際の回路実装においては、上述の局所的な逆変換フィルタの周波数特性R’(ω)を画素ごとに直接演算することで実現は可能であるが、局所的な逆変換フィルタを求めるのは演算負荷が大きいため、以下の方法を用いて、演算負荷を低減することができる。なお、以下においては、式(16)に示す検出画像の画素に比例する振幅を持つノイズであるk|x(n)|の成分は省略するが、導出する式のノイズのパワースペクトル|W(ω)|に、この項を追加することによって、その効果を得ることができる。
まず、式(13)を下記の式(19)のように変形する。
ここで、局所的な逆変換フィルタの周波数特性R’(ω)と、逆変換フィルタの周波数特性R(ω)との比をK(ω)とすると、K(ω)は下記の式(20)で表される。
そして、予め求めておいた周波数特性R(ω)と、式(20)に示すK(ω)とによって、局所的な逆変換フィルタの周波数特性R’(ω)を求めることを考えると、周波数特性R’(ω)は、下記の式(21)によって求めることができる。
すなわち、予め求めておいた周波数特性R(ω)に基づく逆変換フィルタと直列に、K(ω)という特性に基づくフィルタ(以下、補正フィルタと称するものとする)を作用させることによって、周波数特性R’(ω)に基づく局所的な逆変換フィルタと同等なフィルタ処理を行うことが可能となる。
ここで、式を簡略化するため、以下の式(22)に示すようにA(ω)を定義する。
この式(22)を上述の式(20)に代入すると、補正フィルタの周波数特性K(ω)は、下記の式(23)によって求めることができる。
なお、ノイズが大きいものと仮定し、A(ω)<<E[1/|S’(ω)|]かつA(ω)<<E[1/|S(ω)|]であるとすると、式(23)は、下記の式(24)のように簡略化されて表される。
さらに、被写体の典型的なスペクトルを一様分布とし、E[|S(ω)|]=1とすると、式(24)は、下記の式(25)のようにさらに簡略化されて表される。
なお、実用上は、A(ω)<<E[1/|S’(ω)|]かつA(ω)<<E[1/|S(ω)|]が成立しない場合を考慮して、以下の式(26)に示すように比例係数tを導入して周波数特性K(ω)を表すこともできる。
また、補正フィルタの周波数特性K(ω)を演算するための式(23)〜(26)における理想画像の局所的なパワースペクトルの平均値E[|S’(ω)|]は、上述に示した式(15)によって求めることができる。
以上のように、局所的な逆変換フィルタの周波数特性R’(ω)は、予め求めておいた逆変換フィルタの周波数特性R(ω)と、式(23)〜(26)によって算出される補正フィルタの周波数特性K(ω)とを乗算することによって求めることができるので、演算負荷を低減することができる。
<フィルタ処理部の構成および動作>
図12は、第1の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。図12を参照しながら、画像処理部14のフィルタ処理部143の構成をおよび動作について説明する。
フィルタ処理部143は、図12に示すように、FT(Fourier Transform)部1431と、乗算器1432_1〜1432_50と、K演算部1433と、乗算器1434_1〜1434_50と、IFT(Inverse Fourier Transform)部1435と、備えている。
FT部1431は、例えば、5×5の画素を入力して、フーリエ変換を実行し、周波数領域に変換する。その結果、FT部1431は、5×5の画素すなわち25個のデータから、25個の複素数に変換して、25個の実部データおよび25個の虚部データ(まとめてデータX’1〜X’50と表すものとする)を出力する。
乗算器1432_1〜1432_50は、入力される2つのデータを乗算して出力する。乗算器1434_1〜1434_50についても同様である。
K演算部1433は、上述の式(15)、および式(23)〜(26)のいずれかに基づいて、入力される周波数特性R(ω)とX’(ω)との乗算値から補正フィルタの周波数特性K(ω)を出力する。なお、K演算部1433は、周波数特性K(ω)の値と、周波数特性R(ω)とX’(ω)との乗算値、すなわち、周波数特性S’(ω)とが関連付けられたルックアップテーブルを参照して、周波数特性K(ω)を求めるものとしてもよい。
IFT部1435は、乗算器1434_1〜1434_50から出力される乗算値(周波数領域の値)から実空間の値に変換する逆フーリエ変換を実行して、1×1の画素を出力する。このIFT部1435から出力される画素が、検出画像の5×5の画素に対して、周波数特性R’(ω)に基づく逆変換フィルタによってフィルタ処理が実行された画素となる。
次に、フィルタ処理部143の動作の一連の流れについて説明する。まず、撮像素子12によって撮像された画像(検出画像)は、上述のように画像バッファ部141によってバッファリングされ、画像バッファ部141から5つの画素が出力される。したがって、フィルタ処理部143のFT部1431は、画像バッファ部141から5×5の画素を単位として入力するものとする。FT部1431は、入力した5×5の画素に基づいてフーリエ変換を実行して周波数領域に変換し、25個の複素数に変換して、25個の実部データおよび25個の虚部データであるデータX’1〜X’50を出力する。
次に、乗算器1432_1は、FT部1431から出力されたデータX’1、および逆変換フィルタの周波数特性R(ω)から導出され、データX’1に対応するフィルタ係数R1を入力する。乗算器1432_1は、データX’1とフィルタ係数R1とを乗算して、乗算値R1・X’1を出力する。同様に、乗算器1432_2〜1432_50は、それぞれ、FT部1431から出力されたデータX’2〜X’50、およびフィルタ係数R2〜R50を入力し、それらの乗算値R2・X’2〜R50・X’50を出力する。
次に、K演算部1433は、上述の式(15)、および式(23)〜(26)のいずれかに基づいて、入力した乗算値R1・X’1〜R50・X’50から、それぞれ周波数特性K(ω)に基づく補正フィルタの係数であるフィルタ係数K1〜K50を演算する。
次に、乗算器1434_1は、乗算器1432_1から出力された乗算値R1・X’1と、K演算部1433から出力されたフィルタ係数K1とを乗算して、データR1・K1・X’1を出力する。同様に、乗算器1434_2〜1434_50は、それぞれ乗算器1432_2〜1432_50から出力された乗算値R2・X’2〜R50・X’50と、K演算部1433から出力されたフィルタ係数K2〜K50とを乗算して、それぞれデータR2・K2・X’2〜R50・K50・X’50を出力する。
そして、IFT部1435は、乗算器1434_1〜1434_50からそれぞれ出力されたデータR1・K1・X’1〜R50・K50・X’50に基づいて、実空間の値に変換する逆フーリエ変換を実行し、1×1の画素を出力する。上述のように、IFT部1435から出力される画素が、検出画像の5×5の部分画像の画素に対して、その5×5の画素のうち中央の画素に対応した周波数特性R’(ω)に基づく逆変換フィルタによってフィルタ処理が実行された画素となる。
以上のように、撮像素子12によって撮像された検出画像ごと、かつ、検出画像の局所的なエリアごと(画素ごと)に、逆変換フィルタの周波数特性R’(ω)を求めるものとしている。この周波数特性R’(ω)に基づく逆変換フィルタによって局所的なエリアごと(画素ごと)にフィルタ処理を実行することによって、局所的なエリアについて最小のMSE(平均二乗誤差)が得られると共に、検出画像全体に共通の周波数特性R(ω)に基づく逆変換フィルタによるフィルタ処理を実行するよりもノイズの増加を抑制することができる。
また、局所的な逆変換フィルタの周波数特性R’(ω)を、上述の式(21)に示すようにK(ω)・R(ω)と定義し、周波数特性R(ω)に基づく逆変換フィルタの処理と、周波数特性K(ω)に基づく補正フィルタの処理とをわけてフィルタ回路を構成するものとしている。さらに、周波数特性K(ω)の導出する回路は、上述の式(23)〜(26)に示す計算式に基づいて構成するものとしている。これによって、周波数特性R’(ω)を画素ごとに直接導出する場合と比較して、演算負荷を低減することができ、実装するフィルタ回路を簡略化することができる。
なお、図6および12で説明したように、画像バッファ部141は、5つの画素を出力して、フィルタ処理部143は、5×5の画素を入力してタップ数が5×5であるフィルタ処理を実行するものとしたが、これに限定されるものではない。すなわち、フィルタ処理のタップ数は3×3、11×11または21×21等異なるタップ数としてもよい。この場合、フィルタによる逆変換処理の対象となるフィルタ処理部143に入力する画素群において、中央の画素が存在するように、フィルタのタップ数は奇数である必要がある。
(第2の実施の形態)
第2の実施の形態に係る撮像システムおよび撮像装置について、第1の実施の形態に係る撮像システムおよび撮像装置の構成および動作と相違する点を中心に説明する。
本実施の形態に係る撮像システムの構成は、図1に示す第1の実施の形態に係る撮像システム500の構成と同様である。また、本実施の形態のPCの構成は、図2に示す構成と同様である。また、本実施の形態の撮像装置の構成は、図3に示す構成と同様である。ただし、本実施の形態においては、図4に示す画像処理部14のフィルタ処理部143が、後述する図13に示すフィルタ処理部143aに置き換えられている。
<フィルタ処理部の構成および動作>
図13は、第2の実施の形態の画像処理部のフィルタ処理部の構成の一例と動作を説明する図である。図14は、逆変換フィルタの構成の一例を示す図である。図15は、画像を逆変換フィルタによってフィルタ処理することを説明する図である。図16は、画像において逆変換フィルタのフィルタ処理の対象となる対象部分画像をスキャンする動作を説明する図である。図13〜16を参照しながら、画像処理部14のフィルタ処理部143aの構成および動作について説明する。
フィルタ処理部143aは、図13に示すように、逆フィルタ処理部1436と、DCT(Discrete Cosine Transform:離散コサイン変換)部1431aと、K演算部1433aと、ビットダウン部1437_1〜1437_9と、乗算器1434a_1〜1434a_9と、IDCT(Inverse Discrete Cosine Transform:逆離散コサイン変換)部1435aと、を備えている。
逆フィルタ処理部1436は、例えば、5×5の画素を入力して、上述の式(11)によって導出される周波数特性R(ω)に基づく逆変換フィルタによってフィルタ処理(逆変換処理)を実行する。
DCT部1431aは、逆フィルタ処理部1436によってフィルタ処理された画像において、例えば、3×3の画素を入力し、離散コサイン変換を実行し、周波数領域に変換する。その結果、DCT部1431aは、3×3の画素すなわち9個のデータから、9個の周波数領域の値に変換して出力する。ここで、DCT部1431aに入力される3×3の画素は、逆フィルタ処理部1436により周波数特性R(ω)に基づく逆変換フィルタによってフィルタ処理されている画素なので、DCT部1431aが出力する9個の周波数領域の値を、本実施の形態において、それぞれ乗算値R1・X’1〜R9・X’9と表すものとする。
K演算部1433aは、上述の式(15)、および式(23)〜(26)のいずれかに基づいて、入力される周波数特性R(ω)とX’(ω)との乗算値から補正フィルタの周波数特性K(ω)を出力する。具体的には、K演算部1433aは、上述の式(15)、および式(23)〜(26)のいずれかに基づいて、入力した乗算値R1・X’1〜R9・X’9から、それぞれ周波数特性K(ω)に基づく補正フィルタの係数であるフィルタ係数K1〜K9を演算する。なお、K演算部1433aは、周波数特性K(ω)の値と、周波数特性R(ω)およびX’(ω)の値とが関連付けられたルックアップテーブルを参照して、周波数特性K(ω)を求めるものとしてもよい。
ビットダウン部1437_1〜1437_9は、K演算部1433aから出力されるフィルタ係数K1〜K9に対して、それぞれ量子化ビット数を減少させる。これは、フィルタ係数K1〜K9は、量子化ビット数を減少させて、補正フィルタによるフィルタ処理を実行しても、画像の劣化にはほとんど影響がないためである。したがって、ビットダウン部1437_1〜1437_9によりフィルタ係数K1〜K9の量子化ビット数を減少させることによって、後段の乗算器1434a_1〜1434a_9による演算負荷を低減することができる。
乗算器1434a_1〜1434a_9は、入力される2つのデータを乗算して出力する。
IDCT部1435aは、乗算器1434a_1〜1434a_9から出力される乗算値(周波数領域の値)から実空間の値に変換する逆離散コサイン変換を実行して、1×1の画素を出力する。このIDCT部1435aから出力される画素が、検出画像の5×5の画素に対して、周波数特性R’(ω)に基づく逆変換フィルタによってフィルタ処理が実行された画素となる。
次に、フィルタ処理部143aの動作の一連の流れについて説明する。まず、撮像素子12によって撮像された画像(検出画像)は、上述のように画像バッファ部141によってバッファリングされ、画像バッファ部141から5つの画素が出力される。したがって、フィルタ処理部143aの逆フィルタ処理部1436は、画像バッファ部141から5×5の画素を単位として入力するものとする。この逆フィルタ処理部1436における周波数特性R(ω)に基づく逆変換フィルタによるフィルタ処理の動作の詳細を、図14〜16を参照しながら説明する。
逆変換処理に使用されるフィルタは、図14に示すように、フィルタ係数a11〜a15、a21〜a25、a31〜a35、a41〜a45およびa51〜a55によって構成されるタップ数が5×5の線形フィルタである逆変換フィルタ121であるとする。また、逆変換フィルタ121による逆変換処理の対象となる画像の部分を、図15に示す対象部分画像131であるものとする。対象部分画像131は、画素A11〜A15、A21〜A25、A31〜A35、A41〜A45およびA51〜A55によって構成された5×5の部分画像である。
逆変換フィルタによるフィルタ処理は、図15に示すように、対象部分画像131に対して逆変換フィルタ121によってコンボリューション演算した値、すなわち、式(27)で表される演算値となる。コンボリューション演算の演算値は、対象部分画像131の中央に位置する画素である中央データに対して逆変換処理を実行した値となる。すなわち、コンボリューションの演算値は、逆変換処理後の画像において、逆変換処理前の画像の中央データに相当する位置の画素となる。
次に、逆フィルタ処理部1436の逆変換処理について、図16を参照しながら、画像105においてX方向の水平ラインを走査しながら逆変換処理をする動作の概略を説明する。図16(a)は、逆フィルタ処理部1436が、画像105における(1,1)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図16(a)に示すように、(1,1)の画素を中央データ135aとしてコンボリューション演算するためには、(1,1)の画素を中央データとする対象部分画像131aと、画像105とが重複している部分の画素が必要になる。すなわち、対象部分画像131aのうち、図15に示す対象部分画像131の画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が必要である。
そのためは、画素A33〜A35、A43〜A45およびA53〜A55に相当する画素が、画像バッファ部141の出力部1413a〜1413cから出力されている必要がある。そして、対象部分画像131aにおいて、画像105と重複していない部分の画素は「0」として取り扱うものとする。
以上の状態において、逆フィルタ処理部1436は、図15に示したコンボリューション演算と同様に、対象部分画像131aに対して逆変換フィルタ121によってコンボリューション演算を行う。逆フィルタ処理部1436は、画像105の対象部分画像131aの中央データ135aである(1,1)の画素に対してコンボリューション演算した値を、逆変換処理後の画像の(1,1)の画素として出力する。
次に、逆フィルタ処理部1436は、図16(b)に示すように、コンボリューション演算の対象となる画素をX方向にひとつシフトし、対象部分画像131bの中央データ135bである(2,1)の画素に対して逆変換処理をする。そして、逆フィルタ処理部1436は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図16(c)に示すように、X方向の水平ラインの最後の画素である(640,1)の画素に対して逆変換処理をする。(640,1)の画素は、図16(c)に示すように、対象部分画像131cの中央データ135cである。
以上のように、逆フィルタ処理部1436は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、水平ラインの最後の画素に対する逆変換処理が終了すると、Y方向の次の水平ラインに対して同様に逆変換処理を行う。
図16(d)〜16(f)は、逆フィルタ処理部1436が、画像105におけるY方向の4番目の水平ラインの画素に対して逆変換処理を行う状態を示している。図16(d)は、逆フィルタ処理部1436が、画像105における(1,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図16(d)に示すように、(1,4)の画素を中央データ135dとしてコンボリューション演算するためには、(1,4)の画素を中央データとする対象部分画像131dと、画像105とが重複している部分の画素が必要になる。そして、対象部分画像131dにおいて、画像105と重複していない部分の画素は、上述と同様に「0」として取り扱うものとする。
図16(e)は、逆フィルタ処理部1436が、画像105における(5,4)の画素に対して逆変換フィルタ121によって逆変換処理をする状態を示している。図16(e)に示すように、(5,4)の画素を中央データ135eとする対象部分画像131eは全体が画像105と重複しているので、逆フィルタ処理部1436は、対象部分画像131eに含まれる画素をすべて利用した逆変換処理が可能となる。
そして、逆フィルタ処理部1436は、X方向の水平ラインをシフトしながらコンボリューション演算を繰り返し、図16(f)に示すように、X方向の水平ラインの最後の画素である(640,4)の画素に対して逆変換処理をする。(640,4)の画素は、図16(f)に示すように、対象部分画像131fの中央データ135fである。
なお、上述のように、画像105における逆変換フィルタ121によるコンボリューション演算の対象となる対象部分画像について、画像105と重複していない部分の画素は「0」としたが、これに限定されるものではない。例えば、対象部分画像の画像105と重複していない部分の画素は、対象部分画像の中央データを基準にして、対象部分画像の画像105と重複している部分の画素を折り返した場合の画素を用いるものとしてもよい。
具体的に、図16(a)の対象部分画像131aを例にして説明する。対象部分画像131aのそれぞれの画素の名称を、仮に図15に示す対象部分画像131の画素の名称と同様とする。この場合、対象部分画像131aの画像105と重複していない部分の画素は、画素A11〜A15、A21〜A25、A31、A32、A41、A42、A51およびA52である。また、対象部分画像131aの画像105と重複している部分の画素は、画素A33〜A35、A43〜A45およびA53〜A55である。
このとき、画素A31、A32、A41、A42、A51およびA52は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素を折り返し、それぞれ画素A35、A34、A45、A44、A55およびA54の値を用いる。また、画素A13〜A15およびA23〜A25は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素を折り返し、それぞれ画素A53〜A55およびA43〜A45の値を用いる。そして、画素A11、A12、A21およびA22は、中央データを基準にして、対象部分画像131aの画像105と重複している部分の画素のうち点対象の位置関係にある画素、すなわち、それぞれA55、A54、A45およびA44の値を用いる。以上のような方法によって、対象部分画像の各画素を決定するものとしてもよい。
次に、DCT部1431aは、上述のように逆フィルタ処理部1436によってフィルタ処理された画像に対して、例えば、3×3の画素を入力し、離散コサイン変換を実行して周波数領域に変換し、9個の周波数領域の値である乗算値R1・X’1〜R9・X’9を出力する。このように、DCT部1431aによる周波数領域への変換は、第1の実施の形態における図12に示すFT部1431による周波数領域への変換後に出力するデータ数が入力データ数の2倍の数になるのに対し、出力するデータ数が入力データ数と同一となる。したがって、DCT部1431aの後段の回路を簡略化することができる。もちろん、DCT部1431aおよびIDCT部1435aではなく、代わりに第1の実施の形態で示したものと同じくそれぞれFT部およびIFT部を用いてもよい。
次に、K演算部1433aは、上述の式(15)、および式(23)〜(26)のいずれかに基づいて、入力した乗算値R1・X’1〜R9・X’9から、それぞれ周波数特性K(ω)に基づく補正フィルタの係数であるフィルタ係数K1〜K9を演算する。
次に、ビットダウン部1437_1〜1437_9は、K演算部1433から出力されるフィルタ係数K1〜K9に対して、それぞれ量子化ビット数を減少させ、量子化ビット数が減少したフィルタ係数K1〜K9をそれぞれ出力する。
次に、乗算器1434a_1〜1434a_9は、DCT部1431aから出力された乗算値R1・X’1〜R9・X’9と、ビットダウン部1437_1〜1437_9からそれぞれ出力されたフィルタ係数K1〜K9とを乗算して、それぞれデータR1・K1・X’1〜R9・K9・X’9を出力する。
そして、IDCT部1435aは、乗算器1434a_1〜1434a_9からそれぞれ出力されたデータR1・K1・X’1〜R9・K9・X’9に基づいて、実空間の値に変換する逆離散コサイン変換を実行し、1×1の画素を出力する。上述のように、IDCT部1435aから出力される画素が、検出画像の5×5の部分画像の画素に対して、その5×5の画素のうち中央の画素に対応した周波数特性R’(ω)に基づく逆変換フィルタによってフィルタ処理が実行された画素となる。
以上のように、画像処理部14のフィルタ処理部143aの構成を、図13に示される構成とすることによって、第1の実施の形態の同様の効果を有する。
また、図13に示すフィルタ処理部143aにおいては、検出画像の5×5の画素を逆フィルタ処理部1436による周波数特性R(ω)に基づく逆変換フィルタによってフィルタ処理を実行した後、そのフィルタ処理をした画像から、画素数を減少させた3×3の画素に対して、DCT部1431a以降の補正フィルタによるフィルタ処理を実行している。すなわち、補正フィルタのタップ数は、周波数特性R(ω)に基づく逆変換フィルタのタップ数よりも小さいものとしている。これは、K演算部1433aによる補正フィルタのフィルタ係数を演算するためにK演算部1433aに入力されるデータの数を減少させても、画像の劣化にはほとんど影響がないためである。これによって、実装するフィルタ回路をさらに簡略化することができる。
なお、K演算部1433aによって出力されたフィルタ係数を、ビットダウン部1437_1〜1437_9によって、量子化ビット数を減少させているが、これは必須ではなく、ビットダウン部1437_1〜1437_9を必ずしも設ける必要はない。また、このビットダウン部を、第1の実施の形態のフィルタ処理部143に適用し、フィルタ処理部143おけるK演算部1433の後段側に設置することも可能である。
1 撮像装置
2 PC
3 通信ケーブル
4 被写体
11 レンズユニット
11a 位相板
11b 絞り
12 撮像素子
14 画像処理部
15 通信部
21 通信部
22 操作部
23 表示部
24 記憶部
25 外部記憶装置
26 制御部
27 バス
101 検出画像
101a テクスチャ部
102、103 エリア
105 画像
121 逆変換フィルタ
131、131a〜131f 対象部分画像
135a〜135f 中央データ
141 画像バッファ部
143、143a フィルタ処理部
500 撮像システム
1410 入力部
1411a〜1411d レジスタ
1412a〜1412d ラインバッファ
1413a〜1413e 出力部
1431 FT部
1431a DCT部
1432_1〜1432_50 乗算器
1433、1433a K演算部
1434_1〜1434_50 乗算器
1434a_1〜1434a_9 乗算器
1435 IFT部
1435a IDCT部
1436 逆フィルタ処理部
1437_1〜1437_9 ビットダウン部
A フレーム開始期間
B 水平ブランキング期間
C フレーム終了期間
D 垂直ブランキング期間
T 有効データ期間
特開2012−54795号公報

Claims (16)

  1. 入射した光に収差を与える光学系と、
    前記光学系を通過した前記光を画素に変換して画像を撮像する撮像手段と、
    前記撮像手段によって撮像された撮像画像の所定部分ごとに前記収差を復元するための第1逆変換フィルタを求め、前記第1逆変換フィルタによって前記撮像画像に対して第1逆変換処理を行う逆変換手段と、
    を備え
    前記第1逆変換フィルタの周波数特性は、前記撮像画像全体に対して前記収差を復元するための第2逆変換フィルタの周波数特性と、前記第2逆変換フィルタの周波数特性を補正する補正フィルタの周波数特性との積である撮像装置。
  2. 前記補正フィルタの周波数特性Kは、下記の式(2)で算出される請求項に記載の撮像装置。
  3. 前記補正フィルタの周波数特性Kは、下記の式(3)で算出される請求項に記載の撮像装置。
  4. 前記補正フィルタの周波数特性Kは、下記の式(4)で算出される請求項に記載の撮像装置。
  5. 前記理想画像は、前記撮像画像に対して、前記撮像画像全体に対して前記収差を復元するための前記第2逆変換フィルタを作用させた画像とする請求項のいずれか一項に記載の撮像装置。
  6. 前記補正フィルタの周波数特性は、前記理想画像の所定部分の画素の周波数特性と関連付けられたルックアップテーブルから導出される請求項のいずれか一項に記載の撮像装置。
  7. 前記第1逆変換フィルタは、前記光学系の前記収差と、前記撮像画像の所定部分の画素の周波数特性とに基づいて求められるフィルタである請求項1〜6のいずれか一項に記載の撮像装置。
  8. 前記第1逆変換フィルタは、被写体の理想画像の所定部分の画素の周波数特性と、前記逆変換手段によって前記第1逆変換処理がなされた出力画像の所定部分の画素の周波数特性との平均二乗誤差を最小にするフィルタである請求項に記載の撮像装置。
  9. 前記第1逆変換フィルタは、前記撮像画像ごとに、かつ前記撮像画像の所定部分として前記撮像画像の前記画素ごとに前記収差を復元するフィルタである請求項またはに記載の撮像装置。
  10. 前記第1逆変換フィルタの周波数特性R’は、下記の式(1)で算出される請求項1〜のいずれか一項に記載の撮像装置。
  11. 前記補正フィルタによるフィルタ処理は、前記第1逆変換処理されたデータを離散コサイン変換する処理を含む請求項10のいずれか一項に記載の撮像装置。
  12. 前記補正フィルタのタップ数は、前記第2逆変換フィルタのタップ数よりも小さい請求項11のいずれか一項に記載の撮像装置。
  13. 前記逆変換手段は、前記第2逆変換フィルタに基づく第2逆変換処理を、実空間の値の演算によって実行する請求項12のいずれか一項に記載の撮像装置。
  14. 前記逆変換手段は、前記第2逆変換フィルタに基づく第2逆変換処理を、周波数領域の値の演算によって実行する請求項12のいずれか一項に記載の撮像装置。
  15. 請求項1〜14のいずれか一項に記載の撮像装置と、
    前記撮像装置からの前記撮像画像に対して前記第1逆変換処理が行われた力画像を受信する通信手段と、該出力画像を表示する表示手段とを備える情報処理装置と、
    を備える撮像システム。
  16. 入射した光に収差を与えるステップと、
    前記収差を与えた前記光を画素に変換して画像を撮像するステップと、
    撮像した撮像画像の所定部分ごとに前記収差を復元するための第1逆変換フィルタを求め、前記第1逆変換フィルタによって前記撮像画像に対して第1逆変換処理を行うステップと、
    有し、
    前記第1逆変換フィルタの周波数特性は、前記撮像画像全体に対して前記収差を復元するための第2逆変換フィルタの周波数特性と、前記第2逆変換フィルタの周波数特性を補正する補正フィルタの周波数特性との積である撮像方法。
JP2013202576A 2013-09-27 2013-09-27 撮像装置、撮像システムおよび撮像方法 Active JP6318520B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013202576A JP6318520B2 (ja) 2013-09-27 2013-09-27 撮像装置、撮像システムおよび撮像方法

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2013202576A JP6318520B2 (ja) 2013-09-27 2013-09-27 撮像装置、撮像システムおよび撮像方法
EP14848684.8A EP3050291B1 (en) 2013-09-27 2014-09-26 Image capturing apparatus, image capturing system, and image capturing method
CN201480052566.7A CN105594193B (zh) 2013-09-27 2014-09-26 图像捕捉装置、图像捕捉系统和图像捕捉方法
PCT/JP2014/076480 WO2015046625A1 (en) 2013-09-27 2014-09-26 Image capturing apparatus, image capturing system, and image capturing method
RU2016115562A RU2657015C2 (ru) 2013-09-27 2014-09-26 Устройство захвата изображений, система захвата изображений и способ захвата изображений
US14/915,862 US10187565B2 (en) 2013-09-27 2014-09-26 Image capturing apparatus, image capturing system, and image capturing method
KR1020167007675A KR101773311B1 (ko) 2013-09-27 2014-09-26 이미지 캡처 장치, 이미지 캡처 시스템, 및 이미지 캡처 방법

Publications (2)

Publication Number Publication Date
JP2015070435A JP2015070435A (ja) 2015-04-13
JP6318520B2 true JP6318520B2 (ja) 2018-05-09

Family

ID=52743744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013202576A Active JP6318520B2 (ja) 2013-09-27 2013-09-27 撮像装置、撮像システムおよび撮像方法

Country Status (7)

Country Link
US (1) US10187565B2 (ja)
EP (1) EP3050291B1 (ja)
JP (1) JP6318520B2 (ja)
KR (1) KR101773311B1 (ja)
CN (1) CN105594193B (ja)
RU (1) RU2657015C2 (ja)
WO (1) WO2015046625A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170324914A1 (en) * 2016-05-09 2017-11-09 Gopro, Inc. Correcting disturbance in a pixel signal introduced by signal filtering in a digital camera

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62198974A (en) 1986-02-27 1987-09-02 Canon Inc Image correcting device
JP3902806B2 (ja) * 1996-01-26 2007-04-11 キヤノン株式会社 ビデオカメラ
JP2002300461A (ja) * 2001-03-30 2002-10-11 Minolta Co Ltd 画像復元装置、画像復元方法、プログラム及び記録媒体
WO2004063989A2 (en) * 2003-01-16 2004-07-29 D-Blur Technologies Ltd. Camera with image enhancement functions
WO2004066608A2 (en) * 2003-01-21 2004-08-05 Sharp Laboratories Of America, Inc. Image compression using a color visual model
US7317815B2 (en) * 2003-06-26 2008-01-08 Fotonation Vision Limited Digital image processing composition using face detection information
US7616841B2 (en) * 2005-06-17 2009-11-10 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems
WO2007092545A2 (en) 2006-02-07 2007-08-16 The Board Of Trustees Of The Leland Stanford Junior University Variable imaging arrangements and methods therefor
US7912307B2 (en) * 2007-02-08 2011-03-22 Yu Wang Deconvolution method using neighboring-pixel-optical-transfer-function in fourier domain
JP2009260545A (ja) * 2008-04-15 2009-11-05 Nikon Corp 電子カメラ
JP2010055194A (ja) 2008-08-26 2010-03-11 Sony Corp 画像処理装置および方法、学習装置および方法、並びにプログラム
JP5213688B2 (ja) 2008-12-19 2013-06-19 三洋電機株式会社 撮像装置
US8111319B2 (en) * 2009-01-16 2012-02-07 Ricoh Co., Ltd. Imaging system using enhanced spherical aberration and specifically sized FIR filters
JP5317891B2 (ja) * 2009-08-19 2013-10-16 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
JP2011071930A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 画像処理装置、撮像装置、画像処理方法、並びにプログラム
JP5448715B2 (ja) * 2009-10-22 2014-03-19 キヤノン株式会社 撮像装置及びその制御方法
JP2011198016A (ja) * 2010-03-19 2011-10-06 Fujifilm Corp 画像処理装置
JP5327113B2 (ja) * 2010-03-19 2013-10-30 沖電気工業株式会社 情報提供サーバ、及び、当該情報提供サーバを実現するプログラム
US20120070096A1 (en) * 2010-04-23 2012-03-22 Ichiro Oyama Imaging apparatus and image restoration method
JP5672527B2 (ja) 2010-09-01 2015-02-18 パナソニックIpマネジメント株式会社 画像処理装置及び画像処理方法
EP2672696B1 (en) * 2011-01-31 2018-06-13 Panasonic Corporation Image restoration device, imaging device, and image restoration method
US8861852B2 (en) * 2011-05-09 2014-10-14 Canon Kabushiki Kaisha Image processing method for image restoration, image processing apparatus and image pickup apparatus
JP5274623B2 (ja) * 2011-07-04 2013-08-28 キヤノン株式会社 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
US8867857B2 (en) * 2011-12-28 2014-10-21 Samsung Electronics Co., Ltd. Method for restoration of blurred barcode images
US9185437B2 (en) * 2012-11-01 2015-11-10 Microsoft Technology Licensing, Llc Video data
JP6236908B2 (ja) * 2013-06-21 2017-11-29 株式会社リコー 撮像装置、撮像システムおよび撮像方法
JP2015165610A (ja) * 2014-02-28 2015-09-17 株式会社リコー 撮像装置、撮像システムおよび撮像方法

Also Published As

Publication number Publication date
RU2657015C2 (ru) 2018-06-08
KR101773311B1 (ko) 2017-08-31
KR20160045882A (ko) 2016-04-27
US20160219216A1 (en) 2016-07-28
EP3050291A4 (en) 2016-08-03
US10187565B2 (en) 2019-01-22
EP3050291B1 (en) 2019-06-12
WO2015046625A1 (en) 2015-04-02
JP2015070435A (ja) 2015-04-13
RU2016115562A (ru) 2017-11-01
EP3050291A1 (en) 2016-08-03
CN105594193B (zh) 2019-07-26
CN105594193A (zh) 2016-05-18

Similar Documents

Publication Publication Date Title
JP2015165610A (ja) 撮像装置、撮像システムおよび撮像方法
JP5864813B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム並びに記録媒体
JP4290193B2 (ja) 画像処理装置
JP5844940B2 (ja) 復元フィルタ生成装置及び方法、画像処理装置及び方法、撮像装置、プログラム、並びに記録媒体
JP6236908B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP6042031B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP6042032B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2015219754A (ja) 撮像装置および撮像方法
JP6318520B2 (ja) 撮像装置、撮像システムおよび撮像方法
JP5631769B2 (ja) 画像処理装置
JP2012204856A (ja) 画像処理方法及びカメラモジュール
JP2015005881A (ja) 画像処理装置、撮像装置および撮像システム
JP2015211401A (ja) 撮像装置および撮像方法
JP6291795B2 (ja) 撮像システムおよび撮像方法
JP2015070529A (ja) 画像処理装置、撮像装置および画像処理方法
JP2016005080A (ja) 撮像装置、撮像システムおよび撮像方法
JP5418258B2 (ja) 撮像装置および画像処理方法
JP2015211357A (ja) 撮像装置および撮像方法
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2018195189A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2015216544A (ja) 撮像装置および撮像方法
JP2011114537A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170725

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R151 Written notification of patent or utility model registration

Ref document number: 6318520

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151