WO2006106737A1

WO2006106737A1 - 撮像装置および撮像方法

Info

Publication number: WO2006106737A1
Application number: PCT/JP2006/306478
Authority: WO
Inventors: Yusuke Hayashi
Original assignee: Kyocera Corporation
Priority date: 2005-03-30
Filing date: 2006-03-29
Publication date: 2006-10-12
Also published as: US7812296B2; US20090251588A1; JP2006311473A

Abstract

　ズーム位置またはズーム量を気にすることなく、レンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能な撮像装置およびその方法であって、１次画像を形成する倍率の異なる複数の光学系１１０－１，２を含む光学ユニット１１０および撮像素子１２０と、１次画像を高精細な最終画像に形成する画像処理装置１５０とを含み、画像処理装置１５０において、光学系の倍率に応じて、コンボリューション演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部１９０等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させる。

Description

明細書

撮像装置および撮像方法

技術分野

[0001] 本発明は、撮像素子を用い、ズーム光学系を備えたデジタルスチルカメラゃ携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等に適用可能な撮像装置および撮像方法に関するものである。

背景技術

[0002] 近年急峻に発展を遂げて、る情報のデジタルィ匕に相俟って映像分野にぉ、てもその対応が著しい。

特に、デジタルカメラに象徴されるように撮像面はフィルムに変わって固体撮像素子である CCD (Charge Coupled Device) , CMOS (Complementary Metal Oxide Semiconductor)センサが使用されているのが大半である。

[0003] このように、撮像素子に CCDや CMOSセンサを使った撮像レンズ装置は、被写体の映像を光学系により光学的に取り込んで、撮像素子により電気信号として抽出するものであり、デジタルスチルカメラの他、ビデオカメラ、デジタルビデオユニット、パーソナルコンピュータ、携帯電話機、携帯情報端末 (PDA: Personal DigitalAssista nt)、画像検査装置、自動制御用産業カメラ等に用いられている。

[0004] 図 1は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図であるこの撮像レンズ装置 1は、光学系 2と CCDや CMOSセンサ等の撮像素子 3とを有する。

光学系は、物体側レンズ 21, 22、絞り 23、および結像レンズ 24を物体側（OBJS) 力撮像素子 3側に向力つて順に配置されている。

[0005] 撮像レンズ装置 1においては、図 1に示すように、ベストフォーカス面を撮像素子面上に合致させている。

図 2A〜図 2Cは、撮像レンズ装置 1の撮像素子 3の受光面でのスポット像を示している。 [0006] また、位相板 (Wavefront Coding optical element)により光束を規則的に分散し、デジタル処理により復元させ被写界深度の深、画像撮影を可能にする等の撮像装置が提案されている (たとえば非特許文献 1, 2、特許文献 1〜5参照)。

特干文献 1： avefrontし oding;jointly optimized optical and digital imaging syste ms , Edward R.DowskiJr., Robert H.Cormack, Scott D.Sarama.

非特許文献 2： "Wavefront Coding;A modern method of achieving high performance a nd/or low cost imaging systems " , Edward R.Dows iJr., Gregory E.Johnson.

特許文献 1 : USP6, 021, 005

特許文献 2 : USP6, 642, 504

特許文献 3 : USP6, 525, 302

特許文献 4 : USP6, 069, 738

特許文献 5：特開 2003 - 235794号公報

発明の開示

発明が解決しょうとする課題

[0007] 上述した各文献にて提案された撮像装置にお!、ては、その全ては通常光学系に上述の位相板を挿入した場合の PSF (Point— Spread— Function)が一定になつていることが前提であり、 PSFが変化した場合は、その後のカーネルを用いたコンボリューシヨンにより、被写界深度の深い画像を実現することは極めて難しい。

したがって、単焦点でのレンズではともかぐズーム系や AF系などのレンズでは、その光学設計の精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。

換言すれば、従来の撮像装置においては、適正なコンボリューシヨン演算を行うことができず、ワイド (Wide)時ゃテレ（Tele)時のスポット（SPOT)像のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求される。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し、設計ェ数の増大、コスト増大、レンズの大型化の問題を引き起こす。

[0008] また、たとえば画像検査装置や自動制御装置等のような光学系システムにお！/、ては、検査、制御するため、光学系を切替えた時にフォーカス合わせをすることが必要になるが、測定物自体の高さのバラツキ、測定物の置き方のバラツキ、測定物を運ぶ運送部のバラツキ、温度によるバラツキなどの影響により、常に合焦しているようにすることは困難である。

したがって、複数の光学系を備えた光学系システムにおいて、上述した位相板とその後の信号処理によって被写界深度を拡大する等の技術を適用する場合、その光学設計において PSFがそれぞれの光学系で同じ大きさ、形状になるように設計しなければならないが、そのためには設計の難度が増し、またレンズの精度の高さやそれに伴うコストアップが原因となり採用するには大きな問題を抱えている。

[0009] 本発明の目的は、複数の光学系を交換可能な撮像装置において、いずれの光学系を用いた場合であっても、適切な画像復元が可能な撮像装置および撮像方法を提供することにある。

課題を解決するための手段

[0010] 本発明の第 1の観点の撮像装置は、交換可能な複数のレンズと、光波面変調素子と、前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像可能な撮像素子と、前記撮像素子からの収差画像信号より収差のなヽ画像信号を生成する変換部と、前記一のレンズに応じた変換係数を取得する変換係数取得部と、を備え、前記変換部は、前記変換係数取得部から得られた変換係数によって、画像信号の変換行う。

[0011] 本発明の第 2の観点の撮像装置は、レンズおよび光波面変調素子を含む複数の光学系と、被写体収差像を撮像可能な撮像素子と、前記複数の光学系のうち一つの光学系における前記レンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を前記撮像素子に選択的に入射する切替制御部と、前記撮像素子力の収差画像信号より収差のない画像信号を生成する変換部と、前記一のレンズに応じた変換係数を取得する変換係数取得部と、を備え、前記変換部は、前記変換係数取得部から得られた変換係数によって、画像信号の変換行う。

[0012] 好適には、前記複数のレンズに応じた変換係数をそれぞれ記憶する変換係数記憶部を更に備え、前記変換係数取得部は、前記変換係数記憶部より前記一のレンズに応じた変換係数を取得する。 [0013] 好適には、前記変換係数取得部は、撮像装置に装着された前記一のレンズより変換係数を取得する。

[0014] 好適には、前記変換係数は、被写体までの距離の応じた複数の係数を含み、前記変換係数取得部は、被写体までの距離に相当する情報より当該複数の係数より一の係数を選択し、前記変換部は、前記変換係数取得部により選択された一の係数によつて、画像信号の変換を行う。

[0015] 好適には、前記変換係数は前記被写体収差像のカーネルサイズを変数として含む

[0016] 好適には、前記複数の光学系はそれぞれ倍率が異なる。

[0017] 本発明の第 3の観点の撮像方法は、前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像素子により撮像するステップと、前記一のレンズに応じた変換係数を取得するステップと、前記取得した変換係数によって、前記撮像素子からの収差画像信号より収差のな!ヽ画像信号を生成するステップと、を含む。

発明の効果

[0018] 本発明によれば、光学系を交換しても適切な画像復元が可能な利点がある。

図面の簡単な説明

[0019] [図 1]図 1は、一般的な撮像レンズ装置の構成および光束状態を模式的に示す図である。

[図 2]図 2A〜図 2Cは、図 1の撮像レンズ装置の撮像素子の受光面でのスポット像を示す図であって、図 2Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 2B は合焦点の場合（Best focus)、図 2Cは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)の各スポット像を示す図である。

[図 3]図 3は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。

[図 4]図 4は、本実施形態に係る撮像レンズ装置の広角側のズーム光学系の構成例を模式的に示す図である。

[図 5]図 5は、 WFCOの原理を説明するための図である。

[図 6]図 6は、本実施形態に係る撮像レンズ装置の望遠側のズーム光学系の構成例を模式的に示す図である。

[図 7]図 7は、広角側の像高中心のスポット形状を示す図である。

[図 8]図 8は、望遠側の像高中心のスポット形状を示す図である。

[図 9]図 9は、カーネルデータ ROMの格納データの一例を示す図である。

[図 10]図 10は、システム制御装置の光学系設定処理の概要を示すフローチャートである。

[図 11]図 11 A〜図 11Cは、本実施形態に係る撮像素子の受光面でのスポット像を示す図であって、図 11Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 11B は合焦点の場合（Best focus)、図 11Cは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)の各スポット像を示す図である。

[図 12]図 12Aおよび図 12Bは、本実施形態に係る撮像素子により形成される 1次画像の MTFについて説明するための図であって、図 12Aは撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図 12Bが空間周波数に対する MTF特性を示している。

[図 13]図 13は、本実施形態に係る画像処理装置における MTF補正処理を説明するための図である。

[図 14]図 14は、本実施形態に係る画像処理装置における MTF補正処理を具体的に説明するための図である。

符号の説明

[0020] 100…撮像装置、 110…光学ユニット、 110- 1, 110— 2…光学系、 120· ··撮像素子、 130…アナログフロントエンド部（AFE)、 140…光学系切替制御部、 150· "画像処理装置、 160· ··カメラ信号処理部、 190…操作部、 200…システム制御装置、 1 11…物体側レンズ、 112…結像レンズ、 113…波面形成用光学素子、 113a…位相板 (光波面変調素子）、 152…コンボリューシヨン演算部、 153…カーネルデータ RO M、 154· ··コンボリューシヨン制御部。

発明を実施するための最良の形態

[0021] 以下、本発明の実施形態を添付図面に関連付けて説明する。

[0022] 図 3は、本発明に係る撮像装置の一実施形態を示すブロック構成図である。 [0023] 本実施形態に係る撮像装置 100は、図 3に示すように、光学ユニット 110、撮像素子 (IDV)120、アナログフロントエンド部（AFE) 130、光学系切替制御部（OPSWC

TL) 140、画像処理装置 (IPRC) 150、カメラ信号処理部（CPRC) 160、画像表示メモリ（MEM) 170、画像モニタリング装置（MNT) 180、操作咅 (OPU) 190、およびシステム制御装置（SYSCON) 200を有して!/、る。

[0024] 光学ユニット 110は、複数 (本実施形態では 2)の光学系 110— l(OPSl), 110— 2

(OPS2)を有し、光学系切替制御部 140の切り替え処理に応じて被写体物体 OBJを撮影した像を順番に撮像素子 120に供給する。

各光学系 110—1, 110— 2は、光学倍率が異なり、撮像対象物体 (被写体) OBJの像を光学的に取り込む。本実施形態においては、光学系 110— 1の光学倍率は Ml に設定され、光学系 110— 2の光学倍率は M2に設定される。

[0025] 撮像装置 120は、光学系 110—1, 110— 2で取り込んだ像が結像され、結像 1次画像情報を電気信号の 1次画像信号 FIMとして、アナログフロントエンド部 130を介して画像処理装置 150に出力する CCDや CMOSセンサ力もなる。

図 3においては、撮像素子 120を一例として CCDとして記載している。

[0026] アナログフロントエンド部 130は、タイミングジェネレータ (TG)131、アナログ Zデジタル (AZD)コンバータ (ADC)132とを有する。

タイミングジェネレータ 131では、撮像素子 120の CCDの駆動タイミングを生成しており、 AZDコンバータ 132は、 CCD力入力されるアナログ信号をデジタル信号に変換し、画像処理装置 150に出力する。

[0027] 画像処理装置（二次元コンボリューシヨン部） 150は、前段の AFE 130からくる撮像画像のデジタル信号を入力し、二次元のコンボリューシヨン処理を施し、後段のカメラ信号処理部（DSP) 160に渡す。

[0028] カメラ信号処理部（DSP) 160は、カラー補間、ホワイトバランス、 YCbCr変換処理、圧縮、フアイリング等の処理を行い、画像表示メモリ 170への格納や画像モニタリング装置 180への画像表示等を行う。

[0029] システム制御装置 200は、操作部 190などの操作入力を持ち、それらの入力に応じて、システム全体の動作を決定し、光学系切替制御部 140、 AFE130、画像処理装置 150、 DSP160等を制御し、システム全体の調停制御を司るものである。

[0030] 以下、本実施形態の光学系、画像処理装置の構成および機能について具体的には説明する。

[0031] 図 4は、本実施形態に係るズーム光学系 110— 1, 110— 2の構成例を模式的に示す図である。この図は広角側を示している。

[0032] 図 4のズーム光学系 110は、物体側 OBJSに配置された物体側レンズ 111と、撮像素子 120に結像させるための結像レンズ 112と、物体側レンズ 111と結像レンズ 112 間に配置され、結像レンズ 112による撮像素子 120の受光面への結像の波面を変形させる、たとえば 3次元的曲面を有する位相板 (Cubic Phase Plate)からなる光波面変調素子（波面形成用光学素子： Wavefront Coding Optical Element)群 1 13を有する。また、物体側レンズ 111と結像レンズ 112間には図示しない絞りが配置される。

なお、本実施形態においては、位相板を用いた場合について説明したが、本発明の光波面変調素子としては、波面を変形させるものであればどのようなものでもよぐ厚みが変化する光学素子 (たとえば、上述の 3次の位相板)、屈折率が変化する光学素子 (たとえば屈折率分布型波面変調レンズ)、レンズ表面へのコーディングにより厚み、屈折率が変化する光学素子 (たとえば、波面変調ハイブリッドレンズ)、光の位相分布を変調可能な液晶素子 (たとえば、液晶空間位相変調素子)等の光波面変調素子であればよい。

[0033] 図 4のズーム光学系 110は、デジタルカメラに用いられる 3倍ズーム系に光学位相板 113aを挿入した例である。

図で示された位相板 113aは、光学系により収束される光束を規則正しく分散する光学レンズである。この位相板 113aを挿入することにより、撮像素子 120上ではピントのどこにも合わな、画像を実現する。

換言すれば、位相板 113aによって深度の深、光束 (像形成の中心的役割を成す）とフレアー（ボケ部分）が形成される。

この規則的に分光した画像をデジタル処理により、ピントの合った画像に復元するシステムを波面収差制御光学系システム（WFCO : Wavefront Coding Optical system)といい、この処理を画像処理装置 150において行う。

[0034] ここで、 WFCOの基本原理について説明する。

図 5に示すように、被写体の画像 fが WFCO光学系 Hに入ることにより、 g画像が生成される。

これは、次のような式で表される。

[0035] (数 1)

g = H水 f

ただし、 *はコンボリューシヨンを表す。

[0036] 生成された画像力被写体を求めるためには、次の処理を要する。

[0037] (数 2)

f=H^_1水 g

[0038] ここで、 Hに関するカーネルサイズと演算係数について説明する。

ズームポジションを ΖΡη, ΖΡη— 1 · · ·とする。また、それぞれの Η関数を Ηη, Ηη— 1、 ' "とする。

各々のスポット像が異なるため、各々の Η関数は、次のようになる。

[0039] [数 3]

(な， b、

一丄 = d， e^x /

レ h、 V

[0040] この行列の行数および Zまたは列数の違、をカーネルサイズ、各々の数字を演算係数とする。

ここで、各々の H関数はメモリに格納しておいても構わないし、 PSFを物体距離の関数としておき、物体距離によって計算し、 H関数を算出することによって任意の物体距離に対して最適なフィルタを作るように設定できるようにしても構わない。また、 H 関数を物体距離の関数として、物体距離によって H関数を直接求めても構わない。 [0041] ところ力図 6に示すような画角 20度程度の望遠レンズに位相板を挿入した光学系を通った光のスポット形状は図 7および図 8に示されるように、その広角側と望遠側では、異なったスポット形状を示す。ここで、 SPOT形状は PSFの簡易的な表示方法であり、 SPOT形状が異なることは、 PSFが異なることを表す。このような、光学系の光学倍率切替えによって異なるスポット像を持つ光学系においては図 5の Hが異なる。一般的な撮像装置では適正なコンポルーシヨン演算を行うことができず、このスポット形状のズレを引き起こす非点収差、コマ収差、ズーム色収差等の各収差を無くす光学設計が要求された。しかしながら、これらの収差を無くす光学設計は光学設計の難易度を増し，設計工数の増大、コストアップ、レンズの大型化の問題を引き起こしていた。

[0042] そこで、本実施形態においては、図 3に示すように、倍率の異なる光学系 110—1, 110— 2からの像を撮像素子 120で受像して、画像処理装置 150に入力させ、光学系に応じた変換係数を取得して、取得した変換係数をもって撮像素子 120からの分散画像信号より分散のな、画像信号を生成するように構成して、る。

この図 3に示す光学系システムは、主に画像検査装置や自動制御用産業カメラ等で有用であり、例えば様々な寸法の物体を検査できるようにズームレンズではなぐ光学系自体を切換えることで光学倍率を切換できるシステムになってヽる。

[0043] なお、本実施形態において、分散とは、上述したように、位相板 113aを挿入することにより、撮像素子 120上ではピントのどこにも合わない画像を形成し、位相板 113a によって深度の深、光束 (像形成の中心的役割を成す)とフレアー (ボケ部分)を形成する現象を!、、、像が分散してボケ部分を形成する振る舞、から収差と同様の意味合いが含まれる。したがって、本実施形態においては、収差として説明する場合もある。

[0044] 次に、画像処理装置 150の構成および処理について説明する。

[0045] 画像処理装置 (IPR 150は、図 3に示すように、生（RAW)バッファメモリ（BUF.

MEM) 151、 2次元コンボリューシヨン演算部（2D'CONV'OPE) 152、記憶手段としてのカーネルデータ格納 ROM (KNEL 'ROM) 153、およびコンボリューシヨン制御部（CONV'CTL) 154を有する。 [0046] コンボリューシヨン制御部 154は、コンボリューシヨン処理のオンオフ、画面サイズ、カーネルデータの入れ替え等の制御を行、、システム制御装置 200により制御される。

[0047] また、カーネルデータ格納 ROM 153には、図 9に示すように予め用意されたそれぞれの光学系の PSFにより算出されたコンボリューシヨン用のカーネルデータ KDT が格納されており、システム制御装置 200によって光学系設定時に光学系切替制御部 140から使用される光学系情報を取得し、コンボリューシヨン制御部 154を通じてカーネルデータを選択制御する。

[0048] 図 9の例では、カーネルデータ KDT— Aは光学倍率 M ( X I. 5) ,カーネルデータ KDT— Bは光学倍率 M ( X 5)、カーネルデータ KDT— Cは光学倍率 M ( X 10)に対応したデータとなって、る。

[0049] 図 10は、システム制御装置 200の光学系設定処理の概要を示すフローチャートである。

まず、光学系を確認し（ST1)、カーネルデータ KDTをセットする（ST2)。そして、操作部 190の操作により光学系の切り替え指示がなされると（ST3)、光学系切替制御部 140により光学ユニット 110の光学系の出力を切り替え、ステップ ST1 の処理を行う（ST4)。

[0050] なお、図 4や図 6の光学系は一例であり、本発明は図 4や図 6の光学系に対して用いられるものとは限らない。また、スポット形状についても図 7および図 8は一例であり、本実施形態のスポット形状は、図 7および図 8に示すものとは限らない。

また、図 9のカーネルデータ格納 ROMに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータ K DTの数についても 3個とは限らない。

[0051] なお、上述のように、光波面変調素子としての位相板 (Wavefront Coding optical ele ment)を備えた撮像装置の場合、所定の焦点距離範囲内であればその範囲内に関し画像処理によって適正な収差のな!、画像信号を生成できるが、所定の焦点距離範囲外の場合には、画像処理の補正に限度があるため、前記範囲外の被写体のみ収差のある画像信号となってしまう。また一方、所定の狭い範囲内に収差が生じない画像処理を施すことにより、所定の狭い範囲外の画像にぼけ味を出すことも可能になる。

[0052] 本実施形態においては、 WFCOを採用し、高精細な画質を得ることが可能で、しかも、光学系を簡単化でき、コスト低減を図ることが可能となっている。

以下、この特徴について説明する。

[0053] 図 11A〜図 11Cは、撮像素子 120の受光面でのスポット像を示している。

図 11Aは焦点が 0. 2mmずれた場合（Defocus = 0. 2mm)、図 11Bは合焦点の場合（Best focus)、図 11Cは焦点が 0. 2mmずれた場合（Defocus=—0. 2m m)の各スポット像を示して!/、る。

図 11A〜図 11C力ももわ力るように、本実施形態に係る撮像装置 100においては、位相板 113aを含む波面形成用光学素子群 113によって深度の深、光束 (像形成の中心的役割を成す)とフレアー (ボケ部分)が形成される。

[0054] このように、本実施形態の撮像装置 100におヽて形成された 1次画像 FIMは、深度が非常に深、光束条件にして、る。

[0055] 図 12Aおよび図 12Bは、本実施形態に係る撮像レンズ装置により形成される 1次画像の変調伝達関数（MTF: Modulation Transfer Function)について説明するための図であって、図 12Aは撮像レンズ装置の撮像素子の受光面でのスポット像を示す図で、図 12Bが空間周波数 Sfreqに対する MTF特性を示している。

本実施形態においては、高精細な最終画像は後段の、たとえばデジタルシグナルプロセッサ（Digital Signal Processor)からなる画像処理装置 150の補正処理に任せるため、図 12Aおよび図 12Bに示すように、 1次画像の MTFは本質的に低い値になっている。

[0056] 画像処理装置 150は、上述したように、撮像素子 120による 1次画像 FIMを受けて、 1次画像の空間周波数 Sfreqにおける MTFを、わゆる持ち上げる所定の補正処理等を施して高精細な最終画像 FNLIMを形成する。

[0057] 画像処理装置 150の MTF補正処理は、たとえば図 13の曲線 Aで示すように、本質的に低い値になっている 1次画像の MTFを、空間周波数 Sfreqをパラメータとしてエッジ強調、クロマ強調等の後処理にて、図 13中曲線 Bで示す特性に近づく（達する )ような補正を行う。

図 13中曲線 Bで示す特性は、たとえば本実施形態のように、波面形成用光学素子を用いずに波面を変形させな、場合に得られる特性である。

なお、本実施形態における全ての補正は、空間周波数 Sfreqのパラメータによる。

[0058] 本実施形態においては、図 13に示すように、光学的に得られる空間周波数 Sfreq に対する MTF特性曲線 Aに対して、最終的に実現した！/、MTF特性曲線 Bを達成するためには、それぞれの空間周波数 Sfreqに対し、エッジ強調等の強弱を付け、元の画像（1次画像）に対して補正をかける。

たとえば、図 13の MTF特性の場合、空間周波数 Sfreqに対するエッジ強調度の曲線は、図 14に示すようになる。

[0059] すなわち、空間周波数 Sfreqの所定帯域内における低周波数側および高周波数側でエッジ強調を弱くし、中間周波数領域においてエッジ強調を強くして補正を行うことにより、所望の MTF特性曲線 Bを仮想的に実現する。

[0060] このように、実施形態に係る撮像装置 100は、基本的に、 1次画像を形成する倍率の異なる複数の光学系 110—1, 110— 2を含む光学ユニット 110および撮像素子 1 20と、 1次画像を高精細な最終画像に形成する画像処理装置 150とを有し、光学系システムの中に、波面成形用の光学素子を新たに設ける力またはガラス、プラスチックなどのような光学素子の面を波面成形用に成形したものを設けることにより、結像の波面を変形し、そのような波面を CCDや CMOSセンサ力もなる撮像素子 120の撮像面 (受光面）に結像させ、その結像 1次画像を、画像処理装置 150を通して高精細画像を得る画像形成システムである。

本実施形態では、撮像素子 120による 1次画像は深度が非常に深い光束条件にしている。そのために、 1次画像の MTFは本質的に低い値になっており、その MTFの補正を画像処理装置 150で行う。

[0061] ここで、本実施形態における撮像装置 100における結像のプロセスを、波動光学的に考察する。

物点の 1点力発散された球面波は結像光学系を通過後、収斂波となる。そのとき、結像光学系が理想光学系でなければ収差が発生する。波面は球面でなく複雑な形状となる。幾何光学と波動光学の間を取り持つのが波面光学であり、波面の現象を取り扱う場合に便利である。

結像面における波動光学的 MTFを扱うとき、結像光学系の射出瞳位置における波面情報が重要となる。

MTFの計算は結像点における波動光学的強度分布のフーリエ変換で求まる。その波動光学的強度分布は波動光学的振幅分布を 2乗して得られるが、その波動光学的振幅分布は射出瞳における瞳関数のフーリエ変換から求まる。

さらにその瞳関数はまさに射出瞳位置における波面情報 (波面収差)そのものからであることから、その光学系 110— 1, 110— 2を通して波面収差が厳密に数値計算できれば MTFが計算できることになる。

[0062] したがって、所定の手法によって射出瞳位置での波面情報に手を加えれば、任意に結像面における MTF値は変更可能である。

本実施形態においても、波面の形状変化を波面形成用光学素子で行うのが主であるが、まさに phase (位相、光線に沿った光路長）に増減を設けて目的の波面形成を行っている。

そして、目的の波面形成を行えば、射出瞳からの射出光束は、図 11A〜図 11Cに示す幾何光学的なスポット像力わ力るように、光線の密な部分と疎の部分から形成される。

この光束状態の MTFは空間周波数 Sfreqの低、ところでは低、値を示し、空間周波数 Sfreqの高、ところまでは何とか解像力は維持して、る特徴を示して、る。

すなわち、この低い MTF値 (または、幾何光学的にはこのようなスポット像の状態）であれば、エリアジングの現象を発生させなヽこと〖こなる。

つまり、ローパスフィルタが必要ないのである。

そして、後段の DSP等力もなる画像処理装置 150で MTF値を低くしている原因のフレアー的画像を除去すれば良いのである。それによつて MTF値は著しく向上する

[0063] 以上説明したように、本実施形態によれば、 1次画像を形成する倍率の異なる複数の光学系 110— 1, 110— 2を含む光学ユニット 110および撮像素子 120と、 1次画像を高精細な最終画像に形成する画像処理装置 150とを含み、画像処理装置 150 において、光学系の倍率に応じて、コンボリューシヨン演算時に用いるカーネルサイズやその数値演算で用いられる係数を可変とし、操作部 190等の入力により知り、その光学系の倍率に応じた適性となるカーネルサイズや上述した係数を対応させることにより、倍率やデフォーカス範囲を気にすることなくレンズ設計ができ、かつ精度の高いコンボリュ一シヨンによる画像復元が可能となる利点がある。

また、難度が高ぐ高価でかつ大型化した光学レンズを必要とせずに、かつ、レンズを駆動させること無ぐ撮影したい物体に対してピントが合い、背景はぼかすといった、 V、わゆる自然な画像を得ることができる利点がある。

そして、本実施形態に係る撮像装置 100は、デジタルカメラやカムコーダ一等の民生機器の小型、軽量、コストを考慮されたズームレンズの WFCOに使用することが可能である。

[0064] また、本実施形態においては、結像レンズ 112による撮像素子 120の受光面への結像の波面を変形させる波面形成用光学素子を有する撮像レンズ系と、撮像素子 1 20による 1次画像 FIMを受けて、 1次画像の空間周波数における MTFをいわゆる持ち上げる所定の補正処理等を施して高精細な最終画像 FNLIMを形成する画像処理装置 150とを有することから、高精細な画質を得ることが可能となるという利点がある。

また、光学系 110— 1, 110— 2の構成を簡単ィ匕でき、製造が容易となり、コスト低減を図ることができる。

[0065] ところで、 CCDや CMOSセンサを撮像素子として用いた場合、画素ピッチから決まる解像力限界が存在し、光学系の解像力がその限界解像力以上であるとエリアジングのような現象が発生し、最終画像に悪影響を及ぼすことは周知の事実である。画質向上のため、可能な限りコントラストを上げることが望ましいが、そのことは高性能なレンズ系を必要とする。

[0066] しかし、上述したように、 CCDや CMOSセンサを撮像素子として用いた場合、エリアジングが発生する。

現在、エリアジングの発生を避けるため、撮像レンズ装置では、一軸結晶系からなるローパスフィルタを併用し、エリアジングの現象の発生を避けている。このようにローパスフィルタを併用することは、原理的に正しいが、ローパスフィルタそのものが結晶でできているため、高価であり、管理が大変である。また、光学系に使用することは光学系をより複雑にして、ると、う不利益がある。

[0067] 以上のように、時代の趨勢でますます高精細の画質が求められているにもかかわらず、高精細な画像を形成するためには、一般的な撮像レンズ装置では光学系を複雑にしなければならない。複雑にすれば、製造が困難になったりし、また高価なローバスフィルタを利用したりするとコストアップにつながる。

しかし、本実施形態によれば、ローパスフィルタを用いなくとも、エリアジングの現象の発生を避けることができ、高精細な画質を得ることができる。

また、図 1に示したような交換レンズ式の実施形態によれば、異なる光学系に切換した場合であっても適切なコンボリューシヨン演算が行え、適切な画像復元を実現することができ、結果として、たとえば画像検査装置などに用いた場合、測定物自体の寸法のバラツキ、測定物の設置位置のバラツキ等があっても、より適切に合焦した画像を得ることができる。

[0068] なお、本実施形態において、光学系の波面形成用光学素子を絞りより物体側レンズよりに配置した例を示した力絞りと同一あるいは絞りより結像レンズ側に配置しても上記と同様の作用効果を得ることができる。

[0069] また、図 4や図 6の光学系は一例であり、本発明は図 4や図 6の光学系に対して用いられるものとは限らない。また、スポット形状についても図 7および図 8は一例であり、本実施形態のスポット形状は、図 7および図 8に示すものとは限らない。

また、図 9のカーネルデータ格納 ROMに関しても、光学倍率やそれぞれのカーネルのサイズ、値に対して用いられるものとは限らない。また用意するカーネルデータの数についても 3個とは限らない。

産業上の利用可能性

[0070] 本発明の撮像装置および撮像方法は、ズーム位置またはズーム量を気にすることなぐレンズ設計を行うことができ、かつ精度の高い演算による画像復元が可能であることから、ズーム光学系を備えたデジタルスチルカメラや携帯電話搭載カメラ、携帯情報端末搭載カメラ、画像検査装置、自動制御用産業カメラ等に適用可能である。

Claims

請求の範囲

[1] 交換可能な複数のレンズと、

光波面変調素子と、

前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像可能な撮像素子と、

前記撮像素子力ゝらの収差画像信号より収差のない画像信号を生成する変換部と、前記一のレンズに応じた変換係数を取得する変換係数取得部と、を備え、前記変換部は、前記変換係数取得部から得られた変換係数によって、画像信号の変換行う

撮像装置。

[2] 前記複数のレンズに応じた変換係数をそれぞれ記憶する変換係数記憶部を更に備え、

前記変換係数取得部は、前記変換係数記憶部より前記一のレンズに応じた変換係数を取得する

請求項 1に記載の撮像装置。

[3] 前記変換係数取得部は、撮像装置に装着された前記一のレンズより変換係数を取得する

請求項 1に記載の撮像装置。

[4] 前記変換係数は、被写体までの距離の応じた複数の係数を含み、

前記変換係数取得部は、被写体までの距離に相当する情報より当該複数の係数より一の係数を選択し、

前記変換部は、前記変換係数取得部により選択された一の係数によって、画像信号の変換を行う

請求項 1に記載の撮像装置。

[5] 前記変換係数は前記被写体収差像のカーネルサイズを変数として含む

請求項 1に記載の撮像装置。

[6] レンズおよび光波面変調素子を含む複数の光学系と、

被写体収差像を撮像可能な撮像素子と、前記複数の光学系のうち一つの光学系における前記レンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を前記撮像素子に選択的に入射する切替制御部と、

撮像装置。

[7] 前記複数のレンズに応じた変換係数をそれぞれ記憶する変換係数記憶部を更に備え、

請求項 6に記載の撮像装置。

[8] 前記変換係数取得部は、撮像装置に装着された前記一のレンズより変換係数を取得する

請求項 6に記載の撮像装置。

[9] 前記変換係数は、被写体までの距離の応じた複数の係数を含み、

請求項 6に記載の撮像装置。

[10] 前記変換係数は前記被写体収差像のカーネルサイズを変数として含む

請求項 6に記載の撮像装置。

[11] 前記複数の光学系はそれぞれ倍率が異なる

請求項 6に記載の撮像装置。

[12] 前記複数のレンズの内少なくとも一のレンズおよび光波面変調素子を通過した被写体収差像を撮像素子により撮像するステップと、前記一のレンズに応じた変換係数を取得するステップと、

前記取得した変換係数によって、前記撮像素子力の収差画像信号より収差のな Vヽ画像信号を生成するステップと、

を含む撮像方法。