JP5010533B2

JP5010533B2 - 撮像装置

Info

Publication number: JP5010533B2
Application number: JP2008132892A
Authority: JP
Inventors: ゆきこ浜野; 直樹茂庭
Original assignee: Ricoh Optical Industries Co Ltd; Ricoh Co Ltd
Current assignee: Ricoh Optical Industries Co Ltd; Ricoh Co Ltd
Priority date: 2008-05-21
Filing date: 2008-05-21
Publication date: 2012-08-29
Anticipated expiration: 2028-05-21
Also published as: US20090290198A1; US8368968B2; JP2009284133A; EP2133238A1; EP2133238B1

Description

本発明は、カメラ等の撮像装置に関し、特に倍率色収差を補正する技術に関する。

近年、例えば、車のバックモニタ等に用いられる撮像装置では、周辺が暗い場合であっても視認性の高い周辺画像の取得ができるように、可視領域に加えて赤外領域の波長の光の透過を許す光学的フィルタを用いる（一般に取得する周辺画像のノイズ低減のために用いられる赤外カットフィルタを用いない）ことが考えられている（例えば、特許文献１および特許文献２参照）。

このものでは、撮像素子の撮像面に形成される被写体像のうち、光学的フィルタを透過して（赤外カットフィルタを透過せずに）撮像面に至る箇所において、画像として取得する光量を増加させることができるので、周辺が暗い場合であっても視認性の高い周辺画像を取得することができる。
特開２００７−１５０８２６号公報特開平１１−３１６４０５号公報

ここで、近年、例えば、車のバックモニタ等に用いられる撮像装置では、広角な視野を有するものが求められている。ところが、視野が広角になるほど倍率色収差が大きくなるので、収差が小さい光学系を設計する必要がある。しかしながら、収差が小さい光学系を設計することは困難であるとともに、コストの上昇を招いてしまう。

本発明は、コストの上昇を抑制しつつ倍率色収差を補正可能であり、周辺が暗い場合であっても視認性の高い周辺画像を取得することができる撮像装置を提供することを目的としている。

上記課題を解決するため、請求項１に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、前記撮像素子からの出力信号に基づいて画像データを生成しかつ該画像データを補正しさらに補正した該画像データを出力可能な画像処理部とを備える撮像装置であって、前記撮影光学系と前記撮像素子との間には、該撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、前記光軸からの距離が大きくなるほど透過を許す光の波長の上限値を小さくする設定とされた光カットフィルタが設けられ、前記画像処理部は、対象とする光の波長範囲を異にする複数の補正式のうち、前記光軸からの距離に応じて前記光カットフィルタにおける透過波長の上限値に合致する前記補正式に基づいて前記画像データを補正することを特徴とする。

請求項２に係る発明は、請求項１に記載の撮像装置であって、前記光カットフィルタでは、前記光軸を中心とする同心状に、透過波長の上限値の異なる複数の領域が設定されていることを特徴とする。

請求項３に係る発明は、請求項１または請求項２に記載の撮像装置であって、前記各補正式は、前記撮影光学系の設定された特性において、対象となる波長範囲の光に対して生じる倍率色収差を補正するものであることを特徴とする。

請求項４に係る発明は、請求項３に記載の撮像装置であって、前記画像処理部は、前記各補正式に基づいて前記画像データの倍率色収差を補正する倍率色収差補正工程と、該倍率色収差補正工程により倍率色収差が補正された前記画像データの歪曲収差を補正する歪曲収差補正工程と、を有することを特徴とする。

請求項５に係る発明は、請求項４に記載の撮像装置であって、前記画像処理部は、前記倍率色収差補正工程のための第１座標変換メモリと、前記歪曲収差補正工程のための第２座標変換メモリとを有することを特徴とする。

請求項６に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さく、前記画像処理部は、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正することを特徴とする。

請求項７に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなり、前記画像処理部は、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正することを特徴とする。

請求項８に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備え、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さい撮像装置を用いた画像補正方法であって、前記撮像素子からの出力信号に基づいて画像データを生成する工程と、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正する工程と、を有することを特徴とする。

請求項９に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備え、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなる撮像装置を用いた画像補正方法であって、前記撮像素子からの出力信号に基づいて画像データを生成する工程と、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正する工程と、を有することを特徴とする。
請求項１０に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、該光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さいことを特徴とする。
請求項１１に係る発明は、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、該光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなることを特徴とする。

本発明に係る撮像装置は、基本的に、倍率色収差が光軸からの距離に応じて大きくなることと、倍率色収差が波長の差異に基づいて生じるものであることと、に着目して為されたものである。すなわち、光軸の近傍では倍率色収差の影響が小さく、光軸からの距離が大きくなると倍率色収差の影響が大きくなっていくが、被写体像を構成する光に含まれる波長範囲を小さくすると倍率色収差の影響を小さくすることができることを利用するものである。

本発明に係る撮像装置では、光軸を中心として光軸から所定の距離内の領域において、赤外領域を含む光により形成された被写体像に基づいて画像データを生成することができるので、周辺が暗い場合であっても視認性の高い周辺画像を取得することができる。ここで、上述したように、光軸からの距離が小さな領域では、倍率色収差の影響が小さいことから、赤外領域を含む光により形成された被写体像に基づいて生成された画像データであっても、周辺画像の視認性への影響は殆ど問題とならない。

また、本発明に係る撮像装置では、光軸からの距離が離れた領域では、光カットフィルタにより赤外領域を含まない光により形成された被写体像に基づいて画像データを生成することができるので、倍率色収差の影響を小さくすることができる。このように、撮影光学系と撮像素子との間に光カットフィルタを設けるだけで倍率色収差の影響を小さくすることができるので、コストの上昇を抑制することができる。

さらに、本発明に係る撮像装置では、画像処理部が光カットフィルタにおける透過波長の上限値に合致する補正式に基づいて画像データを補正するので、より視認性の高い周辺画像を得ることができる。

上述したことから、本発明に係る撮像装置は、撮影光学系の視野を広角に設定する場合には、特に好適である。これは、撮影光学系が、視野が広角に設定された場合、光軸から離れた距離における倍率色収差の影響が特に大きくなることによる。

上記した構成に加えて、前記光カットフィルタでは、前記光軸を中心とする同心状に、透過波長の上限値の異なる複数の領域が設定されていることとすると、より簡単な構成とすることができる。

上記した構成に加えて、前記各補正式は、前記撮影光学系の設定された特性において、対象となる波長範囲の光に対して生じる倍率色収差を補正するものであることとすると、より確実に画像データにおける倍率色収差を補正することができ、視認性の高い周辺画像を得ることができる。

上記した構成に加えて、前記画像処理部は、前記各補正式に基づいて前記画像データの倍率色収差を補正する倍率色収差補正工程と、該倍率色収差補正工程により倍率色収差が補正された前記画像データの歪曲収差を補正する歪曲収差補正工程と、を有することとすると、倍率色収差に加えて歪曲収差を適切かつ簡易に補正することができ、より視認性の高い周辺画像を得ることができる。これは、歪曲収差は、波長に拘らず一定の量だけ生じるものであることから、倍率色収差が補正された画像データの歪曲収差の補正を行えば、各色のデータ毎に補正しなくても、適切に補正することができることによる。

上記した構成に加えて、前記画像処理部は、前記倍率色収差補正工程のための第１座標変換メモリと、前記歪曲収差補正工程のための第２座標変換メモリとを有することとすると、画像処理部において、倍率色収差の補正用の第１座標変換メモリと、歪曲収差の補正用の第２座標変換メモリとに分けていることから、第１座標変換メモリとして低容量低レイテンシまたは低容量多ポートのＳＲＡＭ等を使用し、第２座標変換メモリとして各色成分共通の単一ポート大容量高レイテンシのＤＲＡＭ等を使用することで、撮像装置のコストを抑制することができる。

また、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さいこととすると、撮影光学系において光軸からの距離が大きくなるほど影響が大きくなる色倍率収差を、光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さくなる光カットフィルタ部により低減することができるとともに、光軸までの距離が小さくなるほど撮像素子で取得する光量を多くすることができる。

さらに、被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなることとすると、光カットフィルタ部の構成をより簡易なものとすることができる。

上記した構成に加えて、前記画像処理部は、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正することとすると、より視認性の高い周辺画像を得ることができる。

上記した構成の撮像装置を用いた画像補正方法であって、前記撮像素子からの出力信号に基づいて画像データを生成する工程と、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正する工程と、を有することとすると、より視認性の高い周辺画像を得ることができる。

以下に、本発明に係る撮像装置および画像補正方法の実施の形態を図面を参照しつつ説明する。

まず、本発明に係る撮像装置１０の構成を説明する。

図１は、本発明に係る撮像装置１０の構成を説明するための説明図である。なお、撮像装置１０は、図１の構成の他に、シャッター速度制御やレンズの絞り調整などのメカ機構等を備えるが、図１ではこれらを省略している。

撮像装置１０は、本実施例では、車載カメラ装置として使用することを想定して撮影光学系１１が広角な設定とされているが、用途および設定は本実施例に限定されるものではない。撮像装置１０は、撮影光学系１１と画像処理部１２と光カットフィルタ１３と画像表示部（モニタ）１４と操作部１５とを備える。

撮影光学系１１は、被写体像を画像処理部１２の撮像素子１６の撮像面１６ａ上に結像させるように設定されており、本実施例では、円形の４枚のレンズと１つの絞りと光学ローパスフィルタとしての板状フィルタとにより構成されている。この撮影光学系１１は、本実施例では、図１に示す光路線からも解るように、極めて広角な視野（光軸Ｌに対して９０度を超える）とされている。このように撮影光学系１１を極めて広角な視野とすることにより、本実施例の撮像装置１０は、正面（カメラの光軸方向）のみならず上下左右の広い領域に渡り確認可能であることが望ましい場面（本実施例では車載カメラ）に好適なものとされている。

この撮像素子１６を有する画像処理部１２は、制御部１００とＡＧＣ回路１１０とＡ／Ｄ変換器１２０とベイヤー補完部１３０と倍率色収差補正部１４０とＭＴＦ補正部１５０と歪曲収差補正部１６０とガンマ補正部１７０とを有する。画像処理部１２では、制御部１００が他の構成部に対して必要な制御信号を与えることにより、当該他の構成部の動作をパイプライン的に制御する。画像処理部１２における画像処理の動作（画像処理工程）は後述する。

この撮像素子１６は、可視領域および赤外領域（の波長）の光に対する感度を有し、撮影光学系１１により撮像面１６ａ上に結像された被写体像を電気信号（画素データ）に変換して出力する。撮像素子１６は、例えば、ＣＣＤやＣＭＯＳセンサ等で構成することができる。また、撮像素子１６には、図示は略すがベイヤー配列の色フィルタ（図１２（ａ）参照）が設けられており、出力する電気信号（画素データ）はベイヤー配列のＲＧＢ画素データとなる。この撮像素子１６と撮影光学系１１と間に光カットフィルタ１３（光カットフィルタ部）が設けられている。

図２は、光カットフィルタ１３の例を模式的な断面で示す説明図であり、（ａ）は連続的に厚さ寸法が変化する例（１３Ａ）を示し、（ｂ）は階段状に厚さ寸法が変化する例（１３Ｂ）を示し、（ｃ）は（ｂ）の構造において全体の厚さ寸法が均一とされた例（１３Ｃ）を示している。また、図３は、本実施例の光カットフィルタ１３を正面から見た説明図であり、図４は、本実施例の光カットフィルタ１３における波長と透過率との関係を示すグラフであり、図５は、他の構成の光カットフィルタ１３Ｄを示す説明図である。

光カットフィルタ１３は、図２に示すように、誘電体多層膜構造とされ、空気／(Ｌ／２ＨＬ／２)ｐ／基板の基本構成とされている。ここで、Ｌは低屈折率層１３ａのλ／４の厚さであり、Ｈは高屈折率層１３ｂのλ／４の厚さであり、ｐは膜の繰り返し周期である。このような誘電体多層膜構造では、厚さを変化させることで透過特性を調整することができ、繰り返し周期ｐを多くすることで、急峻なカット特性（波長の変化に対する透過率の変化の割合）を得ることができる。ここで、繰り返し周期ｐを多くするとリップル（利得変動）も大きくなることから、リップルを防止するため整合層を配置してもよい。

この光カットフィルタ１３は、光軸Ｌ（中心部）上では赤外領域の光の透過を許し、光軸Ｌから最も離れた位置では赤外領域の光の透過を阻むように、光軸Ｌからの距離が大きくなるほど透過する波長の上限値が小さくなる設定とされている。光カットフィルタ１３は、図２（ａ）に示すように、基板１３ｃ上に低屈折率層１３ａおよび高屈折率層１３ｂが積層されて形成され、中心（光軸Ｌ）が最も厚くなるように低屈折率層１３ａおよび高屈折率層１３ｂの厚さ寸法が変化された構成の光カットフィルタ１３Ａとすることができる。また、図２（ｂ）に示すように、低屈折率層１３ａおよび高屈折率層１３ｂの厚さ寸法が階段状に変化する構成の光カットフィルタ１３Ｂであってもよい。さらに、図２（ｃ）に示すように、低屈折率層１３ａおよび高屈折率層１３ｂの厚さ寸法を階段状に変化しつつ表面に位置する（空気に隣接する）層を平坦とする構成の光カットフィルタ１３Ｃであってもよい。

光カットフィルタ１３は、本実施例では、図３に示すように、光軸Ｌを中心とする同心状に、中心領域Ａｃと周辺領域Ａｐとが設けられ、両領域では透過を許す波長の上限値が異なるものとされている。この中心領域Ａｃは、撮像面１６ａで見て、撮影光学系１１における画角（入射角）が４５ｄｅｇよりも内側となる領域とされている。本実施例では、図４に示すように、中心領域Ａｃでは、可視領域（図４でみると４００ｎｍ〜７８０ｎｍ）の波長の光を略１００％透過し、９００ｎｍ近傍から透過率が減少して０となるような特性とされており、９５０ｎｍ付近で透過率が略５０％とされている。また、周辺領域Ａｐでは、４００ｎｍ以上の波長の光を略１００％透過し、６００ｎｍを超えた辺りから透過率が減少して０となるような特性とされており、７００ｎｍ付近で透過率が略５０％とされている。この透過率が略５０％となる波長をカット波長とし、上記した透過を許す波長の上限値はこのカット波長により規定されるものとする。すなわち、中心領域Ａｃでは、透過を許す波長の上限値が略９５０ｎｍに、周辺領域Ａｐでは、透過を許す波長の上限値が略７００ｎｍに設定されていることとなる。

この光カットフィルタ１３は、図２（ａ）〜（ｃ）に示した構成の他にも、図５に示すような構成（１３Ｄ）とすることができる。光カットフィルタ１３Ｄは、光の波長以下の大きさの構造物であるサブ波長構造（凸凹構造）とされたものである。ここでいう光の波長とは、当該光カットフィルタ１３Ｄを透過した光の波長をいう。光カットフィルタ１３Ｄでは、サブ波長構造（凸凹構造）における凸構造１３ｄのピッチ、凸構造１３ｄの高さ、一周期での凸構造１３ｄの占める比で示すＤｕｔｙ等が光軸Ｌからの距離（領域）に応じて異なる構成とされ、光軸Ｌからの距離（領域）に応じてカット波長特性が変化するように設定されている。この光カットフィルタ１３Ｄでは、光軸Ｌからの距離（領域）が大きくなるほど、透過を許す光の波長の上限値が小さくなるように設定されていることは言うまでもない。このような構成とすると、１枚の基板で多様なカット波長特性を有する光カットフィルタ１３Ｄを形成することができる。

ここで、本発明に係る撮像装置１０に用いられる光カットフィルタ１３の作用について説明する。図６ないし図８は、横軸を空間周波数、縦軸をＭＴＦ（ＭｏｄｕｌａｔｉｏｎＴｒａｎｓｆｅｒＦｕｎｃｔｉｏｎ）として撮像素子上に結像されるスポットの特性を示すグラフであり、物体側の光線の入射角（光軸Ｌに対する傾斜）が０ｄｅｇ、４５ｄｅｇ、６０ｄｅｇ、７５ｄｅｇ、９５ｄｅｇの場合を示している。ここで、各入射角において、Ｒで示すものはラディアル（放射方向）で見たスポットの特性を示し、Ｔで示すものはタンジェンシャル（同心方向）で見たスポットの特性を示している。また、図６はカット波長７００ｎｍの光カットフィルタを用いた場合を示し、図７はカット波長９５０ｎｍの光カットフィルタを用いた場合を示し、図８は本実施例の光カットフィルタ１３を用いた場合を示している。また、図９ないし図１１は、照度０．５ｌｕｘの環境（薄暗い環境）下において撮像したチャートの撮像画像を示し、図９はカット波長７００ｎｍの光カットフィルタを用いた場合を示し、図１０はカット波長９５０ｎｍの光カットフィルタを用いた場合を示し、図１１は本実施例の光カットフィルタ１３を用いた場合を示している。

図６に示すように、カット波長７００ｎｍの光カットフィルタを用いた場合、入射角に拘らず空間周波数１００ｌｐ／ｍｍにおいても十分な解像度を得られることがわかる。しかしながら、カット波長が７００ｎｍの光カットフィルタを用いた場合、赤外領域の光量を利用することができないため、薄暗い環境では、図９に示すように、撮像画像においてチャートを確認するのが困難となってしまう。

他方、図７に示すように、カット波長９５０ｎｍの光カットフィルタを用いた場合、４５ｄｅｇより小さい入射角、すなわち光軸Ｌ付近の光線しか十分な解像度が得られていないのがわかる。これは、倍率色収差が波長の差異に基づいて生じるものであることから、カット波長７００ｎｍの光カットフィルタに比較して倍率色収差の影響が大きく、この影響が、視野が広角に設定された撮影光学系１１における光軸Ｌから離れた距離の領域において強調されたことが原因と考えられる。ところが、カット波長が９５０ｎｍである場合、赤外領域の光量を利用することができるため、薄暗い環境であっても、図１０に示すように、撮像画像においてチャートが鮮明に撮像されており当該チャートを容易に確認することができる。

本実施例の撮像装置１０で用いられる光カットフィルタ１３は、撮影光学系１１の光学的な特性に合わせて、カット波長７００ｎｍの光カットフィルタとカット波長９５０ｎｍの光カットフィルタとが組み合わせられるように構成されている。すなわち、撮影光学系１１の特性として光軸Ｌの近傍では倍率色収差の影響が小さいことから、光軸Ｌの近傍すなわち中心領域Ａｃでは、カット波長を９５０ｎｍとしても、撮像画像において十分な解像度を得ることができる（図７の０ｄｅｇの特性線参照）。このため、光カットフィルタ１３において、中心領域Ａｃがカット波長９５０ｎｍとされており、この中心領域Ａｃでは、薄暗い環境下においても鮮明な撮像画像の取得を可能とすることができる（図１１参照）。また、撮影光学系１１の特性として光軸Ｌからの距離が大きくなると倍率色収差の影響が大きいことから、光軸Ｌから離間した位置すなわち周辺領域Ａｐでは、カット波長を７００ｎｍとすることにより、撮像画像における倍率色収差の影響を抑制することができる（図８の４５ｄｅｇ〜９５ｄｅｇの特性線参照）。

このように構成された光カットフィルタ１３では、図８に示すように、カット波長７００ｎｍの光カットフィルタと極めて近いスポット特性を得ることができ、入射角に拘らず空間周波数１００ｌｐ／ｍｍにおいても十分な解像度を得られることがわかる。また、この光カットフィルタ１３では、中心領域Ａｃにおいて赤外領域の光量を利用することができるため、図１１に示すように、撮像画像の中心近傍すなわち撮像画像で見て中心領域Ａｃの近傍に相当する領域においてチャートが鮮明に撮像されており当該チャートを容易に確認することができる。

次に、本発明に係る撮像装置１０の画像処理部１２における画像処理工程について図１に沿って説明する。

上述したように、画像処理部１２は、各部に必要な制御信号を出力する制御部１００によりパイプライン的に制御される。この制御部１００は、操作部１５に為された操作に応じて画像処理部１２および上述したメカ機構等を制御する。撮影光学系１１により結像された被写体像は、撮像素子１６により電気信号（ベイヤー配列のＲＧＢ画素データ）に変換されて出力される。このとき、ベイヤー配列のＲＧＢ画素データは、制御部１００から与えられる座標データ（ｘ、ｙ）に基づいて撮像素子１６から順次出力される。なお、制御部１００では、撮像素子１６に与える座標データ（ｘ、ｙ）を、順次、所定の時間ずらして後段にも与える。

ＡＧＣ回路１１０は、撮像素子１６から出力されたアナログ信号の画像信号を所定の値に増幅してＡ／Ｄ変換器１２０へ送出する。このＡＧＣ回路１１０のゲイン量は、トレードオフの関係となる画面の要求明度とノイズとを勘案してより適した値に決定される。本発明に係る撮像装置１０では、光軸の近傍では赤外領域の波長の光の透過を許す光カットフィルタ（本実施例では、光カットフィルタ１３）を用いていることから、低照度時に上げるゲイン量を小さくすることができるため、ノイズを低減した高品質な画像を得ることができる。

Ａ／Ｄ変換器１２０は、ＡＧＣ回路１１０で増幅されたアナログ信号としてのベイヤー配列のＲＧＢ画素データをデジタル信号に変換してベイヤー補完部１３０へ送出する。本実施例では、デジタル信号は、ＲＧＢのそれぞれが８ビットで構成されている。

ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データが入力されると、このＲＧＢ画素データに基づいて、ＲＧＢ各色独立に全座標位置の色成分画素データを線形補完によって生成し、この生成した素データを倍率色収差補完部１４０へ送出する。このベイヤー補完は、以下のように行う。ここで、図１２は、ベイヤー補完を説明するための説明図であり、（ａ）はベイヤー配列のカラーフィルタを模式的に示し、（ｂ）はＧ色成分画素データのベイヤー補完の様子を示し、（ｃ）はＲ色成分画素データのベイヤー補完の様子を示し、（ｄ）はＢ色成分画素データのベイヤー補完の様子を示している。

図１２（ｂ）におけるＧ０は、図１２（ａ）においてＲまたはＢが存在する場所に相当する。このＧ０は式（１）により求める。

Ｇ０＝(Ｇ２＋Ｇ４＋Ｇ６＋Ｇ８)／４（１）
また、図１２（ｃ）におけるＲ２、Ｒ４、Ｒ６、Ｒ８、Ｒ０は、図１２（ａ）においてＧまたはＢが存在する場所に相当する。このＲ２、Ｒ４、Ｒ６、Ｒ８、Ｒ０は式（２）〜（６）により求める。

Ｒ２＝(Ｒ１＋Ｒ３)／２（２）
Ｒ４＝(Ｒ３＋Ｒ５)／２（３）
Ｒ６＝(Ｒ５＋Ｒ７)／２（４）
Ｒ８＝(Ｒ１＋Ｒ７)／２（５）
Ｒ０＝(Ｒ１＋Ｒ３＋Ｒ５＋Ｒ７)／４（６）
さらに、図１２（ｄ）におけるＢ２、Ｂ４、Ｂ６、Ｂ８、Ｂ０は、図１２（ａ）においてＧまたはＲが存在する場所に相当する。このＢ２、Ｂ４、Ｂ６、Ｂ８、Ｂ０は、Ｒ２、Ｒ４、Ｒ６、Ｒ８、Ｒ０の場合（式（２）〜（６））と同じであるので省略する。

倍率色収差補正部１４０は、入力されるベイヤー補完済みのＲＧＢ画素データを、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画素データをＭＴＦ補正部１５０へ送出する。この倍率色収差補正部１４０については、歪曲収差補正部１６０とともに後に詳述する。この倍率色収差補正の座標変換には、低容量低レイテンシのメモリまたは低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用する。

ＭＴＦ補正部１５０は、入力される倍率色収差補正済みのＲＧＢ画素データを、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画素データを出力する。このＭＴＦ補正処理は、以下のように行う。

図１３は、ＭＴＦ補正部１５０を説明するために構成を概略的に示す説明図であり、図１４は、そのＦＩＲフィルタ１５４の各係数の一例を示す説明図である。ＭＴＦ補正部１５０は、変換部１５２とＦＩＲフィルタ１５４と逆変換部１５６とを有する。

変換部１５２は、入力されるＲＧＢ画素データをＹＣｂＣｒ画素データに変換する。この変換は、式（７）〜（９）により行う。

Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ（７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ（８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ（９）
この変換部１５２は、変換したＹＣｂＣｒ画素データのうち、輝度信号ＹをＦＩＲフィルタ１５４へ送出し、色差信号ＣｂＣｒを逆変換部１５６へ送出する。

ＦＩＲフィルタ１５４は、入力された輝度信号Ｙに所定のＭＴＦ補正を施し、このＭＴＦ補正された輝度信号Ｙを逆変換部１５６へ送出する。ＦＩＲフィルタ１５４（ＭＴＦ補正部１５０）では、輝度信号Ｙのみのフィルタリング（ＭＴＦ補正）を行うことから、色ノイズの増幅を抑えた高画質な画像を得ることが出来る。このＦＩＲフィルタ１５４は、本実施例では、５×５フィルタで構成されており、例えば、図１４に示すような各係数が設定されている。

逆変換部１５６は、ＦＩＲフィルタ１５４から送出されるＭＴＦ補正済みの輝度信号Ｙと、変換部１５２から送出される色差信号ＣｂＣｒのうち当該輝度信号Ｙに対応する色差信号ＣｂＣｒとを、逆変換してＲＧＢ画素データとする。この逆変換は、式（１０）〜（１２）により行う。

Ｒ＝Ｙ＋１.４０２Ｃｒ（１０）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ（１１）
Ｂ＝Ｙ＋１.７７２Ｃｂ（１２）
逆変換部１５６は、逆変換したＲＧＢ画素データを歪曲収差補正部１６０へ送出する。

ここで、一般的に光学系では、光軸からの距離が大きくなるほど撮像素子上の集光スポットが劣化し、撮像画像の画質が劣化する（図６および図７参照）。このことから、ＦＩＲフィルタは、光軸からの距離（領域）に応じて異なるもの（異なる係数）とすると、より効果的に高画質な撮像画像が得られる。ところが、本発明に係る撮像装置１０では、光軸からの距離（本実施例では中心領域Ａｃおよび周辺領域Ａｐ）により異なるカット波長特性を有する光カットフィルタ１３が用いられて、周辺領域Ａｐにおける撮像画像の解像力の低下が抑制されている（図８参照）。このため、本発明に係る撮像装置１０では、単一のＦＩＲフィルタ１５４（単一の係数）を用いた場合でも、ＭＴＦ補正の効果を大きくすることができる。

歪曲収差補正部１６０は、倍率色収差補正が為された後にＭＴＦ補正が為されて入力されるＲＧＢ画素データを、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施して歪曲収差補正を行い、この歪曲収差補正されたＲＧＢ画素データをガンマ補正部１７０へ送出する。この歪曲収差補正部１６０での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０についても後に詳述する。

ガンマ補正部１７０は、入力される歪曲収差補正済みのＲＧＢ画素データを、ＲＧＢそれぞれのルックアップテーブル等を用いて画像表示部１４の特性に応じた所定のガンマ補正処理を施し、ガンマ補正したＲＧＢ画素データを画像表示部１４へ送出する。

以上が図１に示した画像処理部１２における画像処理工程の全体的動作あるが、以下では倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。

はじめに、本発明の倍率色収差補正と歪曲収差補正の原理を説明する。ここで、図１５は、画像表示部１４に表示される画面（撮像素子１６の撮像面１６ａ）上での倍率色収差および歪曲収差を説明するための説明図である。また、図１６は、従来の倍率色収差および歪曲収差の補正を説明するための説明図であり、図１７は、撮像装置１０における倍率色収差および歪曲収差の補正を説明するための説明図であり、（ａ）は倍率色収差の補正の様子を示し、（ｂ）は歪曲収差の補正の様子を示している。

ここでは、図１５に示すように、倍率色収差および歪曲収差のない光学系を用いて撮影を行った場合に画面右上の符号１で示す位置（ピクセル）に形成される画素データを基準として説明する。ここで、倍率色収差および歪曲収差のある光学系を用いて同様に撮影を行った場合、画面右上の符号１で示す位置（ピクセル）の画素データは、ＲＧＢそれぞれ２（Ｒ）、３（Ｇ）、４（Ｂ）の位置となるものとする。これは、歪曲収差により本来の位置からずれるとともに、倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれが生じることによる。

ここで、光学系の設計データより、歪曲収差の大きさ、および倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。このため、従来では、図１６に示すように、２（Ｒ）の位置（ピクセル）におけるＲ色成分画素データと、３（Ｇ）の位置（ピクセル）におけるＧ色成分画素データと、４（Ｂ）の位置（ピクセル）におけるＢ色成分画素データと、を本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差および歪曲収差の補正を同時に行なっていた。

しかしながら、この従来の方法では、ＲＧＢの色成分毎に、容量の大きな低レイテンシのメモリ、または容量の大きな多ポートのメモリが必要となる。例えば、図１６の場合、ＲＧＢのそれぞれに、座標変換用として高速の６ライン分のメモリが必要となる。

これに対し、本発明の撮像装置１０では、上述したように、倍率色収差の補正と、歪曲収差の補正とを別々に行なっている。これは、倍率色収差は、各色成分（波長の差異）によりずれ量が異なるがそれぞれのずれ量は小さく、他方、歪曲収差は、ずれ量は大きいが各色成分とも同じ方向に同じ量だけずれる、ことに着目したものである。このため、撮像装置１０では、先ずＲＧＢ各色成分の画素データをそれぞれ座標変換して倍率色収差を補正し、その後、倍率色収差が補正されたＲＧＢ画素データをまとめて座標変換して歪曲収差を補正する。これにより、画像処理部１２における座標変換用のメモリを、倍率色収差補正に必要なＲＧＢに各々対応する少容量・高速（低レンテンシまたは多ポート）なメモリ（第１座標変換メモリ）と、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリ（第２座標変換メモリ）とに分けることができ、全体としてコスト低減が可能となる。

本実施例では、画像処理部１２の倍率色収差補正部１４０は、図１７（ａ）に示すように、ベイヤー補完部１３０から送出されたＲＧＢ画素データのうち、２（Ｒ）の位置（ピクセル）のＲ色成分画素データと、４（Ｂ）の位置（ピクセル）のＢ色成分画素データと、３（Ｇ）の位置（ピクセル）のＧ色成分画素データとを、３（Ｇ）の位置（ピクセル）にコピーする。換言すると、Ｇ色成分画素データに関しては、座標変換を行なわない。これにより、倍率色収差が補正されたＲＧＢ画素データが生成される。

画像処理部１２の歪曲収差補正部１６０は、図１７（ｂ）に示すように、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データを、一括して座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

ここで、実際には、歪曲収差補正部１６０は、上述したように、倍率色収差補正部１４０により倍率色収差補正が為された後に、ＭＴＦ補正部１５０によりＭＴＦ補正が為されたＲＧＢ画素データを、歪曲収差補正している。このＭＴＦ補正では、倍率色収差補正や歪曲収差補正のように、座標変換を行なうものではないことから、倍率色収差補正の後にＭＴＦ補正を行なってから歪曲収差補正を行なっても、何らの不都合が生じるものではなく、以下のような効果を得ることができる。本実施例の撮像装置１０のＭＴＦ補正部１５０では、輝度信号ＹのみのフィルタリングによりＭＴＦ補正を行っているため、このＭＴＦ補正（ＭＴＦ補正部１５０）は倍率色収差補正（倍率色収差補正部１４０）の後に行う必要がある。このことから、歪曲収差補正（歪曲収差補正部１６０）の後にＭＴＦ補正を行うことも考えられる。しかしながら、上述したように、歪曲収差補正では座標変換の変換距離が大きいことから、演算誤差が発生しやすい。このため、本実施例のようにＭＴＦ補正を、倍率色収差補正の後段であって歪曲収差補正の前段に設置すると、歪曲収差補正における誤差がＭＴＦ補正により増幅されて画質に悪影響を及ぼす事を避けることができ、より高画質な撮像画像を得ることができる。

この図１７の例では、倍率色収差補正用には、（ａ）に示すように、ＲＧＢのそれぞれに対応する３ライン分の高速メモリがあれば十分である。また、歪曲収差補正用には、図１７（ｂ）に示すように、５ライン分のメモリが必要となるが、ＲＧＢ共通でかつ低速メモリでよく、全体しては、図１４の従来例に比較して低コスト化が可能となる。

なお、本発明で対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であってもよく、ある一部分を拡大して表示される射影方式であってもよい。

次に倍率色収差補正部１４０の構成について説明する。図１８は、倍率色収差補正部１４０の構成の一例を示す説明図である。

倍率色収差補正部１４０は、倍率色収差補正用座標変換メモリ１４２（以下では、座標変換メモリ１４２といい、図１８ではＳＲＡＭと記載する）と、倍率色収差補正座標変換演算部１４４と、座標変換係数テーブル１４６とを有する。

座標変換メモリ１４２は、ラインバッファであり、ＲＧＢ各色成分に対応して設けられている。以下では、Ｒ色成分画素データに対応するものを座標変換メモリ１４２（Ｒ）とし、Ｇ色成分画素データに対応するものを座標変換メモリ１４２（Ｇ）とし、Ｂ色成分画素データに対応するものを座標変換メモリ１４２（Ｂ）とする。各座標変換メモリ１４２には、図示は略すが、書込み読出しのための制御部が設けられている。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。本実施例では、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）を、それぞれ２０ライン分のＳＲＡＭで構成している。このＸ方向のサイズは解像度で決まり、例えば解像度をＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度は、上述したようにＲＧＢがそれぞれ８ビットであり、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、各座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

また、倍率色収差補正座標変換演算部１４４は、所定の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する。座標変換係数テーブル１４６は、倍率色収差補正座標変換演算部１４４による座標変換式に使用される係数を保持している。

次に、倍率色収差補正部１４０での倍率色収差補正における動作を説明する。

倍率色収差および歪曲収差が生じている撮像画像のＲＧＢ各成分の画素データが、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）に、それぞれ座標データ（ｘ、ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画素データが書き込まれると、先頭ラインの画素データから順次捨てられ、代って後続ラインの画素データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）には、それぞれ倍率色収差の補正のための座標変換で必要となる最大２０ライン分のＲＧＢ各成分の画素データが順次格納される。

ここで、座標データ（ｘ、ｙ）は、１フレーム分の撮像画像の読出し位置を示すものである。一方、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）は、２０ラインのラインバッファであり、書込みラインがサイクリックに変化するため、座標データ（ｘ、ｙ）をそのまま座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標データ（ｘ、ｙ）の値を、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）の実アドレスに変換する必要があるが、図１８ではそのための構成は省略してある。このことは、後述の読出し動作における変換後の座標データ（ｘ、ｙ）と座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換演算部１４４は、座標データ（ｘ、ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの変換後の座標データ（Ｘ、Ｙ）を出力する。上述したように、本実施例では、Ｒ色成分画素データとＢ色成分画素データとを座標変換してＧ色成分画素データの位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標データ（ｘ、ｙ）をそのまま変換後の座標データ（Ｘ、Ｙ）として出力し、ＲＢ色成分については、所定の座標変換式を用いてそれぞれ入力された座標データ（ｘ、ｙ）を座標データ（Ｘ、Ｙ）に変換し、その変換後の座標データ（Ｘ、Ｙ）を出力する。これを座標データ（ｘ、ｙ）毎に繰り返す。この変換後の座標データ（Ｘ、Ｙ）は、Ｒ色成分とＢ色成分とで異なるものとなる。

ここで、座標変換式は、画面中央を原点とした場合、例えば、式（１３）で表わすことができる。

Ｘ＝ｘ＋［ａ(１)＋ａ(２)×ａｂｓ(ｘ)＋ａ(３)×ａｂｓ(ｙ)＋ａ(４)×ｙ^２］×ｘ
Ｙ＝ｙ＋［ｂ(１)＋ｂ(２)×ａｂｓ(ｙ)＋ｂ(３)×ａｂｓ(ｘ)＋ｂ(４)×ｘ^２］×ｙ
(１３)
ここで、ａｂｓ（）は絶対値、ａ(１)〜ａ(４)およびｂ(１)〜ｂ(４)は座標変換係数である。この座標変換係数は、予め座標変換係数テーブル１４６として保持されている。ここで、図示は略すが、この座標変換係数テーブル１４６は、領域によって異なるものが準備されている。これは、本発明に係る撮像装置１０では、光軸Ｌからの距離に応じて透過を許す光の波長の上限値が異なる光カットフィルタが用いられているが、この上限値に適合させて倍率色収差を補正するためである。光カットフィルタ１３は、本実施例では、上述したように、カット波長が９５０ｎｍとされた中心領域Ａｃと、カット波長が７００ｎｍとされた周辺領域Ａｐとを有している。このため、本実施例では、カット波長の長い中心領域Ａｃでは、周辺領域Ａｐと比較するとＲ色成分画素データにおける中心波長がより長波長側に変位し、この中心波長の変位に伴ってＲ色成分画素データにおける倍率色収差に起因するずれの大きさが変化する。この中心波長の変位は、撮像素子１６が可視領域に加えて赤外領域の感度を有することによる。具体的には、例えば、図１５において、カット波長が７００ｎｍの場合では倍率色収差により２（Ｒ）の位置にずれるものとすると、カット波長が９５０ｎｍの場合では倍率色収差により２´（Ｒ）の位置にずれる。

ここで、ＲＧＢ各成分画素データがどの位置にずれるかは、撮影光学系１１の設計データから、歪曲収差の大きさおよび倍率色収差の大きさが分かるため、本来の位置に対してのずれ量を計算することができる。また、光カットフィルタを透過した被写体像において倍率色収差に起因するずれる位置の差異は、撮影光学系１１の設計データに加えて当該光カットフィルタに設定されたカット波長と撮像素子１６の感度領域とを考慮することで、対象とする光の波長範囲に応じた倍率色収差の大きさが分かるため、本来の位置に対してのずれ量として計算することができる。このことから、本実施例では、中心領域Ａｃに対応する座標変換係数ａ_１(１)〜ａ_１(４)およびｂ_１(１)〜ｂ_１(４)と、周辺領域Ａｐに対応する座標変換係数ａ_２(１)〜ａ_２(４)およびｂ_２(１)〜ｂ_２(４)とが、座標変換係数テーブル１４６として保持されており、両領域に対応する座標変換係数テーブル１４６（座標変換係数）が適宜用いられる。

座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）では、上述した書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標変換演算部１４４から出力されるＲＧＢ毎の変換後の座標データ（Ｘ、Ｙ）（実際には、座標データ（Ｘ、Ｙ）をアドレス変換した値）に基づいて、ＲＧＢ成分それぞれの画素データが順次読み出されていく。このとき、本実施例では、Ｇ色成分画素データに関しては座標変換を行なわないことから、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ色成分画素データが読み出される。他方、座標変換メモリ１４２（Ｒ）、１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画素データが読み出される。

以上の処理により、座標変換メモリ１４２（Ｒ）、１４２（Ｇ）、１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画素データ（倍率色収差に起因するＲＧＢ各色成分間に生じる位置ずれが補正されたＲＧＢ画素データ）が出力されることになる。このような倍率色収差補正部１４０における工程が倍率色収差補正工程となり、座標変換メモリ１４２が倍率色収差補正工程のための第１座標変換メモリとなる。

なお、倍率色収差補正部１４０の倍率色収差補正座標変換演算部１４４は、上記した構成に限定されるものではない。以下では、倍率色収差補正座標変換演算部（１４４）の他の例について説明する。図１９は、倍率色収差補正座標変換演算部の他の構成を示す説明図であり、（ａ）は一つ目の他の例（倍率色収差補正座標変換演算部１４４１）を示し、（ｂ）は二つ目の他の例（倍率色収差補正座標変換演算部１４４２）を示し、（ｃ）は三つ目の他の例（倍率色収差補正座標変換演算部１４４３）を示している。

倍率色収差補正座標変換演算部１４４１では、図１９（ａ）に示すように、Ｇの色成分は座標変換を行われず、入力された座標データ（ｘ、ｙ）をそのまま、Ｇ用座標データ（ｘ、ｙ）として出力する。また、倍率色収差補正座標変換演算部１４４１では、Ｒの色成分においては、座標変換演算部１４４１ａにより、入力された座標データ（ｘ、ｙ）を変換して、変換後のＲ用座標データ（Ｘ、Ｙ）を出力する。さらに、倍率色収差補正座標変換演算部１４４１では、Ｂの色成分においては、座標変換演算部１４４１ｂにより、入力された座標データ（ｘ、ｙ）を変換して、変換後のＢ用座標データ（Ｘ、Ｙ）を出力する。この例では、座標変換演算部は、ＲとＢ色成分のみでよいため、回路規模を少なくすることができる。

図１９（ｂ）、（ｃ）に示す倍率色収差補正座標変換演算部１４４２、１４４３は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれる（図１５参照）ことに着目するものである。

倍率色収差補正座標変換演算部１４４２は、図１９（ｂ）に示すように、座標変換演算部１４４２ａにより、座標データ（ｘ、ｙ）についての補正量を求め、減算部１４４２ｂで当該補正量分だけ座標データ（ｘ、ｙ）から減算した値をＢ用座標データ（Ｘ、Ｙ）とし、加算部１４４２ｃで当該補正量分だけ座標データ（ｘ、ｙ）に加算した値をＲ用座標データ（Ｘ、Ｙ）とする。なお、Ｇ用座標データ（Ｘ、Ｙ）としては、（ａ）と同様に、座標データ（ｘ、ｙ）をそのまま出力する。

倍率色収差補正座標変換演算部１４４３は、図１９（ｃ）に示すように、倍率色収差補正座標変換演算部１４４２の構成に加えて対称位置のずれを考慮し、さらにゲイン回路１４４３ａによりＲ用の補正量を調整するようにしたものである。このゲイン量は、領域により異なる構成とすることができる。なお、このゲイン回路は、Ｂ用の補正量を調整するものであってもよい。この倍率色収差補正座標変換演算部１４４２、１４４３では、座標変換演算部は一つで済むことから、回路規模を更に小さくすることができる。

なお、倍率色収差補正座標変換演算部１４４１は、座標変換演算部１４４１ａ、１４４１ｂのかわりにＲとＢの色成分毎に入力座標データ（ｘ、ｙ）と出力座標データ（Ｘ、Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、このＬＵＴを用いて、座標データ（ｘ、ｙ）に対する変換後の座標データ（Ｘ、Ｙ）を直接得るようにしてもよい。同様に、倍率色収差補正座標変換演算部１４４２、１４４３は、座標変換演算部１４４２ａのかわりに入力座標データ（ｘ、ｙ）と補正量の対応を記憶したＬＵＴを用意し、このＬＵＴを用いて、座標データ（ｘ、ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に歪曲収差補正部１６０の構成について説明する。図２０は、歪曲収差補正部１６０の構成の一例を示す説明図である。

歪曲収差補正部１６０は、ＲＧＢ合成部１６１と、歪曲収差補正用座標変換メモリ（フレームメモリ）１６２と、ＲＧＢ分離部１６３と、歪曲収差補正座標変換演算部１６４と、座標変換係数テーブル１６５とを有する。

ＲＧＢ合成部１６１は、ＲＧＢの３つの色成分画素データを一つの画素データに合成する。歪曲収差補正用座標変換メモリ（フレームメモリ）１６２（以下では、座標変換メモリ１６２という）は、歪曲収差補正のために合成された画素データが格納されるメモリであり、ＲＧＢ画素データで共通とされている。この座標変換メモリ１６２には、図示は略すが、書込み読出しのための制御部が設けられている。ＲＧＢ分離部１６３は、合成されたＲＧＢ画素データを元の各色成分、すなわちＲＧＢの３つの色成分画素データに分離する。歪曲収差補正座標変換演算部１６４は、合成されたＲＧＢ画素データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する。座標変換係数テーブル１６５は、座標変換式に使用される係数として保持されているものである。

ここで、歪曲収差は、上述したように画素のずれ量が大きいので、本実施例では、歪曲収差補正処理には、画素データを最大１画面分記憶しておくフレームバッファを用いている。また、歪曲収差では、上述したようにＲＧＢ各色成分とも等しくずれることから、ＲＧＢ画素データの合計ビット幅を持つ一つのフレームバッファでよい。本実施例では、解像度をＶＧＡ（６４０×４８０）とし、ＲＧＢ画素データのビット数（色深度）をそれぞれ８ビットとしているので、座標変換メモリ１６２は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成している。このように、歪曲収差補正用座標変換メモリ１６２は、非常に大きな容量が必要であることから、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１６１は、順次、倍率色収差補正済み（本実施例ではＭＴＦ補正も済んでいる）の各ＲＧＢ画素データ（各８ビット）が入力されると、一つの画素データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画素データが、座標変換メモリ１６２に、それぞれ座標データ（ｘ、ｙ）に従って先頭ラインから順次書き込まれる。

歪曲収差補正座標変換演算部１６４は、座標データ（ｘ、ｙ）が入力されると、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、変換後の座標データ（Ｘ、Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ式（１３）で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６５に保持される。このように、倍率色収差補正と同じ式（１３）を用いて歪曲収差補正を行う場合、（１３）式中で使われるｘ^２、ｙ^２、ａｂｓ(ｘ)、ａｂｓ(ｙ)の項を、倍率色収差補正での計算結果をメモリ等に保持して用いる構成とすると、新たに計算する必要がなくなり、当該演算部１６４の回路規模を小さくすることができる。

座標変換メモリ１６２では、先のＲＧＢ合成部１６１からのＲＧＢ合成画素データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換演算部１６４から出力される座標データ（Ｘ、Ｙ）に基づいて、ＲＧＢ合成画素データが順次読み出されていく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画素データ（２４ビット）を元のＲＧＢ各色成分の画素データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差補正およびＭＴＦ補正に加えて、歪曲収差の補正された各ＲＧＢ画素データが出力されることになる。すなわち、各ＲＧＢ画素データが本来の位置（ｘ、ｙ）（図１５ないし図１７の例では符号１で示す位置）にコピーされる。このような座標変換メモリ１６２における工程が歪曲収差補正工程となり、座標変換メモリ１６２が歪曲収差補正工程のための第２座標変換メモリとなる。

なお、歪曲収差補正処理でも、入力座標データ（ｘ、ｙ）と出力座標データ（Ｘ、Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標データ（ｘ、ｙ）に対する変換後の座標データ（Ｘ、Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

よって、本発明に係る撮像装置１０では、光カットフィルタ１３で見た中心領域Ａｃにおいて、可視領域に加えて赤外領域を含む光により形成された被写体像に基づいて画像データを生成するので、周辺が暗い場合であっても視認性の高い周辺画像を取得することができる（図１１参照）。なお、中心領域Ａｃすなわち光軸Ｌからの距離が小さな範囲では、倍率色収差の影響が小さいことから、赤外領域を含む光により形成された被写体像に基づいて生成された画像データであっても、十分な解像度を得ることができ（図８参照）、周辺画像の視認性への影響は殆ど問題とならない。このため、撮像装置１０では、メカ的な切り替え手段を用いることなく、夜などの低照度時であっても光軸中心付近の画角（本実施例では、中心領域Ａｃに相当する画角であり４５ｄｅｇ以下の画角である）においては明るい画像を取得することができる。

また、撮像装置１０では、光カットフィルタ１３で見た周辺領域Ａｐにおいて、赤外領域を含まない光により形成された被写体像に基づいて画像データを生成するので、倍率色収差の影響を小さくすることができる（図８参照）。このように、撮像装置１０では、撮影光学系１１の設定により撮像面において光軸Ｌからの距離が大きくなるほど大きくなる倍率色収差の影響を、撮影光学系１１と撮像素子１６との間に設けた光カットフィルタ１３で抑制することができるので、コストの上昇を抑制することができる。このため、撮像装置１０では、周辺が高い照度とされた通常撮影状態においては、広い画角の領域において、高解像度の画像を提供することができる。

さらに、本発明に係る撮像装置１０では、画像処理部１２が光カットフィルタ１３における透過波長の上限値に合致する補正式、すなわち光カットフィルタ１３で見た中心領域Ａｃのカット波長と周辺領域Ａｐのカット波長とに合致する補正式に基づいて画像データを補正するので、より視認性の高い周辺画像を得ることができる。特に、本実施例では、中心領域Ａｃと周辺領域Ａｐとで、共通の補正式（式（１３））を用いつつ互いに異なる各係数（ａ_１(１)〜ａ_１(４)およびｂ_１(１)〜ｂ_１(４)と、ａ_２(１)〜ａ_２(４)およびｂ_２(１)〜ｂ_２(４)）を用いることで、それぞれのカット波長に合致させていることから、より簡単な構成で視認性の高い周辺画像を得ることができる。

本発明に係る撮像装置１０では、倍率色収差補正工程（倍率色収差補正部１４０）において倍率色収差が補正された画像データの歪曲収差を歪曲収差補正工程（歪曲収差補正部１６０）において補正することから、倍率色収差に加えて歪曲収差を適切かつ簡易に補正することができ、より視認性の高い周辺画像を得ることができる。これは、歪曲収差は、波長に拘らず一定の量だけ生じるものであることから、倍率色収差が補正された画像データの歪曲収差の補正を行えば、各色のデータ毎に補正しなくても、適切に補正することができることによる。

これらのことから、本発明に係る撮像装置１０では、撮影光学系１１の視野を広角に設定する場合には、特に好適である。これは、撮影光学系１１が、視野が広角に設定された場合、光軸Ｌから離れた距離における倍率色収差の影響が特に大きくなることによる。

本発明に係る撮像装置１０では、倍率色収差の補正用の第１座標変換メモリ（座標変換メモリ１４２）と歪曲収差の補正用の第２座標変換メモリ（座標変換メモリ１６２）とを別々に設け、第１座標変換メモリとして低容量低レイテンシまたは低容量多ポートのＳＲＡＭ等を使用し、第２座標変換メモリとして各色成分共通の単一ポート大容量高レイテンシのＤＲＡＭ等を使用していることから、コストを抑制することができる。これは、従来のようにＲＧＢ色成分毎に倍率色収差と歪曲収差を同時に補正すべく座標変換する方法では、ＲＧＢ色成分毎に、大容量で、かつＳＲＡＭのようにランダムアクセス時にレイテンシが小さいメモリまたは多ポートのメモリが必要であり、大容量のＳＲＡＭや、複数のポートを持つメモリは非常に高価であり、特に大容量が必要となる高解像度の場合には装置の値段が非常に高価となってしまうことによる。

したがって、本発明に係る撮像装置１０では、コストの上昇を抑制しつつ倍率色収差を補正可能であり、かつ周辺が暗い場合であっても視認性の高い周辺画像を取得することができる。

なお、上記した実施例では、光カットフィルタ１３は、カット波長９５０ｎｍの中心領域Ａｃとカット波長７００ｎｍの周辺領域Ａｐとを有する構成とされていたが、撮像素子１６の撮像面１６ａにおいて、光軸Ｌ上では赤外領域の光の透過を許しかつ光軸Ｌからの距離が最も離れた位置では赤外領域の光の透過を阻むように、光軸Ｌからの距離が大きくなるほど透過を許す光の波長の上限値を小さくする設定とされていればよく、上記した実施例に限定されるものではない。例えば、光カットフィルタは、光軸Ｌを中心とする同心状に、透過を許す光の波長の上限値の異なる３つ以上の領域を有する構成であってもよく、光軸Ｌからの距離が大きくなるにしたがって透過を許す光の波長の上限値が連続的に減少する構成であってもよい。このとき、光カットフィルタは、倍率色収差の影響に起因する周辺画像の視認性への影響が問題とならない領域において赤外領域の光の透過を許すように、透過波長の上限値が変化する設定とされていることが望ましい。

また、上記した実施例では、光カットフィルタ１３における光軸Ｌからの距離が最も離れた位置（実施例では周辺領域Ａｐ）のカット波長（透過を許す光の波長の上限値）が、赤外領域の光の透過を阻むために、一般的に可視領域と赤外領域との境界波長とされる７００ｎｍに設定されていたが、倍率色収差の影響に起因する周辺画像の視認性が確保できるように実質的に赤外領域の波長の光を阻むことができるものであればよいことから、上記境界波長である７００ｎｍに限定されるものではない。例えば、光カットフィルタにおける光軸Ｌからの距離が最も離れた位置（実施例では周辺領域Ａｐ）のカット波長は、６５０ｎｍに設定されていてもよい。ここで、カラーの周辺画像を得るために撮像素子において赤の色成分を認識する必要があることから、光軸Ｌからの距離が最も離れた位置（実施例では周辺領域Ａｐ）のカット波長は、この赤の波長の認識のために必要な波長と倍率色収差の影響に起因する周辺画像の視認性の確保の観点から不必要な波長とを勘案して、設定することが望ましい。

さらに、上記した実施例では、ベイヤー配列の色フィルタを持つ撮像素子１６が用いられていたが、他の配列の色フィルタ、例えば、ＣＭＹＧ配列やＲＧＢ＋Ｉｒ(赤外)配列などの他の色フィルタ配列を持つ撮像素子であってもよく、上記した実施例に限定されるものではない。特に、このように４色の色フィルタ配列を持つ撮像素子では、倍率色収差補正においてさらに低レイテンシのメモリまたは４ポートのＲＡＭが必要であることから、実施例のＲＧＢのような３色のタイプと比較して、実施例のように倍率色収差補正のための座標変換メモリと歪曲収差補正のための座標変換メモリとを個別に設けることによる画像処理における効果がより大きな意味をもつこととなる。

上記した実施例では、画像処理部１２が、倍率色収差補正部１４０において倍率色収差を補正し、この後に歪曲収差補正部１６０において歪曲収差を補正する構成とされていたが、光カットフィルタに設定された透過を許す光の波長の上限値に合致する補正式に基づいて画像データを補正するものであればよく、上記した実施例に限定されるものではない。

以上、本発明を実施例に基づき詳述してきたが、この具体的な構成に限らず、本発明の趣旨を逸脱しない程度の設計的変更は、本発明の技術的範囲に含まれる。

本発明に係る撮像装置の構成を説明するための説明図である。光カットフィルタの例を模式的な断面で示す説明図であり、（ａ）は連続的に厚さ寸法が変化する例を示し、（ｂ）は階段状に厚さ寸法が変化する例を示し、（ｃ）は（ｂ）の構造において全体の厚さ寸法が均一とされた例を示している。本実施例の光カットフィルタを正面から見た模式的な説明図である。本実施例の光カットフィルタにおける波長と透過率との関係を示すグラフである。図２とは異なる構成の光カットフィルタを示す説明図である。横軸を空間周波数、縦軸をＭＴＦとして、カット波長７００ｎｍの光カットフィルタを用いた場合に撮像素子上に結像されるスポットの特性を示すグラフである。横軸を空間周波数、縦軸をＭＴＦとして、カット波長９５０ｎｍの光カットフィルタを用いた場合に撮像素子上に結像されるスポットの特性を示すグラフである。横軸を空間周波数、縦軸をＭＴＦとして、本発明に係る光カットフィルタを用いた場合に撮像素子上に結像されるスポットの特性を示すグラフである。照度０．５ｌｕｘの環境（薄暗い環境）下において、カット波長７００ｎｍの光カットフィルタを用いて撮像したチャートの撮像画像を示す説明図である。照度０．５ｌｕｘの環境（薄暗い環境）下において、カット波長９５０ｎｍの光カットフィルタを用いて撮像したチャートの撮像画像を示す説明図である。照度０．５ｌｕｘの環境（薄暗い環境）下において、本発明に係る光カットフィルタを用いて撮像したチャートの撮像画像を示す説明図である。ベイヤー補完を説明するための説明図であり、（ａ）はベイヤー配列のカラーフィルタを模式的に示し、（ｂ）はＧ色成分画素データのベイヤー補完の様子を示し、（ｃ）はＲ色成分画素データのベイヤー補完の様子を示し、（ｄ）はＢ色成分画素データのベイヤー補完の様子を示している。ＭＴＦ補正部を説明するために構成を概略的に示す説明図である。ＭＴＦ補正部のＦＩＲフィルタの各係数の一例を示す説明図である。、画像表示部に表示される画面（撮像素子の撮像面）上での倍率色収差および歪曲収差を説明するための説明図である。従来の倍率色収差および歪曲収差の補正を説明するための説明図である。撮像装置における倍率色収差および歪曲収差の補正を説明するための説明図であり、（ａ）は倍率色収差の補正の様子を示し、（ｂ）は歪曲収差の補正の様子を示している。倍率色収差補正部の構成の一例を示す説明図である。倍率色収差補正座標変換演算部の他の構成を示す説明図であり、（ａ）は一つ目の他の例を示し、（ｂ）は二つ目の他の例を示し、（ｃ）は三つ目の他の例を示している。歪曲収差補正部の構成の一例を示す説明図である。

符号の説明

１０撮像装置
１１撮影光学系
１２画像処理部
１３光カットフィルタ
１６撮像素子
１６ａ撮像面
１４２（第１座標変換メモリとしての）倍率色収差補正用座標変換メモリ
１６２（第２座標変換メモリとしての）歪曲収差補正用座標変換メモリ
Ａｃ（複数の領域の１つとしての）中心領域
Ａｐ（複数の領域の１つとしての）周辺領域
Ｌ光軸

Claims

被写体像を撮像素子に結像させる撮影光学系と、前記撮像素子からの出力信号に基づいて画像データを生成しかつ該画像データを補正しさらに補正した該画像データを出力可能な画像処理部とを備える撮像装置であって、
前記撮影光学系と前記撮像素子との間には、該撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、前記光軸からの距離が大きくなるほど透過を許す光の波長の上限値を小さくする設定とされた光カットフィルタが設けられ、
前記画像処理部は、対象とする光の波長範囲を異にする複数の補正式のうち、前記光軸からの距離に応じて前記光カットフィルタにおける透過波長の上限値に合致する前記補正式に基づいて前記画像データを補正することを特徴とする撮像装置。
前記光カットフィルタでは、前記光軸を中心とする同心状に、透過波長の上限値の異なる複数の領域が設定されていることを特徴とする請求項１に記載の撮像装置。
前記各補正式は、前記撮影光学系の設定された特性において、対象となる波長範囲の光に対して生じる倍率色収差を補正するものであることを特徴とする請求項１または請求項２に記載の撮像装置。
前記画像処理部は、前記各補正式に基づいて前記画像データの倍率色収差を補正する倍率色収差補正工程と、
該倍率色収差補正工程により倍率色収差が補正された前記画像データの歪曲収差を補正する歪曲収差補正工程と、を有することを特徴とする請求項３に記載の撮像装置。
前記画像処理部は、前記倍率色収差補正工程のための第１座標変換メモリと、前記歪曲収差補正工程のための第２座標変換メモリとを有することを特徴とする請求項４に記載の撮像装置。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、
前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さく、
前記画像処理部は、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正することを特徴とする撮像装置。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、
前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなり、
前記画像処理部は、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正することを特徴とする撮像装置。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備え、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さい撮像装置を用いた画像補正方法であって、
前記撮像素子からの出力信号に基づいて画像データを生成する工程と、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正する工程と、を有することを特徴とする画像補正方法。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備え、前記光カットフィルタ部は、前記撮像光学系の光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなる撮像装置を用いた画像補正方法であって、
前記撮像素子からの出力信号に基づいて画像データを生成する工程と、前記光カットフィルタ部における透過波長の上限値に対応する補正式に基づいて前記画像データの収差を補正する工程と、を有することを特徴とする画像補正方法。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、
前記光カットフィルタ部は、前記撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、該光軸からの距離が大きくなるほど透過を許す光の波長の上限値が小さいことを特徴とする撮像装置。
被写体像を撮像素子に結像させる撮影光学系と、該撮影光学系と前記撮像素子との間に設けられた光カットフィルタ部と、前記撮像素子からの出力信号に基づいて画像データを生成する画像処理部と、を備える撮像装置であって、
前記光カットフィルタ部は、前記撮像素子の撮像面において、前記撮影光学系の光軸上では赤外領域の光の透過を許しかつ該光軸からの距離が最も離れた位置では赤外領域の光の透過を阻むように、該光軸からの距離が大きくなるにしたがって透過を許す光の波長の上限値が段階的に小さくなることを特徴とする撮像装置。