JP5333163B2 - 撮像装置 - Google Patents

Description

本発明は、レンズの色収差により発生する画像の色ずれを補正することができる撮像装置に関するものである。

一般に、映像を撮影する撮影装置（カメラ）に用いられるレンズは、入射する光の波長に依存して屈折率が変化する。このため、入射した光の波長が長い場合と波長が短い場合とでは結像する位置にずれが生じる。そのため、レンズを介して撮影された映像にはにじみが生じる。これがレンズの色収差と呼ばれるものである。
つまり、映像を赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色から構成し、緑色の帯域の波長を基準にした場合、赤色の帯域の波長は緑色の帯域より長く、青色の帯域の波長は緑色の帯域より短くなる。そのため、緑色に比べて波長の長い赤と波長の短い青とが緑色を挟んで互いに異なる方向にずれるため、白色と黒色の境界部の映像が撮影された際に境界部には赤色或は青色のにじみが発生する。

色収差には、軸上色収差と倍率色収差とがある。
軸上色収差とはレンズの焦点距離が波長によって違うために、色によって像面の位置が前後にずれることであり、倍率色収差とは色によって像の倍率が異なり、像の大きさが異なることである。
軸上色収差は、絞りの調整で改善できるが、倍率色収差の改善は困難であった。

そこで、倍率色収差による映像のにじみを補正する技術として、緑に対する赤、青の光の結像位置のずれの量を各画素について予め求めておき、撮影された映像の赤と青の原色信号についてずれを補正する技術が特許文献１に開示されている。

また、一般に映像を記録媒体に保存する形式には輝度Ｙと色差ＣｂＣｒが用いられる。しかしながら、倍率色収差は光の波長の違いによって発生するため、補正をおこなう場合はＲＧＢでおこなわなければ良好な結果が得られない。そこで、特許文献２には、輝度（Ｙ）信号と色差（ＣｂＣｒ）信号をＲ、Ｇ、Ｂの原色信号に変換し、レンズの歪曲収差によるひずみと、倍率色収差による色にじみとを補正する技術が開示されている。

特開平６−２９２２０７号公報 特開２０００−３４３７号公報

しかしながら、特許文献１記載の撮像装置では、全ての画素に関して緑に対する赤、青の光の結像位置のずれの量を予め求め、記憶しておく必要があり非常に手間がかかっていた。
また、特許文献２記載の収差補正方法では、ＹＣｒからＲを、ＹＣｂからＢを簡易的に変換してからＲとＢを補正して補正後のＣｂ’Ｃｒ’を生成しており、処理量は削減されるが、ＹにもＲＢ成分が含まれているにもかかわらず全く処理をおこなっていないために、色ずれが残ってしまうという問題があった。

そこで、色収差による色にじみの補正をおこなうと共に、色変換をおこなう際にＹの高周波成分の精細度感を低下させることのない撮像装置を提供することを目的とする。

上記の目的を達成するために、本発明は、（１）〜（３）に記載の撮像装置を提供する。
（１） 入射した光を光電変換し赤色光，緑色光，及び青色光に対応したそれぞれの検出信号として出力する撮像素子３と、前記撮像素子３から出力された赤色光，緑色光，及び青色光に対応する前記検出信号を補正前の輝度信号及び補正前の色差信号に変換して出力する第１の輝度・色差変換部１４と、前記撮像素子３に撮像対象となる像を結像すると共に、撮像時のレンズ情報である撮像情報を出力するレンズ部２と、複数のレンズのレンズ情報とレンズ情報に対応した倍率色収差補正データが関連付けられ記憶されており、前記レンズ部２から前記撮像情報が入力した際に、前記撮像情報に近似するレンズ情報に対応した倍率色収差補正データを出力する補正データ記憶部７と、前記補正データ記憶部７から出力された前記倍率色収差補正データに基づいて前記撮像素子３から出力された赤色光，緑色光，及び青色光に対応する前記検出信号の色収差を補正し、赤色光，緑色光，及び青色光に対応する補正信号として出力する色収差補正部９，１０と、前記色収差補正部９，１０から出力した赤色光，緑色光，及び青色光に対応する前記補正信号を輝度信号及び色差信号に変換し補正後の輝度信号及び出力色差信号として出力する第２の輝度・色差変換部と１１、前記補正データ記憶部７から出力された前記倍率色収差補正データに基づいて、前記第１の輝度・色差変換部１４から出力された補正前の輝度信号及び、前記第２の輝度・色差変換部１１から出力された補正後の輝度信号の混合する比率を算出する混合比設定部１２と、前記混合比設定部１２で算出された比率に基づき補正前の輝度信号及び補正後の輝度信号を混合し、出力輝度信号として出力する輝度信号混合部１３と、を備えることを特徴とする撮像装置１１。
（２） 入射した光を光電変換し赤色光，緑色光，及び青色光に対応したそれぞれの検出信号として出力する撮像素子３と、前記撮像素子３から出力された赤色光，緑色光，及び青色光に対応する前記検出信号を補正前輝度信号及び補正前色差信号に変換して出力する第１の輝度・色差変換部１４と、前記撮像素子３に撮像対象となる像を結像すると共に、撮像時のレンズ情報である撮像情報を出力するレンズ部２と、複数のレンズのレンズ情報とレンズ情報に対応した倍率色収差補正データが関連付けられ記憶されており、前記レンズ部２から前記撮像情報が入力した際に、前記撮像情報に近似するレンズ情報に対応した複数の倍率色収差補正データを出力する補正データ記憶部７と、前記補正データ記憶部７から出力された複数の前記倍率色収差補正データに基づいて前記撮像情報に対応する倍率色収差補正データを算出し、補正データとして出力する補正パラメータ演算部８と、前記補正パラメータ演算部８から出力された前記補正データに基づいて前記撮像素子３から出力された赤色光，緑色光，及び青色光に対応する前記検出信号の色収差を補正し、赤色光，緑色光，及び青色光に対応する補正信号として出力する色収差補正部９，１０と、前記色収差補正部９，１０から出力した赤色光，緑色光，及び青色光に対応する前記補正信号を輝度信号及び色差信号に変換し補正後の輝度信号及び出力色差信号として出力する第２の輝度・色差変換部１１と、前記補正パラメータ演算部８から出力された前記補正データに基づいて、前記第１の輝度・色差変換部１４から出力された補正前輝度信号及び、前記第２の輝度・色差変換部から出力された補正後の輝度信号の混合する比率を算出する混合比設定部１２と、前記混合比設定部１２で算出された比率に基づき補正前輝度信号及び補正後の輝度信号を混合し、出力輝度信号として出力する輝度信号混合部１３と、を備えることを特徴とする撮像装置２１。
（３） 前記第１の輝度・色差変換部１４で変換された補正前の輝度信号及び色差信号に対して信号補正をおこなった後、補正前の輝度信号及び色差信号を赤色光，緑色光，及び青色光に対応する信号に変換する原色信号変換部６を更に備えることを特徴とする（１）または（２）に記載の撮像装置１。

本発明によれば、色収差による色にじみの補正をおこなうことができる。更に、色変換をおこなう際にＹの高周波成分の精細度感を維持することができる。

本発明の第１の実施形態の撮像装置の構成を示すブロック図である。 本発明の実施形態の撮像装置における補正の制御点を示す概略図である。 本発明の実施形態の撮像装置の動作を示すフローチャートである。 本発明の第２の実施形態の撮像装置の構成を示すブロック図である。 本発明の第３の実施形態の撮像装置の構成を示すブロック図である。

以下に、本発明に係る倍率色収差補正装置及び撮像装置の実施形態について、図面を参照して説明する。
なお、全図において、共通な機能を有する部品には同一符号を付して示し、一度説明したものに関しては、繰り返した説明を省略する。

＜第１の実施形態＞
図１は本発明の撮像装置の構成の一実施例を示したブロック図である。
撮像装置１は、レンズ部２、と撮像素子３と前処理部（第１の輝度・色差変換部）４と倍率色収差補正部５を備えている。
更に、倍率色収差補正部５は、ＲＧＢ変換部（原色信号変換部）６と、補正データ記憶部７と、補正パラメータ演算部８と、Ｒ倍率色収差補正部９と、Ｂ倍率色収差補正部１０と、ＹＣ変換部（第２の輝度・色差変換部）１１と、混合比設定部１２と、Ｙ混合部（輝度信号混合部）１３とを備える。

レンズ部２は、撮像対象となる対象物の画像を光学的に取り込み撮像素子３上に結像させるものである。
撮像素子３には、ＣＣＤ（Charge Coupled Device）或はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などのイメージセンサが用いられる。イメージセンサでは、入射した光が光電変換され光量に応じた検出信号を出力する。
１つの撮像素子３でカラー画像を撮像する単板方式の場合、撮像素子３にはイメージセンサ上に特定の色を透過するカラーフィルタがイメージセンサの各画素に対応して配置され、入射した光がカラーフィルタにより光の三原色に分けられ、カラー画像が撮像される。
ここで、イメージセンサの各画素に対するカラーフィルタの赤色（Ｒ），緑色（Ｇ）及び青色（Ｂ）の配置の一例として、ベイヤ配列がある。

ベイヤ配列は、カラーフィルタのＲ，Ｇ，Ｂの内ＧをＲ，Ｂの２倍の数として、４画素を一つの単位にした際にＧに２画素をＲ及びＢに各１画素を振り分け、これらを使ってカラー画像の情報を得るものである。
撮像素子３では、入射した光が光電変換されＲ，Ｇ，Ｂの各色の色（ＲＧＢ）の検出信号として出力される。

前処理部４は、ＲＧＢの検出信号が入力した際に、必要に応じて画素欠陥の補間処理をおこなう。その後、ＲＧＢの検出信号を輝度（Ｙ）信号及び色差（ＣｂＣｒ）信号に変換すると共に、ガンマ調整処理等の信号処理をおこなう。
Ｒ，Ｇ，Ｂの各色の色信号は、情報量が多いことから処理をおこなうのに機器に付加がかかり、保存する場合の記録容量を多く必要とする。このため、「明るさに較べて色に対する分解能が低い」という人間の目の特性を利用して色成分の情報を削減する色差方式用いて伝送や記録の効率化を図っている。

ＲＧＢ変換部６は、入力したＹ信号及びＣｂＣｒ信号をＲＧＢ信号に再変換する。

補正データ記憶部７は、レンズのズーム位置や絞りの位置等のレンズデータ（レンズ情報）に応じた倍率色収差補正データが予め記憶されている。
ここで、倍率色収差補正データは、ある１つのレンズデータに対応する１画面の全ての制御点における倍率色収差補正パラメータの集まりを意味しており、倍率色収差補正パラメータは、ある画素における倍率色収差補正データを意味している。

補正データ記憶部７に記憶されている倍率色収差補正データは、レンズデータに対応した全てのデータであることが理想的ではある。しかしなら、ここでは記憶するデータ数を削減するため、複数のサンプルレンズデータを予め決めておき、そのサンプルレンズデータに対応する倍率色収差補正データのみ記憶する。
更に、あるサンプルレンズデータにおける倍率色収差補正データとして全画素に対応する倍率色収差補正データを持つのは現実的ではない。そこで、図２（ａ）に示すように、取り込んだ画像に対して所定の間隔（図２（ａ）では、格子状）に分割するよう設定した各制御点における倍率色収差補正パラメータを持つようにする。

倍率色収差補正パラメータは、図２（ｂ）に示すようにある画素におけるＧ光の中心位置に対してＲ光の中心位置及びＢ光の中心位置がそれぞれ水平（Ｒｘ及びＢｘ）、垂直（Ｒｙ及びＢｙ）に離れている距離を示すものである。

補正パラメータ演算部８は、レンズ部２から撮像時のレンズのズーム位置や絞りの位置等のレンズデータが入力した際に、入力したレンズデータに対応するサンプルレンズデータが補正データ記憶部７に記憶されている場合、入力したレンズデータに対応する倍率色収差補正データを読み出す。
一方、撮像時のレンズのズーム位置や絞りの位置等のレンズデータが補正パラメータ演算部８に入力した際に、入力したレンズデータに対応するサンプルレンズデータが補正データ記憶部７に記憶されていない場合、補正パラメータ演算部８は、入力したレンズデータに近似するサンプルレンズデータに対応する倍率色収差補正データを複数読み出し、読み出された倍率色収差補正データを補間処理して入力したレンズデータに対応する補間された倍率色収差補正データを生成する。

更に、補正パラメータ演算部８では、画素毎の補正をおこなうため倍率色収差補正データから処理対象画素の近傍の複数の制御点における倍率色収差補正パラメータを抽出し、複数の制御点における倍率色収差補正パラメータを補正して処理対象画素の倍率色収差補正パラメータを生成する。

Ｒ倍率色収差補正部９及びＢ倍率色収差補正部１０は、それぞれ入力したＲ信号及びＢ信号を補正パラメータ演算部８から入力される補正パラメータに基づいて補正をおこなう。

ＹＣ変換部１１は、ＲＧＢ信号をＹ信号とＣｂＣｒ信号とに変換する。
混合比設定部１２は、補正されたＹ信号と補正前のＹ信号との混合比を補正パラメータ演算部８から入力される倍率色収差補正パラメータの補正量に基づいて算出する。
Ｙ混合部１３は、混合比設定部１２で算出された混合比を用いて補正されたＹ信号と補正前のＹ信号とを混合し新たなＹ信号として出力する。

次に、図３のフローチャートを合わせ用いて、本発明の撮像装置１の動作について説明する。
撮影時に補正パラメータ演算部８では、撮影に用いるレンズのズーム位置や絞りの位置等のレンズデータをレンズ部２から入手する。（ステップＳ１）

補正パラメータ演算部８はレンズ部２からのレンズデータが入力すると、補正データ記憶部７に記憶されているサンプルレンズデータのうち、入力したレンズデータに等しい、或は、近似するサンプルレンズデータに対応する倍率色収差補正データを読み出し、必要に応じて読み出された倍率色収差補正データを補正する。

更に、補正パラメータ演算部８では、倍率色収差補正データから各画素位置での倍率色収差補正パラメータを倍率色収差補正データが有する各制御点における倍率色収差補正パラメータを補完して算出する。この結果、各色の各画素における倍率色収差補正パラメータを得ることができる。（ステップＳ２）

各色の各画素における倍率色収差補正パラメータは混合比設定部１２に入力し、補正後のＹ信号と補正前のＹ信号との混合比を補正パラメータ演算部８から入力される倍率色収差補正パラメータの補正量に基づいて算出する。（ステップＳ３）

レンズ部２を経由して撮像素子３に入力した映像光は、撮像素子３内で光電変換されＲ信号，Ｇ信号，Ｂ信号からなるＲＧＢの検出信号として出力される。
撮像素子３から出力された検出信号は前処理部４に入力し、画素欠陥の補間処理がおこなわれる。前処理部４では、更にＲＧＢの検出信号からＹ信号及びＣｂＣｒ信号への色空間の変換をおこなった後、Ｙ信号とＣｂＣｒ信号を用いてガンマ調整処理等の信号処理をおこなう。

前処理部４で変換されたＹ信号及びＣｂＣｒ信号は、倍率色収差補正部５に入力し、 倍率色収差補正部５に入力したＹ信号及びＣｂＣｒ信号は、ＲＧＢ変換部６においてＲＧＢ信号に再変換される。（ステップＳ４）

Ｒ倍率色収差補正部９及びＢ倍率色収差補正部１０は、それぞれ入力したＲ信号及びＢ信号に対して補正パラメータ演算部８から入力される倍率色収差補正パラメータに基づいて１画素単位で補正をおこなう。（ステップＳ５）

補正されたＲ信号及びＢ信号と、Ｇ信号とがＹＣ変換部１１に入力し、ＲＧＢ信号からＹ信号及びＣｂＣｒ信号に変換される。（ステップＳ６）

ステップＳ６で変換された補正後のＣｂＣｒ信号は外部に出力され、補正後のＹ信号はＹ混合部１３に入力する。Ｙ混合部１３には、前処理部４から補正前のＹ信号も入力する。
Ｙ混合部１３では、入力した補正前のＹ信号と補正後のＹ信号とを混合比設定部１２で算出された混合比を用いて混合し新たなＹ信号として外部に出力する。（ステップＳ７）
ここで、補正前のＹ信号をＹａ、補正後のＹ信号をＹｂ、混合する際のＹａの割合をｔとすると、混合後のＹ信号（Ｙｃ）は、次式で表される。
Ｙｃ＝ｔ×Ｙａ＋（１−ｔ）×Ｙｂ

全画素の色収差補正が終了したか否かを判定する。（ステップＳ８）
ステップＳ８の判定において全画素の色収差補正が終了していないとされた場合は、ステップＳ５に戻って次の画素の色収差補正をおこなう。一方、ステップＳ８の判定において全画素の色収差補正が終了したと判定された場合、全ての処理を終了する。

＜第２の実施形態＞
図１に示す第１の実施形態に対して、前処理部３及びＲＧＢ変換部６を削除した第２の実施形態を図４に示す。
第２の実施形態については、第１の実施形態の説明と異なる点を中心に説明する。
図４に示すように、第２の実施形態の撮像装置１１では撮像素子３から出力されたＲＧＢの検出信号をＹ信号及びＣｂＣｒ信号に変換することなく、直接Ｒ倍率色収差補正部９及びＢ倍率色収差補正部１０に入力して倍率色収差の補正をおこなっている。
ここで、Ｒ倍率色収差補正部９及びＢ倍率色収差補正部１０に入力する前に、ＲＧＢの検出信号に対して画素欠陥の補間処理をおこなってもよい。

更に、第２の実施形態では、撮像素子３から出力されたＲＧＢの検出信号に対して直接倍率色収差補正をおこなっている。そこで、撮像素子３から出力されたＲＧＢの検出信号は、Ｒ倍率色収差補正部９及びＢ倍率色収差補正部１０に送られると共に、ＹＣｂＣｒ変換部１４においてＹ信号が生成され、補正前のＹ信号（Ｙａ）としてＹ混合部１３に対して出力される。

＜第３の実施形態＞
図４に示す第２の実施形態に対して、補正パラメータ演算部７を削除した第３の実施形態を図５に示す。
第３の実施形態については、第２の実施形態の説明と異なる点を中心に説明する。
第３の実施形態の撮像装置２１では、レンズ部２から出力されたレンズデータを直接補正データ記憶部７に入力する。補正データ記憶部７では、入力したレンズデータに最も近似するサンプルレンズデータの倍率色収差補正データを読み出し、レンズ部２からレンズ部２から入力したレンズデータに対応する倍率色収差補正データとしてＲ倍率色収差補正部９及びＢ倍率色収差補正部１０に出力する。
補正データ記憶部７に記憶されたサンプルレンズデータに対応する倍率色収差補正データが多い場合、及びそれぞれのサンプルレンズデータに対応する倍率色収差補正データに変化が少ない場合に、直接補正データ記憶部７にレンズデータを入力する第３の実施形態の構成は有効である。

以上、説明したように、本発明の実施形態では、予めいくつかのサンプルレンズデータに対応した倍率色収差補正データを補正データ記憶部５に記憶し、対象となるレンズデータに対応した倍率色収差補正データを補間して生成するため、対象となるレンズデータに適合した倍率色収差補正をおこなうことができる。

更に、本発明の実施形態では、Ｙ混合部９を備えることによって、状況に応じて処理前のＹ信号（Ｙａ）と補正後のＹ信号（Ｙｂ）の混合比率（ｔ：１−ｔ）を倍率色収差補正データに基づいて変えることができる。
それにより、例えば色収差の少ないレンズを用い、なお且つ、前処理部４においてＹａにエッジ強調などのエンハンス処理を施している場合に、Ｙａの比率を高めることによって精細感のある画像を得ることが可能になる。一方、色収差の大きなレンズを用いた場合には、Ｙｂの比率を高めることにより色にじみが軽減された画像を得ることができる。

また、第２の実施形態によれば、より少ない構成を用いた場合でも、精細感が高く、倍率色収差の補正がされた画像を得ることができる。

１，１１，２１・・・撮像装置
２・・・レンズ部
３・・・撮像素子
４・・・前処理部（第１の輝度・色差変換部）
５・・・倍率色収差補正部
６・・・ＲＧＢ変換部（原色信号変換部）
７・・・補正データ記憶部
８・・・補正パラメータ演算部
９・・・Ｒ倍率色収差補正部
１０・・・Ｂ倍率色収差補正部
１１・・・ＹＣ変換部（第２の輝度・色差変換部）
１２・・・混合比設定部
１３・・・Ｙ混合部（輝度信号混合部）
１４・・・ＹＣｂＣｒ変換部（第１の輝度・色差変換部）

Claims (3)

1. 入射した光を光電変換し赤色光，緑色光，及び青色光に対応したそれぞれの検出信号として出力する撮像素子と、
   前記撮像素子から出力された赤色光，緑色光，及び青色光に対応する前記検出信号を補正前の輝度信号及び補正前の色差信号に変換して出力する第１の輝度・色差変換部と、
   前記撮像素子に撮像対象となる像を結像すると共に、撮像時のレンズ情報である撮像情報を出力するレンズ部と、
   複数のレンズのレンズ情報とレンズ情報に対応した倍率色収差補正データが関連付けられ記憶されており、前記レンズ部から前記撮像情報が入力した際に、前記撮像情報に近似するレンズ情報に対応した倍率色収差補正データを出力する補正データ記憶部と、
   前記補正データ記憶部から出力された前記倍率色収差補正データに基づいて前記撮像素子から出力された赤色光，緑色光，及び青色光に対応する前記検出信号の色収差を補正し、赤色光，緑色光，及び青色光に対応する補正信号として出力する色収差補正部と、
   前記色収差補正部から出力した赤色光，緑色光，及び青色光に対応する前記補正信号を輝度信号及び色差信号に変換し補正後の輝度信号及び出力色差信号として出力する第２の輝度・色差変換部と、
   前記補正データ記憶部から出力された前記倍率色収差補正データに基づいて、前記第１の輝度・色差変換部から出力された補正前の輝度信号及び、前記第２の輝度・色差変換部から出力された補正後の輝度信号の混合する比率を算出する混合比設定部と、
   前記混合比設定部で算出された比率に基づき補正前の輝度信号及び補正後の輝度信号を混合し、出力輝度信号として出力する輝度信号混合部と、
   を備えることを特徴とする撮像装置。
2. 入射した光を光電変換し赤色光，緑色光，及び青色光に対応したそれぞれの検出信号として出力する撮像素子と、
   前記撮像素子から出力された赤色光，緑色光，及び青色光に対応する前記検出信号を補正前輝度信号及び補正前色差信号に変換して出力する第１の輝度・色差変換部と、
   前記撮像素子に撮像対象となる像を結像すると共に、撮像時のレンズ情報である撮像情報を出力するレンズ部と、
   複数のレンズのレンズ情報とレンズ情報に対応した倍率色収差補正データが関連付けられ記憶されており、前記レンズ部から前記撮像情報が入力した際に、前記撮像情報に近似するレンズ情報に対応した複数の倍率色収差補正データを出力する補正データ記憶部と、
   前記補正データ記憶部から出力された複数の前記倍率色収差補正データに基づいて前記撮像情報に対応する倍率色収差補正データを算出し、補正データとして出力する補正パラメータ演算部と、
   前記補正パラメータ演算部から出力された前記補正データに基づいて前記撮像素子から出力された赤色光，緑色光，及び青色光に対応する前記検出信号の色収差を補正し、赤色光，緑色光，及び青色光に対応する補正信号として出力する色収差補正部と、
   前記色収差補正部から出力した赤色光，緑色光，及び青色光に対応する前記補正信号を輝度信号及び色差信号に変換し補正後の輝度信号及び出力色差信号として出力する第２の輝度・色差変換部と、
   前記補正パラメータ演算部から出力された前記補正データに基づいて、前記第１の輝度・色差変換部から出力された補正前輝度信号及び、前記第２の輝度・色差変換部から出力された補正後の輝度信号の混合する比率を算出する混合比設定部と、
   前記混合比設定部で算出された比率に基づき補正前輝度信号及び補正後の輝度信号を混合し、出力輝度信号として出力する輝度信号混合部と、
   を備えることを特徴とする撮像装置。
3. 前記第１の輝度・色差変換部で変換された補正前の輝度信号及び色差信号に対して信号補正をおこなった後、補正前の輝度信号及び色差信号を赤色光，緑色光，及び青色光に対応する信号に変換する原色信号変換部を更に備えることを特徴とする請求項１または請求項２に記載の撮像装置。

Images