JP3585710B2 - カラー撮像装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、単一の撮像素子を用いて、カラー画像を得ることができるカラー撮像装置及び記録媒体に関する。
【０００２】
【従来の技術】
従来から、単一の撮像素子を用いてカラー画像を撮像する単板式のカラー撮像装置が動画像および静止画像の撮像に用いられている。
【０００３】
図２は、従来より知られている撮像素子の色フィルタの配列構成を示す図である。ここで、Ｒは赤色光透過フィルタ、Ｇは緑色光透過フィルタ、Ｂは青色光透過フィルタである。また、Ｒフィルタと同じ行上のＧフィルタをＧ１、Ｂフィルタと同じ行上のＧフィルタをＧ２として、Ｇフィルタを区別して示している。この色フィルタ配列は、一般にベイヤー配列と呼ばれている。
【０００４】
これらの色フィルタとともに、撮像素子が、水平および垂直方向Ｈ，Ｖに沿って、配列周期ＰＨ，ＰＶで行列状に配列される。水平および垂直方向Ｈ，Ｖは、相互に直交する。この撮像装置において、水平および垂直方向Ｈ，Ｖのサンプリング周波数ｆＨ，ｆＶは、水平および垂直方向Ｈ，Ｖの配列周期の逆数であり、以下の式で示される。
ｆＨ＝１／ＰＨ
ｆＶ＝１／ＰＶ （１）
以上示した色フィルタ配列を有する撮像素子を用いると、モアレが少なく解像度の高い画像が得られることが従来より知られている。
【０００５】
図１０は、図２に示した色フィルタの撮像素子を用いたカラー撮像装置で得られる輝度信号の基底帯域、及び色差信号のモアレ（以下、色モアレと云う）のキャリア周波数を示す空間周波数平面図である。図１０では、輝度信号の基底帯域をハッチングを付して示す。図１０の輝度信号の基底帯域は、以下の４カ所を頂点とする矩形領域である。
（−ｆＨ／２， ０）
（ ｆＨ／２， ０）
（−ｆＨ／２，ｆＶ／２）
（ ｆＨ／２，ｆＶ／２） （２）
そして、この輝度信号の基底帯域内において、色モアレのキャリア周波数の存在する位置は、５カ所である。図１０では、これらの位置を白丸で表している。ここから、空間周波数平面上の（ｆＨ／２，０）および（０，ｆＶ／２）に色差信号のモアレが発生していることがわかる。すなわち、ベイヤー配列を有する撮像素子の場合であっても、サンプリング周波数の１／２の周波数に色モアレのキャリア周波数が発生するため、サンプリング周波数の１／２の周波数までを解像することができない。
【０００６】
この課題を解決するカラー撮像装置として、図１１に示す特開平４−２７８７９１号公報（以下、従来例１と記す）に記載されたカラー撮像装置が知られている。このカラー撮像装置では、色差信号Ｒ−Ｙ，Ｂ−Ｙは、次式で計算される。
【０００７】
【数１】

【０００８】
ここで、周波数空間上（ｆＨ／２，０）にある白黒の被写体が撮像される場合について考える。この被写体は、周期２ＰＨの縦縞であり、白黒であるため、Ｒ＝Ｇ２，Ｂ＝Ｇ１となる。したがって、Ｒ−Ｇ２、Ｂ−Ｇ１はいずれも零となる。ゆえに、色差信号Ｒ−Ｙ，Ｂ−Ｙも零となり出力されない。このことは、空間周波数（ｆＨ／２，０）での色差信号のモアレ（図１０中の５０）が消滅することを意味している。
【０００９】
また、この従来例１の第２実施例では、色差信号Ｒ−Ｙ，Ｂ−Ｙは、次式で計算される。
【００１０】
【数２】

【００１１】
ここで、周波数空間上（０，ｆＶ／２）にある白黒の被写体が撮像される場合について考える。この被写体は、周期２ＰＶの横縞であり、白黒であるためＲ＝Ｇ１、Ｂ＝Ｇ２となる。したがって、Ｒ−Ｇ１、Ｂ−Ｇ２はいずれも零となる。ゆえに、色差信号Ｒ−Ｙ，Ｂ−Ｙも零となり出力されない。このことは、空間周波数（０，ｆＶ／２）での色差信号のモアレ（図１０中の５１）が消滅することを意味している。
【００１２】
このように、式（３）または（４）に基づき色差信号を生成することによって、空間周波数（ｆＨ／２，０）または空間周波数（０，ｆＶ／２）の色モアレを消滅させることができ、水平または垂直解像度を向上させることができる。
【００１３】
次に、図１１のカラー撮像装置における輝度信号の生成について説明する。
【００１４】
ここでは、Ｇ信号は、スイッチ１２８により図に示したようなＧ１信号とＧ２信号に分離される。このように分離されたＧ１信号、Ｇ２信号は、Ｒ信号、Ｂ信号とともに補間フィルタ１０６、１０７、１０８、１０９に入力され、各々同時化される。同時化されたＲ，Ｇ１，Ｇ２，Ｂ信号は輝度信号生成回路１２７に入力され、ここで次式により低域輝度信号ＹＬが計算される。
【００１５】
ＹＬ＝０．３０Ｒ＋０．５９（αＧ１＋βＧ２）＋０．１１Ｂ （５）
ただし、α＋β＝１である。つまり、低域輝度信号は、次式で示す理想的な混合比率によって生成される。
【００１６】
Ｒ：Ｇ：Ｂ＝０．３０：０．５９：０．１１ （６）
しかしながら、この低域輝度信号の生成においては、補間回路１０６、１０７、１０８、１０９で生成した補間信号を用いるので解像度は低いものとなっている。
【００１７】
そこで、この低域輝度信号ＹＬは、後述する手法で得られる高域輝度信号信号ＹＨと加算器１１７で加算される。
【００１８】
高域輝度信号信号ＹＨは、スイッチ回路（ＳＷＹ）１２６によりスイッチングされることにより、センサ１０１からの読み出し順に再び並べ直され、バンドパスフィルタ１１６で高域輝度信号ＹＨとして取り出される。すなわち、図２に示した色フィルタのように配列された画素データを２次元バンドパスフィルタを施している。この原理について詳しく説明する。
【００１９】
無着色（白黒）被写体を撮像する場合では、図２に示した色フィルタのように配列された画素データは、異なる色フィルタの画素データもほぼ等しくなる。つまり、Ｒ＝Ｇ１＝Ｇ２＝Ｂとなる。従って、図２に示した色フィルタのように配列された画素データをそのまま輝度信号として用いても良い。更に、この画素データは、補間処理されていないため、高解像度となっている。なお、この輝度信号は、式（６）に示した理想的な混合比率ではない。
【００２０】
しかしながら、着色（カラー）被写体を撮像する場合、異なる色フィルタの画素データ間にレベル差が生じる。例えば緑色の被写体を撮像する場合では、ＲおよびＢのレベルは、Ｇ１およびＧ２に比べて低くなるので、市松模様の輝度信号となってしまう。つまり、輝度信号に偽信号（輝度モアレ）が発生する。
【００２１】
ベイヤー配列の色フィルタは、水平方向に２画素周期、垂直方向に２画素周期に配列されているので、この輝度モアレの空間周波数は、輝度信号の基底帯域の境界線に位置することになる。従って、この輝度モアレを除去するために、スイッチ回路（ＳＷＹ）１２６から出力された信号に輝度信号の基底帯域の境界線の周波数成分を除去するローパスフィルタ（ＬＰＦ）を施す。また、輝度信号において上述の理想的な混合比率によって生成された低域輝度信号ＹＬを使うため、スイッチ回路（ＳＷＹ）１２６から出力された信号から、低域輝度信号ＹＬに相当する周波数帯域を除去するハイパスフィルタ（ＨＰＦ）を施す。結局、スイッチ回路（ＳＷＹ）１２６から出力された信号は、低域成分と、基底帯域付近の高域成分が除かれることになるので、図１２に示すようなバンドパスフィルタ１１６が施されることになる。
【００２２】
図１２において、バンドパスフィルタ１１６は、横縞領域ＨＲを通過帯域とし縦縞領域ＴＲを制限帯域とする。さらに、破線部分ＨＢのゲインを零としている。２次元フィルタであるバンドパスフィルタ１１６の水平方向の特性は、図１３の模式図に示す白塗り領域のようになる。また、垂直方向のフィルタ特性は、図１４の模式図に示す白塗り領域のようになる。なお、図１３，１４はそれぞれ、図１２における水平軸上の周波数特性，垂直軸上の周波数特性を表している。
【００２３】
このように、従来例１では、高域輝度信号ＹＨが別途生成され、これが低域輝度信号ＹＬと加算器１１７で加算されることで輝度信号Ｙが生成される。これにより、高解像度画像が実現される。
【００２４】
【発明が解決しようとする課題】
しかしながら、この色モアレ抑圧処理を施したベイヤー配列を有する撮像素子を用いたカラー撮像装置でも、輝度信号の解像度は、理論的な限界から考えられる値よりも低いという問題点があった。このことについて、以下に説明する。
【００２５】
上述したように、従来例１では、高域輝度信号ＹＨが、色フィルタのように配列された画素データを２次元バンドパスフィルタを施すことで生成されている。すなわち、低周波数成分と、折り返し周波数付近の高周波数成分を除去することで生成されている。
【００２６】
このうち、低周波数成分は、低域輝度信号ＹＬにより補完される。すなわち、図１３，１４における縦縞領域は、低域輝度信号ＹＬにより補完される。
【００２７】
一方、折り返し周波数付近の高周波数成分は、補完されることはなく、カラー撮像装置が出力する画像信号の輝度信号には、この折り返し周波数付近の高周波数成分は失われたままである。
【００２８】
つまり、図１３においては水平方向の空間周波数ｆＨ／２の成分は零である。この周波数成分は、画像としては、水平方向に２ＰＨ周期の縦縞、要するに水平方向に白列と黒列が交互に並んだ縦縞を表しているが、上記従来のカラー撮像装置ではその周波数成分が零であるため、上記画像を再現できない。
【００２９】
また、図１４においては垂直方向の空間周波数ｆＶ／２の成分は零である。この周波数成分は、画像としては、水平方向に２ＰＶ周期の横縞、要するに水平方向に白行と黒行が交互に並んだ横縞を表しているが、上記従来のカラー撮像装置ではその周波数成分が零であるため、上記画像を再現できない。
【００３０】
以上のように折り返し周波数付近の高周波成分が失われると、再現不能な画像が生じることになり、実際の自然画像を撮像した場合、エッジがぼやけ、画質が損なわれてしまう。
【００３１】
本発明は、上記課題を解決するためになされたものであって、輝度信号における折り返し周波数成分を補償することにより、高解像度化を実現するカラー撮像装置及び記録媒体を提供することを目的とする。
【００３２】
【課題を解決するための手段】
請求項１に記載のカラー撮像装置は、３種類の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域が２次元平面上に予め定める配列で配列される色フィルタであって、第１及び第２透光領域が第１方向に沿って第１周期で直線上に配列された第１群と、第１及び第３透光領域が第１方向に沿って第１周期で直線上に配列された第２群とが、第１方向と直交する第２方向に沿って第２周期で交互に配列されるとともに、第１群の第１透光領域に第２群の第３透光領域が第２方向に隣接している色フィルタと、該色フィルタにおける２次元平面上に配列された透光領域の個々に対応して配置され、前記各透光領域を通過した各色彩光をそれぞれ受光する複数の受光領域を備え、各受光領域での色彩光の受光量に対応する受光データから構成される原画像信号を出力する撮像素子と、前記原画像信号から高域輝度信号を生成する高域輝度信号生成手段と、前記原画像信号から低域輝度信号を生成する低域輝度信号生成手段と、を備えたカラー撮像装置において、第１透光領域に対応して配置された受光領域からの原画像信号に基づき、少なくとも第１方向における第１周期の２倍周期に相当する空間周波数成分の折り返し周波数輝度信号を生成する折り返し周波数輝度信号生成手段、を備えたものである。
【００３３】
請求項２に記載のカラー撮像装置は、請求項１に記載のカラー撮像装置において、前記折り返し周波数輝度信号生成手段は、第１透光領域に対応して配置された受光領域からの原画像信号より、第１周期の２倍周期に相当する空間周波数成分を抽出するフィルタを備えたものである。
【００３４】
請求項３に記載のカラー撮像装置は、請求項１または請求項２に記載のカラー撮像装置において、前記撮像素子からの前記原画像信号中に第１周期の２倍周期に相当する空間周波数成分が存在するか否かを判定する判定手段と、該判定手段の判定結果に基づき、前記折り返し周波数輝度信号を調整するゲイン調整手段を備えたものである。
【００３５】
請求項４に記載のカラー撮像装置は、請求項３に記載のカラー撮像装置において、前記ゲイン調整手段が、前記原画像信号の着色の程度が大きいほど前記折り返し周波数輝度信号が小さくなるよう調整するものである。
【００３６】
請求項５に記載のカラー撮像装置は、請求項４に記載のカラー撮像装置において、前記判定手段が、前記第２周期の２倍周期に相当する空間周波数成分を抽出するフィルタと、該フィルタの出力の振幅の絶対値を検出する第１絶対値回路と、を備えており、前記ゲイン調整手段は、前記絶対値が大きいほど前記折り返し周波数輝度信号を小さくするものである。
【００３７】
請求項６に記載のカラー撮像装置は、請求項４に記載のカラー撮像装置において、前記判定手段が、第２方向に互いに隣接する受光領域からの原画像信号の差を検出する第２絶対値回路を備えており、前記ゲイン調整手段は、前記差が大きいほど前記折り返し周波数輝度信号を小さくするものである。
【００３８】
請求項７に記載の記録媒体は、３種類の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域が２次元平面上に予め定める配列で配列される色フィルタであって、第１及び第２透光領域が第１方向に沿って第１周期で直線上に配列された第１群と、第１及び第３透光領域が第１方向に沿って第１周期で直線上に配列された第２群とが、第１方向と直交する第２方向に沿って第２周期で交互に配列されるとともに、第１群の第１透光領域に第２群の第３透光領域が第２方向に隣接している色フィルタと、該色フィルタにおける２次元平面上に配列された透光領域の個々に対応して配置され、前記各透光領域を通過した各色彩光をそれぞれ受光する複数の受光領域を備え、各受光領域での色彩光の受光量に対応する受光データから構成される原画像信号を出力する撮像素子と、を備えたカラー撮像装置からの前記原画像信号に基づいて、コンピュータに輝度信号を生成させるプログラムを記録した記録媒体であって、前記原画像信号から高域輝度信号を生成するステップと、前記原画像信号から低域輝度信号を生成するステップと、第１透光領域に対応して配置された受光領域からの原画像信号に基づき、少なくとも第１方向における第１周期の２倍周期に相当する空間周波数成分の折り返し周波数輝度信号を生成するステップと、を含む輝度信号の生成方法をコンピュータに実行させるためのプログラムであるものである。
【００３９】
【発明の実施の形態】
（実施の形態１）
図１は、本発明の実施の形態１のカラー撮像装置の構成を示す概略ブロック図である。このカラー撮像装置は、いわゆる単板式のカラー撮像装置である。
【００４０】
被写体からの画像光Ｌは、光学系１の集光レンズで集光された後、後述する色フィルタを通過して、撮像素子２の結像面上に結像される。撮像素子２の結像面には、複数の受光領域が後述する予め定める配列で並べられる。
【００４１】
色フィルタは、各受光領域に個別的に対応して予め定める色彩光だけを通過させる透光領域を、受光領域と同数だけ並べられる。色フィルタは、撮像素子２の光入射側に設置され、各受光領域に入射するべき画像光のうち、予め定める色彩光だけを通過させる。予め定める色彩光は単一の色フィルタで複数準備され、各透光領域はそれぞれ異なる色彩光に対応する。各透光領域は、個別的に画像光を色分解して、その透光領域に対応した色彩光だけを通過させる。各透光領域を通過した各色彩光は、各透光領域と対応する受光領域にそれぞれ受光される。この色フィルタは、例えば撮像素子２と一体的に形成される。
【００４２】
図２は、色フィルタの具体的な配列を示す平面図である。色フィルタは、水平方向および垂直方向Ｈ，Ｖに沿って、配列周期ＰＨ，ＰＶで行列状に配列される。水平および垂直方向Ｈ，Ｖは、相互に直交する。
【００４３】
この撮像素子２において、画像光に対する水平および垂直方向Ｈ，Ｖのサンプリング周波数ｆＨ，ｆＶは、水平および垂直方向Ｈ，Ｖの配列周期の逆数であり、以下の式で示される。
【００４４】
ｆＨ＝１／ＰＨ
ｆＶ＝１／ＰＶ
以後、水平方向Ｈに沿って直線上に並べられる１群の構成要素を「行」と称する。同様に垂直方向Ｖに沿って直線上に並べられる１群の構成要素を「列」と称する。
【００４５】
なお、図２において、Ｒは赤色光透過フィルタ、Ｇは緑色光透過フィルタ、Ｂは青色光透過フィルタである。また、Ｒフィルタと同じ行上のＧフィルタをＧ１、Ｂフィルタと同じ行上のＧフィルタをＧ２として、Ｇフィルタを区別して示している。この図に示すとおり、色フィルタは、ＲとＧ１が水平方向に沿ってＰＨの周期で直線上に配列された第１群と、ＢとＧ２とが水平方向に沿ってＰＨの周期で配列された第２群とが、垂直方向に沿ってＰＶの周期で交互に配列されており、また、垂直方向にはＧ１とＢが隣接している。別の言い方をすれば、Ｇ１とＢが垂直方向に沿ってＰＶの周期で直線上に配列された第１群と、Ｇ２とＲが垂直方向に沿ってＰＶの周期で直線上に配列された第２群とが水平方向に沿ってＰＨの周期で交互に配列されており、また、水平方向にはＧ１とＲが隣接している。
【００４６】
この色フィルタ配列は、一般にベイヤー配列と呼ばれている。
【００４７】
撮像素子２は、予め定める露光時間だけ、各受光領域に画像光の色彩光を受光させることによって、画像光を撮像する。露光時間が経過すると、撮像素子２は、各受光領域からの受光データを、原画像信号として、順次、Ａ／Ｄ変換器３に導出する。原画像信号は、各受光領域での色彩光の受光量に対応する受光データから構成される。撮像素子２から出力された段階では、各受光データは受光量に対応するレベルのアナログ電気信号である。
【００４８】
Ａ／Ｄ変換器３は上記原画像信号をデジタル信号に変換した後、前処理回路４に出力する。
【００４９】
前処理回路４では、デジタル信号となった原画像信号に予め定める処理を施す。予め定める処理とは、例えばホワイトバランス補正およびガンマ補正である。前処理回路４により前処理された原画像信号は、バンドパスフィルタ（図面ではＢＰＦと略称する）５、スイッチ７、および水平ハイパスフィルタ（図面では水平ＨＰＦと略称する）１９に入力される。
【００５０】
ＢＰＦ５は、前処理回路４により前処理された原画像信号をフィルタリングすることにより高輝度信号ＹＨを取り出す。この高域輝度信号ＹＨは、後述する手法で得られる低域輝度信号ＹＬおよび調整済み折り返し輝度信号ＹＥと加算器２２で加算されることにより、輝度信号Ｙを生成する。
【００５１】
スイッチ７は、３種類の色フィルタＲ、Ｇ、Ｂごとに画像信号を分離する。Ｇ信号は、スイッチ８に入力されて、さらに図２に示すような位置にあるＧ１信号、Ｇ２信号に分離される。これはスイッチ８を例えば１水平走査期間ごとに切り換えることで可能である。このように分離されたＲ信号、Ｇ１信号、Ｇ２信号、Ｂ信号は、それぞれ補間フィルタ９、１０、１１、１２に入力され、同時化される。
【００５２】
同時化されたＲ信号、Ｇ１信号は加算器１３でＲ−Ｇ１信号となる。また、同時化されたＢ信号、Ｇ２信号は加算器１４でＢ−Ｇ２信号となる。Ｒ−Ｇ１信号とＢ−Ｇ２信号は、色差マトリックス回路に入力され、
【００５３】
【数３】

【００５４】
という変換が行われ、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００５５】
このようにして生成された色差信号では、キャリア周波数（０，ｆＶ／２）の色モアレが消滅している。周波数空間上（０，ｆＶ／２）にある白黒の被写体（すなわち、周期２ＰＶの横縞）が撮像される場合について考えると、このような被写体に対してはＲ＝Ｇ１、Ｂ＝Ｇ２となるため、Ｒ−Ｇ１、Ｂ−Ｇ２はいずれも零となる。ゆえに、色差信号Ｒ−Ｙ，Ｂ−Ｙも零となり出力されない。要するに、空間周波数（０，ｆＶ／２）での色差信号のモアレが消滅している。
【００５６】
低域輝度信号生成回路６は、同時化されたＲ信号、Ｇ１信号、Ｇ２信号、Ｂ信号を受信して、次式の計算を行い低域輝度信号ＹＬを生成する。
ＹＬ＝０．３０Ｒ＋０．５９（αＧ１＋βＧ２）＋０．１１Ｂ （８）
ただし、α＋β＝１。
【００５７】
つまり、低域輝度信号は、次式で示す理想的な混合比率によって生成されることとなる。
Ｒ：Ｇ：Ｂ＝０．３０：０．５９：０．１１ （９）
生成された低域輝度信号ＹＬは、加算器２２に入力される。
【００５８】
水平ローパスフィルタ（水平ＬＰＦ）１６、垂直ハイパスフィルタ（垂直ＨＰＦ）１７は、スイッチ７から出力されたＧ信号にフィルタリングを施して、折り返し輝度信号ＹＮを生成する。この折り返し輝度信号ＹＮは乗算器１８に入力される。
【００５９】
水平ＨＰＦ１９、絶対値回路２０、ゲイン・オフセット調整回路２１は、前処理された原画像信号からゲイン信号Ｍを生成し、乗算器１８に出力する。ここでの処理については後に詳細に説明する。
【００６０】
乗算器１８は、折り返し輝度信号ＹＮとゲイン信号Ｍを乗算して調整済み折り返し輝度信号ＹＥを生成する。つまり、折り返し輝度信号ＹＮは、ゲイン信号Ｍによりゲインを調整される。
【００６１】
加算器２２は、調整済み折り返し輝度信号ＹＥ、高域輝度信号ＹＨ、低域輝度信号ＹＬを加算することで、折り返し周波数成分の補償された輝度信号Ｙを生成する。
【００６２】
生成された輝度信号Ｙ、色差信号Ｒ−Ｙ、Ｂ−Ｙは、図示しない記録媒体にストアされる。または、伝送路を通じて、外部に伝送される。または、図示しないＤ／Ａ変換器によりアナログ信号に変換されて、図示しないディスプレイに表示され、目視される。
【００６３】
以上が、本実施の形態１のカラー撮像装置の構成である。次に、本発明の特徴部分である調整済み折り返し輝度信号ＹＥ生成する過程について、詳細に説明する。なお、本実施の形態のカラー撮像装置では、調整済み折り返し輝度信号ＹＥにより空間周波数（０，ｆＶ／２）の成分を補償する。
【００６４】
図２に示したように、緑の色フィルタＧ（Ｇ１およびＧ２）は、市松模様上に配列されている。従って、この緑の色フィルタの空間周波数上の基底帯域は、図３に示すハッチング領域となる。つまり、以下の３カ所を頂点とする三角領域である。
（−ｆＨ／２， ０）
（ ｆＨ／２， ０）
（ ０ ，ｆＶ／２）
従って、緑の色フィルタＧからの信号は、水平方向の折り返し輝度信号の周波数成分（ｆＨ／２，０）（以下ＹＮＨと云う）および垂直方向の折り返し輝度信号の周波数成分（０，ｆＶ／２）（以下ＹＮＶと云う）を保有する。本実施の形態では、このことを利用してＢＰＦ５により失われた折り返し輝度信号を補償する。
【００６５】
しかしながら、緑色の色フィルタＧの信号だけでは、ＹＮＨまたはＹＮＶの成分が含まれていることはわかっても、どちらが含まれているのかどうかを判別できない。このことについて図４、５を使って説明する。
【００６６】
図４は、水平方向に２ＰＨ周期の縦縞、つまり水平方向に白列と黒列が交互に並んだ縦縞を撮像した例を示している。この縦縞の空間周波数は、（ｆＨ／２，０）である。白列に相当する色フィルタが受光したデータを１００とし、黒列に相当する色フィルタが受光したデータを１０とすると、Ｇ１＝１０、Ｇ２＝１００となる。
【００６７】
図５は、垂直方向に２ＰＶ周期の横縞、つまり垂直方向に白列と黒列が交互に並んだ横縞を撮像した例を示している。この横縞の空間周波数は、（０，ｆＶ／２）である。図４と同様に白列に相当する色フィルタが受光したデータを１００とし、黒列に相当する色フィルタが受光したデータを１０とすると、Ｇ１＝１０、Ｇ２＝１００となる。
【００６８】
このように、図４に示した縦縞を撮像した場合も、図５に示した横縞を撮像した場合もＧ１＝１０、Ｇ２＝１００となり、区別が付かない。
【００６９】
そこで、上記のごとく空間周波数成分（０，ｆＶ／２）を補償する本実施の形態では、▲１▼横縞が存在すると仮定して、緑の色フィルタＧからの信号から空間周波数成分（０，ｆＶ／２）だけを取り出し、▲２▼横縞の存在を判断し、その判断結果に基づきゲインＭを生成する。そして、それらを乗算することで折り返し輝度信号ＹＥを生成する。このようにすれば、横縞の存在に応じて横縞の輝度信号成分を補償することができ、画質の向上を実現できる。以下に、さらに詳細に説明する。
【００７０】
空間周波数（０，ｆＶ／２）だけの取り出しは、Ｇ信号に、水平方向の空間周波数を零付近だけに限定する水平ＬＰＦ１６を施すとともに、さらに垂直方向の空間周波数をｆＶ／２付近だけに限定する垂直ＨＰＦ１７を施すことで行える。こうして得られた折り返し輝度信号ＹＮは、図５のような空間周波数（０，ｆＶ／２）の成分だけを含む信号となる。
【００７１】
また、横縞が存在するか否かは、前処理を施した原画像信号（以下、前処理画像信号と記す）に基づき判断することができる。例えば、図５に示したような白行と黒行が交互に並んだ横縞を撮像した場合、Ｒ＝Ｇ１、Ｂ＝Ｇ２となるため、原画像信号に水平ＨＰＦを施し、その結果が零になるか否かにより、横縞があるか否かを判断することができる。
【００７２】
しかしながら、原画像が着色されたものとなると、無着色の白行と黒行が交互に並んでいる場合におけるＲ＝Ｇ１、Ｂ＝Ｇ２という条件が満たされなくなくなり、前処理画像信号は（ｆＨ／２，０）の成分を含むようになる。すなわち、水平ＨＰＦにより零とならなくなる。例えば、垂直方向に暗い紫行（Ｇ１＝５、Ｒ＝１０）と明るい紫行（Ｇ２＝５０、Ｂ＝１００）が交互に並んだ横縞を撮像した場合では、Ｇ１とＲの色フィルタのある行では、前処理された原画像信号は、１０，５，１０，５，……となるし、ＢとＧ２の色フィルタのある行では、前処理された原画像信号は、５０，１００，５０，１００，……となる。どちらの行でも、水平方向に２ＰＨ周期の信号成分であり、この空間周波数は水平方向にｆＨ／２となる。
【００７３】
以上のように、原画像が着色された画像となりＲ＝Ｇ１、Ｂ＝Ｇ２が満たされなくなると、実際の画像が横縞であることを判断できなくなる。
【００７４】
そこで、本実施の形態では、前処理画像信号に水平ＨＰＦを施したときに、白黒画像であればその値が零に近くなり、着色された画像となるとその値の振幅が大きくなることに着目して、図１に示すようにしてゲインＭを調整する。すなわち、前処理画像信号を、水平ＨＰＦ１９により空間周波数成分（ｆＨ／２，０）だけを取り出し、その成分の振幅の絶対値Ｐを絶対値回路２０により検知し、ゲイン・オフセット調整回路２１により絶対値Ｐが小さければゲインＭを大きくし、絶対値Ｐが大きければゲインＭを小さくする。ゲイン・オフセット調整回路２１は、例えば、以下の式により、ゲインとオフセットを調整する。
Ｍ＝ｏ−ｇ・Ｐ （１０）
ここで、ｇはゲイン（正の値）、ｏはオフセットである。ただし、式（１０）によりＭが負の値になった場合、ゲイン・オフセット調整回路２１は、Ｍを零に制限する。
【００７５】
そして、このようにして生成したゲイン信号Ｍを、乗算器１８において、折り返し輝度信号ＹＮと乗算することで調整済み折り返し輝度信号ＹＥが生成される。この調整済み折り返し輝度信号ＹＥは、原画像が無着色に近いほど空間周波数（０，ｆＶ／２）における輝度信号を正確に補償することができる。一方、原画像が大きく着色されたものだと輝度信号の補償がされなくなる。着色されている場合には、無着色の場合に比べて画像のエッジのぼやけは余り気にならないため大きな問題ではない。
【００７６】
以上説明した本実施の形態のカラー撮像装置では、無着色に近い場合に空間周波数（０，ｆＶ／２）での色差信号のモアレが消滅しており、かつ空間周波数（０，ｆＶ／２）での輝度信号も無着色に近い場合に向上している。従って、特に、無着色に近い場合に垂直解像度の向上が目覚ましい。
【００７７】
なお、ここではゲイン・オフセット調整回路２１を用いることで原画像が無着色に近いか否かに応じてゲインを調整したが、これに限らず、例えば、絶対値回路２０の出力と所定のしきい値を比較し、しきい値以下の場合にのみ調整済み折り返し輝度信号ＹＥを生成するようにしても良い。
【００７８】
（実施の形態２）
図６は、本発明の実施の形態２のカラー撮像装置の構成を示す概略ブロック図である。
【００７９】
ここでは、実施の形態１の構成における水平ＨＰＦ１９の代わりにスイッチ２６を備える構成であり、加算器１３の出力であるＲ−Ｇ１信号と、加算器１４の出力であるＢ−Ｇ２信号を、スイッチ２６に入力させる。
【００８０】
スイッチ２６は、図２に示す色フィルタ配列のように、ＲとＧ１の色フィルタのある行の場合はＲ−Ｇ１を選択し、ＢとＧ２の色フィルタのある行の場合はＢ−Ｇ２を選択して、出力する。これはスイッチ２６を例えば１水平走査期間ごとに切り換えることで可能である。
【００８１】
本実施の形態では、絶対値回路２０がＲとＧ１の差またはＢとＧ２の差の絶対値を取り出し、ゲイン・オフセット調整回路２１が上記差が大きい場合にはゲインを小さくし、差が小さい場合にはゲインを大きくする。これにより、原画像が着色されるほど小さくなるゲインを生成することができ、このゲインと実施の形態１で説明した折り返し輝度信号ＹＮを乗算器１８で掛け合わせて調整済み折り返し輝度信号ＹＥを生成できる。
【００８２】
このように、本実施形態では水平ＨＰＦを用いないため、回路規模を縮小できる。
【００８３】
（実施の形態３）
図７は、本発明の実施の形態３のカラー撮像装置の構成を示す概略ブロック図である。図７において、実施の形態１と同じブロックは、同符号を付して説明を省略する。なお、本実施の形態においても実施の形態と同様に、図２に示した色フィルタを用いる。
【００８４】
本実施の形態は、実施の形態１，２と異なり、水平解像度を向上させるために、調整済み折り返し輝度信号ＹＥにより空間周波数（ｆＨ／２，０）の成分を補償する。具体的には、実施の形態１とは、加算器１３および加算器１４への入力信号、垂直ＬＰＦ２３、水平ＨＰＦ２４、垂直ＨＰＦ２５が相違している。
【００８５】
ここでは、同時化されたＲ信号、Ｇ２信号は加算器１３でＲ−Ｇ２信号となる。また、同時化されたＢ信号、Ｇ１信号は加算器１４でＢ−Ｇ１信号となる。Ｒ−Ｇ２信号とＢ−Ｇ１信号は、色差マトリックス回路に入力され、
【００８６】
【数４】

【００８７】
という変換が行われ、色差信号Ｒ−Ｙ，Ｂ−Ｙが生成される。
【００８８】
ここで、周波数空間上（ｆＨ／２，０）にある白黒の被写体が撮像されるとする。この被写体は、周期２ＰＨの縦縞であり、このような被写体に対してはＲ＝Ｇ２、Ｂ＝Ｇ１となるため、Ｒ−Ｇ２、Ｂ−Ｇ１はいずれも零となる。ゆえに、色差信号Ｒ−Ｙ，Ｂ−Ｙも零となり出力されない。つまり、空間周波数（ｆＨ／２，０）での色差信号のモアレが消滅している。
【００８９】
スイッチ７から出力されたＧ信号は、順に垂直ローパスフィルタ（垂直ＬＰＦ）２３、水平ハイパスフィルタ（水平ＨＰＦ）２４を施され、折り返し輝度信号ＹＮとなり、乗算器１８に入力される。また、前処理された原画像信号は、順に垂直ＨＰＦ２５、絶対値回路２０、ゲイン・オフセット調整回路２１を施されて、ゲイン信号Ｍとなり、乗算器１８に入力される。乗算器１８は、折り返し輝度信号ＹＮとゲイン信号Ｍを乗算する。つまり、折り返し輝度信号ＹＮは、ゲイン信号Ｍによりゲインを調整されて、調整済み折り返し輝度信号ＹＥを生成する。
【００９０】
前述のように、緑の色フィルタＧの信号だけでは、ＹＮＨまたはＹＮＶの成分が含まれていることは判断できても、どちらが含まれているのかどうかを判別できない。
【００９１】
そこで、上記のごとく空間周波数成分（ｆＨ／２，０）を補償する本実施の形態では、▲１▼縦縞が存在すると仮定して、緑の色フィルタＧからの信号から空間周波数成分（ｆＨ／２）だけを取り出し、▲２▼縦縞の存在を判断し、その判断結果に基づきゲインＭを生成する。そして、それらを乗算することで折り返し輝度信号ＹＥを生成する。このようにすれば、縦縞の存在に応じて縦縞の輝度信号成分を補償することができ、画質の向上を実現できる。以下に、さらに詳細に説明する。
【００９２】
空間周波数（ｆＨ／２，０）だけの取り出しは、Ｇ信号に、垂直方向の空間周波数を零付近だけに限定する垂直ＬＰＦ２３を施すとともに、さらに水平方向の空間周波数をｆＨ／２付近だけに限定する水平ＨＰＦ２４を施すことで行える。こうして得られた折り返し輝度信号ＹＮは、図４のような空間周波数（ｆＨ／２，０）の成分だけを含む信号となる。
【００９３】
また、縦縞が存在するか否かは、前処理画像信号に基づき判断することができる。例えば、図４に示したような白列と黒列が交互に並んだ縦縞を撮像した場合、Ｒ＝Ｇ２、Ｂ＝Ｇ１となるため、原画像信号に垂直ＨＰＦを施し、その結果がか零となるか否かにより判断することができる。
【００９４】
しかしながら、原画像が着色されたものであるほど、白黒画像におけるＲ＝Ｇ２、Ｂ＝Ｇ１の条件が満たされなくなくなり、前処理画像信号は（０，ｆＶ／２）の成分を含むようになる。例えば、水平方向に暗い紫列（Ｇ１＝５、Ｂ＝１０）と明るい紫列（Ｇ２＝５０、Ｒ＝１００）が交互に並んだ縦縞を撮像した場合では、Ｇ１とＢの色フィルタのある列では、前処理された原画像信号は、１０，５，１０，５，……となるし、ＲとＧ２の色フィルタのある列では、前処理された原画像信号は、５０，１００，５０，１００，……となる。どちらの列でも、垂直方向に２ＰＶ周期の信号成分であり、この空間周波数は垂直方向にｆＶ／２となる。
【００９５】
以上のように、原画像が着色された画像となりＲ＝Ｇ２、Ｂ＝Ｇ１が満たされなくなると、実際の画像が縦縞であることを判断できなくなる。
【００９６】
そこで、本実施の形態では、前処理画像信号に垂直ＨＰＦを施したときに、白黒画像であればその値が零に近くなり、着色された画像となるとその値の振幅が大きくなることに着目して、図７に示すようにしてゲインＭを調整する。すなわち、前処理画像信号を、垂直ＨＰＦ２５により空間周波数成分（０，ｆＶ／２）だけを取り出し、その成分の振幅の絶対値Ｐを絶対値回路２０により検知し、ゲイン・オフセット調整回路２１により絶対値Ｐが小さければゲインＭを大きくし、絶対値Ｐが大きければゲインＭを小さくする。ゲイン・オフセット調整回路２１は、例えば、以下の式により、ゲインとオフセットを調整する。
Ｍ＝ｏ−ｇ・Ｐ （１０）
ここで、ｇはゲイン（正の値）、ｏはオフセットである。ただし、式（１０）によりＭが負の値になった場合、ゲイン・オフセット調整回路２１は、Ｍを零に制限する。
【００９７】
そして、このようにして生成したゲイン信号Ｍを、乗算器１８において、折り返し輝度信号ＹＮと乗算することで調整済み折り返し輝度信号ＹＥが生成される。この調整済み折り返し輝度信号ＹＥは、原画像が無着色に近いほど空間周波数（ｆＨ／２，０）における輝度信号を正確に補償することができる。一方、原画像が大きく着色されたものだと輝度信号の補償がされなくなる。着色されている場合には、無着色の場合に比べて、画像のエッジのぼやけは余り気にならないため大きな問題ではない。
【００９８】
以上説明した本実施の形態のカラー撮像装置では、無着色に近い場合に空間周波数（ｆＨ／２，０）での色差信号のモアレが消滅しており、かつ空間周波数（ｆＨ／２，０）での輝度信号も無着色に近い場合に向上している。従って、特に、無着色に近い場合に水平解像度の向上が目覚ましい。
【００９９】
（実施の形態４）
図８は、本発明の実施の形態４のカラー撮像装置の構成を示す概略ブロック図である。
【０１００】
ここでは、実施の形態３の構成における垂直ＨＰＦ２５の代わりにスイッチ２７を備える構成である。具体的には、実施の形態３の構成における垂直ＨＰＦ２５の代わりにスイッチ２７を備えており、加算器１３の出力であるＲ−Ｇ２信号と、加算器１４の出力であるＢ−Ｇ１信号を、スイッチ２７に入力させる。
【０１０１】
スイッチ２７は、図２に示す色フィルタ配列のように、ＲとＧ２の色フィルタのある列の場合はＲ−Ｇ２を選択し、ＢとＧ１の色フィルタのある列の場合はＢ−Ｇ１を選択して、出力する。これはスイッチ２７を１画素ごとに切り換えることが可能である。
【０１０２】
本実施の形態では、絶対値回路２０がＲとＧ２の差またはＢとＧ１の差の絶対値を取り出し、ゲイン・オフセット調整回路２１が上記差が大きい場合にはゲインを小さくし、差が小さい場合にはゲインを大きくする。これにより、原画像が着色されるほど小さくなるゲインを生成することができ、このゲインと実施の形態３で説明した折り返し輝度信号ＹＮを乗算器１８で掛け合わせて調整済み折り返し輝度信号ＹＥを生成できる。
【０１０３】
このような構成では、垂直ＨＰＦ２５を使用しないため回路規模を縮小できる。
【０１０４】
（実施の形態５）
以上説明した実施の形態１〜４のカラー撮像装置は、輝度信号に空間周波数（０，ｆＶ／２）の成分または空間周波数（ｆＨ／２，０）の成分を補償するものであった。本実施の形態のカラー撮像装置は、水平，垂直の両方の解像度を向上させるために、調整済み折り返し輝度信号ＹＥにより空間周波数（０，ｆＶ／２）及び（ｆＨ／２，０）の成分の両方を補償する。
【０１０５】
図９は、本実施の形態のカラー撮像装置の主要部（輝度信号生成部）の構成を示すブロック図である。なお、ここでは、実施の形態１〜４と同一部分については同一符号を付している。
【０１０６】
この図に示すように、本カラー撮像装置は図１と図７の構成を組み合わせたものである。
【０１０７】
すなわち、水平ＬＰＦ１６と垂直ＨＰＦ１７を用いることでＧ信号から空間周波数（０，ｆＶ／２）成分の折り返し輝度信号ＹＮ１を取り出す。また、水平ＨＰＦ１９，絶対値回路２０ａ，ゲイン・オフセット調整回路２１ａにより、原画像が白黒画像に近いか否かに応じたゲインＭ１を生成する。そして、乗算器１８ａにより上記折り返し輝度信号ＹＮ１とゲインＭ１とを掛け合わせ、空間周波数（０，ｆＶ／２）成分の調整済み折り返し輝度信号ＹＥ１を生成する。
【０１０８】
また、垂直ＬＰＦ２３と水平ＨＰＦ２４を用いることでＧ信号から空間周波数（ｆＨ／２，０）成分の折り返し輝度信号ＹＮ２を取り出す。また、垂直ＨＰＦ２５，絶対値回路２０ｂ，ゲイン・オフセット調整回路２１ｂにより、原画像が白黒画像に近いか否かに応じたゲインＭ２を生成する。そして、乗算器１８ｂにより上記折り返し輝度信号ＹＮ２とゲインＭ２とを掛け合わせ、空間周波数（ｆＨ／２，０）成分の調整済み折り返し輝度信号ＹＥ２を生成する。
【０１０９】
そして、加算器２２が、高域輝度信号ＹＨ，低域輝度信号ＹＬ，調整済み折り返し輝度信号ＹＥ１と調整済み折り返し輝度信号ＹＥ２を加算して、水平垂直の両方向の折り返し輝度信号の補償された輝度信号Ｙを生成する。
【０１１０】
このように本実施の形態では、水平垂直の両方向の折り返し輝度信号が補償されるため、両方向における解像度を向上させることができる。
【０１１１】
なお、ここでは実施の形態１と３を組み合わせた例について説明したが、もちろん、実施の形態２と実施の形態４を組み合わせても同様の効果を得ることができる。
【０１１２】
また、本実施の形態では、色差信号の生成については説明しなかったが、色差信号は例えば特開平６−３３９１４５号公報に記載された手法により生成でき、これによれば３カ所の色モアレ（（ｆＨ／２，０）、（−ｆＨ／２）、（０，ｆＶ／２））の発生の抑制することができる。
【０１１３】
以上の実施の形態１〜５では、輝度信号の生成を図１，６，７，８，９に示した回路により行ったが、上述の輝度信号の生成方法を実行するためのコンピュータプログラムにより行ってもよい。
【０１１４】
【発明の効果】
以上説明したように、本発明の請求項１，２，７によれば、輝度信号の折り返し周波数成分を補償することにより、画像の解像度を向上させることができる。
【０１１５】
また、請求項３に記載のカラー撮像装置では、該当する空間周波数の画像信号中での存在に基づいて折り返し周波数輝度信号を生成するため、確実な輝度信号の補正を行うことができる。
【０１１６】
更に、請求項４，５，６に記載のカラー撮像装置では、画像の着色度に応じた輝度信号を生成するため、より好ましい輝度信号を生成できる。
【図面の簡単な説明】
【図１】実施の形態１のカラー撮像装置の構成を示す概略ブロック図である。
【図２】本発明におけるカラー撮像装置の色フィルタ配列を示す図である。
【図３】図２における緑の色フィルタ配列の基底帯域を示す空間周波数平面図である。
【図４】縦縞撮像時の様子を説明する図である。
【図５】横縞撮像時の様子を説明する図である。
【図６】実施の形態２のカラー撮像装置の構成を示す概略ブロック図である。
【図７】実施の形態３のカラー撮像装置の構成を示す概略ブロック図である。
【図８】実施の形態４のカラー撮像装置の構成を示す概略ブロック図である。
【図９】実施の形態５のカラー撮像装置の構成を示す概略ブロック図である。
【図１０】図２の色フィルタ配列の輝度の基底帯域、および色差信号のモアレのキャリア周波数を示す空間周波数平面図である。
【図１１】従来のカラー撮像装置の構成を示す概略ブロック図である。
【図１２】図１１のカラー撮像装置のＢＰＦ１１６の空間周波数特性を示す図である。
【図１３】図１１のカラー撮像装置のＢＰＦ１１６の水平方向の空間周波数軸上の周波数特性を示す図である。
【図１４】図１３のカラー撮像装置のＢＰＦ１１６の垂直方向の空間周波数軸上の周波数特性を示す図である。
【符号の説明】
１ 光学系
２ 撮像素子
３ Ａ／Ｄ変換器
４ 前処理回路
５ バンドパスフィルタ
６ 低域輝度信号生成回路
７，８ スイッチ
９，１０，１１，１２ 補間フィルタ
１３，１４，２２ 加算器
１５ 色差マトリックス回路
１６ 水平ローパスフィルタ
１７ 垂直ハイパスフィルタ
１８ 乗算器
１９ 水平ハイパスフィルタ
２０ 絶対値回路
２１ ゲイン・オフセット調整回路

Claims (7)

1. ３種類の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域が２次元平面上に予め定める配列で配列される色フィルタであって、第１及び第２透光領域が第１方向に沿って第１周期で直線上に配列された第１群と、第１及び第３透光領域が第１方向に沿って第１周期で直線上に配列された第２群とが、第１方向と直交する第２方向に沿って第２周期で交互に配列されるとともに、第１群の第１透光領域に第２群の第３透光領域が第２方向に隣接している色フィルタと、
   該色フィルタにおける２次元平面上に配列された透光領域の個々に対応して配置され、前記各透光領域を通過した各色彩光をそれぞれ受光する複数の受光領域を備え、各受光領域での色彩光の受光量に対応する受光データから構成される原画像信号を出力する撮像素子と、
   前記原画像信号から高域輝度信号を生成する高域輝度信号生成手段と、
   前記原画像信号から低域輝度信号を生成する低域輝度信号生成手段と、を備えたカラー撮像装置において、
   第１透光領域に対応して配置された受光領域からの原画像信号に基づき、少なくとも第１方向における第１周期の２倍周期に相当する空間周波数成分の折り返し周波数輝度信号を生成する折り返し周波数輝度信号生成手段、を備えたことを特徴とするカラー撮像装置。
2. 請求項１に記載のカラー撮像装置において、
   前記折り返し周波数輝度信号生成手段は、第１透光領域に対応して配置された受光領域からの原画像信号より、第１周期の２倍周期に相当する空間周波数成分を抽出するフィルタを備えたことを特徴とするカラー撮像装置。
3. 請求項１または請求項２に記載のカラー撮像装置において、
   前記撮像素子からの前記原画像信号中に第１周期の２倍周期に相当する空間周波数成分が存在するか否かを判定する判定手段と、
   該判定手段の判定結果に基づき、前記折り返し周波数輝度信号を調整するゲイン調整手段を備えたことを特徴とするカラー撮像装置。
4. 請求項３に記載のカラー撮像装置において、
   前記ゲイン調整手段は、前記原画像信号の着色の程度が大きいほど前記折り返し周波数輝度信号が小さくなるよう調整することを特徴とするカラー撮像装置。
5. 請求項４に記載のカラー撮像装置において、
   前記判定手段は、前記第２周期の２倍周期に相当する空間周波数成分を抽出するフィルタと、該フィルタの出力の振幅の絶対値を検出する第１絶対値回路と、を備えており、
   前記ゲイン調整手段は、前記絶対値が大きいほど前記折り返し周波数輝度信号を小さくすることを特徴とするカラー撮像装置。
6. 請求項４に記載のカラー撮像装置において、
   前記判定手段は、第２方向に互いに隣接する受光領域からの原画像信号の差を検出する第２絶対値回路を備えており、
   前記ゲイン調整手段は、前記差が大きいほど前記折り返し周波数輝度信号を小さくすることを特徴とするカラー撮像装置。
7. ３種類の色彩光にそれぞれ対応し、入射される被写体からの画像光のうちの対応する色彩光だけを個別的に通過させる複数の透光領域が２次元平面上に予め定める配列で配列される色フィルタであって、第１及び第２透光領域が第１方向に沿って第１周期で直線上に配列された第１群と、第１及び第３透光領域が第１方向に沿って第１周期で直線上に配列された第２群とが、第１方向と直交する第２方向に沿って第２周期で交互に配列されるとともに、第１群の第１透光領域に第２群の第３透光領域が第２方向に隣接している色フィルタと、該色フィルタにおける２次元平面上に配列された透光領域の個々に対応して配置され、前記各透光領域を通過した各色彩光をそれぞれ受光する複数の受光領域を備え、各受光領域での色彩光の受光量に対応する受光データから構成される原画像信号を出力する撮像素子と、を備えたカラー撮像装置からの前記原画像信号に基づいて、コンピュータに輝度信号を生成させるプログラムを記録した記録媒体であって、
   前記プログラムは、
   前記原画像信号から高域輝度信号を生成するステップと、
   前記原画像信号から低域輝度信号を生成するステップと、
   第１透光領域に対応して配置された受光領域からの原画像信号に基づき、少なくとも第１方向における第１周期の２倍周期に相当する空間周波数成分の折り返し周波数輝度信号を生成するステップと、を含む輝度信号の生成方法をコンピュータに実行させるためのプログラムであることを特徴とする記録媒体。

Images