JP3947969B2 - 画像処理装置、および画像処理方法、記録媒体、並びにプログラム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置、および画像処理方法、記録媒体、並びにプログラムに関し、特に、間引き処理を行う場合に用いて好適な画像処理装置、および画像処理方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
例えば、デジタルカメラ（デジタルスチルカメラ、デジタルビデオカメラ、並びに、静止画および動画を撮像可能なデジタルカメラ）に使われている、光を電気信号に変換するデバイスである撮像素子は、チップの表面に、微細なフォトダイオードを並べた構造になっている。フォトダイオードは、照射された光の強弱に応じて電荷を発生する半導体で、それ自身には色をとらえる能力がないため、カラー画像を取り込むためには、入射光を色要素別に取り込む必要がある。
【０００３】
一般的なデジタルカメラ、もしくは、ビデオカメラに使われている単板式のカラー撮像素子は、フォトダイオードの上に、３色あるいは４色のカラーフィルタをモザイク状に配置し、個々のフォトダイオードが個別の色要素に反応する仕組みになっている。例えば、ＲＧＢ（赤、緑、青、すなわち光の３原色）それぞれに個別に撮像素子を有する、すなわち、三枚の撮像素子を使う３板式カメラに対して、ＲＢＧのカラーフィルタがモザイク状に配置されている、すなわち、1枚の撮像素子を使う単板式のカラー撮像素子を用いて撮像するカメラのことを、単板式カメラと称する。
【０００４】
撮像素子には、例えば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor：相補型金属酸化膜半導体）センサなどが用いられることが多い。
【０００５】
本来、ＣＣＤとは、電荷をバケツリレー式に転送する機能を持つ素子全般を指すが、現在では、ＣＣＤとは、一般に、電荷の読み出しにこのＣＣＤを用いたＣＣＤ撮像素子のことをさす場合が多い。ＣＣＤは、デジタルカメラ、イメージスキャナ等の画像入力を行うイメージデバイス全般で使われている。
【０００６】
ＣＣＤ撮像素子は、フォトダイオードと、フォトダイオードが発生した電荷を次々に取り出して転送する回路から成る。ＣＣＤ撮像素子の具体的な構造は、シリコン基板上にフォトダイオードと電極を碁盤目のように（この数がＣＣＤの画素数になる）配置するものであり、この碁盤目部分に、フィルムと同じようにレンズを通した光学像が結ばれると、個々のフォトダイオードは、受光した光の強弱に応じた電荷を発生する。蓄積された電荷は、電極に交互に電圧をかけていくことによって、ちょうどポンプで押し出されるように隣の電極に移動し、最終的にひとつずつ出力される。これを増幅したり、デジタル値に変換することによって、２次元の画像データが生成される。また、動画像の場合には、このプロセスを延々と繰り返して、連続した静止画としての動画像が生成される。
【０００７】
ＣＭＯＳセンサとは、ＣＣＤの代わりに、電荷の読み出しにＣＭＯＳスイッチを使った撮像素子であり、各画素が１つのフォトダイオードとＣＭＯＳトランジスタを使ったスイッチで構成される。すなわち、格子状に並んだフォトダイオードそれぞれに、スイッチを取り付けた構造になっており、このスイッチを次々に切り替えて、１画素ずつ電荷を読み出していく。このような仕組みから、例えば、ＣＣＤ特有のスミアが原理的に発生しないこと、消費電力が少ない（ＣＣＤの１／１０程度）こと、単一の低電圧で駆動できること、および、一般のチップと同じ製造ラインが使え、周辺機能とあわせてワンチップで構成することができるので、小型低価格化が可能であることなどといった様々なメリットを望むことができる。しかしながら、ＣＭＯＳセンサを撮像素子として実用化するにあたっては、スイッチングノイズなどに起因する雑音対策が必要である。
【０００８】
固体撮像素子のセンサの数、すなわち、撮像される画像の画素数は、デジタルビデオカメラでは、殆どの場合１００万画素以下であった。一方、デジタルスチルカメラにおいては、近年の半導体技術の向上、および、高解像度化のため、画素数は、１００万画素、２００万画素、３００万画素と増加する傾向にある。
【０００９】
更に、近年では、静止画および動画を撮像可能なデジタルカメラが開発され、広く普及するようになった。
【００１０】
しかしながら、撮像される画像の画素数が増加するに従って、全ての画素を読み出すためにかかる時間が長くなってしまう。静止画と異なり、動画においては、画像を読み出す時間が長くなってしまっては、滑らかな動画像を得ることができなくなってしまう。
【００１１】
これを解決するため、解像度を必要としない場合、画素の一部を間引いて読み出す方法がある。
【００１２】
従来、特に撮像素子としてＣＣＤが用いられている場合、動画像の表示などにおいて、例えば、２×２で構成された画素（ここでは、Ｇｒ、ｒ、Ｂ、Ｇｂの４画素）において、図１に示されるように、８画素のうち、２画素のみを間引いて、他の画素を利用しない方法や、図２に示されるように、１２画素のうちの２画素のみを間引いて、他の画素を利用しない方法などが利用されていた。
【００１３】
【発明が解決しようとする課題】
しかしながら、図１、もしくは図２に示される間引き方法では、等間隔に間引きを行うことができないのみならず、全ての画素を利用していないため、表示、もしくは記録される動画像に折り返しが生じてしまうという問題が発生してしまう。
【００１４】
本発明はこのような状況に鑑みてなされたものであり、折り返しのない良好な間引き画像を得ることができる間引き処理を実現することができるようにするものである。
【００１５】
【課題を解決するための手段】
本発明の画像処理装置は、複数の色成分からなり、２×２の色コーディングを有する画像信号を取得する取得手段と、取得手段により取得された画像信号のうち、注目画素と注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、注目画素の画素値とするフィルタ手段と、フィルタ手段により算出された加算平均値を画素値とする画素を、１／（２ｎ−１）の間引き率で間引きする間引き手段とを備えることを特徴とする。
【００１６】
フィルタ手段には、１フレームの画像信号の、全ての画素の画素値を用いて、加算平均値を算出させるようにすることができる。
【００１７】
フィルタ手段には、注目画素に対して、水平方向に並んでいる同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、注目画素の画素値とさせるようにすることができる。
【００１８】
フィルタ手段には、注目画素に対して、垂直方向に並んでいる同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、注目画素の画素値とさせるようにすることができる。
【００１９】
フィルタ手段には、注目画素に対して、水平方向および垂直方向に所定の範囲内の同一の色成分の画素を選択させて、（２ｎ−１）個の画素の画素値の加算平均値を算出し、注目画素の画素値とさせるようにすることができる。
【００２０】
フィルタ手段には、複数の色成分のうち、少なくとも１つの色成分の注目画素に対して、注目画素に近い位置に配置されているものから順番に同一の色成分の画素を選択させて、（２ｎ−１）個の画素の画素値の加算平均値を算出し、注目画素の画素値とさせるようにすることができる。
【００２１】
フィルタ手段には、複数の色成分の全ての色成分の注目画素に対して、注目画素に近い位置に配置されているものから順番に同一の色成分の画素を選択させて、（２ｎ−１）個の画素の画素値の加算平均値を算出し、注目画素の画素値とさせるようにすることができる。
【００２２】
取得手段には、画像信号を撮像する撮像手段を更に備えさせるようにすることができる。
【００２３】
撮像手段は、ＣＭＯＳ ＩＣで構成させるようにすることができる。
【００２４】
撮像手段、フィルタ手段、および間引き手段は、同一のＣＭＯＳ ＩＣで構成させるようにすることができる。
【００２５】
取得手段により取得された画像信号に対応する画像を表示する表示手段を更に備えさせるようにすることができ、表示手段により表示される画像が動画像である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されて、表示手段により表示されるようにすることができ、表示手段により表示される画像が静止画像である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されずに、表示手段により表示されるようにすることができる。
【００２６】
取得手段により取得された画像信号を記録する記録手段を更に備えさせるようにすることができ、記録手段により記録される画像信号が動画像に対応する信号である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されて、記録手段により記録させるようにすることができ、記録手段により記録される画像信号が静止画像に対応する信号である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されずに、記録手段により記録させるようにすることができる。
【００２７】
取得手段により取得された画像信号を出力する出力手段を更に備えさせるようにすることができ、出力手段により出力される画像信号が動画像に対応する信号である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されて、出力手段により出力させるようにすることができ、
出力手段により出力される画像信号が静止画像に対応する信号である場合、取得手段により取得された画像信号を、フィルタ手段、および間引き手段により処理されずに、出力手段により出力させるようにすることができる。
【００２８】
本発明の画像処理方法は、複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、取得制御ステップの処理により取得が制御された画像信号のうち、注目画素と注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、注目画素の画素値とするフィルタ演算ステップと、フィルタ演算ステップの処理により算出された加算平均値を画素値とする画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップとを含むことを特徴とする。
【００２９】
本発明の記録媒体に記録されているプログラムは、複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、取得制御ステップの処理により取得が制御された画像信号のうち、注目画素と注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、注目画素の画素値とするフィルタ演算ステップと、フィルタ演算ステップの処理により算出された加算平均値を画素値とする画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００３０】
本発明のプログラムは、複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、取得制御ステップの処理により取得が制御された画像信号のうち、注目画素と注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、注目画素の画素値とするフィルタ演算ステップと、フィルタ演算ステップの処理により算出された加算平均値を画素値とする画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップとを含むことを特徴とする処理をコンピュータに実行させる。
【００３１】
本発明の画像処理装置および画像処理方法、並びにプログラムにおいては、複数の色成分からなり、２×２の色コーディングを有する画像信号が取得され、取得された画像信号のうち、注目画素と注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値が算出され、注目画素の画素値とされ、算出された加算平均値を画素値とする画素が、１／（２ｎ−１）の間引き率で間引きされる。
【００３２】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００３３】
図３は、本発明を適用した、デジタルカメラの構成を示すブロック図である。
【００３４】
操作入力部１１は、例えば、ボタン、キー、ジョグダイヤルなどで構成され、ユーザにより、静止画の撮像、動画の録画開始および終了、あるいは、露光やピント調節などの画像調整の操作入力を受ける。
【００３５】
制御部１２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）で構成され、デジタルカメラ１の動作を制御するものであり、操作入力部１１から入力されたユーザの操作を基に、撮像部１３、間引き処理部１４、カメラ信号処理部１５、およびドライブ１８を制御するための制御信号を生成して、各部に出力する。
【００３６】
撮像部１３は、例えば、光学レンズ、光学レンズを駆動する駆動部、ＣＣＤセンサやＣＭＯＳセンサなどの撮像素子、および、これらの撮像素子により取得されたアナログの電気信号をデジタル信号に変換するＡ／Ｄ変換部などで構成され、制御部１２の制御に従って、静止画、あるいは動画を撮像する。
【００３７】
間引き処理部１４は、制御部１２の制御に従って、撮像部１３から入力された画像信号に対して、必要に応じて、間引き処理を行う。
【００３８】
ここで、撮像部１３と間引き処理部１４は、それぞれ異なる処理ブロックとして構成されるようにしても良いし、同一のチップとして構成（例えば、撮像部１３と間引き処理部１４とが１つのＣＭＯＳ ＩＣで構成）されるようにしても良い。
【００３９】
カメラ信号処理部１５は、制御部１２の制御に従って、入力された画像データに対して、例えば、γ処理、ホワイトバランス、デモザイクなどの処理を行う。
【００４０】
表示部１６は、例えば、液晶パネルなどで構成され、入力された画像データを表示する。表示部１６は、操作入力部１１から入力されるユーザの操作に従って、撮像する画像を確認するためのファインダとして機能したり、撮像された静止画像、あるいは録画された動画像を表示するものである。出力部１７は、有線、もしくは無線で、他の装置もしくはネットワークと接続され、撮像された静止画像、あるいは録画された動画像を出力する。
【００４１】
ドライブ１８には、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、あるいは半導体メモリ２４などが適宜装着され、カメラ信号処理部１５から供給された画像信号を、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、あるいは半導体メモリ２４などに出力して記録させたり、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、あるいは半導体メモリ２４などに記録されている静止画像データ、もしくは動画像データを、表示部１６に出力させて表示させたり、出力部１７から他の装置に出力させる。
【００４２】
また、ドライブ１８には、磁気テープを装着することができるようにしても良い。更に、ドライブ１８以外に、例えば、半導体メモリやハードディスクなどの記録媒体を、デジタルカメラ１の内部に設けるようにすることにより、撮像された画像データを、デジタルカメラ１の内部に記憶することができるようにしても良い。
【００４３】
また、ドライブ１８に装着されている、磁気ディスク２１、光ディスク２２、光磁気ディスク２３、あるいは半導体メモリ２４などの記録媒体から読み出されたプログラムは、必要に応じて制御部１２に供給されて、インストールされる。
【００４４】
ユーザが、操作入力部１１を用いて、撮像部１３により撮像可能な画像を表示部１６に表示させるように操作している場合（すなわち、表示部１６をファインダとして利用している場合）、制御部１２は、撮像部１３を制御して、連続して画像データを取得して、間引き処理部１４に出力させる。間引き処理部１４は、制御部１２の制御に従って、間引き処理を実行し、間引かれた画像データをカメラ信号処理部１５に出力する。間引き処理の詳細については後述する。カメラ信号処理部１５は、間引き処理部１４から供給された、間引かれた画像データに所定の処理を施して、表示部１６に出力して表示させる。
【００４５】
間引きが行われることにより、画像を読み出すためにかかる時間を短縮することができるため、表示部１６に滑らかに動く動画像を表示させるようにすることができる。
【００４６】
ユーザが、表示部１６に表示されている画像を参照して、操作入力部１１を用いて、静止画像の撮像を指令した場合、制御部１２は、撮像部１３を制御して、１フレーム分の画像データを取得して、間引き処理部１４に出力させる。間引き処理部１４は、制御部１２の制御に従って、間引き処理を実行せずに、間引かれていない全ての画素から構成される画像データをカメラ信号処理部１５に出力する。カメラ信号処理部１５は、間引き処理部１４から供給された、間引かれていない、１フレーム分の画像データに所定の処理を施して、表示部１６に出力して表示させるとともに、ドライブ１８に装着されている所定の記録媒体に出力して記録させる。
【００４７】
間引きが行われないことにより、高解像度の画像がドライブ１８に装着されている所定の記録媒体に記録される。
【００４８】
ユーザが、表示部１６に表示されている画像を参照して、操作入力部１１を用いて、動画像の撮像を指令した場合、制御部１２は、撮像部１３を制御して、連続して画像データを取得して、間引き処理部１４に出力させる。間引き処理部１４は、制御部１２の制御に従って、間引き処理を実行し、間引かれた画像データをカメラ信号処理部１５に出力する。カメラ信号処理部１５は、間引き処理部１４から供給された、間引かれた画像データに所定の処理を施して、表示部１６に出力して表示させるとともに、ドライブ１８に装着されている所定の記録媒体に出力して記録させる。
【００４９】
間引きが行われることにより、画像を読み出すためにかかる時間を短縮することができるため、動画像をドライブ１８に装着されている所定の記録媒体に記録することができる。
【００５０】
また、ユーザは、操作入力部１１を操作することにより、ドライブ１８に装着されている所定の記録媒体に記録されている静止画像データ、もしくは動画像データを、表示部１６に出力して表示させたり、出力部１７から他の装置などに出力させることができる。
【００５１】
デジタルカメラ１には、更に、音声データを取得するためのマイク、取得された音声データを処理する音声データ処理部、および、音声データを出力するスピーカなどを備えるようにしても良い。
【００５２】
図４は、間引き処理部１４の更に詳細な構成を示すブロック図である。
【００５３】
水平成分ローパスフィルタ３１は、入力された画像信号に対して、水平方向に（１、０、１、０、１）／３というフィルタをかける。水平１／３間引き処理部３２は、水平方向に３画素おきにリサンプリング（間引き）を行う。
【００５４】
例えば、図５に示されるように、第１のラインに緑と赤のそれぞれのカラーフィルタ、第２のラインに青と緑のそれぞれのカラーフィルタが配置されている、いわゆる、２×２のベイヤー配列（Ｇ（グリーン）市松配列）でコーディングが行われる場合のフィルタリングおよびリサンプリングについて、図６を用いて説明する。
【００５５】
第１のラインでは、緑のカラーフィルタの配置位置に対応する画素（以下、緑の画素と称するものとする）と、赤のカラーフィルタの配置位置に対応する画素（以下、赤の画素と称するものとする）が１画素ずつ交互に配置されている。水平成分ローパスフィルタ３１が、１つの緑の画素を注目画素として、（１、０、１、０、１）／３というフィルタをかけた場合、注目画素を含む３つの緑の画素に対応する部分には１が乗算され、赤の画素に対応する部分は０が乗算されて、それらの画素値の合計が３で除算されるので、注目画素となる緑の画素と、その画素に隣接する緑の画素との単純平均が算出される。
【００５６】
一方、水平成分ローパスフィルタ３１が、１つの赤の画素を注目画素として、（１、０、１、０、１）／３というフィルタをかけた場合、注目画素を含む３つの赤の画素に対応する部分には１が乗算され、緑の画素に対応する部分は０が乗算されて、それらの画素値の合計が３で除算されるので、注目画素となる赤の画素と、その画素に隣接する赤の画素との単純平均が算出される。
【００５７】
同様にして、第２のラインにおける緑の画素と、青のカラーフィルタの配置位置に対応する画素（以下、青の画素と称するものとする）も水平成分ローパスフィルタ３１によりフィルタリングされる。
【００５８】
そして、水平１／３間引き処理部３２において、それぞれの画素が水平成分の３画素毎に間引きされるので、最終的には、図６の図中矢印で示されている３画素おきの画素を注目画素として、その画素に隣接する同色の画素との単純平均値を算出することにより得られる画素で構成される間引き画素群が生成される。
【００５９】
図６においては、緑の画素を注目画素とした場合と、赤の画素を注目画素とした場合、および、青の画素を注目画素とした場合と緑の画素を注目画素とした場合にフィルタリングされた画素について、それぞれ、上段と下段とに分けて図示しているが、水平成分ローパスフィルタ３１は、同一のラインの処理を同時に実行することが可能である。
【００６０】
図７は、間引き処理部１４に入力される前の画像の帯域を示す図である。間引き前の画像におけるナイキストの限界周波数ｆｎは、間引き前画像のサンプリング周波数ｆｓの１／２である。
【００６１】
図８は、水平成分ローパスフィルタ３１において、間引き前の画像に対して、（１、０、１、０、１）／３というフィルタがかけられた後の帯域を示す図であり、図９は、水平１／３間引き処理部３２において、間引き処理された後の帯域を示す図である。
【００６２】
図８および図９において、ナイキストの限界周波数ｆｎ’およびサンプリング周波数ｆｓ’は、いずれも図７を用いて説明した間引き処理部１４に入力される前の画像と比較して、適切に制限された値となり、更に、これらのサンプリング点は等間隔である。
【００６３】
すなわち、従来の間引き画像の生成方法では、殆どの画素が用いられることなく、一部の画素のみを利用して、間引き画像が生成されていたが、間引き処理部１４の処理によって、全ての画素を用いてフィルタ処理が実行され、等間隔に間引き処理が行われて、間引き画像が生成されるので、画像位相のずれがない、折り返しの少ない間引き画像を得ることができる。
【００６４】
間引き処理部１４においては、水平成分ローパスフィルタ３１において、間引き前の画像に対して、（１、０、１、０、１）／３というフィルタがかけられ、水平１／３間引き処理部３２において、１／３に間引きされるものとして説明したが、間引き後のサンプリング周波数ｆｓ’にトラップポイントが入り、ナイキストの限界周波数ｆｎ’で、適切に帯域制限されるフィルタで、かつ、間引き後に画像位相のずれがないものであれば、どのようなフィルタが用いられてもかまわない。
【００６５】
例えば、このような間引き方法は、間引き率１／３以外であっても、間引き率１／（２ｎ−１）（ただし、ｎは正の整数）である場合において成立する。例えば、図３のデジタルカメラ１において、間引き処理部１４に代わって、図１０に示す間引き処理部４１を設けるようにしても良い。
【００６６】
水平成分ローパスフィルタ５１は、入力された画像信号に対して、水平方向に（１、０、１、０、１、０、１、０、１）／５というフィルタをかける。水平１／５間引き処理部５２は、水平方向に５画素おきにリサンプリング（間引き）を行う。
【００６７】
例えば、図５を用いて説明した、２×２のベイヤー配列でコーディングが行われる場合のフィルタリングおよびリサンプリングについて、図１１を用いて説明する。
【００６８】
水平成分ローパスフィルタ５１が、第１のラインにおいて、１つの緑の画素を注目画素として、（１、０、１、０、１、０、１、０、１）／５というフィルタをかけた場合、注目画素を含む５つの緑の画素に対応する部分には１が乗算され、赤の画素に対応する部分は０が乗算されて、それらの画素値の合計が５で除算されるので、注目画素となる緑の画素と、その画素に隣接する緑の画素との単純平均が算出される。
【００６９】
一方、水平成分ローパスフィルタ５１が、１つの赤の画素を注目画素として、（１、０、１、０、１、０、１、０、１）／５というフィルタをかけた場合、注目画素を含む５つの赤の画素に対応する部分には１が乗算され、緑の画素に対応する部分は０が乗算されて、それらの画素値の合計が５で除算されるので、注目画素となる赤の画素と、その画素に隣接する赤の画素との単純平均が算出される。
【００７０】
同様にして、第２のラインにおける緑の画素と、青の画素も水平成分ローパスフィルタ５１によりフィルタリングされる。そして、水平１／５間引き処理部５２において、それぞれの画素が水平成分の５画素毎に間引きされるので、最終的には、図１１の図中矢印で示されている５画素おきの画素を注目画素として、その画素に隣接する同色の画素との単純平均値を算出することにより得られる画素で構成される間引き画素群が生成される。
【００７１】
図１１においては、緑の画素を注目画素とした場合と、赤の画素を注目画素とした場合、および、青の画素を注目画素とした場合と緑の画素を注目画素とした場合にフィルタリングされた画素について、それぞれ、上段と下段とに分けて図示しているが、間引き処理部４１は、同一のラインの処理を同時に実行することが可能である。
【００７２】
例えば、図７を用いて説明したように、間引き前の画像におけるナイキストの限界周波数ｆｎが、間引き前画像のサンプリング周波数ｆｓの１／２である画像が、間引き処理部４１に入力された場合について、図１２および図１３を用いて説明する。
【００７３】
図１２は、水平成分ローパスフィルタ５１において、間引き前の画像に対して、（１、０、１、０、１、０、１、０、１）／５というフィルタがかけられた後の帯域を示す図であり、図１３は、水平１／５間引き処理部５２において、間引き処理された後の帯域を示す図である。
【００７４】
図１２および図１３に示される、フィルタがかけられた後の帯域、および、間引き処理された後の帯域においては、ナイキストの限界周波数ｆｎ’およびサンプリング周波数ｆｓ’は、いずれも図７を用いて説明した間引き処理前の画像と比較して、適切に制限された値となり、更に、これらのサンプリング点は等間隔である。
【００７５】
すなわち、上述した間引き処理部１４における場合と同様にして、間引き処理部４１の処理により、全ての画素を用いてフィルタ処理が行われて、等間隔で間引き処理が行われることにより、折り返しの少ない間引き画像を得ることができる。
【００７６】
このようにして、間引き率１／（２ｎ−１）（ただし、ｎは正の整数）において、注目画素の周辺の同色の画素（２ｎ−１）を加算平均して間引きを行うことにより、間引き後のサンプリング周波数ｆｓ’にトラップポイントを入れることができ、ナイキストの限界周波数ｆｎ’で、適切に帯域制限され、かつ、間引き後に画像位相のずれがない間引き処理を行うことができる。また、この間引き処理では、全ての画素を用いて間引き画像が生成されるので、折り返しの少ない間引き画像を得ることができる。
【００７７】
このような間引き処理は、例えば、図３のデジタルカメラ１において、間引き処理部１４に代わって、図１４に示す間引き処理部６１を設けることにより、水平方向のみならず、垂直方向に実行することが可能である。
【００７８】
ディレイライン７１は、４ライン分のディレイラインであり、５ラインの画像信号を、垂直方向に同時化するものである。垂直成分ローパスフィルタ７２は、入力された画像信号に対して、垂直方向に（１、０、１、０、１）／３というフィルタをかける。垂直１／３間引き処理部７３は、垂直方向に３画素おきにリサンプリング（間引き）を行う。
【００７９】
例えば、図５を用いて説明した、２×２のベイヤー配列でコーディングが行われる場合のフィルタリングおよびリサンプリングについて、図１５を用いて説明する。
【００８０】
第１の垂直ラインでは、緑の画素と青の画素が１画素ずつ交互に配置され、第２の垂直ラインでは、赤の画素と緑の画素が、１画素ずつ交互に配置されている。垂直成分ローパスフィルタ７２が、第１の垂直ラインにおいて、１つの緑の画素を注目画素として、（１、０、１、０、１）／３というフィルタをかけた場合、緑の画素に対応する部分には１が乗算され、青の画素に対応する部分は０が乗算されて、注目画素を含む３つの画素の画素値の合計が３で除算されるので、注目画素となる緑の画素と、その画素に隣接する緑の画素との単純平均が算出される。
【００８１】
一方、垂直成分ローパスフィルタ７２が、１つの青の画素を注目画素として、（１、０、１、０、１）／３というフィルタをかけた場合、青の画素に対応する部分には１が乗算され、緑の画素に対応する部分は０が乗算されて、注目画素を含む３つの画素値の合計が３で除算されるので、注目画素となる青の画素と、その画素に隣接する青の画素との単純平均が算出される。
【００８２】
同様にして、第２の垂直ラインにおける赤の画素と緑の画素も、垂直成分ローパスフィルタ７２によりフィルタリングされる。
【００８３】
そして、垂直１／３間引き処理部７３において、それぞれの画素が垂直成分の３画素毎に間引きされるので、最終的には、図１５の図中矢印で示されている３画素おきの画素を注目画素として、その画素に隣接する同色の画素との単純平均値を算出することにより得られる画素で構成される間引き画素群が生成される。
【００８４】
図１５においては、緑の画素を注目画素とした場合と青の画素を注目画素とした場合、および、赤の画素を注目画素とした場合と緑の画素を注目画素とした場合にフィルタリングされた画素について、それぞれ、左ラインと右ラインとに分けて図示しているが、間引き処理部６１は、同一の垂直ラインの処理を同時に実行することが可能である。
【００８５】
図１４および図１５を用いて説明した、垂直成分の間引き処理においても、間引き後のサンプリング周波数ｆｓ’にトラップポイントを入れることができ、ナイキストの限界周波数ｆｎ’で適切に帯域制限され、かつ、間引き後に画像位相のずれがない間引き処理を行うことができる。また、この間引き処理でも、全ての画素を用いて間引き画像が生成されるので、折り返しの少ない間引き画像を得ることができる。
【００８６】
また、図３のデジタルカメラ１において、撮像部１３が、ブロック単位で画像の読み出しが可能である場合、間引き処理部１４に代わって、図１６に示す間引き処理部８１を設けることにより、水平垂直同時に間引き処理を行うことができる。
【００８７】
水平垂直成分ローパスフィルタ９１は、入力された画像信号に対して、水平方向に（１、０、１、０、１）／３、垂直方向に（１、０、１、０、１）／３、すなわち、水平垂直方向に（３、０、３、０、３）／９のフィルタ係数を有し、水平垂直方向の隣接する同色の９画素を加算平均する処理を行うフィルタである。水平垂直１／３間引き処理部９２は、水平方向および垂直方向にそれぞれ３画素おき、すなわち、９画素を１画素にリサンプリング（間引き）する。
【００８８】
例えば、２×２のベイヤー配列でコーディングが行われる場合、図１７に示されるような入力画素に対して、水平垂直成分ローパスフィルタ９１は、図１８に示されるように、青成分、緑成分、赤成分の画素のそれぞれに、水平垂直方向に（３、０、３、０、３）／９のフィルタ処理を行うので、それぞれ、注目画素に対して、対応する色成分以外の画素には０が乗算され、対応する色成分の画素には１が乗算されて、注目画素を含む９つの画素値の合計が９で除算されるので、注目画素に水平垂直方向に隣接する同色の９画素が加算平均される。
【００８９】
そして、水平垂直１／３間引き処理部９２において、水平垂直方向の隣接する９画素が１画素に間引きされるので、図１９に示されるような間引き画像を得ることができる。
【００９０】
ここでは、水平垂直の同色の３画素において、注目画素を水平垂直方向の５×５画素の中央の画素とした正方形の画素群（ｎ，ｍ）（ただし、ｎは１乃至５、ｍは１乃至５の値をとる）において、（１，１）（１，３）（１，５）（３，１）（３，３）（すなわち注目画素）（３，５）（５，１）（５，３）（５，５）の９つの画素を、加算平均するようにしているが、間引き後の画素の位相位置が変化しなければ、どのような形状で加算処理を行うようにしてもかまわない。
【００９１】
例えば、水平垂直成分ローパスフィルタ９１は、図２０に示されるように、青成分、および赤成分の画素には、水平垂直方向に（３、０、３、０、３）／９のフィルタ処理を行い、緑成分の画素には、水平垂直方向に（１、２、３、２、１）／９のフィルタ係数でフィルタ処理を行い、注目画素に対して、菱形形状に隣接する９画素の加算平均を行うようにしても良い。
【００９２】
このように、市松状に配置されている緑成分の画素に対して、水平垂直方向に（１、２、３、２、１）／９のフィルタを用いて、菱形形状に隣接する９画素の加算平均を行うようにすることにより、図１８を用いて説明した（３、０、３、０、３）／９のフィルタ処理を用いる場合と比較して、緑の画素において、注目画素に対して最も隣接する９画素の加算平均を算出することができる。
【００９３】
このように、水平垂直方向に同時に間引き処理を行う場合、特に、図２０を用いて説明したように、フィルタ係数が画素によって異なるような場合、図３のデジタルカメラ１の撮像部１３が有する撮像素子がＣＣＤであっても実現可能ではあるが、撮像素子は、ＣＣＤよりもＣＭＯＳのほうが好適である。
【００９４】
なお、水平垂直方向に同時に間引き処理を行う場合においても、同様の効果を奏することができる間引き処理は、間引き率１／３以外であっても、間引き率１／（２ｎ−１）（ただし、ｎは正の整数）において成立する。
【００９５】
図１６乃至図２０を用いて説明したように、本発明を適用した水平垂直成分の間引き処理においても、間引き後のサンプリング周波数ｆｓ’にトラップポイントを入れることができ、ナイキストの限界周波数ｆｎ’で、適切に帯域制限され、かつ、間引き後に画像位相のずれがない間引き処理を行うことができる。また、この水平垂直成分の間引き処理でも、全ての画素を用いて間引き画像が生成されるので、折り返しの少ない間引き画像を得ることができる。
【００９６】
以上説明した処理においては、加算処理する各色成分の画素範囲が空間的に重複しているため、間引き前と間引き後との画像の色コーディングが同一である。従って、本発明は、２×２の色コーディングであれば、どのような色コーディングを用いた処理にも適用可能である。
【００９７】
ここでは、光の３原色を用いたベイヤー配列が用いられている場合について説明したが、例えば、補色を用いた色コーディングが用いられている場合にも、本発明は適用可能である。例えば、補色フィルタでは、色の三原色であるCMY（シアン、マゼンダ、イエロー）に加えてＧ（緑）を加えた「CMYG」で、２×２のパターンを作っているものが多いが、このような補色フィルタが用いられている場合にも、本発明が適用可能であることは言うまでもない。
【００９８】
上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【００９９】
この記録媒体は、図３に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク２１（フレキシブルディスクを含む）、光ディスク２２（CD-ROM（Compact Disk-Read Only Memory），DVD（Digital Versatile Disk）を含む）、光磁気ディスク２３（ＭＤ（Mini-Disk)（商標）を含む）、もしくは半導体メモリ２４などよりなるパッケージメディアなどにより構成される。
【０１００】
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１０１】
【発明の効果】
本発明によれば、撮像した画像を間引きして表示したり、記録したり、出力することができる。
また、本発明によれば、必要に応じて、撮像した画像において、全ての画素を用いて同色の（２ｎ−１）（ｎは２以上の整数）個の画素を単純平均した後に、１／（２ｎ−１）に間引きすることにより、間引き後に画像位相のずれがなく、折り返しの少ない間引き画像を得ることができる。
【図面の簡単な説明】
【図１】従来の垂直１／８間引きについて説明する図である。
【図２】従来の垂直２／１２間引きについて説明する図である。
【図３】本発明を適応したビデオカメラの構成を示すブロック図である。
【図４】図３の間引き処理部の更に詳細な構成を示すブロック図である。
【図５】ベイヤー配列を説明する図である。
【図６】図４の間引き処理部が実行する処理について説明する図である。
【図７】図４の間引き処理部に入力する画像の帯域について説明する図である。
【図８】図４の間引き処理部でフィルタリングされた画像の帯域について説明する図である。
【図９】図４の間引き処理部から出力される画像の帯域について説明する図である。
【図１０】間引き処理部の異なる構成を示すブロック図である。
【図１１】図１０の間引き処理部が実行する処理について説明する図である。
【図１２】図１０の間引き処理部でフィルタリングされた画像の帯域について説明する図である。
【図１３】図１０の間引き処理部から出力される画像の帯域について説明する図である。
【図１４】間引き処理部の異なる構成を示すブロック図である。
【図１５】図１４の間引き処理部が実行する処理について説明する図である。
【図１６】間引き処理部の異なる構成を示すブロック図である。
【図１７】図１６の間引き処理部に入力される画像信号を説明するための図である。
【図１８】図１６の間引き処理部が実行する処理について説明するための図である。
【図１９】図１６の間引き処理部から出力される画像信号を説明するための図である。
【図２０】図１６の間引き処理部が実行する処理の異なる例について説明するための図である。
【符号の説明】
１ デジタルカメラ， １１ 操作入力部， １２ 制御部， １３ 撮像部， １４ 間引き処理部， １５ カメラ信号処理部， １６ 表示部， １７出力部， １８ ドライブ， ３１ 水平成分ローパスフィルタ， ３２ 水平１／３間引き処理部， ４１ 間引き処理部， ５１ 水平成分ローパスフィルタ， ５２ 水平１／５間引き処理部， ６１ 間引き処理部， ７１ ディレイライン， ７２ 垂直成分ローパスフィルタ， ７３ 垂直１／３間引き処理部， ８１ 間引き処理部， ９１ 水平垂直ローパスフィルタ， ９２ 水平垂直１／３間引き処理部

Claims (16)

1. 画像を処理する画像処理装置において、
   複数の色成分からなり、２×２の色コーディングを有する画像信号を取得する取得手段と、
   前記取得手段により取得された前記画像信号のうち、注目画素と前記注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、前記注目画素の画素値とするフィルタ手段と、
   前記フィルタ手段により算出された前記加算平均値を画素値とする前記画素を、１／（２ｎ−１）の間引き率で間引きする間引き手段と
   を備えることを特徴とする画像処理装置。
2. 前記フィルタ手段は、１フレームの前記画像信号の、全ての前記画素の画素値を用いて、前記加算平均値を算出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記フィルタ手段は、前記注目画素に対して、水平方向に並んでいる同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、前記注目画素の画素値とする
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記フィルタ手段は、前記注目画素に対して、垂直方向に並んでいる同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、前記注目画素の画素値とする
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記フィルタ手段は、前記注目画素に対して、水平方向および垂直方向に所定の範囲内の同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、前記注目画素の画素値とする
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記フィルタ手段は、複数の前記色成分のうち、少なくとも１つの色成分の前記注目画素に対して、前記注目画素に近い位置に配置されているものから順番に同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、前記注目画素の画素値とする
   ことを特徴とする請求項１に記載の画像処理装置。
7. 前記フィルタ手段は、複数の前記色成分の全ての色成分の前記注目画素に対して、前記注目画素に近い位置に配置されているものから順番に同一の色成分の画素を選択して、（２ｎ−１）個の画素の画素値の加算平均値を算出し、前記注目画素の画素値とする
   ことを特徴とする請求項１に記載の画像処理装置。
8. 前記取得手段は、前記画像信号を撮像する撮像手段を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記撮像手段は、ＣＭＯＳ ＩＣで構成されている
   ことを特徴とする請求項８に記載の画像処理装置。
10. 前記撮像手段、前記フィルタ手段、および前記間引き手段は、同一のＣＭＯＳ ＩＣで構成されている
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記取得手段により取得された前記画像信号に対応する画像を表示する表示手段を更に備え、
    前記表示手段により表示される前記画像が動画像である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されて、前記表示手段により表示され、
    前記表示手段により表示される前記画像が静止画像である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されずに、前記表示手段により表示される
    ことを特徴とする請求項１に記載の画像処理装置。
12. 前記取得手段により取得された前記画像信号を記録する記録手段を更に備え、
    前記記録手段により記録される前記画像信号が動画像に対応する信号である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されて、前記記録手段により記録され、
    前記記録手段により記録される前記画像信号が静止画像に対応する信号である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されずに、前記記録手段により記録される
    ことを特徴とする請求項１に記載の画像処理装置。
13. 前記取得手段により取得された前記画像信号を出力する出力手段を更に備え、
    前記出力手段により出力される前記画像信号が動画像に対応する信号である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されて、前記出力手段により出力され、
    前記出力手段により出力される前記画像信号が静止画像に対応する信号である場合、前記取得手段により取得された前記画像信号は、前記フィルタ手段、および前記間引き手段により処理されずに、前記出力手段により出力される
    ことを特徴とする請求項１に記載の画像処理装置。
14. 画像を処理する画像処理装置の画像処理方法において、
    複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記画像信号のうち、注目画素と前記注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、前記注目画素の画素値とするフィルタ演算ステップと、
    前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値とする前記画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップと
    を含むことを特徴とする画像処理方法。
15. 画像を処理する画像処理装置用のプログラムであって、
    複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記画像信号のうち、注目画素と前記注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、前記注目画素の画素値とするフィルタ演算ステップと、
    前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値とする前記画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップと
    を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
16. 画像を処理する画像処理装置を制御するコンピュータが実行可能なプログラムであって、
    複数の色成分からなり、２×２の色コーディングを有する画像信号の取得を制御する取得制御ステップと、
    前記取得制御ステップの処理により取得が制御された前記画像信号のうち、注目画素と前記注目画素近傍の同一の色成分の画素との（２ｎ−１）個分（ただし、ｎは２以上の整数）の画素値の加算平均値を算出し、前記注目画素の画素値とするフィルタ演算ステップと、
    前記フィルタ演算ステップの処理により算出された前記加算平均値を画素値とする前記画素を、１／（２ｎ−１）の間引き率で間引きする間引きステップと
    を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。

Images