JP3585726B2 - 撮像装置及び記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、モノクロ／カラーの両画像に対応する撮像装置及び記録媒体に関する。
【０００２】
【従来の技術】
モノクロ／カラーの両画像に対応する撮像装置としては、例えば特開平７−１２３４２１号公報に記載された撮像装置が知られている。この撮像装置では、カラー画像を撮像する際は、通常通りの手法にて撮像が行われる。一方、モノカラー画像を撮像する際は、光学フィルター退避もしくは特性変更が行われ、自然画撮影モードでは失われていた画素による空間サンプリングのナイキスト周波数近辺の映像情報がトラップされないため、高解像度の映像が得られる。
【０００３】
また、色レベル補正が実行され、撮像素子出力信号の色成分による変調分が無くされるため、色変調分を除去するトラップ回路などの帯域制限フィルターの高帯域輝度信号処理系への配置が必要なくなり、高周波数帯域の映像情報が失われずにそのまま高解像輝度情報が得られる。
【０００４】
【発明が解決しようとする課題】
ところで、近年、モノカラー画像の撮像は、新聞や雑誌等の活字を認識してデータとして取り込む文字認識の分野で良く使用されている。このような用途に用いられる固体撮像素子においては、１文字当たりの画素数を認識可能レベルにする必要があるが、上記した従来の撮像装置では画素数が十分ではない。このため、従来においては、活字をズームにより拡大し撮像することや、ハイビジョン等に用いられるような大画素数の固体撮像素子を使用することが行われている。
【０００５】
しかしながら、拡大しての撮像を行う場合は処理が煩雑となるし、大画素数の固体撮像素子を使用する場合は装置自体が高価になってしまうという問題がある。
【０００６】
本発明は上記課題を解決するものであって、カラー／モノクロ（モノカラー）画像を撮像でき、かつ、モノクロ画像の撮像を高解像度で行える撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の撮像装置は、複数色からなる色フィルタを有し、撮像光を撮像して画像データを生成する撮像手段と、カラー画像の生成とモノクロ画像の生成との切り替えを行う切り替え制御手段と、カラー画像生成時に、前記撮像手段からの撮像データに基づきカラー画像を生成するカラー画像生成手段と、モノクロ画像生成時に、該撮像手段と撮像光との位置関係を相対的に変位させてイメージシフトを行うイメージシフト手段と、モノクロ画像生成時に、前記イメージシフトの各位置において前記撮像手段が撮像した画像データを、合成してモノクロ画像を生成するモノクロ画像生成手段と、を具備してなる撮像装置において、各色における各画素の画素値を補正することで、各色間のホワイトバランスの調整を行うホワイトバランス調整手段と、モノクロ画像生成時に、前記ホワイトバランス調整手段に、前記イメージシフトの各位置での画像データに対して各々別個にホワイトバランスの調整を行わせしめるホワイトバランス制御手段と、を有するものである。
【０００８】
本発明の撮像装置は、上記の撮像装置において、前記ホワイトバランス調整手段は、前記撮像手段の色フィルタの各色の画素値の分布が所定の最小値から最大値までの範囲の分布となるように、各色における各画素の画素値を一次変換するものである。
【０００９】
本発明の撮像装置は、上記の撮像装置において、前記撮像手段に入射する撮像光の光路中に配され、カラー撮像時とモノクロ撮像時とで制限する空間周波数を変化させ、カラー撮像時には色モアレを軽減するフィルタ特性となり、モノクロ撮像時には折り返し歪みを軽減するフィルタ特性となる可変フィルタ手段を有してなるものである。
【００１０】
本発明の撮像装置は、上記の撮像装置において、前記撮像手段に入射する撮像光の光路中に配され、前記撮像手段の水平，垂直での画素ピッチをＰｈ，Ｐｖとした場合に、［１／Ｐｈ，０］，［−１／Ｐｈ，０］，［０，１／Ｐｖ］，［０，−１／Ｐｖ］の４点を頂点とする四辺形にてレスポンスが零となる周波数特性を有するフィルタ手段を有してなるものである。
【００１１】
本発明の撮像装置は、上記の撮像装置において、外部からの機械的入力により撮像の開始を指示する開始信号を発生する入力手段を有してなり、前記機械的入力の後５ｍｓｅｃ〜５０ｍｓｅｃ秒後に前記画像主段による撮像を行うものである。
【００１２】
本発明の撮像装置は、上記の撮像装置において、モノクロ画像生成時に、イメージシフト手段による画像シフトが終了した後の画像データを撮像する際の画面の露光量が、前記撮像手段により受光される撮像光の空間的な位置のシフトが開始される前に露光された画面の露光量と同レベルになるように、画像データを撮像する際の露光時間を決定するメカニカルシャッターを、前記撮像手段への撮像光の光路中に、具備してなるものである。
【００１３】
本発明の記録媒体は、複数色からなる色フィルタを有し撮像光を撮像して画像データを生成する撮像手段と、該撮像手段と撮像光との位置関係を相対的に変位させてイメージシフトを行うイメージシフト手段とを有し、カラー画像生成時にはイメージシフトを動作させず、モノクロ画像生成時にはイメージシフトを動作させる撮像装置からの画像データに基づき、コンピューターにカラー画像，モノクロ画像を生成させるプログラムを記録した記録媒体であって、コンピューターを、前記色フィルタの各色の各画素の画素値を補正して、各色間のホワイトバランスを調整するホワイトバランス調整手段、カラー画像生成時に、前記撮像手段からの撮像データに基づきカラー画像を生成するカラー画像生成手段、モノクロ画像生成時に、前記イメージシフトの各位置において前記撮像手段が撮像した画像データを、合成してモノクロ画像を生成するモノクロ画像生成手段、およびモノクロ画像生成時に、前記ホワイトバランス調整手段に、前記イメージシフトの各位置での画像データに対して各々別個にホワイトバランスの調整を行わせしめるホワイトバランス制御手段、として機能させるためのプログラムを記録したものである。
【００１４】
【発明の実施形態】
（実施の形態１）
以下、この発明の実施の形態１の撮像装置について、図１を用いて説明する。図１は、実施の形態１における撮像装置の構成を示す構成図である。
【００１５】
図１において、１は撮像用レンズ、２はメカニカルシャッタ、３はメカニカルシャッタ用駆動回路、４はイメージシフト手段、５はイメージシフト駆動回路、６は空間フィルタ（フィルタ手段）、７は固体撮像素子（撮像手段）、８は固体撮像素子用駆動回路、９はタイミング信号発生回路、１０はシャッタスイッチ（入力手段）、１１はモード切り替えスイッチ、１２は前置処理回路、１３はＡ／Ｄ変換手段、１４はバスコントローラ、１５は画像メモリ、１６はホワイトバランス調整手段、１７は制御手段（切り替え制御手段，ホワイトバランス制御手段を兼ねる）、１８はカラー画像生成手段、１９はモノクロ画像生成手段、２０は出力用インターフェースをそれぞれ示している。
【００１６】
ここで、図中各部分についての概略を説明する。
撮像用レンズ１は、図示しない被写体からの撮像光を集光し、固体撮像素子７の受光面に結像させるための光学系である。
【００１７】
メカニカルシャッタ２は、イメージシフトによる撮像を行う際に固体撮像素子７への露光時間を制御するためのシャッタである。
【００１８】
メカニカルシャッタ用駆動回路３は、メカニカルシャッタ２のアクチュエータを駆動するためのドライブ回路である。
【００１９】
イメージシフト手段４は、例えばソレノイド方式のイメージシフト手段であり、固体撮像素子７に対する撮像光の相対位置を移動させる。イメージシフト手段としては、例えば本願出願人が提案した特願平０９−１０８６８５号に記載のものが使用できる。
【００２０】
イメージシフト駆動回路５は、イメージシフト手段４のアクチュエータを駆動するためのドライブ回路である。
【００２１】
空間フィルタ６は、複屈折板により構成される光学フィルタであり、画像光が入射した場合に図２に示すように４本の光線に分離する。図２において、○印は分離された光線を示し、ＰＨは固体撮像素子の水平画素ピッチ、ＰＶは固体撮像素子の垂直画素ピッチを示している。図３は上記のフィルタの周波数特性を示す図である。この図に示すように、空間フィルタ６は破線部でレスポンスが零になる特性の空間フィルタである。なお、図３におけるｆＨ，ｆＶは空間周波数であり、
ｆＨ＝１／ＰＨ，ｆＶ＝１／ＰＶ
の関係にある。
【００２２】
固体撮像素子７は、例えば水平６４０画素×垂直４８０画素の合計約３０万画素の画素数の、オーバーフロードレインを有する色フィルタ付きのＩＴ型全画素読み出しＣＣＤイメージセンサである。ここでは、色フィルタは図４に示すベイヤ配列に配列されているものとする。なお、ここで、Ｒ，Ｇ，Ｂはそれぞれ赤，緑，青の光を通過する色フィルタであるとする。
【００２３】
固体撮像素子用駆動回路８は、固体撮像素子７を駆動するためのドライブ回路である。
【００２４】
タイミング信号発生回路９は、クロック，水平同期信号，垂直同期信号等の同期信号の発生と、固体撮像素子７を駆動するためのタイミング信号を発生する。また、クロックをＡ／Ｄ変換手段に出力する。
【００２５】
シャッタスイッチ１０は、撮像開始のためのトリガスイッチであり、このスイッチを押すことにより撮像動作を開始する。シャッタスイッチ１０の出力は、制御手段１７に入力される。
【００２６】
モード切り替えスイッチ１１は、撮像画像として標準解像度のカラー画像または高解像度のモノクロ画像のどちらを得るのかを選択するためのスイッチである。モード切り替えスイッチ１１の出力は、制御手段１７に入力される。
【００２７】
また、前置処理回路１２は、撮像素子出力に含まれる低域ノイズを除去するＣＤＳ処理及びＡ／Ｄ変換器のダイナミックレンジを有効に用いるために映像信号のレベルを一定に保つオートゲインコントロール等の処理を行う。Ａ／Ｄ変換手段１３は、上記前置処理回路１２の出力であるアナログ信号を、標本化することによりデジタル信号に変換するＡ／Ｄ変換器である。バスコントローラ１４は、制御手段１７の出力によりデータバスの経路をコントロールする。画像メモリ１５は、デジタル化された画像データを記憶するメモリである。
【００２８】
ホワイトバランス調整手段１６は、デジタル化された各色の画像データについてのホワイトバランスを合わせる。
【００２９】
制御手段１７は、シャッタスイッチ１０が押されたかどうかを検出し、メカニカルシャッタ用駆動回路３およびイメージシフト駆動回路５への駆動パターンの出力を行う。また、モード切り替えスイッチ１１の出力により、カラー画像／モノクロ画像撮像の切り替えを管理する。
【００３０】
カラー画像生成手段１８は、カラー画像撮像モードの場合に固体撮像素子７で撮像された画像を元に、カラー画像を生成する。
【００３１】
モノクロ画像生成手段１９は、モノクロ画像撮像モードの場合にイメージシフトによって得られた固体撮像素子７で撮像された画像を元に、モノクロ画像を生成する。
【００３２】
出力用インターフェース２０は、図示しない記録媒体、コンピュータ等に上記カラー画像生成手段１８、モノクロ画像生成手段１９により生成された画像データを出力するためのインターフェースである。
【００３３】
次に、上記構成での動作を、図１を参照して説明する。
撮像モードとして、（１）カラー画像撮像モードと（２）モノクロ画像撮像モードの２種類があり、モード切り替えスイッチ１１によりどちらのモードで撮像するかは決定される。以下、それぞれのモードについて説明する。
【００３４】
（１）カラー画像撮像モード
図示しない被写体から発せられた光は、撮像用レンズ１に入射し、撮像用レンズ１により、メカニカルシャッタ２、イメージシフト手段４の屈折板、空間フィルタ６を経由して、固体撮像素子７の受光面に結像される。撮像動作は、シャッタスイッチ１０が、押されることにより開始される。
【００３５】
カラー画像撮像モードでは、制御手段１７はメカニカルシャッタ２、イメージシフト手段４の双方とも動作させない。すなわち、撮像光は固体撮像素子７にイメージシフト手段４による相対的な撮像位置の変化なしで入射する。
【００３６】
固体撮像素子７は、タイミング信号発生回路９で生成されたタイミング信号をもとに固体撮像素子駆動回路８により駆動され、上記の経路で固体撮像素子７に入射された撮像光を撮像し、映像信号として前置処理回路１２に出力する。前置処理回路１２では、相関二重サンプリング、オートゲインコントロール等の処理により、Ａ／Ｄ変換手段１３に適した形態での信号に変換し出力する。Ａ／Ｄ変換１３にて、デジタイズされた画像信号は、制御手段１７の出力を元にバスコントローラ１４がバスラインの切り替え行い、画像メモリ１５に記憶される。
【００３７】
次に、画像メモリ１５に記憶された画像データは、ホワイトバランス調整手段１６に読み出され、固体撮像素子の色フィルタの種類に応じた各色ごとのヒストグラムを作成され、そのヒストグラム上にて各色を所定の割合だけクリップさせることによりホワイトバランスを調整するための処理を行う。必要なパラーメータとして、上記のように各色を所定の割合だけクリップさせるための１次変換のパラメータ（傾き、切片）を求める。このパラメータは各色ごとに別個に求められ、制御手段１７にて記憶される。
【００３８】
上記のホワイトバランス調整について、図５を参照して詳細に説明する。図５において（ａ）はＲの色フィルタの出力データのヒストグラム、（ｂ）はＧの色フィルタの出力データのヒストグラム、（ｃ）はＢの色フィルタの出力データのヒストグラム、（ｄ）はＲチャンネルのホワイトバランス調整後のヒストグラム、（ｅ）はＧチャンネルのホワイトバランス調整後のヒストグラム、（ｆ）はＢチャンネルのホワイトバランス調整後のヒストグラムを示している。このホワイトバランス調整手段は、このヒストグラムに基づき、色フィルタの各色の画素値の分布が所定の最小値から最大値までの範囲の分布となるように、各色における各画素の画素値を一次変換する。以下、より具体的に示す。
【００３９】
（ａ）においてＲＬはＲの画素値の最小値から画素の値が大きくなる方向に画素数の総和をカウントいていく場合に、Ｒの全画素数の例えば１％より大きくなった画素値である。また、ＲＨはＲの画素値の最大値からの画素の値が小さくなる方向に画素数の総和をカウントいていく場合に、Ｒの全画素数の例えば１％より大きくなった画素値である。（ｂ）におけるＧＬ、ＧＨおよび（ｃ）におけるＢＬ、ＢＨも同様にそれぞれ最大・最小値からのカウントしていった時に全画素数の１％より大きくなった画素値の値を示している。
【００４０】
次に、各チャンネルにおいて下記の（式１）を計算することにより各画素の値の変換を行う。ただし、Ｒｘ，Ｇｘ，Ｂｘは変換前の画素値、Ｒｙ，Ｇｙ，Ｂｙは変換後の画素値とする。また、ｎはメモリに記憶されているデータの量子化ビット数であるとする。

ここで、Ｒｙ，Ｇｙ，Ｂｙの値は例えば四捨五入演算により、整数値に変換する。
【００４１】
以上の処理により、ホワイトバランスを調整された各々の色フィルタの信号を得るが、本処理によれば、Ｒ，Ｇ，Ｂそれぞれの色に対してオフセットが０で最大値が所定値に揃った画素値を得ることができる。なお、上記の例ではクリップする画素数を１％にしているが、これはこの値に限るものではない。撮像した画像の中にクリップしている画素が多い場合等ではもっと大きい値を設定すれば良いし、ホワイトバランス後の画像においてクリップしている画素を少ないしたい場合にはもっと小さい値を設定すればよい。
【００４２】
次に、画像メモリ１５の画像データを使用してのカラー画像の生成を行う。画像メモリ１５に記憶された画像データは、カラー画像生成手段１８に読み出されるが、その際に制御手段１７に記憶された１次変換のパラメータを用いて（式１）の演算を行う。上記演算後の画像データを用いて、カラー画像生成手段１８では色モアレ抑圧処理を用いたカラー画像生成を行う。これは、光学フィルタの水平・垂直方向でのカットオフ周波数が固体撮像素子の折り返し周波数よりも高く設定されているため、通常の信号処理では偽信号が発生し色モアレとして画質劣化が生じるためである。以上のような処理により生成されたカラー画像は、再び画像メモリ１５に上書きされる。
【００４３】
上述の色モアレ抑圧処理を用いたのカラー画像生成手段としては、同一出願人より提案した特願平９−３３６１７６号に記載された通常モードでの信号処理を行うことができる。簡単のため、ここでの説明は省略する。
【００４４】
画像メモリ１５に記憶された画像データを、記憶媒体・コンピュータ等の外部装置に出力する際は、出力用インターフェースにより画像データから各々の規格にしたがった出力信号を生成し出力する。
【００４５】
（２）モノクロ画像撮像モード
次に、モノクロ画像撮像モード時の動作を説明する。図示しない被写体から発せられた光は撮像用レンズ１に入射し、撮像用レンズ１により、メカニカルシャッタ２、イメージシフト手段４の屈折板、空間フィルタ６を経由して、固体撮像素子７の受光面に結像される。
【００４６】
まず、シャッタスイッチ１０が、押されることにより撮像動作が開始される。撮像モードがモノクロ画像撮像モードである場合は、制御手段１７はメカニカルシャッタ２、イメージシフト手段４の双方とも動作させる。１画面目の画像の撮像後に、撮像光はイメージシフト手段４により、固体撮像素子７の水平方向画素ピッチＰｘ，垂直方向画素ピッチＰｙの１／２の長さであるＰｘ／２，Ｐｙ／２の斜め方向への相対的な撮像光の移動が行われる。２枚目の画像の露光時間はメカニカルシャッタにより規定する。なお、メカニカルシャッタを使用したイメージシフト装置としては、本願出願人の提案している特願平８−２６７５５２号に記載の手法がある。
【００４７】
ここで、図６を参照して、上記撮像のタイミングを説明する。
メカニカルシャッタは、通常時はオープンの状態になっている。イメージシフトにより２画面の画像を撮像する際の１画面目の露光時間は固体撮像素子の電子シャッタにより決定し、２画面目の露光時間は固体撮像素子のオーバーフロードレインを閉じたままにしておきメカニカルシャッタを閉塞することにより決定する。以下、動作順に説明する。
【００４８】
▲１▼Ａ点で固体撮像素子の電子シャッターによる１画面目の露光が開始される。すなわち固体撮像素子のオーバーフロードレインが閉じられ電荷の蓄積が始まる。
▲２▼Ｂ点で電荷読み出しパルスによる受光素子より垂直ＣＣＤへの転送が行われる。また、オーバーフロードレインを開き固体撮像素子上に電荷を蓄積しないようにする。また、イメージシフト手段により固体撮像素子上に受光される撮像光の空間的な位置のシフトが開始される。
▲３▼Ｃ点でイメージシフト手段による画像シフトが終了した後、オーバーフロードレインが閉じられ固体撮像素子での２画面目の電荷の蓄積が開始される。また、メカニカルシャッタの閉塞動作が開始される。ここで、メカニカルシャッタの閉塞動作は、固体撮像素子の電子シャッタによる１画面目の露光量とメカニカルシャッタによる２画面目の露光量が同レベルになるタイミングにて行われる。
▲４▼Ｄ点でメカニカルシャッタの閉塞動作が終了し固体撮像素子に入射する撮像光が遮光され、フレーム２の露光が終了する。
▲５▼Ｅ点でフレーム１のＣＣＤからの出力が終了し、電荷読み出しパルスによる受光素子より垂直ＣＣＤへの転送が行われる。また、垂直ＣＣＤより水平ＣＣＤに順次転送され、水平ＣＣＤよりＣＣＤ出力として出力する。この時点以降のタイミングで、メカニカルシャッタの開放動作を行えばよい。
▲６▼Ｆ点でフレーム２の画像を画像を全て読み出した時点で、イメージシフトによる静止画合成に必要となる２画面の撮像が終了する。
以上のようにして、イメージシフトとメカニカルシャッタを使用した２フレームの画像取り込みが行われる。
【００４９】
固体撮像素子７は、上述のタイミングを満たすように、タイミング信号発生回路９で生成されたタイミング信号を元に固体撮像素子駆動回路８により駆動され、固体撮像素子７に入射された撮像光を撮像し映像信号として前置処理回路１２に出力する。ただし、上述のようにモノクロ画像モードでは、２枚の画像を撮像することになる。
【００５０】
上記２枚の画像に対応する撮像信号は、前置処理回路１２により、相関二重サンプリング、オートゲインコントロール等の処理を実行され、Ａ／Ｄ変換手段１３に適した形態とされて出力される。そして、Ａ／Ｄ変換１３にてデジタイズされ、制御手段１７の出力に基づいてバスコントローラ１４が切り替えたバスラインを介して、画像メモリ１５に記憶される。
【００５１】
次に、画像メモリ１５に記憶された画像データは、ホワイトバランス調整手段１６に読み出され、上記した如く、固体撮像素子７の色フィルタの種類に応じて各色ごとにヒストグラムが作成され、そのヒストグラム上にて各色が所定の割合だけクリップされる。これにより、ホワイトバランスを調整するための、１次変換のパラメータ（傾き、切片）が求められる。求めた各色ごとのパラメータは制御手段１７にて記憶される。モノクロ画像モードでは、イメージシフトによって得られる２枚の画像について別個に上記変数値を求める。
【００５２】
上記したホワイトバランス調整処理では、各色毎にオフセットが０で画素値の最大値が所定値に揃えられるため、２枚の画像それぞれに対してホワイトバランスを調整することで、同時にイメージシフトで得られる２枚の画像間の光量差を吸収することが可能となる。
【００５３】
次に、画像メモリ１５の画像データを使用してのモノクロ画像の生成を行う。画像メモリ１５に記憶された画像データは、モノクロ画像生成手段１９に読み出されるが、その際に制御手段１７に記憶された１次変換のパラメータを用いての１次変換を行われる。変換後の画像データを用いて、モノクロ画像生成手段１９ではイメージシフト画像生成を行う。イメージシフト画像合成としては、補間処理、光量補正処理を行う必要がある。この種のイメージシフト合成処理としては、本願出願人が提案した特願平９−１７３８１７号に記載の処理方法が使用できる。以上のようにして、生成されたカラー画像は、再び画像メモリ１５に上書きされる。
【００５４】
画像メモリ１５に記憶された画像データを、記憶媒体・コンピュータ等の外部装置に出力する際は、出力用インターフェースにより画像データから各々の規格にしたがった出力信号を生成し出力する。
【００５５】
以上説明した本実施の形態の撮像装置によれば、高い解像度の必要なビジネス書類等の白黒のドキュメントを撮像する際は高解像度のモノクロ画像として、それほど解像度を必要としない自然物を撮像する際は標準解像度のカラー画像として、必要に応じた解像度の画像を得ることができる。
【００５６】
（実施の形態２）
図７は、本発明に係る撮像装置の実施の形態２を示す構成図である。ここで、実施の形態１と同一構成部分は同一符号をもって表しており、その説明は省略する。
【００５７】
本実施の形態では、イメージシフトとして水平方向に０．５画素の画像の相対移動を行う構成となっている。また、空間フィルタとして、カラー画像合成の際の色モアレをなくすフィルタ特性と、モノクロ画像合成の際の折り返し歪みをなくすフィルタ特性の２通りのフィルタ特性を切り替えることのできる可変空間フィルタを使用する。この種の可変空間フィルタとしては、複数枚の複屈折板により構成されその複屈折板のうちの何枚かを所定の角度だけ回転させることにより、フィルタ特性を所望の特性に切り替えることのできる可変空間フィルタが公知である。
【００５８】
実施の形態１の場合と異なるのは空間フィルタ２１、カラー画像生成手段２２、モノクロ画像生成手段２３、制御手段２４の部分である。その他の部分の動作は、実施の形態１の場合と同様であるため説明を省略する。
【００５９】
制御手段２４は、シャッタスイッチ１０が押されたかどうかを検出し、メカニカルシャッタ用駆動回路３およびイメージシフト駆動回路５への駆動パターンの出力を行うとともに、モード切り替えスイッチ１１の出力に応じて、カラー画像／モノクロ画像撮像の切り替え、及び、可変空間フィルタ２１のフィルタ特性の切り替えを管理する。
【００６０】
空間フィルタ２１は、周波数特性を切り替えることのできる空間フィルタである。例えば上記空間フィルタ２１は、カラー画像の撮像を行う際には、撮像光が入射したときに図８に示すように４点に分離されるものを使用する。図８において、○印は分離された光線を示し、ＰＨは固体撮像素子の水平画素ピッチ、ＰＶは固体撮像素子の垂直画素ピッチを示している。上記のフィルタは図９における破線部分でレスポンスが零になる周波数特性をもつ空間フィルタとなる。ただし、図９において、ｆＨ，ｆＶは空間周波数を表わしており、
ｆＨ＝１／ＰＨ，ｆＶ＝１／ＰＶ
の関係にある。
【００６１】
モノクロ画像の撮像を行う際には、撮像光が入射したときに図１０に示すように２点に分離されるものを使用する。図１０において、○印は分離された光線を示し、ＰＶは固体撮像素子の垂直画素ピッチを示している。上記のフィルタは、図１１中の波線部分でレスポンスが零となるような周波数特性をもつ空間フィルタとなる。
【００６２】
ここで、本実施の形態ではイメージシフトの際に水平方向に０．５画素の画像の相対移動を行う構成としているが、イメージシフトの際に垂直方向に０．５画素の画像の相対移動を行う構成としてもよい。この場合には、モノクロ画像の撮像を行う際の空間フィルタでは、撮像光が入射したときに図１２に示すように２点に分離されるものを使用する。図１２において、○印は分離された光線を示し、ＰＨは固体撮像素子の水平画素ピッチを示している。上記のフィルタは、図１３中の波線部分でレスポンスが零となるような周波数特性の空間フィルタである。
【００６３】
カラー画像生成手段２２は、空間フィルタ２１により色モアレの発生する周波数を落とすことができるため、通常の処理（各色毎の実画素からの補間処理）にてカラー画像生成を行う構成とする。
【００６４】
モノクロ画像生成手段２３は、水平または垂直方向のイメージシフトを行っただけでは、水平または垂直方向の画素数が２倍になるだけなので、モノクロ画像のアスペクト比を１：１にするためにそれぞれイメージシフト方向と９０度異なる方向の画素数を２倍にする。画素数を２倍にする方法としては、例えばキュービックコンボリューション補間を用いて画素数を２倍にすればよい。
【００６５】
以上説明した本実施の形態の撮像装置により、高い解像度の必要なビジネス書類等の白黒のドキュメントを撮像する際は高解像度のモノクロ画像として、それほど解像度を必要としない自然物を撮像する際は標準解像度のカラー画像として、それぞれの必要に応じた解像度の画像を得ることができる。また、モノクロ画像の撮像の際には、実施の形態１で用いた斜め［０．５，０．５］画素のイメージシフトの場合と比較して少ない演算量での高解像度モノクロ画像生成が可能となる。また、空間フィルタをカラー画像とモノクロ画像の場合とで切り替えることにより、カラー画像の生成の際には実施の形態１の場合と比較して演算量の軽減が図れ、モノクロ画像の生成の場合には、イメージシフトを行う方向の解像度の向上と、イメージシフトを行う方向と９０度異なる方向にはモアレを発生させないようにすることができる。
【００６６】
（実施の形態３）
図１４は、本発明の実施の形態４の撮像装置を示す構成図であって、図中実施の形態１と同一構成部分は同一符号をもって表し、その説明を省略する。
【００６７】
本実施の形態では、ホストコンピュータを使用することにより、カメラユニットの構成を簡略化するものである。実施の形態１と異なるのはメカニカルシャッタ３１、前置処理回路３２、タイミング信号発生回路３３、制御手段３４、コンピュータ用インターフェース手段３５、ホストコンピュータ３６の部分である。その他の部分の動作は、実施の形態１の場合と同様であるため説明を省略する。
【００６８】
メカニカルシャッタ３１は、イメージシフトによる撮像を行う際に固体撮像素子７への露光時間を制御するためのシャッタである。また、本実施の形態においては、固体撮像素子７をメモリ要素としても使用する。
【００６９】
前置処理回路３２は、撮像素子出力に含まれる低域ノイズを除去するＣＤＳ処理及びＡ／Ｄ変換器のダイナミックレンジを有効に用いるために映像信号のレベルを一定に保つオートゲインコントロール等の処理を行う。さらに、映像信号をコンピュータ用インターフェース手段３５に出力する。
【００７０】
タイミング信号発生回路３３は、クロック、水平同期信号、垂直同期信号等の同期信号の発生と、固体撮像素子７へのタイミング信号を発生する。さらに、クロック，水平同期信号，垂直同期信号等の同期信号を、コンピュータ用インターフェース手段３５に出力する。
【００７１】
制御手段３４は、モード切り替えスイッチ１１の出力またはホストコンピュータ３６からのモード切り替え要求に応じて、カラー／モノクロの撮像モードの切り替えを管理し、シャッタスイッチ１０が押された場合、または、ホストコンピュータ３６からの撮像開始要求があった場合、メカニカルシャッタ用駆動回路３およびイメージシフト駆動回路５への駆動パターンの出力を行う。ここで、カメラユニットについているシャッタスイッチ１０が押された場合には、所定時間（例えば１０ｍｓｅｃ）後に撮像動作を開始するようにする。これは、ユーザがシャッタボタンを押した際に生じる手振れが落ち着いた状態での撮像を行うことにより、手ぶれの影響を少なくするためである。上記所定時間はあまり長すぎても意味がないので５０ｍｓｅｃ以内に設定することが望ましい。また、図１６に手振れ量の時間変化を実験した結果を示すが、この場合には約５ｍｓｅｃでシャッタ押圧に伴う手振れが解消されている。よって、上記所定時間としては５ｍｓｅｃ〜５０ｍｓｅｃの値を設定すればよい。
【００７２】
一方、ホストコンピュータ３６からの撮像開始要求があった場合には、上記のように所定時間後に撮像動作を行うという処理は行う必要はなく、撮像開始要求があった時点にて撮像動作を開始する。
【００７３】
また、制御手段３４はタイミング信号発生回路３３に対して固体撮像素子の動作を制御する電荷掃き出しパルスの出力をコントロールする信号を出力する。また、コンピュータ用インターフェース手段３５に固体撮像素子から撮像された画像データが出力されるタイミングを教えることにより、コンピュータ用インターフェース手段３５内のＡ／Ｄ変換手段によるデジタライズのタイミングを管理する。具体的には、カラー画像撮像モードの場合には固体撮像素子の映像信号の出力開始時に、またモノクロ画像撮像モードの場合には、図６におけるＣＣＤ出力のフレーム１およびフレーム２のデジタイズのタイミングであるＡ点、Ｂ点にてトリガ信号を出力する。
【００７４】
さらに、制御手段３４は、モノクロ／カラー撮像モードのモード切り替えを管理する。モード切り替えスイッチ１１により、モード切り替えが行われた場合はコンピュータ用インターフェース手段３５を介して、モードが切り替わったことをホストコンピュータ３６に報せる。また、ホストコンピュータ３６からのモード切り替えを行う場合には、モード切り替え要求をコンピュータ用インターフェース手段３５を介して、制御手段３４に送信し撮像モードの切り替えが行われる。以上のようにして、モノクロ／カラー撮像モードのモード管理を行うことにより、ユーザにとって使いやすくかつユーザの意図に反した誤動作を防ぐようにしている。
【００７５】
コンピュータ用インターフェース手段３５は、例えばパーソナルコンピュータにて使用されるインターフェースボードであり、機能としては映像信号・同期信号を入力し、映像信号のＡ／Ｄ変換を行い、画像データとしてホストコンピュータ３６内のメモリに記憶する。また、制御手段３４からのモード切り替え信号を入力し、ホストコンピュータ３６に出力する。また、ホストコンピュータ３６からの、撮像開始要求・モード切り替え要求の信号を制御手段３４に送信する。
【００７６】
ここで、ホストコンピュータ３６の速度が、固体撮像素子での１画素に相当する周期（６４０×４８０画素では８０ナノ秒程度）にてホストコンピュータ３６の有するメモリに転送可能なほど高速に動作している場合には特に必要ないが、そうでない場合はバッファメモリをコンピュータ用インターフェース手段３５に持つ必要がある。その際には、図４でのＥ点のタイミングを１フレーム目の画像がホストコンピュータ内のメモリに転送終了するまで遅らせてやることにより固体撮像素子をメモリ要素として使用し、インターフェース手段３５に必要となるバッファメモリの容量を減少することができる。
【００７７】
ホストコンピュータ３６は、例えばパーソナルコンピュータであり、コンピュータ用インターフェース手段３５を介して画像データを内部にもつメモリに入力する。また、メモリに格納された画像データに対して、カラー／モノクロの画像モードに応じ合成処理を行う。また、撮像開始要求信号やモード切り替え要求信号をコンピュータ用インターフェース手段３５に出力する。
【００７８】
本実施の形態の構成にすることにより、高解像度の必要なビジネス書類等の白黒のドキュメントを撮像する際は高解像度のモノクロ画像として、それほど解像度を必要としない自然物を撮像する際は標準解像度のカラー画像として、それぞれの必要に応じた解像度の画像を得ることができる。また、ホストコンピュータおよびコンピュータ用インターフェース手段に負荷を負わせることにより、カメラユニットの回路規模を減少することができ、カメラユニットだけを考えた場合に小型化を図ることができる。また、メカニカルシャッタを使用し固体撮像素子の露光制御を行うことにより、等価シャッタ時間の高速化とコンピュータへのデータ転送時に必要になるバッファメモリの容量を減少することができる。
【００７９】
（実施の形態４）
図１５は、本発明の実施の形態４の撮像装置を示す構成図であって、この図において図１４の撮像装置と同一構成部分は同一符号をもって表し、その説明を省略する。
【００８０】
ここで異なるのは前置処理回路５１，Ａ／Ｄ変換手段５２，画像メモリ５３，カメラユニットインターフェース手段５４，コンピュータ用インターフェース手段５５，タイミング信号発生手段５６，制御手段５７の部分である。その他の部分の動作は、実施の形態３の場合と同様であるため説明を省略する。
【００８１】
ここで、前置処理回路５１は、撮像素子出力に含まれる低域ノイズを除去するＣＤＳ処理及びＡ／Ｄ変換器のダイナミックレンジを有効に用いるために映像信号のレベルを一定に保つオートゲインコントロール等の処理を行う。
【００８２】
Ａ／Ｄ変換手段５２は、上記前置処理回路５１の出力であるアナログ信号を、標本化することによりデジタル信号に変換するＡ／Ｄ変換器である。Ａ／Ｄ変換された画像データは画像メモリ５３に出力される。
【００８３】
画像メモリ５３は、固体撮像素子７にて撮像されＡ／Ｄ変換手段５２によりデジタル信号に変換された画像データを記憶する。カラー画像撮像モードの場合では、１枚の画像、モノクロ画像撮像モードの場合には２枚の画像を記憶する。
【００８４】
カメラユニットインターフェース手段５４は、画像メモリ５３に記憶された画像データをもとにして、例えばＵＳＢ、ＩＥＥＥ１３９４等の規格のインターフェースにのっとった出力信号を生成する。また、ホストコンピュータ３６からの撮像開始要求信号、モード切り替え要求信号をコンピュータ用インターフェース５５を経由して入力し、制御手段５７に出力する。
【００８５】
コンピュータ用インターフェース５５は、例えばＵＳＢ、ＩＥＥＥ１３９４等の規格のパーソナルコンピュータ用のインターフェースであり、画像データをカメラユニットインターフェース手段５４より受信し、ホストコンピュータ３６中のメモリに転送する。また、ホストコンピュータ３６からの、撮像開始要求信号、モード切り替え要求信号を、カメラユニットインターフェース手段５４を経由して制御手段５７に送信する。
【００８６】
タイミング信号発生手段５６は、クロック、水平同期信号、垂直同期信号等の同期信号の発生と、固体撮像素子７へのタイミング信号を発生する。さらに、クロックをＡ／Ｄ変換手段５２に出力する。
【００８７】
制御手段５７は、モード切り替えスイッチ１１の出力またはホストコンピュータ３６からのモードで切り替え要求による画像モードの切り替えを管理し、シャッタスイッチ１０が押された場合またはホストコンピュータ３６からの撮像開始要求があった場合、メカニカルシャッタ用駆動回路３およびイメージシフト駆動回路５への駆動パターンの出力を行う。また、カメラユニットインターフェース手段５５に撮像動作が終了し画像データの画像メモリ５３に記憶が完了した際に、画像データのホストコンピュータへの転送開始を指示する信号を出力する。
【００８８】
本実施の形態の撮像装置によれば、高解像度の必要なビジネス書類等の白黒のドキュメントを撮像する際は高解像度のモノクロ画像として、それほど解像度を必要としない自然物を撮像する際は標準解像度のカラー画像として、必要に応じた解像度の画像を得ることができる。
【００８９】
以下に、上記実施の形態１〜４により得られる効果をまとめて示す。
（１）モノクロ撮像のときにはイメージシフトを行い、カラー撮像のときにはイメージシフトを行わないため、主にビジネス書類等の高い解像度の必要なモノクロ撮像の際には高解像度の画像を得ることができ、それほど解像度を必要としない自然物を撮像する際はモアレのない標準解像度のカラー画像を得ることができる。
【００９０】
（２）撮像装置の一部をコンピューターで構成することにより、コンピュータから電源供給・画像合成・データ記憶等を行うことができ、撮像カメラユニットの構成を簡略化することができ、小型・軽量化を可能とすることができる。
【００９１】
（３）固体撮像素子への撮像光の光路中にメカニカルシャッタを有しているため、イメージシフトを用いた撮像の際の等価的なシャッター時間を短くすることができ、手ぶれ・被写体が移動している場合等の状況においてもイメージシフトによる高解像度化の効果を得ることができる。
【００９２】
（４）固体撮像素子への光路中に可変光学フィルタを配することで、カラー撮像時の画質劣化の要因となる色モアレや、モノクロ撮像時の折り返し歪みの除去効果があり、信号処理による上記色モアレ、折り返し歪みの軽減処理を行う場合に比べて回路、処理の軽減を図ることができる。
【００９３】
（５）固体撮像素子への光路中に、固体撮像素子の水平，垂直での画素ピッチをＰｈ，Ｐｖとした場合に、［１／Ｐｈ，０］，［−１／Ｐｈ，０］，［０，１／Ｐｖ］，［０，−１／Ｐｖ］の４点を頂点とする四辺形にてレスポンスが零となる周波数特性を有する光学フィルタを配することにより、色モアレを目立たなくすることができ、かつ上記空間フィルタの特性によるモノクロ画像合成の際の折り返し歪みの軽減効果もあるため、同一の空間フィルタにてカラー／モノクロ画像の撮像が可能になり、構成が簡単になりコストアップ、形状の大型化を防ぐことができる。
【００９４】
（６）イメージシフトを斜め方向に１／２画素ピッチ行うことで、イメージシフト合成後のモノクロ画像について水平及び垂直解像度を改善することができ、文字認識装置等に用いた場合に認識率を向上させることができる。
【００９５】
（７）イメージシフトを水平または垂直方向に１／２画素ピッチ行うことで、イメージシフト合成後のモノクロ画像について水平解像度または垂直解像度を改善することができ、文字認識等の認識率を向上させることができる。また、この場合には斜め方向のイメージシフトの場合と比べて、補間処理の演算量を軽減することができ回路規模・演算量を軽減することができる。
【００９６】
（８）イメージシフトを伴ったモノクロ画像の生成の際に、各変位位置における画像データのホワイトバランスを調整した後それらを合成することとすれば、各変位位置での光量差や各色のゲイン・オフセット差により生じるイメージシフト合成画像の画質劣化を防ぐことができる。
【００９７】
（９）撮像装置の一部をコンピューターで構成し、残りをカメラユニットで構成した場合に、カメラユニットの構成要素を、撮像レンズ，メカニカルシャッタ，イメージシフト手段，空間フィルタ，固体撮像素子，前置処理回路とすれば、インターフェースケーブル中の信号線の本数を少なくすることができ、かつカメラユニット内の回路規模を小さくすることができるため、小型・軽量化なカメラユニットを実現できる。
【００９８】
（１０）撮像装置に撮像開始を指示するシャッタボタンを具備させ、それが押圧されてから一定時間（５ｍｓｅｃ〜５０ｍｓｅｃ）経過後にトリガ信号を発生させるようにすれば、シャッタボタンを押した瞬間に生じる手ぶれを避けて撮像を行うことができる。
【００９９】
（１１）カメラユニットに撮像開始を指示するシャッタボタンを具備させるとともに、コンピューターにもトリガ信号を発生するシャッタ機能を具備させ、さらにカメラユニットとコンピューター間の相互通信を可能とすることにより、ユーザにとって使いやすく、ユーザの意図に反した誤動作を防ぐことができる。
【０１００】
（１２）カメラユニットに撮像開始を指示するシャッタボタンを具備させるとともに、コンピューターにもモノクロ／カラー撮像モードの切り替え手段を具備させることにより、ユーザにとって使いやすく、ユーザの意図に反した誤動作を防ぐことができる。
【０１０１】
（１３）ホワイトバランスの調整を上記したようにヒストグラムを考慮した１次変換によって行えば、各色の信号にゲイン差・オフセット差・クリップが複合して存在した場合においても良好なホワイトバランス調整が可能となる。また、反射光等の高輝度点があった場合においても、良好なホワイトバランス調整が可能となる。
【０１０２】
（１４）メカニカルシャッタを使用した固体撮像素子への露光を行った後にメカニカルシャッタを閉じたまましておくことで固体撮像素子への入射光を遮断して、固体撮像素子をメモリとして使用することにより、処理系において処理速度が遅い要素がある場合において、バッファメモリの容量を削減することができる。
【０１０３】
なお、上記した実施の形態３，４で示したようにコンピューターを撮像装置の一部とする場合、コンピューターにホワイトバランス調整やカラー画像，モノクロ画像の生成を行わせるためのプログラムは、ＣＤ−ＲＯＭやハードディスクといった記録媒体から供給されてもよい。
【０１０４】
【発明の効果】
本発明によれば、モノクロ撮像のときにはイメージシフトを行い、カラー撮像のときにはイメージシフトを行わないため、主にビジネス書類等の高い解像度の必要なモノクロ撮像の際には高解像度の画像を得ることができ、それほど解像度を必要としない自然物を撮像する際はモアレのない標準解像度のカラー画像を得ることができる。
【０１０５】
また、モノクロ画像生成時に、イメージシフトして撮像した画像データに対してそれぞれ別個にホワイトバランス調整を行うことにより、各色のゲイン・オフセット差により生じるイメージシフト合成後の画質劣化を防止できると同時に、合成する複数の画像間の光量差を補償することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の撮像装置の構成を示すブロック図である。
【図２】実施の形態１の空間フィルタ６の分離幅を示す説明図である。
【図３】実施の形態１の空間フィルタ６の周波数特性を示す説明図である。
【図４】固体撮像素子の色フィルタの配列を示す説明図である。
【図５】ホワイトバランス調整の手法を示す説明図である。
【図６】実施の形態１の撮像時のタイミングを表すタイミングチャートである。
【図７】実施の形態２の構成を表すブロック図である。
【図８】実施の形態２の可変空間フィルタのカラー撮像時における分離幅を示す説明図である。
【図９】図８の可変空間フィルタのカラー撮像時における周波数特性を示す説明図である。
【図１０】実施の形態２のモノクロ撮像時における空間フィルタの分離幅を示す説明図である。
【図１１】図１０の可変空間フィルタのモノクロ撮像時間における周波数特性を示す説明図である。
【図１２】実施の形態２のモノクロ撮像時における空間フィルタの分離幅の他の例を示す説明図である。
【図１３】図１２の可変空間フィルタのモノクロ撮像時間における周波数特性を示す説明図である。
【図１４】本発明の実施の形態３の撮像装置の構成を示すブロック図である。
【図１５】本発明の実施の形態４の撮像装置の構成を示すブロック図である。
【図１６】シャッタ押圧後の手振れ量の時間変化を示す図である。
【符号の説明】
４ イメージシフト手段
７ 固体撮像素子（撮像手段）
１６ ホワイトバランス調整手段
１７ 制御手段
１８ カラー画像生成手段
１９ モノクロ画像生成手段

Claims (7)

1. 複数色からなる色フィルタを有し、撮像光を撮像して画像データを生成する撮像手段と、
   カラー画像の生成とモノクロ画像の生成との切り替えを行う切り替え制御手段と、
   カラー画像生成時に、前記撮像手段からの撮像データに基づきカラー画像を生成するカラー画像生成手段と、
   モノクロ画像生成時に、該撮像手段と撮像光との位置関係を相対的に変位させてイメージシフトを行うイメージシフト手段と、
   モノクロ画像生成時に、前記イメージシフトの各位置において前記撮像手段が撮像した画像データを、合成してモノクロ画像を生成するモノクロ画像生成手段と、を具備してなる撮像装置において、
   各色における各画素の画素値を補正することで、各色間のホワイトバランスの調整を行うホワイトバランス調整手段と、
   モノクロ画像生成時に、前記ホワイトバランス調整手段に、前記イメージシフトの各位置での画像データに対して各々別個にホワイトバランスの調整を行わせしめるホワイトバランス制御手段を具備してなることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、前記ホワイトバランス調整手段は、前記撮像手段の色フィルタの各色の画素値の分布が所定の最小値から最大値までの範囲の分布となるように、各色における各画素の画素値を一次変換することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記撮像手段に入射する撮像光の光路中に配され、カラー撮像時とモノクロ撮像時とで制限する空間周波数を変化させ、カラー撮像時には色モアレを軽減するフィルタ特性となり、モノクロ撮像時には折り返し歪みを軽減するフィルタ特性となる可変フィルタ手段を有してなることを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記撮像手段に入射する撮像光の光路中に配され、前記撮像手段の水平，垂直での画素ピッチをＰｈ，Ｐｖとした場合に、［１／Ｐｈ，０］，［−１／Ｐｈ，０］，［０，１／Ｐｖ］，［０，−１／Ｐｖ］の４点を頂点とする四辺形にてレスポンスが零となる周波数特性を有するフィルタ手段を有してなることを特徴とする撮像装置。
5. 請求項１に記載の撮像装置において、外部からの機械的入力により撮像の開始を指示する開始信号を発生する入力手段を有してなり、前記機械的入力の後５ｍｓｅｃ〜５０ｍｓｅｃ後に前記撮像主段による撮像を行うことを特徴とする撮像装置。
6. 請求項１に記載の撮像装置において、モノクロ画像生成時に、イメージシフト手段による画像シフトが終了した後の画像データを撮像する際の画面の露光量が、前記撮像手段により受光される撮像光の空間的な位置のシフトが開始される前に露光された画面の露光量と同レベルになるように、画像データを撮像する際の露光時間を決定するメカニカルシャッターを、前記撮像手段への撮像光の光路中に有していることを特徴とする撮像装置。
7. 複数色からなる色フィルタを有し撮像光を撮像して画像データを生成する撮像手段と、該撮像手段と撮像光との位置関係を相対的に変位させてイメージシフトを行うイメージシフト手段とを有し、カラー画像生成時にはイメージシフトを動作させず、モノクロ画像生成時にはイメージシフトを動作させる撮像装置からの画像データに基づき、コンピューターにカラー画像，モノクロ画像を生成させるプログラムを記録した記録媒体であって、
   コンピューターを、前記色フィルタの各色の各画素の画素値を補正して、各色間のホワイトバランスを調整するホワイトバランス調整手段、カラー画像生成時に、前記撮像手段からの撮像データに基づきカラー画像を生成するカラー画像生成手段、モノクロ画像生成時に、前記イメージシフトの各位置において前記撮像手段が撮像した画像データを、合成してモノクロ画像を生成するモノクロ画像生成手段、およびモノクロ画像生成時に、前記ホワイトバランス調整手段に、前記イメージシフトの各位置での画像データに対して各々別個にホワイトバランスの調整を行わせしめるホワイトバランス制御手段、として機能させるためのプログラムを記録したコンピューター読み取り可能な記録媒体。

Images