JP4719564B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、電子スチルカメラやビデオカメラなどの撮像装置、その制御方法及び当該制御方法をコンピュータに実行させるためのプログラムに用いて好適な技術に関するものである。

従来、撮像された画像がその周辺部にいくにつれて光量が落ちて暗くなる現象を補正するシェーディング補正技術として、以下のような技術が提案されている。

撮像用レンズに補正係数が格納された記憶手段を有し、当該補正係数を用いて画像の補正を行なう技術が提案されている（例えば、特許文献１参照）。また、時間的に異なるタイミングで条件を変えて２枚の画像を撮影し、各々の画像に対してシェーディング補正を行った後、２枚の画像を合成して補正画像を得る技術が提案されている（例えば、特許文献２参照）。また、光軸位置からの距離値と補正データとの関係を表す近似関数を参照して、画像に係る補正データを求める技術が提案されている（例えば、特許文献３参照）。

特開平６−１９７２６６号公報 特開２００２−２９０８２９号公報 特開２００４−２６６７５０号公報

しかしながら、上記特許文献１、２、３に係る技術では、いずれも補正時に周辺部に対してゲインをアップさせるためのノイズも増幅されてしまい、画像のＳ／Ｎ比が悪化するという課題があった。

本発明は上述の問題点にかんがみてなされたものであり、シェーディング補正に際して、ノイズ成分が増幅されてしまうのを回避し、画質の劣化を防止することを目的とする。

上記課題を解決するために本発明は、撮像により得られたフレームに対してシェーディング補正を行う撮像装置であって、上記撮像により得られたフレームを遅延させる遅延手段と、上記撮像により得られたフレームに乗算する第１の補正係数と上記遅延された遅延フレームに乗算する第２の補正係数であって上記第１の補正係数とは異なる上記第２の補正係数とを上記第１及び第２の補正係数及び上記第１及び第２の補正係数の合計値が画面上の位置に応じて異なるように決定する決定手段と、上記第１の補正係数を上記撮像により得られたフレームに乗算し、上記第２の補正係数を上記遅延フレームに乗算する乗算手段と、上記乗算手段で乗算された複数フレームを加算してフレームを生成する生成手段とを有することを特徴とする撮像装置等を提供する。

本発明によれば、シェーディング補正に際して、ノイズ成分が増幅されてしまうのを回避し、画質の劣化を防止することが可能となる。

以下、図面を用いて、本発明の諸実施形態について詳細に説明する。

（第１の実施形態）
図１は、第１の実施形態に係る撮像装置のハード構成を示すブロック図である。
図１において１０１は、レンズ群、ズーム制御モータ、フォーカス制御モータ及びアイリスシャッタから成る光学系である。図１において１０２は、ＣＣＤやＣＭＯＳなどのセンサである。図１において１０３は、センサ１０２から読み出された信号に対してアナログ処理を施す信号処理部である。図１において１０４は、信号処理部１０３で信号処理された信号に対してＡ／Ｄ変換処理を施すＡ／Ｄ変換部である。

図１において１０５、１０６及び１０７は、Ａ／Ｄ変換部１０４から出力された画像データを各々１フレーム遅延させるフレーム遅延部である。図１において１０８は、補正処理を行う演算部であり、各画像データに対して乗算を行う複数の乗算器１０８ａ〜１０８ｄと当該各乗算器で乗算された各画像データを加算する加算器１０８ｚとを有して構成されている。図１において１０９は、演算部１０８における補正係数を演算する係数演算部である。

図１において１１０は、制御信号やタイミング信号を生成するタイミングジェネレータである。タイミングジェネレータ１１０は、光学系制御部１１４と、タイミング制御部１１５と、係数制御部１１８と、出力レート制御部１１９と、Ｈカウンタ１２０と、Ｖカウンタ１２１とを有して構成されている。

光学系制御部１１４は、光学系１０１を制御するものであり、ズーム制御部１１１、フォーカス制御部１１２及びアイリスシャッタ制御部１１３を有して構成されている。タイミング制御部１１５は、センサ１０２、信号処理部１０３、Ａ／Ｄ変換部１０４の動作タイミングを制御するものである。係数制御部１１８は、係数演算部１０９の設定及び制御を行うテーブル設定部１１６と、テーブル制御部１１７とを有して構成されている。出力レート制御部１１９は、演算部１０８から出力されたデータのフレーム間引き処理の制御を行うものである。Ｈカウンタ１２０は、供給されるクロック信号から水平方向のカウントを行うものである。Ｖカウンタ１２１は、垂直方向のカウントを行うものである。

図１において１２２は、演算部１０８からのデータの間引き処理を行う出力制御部である。図１において１２３は、全体の制御を司るＣＰＵである。図１において１２４は、プログラムを記憶しておくＲＯＭである。図１において１２５は、ワーク領域として用いるＲＡＭである。図１において１２６は、出力制御部１２２より出力された画像データに対してＷＢ（ホワイトバランス）補正やγ（ガンマ）補正を行うＷＢ／γ補正部である。

図１において１２７は、さらに画像データに対してフィルタ処理を行うフィルタ処理部である。図１において１２８は、フィルタ処理部１２７におけるフィルタ係数を記憶しておくフィルタ係数テーブルである。図１において１２９は、処理された画像データの表示を行うＬＣＤ（Liquid Crystal Display）やＥＬ（ElectoroLuminescence）などの表示部である。図１において１３０は、画像データの圧縮処理を行う圧縮部である。図１において１３１は、撮像開始・終了やズームなどの操作を行う操作部である。図１において１３２は、画像データを記憶しておく外部メモリである。図１において１３３は、クロックを生成して全体へクロック信号を供給するクロックジェネレータである。

−撮像動作の説明−
操作部１３１にて撮像開始が指示されると、ＣＰＵ１２３は、タイミングジェネレータ１１０に対して各種設定を行う。タイミングジェネレータ１１０は、設定に従い、Ｈカウンタ１２０及びＶカウンタ１２１を動作させる。そして、タイミングジェネレータ１１０は、そのカウント値などに従い、光学系制御部１１４から光学系１０１へ、タイミング制御部１１５からセンサ１０２、信号処理部１０３及びＡ／Ｄ変換部１０４へ制御信号を出力する。これにより、センサ１０２に取り込まれた画像データがＡ／Ｄ変換部１０４から順次出力される。

Ａ／Ｄ変換部１０４から出力された画像データは、フレーム遅延部１０５〜１０７により、１フレームから３フレーム分遅延される。演算部１０８では、係数演算部１０９から出力された補正係数ａ，ｂ，ｃ，ｄと、Ａ／Ｄ変換部１０４及び各フレーム遅延部１０５〜から出力されたデータを乗算し、さらに各々を加算する。そして、演算部１０８は、出力制御部１２２による制御に従い、データを出力する。

より具体的には、出力レート制御部１１９は、Ｖカウンタ１２１からＶＳＹＮＣ信号を受け取り、４フレームのうちの１フレームについて出力制御部１２２に対して出力イネーブル信号をアサートする。出力制御部１２２は、当該出力イネーブル信号がアサートされている場合には演算結果を出力し、アサートされていない場合には出力しない。なお、係数演算部１０９からの係数出力動作に関しては後述する。

出力制御部１２２より出力されたデータは、ＷＢ／γ補正部１２６へ入力されて補正処理がされた後、一旦ＲＡＭ１２５に記憶される。次に、圧縮部１３０にて圧縮処理が行われた後、外部メモリ１３２に記憶される。

ここで、表示部１２９による表示、或いはフィルタ処理部１２７によるフィルタ処理が設定されている場合は、圧縮処理をする前に、以下の処理を行う。
フィルタ処理の設定がされている場合、ＣＰＵ１２３は、データをフィルタ処理部１２７へ転送する。フィルタ処理部１２７では、予め設定されたフィルタ係数テーブル１２８よりフィルタ係数を読み出し、当該フィルタ係数を用いてフィルタ処理を行う。フィルタ処理については、様々な手法が知られているので、ここではその詳細は記述しない。フィルタ処理後のデータは、ＲＡＭ１２５へ書き戻される。表示設定がされている場合、ＣＰＵ１２３は、ＲＡＭ１２５内のデータに対して表示のためのリサイズ処理を行い、当該データを表示部１２９へ出力する。これにより、表示部１２９にデータの表示がなされる。以上の動作により、撮像された画像データがメモリに記憶される。また、以上の動作を繰り返し行うことにより、動画像データを記憶することができる。

図２は、第１の実施形態に係る撮像装置の動作を示すタイミングチャートである。この図２には、上述したフィルタ処理及び表示処理無し時におけるタイミングチャートが示されている。

Ａ／Ｄ変換部１０４より出力された画像データは、各フレーム遅延部１０５、１０６及び１０７で遅延され、それらデータに基づいて演算部１０８で演算されて出力される。出力イネーブル信号がＨｉｇｈの期間のみ、出力制御部１２２から出力がなされる。図２では、出力レートとして、センサ１０２における出力レートの１／４が設定された場合を示している。

図３は、第１の実施形態に係る撮像装置の撮像動作に係る処理を示すフローチャートである。なお、図３に示す処理は、ＣＰＵ１２３で行なわれる。
ステップＳ３０１にて撮像が開始されると（ステップＳ３０１／ＹＥＳ）、続いて、ステップＳ３０２にて、タイミングジェネレータ１１０などに対してパラーメータ設定を行う。続いて、ステップＳ３０３にて、Ｈカウンタ１２０、Ｖカウンタ１２１のカウント動作を開始する。

続いて、出力制御部１２２から画像データが出力されるのに従って、ステップＳ３０４にて、出力された画像データに対してＷＢ（ホワイトバランス）補正やγ（ガンマ）補正を行うようにＷＢ／γ補正部１２６を制御する。続いて、ステップＳ３０５にて、処理された画像データに対して圧縮処理を行うように圧縮部１３０を制御する。

続いて、ステップＳ３０６にて、処理された画像データを外部メモリへ記憶する。続いて、ステップＳ３０７にて、撮像動作の終了が指示されたか否かを判定し、撮像動作の終了の指示がなければ、ステップＳ３０４に戻る。一方、撮像動作の終了の指示があれば、ステップＳ３０８に進む。

続いて、ステップＳ３０８では、フレーム単位の処理が終了しているか否かを判定し、フレーム単位の処理が終了していなければ、ステップＳ３０４に戻り、フレーム単位の処理が終了するまで処理を繰り返す。一方、フレーム単位の処理が終了していれば、ステップＳ３０９に進んで終了処理を行い、撮像動作に係る処理を終了する。

−係数演算部１０９における制御の説明−
図４は、係数演算部１０９の詳細なハード構成を示すブロック図である。
図４において４０１、４０３、４０５及び４０７は、関数演算部Ａ〜Ｄ（４０２、４０４．４０６及び４０８）での係数演算時に用いる算出式における定数セットを複数組記憶しておく定数セットテーブルである。図４において４０２、４０４、４０６及び４０８は、定数セットテーブル４０１、４０３、４０５及び４０７によりセットされた定数と、係数制御部１１８から出力されるＨＣＯＵＮＴ'、ＶＣＯＵＮＴ'の値から、演算部１０８で用いる補正係数ａ〜ｄを演算する関数演算部である。

ここで、補正係数算出式は、以下の通りに示される。
ａ ＝ ｆ１（ｒ） ・・・ （１）
ｂ ＝ ｆ２（ｒ） ・・・ （２）
ｃ ＝ ｆ３（ｒ） ・・・ （３）
ｄ ＝ ｆ４（ｒ） ・・・ （４）
但し、ｒ ＝ √（（ｘ − Ｘ０）２ ＋ （ｙ − Ｙ０）２）
Ｘ０、Ｙ０は、画面の中心点の座標

また、上記定数セットとは、例えば、（１）式がｎ次関数であったとした場合、その式は以下の（５）式のように示されるが、（１）式におけるａ０、ａ１、ａ２、…、ａｎのことである。
ａ ＝ ｆ１（ｒ）
＝ ａｎ×ｒｎ ＋ … ＋ ａ２×ｒ２ ＋ ａ１×ｒ + ａ０ ・・・ （５）

テーブル制御部１１７は、Ａ／Ｄ変換部１０４、フレーム遅延部１０５〜１０７からのデータ出力のタイミングに合わせて、Ｈカウンタ１２０及びＶカウンタ１２１より入力されたＨＣＯＵＮＴ、ＶＣＯＵＮＴを遅延させる。そして遅延させたＨＣＯＵＮＴ'、ＶＣＯＵＮＴ'を出力して係数演算部１０９へ入力する。

また、テーブル設定部１１６は、撮像動作開始時及びズーム制御信号が入力されズーム制御が行われた場合に、当該ズーム制御信号に基づき現在のズーム位置情報を算出する。そして、テーブル設定部１１６は、ズーム位置情報信号とセット信号を係数演算部１０９へ入力する。

定数セットテーブル４０１、４０３、４０５及び４０７では、撮像動作開始時にセット信号がアサートされると、その時点でのズーム位置情報信号に従って該当する定数セットをテーブルから読み出し、各関数演算部４０２、４０４、４０６及び４０８へセットする。関数演算部４０２、４０４、４０６及び４０８では、クロック毎に演算を行って当該演算結果を演算部１０８に出力する。

ここで、ＨＣＯＵＮＴ‘、ＶＣＯＵＮＴ’、即ち画面上の位置と補正係数ａ〜ｄとの関係を図５に示す。図５では、画面のサイズを６４０×４８０と想定している。図５に示すように、画面の中央部では、補正係数ｃのみが「１」となり、他の補正係数ａ、ｂ及びｄは「０」となっている。また、画面の中央部から周辺部にいくに従って、補正係数ｃは減少し、補正係数ａ、ｂ及びｄは増加している。

ここで、補正係数ａ〜ｄの大小関係は、以下の通りである。遅延時間が中心に最も近いフレームに対する補正係数ｃが最大となり、中心から外れるのに従って減少していく。
ｃ ≧ ｂ ≧ ａ ・・・ （６）
ｃ ≧ ｄ ・・・ （７）

また、補正係数ａ〜ｄの合計値は、中央部は「１」であるが、周辺部にいくに従って増加している。即ち、演算部１０８での演算において、画面中央部ではフレーム遅延部１０６の出力データのみが出力され、周辺部にいくに従って、フレーム遅延部１０５、１０７及びＡ／Ｄ変換部１０４のデータが加算されて出力されることになる。また、補正係数の合計値が１より大きくなるのに伴い、信号に対するゲインを上げたのと同様の効果が得られ、シェーディング補正の効果を得ることができる。

−ズーム制御に係る処理の説明−
操作部１３１において、ズーム・イン、ズーム・アウトの操作が行われると、ＣＰＵ１２３は、操作部１３１の操作に応じて、光学系制御部１１４内のズーム制御部１１１に対して指令を出す。ズーム制御部１１１では、光学系１０１内のズーム制御モータ（不図示）に対して制御信号を出力し、ズーム制御を行う。同時に、当該制御信号を係数制御部１１８内のテーブル設定部１１６へ出力する。テーブル設定部１１６では、撮像開始時のズーム位置とズーム制御信号から現時点でのズーム位置を算出してズーム位置情報信号を生成し、セット信号とともに係数演算部１０９に対して出力する。

係数演算部１０９では、セット信号がアサートされた時点でのズーム位置情報信号の値から、対応する定数セットを読み出して各関数演算部Ａ〜Ｄへセットする。これにより、各関数演算部Ａ〜Ｄにおいて定数セットが変更され、演算部１０８で使用される補正係数ａ〜ｄが変更される。

このとき、算出される補正係数は、図６に示すように変更される。即ち、スームイン時は、同位置における補正係数ｃの値を減少させるとともに、補正係数ａ、ｂ及びｄの値を増加させる。ズームアウト時は、逆に同位置における補正係数ｃの値を増加させるとともに、補正係数ａ、ｂ及びｄの値を減少させる。

また、セット信号がアサートされるタイミングは、出力レート制御部１１９における出力イネーブル信号のデアサートのタイミングと同期して出力される。即ち、定数セットの変更は、４フレームに１回になる。図７は、ズーム制御に係るタイミングチャートを示す図である。

以上のように構成することで、従来より画質の優れたシェーディング補正を実現することが可能となる。特に、装置の小型化が求められている場合に、画質を維持しながら光学系１０１を小型化することが可能となる。

また、本実施形態では、補正係数ａ〜ｄを演算を行うことにより算出していたが、補正係数ａ〜ｄを予め算出しておき、テーブルに記憶しておく構成とすることもできる。また、本実施形態では、センサ１０２により出力された画像データのフレームレートを演算部１０８において１／４にして出力を行っていたが、これを他の数値としても良い。

図８は、第１の実施形態に係る他の撮像装置のハード構成を示すブロック図である。図８に示す撮像装置は、センサ１０２により出力された画像データのフレームレートを１／５にして出力を行うものである。図８に示す第１の実施形態に係る他の撮像装置は、図１に示す撮像装置に対して、フレーム遅延部８０１及び演算部８０２における乗算器１０８ｅを追加して構成したものである。また、図９は、この場合のＨＣＯＵＮＴ'、ＶＣＯＵＮＴ'、即ち画面上の位置と補正係数ａ〜ｅとの関係を示す。また、以下に補正係数ａ〜ｅの最小関係を示す。遅延時間の中心となるフレームに対する補正係数ｃが最大となり、中心から外れるに従って減少していく。
ｃ ≧ ｂ ≧ ａ ・・・ （８）
ｃ ≧ ｄ ≧ ｅ ・・・ （９）

（第２の実施形態）
第１の実施形態では、演算部１０８からの出力データに対して、後段において必要に応じてフィルタ処理を行う形態を示したが、このフィルタ処理における係数値を演算部１０８における補正係数ａ〜ｄと連動させることが考えられる。第１の実施形態に係る撮像装置の構成でシェーディング補正処理を行うと、画面周辺部では複数フレームの画像を合成するため、画像に動きのある場合はぼけてしまう。これを、後段の例えばエッジ強調処理などのフィルタ処理時に考慮して処理することで、ぼけを補正することが可能になる。

図１０は、第２の実施形態に係る撮像装置のハード構成を示すブロック図である。ここで、図１に示す第１の実施形態に係る撮像装置と同様の構成については、同様の符号を付してあり、その詳細な説明は省略する。

図１０において１００１は、係数制御部である。図１０において１００２は、フィルタ処理部である。図１０において１００３は、フィルタ係数制御部である。図１０において１００４は、フィルタ係数テーブルである。

フィルタ係数テーブル１００４は、係数演算部１０９と同様に、画像データの画面上の位置に応じたフィルタ係数値群を複数種類、記憶しておくテーブルである。例えば、エッジ強調処理であれば、画面の周辺部にいくに従い、強調の度合いを高めた係数を記憶しておく。

−フィルタ処理に係る動作の説明−
図１１は、第２の実施形態に係る撮像装置のフィルタ処理を示すフローチャートである。なお、図１１に示す処理は、ＣＰＵ１２３で行なわれる。第２の実施形態に係る撮像装置では、ＣＰＵ１２３において、ＷＢ／γ補正部１２６から出力されＲＡＭ１２５内に記憶してある画像データを、１フレーム毎に順次フィルタ処理部１００２へ転送し、フィルタ処理後のデータを再びＲＡＭ１２５へ書き戻す処理を行う。

まず、ステップＳ１１０１にて、フィルタ処理が開始されると（ステップＳ１１０１／ＹＥＳ）、続いて、続いて、ステップＳ１１０２にて、タイミングジェネレータ１１０などに対してパラーメータ設定を行う。

続いて、ステップＳ１１０３にて、フィルタ処理部１００２内のレジスタ（不図示）に対して、転送スタートの設定を行う。続いて、ステップＳ１１０４にて、フィルタ処理部１００２へフレームのデータを順次転送する。フィルタ処理部１００２では、転送スタートの設定後、データが転送される毎にＨＣＯＵＮＴ''、ＶＣＯＵＮＴ''をカウントアップし、フィルタ係数制御部１００３へ出力する。フィルタ係数制御部１００３では、ＨＣＯＵＮＴ''、ＶＣＯＵＮＴ''を受けて該当するフィルタ係数をフィルタ係数テーブル１００４から読み出し、フィルタ処理部１００２へ出力する。そして、フィルタ処理部１００２では、読み出されたフィルタ係数を用いてフィルタ処理を行い、順次バッファ（不図示）へ記憶し、予め決められた一定数のデータを処理後、バッファフルをＣＰＵ１２３へ通知する。

続いて、ステップＳ１１０５にて、フィルタ処理部１００２からバッファフルの通知があるか否かを判定し、バッファフルの通知がない場合には、ステップＳ１１０４に戻る。一方、フィルタ処理部１００２からバッファフルの通知があった場合には、ステップＳ１１０６に進む。

続いて、ステップＳ１１０６にて、ＣＰＵ１２３は、当該バッファフルの通知を受け取り、処理後のデータをフィルタ処理部１００２からＲＡＭ１２５へ転送する。１フレームのデータを処理し終わった時点で、フィルタ処理部１００２は、レジスタ（不図示）に終了フラグをセットする。

続いて、ステップＳ１１０７にて、当該終了フラグがセットされたか否かを判定し、当該終了フラグがセットされていない場合には、ステップＳ１１０４に戻る。一方、当該終了フラグがセットされた場合には、ステップＳ１１０８に進む。

続いて、ステップＳ１１０８にて、フィルタ処理を終了するか否かを判定し、フィルタ処理を終了しない場合には、ステップＳ１１０４に戻る。一方、フィルタ処理を終了する場合には、ステップＳ１１０９に進み、フィルタ処理を終了する終了処理を行う。

以上の処理を繰り返すことにより、画面上の位置に応じたフィルタ係数を用いた画像データのフィルタ処理が行われる。

−ズーム制御に係る処理の説明−
係数制御部１００１は、ズーム位置情報信号及びセット信号を係数演算部１０９へ出力すると共に、フィルタ係数制御部１００３へ出力する。フィルタ係数制御部１００３では、セット信号を受け取ると、その時点でのズーム位置情報信号をバッファ（不図示）に記憶する。そして、現在あるフレームのフィルタ処理中であれば、当該フレームのフィルタ処理の終了を待ってから、当該ズーム位置情報信号をフィルタ係数テーブル１００４に対して適用し、次フレームの処理からフィルタ係数を変更する。また、フィルタ処理中でなければ、即時に当該ズーム位置情報信号をフィルタ係数テーブル１００４に対して適用する。変更に際しては、ズーム制御がズームインであれば、例えば、エッジ強調処理である場合では強調の度合いをより強める方向へ係数を変更する。一方、ズームアウトであれば、逆に強調の度合いを弱める方向へ係数を変更する。

以上のように構成することで、シェーディング補正に係る処理により画面上の位置に応じて生じる画像のばけを後段のフィルタ処理時に補正することが可能となり、更なる画質の向上が図れる効果がある。

（第３の実施形態）
第１及び第２の実施形態では、演算部１０８での演算処理を全てのデータに対して行っていたが、第３の実施形態では、画像内のオブジェクトの動きを検出する動き検出手段を設け、画像内のオブジェクトが動きのない場合にのみ、演算部１０８での演算処理を行うように構成することもできる。

図１２は、第３の実施形態に係る撮像装置のハード構成を示すブロック図である。第１及び第２の実施形態に係る撮像装置と同様の構成については、同様の符号を付してあり、その詳細な説明は省略する。
図１２において１２０１は、画像内のオブジェクトの動きを検出する動き検出部である。図１２において１２０２は、データ選択部である。また、図１３は、動き検出部１２０１の詳細なハード構成を示すブロック図である。以下、前述までの実施形態と異なる構成についてのみ説明する。

撮像動作が開始されると、動き検出部１２０１は、Ａ／Ｄ変換部１０４及びフレーム遅延部１０５から出力されるデータを元に動き検出を行う。図１３に示す動きベクトル演算部１３０１は、予め決められた小ブロック毎に動きベクトルを順次算出する。動きベクトル演算部１３０１で算出された動きベクトルは、平均算出部１３０２に順次送られ、平均値が算出される。そして、３フレームに渡り上記処理を繰り返した後、動き判定部１３０３は、平均算出部１３０２で算出された平均値が予め決められた閾値を超えているか否かを判定する。そして判定の結果、平均値が予め決められた閾値を超えている場合にはセレクト信号としてＨｉｇｈを出力し、平均値が予め決められた閾値を超えていない場合にはＬｏｗを出力する。

選択部１２０２は、動き判定部１３０３からのセレクト信号を受けて、演算部１０８から出力されたデータとフレーム遅延部１０６からの出力のいずれかを選択し、出力制御部１２２へ出力する。具体的に、選択部１２０２は、セレクト信号がＨｉｇｈであれば、フレーム遅延部１０６からの出力を選択し、セレクト信号がＬｏｗであれば、演算部１０８からの出力を選択する。

図１４は、第３の実施形態に係る撮像装置の動作を示すタイミングチャートである。
図１４において［１］、［２］の時点ではセレクト信号がＨｉｇｈになっているため、選択部１２０２ではフレーム遅延部１０６からの出力データを選択する。一方、［３］、［４］の時点ではセレクト信号がＬｏｗになっているため、選択部１２０２では演算部１０８からの出力データを選択する。そして、各出力データが選択部１２０２から出力制御部１２２に出力されている。

以上のように構成することにより、画像データ内にある一定以上の動きが存在する場合に、演算部１０８からの出力データを用いないことで、より一層の画質向上を図ることができる効果がある。なお、本実施形態の選択部１２０２ではフレーム単位でデータの選択を行うようにしているが、例えば動きベクトルを算出する小ブロック単位で選択を行うようにすることも可能である。

（第４の実施形態）
第１〜第３の実施形態では、撮像装置内に表示部１２９を備える構成となっていたが、当該表示部を例えば監視カメラなどに適用した場合は、撮像装置と表示装置とがネットワークを介して接続されている構成が考えられる。

図１５は、第４の実施形態に係る撮像システムのハード構成を示すブロック図である。
本実施形態に係る撮像システムは、撮像装置１５０１、表示装置１５０４、及び、撮像装置１５０１と表示装置１５０４とを接続するネットワーク網１５０３を有して構成されている。また、撮像装置１５０１には、ネットワーク網１５０３を介して表示装置１５０４との間でデータの送受信を行う送受信部１５０２が設けられている。ここで、撮像装置１５０１において、第１〜第３の実施形態に係る撮像装置と同様の構成については、同様の符号を付してあり、その詳細な説明は省略する。

表示装置１５０４は、ＣＰＵ１５０５、送受信部１５０６、ＲＯＭ１５０７、ＲＡＭ１５０８、フィルタ処理部１５０９、フィルタ係数制御部１５１０、フィルタ係数テーブル１５１１、表示部１５１２、伸張部１５１３、操作部１５１４、及び、外部メモリ１５１５を有して構成されている。

係数演算部１０９にて算出される補正係数ａ〜ｄは、１つのフレーム内においては、ＨＣＯＵＮＴ‘、ＶＣＯＵＮＴ’、即ち画面上の位置情報と定数セットの値で決定される。また、定数セットの値は、予め決められた複数種類の値から選択されるものである。従って、どの定数セットが選択されたかが分かれば、表示装置１５０４においても撮像装置１５０１でどのような演算が成されたかを知ることが可能である。

図１６は、第４の実施形態に係る撮像装置１５０１の送信処理を示すフローチャートである。なお、図１６に示す処理は、ＣＰＵ１２３で行なわれる。
まず、ステップＳ１６０１にて、撮像動作が開始であるか否かを判断する。ここで、ＣＰＵ１２３による撮像動作の開始の判断は、以下のようになされる。

まず、ＣＰＵ１２３は、係数演算部１０９において取り得る補正係数の値を予め取得し、送受信部１５０２を通して表示装置１５０４に送信する。このとき、定数セット毎にシリアルな番号を割り振り、当該番号と補正係数値をセットとして表示装置１５０４に送信する。表示装置１５０４では、当該補正係数値群及びシリアル番号をＲＡＭ１５０８へ記憶しておく。撮像動作に対する指示は、表示装置１５０４内の操作部１５１４にて行われる。操作部１５１４から撮像動作に対する指示がなされると、ＣＰＵ１５０５は、当該指示に対応するデータを作成し、送受信部１５０６を通して撮像装置１５０１へ送信する。そして、撮像装置１５０１では、撮像動作に対する指示に基づくデータを送受信部１５０２において受信し、ＣＰＵ１２３が当該データを検知することにより、撮像動作の開始の判断を行う。

撮像動作が開始されると（ステップＳ１６０１／ＹＥＳ）、続いて、画像データが演算部１０８において演算され、ＷＢ／γ補正部１２６において補正処理された後、ＲＡＭ１２５に記憶される。ここまでの処理は、第１の実施形態と同様である。このとき、係数演算部１０９は、補正係数ａ〜ｄを演算部１０８へ出力すると共に、ＲＡＭ１２５に転送する。

続いて、ステップＳ１６０２にて、ＣＰＵ１２３は、順次送られてくる係数値を上記定数セットに対するシリアル番号に置き換えて記憶しておく。続いて、ステップＳ１６０３にて、ＲＡＭ１２５に記憶されたデータが１フレーム毎に圧縮部１３０に転送されて圧縮処理がなされて、再びＲＡＭ１２５に書き戻される。続いて、ステップＳ１６０４にて、圧縮データと上記シリアル番号データをパッキングする。そして、ステップＳ１６０５にて、ステップＳ１６０４でパッキングしたデータを送信部１５０２から表示装置１５０４に送信する。

続いて、１６０６にて、撮像動作を終了するか否かを判定し、撮像動作を終了しない場合には、ステップＳ１６０２に戻り、一方、撮像動作を終了する場合には、当該フローチャートにおける処理を終了する。

図１７は、第４の実施形態に係る表示装置１５０４の受信処理を示すフローチャートである。なお、図１７に示す処理は、ＣＰＵ１５０５で行なわれる。

表示装置１５０４では、操作部１５１４から撮像動作を開始する指示がなされ（ステップＳ１６０１／ＹＥＳ）、撮像装置１５０１からパッキングされたデータを受信する（ステップＳ１６０２／ＹＥＳ）。そして、ステップＳ１７０３にて、当該データのアンパッキング処理を行う。

続いて、ステップＳ１７０４にて、アンパッキング処理した圧縮データを伸張部１５１２へ転送し、伸張処理を行う。この際、伸張された画像データは、ＲＡＭ１５０８に記憶される。

続いて、ステップＳ１７０５にて、アンパッキング処理したシリアル番号データを参照し、該当する係数値を取得して、それに合わせてフィルタ係数制御部１５１０を通してフィルタ係数テーブル１５１１からフィルタ処理部１５０９にフィルタ係数をセットする。

続いて、ステップＳ１７０６にて、フィルタ処理部１５０９に対して、セットしたフィルタ係数を用いて画像データに対するフィルタ処理を行わせる。ここで、フィルタ処理後のデータは、例えば表示部１５１２において表示される。

続いて、１７０７にて、撮像動作を終了するか否かを判定し、撮像動作を終了しない場合には、ステップＳ１７０３に戻り、一方、撮像動作を終了する場合には、当該フローチャートにおける処理を終了する。

図１５のように構成すれば、撮像された画像データに対する撮像装置１５０１側での演算と、表示装置１５０４側でのフィルタ処理とを連動して行えるようになることから、表示装置１５０４側において画質の良い画像データの表示を行うことができる。また、本実施形態では、予め取り得る係数値を表示装置１５０４へ送信しておき、実際の画像データ送受信時には、シリアル番号で撮像動作を行うようにしているため、ネットワーク帯域を無駄に消費することもない。

（第５の実施形態）
第１〜第４の実施形態では、演算部１０８からの出力は、１種類のフレームレートの画像データとしていたが、複数種類のフレームレートの画像データを同時に出力する構成も考えられる。

図１８は、第５の実施形態に係る撮像システムのハード構成を示すブロック図である。
第５の実施形態に係る撮像システムでは、２つの表示装置１５０４ａ及び１５０４ｂが設けられている。また、第５の実施形態に係る撮像装置１８００において、第１〜第４の実施形態に係る撮像装置と同様の構成については、同様の符号を付してあり、その詳細な説明は省略する。

出力レート制御部１８０１は、複数の出力イネーブル信号を出力することが可能となっている。また、第５の実施形態に係る撮像装置１８００では、２つの出力制御部１２２ａ及び１２２ｂが設けられている。バッファ１８０２は、第２の出力制御部１２２ｂから出力されたデータを一時記憶するものである。このように撮像装置を構成すれば、複数の表示装置から異なった出力レートのデータが要求された場合でも、処理を行うことが可能となる。

図１９は、第５の実施形態に係る撮像装置１８００において、第１の表示装置１５０４ａと第２の表示装置１５０４ｂから、それぞれセンサ１０２の出力レートの１／４と１／２の出力レートのデータが要求された場合の撮像動作のタイミングチャートである。

出力イネーブル信号１による第１の出力制御部１２２ａからのデータ出力と、出力イネーブル信号２による第２の出力制御部１２２ｂからのデータ出力は、時分割でＷＢ／γ補正部１２６へ入力される。このため、図１９に示す第２の出力制御部１２２ｂからの出力ｓ０、ｓ４、ｓ８は、バッファ１８０２において一時記憶される。

以上のように撮像装置を構成することにより、複数種類のフレームレートのデータを同時に出力することが可能になるため、複数の表示装置からの異なった要求にも応答することができる。しかも、フレームレートに関わらず、シェーディング補正に係る処理は同様であるため、高画質を保持したままデータの出力を行うことができる。

（第６の実施形態）
第１〜第５の実施形態では、撮像装置側でどのような補正処理を行うかを決定していたが、使用者側でどのような補正処理を行うかを決定するようにした形態も考えられる。

図２０は、第６の実施形態に係る撮像装置のハード構成を示すブロック図である。第１〜第５の実施形態に係る撮像装置と同様の構成については、同様の符号を付してあり、その詳細な説明は省略する。

図２０に示すように、本実施形態に係る撮像装置２０００には、新たに係数補正部２００１〜２００４が設けられている。図２１は、係数補正部２００１〜２００４の詳細なハード構成を示すブロック図である。図２１において、２１０１は乗算部、２１０２は領域判定部、２１０３はセレクタである。

図２２は、第６の実施形態に係る撮像装置の表示部における表示画面構成例を示す図である。また、図２３は、第６の実施形態に係る撮像装置の表示部に対する補正処理指定例を示す図である。

使用者は、図２２に示す表示画面を見ながら、例えば操作部１３１に含まれるマウスなどにより補正を行いたい領域を領域指定する（図２３の［１］）。次に、表示画面の右側に位置するスライダー（図２３の［２］）を例えばマウスなどを用いて操作することにより、補正の量を指定する。

ＣＰＵ１２３は、このマウスなどによる操作を検出すると、指定された補正領域情報を、係数補正部２００１〜２００４内の領域判定部２１０２へ送る。領域判定部２１０２では、レジスタ（不図示）に当該補正領域情報を記憶する。さらに、補正量情報を乗算部２１０１へ送り、乗算部２１０１では、この補正量情報をレジスタ（不図示）に記憶するとともに係数値が入力された場合、当該係数に補正量情報に基づく補正量を乗算して出力する。即ち、指定された補正量が１より大きければより明るい画像が出力され、指定された補正量が１より小さければより暗い画像が出力される。

領域判定部２１０２では、ＨＣＯＵＮＴ‘、ＶＣＯＵＮＴ’と補正領域情報とを比較し、現在処理中の領域が指定領域の範囲に入っている場合は、Ｈｉｇｈであるセレクト信号をセレクタ２１０３に出力する。一方、現在処理中の領域が指定領域の範囲に入っていない場合は、Ｌｏｗであるセレクト信号をセレクタ２１０３に出力する。

セレクタ２１０３では、領域判定部２１０２からのセレクト信号に基づき、補正係数ａ〜ｄ、もしくは乗算部２１０１からの出力のいずれかを選択し、これを補正係数ａ’〜ｄ’として演算部１０８へ出力する。具体的には、セレクト信号がＨｉｇｈである場合には乗算部２１０１からの出力を選択し、セレクト信号がＬｏｗである場合には補正係数ａ〜ｄを選択する。そして、演算部１０８において、補正係数ａ’〜ｄ’を用いて演算を行うことにより、使用者の意図した補正が行われる。

以上のように撮像装置を構成することにより、使用者は、表示画面を見ながら補正の範囲及び量を容易に指定することが可能になる。

本実施形態では、使用者が画像のある１つの特定の領域に対して補正指示を行うようにしているが、もちろん、全画面に対する補正指示や複数の領域にわたって補正指示を行う形態であってもよい。また、本実施形態では、係数補正部２００１〜２００４を設けて使用者の補正指示を反映させるようにしているが、これを係数演算部１０９における定数セットや演算式を補正することで使用者の補正指示を反映させるようにしてもよい。また、本実施形態では、第４及び第５の実施形態で示したように、撮像装置と表示装置とが分離して構成された撮像システムにおいても適用可能である。

シェーディング補正に際して、従来技術ではノイズ成分も合わせて増幅されていたため画質の劣化を招いていたが、本発明の各実施形態によれば、シグナルのみを増幅することができるため、ノイズ成分が増幅されてしまうのを回避し、画質の劣化を防止することが可能となる。また、一般に光学系による周辺光量の増加を図れば、光学系の大型化、ひいては撮像装置の大型化を招くことになるが、本発明の各実施形態によれば、光学系を大型化することなくシェーディング補正を行うことができる。

前述した各実施形態に係る撮像装置を構成する各手段、並びに撮像装置の制御方法を示した図３、１１及び１６の各ステップは、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

具体的に、上記プログラムは、例えばＣＤ−ＲＯＭのような記憶媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。上記プログラムを記録する記憶媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、上記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。

また、コンピュータが供給されたプログラムを実行することにより各実施形態に係る撮像装置の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して各実施形態に係る撮像装置の機能が実現される場合や、供給されたプログラムの処理の全て、或いは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて各実施形態に係る撮像装置の機能が実現される場合も、かかるプログラムは本発明に含まれる。

第１の実施形態に係る撮像装置のハード構成を示すブロック図である。 第１の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第１の実施形態に係る撮像装置の撮像動作に係る処理を示すフローチャートである。 係数演算部の詳細なハード構成を示すブロック図である。 画面上の位置と補正係数ａ〜ｄとの関係を示す図である。 ズーム制御に係る画面上の位置と補正係数との関係を示す図である。 ズーム制御に係るタイミングチャートを示す図である。 第１の実施形態に係る他の撮像装置のハード構成を示すブロック図である。 画面上の位置と補正係数ａ〜ｅとの関係を示す図である。 第２の実施形態に係る撮像装置のハード構成を示すブロック図である。 第２の実施形態に係る撮像装置のフィルタ処理を示すフローチャートである。 第３の実施形態に係る撮像装置のハード構成を示すブロック図である。 動き検出部の詳細なハード構成を示すブロック図である。 第３の実施形態に係る撮像装置の動作を示すタイミングチャートである。 第４の実施形態に係る撮像システムのハード構成を示すブロック図である。 第４の実施形態に係る撮像装置の送信処理を示すフローチャートである。 第４の実施形態に係る表示装置の受信処理を示すフローチャートである。 第５の実施形態に係る撮像システムのハード構成を示すブロック図である。 第５の実施形態に係る撮像装置において、第１の表示装置と第２の表示装置から、それぞれセンサの出力レートの１／４と１／２の出力レートのデータが要求された場合の撮像動作のタイミングチャートである。 第６の実施形態に係る撮像装置のハード構成を示すブロック図である。 係数補正部の詳細なハード構成を示すブロック図である。 第６の実施形態に係る撮像装置の表示部における表示画面構成例を示す図である。 第６の実施形態に係る撮像装置の表示部に対する補正処理指定例を示す図である。

符号の説明

１０１ 光学系
１０２ センサ
１０３ 信号処理部
１０４ Ａ／Ｄ変換部
１０５〜１０７ フレーム遅延部
１０８ 演算部
１０８ａ〜１０８ｄ 乗算器
１０８ｚ 加算器
１０９ 係数演算部
１１０ タイミングジェネレータ
１１１ ズーム制御部
１１２ フォーカス制御部
１１３ シャッタ制御部
１１４ 光学系制御部
１１５ タイミング制御部
１１６ テーブル設定部
１１７ テーブル制御部
１１８ 係数制御部
１１９ 出力レート制御部
１２０ Ｈカウンタ
１２１ Ｖカウンタ
１２２ 出力制御部
１２３ ＣＰＵ
１２４ ＲＯＭ
１２５ ＲＡＭ
１２６ ＷＢ／γ補正部
１２７ フィルタ処理部
１２８ フィルタ係数テーブル
１２９ 表示部
１３０ 圧縮部
１３１ 操作部
１３２ 外部メモリ
１３３ クロックジェネレータ

Claims (14)

1. 撮像により得られたフレームに対してシェーディング補正を行う撮像装置であって、
   上記撮像により得られたフレームを遅延させる遅延手段と、
   上記撮像により得られたフレームに乗算する第１の補正係数と上記遅延された遅延フレームに乗算する第２の補正係数であって上記第１の補正係数とは異なる上記第２の補正係数とを上記第１及び第２の補正係数及び上記第１及び第２の補正係数の合計値が画面上の位置に応じて異なるように決定する決定手段と、
   上記第１の補正係数を上記撮像により得られたフレームに乗算し、上記第２の補正係数を上記遅延フレームに乗算する乗算手段と、
   上記乗算手段で乗算された複数フレームを加算してフレームを生成する生成手段と
   を有することを特徴とする撮像装置。
2. 上記決定手段は、上記撮像により得られたフレームと複数の遅延フレームとのうち撮像順序において中心にもっとも近い遅延フレームの中央領域に乗算する補正係数が他のフレームの中央領域に乗算する補正係数よりも大きくなるように補正係数を決定することを特徴とする請求項１に記載の撮像装置。
3. 上記生成手段により生成されるフレームに対して、フレーム間引きにより出力するフレームレートを制御する出力レート制御手段を有することを特徴とする請求項１に記載の撮像装置。
4. 上記決定手段は、上記画面の中央部よりも上記画面の端部の方が上記第１及び第２の補正係数の合計値が高くなるように補正係数を決定することを特徴とする請求項１に記載の撮像装置。
5. 上記決定手段は、上記画面の中央部との関係に基づいて補正係数を決定することを特徴とする請求項１に記載の撮像装置。
6. ズーム制御を行うズーム制御手段を有し、
   上記決定手段は、上記ズーム制御手段によるズーム制御に応じて上記補正係数の変更を行うことを特徴とする請求項１に記載の撮像装置。
7. 上記決定手段は、上記ズーム制御手段によるズーム制御がズームインである場合は上記補正係数の合計値を増加し、上記ズーム制御手段によるズーム制御がズームアウトである場合は上記補正係数の合計値を減少するように上記変更を行うことを特徴とする請求項６に記載の撮像装置。
8. 画像内のオブジェクトの動きを検出する動き検出手段を有し、上記生成手段は、上記動き検出手段による検出の結果に基づいて上記生成を行うことを特徴とする請求項１に記載の撮像装置。
9. 上記生成手段は、上記動き検出手段により検出された動き量が閾値以下の場合に上記生成を行うことを特徴とする請求項８に記載の撮像装置。
10. 上記決定手段は、上記第１及び第２の補正係数の変更を、上記生成手段による上記生成と同期して行うことを特徴とする請求項１に記載の撮像装置。
11. 上記生成手段により生成された上記フレームに対するフィルタ処理におけるフィルタ係数を、上記決定手段による変更と連動して変更する手段を有することを特徴とする請求項１に記載の撮像装置。
12. 撮像により得られたフレームに対してシェーディング補正を行う撮像装置と表示装置とがネットワークを介して接続される撮像システムであって、
    上記撮像装置は、
    撮像により得られたフレームを遅延させる遅延手段と、
    上記撮像により得られたフレームに乗算する第１の補正係数と上記遅延された遅延フレームに乗算する第２の補正係数であって上記第１の補正係数とは異なる上記第２の補正係数とを上記第１及び第２の補正係数及び上記第１及び第２の補正係数の合計値が画面上の位置に応じて異なるように決定する決定手段と、
    上記第１の補正係数を上記撮像により得られたフレームに乗算し、上記第２の補正係数を上記遅延フレームに乗算する乗算手段と、
    上記乗算手段で乗算された複数フレームを加算してフレームを生成する生成手段と
    を有し、
    上記生成手段で生成された上記フレームと上記補正係数に関する情報とを上記表示装置へ送信することを特徴とする撮像システム。
13. 撮像により得られたフレームに対してシェーディング補正を行う撮像装置の制御方法であって、
    上記撮像により得られたフレームを遅延させる遅延ステップと、
    上記撮像により得られたフレームに乗算する第１の補正係数と上記遅延された遅延フレームに乗算する第２の補正係数であって上記第１の補正係数とは異なる上記第２の補正係数とを上記第１及び第２の補正係数及び上記第１及び第２の補正係数の合計値が画面上の位置に応じて異なるように決定する決定ステップと、
    上記第１の補正係数を上記撮像により得られたフレームに乗算し、上記第２の補正係数を上記遅延フレームに乗算する乗算ステップと、
    上記乗算ステップで乗算された複数フレームを加算してフレームを生成する生成ステップと
    を有することを特徴とする撮像装置の制御方法。
14. 請求項１３に記載の撮像装置の制御方法の各ステップをコンピュータに実行させるためのプログラム。

Images