JP3965558B2 - 信号処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば撮像装置による連写画像や予め記憶装置に格納された連写画像を処理するための信号処理方法および装置に関する。
【０００２】
【従来の技術】
従来より、高速連写機能を有する各種の撮像装置（撮像管、ＣＣＤ型センサ、ＣＭＯＳ型センサなど）が提供されている。
また、この種の高速連写を行う撮像装置としては、例えば特開２０００−１３６８１号公報に開示されるように、複数枚の連写画像から背景を分離することにより、静止被写体の撮像時に写った移動体像を除去するようにしたものが提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の高速連写では、連写スピードを上げると感光期間が短くなるため、撮像装置の感度が低下し、その分、撮像信号のゲインを増大してもＳ／Ｎが悪くなるという問題点があった。
特に、ＣＭＯＳ型センサでは、読み出しの自由度が高いため、連写スピードはやり方によってはいくらでも上げることができる。しかし、特殊な状況では強力な光源を用いることができるが、そうでない一般の場合は、連写スピードの限界をＳ／Ｎが決定していた。なお、このような感度の低下によって生じるＳ／Ｎを低下させるノイズは、ランダムノイズ（時間的に信号値がランダムに揺らぐノイズ）である。
【０００４】
また、上記特開２０００−１３６８１号公報に開示される撮像装置では、複数枚の連写画像から背景を分離する方法として、複数枚の画像を「順次」比較し、一致した画像部分を「順次」合成しているが、この方法では画像枚数だけ比較・合成が必要となるので、そのための計算量が膨大になるという問題がある。
また、背景を分離したところでランダムノイズの問題は解決していないという問題がある。
【０００５】
そこで本発明の目的は、撮像装置の連写画像について簡易な演算処理によって背景画像を作成することができ、さらに背景画像のランダムノイズを除去することも可能な信号処理方法および装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明は前記目的を達成するため、連写された複数枚の元画像から各画素に対して画素値の出現頻度のヒストグラムを作成するヒストグラム作成ステップと、前記ヒストグラム作成ステップによって作成されたヒストグラムによる頻度の最大点から新たに各画素値を決めることにより背景画像を作成する背景画像作成ステップと、前記背景画像作成ステップによって作成された前記背景画像の各画素の画素値と前記元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差が前記しきい値より大きい位置では前記元画像の画素値情報を残し、小さい位置では前記元画像の画素値情報を捨てる比較ステップとを有し、前記背景画像作成ステップによって作成された前記背景画像と、前記比較ステップによって選別された画素値情報とを用いて構成される出力を得ることを特徴とする。
また本発明は、連写された複数枚の元画像から各画素に対して画素値の出現頻度のヒストグラムを作成するヒストグラム作成手段と、前記ヒストグラム作成手段によって作成されたヒストグラムによる頻度の最大点から新たに各画素値を決めることにより背景画像を作成する背景画像作成手段と、前記背景画像作成手段によって作成された前記背景画像の各画素の画素値と前記元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差が前記しきい値より大きい位置では前記元画像の画素値情報を残し、小さい位置では前記元画像の画素値情報を捨てる比較手段とを有し、前記背景画像作成手段によって作成された前記背景画像と、前記比較手段によって選別された画素値情報とを用いて構成される出力を得ることを特徴とする。
【０００７】
このような本発明の信号処理方法および装置では、連写された複数枚の元画像から各画素に対する画素値のヒストグラムを作成し、このヒストグラムに基づいて背景画像を作成する。
したがって、ヒストグラムを作るという複雑な計算が不要な処理により、順次画像を比較するような煩雑な処理をせずに、全ての連写画像のデータから一括して背景画像を作成することができる。
【０００８】
【発明の実施の形態】
以下、本発明による信号処理方法および装置の実施の形態例について図面を用いて詳細に説明する。
なお、以下に説明する実施の形態は、本発明の好適な具体例であり、技術的に好ましい種々の限定が付されているが、本発明の範囲は、以下の説明において、特に本発明を限定する旨の記載がない限り、これらの態様に限定されないものとする。
本実施の形態による信号処理方法および装置は、ＣＭＯＳ型センサの連写画像から各画素に対して画素値のヒストグラムを作成し、頻度が最大となる画素値によって背景画像を作成する。そして、連写画像の画素値が背景画像としきい値以内の差の場合は、連写画像の画素値を背景画像の画素値に置き換えることにより、背景をランダムノイズのない画像とし、また、動き部分を際立たせ、画像データサイズを小さくできるようにしたものである。
【０００９】
まず、本発明の第１の実施の形態例について説明する。
図１は本発明の第１の実施の形態例による信号処理装置の概略構成を示すブロック図である。
本実施の形態例による信号処理装置は、記憶装置１０、ヒストグラム作成部２０、背景画像作成回路３０、および比較・置換回路４０を有する。
記憶装置１０は、例えば１００枚分の連写画像データを格納するものであり、ハードディスク等で構成されている。なお、図１の例では連写画像データを１００枚としているが、例えば１０枚〜１００枚の範囲の連写画像データを扱うものとする。
ヒストグラム作成部２０は、連写画像データから各画素毎の画素値のヒストグラムを作成するものであり、この作成したヒストグラムを格納するフレームメモリ１を有して構成されている。
【００１０】
背景画像作成回路３０は、ヒストグラム作成部２０で作成したヒストグラムから頻度が最大となる画素値を当該画素の背景値として選択して背景画像を作成するものであり、この作成した背景画像を格納するフレームメモリ２を有して構成されている。
比較・置換回路４０は、記憶装置１０からの連写画像データを順次読み込み、背景画像作成回路３０によって作成された背景画像の各画素値と比較し、指定されたしきい値以下の差であれば、連写画像データの画素値を背景画像の画素値に置き換える処理を行うものである。
【００１１】
次に、このような信号処理装置の処理動作の詳細について説明する。
図２は連写画像データに含まれるある画素の画素値の変化とヒストグラムの一例を示す説明図である。
図２（Ａ）に示すように、連写画像の各画素には、背景部分１Ａと動き部分１Ｂとを含み、動き部分１Ｂでは画素値が大きく変動する。また、それ以外の部分は、背景部分１Ａであり、変動幅は小さいが、時間（連写画像の順番）と共に、ランダムノイズによる画素値のばらつきが生じている。
【００１２】
このような連写画像データから、図２（Ｂ）に示すような画素値と出現頻度のヒストグラムを作成する。このようなヒストグラムを各画素に対して作成し、ヒストグラム作成部２０のフレームメモリ１に記録する。
次に、このような各画素毎のヒストグラムから頻度が最大となる画素値を選択し、この画素値を当該画素における背景値として決定する。そして、この背景値を背景画像作成回路３０のフレームメモリ２に格納し、背景画像を作成する。
この後、再び連写画像データを順次読み込み、比較・置換回路４０においてフレームメモリ２の背景画像と比較する。
ここで、連写画像の画素値と背景画像の画素値との差が予め設定されたしきい値以下の差であれば、連写画像の画素値を背景画像の画素値に書き換える。また、しきい値より大きい差であれば、そのまま何もしない。このようにして補正済み連写画像データを得る。
そして、以上のようにして得られた背景画像作成回路３０のフレームメモリ２の背景画像と、比較・置換回路４０の補正済み連写画像データを出力する。
【００１３】
上記しきい値は、例えば画像データが１０ｂｉｔデジタルデータの場合は、±３ＬＳＢ（なお、ＬＳＢとは、デジタルの１単位であり、例えば１０ｂｉｔは、２１０＝１０２４ＬＳＢ）に設定することができる。
あるいは、背景画像の画素値がｎＬＳＢである場合に、ＩＮＴ［（√ｎ）／２＋２］ＬＳＢとすることができる。ここで、ＩＮＴは、実数値の少数点以下を切り捨てて整数化する関数である。
これは、ランダムノイズの一成分であるショットノイズが、信号値の平方根に比例するので、それに対応したしきい値調節機能を入れたものである。また、＋２の部分は、ショットノイズ以外の回路系等に起因する一定値のランダムノイズに対応させている。
すなわち、本例で用いるしきい値は、信号値の大きい場合に大きい値となるように設定され、その関数形が定数と信号値の１／２乗に比例する項の和となっている。
【００１４】
以上のような本実施の形態例による信号処理方法は、背景画像を順次比較して構成するのではなく、全部の画像を読み込んで得たヒストグラムから一度に背景画像を作成するものである。
ここで、ヒストグラムを作成するのは、各画素のデータを置いて行くだけの処理であり、時間的、空間的相関に関する計算処理を一切しないので、簡単な処理で実行でき、処理速度が速いものである。
また、元画像と背景画像との比較により、その差がしきい値以下の場合に元画像のデータを置き換えることにより、元画像の背景部分のランダムノイズを取り除くものである。したがって、背景部分と動き部分との間に最低でもしきい値分の信号差ができるので、動き部分の輪郭がはっきりするという利点がある。
【００１５】
次に、本発明の第２の実施の形態例について説明する。
図３は本発明の第２の実施の形態例による信号処理装置の概略構成を示すブロック図である。
図示のように、この信号処理装置は、記憶装置１０、ヒストグラム作成部２０、背景画像作成回路３０とを有する点で図１に示す例と共通であり、記憶装置１０、ヒストグラム作成部２０、および背景画像作成回路３０の動作も上述した第１の実施の形態例と共通であるが、本実施の形態例では、比較・置換回路４０ではなく比較・差分回路４１を備える。比較・差分回路４１において、連写画像を背景画像と比較する際に、背景画像に対して指定されたしきい値以上の差がある画素値（すなわち、１００枚の差分データ）のみを出力する。
【００１６】
図４は図３に示す信号処理装置における背景画像と差分画像の処理方法を示す説明図である。
図示のように分離して格納した背景画像２と差分画像３−１、３−２、３−３、……とを用いて連写画像を再構成するには、背景画像は全ての連写画像に対して用い、差分画像データがあるところは差分画像データを用いて表示する。
また、インデックスとして１枚目だけを表示し、要求があったときだけ１００枚分の展開を行うようにしてもよい。
このような信号処理方法を採用することにより、処理するデータ量の縮小化を達成できる。
なお、しきい値については上述した第１の実施の形態例と同様に設定できる。また、処理が簡単で速いこと、背景のランダムノイズがなくなること、動き部分の輪郭がはっきりするといった利点は、第１の実施の形態と同様である。
【００１７】
次に、本発明の第３の実施の形態例について説明する。
上述した第１、第２の実施の形態例では、すでに記憶装置１０に記録済みの画像データを変換したが、以下の実施の形態例では、撮影時点で連写画像を出力するためのデジタルカメラの構成例について説明する。
図５は本発明の第３の実施の形態によるデジタルカメラの構成例を示すブロック図である。なお、破線Ａで示す部分が本発明に係る信号処理を行う信号処理回路である。
また、図６は図５に示す各処理ブロックのうち本発明に係る機能に関係するブロックを取り出して示したブロック図である。
【００１８】
図５に示すように、このデジタルカメラは、撮像素子としてＣＭＯＳ型センサ６０を用いたものであり、被写体像をＣＭＯＳ型センサ６０に結像させる光学系５０と、本発明に係る信号処理を行う信号処理回路７０と、手ぶれ補正を行うための手ぶれ補正回路８０と、信号処理回路７０による信号処理以外の信号処理（例えば輝度信号と色信号の分離など）を行う信号処理回路９０と、撮像画像を表示する液晶表示装置１００と、各種入力を行う操作ボタン類等よりなる入力装置１１０と、駆動電源等を供給する電源系１２０と、システム全体を制御する制御回路１３０と、この制御回路１３０が動作するためのプログラムや固定データを格納したＲＯＭ１４０と、各種データの書き込みや読み出しに用いるＤＲＡＭ１５０と、外部からの各種情報を設定するためのメモリカードリーダ１６０等を有する。
なお、ＣＭＯＳ型センサ６０には、信号レベルが適度になるようにゲインを調節するＰＧＡ（Programmable Gain Amp ）回路やアナログ撮像信号をデジタル信号に変換して出力するためのＡ／Ｄ変換器を設けた構成例を示している。
【００１９】
また、信号処理回路７０は、連写画像データを順次記憶する連写画像バッファ７１と、連写画像データからヒストグラムを作成して記憶するヒストグラム作成部（フレームメモリ）７２と、このヒストグラム作成部７２によって得られたヒストグラムから背景画像を作成して記憶する背景画像バッファ７３と、連写画像バッファ７１に格納された連写画像と背景画像バッファ７３に格納された背景画像とを比較して上述した補正済み連写画像データ（図１）または差分データ（図３）を出力する比較・置換回路７４とを有する。なお、図６に示す例では、信号処理回路７０で補正済み連写画像データを出力し、信号処理回路９０で色関係等の信号処理をして出力する例である。
このような構成のデジタルカメラでは、連写されたＣＭＯＳ型センサの出力を信号処理回路７０に入力し、上述した第１の実施の形態や第２の実施の形態で説明した処理を行い、後段の信号処理回路９０に出力することにより、迅速な処理で背景のランダムノイズを除去し、動き部分の輪郭がはっきりした連写画像出力を行うことが可能となる。
なお、その他の構成は基本的には通常のデジタルカメラに搭載されたものであるので説明は省略する。
【００２０】
また、図７〜図９は、図６に示した各処理ブロックを入れ換えた構成した変形例を示すブロック図である。なお、これらの図では、図６に対応して本発明に係る機能に関する部分を示しており、その他の周辺ブロックは例えば図５に示す例と共通であるので省略している。
図７に示す例は、図５および図６に示した信号処理回路９０および手ぶれ補正回路８０を信号処理回路７０の前段に設けて信号処理回路１７０としたものである。この場合は色信号処理した信号に連写画像処理を行うことになる。
また、図８に示す例は、図６の例に対して、背景画像と連写差分画像を出力する点が異なる。そのために、比較・置換回路７４ではなく比較・差分回路７５を備えている。色信号等の処理を行う信号処理回路１８０は、背景画像と連写差分画像を受取り、それぞれに対する処理をした後に出力する。
さらに、図９に示す例は、図７に示した構成に対して、背景画像と連写差分画像を出力す点が異なる。そのために、比較・置換回路７４ではなく比較・差分回路７５を備えている。
【００２１】
以上のような本発明の実施の形態例によれば、次のような効果を得ることが可能である。
（１）ヒストグラムを作るという、複雑な計算が不要な処理により、順次画像を比較するような煩雑な処理をせずに、全ての連写画像のデータから一括して背景画像を作成することができる。
（２）背景画像のランダムノイズを除去し、Ｓ／Ｎを上げることができる。連写スピードも上げることができる。
（３）動き部分と背景画像とがしきい値分以上の差を有するため、動き部分の輪郭がはっきりする。
（４）第２の実施の形態では、１枚の背景画像と動き部分のみの差分連写画像を保持して処理することができ、データ量を減少することが可能となる。
【００２２】
なお、以上はＣＭＯＳ型センサを撮像素子としたデジタルカメラに本実施の形態による信号処理を適用したが、本発明はこれに限定されるものではなく、撮像管やＣＣＤ型センサを用いた各種のカメラシステムに適用し得るものである。
また、本発明の信号処理装置は、カメラシステムに限らず、画像を処理する各種のシステムに広く適用し得るものである。
【００２３】
【発明の効果】
以上説明したように本発明の信号処理方法によれば、連写された複数枚の元画像から各画素に対する画素値のヒストグラムを作成し、このヒストグラムに基づいて背景画像を作成することから、ヒストグラムを作るという複雑な計算が不要な処理により、順次画像を比較するような煩雑な処理をせずに、全ての連写画像のデータから一括して背景画像を作成することができる。
また、ヒストグラムから作成された背景画像の各画素の画素値と元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差がしきい値以内である場合には、元画像の画素値を背景画像の画素値に置換することにより、背景画像のランダムノイズを除去することも可能である。
【００２４】
また、本発明の信号処理装置によれば、連写された複数枚の元画像から各画素に対する画素値のヒストグラムを作成し、このヒストグラムに基づいて背景画像を作成することから、ヒストグラムを作るという複雑な計算が不要な処理により、順次画像を比較するような煩雑な処理をせずに、全ての連写画像のデータから一括して背景画像を作成することができる。
また、ヒストグラムから作成された背景画像の各画素の画素値と元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差がしきい値以内である場合には、元画像の画素値を背景画像の画素値に置換することにより、背景画像のランダムノイズを除去することも可能である。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態例による信号処理装置の概略構成を示すブロック図である。
【図２】図１に示す信号処理装置で扱う連写画像データに含まれる画素値の変化とヒストグラムの一例を示す説明図である。
【図３】本発明の第２の実施の形態例による信号処理装置の概略構成を示すブロック図である。
【図４】図３に示す信号処理装置における背景画像と差分画像の処理方法を示す説明図である。
【図５】図１に示す信号処理装置を搭載したデジタルカメラの一例を示すブロック図である。
【図６】図５に示すデジタルカメラの要部のブロックを取り出して示すブロック図である。
【図７】図６に示した各処理ブロックを入れ換えた構成した第１の変形例を示すブロック図である。
【図８】図６に示した各処理ブロックを図３に示した信号処理装置に入れ換えて構成した第２の変形例を示すブロック図である。
【図９】図８に示した各処理ブロックを入れ換えて構成した第３の変形例を示すブロック図である。
【符号の説明】
１０……記憶装置、２０、７２……ヒストグラム作成部、３０……背景画像作成回路、４０、７４……比較・置換回路、７５……比較・差分回路、５０……光学系、６０……ＣＭＯＳ型センサ、７０、９０、１７０、１８０……信号処理回路、７１……連写画像バッファ、７３……背景画像バッファ、８０……手ぶれ補正回路、１００……液晶表示装置、１１０……入力装置、１２０……電源系、１３０……制御回路、１４０……ＲＯＭ、１５０……ＤＲＡＭ、１６０……メモリカードリーダ。

Claims (12)

1. 連写された複数枚の元画像から各画素に対して画素値の出現頻度のヒストグラムを作成するヒストグラム作成ステップと、
   前記ヒストグラム作成ステップによって作成されたヒストグラムによる頻度の最大点から新たに各画素値を決めることにより背景画像を作成する背景画像作成ステップと、
   前記背景画像作成ステップによって作成された前記背景画像の各画素の画素値と前記元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差が前記しきい値より大きい位置では前記元画像の画素値情報を残し、小さい位置では前記元画像の画素値情報を捨てる比較ステップとを有し、
   前記背景画像作成ステップによって作成された前記背景画像と、前記比較ステップによって選別された画素値情報とを用いて構成される出力を得ることを特徴とする信号処理方法。
2. 前記比較ステップは、画素値の差が前記しきい値以内である場合に、前記元画像の画素値を前記背景画像の画素値に置換する比較・置換ステップであり、前記比較・置換ステップで処理された画像を前記出力とすることを特徴とする請求項１記載の信号処理方法。
3. 前記背景画像作成ステップによって作成された前記背景画像と前記比較ステップによって選別された画素値情報とを前記出力とすることを特徴とする請求項１記載の信号処理方法。
4. 前記所定のしきい値は、前記画素値の大きい場合に大きい値となるように設定されていることを特徴とする請求項１記載の信号処理方法。
5. 前記しきい値が定数と前記画素値の１／２乗に比例する項の和であることを特徴とする請求項４記載の信号処理方法。
6. 前記出力を用いて複数の画像を合成する画像合成ステップを有し、前記画像合成ステップは、前記背景画像は全ての画像に対して用い、前記元画像に前記比較ステップによって選別された画素値情報があるところは、その画素値情報を用いて前記複数の画像を合成することを特徴とする請求項３記載の信号処理方法。
7. 連写された複数枚の元画像から各画素に対して画素値の出現頻度のヒストグラムを作成するヒストグラム作成手段と、
   前記ヒストグラム作成手段によって作成されたヒストグラムによる頻度の最大点から新たに各画素値を決めることにより背景画像を作成する背景画像作成手段と、
   前記背景画像作成手段によって作成された前記背景画像の各画素の画素値と前記元画像の対応する各画素の画素値との差を所定のしきい値と比較し、画素値の差が前記しきい値より大きい位置では前記元画像の画素値情報を残し、小さい位置では前記元画像の画素値情報を捨てる比較手段とを有し、
   前記背景画像作成手段によって作成された前記背景画像と、前記比較手段によって選別された画素値情報とを用いて構成される出力を得ることを特徴とする信号処理装置。
8. 前記比較手段は、画素値の差が前記しきい値以内である場合に、前記元画像の画素値を前記背景画像の画素値に置換する比較・置換手段であり、前記比較・置換手段で処理された画像を前記出力とすることを特徴とする請求項７記載の信号処理装置。
9. 前記背景画像作成手段によって作成された前記背景画像と前記比較手段によって選別された画素値情報とを前記出力とすることを特徴とする請求項７記載の信号処理装置。
10. 前記所定のしきい値は、前記画素値の大きい場合に大きい値となるように設定されていることを特徴とする請求項７記載の信号処理装置。
11. 前記しきい値が定数と前記画素値の１／２乗に比例する項の和であることを特徴とする請求項１０記載の信号処理装置。
12. 前記出力を用いて複数の画像を合成する画像合成手段を有し、前記画像合成手段は、前記背景画像は全ての画像に対して用い、前記元画像に前記比較手段に よって選別された画素値情報があるところは、その画素値情報を用いて前記複数の画像を合成することを特徴とする請求項９記載の信号処理装置。

Images