JP3413778B2 - 画像処理装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１及び図３） 作用（図１及び図３） 実施例 （１）全体構成（図１及び図２） （２）処理手順（図３） （２−１）ノイズ除去処理（図３及び図４） （２−２）色の変化量の検出（図３、図５及び図６） （２−３）画像の選択（図３、図７〜図９） （２−４）画像の合成（図３、図７、図１０及び図１
１） （３）実施例の効果 （４）他の実施例（図１２） 発明の効果

【０００２】

【産業上の利用分野】本発明は画像処理装置に関し、複
数枚の画像を合成して画面全体としてフオーカスの合つ
た画像を合成する場合に適用して好適なものである。

【０００３】

【従来の技術】従来、カメラ等の撮像装置においては、
照明及び絞りを調整して、所望の焦点深度を得るように
なされている。すなわち絞りを絞り込むことにより被写
界深度を深くすることができ、これにより出来るだけ広
い範囲についてシヤープな画像を撮像し得るようになさ
れている。

【０００４】

【発明が解決しようとする課題】ところで、画面全体に
フオーカスを合わせることができれば、１枚の画像から
より多くの画像情報を得ることができ、便利であると考
えられる。

【０００５】本発明は以上の点を考慮してなされたもの
で、画面全体としてフオーカスの合つた画像を簡易に生
成することができる画像処理装置を提案しようとするも
のである。

【０００６】

【課題を解決するための手段】かかる課題を解決するた
め本発明においては、同一画枠内でフオーカス位置の相
異なる複数枚の原画像を入力する画像入力手段２、４
と、複数枚の原画像について、画素又は領域毎に画像デ
ータの変化量Ei(x,y)を検出する変化量検出手段１と、
複数枚の原画像の対応する画素又は領域について、変化
量Ei(x,y)が最も大きい原画像の画像データを選択する
と共に、当該画素又は領域における選択した原画像の画
像データの変化量Ei(xp,yp)と、他の原画像の画像デー
タの変化量Ei(x,y)との比に基づいて、他の原画像にお
ける合成画像の生成に採用しない領域ＡＲj(xp,yp)を決
定する画像選択手段１と、画像選択手段１で選択した画
像データを用いて画面全体としてフオーカスの合つた合
成画像を生成する画像合成手段１とを設けるようにし
た。

【０００７】

【０００８】さらに本発明において、画像合成手段１
は、画素又は領域毎に、中心部分の重みに対して周辺を
所定の重みにしたフイルタをかけて、自然な合成画像を
得るようにした。

【０００９】

【作用】複数枚の原画像の対応する画素又は領域につい
て、変化量Ei(x,y)が最も大きい原画像の画像データを
選択すると共に、当該画素又は領域における当該選択し
た原画像の画像データの変化量Ei(xp,yp)と、他の原画
像の画像データの変化量Ei(x,y)との比に基づいて、他
の原画像における合成画像の生成に採用しない領域ＡＲ
j(xp,yp)を決定するようにしたことにより、複数枚の原
画像の中からフオーカスの合つた画像データを簡易に選
択し得、かくして画像全体としてフオーカスの合つた合
成画像を生成し得る。

【００１０】

【実施例】以下図面について、本発明の一実施例を詳述
する。

【００１１】（１）全体構成 図１において、１は全体として画像処理装置を示し、撮
像装置２で撮像した複数枚の撮像画像を合成して画面全
体としてフオーカスの合つた画像を生成する。この画像
処理装置１は、顕微鏡及びビデオカメラを組み合わせた
撮像装置２で、同一被写体を同一画枠で順次フオーカス
位置を切り換えて撮像し、画像取り込み器４を介してそ
の撮像画像を取り込む。さらに画像処理装置１は、取り
込んだ画像を一旦外部記憶装置６に蓄積し、必要に応じ
て表示装置８に表示する。

【００１２】さらに画像処理装置１は、キーボード１０
やマウス１２の操作に応じて所定の処理プログラムを実
行し、これにより取り込んだ画像を合成して画面全体と
してフオーカスの合つた画像を生成する。また画像処理
装置１は、必要に応じて合成した画像を表示装置８で表
示すると共に、外部記憶装置６に格納する。

【００１３】図２に示すように画像処理装置１は、バス
ＢＳを介して、入出力インターフエース１６と中央処理
ユニツト（ＣＰＵ）１８とが接続され、これにより入出
力インターフエース１６を介して撮像画像の画像データ
ＤＶ１を入力すると共に、コンソール２０の操作等に応
じて合成画像の画像データＤＶ２を出力し得るようにな
されている。

【００１４】中央処理ユニツト１８は、取り込んだ画像
データＤＶ１を入力画像メモリ２２に格納すると共に、
リードオンリメモリ２４に格納した処理プログラムに従
つてこの画像データＤＶ１を処理し、これにより撮像画
像を合成して合成画像を生成する。さらに中央処理ユニ
ツト１８は、合成画像の画像データＤＶ２を出力画像メ
モリ２６に蓄積し、これにより入出力インターフエース
１６を介して必要に応じて合成画像の画像データＤＶ２
を出力し得るようになされている。

【００１５】（２）処理手順 ここで中央処理ユニツト１８は、図３に示す処理手順を
実行して合成画像を生成する。すなわち中央処理ユニツ
ト１８は、ステツプＳＰ１からステツプＳＰ２に移り、
ここで撮像条件を設定する。実際上中央処理ユニツト１
８は、撮像装置２の位置が設定されると、その絞り等を
設定した後、続いてステツプＳＰ３に移り、フオーカス
調整する。

【００１６】続いて中央処理ユニツト１８は、ステツプ
ＳＰ４に移り、撮像画像を取り込んだ後、ステツプＳＰ
５に移る。ここで中央処理ユニツト１８は、所定枚数だ
け撮像画像が得られたか否か判断し、この場合否定結果
が得られることにより、ステツプＳＰ６に移る。

【００１７】中央処理ユニツト１８は、このステツプＳ
Ｐ６で撮像装置２の絞りの量から被写界深度を検出し、
この検出結果に基づいてフオーカス位置を変化させた
後、ステツプＳＰ４に戻る。これにより中央処理ユニツ
ト１８は、順次フオーカス位置を変化させてステツプＳ
Ｐ４−ＳＰ５−ＳＰ４の処理ループＬＯＯＰ１を繰り返
し、撮像装置２の手前側から所定距離づつ順次フオーカ
スの合つた複数の撮像画像を撮像する。かくして中央処
理ユニツト１８においては、所定枚数だけ撮像画像が得
られると、ステツプＳＰ５において肯定結果が得られる
ことにより、ステツプＳＰ７に移る。

【００１８】（２−１）ノイズ除去処理 ここで中央処理ユニツト１８は、図４に示すような２次
元のフイルタを介して画像データＤＶ１を処理すること
により、３×３画素の範囲で画像データＤＶ１を平均化
し、これにより画像データＤＶ１のノイズを除去する。

【００１９】すなわち中央処理ユニツト１８は、このフ
イルタを用いることにより、画像データＤＶ１に対し
て、次式

【数１】 の演算処理を実行し、これによりノイズを除去する。こ
こでＳＸi(x,y)はオリジナルの撮像画像についての画像
データを表し、ＰＸi(x,y)は、ノイズ除去後の画像デー
タを表し、この場合中央処理ユニツト１８においては、
各色信号毎にノイズ除去処理を実行する。

【００２０】ここで、ｉ枚目のオリジナルの撮像画像の
色Ｘの点(x,y) の画像データをＳＸi(x,y)と表す。ｉは
１以上の整数、色ＸはＲ、Ｇ、Ｂのいずれかであり、Ｒ
は赤色、Ｇは緑色、Ｂは青色を表す。例えば１枚目のオ
リジナルの撮像画像の赤色の点(10,100)の画像データは
ＳＲ1(10,100) で表現される。

【００２１】（２−２）色の変化量の検出 続いて中央処理ユニツト１８は、ステツプＳＰ８に移
り、色の変化量を検出する。この検出処理は、図５及び
図６に示すように、水平及び垂直方向に画像データの変
化を検出し得るようになされた２種類のフイルタを使用
して画素単位で変化量Ｅi を検出する。

【００２２】このとき中央処理ユニツト１８は、各撮像
画像について、ＲＧＢの各色信号から色の変化量を検出
する。すなわち中央処理ユニツト１８においては、この
フイルタを使用することにより、次式

【数２】 の演算処理を実行する。これにより中央処理ユニツト１
８は、周囲を取り囲む画像データの値を基準にして、周
囲に対する画像データの変化の大きさを画素単位で検出
し、この検出処理を各撮像画像毎に、かつ色信号毎に実
行する。

【００２３】（２−３）画像の選択 続いて中央処理ユニツト１８は、ステツプＳＰ９に移
り、図７（Ａ）及び（Ｂ）に示すように、各撮像画像の
画像データから最もフオーカスの合つた画像データを検
出する。

【００２４】ここで図８及び図９に示すように、撮像画
像中の位置Ｐにエツジが存在する場合、ステツプＳＰ８
において検出された変化量Ｅi(x,y)においては、位置Ｐ
で変化量Ｅi(xp,yp)が最も大きくなり、フオーカスの最
も合つた画像Ａからフオーカスがずれるに従つて変化量
が小さくなる。従つて各撮像画像について、変化量のピ
ークを検出し、ピーク値の比較結果を得るようにすれ
ば、このピークの部分について、最もフオーカスの合つ
た画像を検出することができる。

【００２５】これに対してステツプＳＰ８においては、
各色信号から変化量を検出したことにより、単に被写体
のエツジだけでなく、被写体が色分けされた物体の場合
でも、この色分けされた部分についてはエツジの場合と
同様にして最もフオーカスの合つた画像を検出すること
ができる。

【００２６】これに対して変化量が小さな部分について
は、撮像画像中、色の変化がなく一様な部分と考えるこ
とができる。この場合この部分については、大きくデフ
オーカスした部分と考えることもできる。従つて、この
部分においては、各撮像画像の何れかで大きな変化量が
検出された場合、より大きな変化量が検出された撮像画
像がフオーカスの合つた画像と判断し得るのに対し、何
れの撮像画像でも変化量が小さい場合、単一色で表さ
れ、かつ明るさも一様な部分と判断することができる。
この判断原理に従つて、中央処理ユニツト１８は、全撮
像画像の中から最も大きな変化量Ｅi(xp,yp)を検出す
る。

【００２７】続いて中央処理ユニツト１８は、検出した
画素(xp,yp) について、各画像毎に次式

【数３】 の演算処理を実行し、この検出した画素を中心として領
域ＡＲj(xp,yp)を検出する。ここでＥi(xp,yp)は、この
ようにして検出した最も値の大きな変化量を表し、Ｅj
(xp,yp)は、変化量Ｅi(xp,yp)を検出した位置(xp,yp)
について他の撮像画像から得られる変化量を表す。さら
に値ｋは、種々の実験結果から値４に選定される。

【００２８】ここで中央処理ユニツト１８は、値ＡＲj
(xp,yp)が得られると、変化量Ｅi(xp,yp)を中心とする
半径ＡＲj の領域については、ｊ枚目の撮像画像を不採
用とする旨決定する。このとき中央処理ユニツト１８
は、次式

【数４】 の演算処理を実行し、重み付け係数Ｃi(xp,yp)を選定す
る。

【００２９】さらに中央処理ユニツト１８は、各撮像画
像毎に用意されたチエツクテーブル（初めは未チエツク
であることを表す値０のデータが格納されている）の中
から、選択した撮像画像の領域に対応するチエツクテー
ブルＣi(xp,yp)については、（４）式の重み付け係数を
格納して合成画像のために採用した画像データであるこ
とを表現するのに対し、採用しなかつた残りの撮像画像
の領域（ＡＲj(xp,yp)）に対応するチエツクテーブルに
ついては、値１のデータを記録して合成画像のために採
用しない画像データであることを表現する。

【００３０】このようにして最も値の大きな変化量につ
いて、所定領域分だけ重み付け係数が記録されると、中
央処理ユニツト１８は、チエツクテーブルが未チエツク
の残り領域について、変化量の最も大きな画素を検出
し、この画素について上述と同様の処理手順を実行す
る。

【００３１】かくしてこの実施例においては、変化量の
大きな画素から順次採用と不採用の決定をしてこれをチ
エツク対象から除外し、残り画素について領域検出処理
を繰り返すことにより、全ての画素について、画像合成
用の撮像画像を検出するようになされている。このとき
中央処理ユニツト１８においては、順次変化量の大きな
画素から領域ＡＲを決定することにより、簡易に画像合
成用の撮像画像を検出することができる。

【００３２】なおこのように変化量の大きな画素を検出
して画像合成用の撮像画像を検出する場合、図９に示す
ように、ピークの中心近傍については、フオーカスの合
つた画像を正しく検出し得るのに対し、ピークの中心か
ら遠ざかると、フオーカスの合つていない画像の方が変
化量が大きくなる。従つてこの部分については、このよ
うに領域ＡＲを設定してピークの中心近傍と同様の撮像
画像を採用することにより、フオーカスの誤検出を未然
に防止することができる。

【００３３】ところでこのようにしてフオーカスの合否
を判断する１つの方法としてフーリエ変換を利用する方
法がある。ところがフーリエ変換する場合、演算処理が
煩雑になると共に、物体の境界に近い背景部分等につい
ては、フオーカスの合否を正しく判断するのが困難な問
題がある。

【００３４】これに対してこの実施例のように、画像デ
ータの変化量を使用してフオーカスの合否を判断する場
合、簡易な演算処理で、かつフーリエ変換で問題となる
ような部分についても正しくフオーカスを判断し得、こ
れにより簡易かつ確実にフオーカスの合否を判断するこ
とができる。かくして中央処理ユニツト１８は、各画素
についてフオーカスの最も合つた画像を検出すると、続
くステツプＳＰ１０に移る。

【００３５】（２−４）画像の合成 ここで中央処理ユニツト１８は、図７（Ｂ）及び（Ｃ）
に示すように、ステツプＳＰ１９で得られた検出結果に
基づいて、各撮像画像からフオーカスの合つた画像デー
タを抽出して合成画像を生成する。すなわち中央処理ユ
ニツト１８は、各チエツクテーブルを検索し、画像デー
タを選択して２次元の合成画像を生成する。

【００３６】このとき中央処理ユニツト１８は、チエツ
クテーブルに格納した重み付け係数Ｃｉ（x,y）を使用
して合成画像を生成するが、図１０に示すマトリツクス
により近傍の点のデータも利用することにより、図１１
に示すように合成画像を滑らかにする。なお、図１０
は、後述する（５）式〜（８）式の計算式で利用する重
み付け係数をマトリツクスで示したものである。また図
１１は、ある画像の断面の重み付け係数に注目した場合
に、図１０に示すマトリツクス適用前の重み付け係数と
の関係を概念図として示したものである。

【００３７】すなわちこの実施例においては、各撮像画
像に領域ＡＲを設定して画像データを選択したことによ
り、フオーカスの合つた部分を切り出して合成画像を生
成することになる。従つてこの場合切り出した部分間で
合成画像が不自然に連続するおそれがあり、このような
マトリツクス演算を実行することにより、違和感のない
合成画像を得ることができる。

【００３８】これに対して重み付け係数Ｃi(x,y)におい
ては、変化量を基準にして（４）式の演算処理を実行し
て求められることにより、変化量の大きいとき、重み付
け係数Ｃi(x,y)の値も大きくなる。このとき上述したよ
うに変化量の値が大きい部分がフオーカスの合つた部分
と判断し得ることにより、変化量の値が大きければ大き
い程、より確かにフオーカスの合つた部分と判断するこ
とができる。

【００３９】従つてこれとは逆に変化量の値が小さけれ
ば小さい程、フオーカスの合否を誤検出した可能性が高
くなる。従つて合成画像を滑らかに処理する際、重み付
け係数Ｃi(x,y)を基準にしたマトリツクス演算で合成画
像を滑らかにすることにより、フオーカスの合否を誤検
出した場合でも、全体として違和感のない合成画像を生
成することができる。

【００４０】すなわち中央処理ユニツト１８において
は、上下左右２画素ずつの範囲で、次式

【数５】

【数６】

【数７】

【数８】 の演算処理を実行して各色成分ＦＲ（x,y）、ＦＧ（x,
y）、ＦＢ（x,y）について、合成画像の画像データを生
成した後、ステツプＳＰ１１に移つて処理手順を終了す
る。なお、（５）式〜（８）式は、原画像と、（４）式
で得られた重み付け係数と、図１０に示す重み付け係数
に対するマトリツクスから、合成画像を合成するための
計算式である。上述のように、画像合成時には、原画像
を重み付けして合成するが、原画像の重み付けが急激に
変化する境界では輝度や色の連続性が崩れて見苦しくな
る。そこで、このように中心画素の重みだけでなく周辺
画素の重みを利用した合成演算を行う方法を用いること
で、連続性を保持した画像を合成することができる。

【００４１】（３）実施例の効果 以上の構成によれば、同一の被写体を同一画枠で撮像し
た複数の撮像画像について色の変化量を検出し、この変
化量の大きい部分から順次領域を設定してフオーカスの
合つた部分を検出し、この部分を合成して合成画像を生
成することにより、簡易に画面全体としてフオーカスの
合つた合成画像を生成することができる。

【００４２】さらに上述の構成によれば、顕微鏡及びビ
デオカメラで観察対象を撮像する場合、観察する対象で
なる被写体を中心として画面全体にフオーカスの合つた
画像を得ることができ、これにより１枚の画像からより
多くの画像情報が得られ、かくして有用性を格段的に向
上して便利な画像処理装置を実現できる。

【００４３】（４）他の実施例 なお上述の実施例においては、色信号毎に変化量を検出
する場合について述べたが、本発明はこれに限らず、輝
度信号及び色差信号を基準にして変化量を検出してもよ
く、また白黒画像においては、輝度信号を基準にして変
化量を検出してもよい。

【００４４】また上述の実施例においては、（４）式
中、ｋを値４に設定する場合について述べたが、本発明
はこれに限らず、必要に応じて種々の値に選定すること
ができる。また上述の実施例においては、３×３画素の
フイルタを使用して色の変化量を検出する場合について
述べたが、本発明はこれに限らず、必要に応じて種々の
フイルタを広く適用することができる。同様に合成画像
を滑らかにするフイルタにおいても、種々のフイルタを
広く適用することができる。

【００４５】また上述の実施例においては、撮像装置と
して顕微鏡及びビデオカメラを組み合わせたものを用い
たが、これに代え、図１２に示すように、撮像装置とし
ては静止画カメラやビデオカメラ等を用いるようにして
も良く、さらに表示装置もモニタの画面上に限らず、画
像プリンタ等を用いるようにしても上述の実施例と同様
の効果を実現できる。

【００４６】また上述の実施例においては、フオーカス
の合つた画像を画素単位で選択する場合について述べた
が、本発明は画素単位に限らず、複数の画素をまとめて
一つの領域とし、この領域を選択の単位として選択し合
成するようにしても上述の実施例と同様の効果を実現で
きる。

【００４７】さらに上述の実施例においては、撮像装置
を介して複数の撮像画像を取り込む場合について述べた
が、本発明はこれに限らず、予め磁気記録媒体等に記録
した画像を使用して合成画像を生成する場合にも広く適
用することができる。

【００４８】

【発明の効果】上述のように本発明によれば、画像処理
装置において、同一画枠内でフオーカス位置の相異なる
複数枚の原画像を入力する画像入力手段と、複数枚の原
画像について、画素又は領域毎に画像データの変化量を
検出する変化量検出手段と、複数枚の原画像の対応する
画素又は領域について、変化量が最も大きい原画像の画
像データを選択すると共に、当該画素又は領域における
選択した原画像の画像データの変化量と、他の原画像の
画像データの変化量との比に基づいて、他の原画像にお
ける合成画像の生成に採用しない領域を決定する画像選
択手段と、画像選択手段で選択した画像データを用いて
画面全体としてフオーカスの合つた合成画像を生成する
画像合成手段とを設けるようにしたことにより、複数枚
の原画像の中からフオーカスの合つた画像データを簡易
に選択し得、かくして画面全体としてフオーカスの合つ
た合成画像を生成し得る画像処理装置を実現できる。

【図面の簡単な説明】

【図１】本発明による画像処理装置の一実施例を示すブ
ロツク図である。

【図２】図１の画像処理装置の詳細構成を示すブロツク
図である。

【図３】図１の画像処理装置の動作の説明に供するフロ
ーチヤートである。

【図４】ノイズ除去フイルタを示す図表である。

【図５】水平方向の変化量の検出に使用するフイルタを
示す図表である。

【図６】垂直方向の変化量の検出に使用するフイルタを
示す図表である。

【図７】画像の選択と合成の全体的な処理の流れの説明
に供する略線図である。

【図８】フオーカスと色の変化量との関係の説明に供す
る略線図である。

【図９】変化量の特性を示す特性曲線図である。

【図１０】合成画像を滑らかにするために使用するフイ
ルタを示す図表である。

【図１１】フイルタによる滑らかな合成の効果の説明に
供する略線図である。

【図１２】他の実施例の説明として画像処理システムの
種々の構成例を示す略線図である。

【符号の説明】

１……画像処理装置、２……撮像装置、４……画像取り
込み器、６……外部記憶装置、８……表示装置、１０…
…キーボード、１２……マウス、１６……入出力インタ
ーフエース、１８……中央処理ユニツト、２２……入力
画像メモリ、２６……出力画像メモリ。

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) H04N 5/232 H04N 5/265

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】同一画枠内でフオーカス位置の相異なる複
   数枚の原画像を入力する画像入力手段と、 上記複数枚の原画像について、画素又は領域毎に画像デ
   ータの変化量を検出する変化量検出手段と、上記複数枚の原画像の対応する上記画素又は領域につい
   て、上記変化量が最も大きい上記原画像の上記画像デー
   タを選択すると共に、当該画素又は領域における上記選
   択した原画像の上記画像データの変化量と、他の上記原
   画像の上記画像データの変化量との比に基づいて、上記
   他の原画像における合成画像の生成に採用しない領域を
   決定する画像選択手段と、 上記画像選択手段で選択した上記画像データを用いて画
   面全体としてフオーカスの合つた上記合成画像を生成す
   る画像合成手段とを具えることを特徴とする画像処理装
   置。
2. 【請求項２】上記画像合成手段は、 上記画素又は領域毎に、中心部の重みに対して周辺を所
   定の重みにしたフイルタをかけて、自然な合成画像を得
   るようにしたことを特徴とする請求項１に記載の画像処
   理装置。