JP5883141B2 - 電子撮像システムを合焦させるシステム及び方法 - Google Patents

Description

本発明は、自動的に電子センサ信号を用いて画像を受動的に合焦させる（画像の焦点を受動的に合わせる）画像処理及び方法の分野に関する。

撮像システムにおいて、関心のある対象物（オブジェクト、ｏｂｊｅｃｔ）は、レンズと光学センサとの間の距離を適宜に変化させることによって、焦点が合い（ｉｎ ｆｏｃｕｓ）無視できるほどのぼやけを有して見られることが可能である。画像の自動合焦（オートフォーカス、ａｕｔｏ−ｆｏｃｕｓ）を行う複数の方法及び複数のシステムがあることは既知である。そのような複数の方法は例えば、対象の場面（シーン、ｓｃｅｎｅ）の赤外線画像を取得するセンサがある複数の赤外線撮像システム（ｉｎｆｒａｒｅｄ ｉｍａｇｉｎｇ ｓｙｓｔｅｍ）（複数の温度カメラ（ｔｈｅｒｍａｌ ｃａｍｅｒａ））において使用され、一般的にこれらの画像はグレースケールフォーマットに変換される。当該画像は複数の画素の２次元配列から構成されて、当該複数の画素はこれらの位置における赤外線強度を表す。これらのシステムの深度（ｄｅｐｔｈ）及び範囲（ｒａｎｇｅ）の要件のために、被写界深度（ｄｅｐｔｈ ｏｆ ｆｉｅｌｄ）は低く、画像を繰り返し合焦させることが要求され、このことは、手動で行われる場合に追跡（ｔａｒｇｅｔｉｎｇ）及び監視（ｓｕｒｖｅｉｌｌａｎｃｅ）能力を低下させる。

現在、受動的な合焦は幅広く使用される方法であり、当該方法において電子画像センサからの信号は評価され、例えばステッピングモータであるレンズ動作装置（ｌｅｎｓ ｍｏｔｉｏｎ ｄｅｖｉｃｅ）を駆動するために使用される。受動的な複数の方法に関連する複数の問題点のうちの１つは、それらが画像の鮮明さ（シャープネス、ｓｈａｒｐｎｅｓｓ）を表現する数学的関数（ｍａｔｈｅｍａｔｉｃａｌ ｆｕｎｃｔｉｏｎ）を必要とすることである。良い関数は、焦点位置（焦点ポイント、ｆｏｃｕｓ ｐｏｉｎｔ）において最大値を有して単調に増加しているべきである。多くのそのような、現在使用される、画素に基づく複数の関数がある。例えば焦点外（ｏｕｔ−ｏｆ−ｆｏｃｕｓ）効果は低域通過フィルタとして考えられることができ、画像の高周波数成分は焦点を検出するために調査可能である。変形されたラプラス作用素（ｍｏｄｉｆｉｅｄ Ｌａｐｌａｃｅ ｏｐｅｒａｔｏｒ）又はテネングラッド関数（Ｔｅｎｅｎｇｒａｄ ｆｕｎｃｔｉｏｎ）は使用され、ここで、両関数は各画素位置において複数の方向導関数（ｄｉｒｅｃｔｉｏｎａｌ ｄｅｒｉｖａｔｉｖｅ）を評価することによって、画像の高周波数成分を決定する。

もう１つの方法は、画像が焦点外である場合に増加することが観測された、画像の局所的な画素分散を使用する。これらのフーリエ変換方法以外に、全モジュール差分方法（ｔｏｔａｌ ｍｏｄｕｌｅ ｄｉｆｆｅｒｅｎｃｅ ｍｅｔｈｏｄ）及びヒストグラムエントロピー方法（ｈｉｓｔｏｇｒａｍ ｅｎｔｒｏｐｙ ｍｅｔｈｏｄ）は、焦点条件を受動的に検出するための他の既知の方法である。

自動合焦システム（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓｉｎｇ ｓｙｓｔｅｍｓ）に関連するもう１つの問題点は、赤外線視覚システム（ｉｎｆｒａｒｅｄ ｖｉｓｉｏｎ ｓｙｓｔｅｍｓ）の高いフレームレート及び解像度による処理能力（ｐｒｏｃｅｓｓｉｎｇ ｐｏｗｅｒ）要求であり、このことは、一般的な複数の中央処理ユニット（ｇｅｎｅｒｉｃ ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ、ＣＰＵ）又はデジタル信号処理装置（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ、ＤＳＰ）上での画像処理を困難にする。その代わりに、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）が用いられ、非常に少ないクロックサイクルで並列処理（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｉｎｇ）によってデータを処理する。現在、多くの赤外線視覚システムは、実時間（リアルタイム）でヒストグラムマッチング（ｈｉｓｔｏｇｒａｍ ｍａｔｃｈｉｎｇ） 及び複数の輪郭強調アルゴリズム（ｅｄｇｅ ｅｎｈａｎｃｅｍｅｎｔ ａｌｇｏｒｉｔｈｍ）を実行する、複数のＦＰＧＡと複数のＤＳＰとの両方を備える。現在の複数の方法は、自動的に赤外線撮像システムを合焦させる簡単な方法を提供しないが、それらは、提案される方法を使用することで、容易且つ非常に少しの変更を用いてレンズの自動合焦（オートフォーカス）のために使用可能である。

従来技術の出願である日本特許文献ＪＰ３２９７２８２（特許文献１）は、１つの低域通過フィルタ及び１つの高域通過フィルタから受信される２つの評価値の複数の導関数（ｄｅｒｉｖａｔｉｖｅ）を比較して、そして適宜にこれらの信号のうちの１つを使用してレンズ位置を決定することによって、自動的に撮像システムを合焦させる方法を開示する。

従来技術の出願である国際特許文献ＷＯ２０１００８８０７９（特許文献２）は、１次導関数値及び２次導関数値の複数の局所的な近似値に従って切り替えられる１つ以上のデジタル帯域通過フィルタを使用する、自動的に撮像システムを合焦させる方法を開示する。

特許第３２９７２８２号公報 国際公開第２０１００８８０７９号公報

本発明の目的は、赤外線撮像システムを合焦させる、実施することが簡単な方法を提供することにある。

電子撮像システムを合焦させる方法（１００）は基本的に、以下の複数のステップを備える。すなわち、当該方法（１００）は、
画素画像（ｐｉｘｅｌ ｉｍａｇｅ）を受信するステップ（１０１）と、
少なくとも２つの異なる周波数成分を使用して、受信された画像の少なくとも１つの領域の少なくとも２つのヒストグラムを生成するステップ（１０２）と、
取得された複数のヒストグラムの複数の幅を発見して、それらを焦点基準（ｆｏｃｕｓ ｍｅａｓｕｒｅ）として格納するステップ（１０３）と、
最後に受信されたフレームの、前に考慮されていない最高周波数成分ヒストグラム幅と、同一の周波数成分に対応する少なくとも１つの前に受信されたフレームのヒストグラム幅との間の差分を発見するステップ（１０４）と、
有意な差分があるかを問うステップ（１０５）と、
前記差分を使用して焦点方向信号（ｆｏｃｕｓ ｄｉｒｅｃｔｉｏｎ ｓｉｇｎａｌ）を決定するステップ（１０６）と、
を備える。

電子撮像システムを合焦させるシステム（１）は基本的に、
必要な場合に対象の場面の少なくとも１つの電子画素画像を取得するための少なくとも１つの画像センサ（２）と、
少なくとも１つの画像を受信するとともに当該画像を使用して電子撮像システムを合焦させる方法（１００）を実施して、当該方法（１００）によって発見される焦点方向信号を出力するように構成された少なくとも１つの画像処理ユニット（３）と、
前記画像処理ユニットに接続され、電子撮像システムを合焦させる方法（１００）を実施するために必要である複数の画像ヒストグラム幅を格納するように構成された少なくとも１つのメモリユニット（４）と、

好ましい実施形態のシステムの概略図である。 ３つの１次元の変形された鋭さ（シャープネス、ｓｈａｒｐｎｅｓｓ）の階段関数（ｓｔｅｐ ｆｕｎｃｔｉｏｎ）のグラフを示す。 １次元の変形された鋭さの階段関数の高周波数成分のグラフを示す。 複数の変形された階段関数の高周波数成分のヒストグラムを示す（Ａ、Ｂ、及びＣはそれぞれ１番目、２番目、及び３番目の関数を指す）。 本発明の好ましい方法のフローチャートである。

本発明の目的を達成するために実現されるシステム及び方法は、添付の図に示される。

電子撮像システムを合焦させる方法（１００）は基本的に、
画素画像を受信するステップ（１０１）と、
少なくとも２つの異なる周波数成分を使用して、前記受信された画像の少なくとも１つの領域の少なくとも２つのヒストグラムを生成するステップ（１０２）と、
取得された複数のヒストグラムの複数の幅を発見して、それらを焦点基準として格納するステップ（１０３）と、
最後に受信されたフレームの、前に考慮されていない最高周波数成分ヒストグラム幅と、同一の周波数成分に対応する少なくとも１つの前に受信されたフレームのヒストグラム幅との間の差分を発見するステップ（１０４）と、
有意な差分があるかを問うステップ（１０５）と、
前記差分を使用して焦点方向信号を決定するステップ（１０６）と、
の複数のステップを含む。

まず、対象の場面の画像が受信される（１０１）。温度カメラシステム（ｔｈｅｒｍａｌ ｃａｍｅｒａ ｓｙｓｔｅｍ）の場合において、これは２次元グレースケール画素画像であろう。ここで、各画素は対象の場面におけるそのような位置に対する赤外線密度（ｉｎｆｒａｒｅｄ ｄｅｎｓｉｔｙ）を表す。それにもかかわらず、当該システムの主な目的は合焦方向を検出することであり、鮮明さ（シャープネス）を検出する手段は導入されるべきである。複数の変形された階段関数の高周波数成分が調査される場合、それらのヒストグラム幅は複数の関数変化の鋭さ（シャープネス）に応じて変化していることが見られる。実際に、当該幅は階段関数の鋭さが増加するにつれて増加する。ここで、ヒストグラムは、異なる複数の値を有する画像上の画素の分布（ｄｉｓｔｒｉｂｕｔｉｏｎ）を表し（水平軸上の値及び垂直軸上のカウント）、また、ヒストグラム幅は、平均値の周囲の分布の分散（ｓｃａｔｔｅｒ）を意味する。類似に、画像が焦点から外れると、複数の高周波数成分における複数の画素値はヒストグラム上の単一の値の周辺に集まる（クラスタ化する、ｃｌｕｓｔｅｒｅｄ）ようになる（図２、図３、図４）。

ステップ（１０２）において、受信されたもの上の領域に対して、少なくとも２つの異なる周波数成分に対して取得されるヒストグラムが計算される。次いで、それらの幅は、本システムにおける可能性があるノイズによって引き起こされる床（ｆｌｏｏｒ）上の複数の値のうちのいくつかを除外することによって計算される（１０３）。これは好ましい構成においてノイズしきい値を導入する。幅は異なる複数の方法を使用して発見可能であり、例えば、複数のヒストグラムグラフエッジ（ｈｉｓｔｏｇｒａｍ ｇｒａｐｈ ｅｄｇｅｓ）の、ノイズしきい値レベルにおいて描かれる水平ラインとの交差を発見してその間の距離を発見することによって、発見可能である。赤外線撮像システムの多くは輪郭強調（ｅｄｇｅ ｅｎｈａｎｃｅｍｅｎｔ）、コントラスト調整（ｃｏｎｔｒａｓｔ ａｄｊｕｓｔｍｅｎｔ）等のための手段を既に有するため、高周波数ヒストグラム及び低周波数ヒストグラムは既に継続的に生成されており、これらはこの方法において使用される。好ましい構成において、画像の複数のより低い周波数成分は、原画像（ｏｒｉｇｉｎａｌ ｉｍａｇｅ）から、より高い周波数成分を減算することによって発見される。

ヒストグラム幅が焦点基準（ｆｏｃｕｓ ｍｅａｓｕｒｅ）として使用されるであろうことを知ると、焦点レンズ（ｆｏｃｕｓ ｌｅｎｓ）は、複数のヒストグラム幅の変化を検出するために移動される。そうする場合、前もって合焦されている（焦点が合わされている）ある対象物が存在したことが仮定されるため、最初には最高周波数成分のヒストグラムが使用される。ステップ（１０４）において、最後に受信されたフレーム（ｆｒａｍｅ）の最高周波数成分ヒストグラム幅（ｈｉｇｈｅｓｔ ｆｒｅｑｕｅｎｃｙ ｃｏｍｐｏｎｅｎｔ ｈｉｓｔｏｇｒａｍ ｗｉｄｔｈ）と、少なくとも１つの前もって受信されたフレームの、同一の周波数成分に対応するヒストグラム幅とは、焦点方向（ｆｏｃｕｓ ｄｉｒｅｃｔｉｏｎ）を決定するために差分がとられる。また、有意な差分がない場合（ステップ（１０５）の答えはｎｏ）、より低い周波数成分を有する複数のヒストグラムは差分がとられて、焦点基準として使用される。この場合は、焦点レンズの現在の位置が、画像が完全に焦点から外れている位置（点、ｐｏｉｎｔ）に一致し、且つ、高周波数ヒストグラムがその平均の周辺にきつく集まるときに起こる。より幅広い分布を有するヒストグラムはむしろ使用されるべきであり、これは実際には低周波数成分ヒストグラムの場合である。

この処理は、複数のヒストグラム幅値（ｈｉｓｔｏｇｒａｍ ｗｉｄｔｈ ｖａｌｕｅ）の変化を使用して有意な方向が発見されるまで継続する。各周波数成分に属するヒストグラムの全てが使用されるが有意な差分が発見されない場合、好ましい構成において、停止信号（ｓｔｏｐ ｓｉｇｎａｌ）が生成されて方法はレンズの新しい状態のための入力手段を用いて再活性化される（ｒｅａｃｔｉｖａｔｅｄ）べきである。この有意な差分は、好ましい構成においてゼロ以外の値である。なぜならば、このことは、レンズ位置（ｌｅｎｓ ｐｏｓｉｔｉｏｎ）の変化を伴う格納されたヒストグラム幅シーケンス（ｈｉｓｔｏｇｒａｍ ｗｉｄｔｈ ｓｅｑｕｅｎｃｅ）の導関数がゼロであり、いかなる方向も導き出されないことを意味するからである。複数のヒストグラムの幅の変化に応じて、焦点方向は決定されて信号は生成される。焦点方向信号（ｆｏｃｕｓ ｄｉｒｅｃｔｉｏｎ ｓｉｇｎａｌ）は生成されて、焦点アセンブリ（ｆｏｃｕｓ ａｓｓｅｍｂｌｙ）を、ヒストグラム幅を増加させる方向に駆動する。

この方法を初期化するために、初期移動は第１の方向値を発見可能となるために導入されるべきであり、従って付加的なステップ（１０７）においてランダムな焦点方向信号は生成される（図５）。

方法（１００）の好ましい構成において、全ての可能な複数の周波数成分ヒストグラムの調査の後にいかなる有意な結果もない場合、停止信号は生成される。

電子撮像システムを合焦させるシステム（１）は基本的に、
必要な場合に対象の場面の少なくとも１つの電子画素画像を取得するための少なくとも１つの画像センサ（２）を備え、
少なくとも１つの画像を受信するとともに当該画像を使用して電子撮像システムを合焦させる方法（１００）を実施して、前記方法（１００）によって発見される焦点方向信号を出力するように構成された少なくとも１つの画像処理ユニット（３）と、
前記画像処理ユニットに接続され、電子撮像システムを合焦させる方法（１００）を実施するために必要である複数の画像ヒストグラム幅を格納するように構成された少なくとも１つのメモリユニット（４）と、
を含む。

本発明の好ましい実施形態において、画像センサ（２）は、場面（ｓｃｅｎｅ）において複数の温度差の差分をとることが可能なスキャニング赤外線視覚カメラ（ｓｃａｎｎｉｎｇ ｉｎｆｒａｒｅｄ ｖｉｓｉｏｎ ｃａｍｅｒａ）である。本発明の好ましい実施形態において、画像処理ユニット（３）は、画像センサ（２）から少なくとも１つの画像を受信するように構成される。画像処理の分野の任意の当業者は、このシステム（１）及び方法（１００）が複数の画素画像のシーケンスに適用されて焦点状態は継続的に監視可能であることを理解すべきである。画像処理ユニット（３）は、信号を、画像処理ユニット（３）により生成される信号に従ってレンズ（Ｌ）を位置付けるレンズ駆動機構（ｌｅｎｓ ｄｒｉｖｅ ｍｅｃｈａｎｉｓｍ）（Ｄ）に送信するように構成される。

前の複数のフレームに対応する発見された複数のヒストグラム幅は、画像処理ユニット（３）に接続されるメモリユニット（４）に格納される。結論として、ランダムな方向にレンズ移動を開始して、現在のヒストグラムの複数の幅を比較して、そして焦点方向を決定することによって、簡単に実施できる方法及びシステムが得られる（図１）。

これらの基本的概念の範囲内で、本発明の「電子撮像システムを合焦させるシステム及び方法」（１）及び（１００）の幅広い種々の実施形態を展開することが可能である。本発明は、明細書において説明される例に限定されることはできず、本質的に特許請求の範囲に従う。

図面において示される複数の構成要素は個々に符号が振られ、ここで、複数の符号は以下を参照する。

１．電子撮像システムを合焦させるシステム
２．画像センサ
３．画像処理ユニット
４．メモリユニット
１００．電子撮像システムを合焦させる方法
Ｌ．レンズ
Ｄ．レンズ駆動機構

Claims (5)

1. 画素画像を受信するステップ（１０１）と、
   少なくとも２つの異なる周波数成分を使用して、受信された画像の少なくとも１つの領域の少なくとも２つの、画素値の分布を表すヒストグラムを生成するステップ（１０２）と、
   取得された複数のヒストグラムの複数の幅を検出して、それらを焦点基準として格納するステップ（１０３）と、
   最後に受信されたフレームの、以前に考慮されていない最高周波数成分ヒストグラムの幅と、同一の周波数成分に対応する少なくとも１つの前に受信されたフレームのヒストグラムの幅との間の差分を検出するステップ（１０４）と、
   有意な差分があるかを問うステップ（１０５）と、
   前記差分を使用して焦点方向信号を決定するステップ（１０６）と、
   の複数のステップによって特徴付けられる電子撮像システムを合焦させる方法（１００）。
2. ステップ（１０２）において述べられた複数のヒストグラムを取得するために使用される前記画像の複数の周波数成分のうち、１つは高周波数成分であり、他の１つは当該高周波数成分より低い周波数成分である、
   ことを特徴とする請求項１記載の電子撮像システムを合焦させる方法（１００）。
3. ステップ（１０５）において、前記有意な差分はゼロ以外の差分である、
   ことを特徴とする請求項２記載の電子撮像システムを合焦させる方法（１００）。
4. 前記より低い周波数成分を有する複数のヒストグラムは、ステップ（１０５）において有意な差分がない場合に差分がとられる、
   ことを特徴とする請求項１〜３記載の電子撮像システムを合焦させる方法（１００）。
5. 必要な場合に対象の場面の少なくとも１つの電子画素画像を取得するための少なくとも１つの画像センサ（２）を備え、
   前記画像センサから少なくとも１つの画像を受信して、少なくとも２つの周波数成分を使用することによって受信された画像の少なくとも１つの領域において少なくとも２つの、画素値の分布を表すヒストグラムを生成して、取得された複数のヒストグラムの幅を検出してそれらを焦点基準として格納して、以前に考慮されていない最後に受信されたフレームの最高周波数成分ヒストグラムの幅と同一の周波数成分に対応する、前に受信されたフレームのヒストグラムの幅との間の差分を検出して、前記２つのヒストグラムの幅の間の差分を問い、当該問いの結果に従って焦点方向信号を決定して、決定された焦点方向信号をレンズ駆動機構（Ｄ）に送信するように構成された少なくとも１つの画像処理ユニット（３）と、
   前記画像処理ユニットに接続され、電子撮像システムを合焦させるための焦点方向信号出力を決定するために複数の画像ヒストグラムの幅を格納するように構成された少なくとも１つのメモリユニット（４）と、
   によって特徴付けられる電子撮像システムを合焦させるシステム（１）。

Images