JP6286567B2 - マルチスペクトル画像システムのロバストなオートフォーカスアルゴリズム - Google Patents

Description

オートフォーカスシステムは一以上のセンサに依存して正しいフォーカスを決定する。オートフォーカスセンサから収集されたデータを用いて、カメラの光学系のフォーカスを調節する電気機械的システムを制御する。地上のカメラで地上にいる被写体の画像を撮ると、被写体には焦点が合うかもしれないが、背景には焦点が合わない。これは、カメラから被写体までの距離が、カメラから背景までの距離と異なるからである。空対地アプリケーションでは、空中カメラから地上及び人や対象物までの距離はほぼ等しい。そのため、空から撮影されるオートフォーカス画像は、全画像にフォーカスし、一部だけではない。他の問題は、特に監視アプリケーションによく見られるものには、画像を素早く、暗いところでオートフォーカスすることである。

一例では、画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスする方法が提供される。該方法は、オートフォーカス・エンジンにおいて、フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセル位置とを所与として、前記エッジ検出画像をサブ画像に分割するステップを含む。前記方法は、さらに、各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算するステップと、前記被写体サブ画像の規格化エッジ検出強さを閾値と比較するステップと、を含む。前記方法は、さらに、前記比較に基づき、前記被写体サブ画像にエッジがあるか判断するステップと、前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算するステップと、前記方法は、さらに、前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスするステップとを含む。

他の一例では、画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスするシステムが提供される。該システムは、コンピュータ実行可能命令を有するメモリと、フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセルの位置とを受け取る少なくとも１つのインターフェースとを含む。前記システムは、さらに、前記メモリと前記少なくとも１つのインターフェースとに結合したオートフォーカス・エンジンとを有する。前記コンピュータ実行可能命令は、前記オートフォーカス・エンジンにより実行されると、前記オートフォーカス・エンジンに、前記エッジ検出画像をサブ画像に分割させられる。前記オートフォーカス・エンジンはさらに、各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算させられ、前記被写体サブ画像の規格化エッジ検出強さを閾値と比較させられる。前記オートフォーカス・エンジンはさらに、前記比較に基づき、前記被写体サブ画像にエッジがあるか判断させられ、前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算させられる。前記オートフォーカス・エンジンはさらに、前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスさせられる。

さらに他の一例では、画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスするコンピュータ読み取り可能命令を有する有体のコンピュータ読み取り可能記憶媒体が提供される。該コンピュータ読み取り可能命令は、一以上のプロセッサにより実行されると、前記一以上のプロセッサに、フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセル位置とを所与として、前記エッジ検出画像をサブ画像に分割させる。前記一以上のプロセッサはさらに、各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算し、前記被写体サブ画像の規格化エッジ検出強さを閾値と比較させられる。前記一以上のプロセッサはさらに、前記比較に基づき、前記被写体サブ画像にエッジがあるか判断させ、前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算させられる。前記一以上のプロセッサはさらに、前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスさせられる。

幾つかの例では、上記のどの態様も、次の特徴のうち一以上を含むことができる。

本方法の他の例では、ピクセル値を有する前記被写体サブ画像の規格化エッジ検出強さを計算するステップは、前記被写体サブ画像中に見いだされる最大ピクセル値と、前記被写体サブ画像中に見いだされる最小ピクセル値とを選択するステップを含む。前記方法の例はさらに、前記最大ピクセル値と最小ピクセル値との差の、前記最大ピクセル値と最小ピクセル値との和に対する比率を求める、前記比率はコントラストの尺度であるステップと、前記コントラストの尺度を前記サブ画像中のピクセル値の平均とかけて、その結果として前記被写体サブ画像の規格化及び加重エッジ検出強さを求めるステップとを含む。

本方法の幾つかの例では、前記オートフォーカス・メトリックを計算するステップは、エッジがあるサブ画像の規格化エッジ検出強さを平均するステップを含む。

前記方法の他の例はさらに、前記オートフォーカス・メトリックに基づいて前記フォーカスセルの位置を選択するステップと、前記フォーカスセルを選択された位置に再配置して前記ビデオ画像をフォーカスするステップとを含む。

本方法の幾つかの例では、前記フォーカスセルの位置を選択するステップは、計算されたオートフォーカス・メトリックと、それに関連するフォーカスセル位置とから、オートフォーカス・メトリック及びフォーカスセル位置のモデルを生成するステップと、前記モデルからフォーカスセルの最良の位置を選択するステップとを含む。

本方法の他の例では、前記モデルは、計算されたオートフォーカス・メトリックの前記モデルへの非線形回帰適合である。

前記方法の幾つかの例はさらに、フォーカススイープ中に撮られる各画像に対して、被写体画像を関心領域にトリミングするステップと、前記関心領域のホワイトノイズを低減して、結果としてフィルタ画像を求めるステップとを含む。前記方法の例はさらに、前記フィルタ画像中のエッジを検出して、結果として前記フォーカススイープ中のフォーカスセルの位置に関連するエッジ検出画像を求めるステップを含む。

前記方法の他の例はさらに、日中テレビジョン（ＤＴＶ）、近赤外（ＮＩＲ）、短波長赤外（ＳＷＩＲ）、中波長赤外（ＭＷＩＲ）、または長波長赤外（ＬＷＩＲ）よりなるグループから選択した波長で、フォーカススイープ中に、画像を撮るステップをさらに含む。

上記の及びその他の機能、及び特徴と、動作方法と、関連構成要素の機能と、パーツの組み合わせと、生産の経済性とは、本出願の出願書類を構成する、添付した図面を参照して以下の説明と特許請求の範囲を検討すれば明らかになるだろう。図面中、対応するパーツには同じ参照数字を付した。しかし、言うまでもないが、図面は例示と説明を目的としたものであり、請求項を限定することを意図したものではない。本明細書と特許請求の範囲において、「１つの」、「前記」との記載は別段の記載がなければ、複数の場合も含む。

上記やその他の目的、特徴、および利点は、添付した図面に示した例のより具体的な説明から明らかになるであろう。異なる図面において、同じ参照番号は同じパーツを示している。図面は必ずしも寸法通りではなく、例の原理を例示するに当たり強調した部分もある。
オートフォーカス・エンジンを有する画像システム例を示すブロック図である。 オートフォーカスメトリックアプローチの一例を実装するオートフォーカス・エンジンの動作を示す画像例である。 オートフォーカスメトリックアプローチの一例を実装するオートフォーカス・エンジンの動作を示す画像例である。 オートフォーカスメトリックアプローチの一例を実装するオートフォーカス・エンジンの動作を示す画像例である。 オートフォーカスメトリックアプローチの一例による最良のフォーカスセル位置の選択を示すチャートである。 オートフォーカスメトリックアプローチの一例による最良のフォーカスセル位置の選択を示すチャートである。 オートフォーカスメトリックアプローチの一例を実装するオートフォーカス・エンジンの一例を示すブロック図である。 オートフォーカスメトリックアプローチの一例を示すフローチャートである。

以下の説明では、同種のコンポーネントには、異なる例に示されているかどうかに係わらず、同じ参照数字を付した。本開示の例を明確かつ簡潔に説明するため、図面は必ずしもスケール通りではなく、ある特徴は概略的に示した。ある例を参照して説明及び／又は例示した特徴は、他の例で、及び／又は他の例の特徴と組み合わせて、又は他の例の特徴に替えて、同一又は同様の方法で用いることができる。

図１は、地上１０５の上を飛行して監視を行う空中画像プラットフォーム１００（例えば、ドローン）の一例を示す。空中画像プラットフォーム１００は、地上１０５の人や対象物を監視する画像システム１１０を有する。画像システム１１０は画像センサ１１５、フォーカスセル１２０、及びオートフォーカス・エンジン１２５を含む。画像センサ１１５は画像を撮り、例えば日中テレビジョン（ＤＴＶ）、近赤外（ＮＩＲ）、短波長赤外（ＳＷＩＲ）、中波長赤外（ＭＷＩＲ）、または長波長赤外（ＬＷＩＲ）の波長でビデオ画像を撮る。

フォーカスセル１２０は、画像センサ１１５により撮られた画像をフォーカスする。フォーカスセル１２０は、位置を変え、各フォーカスセル位置で画像が異なるフォーカスをする。これは「フォーカススイープ（ｆｏｃｕｓ ｓｗｅｅｐ）」として知られている。オートフォーカス・エンジン１２５は、フォーカスセル１２０に、選択されたフォーカスセル位置を提供することにより、フォーカスセル１２０の位置を制御する。オートフォーカス・エンジン１２５自体は、オペレータ（例えば、ドローン１１０のオペレータ）により制御されてもよい。「プッシュ・ツー・フォーカス（ｐｕｓｈ−ｔｏ−ｆｏｃｕｓ）」アプリケーションでは、オペレータは、焦点がはずれた画像をフォーカスしたい時、ボタンを押すと、オートフォーカス・エンジン１２５が画像をフォーカスする。

オートフォーカス・メトリック・アプローチ（及びここで説明するその例）では、オートフォーカスが、各フォーカスセル位置に関連するオートフォーカス・メトリック（ａｕｔｏｆｏｃｕｓ ｍｅｔｒｉｃ）を計算し、計算されたメトリックに基づいて最良のフォーカスセル位置を選択する。図２Ａ−２Ｃを参照して、オートフォーカス・メトリック・アプローチの例を実装するオートフォーカス・エンジン１２５の動作を説明する。

図２Ａは、フォーカスセル１２０を第１の位置として撮った第１の画像２０５と、第１のフォーカスセル位置とは異なる第２のフォーカスセル位置で撮った第２の画像２１０とを示す。第１と第２の画像２０５、２１０は、フォーカススイープ中の異なるフォーカスセル位置で撮った画像のうちの２枚である。エッジ検出器が、第１の画像２０５と第２の画像２１０を処理し、図２Ｂに示す、第１のエッジ検出画像２１５と、第２のエッジ検出画像２２０をそれぞれ生成する。Ｓｏｂｅｌエッジ検出器など、多くのエッジ検出器のうちのどれを使っても良い。オートフォーカス・メトリック・アプローチの例を説明し、可読性を高めるため、第１のエッジ検出画像２１５は「焦点画像（ｉｎ−ｆｏｃｕｓ−ｉｍａｇｅ）」と呼び、第２のエッジ検出画像２２０は「焦点外画像（ｏｕｔ−ｏｆ−ｆｏｃｕｓ−ｉｍａｇｅ）」と呼ぶ。

オートフォーカス画像は、焦点画像２１５と焦点外画像２２０とを、「パッチ」と呼ばれるサブ画像２２５、２３０に分割する。オートフォーカス・メトリック・アプローチの便利な例では、各パッチが検出されたエッジを１つ含む又は含まないように、パッチのサイズが選択される。他の一例では、パッチのサイズは、低光束状態において、明るい光のインパクトを低減するように選択される。

オートフォーカス・メトリック・アプローチの説明を続ける前に、一部のコントラストが高い画像の例を考える。この高コントラスト領域があるため、焦点外画像に対して計算されるエッジ検出強度が高くなってしまう。そして、これにより、焦点がはずれていても、画像の焦点が合っているとの間違った結論を下してしまうことがある。換言すると、エッジ検出強度計算は、画像の一部分により支配され、全画像を表さない場合がある。この状況は好ましくなく、従来のオートフォーカスアプローチを無効化し得る。

コントラストが高いがエッジがない画像部分と、無害なその他の部分とへの依存性を低減するため、オートフォーカス・エンジン１２５（図１）は、焦点画像２１５と焦点外画像２２０とを、「パッチ」と呼ばれるサブ画像２２５、２３０に分割する。次いで、オートフォーカス・エンジン１２５は、各パッチに「ローカル」エッジ検出強度（エッジコントラスト）を割り当てる。オートフォーカス・エンジン１２５は、サブ画像のローカル値に基づいて、オートフォーカス・メトリックを求める。対照的に、コントラストエンハンスメントに基づく従来のオートフォーカスアプローチは、全画像からそれらのメトリックを求める。

オートフォーカス・メトリック・アプローチの便利な例では、各パッチが検出されたエッジを１つ含む又は含まないように、パッチのサイズが選択される。他の一例では、パッチのサイズは、低光束状態において、明るい光のインパクトを低減するように選択される。オートフォーカス・メトリック・アプローチのさらに他の便利な例では、パッチのピクセル値に対して、オートフォーカス・エンジン１２５は、そのパッチに見つかった最大ピクセル値と最小ピクセル値とを選択することにより、そのパッチの規格化されたエッジ検出強度を計算する。オートフォーカス・エンジン１２５は、最大ピクセル値と最小ピクセル値との差の、最大ピクセル値と最小ピクセル値との和に対する比率を求める。この比率はコントラストの尺度（ｍｅａｓｕｒｅ）である。オートフォーカス・エンジン１２５は、コントラスト尺度を、パッチ中のピクセル値の平均にかけ、その結果として、そのパッチの規格化され加重されたエッジ検出強度を求める。

前述の動作は、すべてのローカルのパッチ値をスケールし、ローカルの「ウィーク（ｗｅａｋ）」（低コントラストでもシャープ）が、ローカルの「ストロング（ｓｔｒｏｎｇ）」（高コントラストでシャープ）と同様に貢献するようにする。シャープエッジは、画像の低値領域から一または少数のピクセルの高値領域への移行と定義される。画像の低値領域及び高値領域の間の境界（ｂｏｒｄｅｒ）または移行境界（ｔｒａｎｓｉｔｉｏｎ ｂｏｕｎｄａｒｙ）にあるピクセルが少なければ少ないほど、加重はシャープになる。フォーカスの目標はすべての境界を「シャープにする」ことであり、これは通常の意味では「焦点がっている」状態と「焦点がはずれている」状態との差である。

オートフォーカス・エンジン１２５は、与えられたパッチの規格化されたエッジ検出強度を閾値と比較する。その閾値を用いて、オートフォーカス・エンジン１２５は、エッジが検出されたパッチと、エッジが検出されないパッチとを弁別する。オートフォーカス・メトリック・アプローチの幾つかの例では、ユーザは閾値を確定し、キーボードやマウスなどの入力デバイスを用いてその閾値をオートフォーカス・エンジン１２５に入力する。オートフォーカス・メトリック・アプローチの他の例では、オートフォーカス・エンジン１２５又はその他のコンポーネントは、アプリケーションに基づいて閾値を調整する。

図２Ｃの例では、オートフォーカス・エンジン１２５（図１）は、焦点画像２１５のパッチ２２５の９９％がエッジを含み、１％が含まないと判断する。比較して、オートフォーカス・エンジン１２５は、焦点外画像２２０のパッチ２３０の２０％がエッジを含み、８０％が含まないと判断する。オートフォーカス・エンジン１２５は、エッジを有すると判断されたパッチ２２５に基づいて、第１のフォーカスセル位置の第１のオートフォーカス・メトリックを計算する。オートフォーカス・エンジン１２５は、エッジを有すると判断されたパッチ２３０に基づいて、第２のフォーカスセル位置の第２のオートフォーカス・メトリックを計算する。

オートフォーカス・エンジン１２５は、「最良の」フォーカスセル位置の決定に用いる、第１と第２のオートフォーカス・メトリックと、フォーカススイープにおける他のフォーカスセル位置に対して計算されたオートフォーカス・メトリックとを提供する。次に、フォーカスセル１２０は、画像にフォーカスする最良のフォーカスセル位置に移動する。オートフォーカス・エンジン１２５の便利な例は、計算されたオートフォーカス・メトリックとそれに関連するフォーカスセル位置とに基づいて、最良のフォーカスセル位置を選択する。（選択手順は、この後すぐ、より詳細に説明する。）オートフォーカス・エンジン１２５は、フォーカスセル１２０を、画像をフォーカスするのに最良のフォーカスセル位置に再配置する。

図３Ａは、フォーカスセル１２０（図１）が一定速度で左から右にスイープし、離散時間に画像が収集されるにつれて、オートフォーカス・エンジン１２５（図１）により生成されるデータポイント（図中でプラス記号として示す）を示している。各データポイントは、図２Ａないし図２Ｃを参照して説明したように、与えられたフォーカスセル位置（Ｘ軸に示す）に対して計算されたオートフォーカスメトリック（Ｙ軸に示す）を表す。

オートフォーカス・エンジン１２５はオートフォーカス・メトリックとそれに関連するフォーカスセル位置とからモデル３００を生成する。モデル３００は、フォーカスセル１２０の位置が変化するにつれて、画像の鮮明度（ｓｈａｒｐｎｅｓｓ）がどう変化すると物理的に期待されるかを表す。このように、モデル３００は理論的である。オートフォーカスメトリックアプローチの便利な例では、モデル３００は非線形回帰適合である。モデルの「ピーク」は、図中３０５で示したが、最良のフォーカスセル位置を表す。オートフォーカス・エンジン１２５は、画像をフォーカスするのに最良のフォーカスセル位置をフォーカスセル１２０に提供する。

モデル３００を構築する、オートフォーカス・エンジン１２５により計算されたオートフォーカスメトリック（データポイント）の数は、関心領域及びパッチサイズに基づき選択してもよい。任意のパッチ中のエッジ数を最小化する７×７ないし２０×２０の間の一般的なパッチサイズが選択される。理想的には、一つのパッチが一つの区別できるエッジに影響する。好ましい例では、パッチサイズは１０×１０が選択される。オートフォーカスメトリックアプローチの幾つかの例では、オートフォーカス・エンジン１２５により計算されるオートフォーカス・メトリックの数は、最良のフォーカスセル位置が一定時間内に、例えば１秒または２秒以内に選択されるように、選択される。これは、フォーカスボタンを押すとすぐに、ぼけた画像がフォーカスされるとオペレータが期待する「プッシュ・ツー・フォーカス」の場合に特に有利である。

図３Ｂは、信号が非常に弱い微少光画像化条件で用いられるオートフォーカスメトリックアプローチの一例を示している。かかる画像化条件は、従来のオートフォーカスアプローチでは困難な問題である。データポイントは図３Ａの例と比較して、より分散している。分散が大きくなることは、オートフォーカス・メトリックを計算するのに用いる測定値中のノイズが大きくなることを表している。オートフォーカス・エンジン１２５（図１）は、データポイントを通るモデル３１５（理論的に最良な曲線）を見つけ、モデル３１５から（参照番号３１５で示す）最良のフォーカスセル位置を選択する。

オートフォーカスメトリックアプローチの他の例では、フォーカススイープ中に撮られた各画像に対して、オートフォーカス・エンジン１２５が被写体画像を関心領域までトリミング（ｃｒｏｐ）する。一般的に、画像の中心部分は関心対象を含む。画像の境界領域はコンテキスト情報を提供する。目的は、関心中心領域をはっきりとフォーカスすることであり、境界領域の対象により曲がらないようにすることである。有利にも、画像を中心領域にトリミング（ｃｒｏｐｐｉｎｇ）することにより、オートフォーカスにより中心領域のフォーカスが最良になることを保証できる。

オートフォーカス・エンジン１２５は、次いで、関心領域の白色ノイズを低減し、フィルタ画像（ｆｉｌｔｅｒｅｄ ｉｍａｇｅ）を求める。このノイズ低減手順により、弱信号で撮像された画像におけるランダムピクセルノイズが低減される。オートフォーカス・エンジン１２５は、ＳｏｂｅｌまたはＬａｐｌａｃｅエッジ検出を適用して、フィルタ画像中のエッジを検出する。結果は、フォーカススイープにおけるフォーカスセル１２０の位置に関連するエッジ検出画像である。オートフォーカス・エンジン１２５は、図２Ａないし図２Ｃを参照して上で説明したように、検出されたエッジからオートフォーカス・メトリックを計算する。

図４Ａは、図４Ｂに示したオートフォーカスメトリックアプローチ４５０の一例を実装するオートフォーカス・エンジン１２５（図１）の便利な一例を示す。オートフォーカス・エンジン１２５は、画像分割モジュール４０５、規格化エッジ強度計算モジュール４１０、比較モジュール４１５、及びオートフォーカス・メトリック計算モジュール４２０を含み、各モジュールは図示したように他のモジュールと通信可能に結合している。言うまでもなく、オートフォーカス・エンジン１２５の他の例は、図示したよりも多い又は少ないモジュールを有しても良い。

エッジ検出画像４０１とそれに関連するフォーカスセル位置４０２とを入力として与えられ、画像分割モジュール４０５は、エッジ検出画像４０１をサブ画像４２５に分割する（ステップ４５５）。サブ画像４２５の各々に対して、規格化エッジ強度計算モジュール４１０は、規格化エッジ検出強度４３０を計算する（ステップ４６０）。比較モジュール４１５は、被写体サブ画像の規格化エッジ検出強度４１１を閾値と比較する（ステップ４６５）。

比較に基づき、比較モジュール４１５は、被写体サブ画像中にエッジがあるか判断し（ステップ４７０）、判断４３５を提供する。被写体サブ画像中のエッジ４３５に関する判断と、他のサブ画像中のエッジに関する判断とに基づき、オートフォーカス・メトリック計算モジュール４２０は、フォーカスセル位置１３５に関連するオートフォーカス・メトリック４４０を計算する（ステップ４７５）。オートフォーカス・エンジン１２５は、フォーカスセル位置４０２とオートフォーカス・メトリック４４０とを提供して画像をフォーカスする。

上記のシステムと方法は、デジタル電子回路、コンピュータハードウェア、ファームウェア、及び／又はソフトウェアで実装できる。実装はコンピュータプログラム製品（すなわち、情報キャリア媒体において有体に実施されたコンピュータプログラム）として行える。実装は、例えば、データ処理装置により実行される、またはその動作を制御する機械読み取り可能記憶デバイスで行うこともできる。実装は、例えば、プログラマブルプロセッサ、コンピュータ、及び／又は複数のコンピュータであってもよい。

一例では、コンピュータプログラムは、コンパイラ及び／又はインタプリタ言語を含む、どんな形式のプログラミング言語で記述することもできる。コンピュータプログラムは、ここに説明のさまざまな例の特徴や機能を実行する、スタンドアロンプログラムまたはサブルーチン、エレメント、及び／又は計算環境で用いるその他のユニットを含む、どんな形式で展開することもできる。コンピュータプログラムは１つのコンピュータ上で実行しても、一箇所にある複数のコンピュータ上で実行するように展開することもできる。

方法ステップまたは演算は、コンピュータプログラムを実行して、入力データに作用して出力を生成することによりさまざまな例の機能を実行する一以上のプログラム可能プロセッサによりプロセスとして実行できる。方法ステップは特定用途論理回路により実行することができ、装置は特定用途論理回路として実装することもできる。回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又は特定用途集積回路（ＡＳＩＣ）であってもよい。モジュール、サブルーチン、及びソフトウェアエージェントは、その機能を実装するコンピュータプログラム、プロセッサ、特殊回路、ソフトウェア、及び／又はハードウェアの一部を指すこともある。

オートフォーカス・エンジン１２５は、コンピュータプログラムの実行に適した一以上のプロセッサを含み、例えば、特定目的及び汎用のマイクロプロセッサと、任意種類のデジタルコンピュータの任意の一以上のプロセッサとを両方とも含む。一般的に、プロセッサは読み取り専用メモリまたはランダムアクセスメモリから命令またはデータまたはその両方を受け取る。コンピュータの要素は、命令を実行するプロセッサと、命令とデータを格納する一以上のメモリデバイスとを有しても良い。一般的に、コンピュータは、（例えば、磁気ディスク、光磁気ディスク、または光ディスクなどの）データを記憶する一以上の大規模ストレージデバイス（例えば、メモリモジュール）を含み、それからデータを受け取り、及び／又はそれにデータを送るように動作可能に結合していてもよい。メモリは、画像を処理するコンピュータ読み取り可能命令を格納した有体、非一時的コンピュータ読み取り可能記憶媒体であってもよい。該命令は、一以上のプロセッサ（例えば、オートフォーカス・エンジン１２５）により実行されたとき、一以上のプロセッサに、ここに説明のさまざまな例の特徴や機能を実行または実装させる。

コンピュータプログラム命令およびデータを利用するのに適した情報キャリアは、例えば、半導体メモリデバイスを含む、すべての形式の不揮発性メモリを含む。情報キャリアは、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイス、磁気ディスク、内部ハードディスク、リムーバブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、及び／又はＤＶＤ−ＲＯＭディスクであり得る。プロセッサとメモリは特定用途論理回路により補足され、及び／又はそれに組み込まれてもよい。

ユーザとのインターラクションを提供するため、上記の手法はディスプレイデバイスを有する計算デバイスに実装できる。ディスプレイデバイスは、例えば、陰極線管（ＣＲＴ）及び／又は液晶ディスプレイ（ＬＣＤ）モニター及び／又は発光ダイオード（ＬＥＤ）モニターであってもよい。ユーザとのインターラクションは、例えば、ユーザへの情報のディスプレイと、ユーザが計算デバイスに入力をできる（例えば、ユーザインタフェース要素とインターラクトできる）キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）であり得る。他種類のデバイスを用いてユーザとのインターラクションを提供することもできる。他のデバイスは、例えば、任意形式の感覚的フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、触覚的フィードバックなど）でユーザに提供されるフィードバックであり得る。ユーザからの入力は、例えば、音響的、発話的、及び／又は触覚的入力を含む任意の形式で受け取ることができる。

上記のシステムや手法は、バックエンドコンポーネントを含む分散コンピューティングシステムで実装し得る。バックエンドコンポーネントは、例えば、データサーバ、ミドルウェアコンポーネント、及び／又はアプリケーションサーバであってもよい。上記の手法は、フロントエンドコンポーネントを含む分散コンピューティングシステムでも実装し得る。フロントエンドコンポーネントは、例えば、グラフィカルユーザインタフェースを有するクライアント計算デバイス、ユーザが実装例とインターラクトできるウェブブラウザ、及び／又は送信デバイス用のその他のグラフィカルユーザインタフェースであり得る。システムのコンポーネントは、任意形式または媒体のデジタルデータ通信（例えば、通信ネットワーク）により相互接続され得る。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、有線ネットワーク、及び／又は無線ネットワークを含む。

システムはクライアント及びサーバに結合していても、及び／又はクライアント及びサーバを含んでいてもよい。クライアントとサーバは、一般的に、互いに離れており、一般的には通信ネットワークを通してインターラクトする。クライアントとサーバとの関係は、それぞれの計算デバイス上で実行され、互いにクライアント・サーバ関係を有するコンピュータプログラムにより生じる。

通信ネットワークはパケットベースネットワークを含んでもよく、例えば、インターネット、キャリアインターネットプロトコル（ＩＰ）ネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、キャンパスエリアネットワーク（ＣＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ホームエリアネットワーク（ＨＡＮ））、プライベートＩＰネットワーク、ＩＰプライベートブランチエクスチェンジ（ＩＰＢＸ）、無線ネットワーク（例えば、無線アクセスネットワーク（ＲＡＮ）、８０２．１１ネットワーク、８０２．１６ネットワーク、ジェネラルパケットラジオサービス（ＧＰＲＳ）ネットワーク、ＨｉｐｅｒＬＡＮ）、及び／又はその他のパケットベースネットワークを含み得る。回路ベースネットワークは、例えば、公衆交換電話ネットワーク（ＰＳＴＮ）、プライベートブランチエクスチェンジ（ＰＢＸ）、無線ネットワーク（例えば、ＲＡＮ、ブルートゥース（登録商標）、符号分割多重接続（ＣＤＭＡ）ネットワーク、時間分割多重接続（ＴＤＭＡ）ネットワーク、グローバルシステム・フォー・モバイル通信（ＧＳＭ（登録商標）ネットワーク）、及び／又はその他の回路ベースネットワークを含み得る。

オートフォーカス・エンジン１２５は、例えば、コンピュータ、ブラウザデバイス付きコンピュータ、電話、ＩＰ電話、携帯デバイス（例えば、セルラー電話、パーソナルデジタルアシスタント（ＰＤＡ）デバイス、ラップトップコンピュータ、電子メールデバイス）、及び／又はその他の通信デバイスを含み得る。ブラウザデバイスは、例えば、ワールドワイドウェブブラウザ（例えば、ワシントン州レドモンドのマイクロソフト社が出しているインターネットエクスプローラ（登録商標））を有するコンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）を含み得る。モバイル計算デバイスは、例えば、カナダ、オンタリオ州ウォータールー市のＲｅｓｅａｒｃｈ Ｉｎ Ｍｏｔｉｏｎ Ｌｉｍｉｔｅｄにより提供されるＢＬＡＣＫＢＥＲＲＹ（登録商標）を含む。

「ｃｏｍｐｒｉｓｅ」、「ｉｎｃｌｕｄｅ」、及び／又はこれらの複数形は、オープンエンドであり、列挙したものを含み、列挙していないものも含み得る。「及び／又は」は、オープンエンドであり、列挙したもののうち一以上、及び列挙したものの組み合わせを含む。

上記の開示は有用な例であると現在考えられるものを説明しているが、言うまでもなく、かかる詳細事項は説明を目的としたものであり、添付した請求項は開示の例に限定されず、逆に、添付の請求項の精神と範囲内にある修正や等価な構成をカバーすることを意図したものである。

当業者には言うまでもなく、本発明は、その精神や基本的特性から逸脱することなく、その他の具体的な形式で実施できる。上記の実施形態は、すべての点で例示でありここに説明した発明を限定するものではないと考えなければならない。本発明の範囲は、上記の説明ではなく、添付した請求項に記載されており、請求項の意味と均等物の範囲内での変更はすべてその請求項に含まれる。

Claims (11)

1. 画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスする方法であって、
   オートフォーカス・エンジンにおいて、フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセル位置とを所与として、前記エッジ検出画像をサブ画像に分割することと、
   各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算することであって、
   ピクセル値を有する前記被写体サブ画像の規格化エッジ検出強さを計算することは、
   前記被写体サブ画像に見いだされる最大ピクセル値と、前記被写体サブ画像に見いだされる最小ピクセル値とを選択することと、
   前記最大ピクセル値と最小ピクセル値との差の、前記最大ピクセル値と最小ピクセル値との和に対する比率を求める、前記比率はコントラストの尺度であることと、
   前記コントラストの尺度を前記サブ画像中のピクセル値の平均とかけて、その結果として前記被写体サブ画像の規格化及び加重エッジ検出強さを求めることとを含む、計算することと、
   前記被写体サブ画像の規格化エッジ検出強さを閾値と比較することと、
   前記比較に基づき、前記被写体サブ画像にエッジがあるか判断することと、
   前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算することと、
   前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスすることとを含む、方法。
2. 前記オートフォーカス・メトリックを計算することは、エッジがあるサブ画像の規格化エッジ検出強さを平均することを含む、請求項１に記載の方法。
3. 前記オートフォーカス・メトリックに基づいて前記フォーカスセルの位置を選択することと、
   前記フォーカスセルを選択された位置に再配置して前記ビデオ画像をフォーカスすることとをさらに含む、
   請求項１に記載の方法。
4. 前記フォーカスセルの位置を選択することは、
   計算されたオートフォーカス・メトリックと、それに関連するフォーカスセル位置とから、オートフォーカス・メトリック及びフォーカスセル位置のモデルを生成することと、
   前記モデルからフォーカスセルの最良の位置を選択することとを含む、
   請求項３に記載の方法。
5. 前記モデルは、計算されたオートフォーカス・メトリックの前記モデルへの非線形回帰適合である、
   請求項４に記載の方法。
6. フォーカススイープ中に撮られる各画像に対して、被写体画像を関心領域にトリミングすることと、
   前記関心領域のホワイトノイズを低減して、結果としてフィルタ画像を求めることと、
   前記フィルタ画像中のエッジを検出して、結果として前記フォーカススイープ中のフォーカスセルの位置に関連するエッジ検出画像を求めることとをさらに含む、
   請求項１に記載の方法。
7. ホワイトノイズを低減することは、前記関心領域のピクセルに双方向またはメジアンフィルタを適用することを含む、請求項６に記載の方法。
8. エッジを検出することは、ＳｏｂｅｌまたはＬａｐｌａｃｅエッジ検出を適用することを含む、
   請求項６に記載の方法。
9. 日中テレビジョン（ＤＴＶ）、近赤外（ＮＩＲ）、短波長赤外（ＳＷＩＲ）、中波長赤外（ＭＷＩＲ）、または長波長赤外（ＬＷＩＲ）よりなるグループ画像センサから選択した波長で、フォーカススイープ中に、画像を撮ることをさらに含む、請求項１に記載の方法。
10. 画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスするシステムであって、
    コンピュータ実行可能命令を有するメモリと、
    フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセル位置とを受け取る少なくとも１つのインターフェースと、
    前記メモリと前記少なくとも１つのインターフェースとに結合したオートフォーカス・エンジンとを有し、前記コンピュータ実行可能命令は、前記オートフォーカス・エンジンにより実行されると、前記オートフォーカス・エンジンに、
    前記エッジ検出画像をサブ画像に分割し、
    各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算し、
    ここで、前記被写体サブ画像の規格化エッジ検出強さを計算することは、
    前記被写体サブ画像に見いだされる最大ピクセル値と、前記被写体サブ画像に見いだされる最小ピクセル値とを選択することと、
    前記最大ピクセル値と最小ピクセル値との差の、前記最大ピクセル値と最小ピクセル値との和に対する比率を求める、前記比率はコントラストの尺度であることと、
    前記コントラストの尺度を前記サブ画像中のピクセル値の平均とかけて、その結果として前記被写体サブ画像の規格化及び加重エッジ検出強さを求めることとを含み、
    前記被写体サブ画像の規格化エッジ検出強さを閾値と比較し、
    前記比較に基づき、前記被写体サブ画像にエッジがあるか判断し、
    前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算し、
    前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスさせる、
    システム。
11. 画像の各々に対してフォーカスセルが再配置されるフォーカススイープ中に撮られる画像に基づいて、ビデオ画像を自動的にフォーカスするコンピュータプログラムであって、一以上のプロセッサにより実行されると、前記一以上のプロセッサに、
    フォーカススイープからのエッジ検出画像と、それに関連する前記フォーカススイープにおけるフォーカスセル位置とを所与として、前記エッジ検出画像をサブ画像に分割し、
    各サブ画像に対して、被写体サブ画像の規格化エッジ検出強さを計算し、
    ここで、前記被写体サブ画像の規格化エッジ検出強さを計算することは、
    前記被写体サブ画像に見いだされる最大ピクセル値と、前記被写体サブ画像に見いだされる最小ピクセル値とを選択することと、
    前記最大ピクセル値と最小ピクセル値との差の、前記最大ピクセル値と最小ピクセル値との和に対する比率を求める、前記比率はコントラストの尺度であることと、
    前記コントラストの尺度を前記サブ画像中のピクセル値の平均とかけて、その結果として前記被写体サブ画像の規格化及び加重エッジ検出強さを求めることとを含み、
    前記被写体サブ画像の規格化エッジ検出強さを閾値と比較し、
    前記比較に基づき、前記被写体サブ画像にエッジがあるか判断し、
    前記被写体サブ画像にエッジがあるかの判断に基づき、所与の前記フォーカスセル位置に関連するオートフォーカス・メトリックを計算し、
    前記オートフォーカス・メトリックを、前記フォーカスセルの他の位置に関連するオートフォーカス・メトリックと共に提供して、ビデオ画像をフォーカスさせる、
    コンピュータプログラム。

Images