JP7098770B2 - ビデオカメラが焦点はずれであるかどうかを判定すること - Google Patents

Description

本発明は、ビデオカメラが焦点はずれであるかどうかを判定するための方法およびそのような方法を実施するように構成されるビデオカメラに関する。

画像を先鋭に保ち、シーン詳細の考えられる最良の取り込みを保証するために、ビデオカメラは、カメラが焦点はずれＯＯＦ（ｏｕｔ－ｏｆ－ｆｏｃｕｓ）であるかどうかを判定する或る種のチェックをしばしば特徴とする。時として、この機能は、その焦点設定を自動的に調節するためにカメラの焦点情報を適用するように構成される、カメラの自動焦点機能ＡＦ（ａｕｔｏｆｏｃｕｓ ｆｕｎｃｔｉｏｎ）に関連する。連続ＡＦを有するカメラの場合、ＯＯＦ判定は、典型的には、時々、カメラが、依然として合焦状態である（ｉｎ ｆｏｃｕｓ）ことを検証するために、ヒルクライミング（ｈｉｌｌ ｃｌｉｍｂｉｎｇ）としても知られる、いわゆるヒルチェッキング（ｈｉｌｌ ｃｋｅｃｋｉｎｇ）を実施することを含むとすることができる。ヒルチェッキングは、カメラ焦点設定の前後への変更、および、例えば画像鮮鋭度の観点からの、結果として得られる画像の解析を伴うことができる。このプロセスは、さらなる反復によって鮮鋭度をもはや上げることができなくなるまで、すなわち、ヒルの頂上に達するまで、反復して繰り返すことができる。ヒルはガウス曲線に似ているとすることができる。理想的には、ヒルチェッキングは、カメラがＯＯＦであるかどうかに関する連続フィードバックを可能にするためにほぼ連続して実施されるべきである。しかしながら、ヒルチェッキングは、概して、焦点設定の前後への変更により画像の詳細を劣化させる。この効果は、取り込まれる画像を観察する誰かにとって視覚的にやっかいなものとして知覚される場合がある。その効果は、画像を歪ませ、したがって、画像に含まれる微細な詳細を意図せずに破壊する場合もある。したがって、本技術分野内の改善についての必要性が存在する。

本発明の目的は、上記問題の一部を少なくとも軽減することである。

本発明の第１の態様によれば、ビデオカメラが焦点はずれであるかどうかを判定するための方法が提供され、方法は、
ビデオカメラの画像センサによって、画像データを取り込むこと、
フィルター関数のフィルター設定に基づいて焦点設定差閾値を設定することであって、フィルター関数は、画像データをビデオストリームに変換することの一部として、画像データをフィルタリングするように構成される、設定すること、
画像データを取り込む間、ビデオカメラの焦点設定を現在の焦点設定と変更された焦点設定との間で調整することであって、それにより、現在の焦点設定にビデオカメラが設定された状態で画像データの第１のサブセットが取り込まれ、変更された焦点設定にビデオカメラが設定された状態で画像データの第２のサブセットが取り込まれ、調整することは、現在の焦点設定と変更された焦点設定との間の差が焦点設定差閾値を下回るように実施される、調整すること、
画像データにフィルター関数を適用することによってビデオストリームを形成すること、
画像データの第１のサブセットの第１の焦点メトリックおよび画像データの第２のサブセットの第２の焦点メトリックを決定することであって、第１の焦点メトリックおよび第２の焦点メトリックは、画像データにフィルター関数を適用する前に、画像データに関して決定される、決定すること、および、
第１の焦点メトリックと第２の焦点メトリックを比較することによって、ビデオカメラが焦点はずれであるかどうかを判定することを含む。

用語、画像データは、デジタル画像に関与するまたは関連するデータを指す。画像データは、デジタル画像のグラフィカル表現または任意の他のタイプの表面を指すことができる。

用語、焦点設定は、カメラ焦点に関与するまたは関連するカメラの任意の設定を指す。焦点設定の１つの例は、カメラ光学部品と画像センサとの間の距離であるとすることができる。さらなる例は本開示内で探求されるであろう。

用語、フィルター関数は、ビデオストリームを形成するプロセス中に、画像データからの冗長なまたは余分と見なされる情報を除去する任意の関数として理解することができる。フィルター関数は、画像データを圧縮するように設計されたビデオエンコーディングステップとして、または代替的に、ノイズフィルタリングステップなどの画像をフィルタリングするよりアクティブなステップとして理解することができる。種々のビデオエンコーディング法およびノイズフィルタリングステップが、当業者に利用可能である。

用語、焦点メトリックは、特定のセットアップにおけるカメラの焦点のレベルを示す任意の手段を指す。焦点メトリックは、例えば、画像データ鮮鋭度に関連する数値表現であるとすることができ、より高い値は、画像データがより高い鮮鋭度を有することを示す。

ＯＯＦ判定が、画像内の継続的な歪を生成することなく実施することができることを、本発明者等は認識した。これは、焦点設定を十分になだらかに変更することによって、すなわち、現在の焦点設定と変更された焦点設定との間で焦点設定差閾値に適合して達成される。異なる焦点設定によって取り込まれる画像データの変化は、カメラの焦点メトリックを変更することに関する情報を依然として提供することができる。同時に、画像データの変化は、ビデオストリームを形成するときのステップとしていずれにしても適用されなければならない場合があるフィルター関数が、焦点設定を変更することによる画像データのいずれの変化も、画像データにフィルター関数を適用することによって形成されるビデオストリームにおいて見えなくすることになるほどに十分に小さいとすることができる。

方法は、画像データの第１のサブセットの第１の焦点メトリックおよび／または画像データの第２のサブセットの第２の焦点メトリックに関連する統計情報を決定することをさらに含むことができる。

用語、統計情報は、異なる焦点設定によって取り込まれる画像データについての焦点メトリックの統計解析、例えば、平均によって確立される情報を指すことができる。

したがって、より完全でかつ信頼性のある情報を、異なる画像データおよび焦点設定に関して取得することができる。次に、これは、ＯＯＦ判定の信頼性を改善することもできる。

本発明の第２の態様によれば、命令を含む非一時的コンピュータ可読記憶媒体が提供され、命令は、コンピュータによって実行されると、第１の態様の方法をコンピュータに実施させる。

第１の態様の方法を実行することを意図される非一時的コンピュータ可読記憶媒体は、したがって、第１の態様と同様の利点を提供することができる。

本発明の第３の態様によれば、ビデオカメラが提供され、ビデオカメラは、
画像データを取り込むように構成される画像センサと、
制御回路要素（ｃｉｒｃｕｉｔｒｙ）とを備え、制御回路要素は、
フィルター関数のフィルター設定に基づいて焦点設定差閾値を設定するように構成され、フィルター関数は、画像データをビデオストリームに変換することの一部として、画像データをフィルタリングするように構成され、
画像データを取り込む間、ビデオカメラの焦点設定を現在の焦点設定と変更された焦点設定との間で調整するように構成され、それにより、現在の焦点設定にビデオカメラが設定された状態で画像データの第１のサブセットが取り込まれ、変更された焦点設定にビデオカメラが設定された状態で画像データの第２のサブセットが取り込まれ、調整することは、現在の焦点設定と変更された焦点設定との間の差が焦点設定差閾値を下回るように実施され、
画像データにフィルター関数を適用することによってビデオストリームを形成するように構成され、
画像データの第１のサブセットの第１の焦点メトリックおよび画像データの第２のサブセットの第２の焦点メトリックを決定するように構成され、第１および第２の焦点メトリックは、画像データにフィルター関数を適用する前に、画像データに関して決定され、
第１および第２の焦点メトリックを比較することによって、ビデオカメラが焦点はずれであるかどうかを判定するように構成される。

ビデオカメラは、第１の態様の方法を実施するように構成されるビデオカメラとして理解することができる。ビデオカメラは、第１の態様の利点および第２の態様の利点と同様の利点を提供することができる。

焦点設定差閾値は、異なる焦点設定によって取り込まれる共通画像データにフィルター関数を適用することによってビデオストリームを形成するステップが、実質的に並みの（ｉｎｄｉｆｆｅｒｅｎｔ）ビデオストリーム画像データをもたらすように設定することができる。

異なる焦点設定は、本文脈において、現在の焦点設定および変更された焦点設定として理解されるべきである。

本質的に、焦点設定差閾値は、画像データが現在の焦点設定によって取り込まれるか、変更された焦点設定によって取り込まれるかによらず、予想出力ビデオストリームが同じに見えるようにセットアップすることができる。

フィルター関数はノイズ低減関数およびエンコーディング関数の一方または両方を含むことができる。

ノイズ低減関数、例えば、ノイズフィルターの利点は、本発明を実装することに対して、より予測可能でかつモジュール式の手法を含む。エンコーディング関数は、エンコードされたビデオストリームを形成するために、そのような関数がいずれにしても含まれる必要がある場合があるため、有利であるとすることができる。

焦点設定は、ビデオカメラの画像センサと集束レンズとの間の相対位置を含むことができる。

そのような焦点設定は、集束レンズおよび画像センサの機械式の一方または両方によって現在の焦点設定と変更された焦点設定との間で容易に調整することができる。

焦点設定は、レンズ焦点距離、レンズ焦点深度、およびレンズ曲率半径のうちの１つまたは複数を含むことができる。

概して、用語、レンズまたは集束レンズは、画像データを取り込むために、画像センサ上に光子を集束させるように配置され構成される、任意の光学コンポーネントまたは光学コンポーネントのシステムを指すことができる。

画像データの第１のサブセットの第１の焦点メトリックおよび画像データの第２のサブセットの第２の焦点メトリックは画像鮮鋭度メトリックを含むことができる。

画像先鋭度メトリックは、代替的に、アキュータンスメトリック（ａｃｕｔａｎｃｅ ｍｅｔｒｉｃ）として理解することができる。アキュータンスメトリックは、どれほど鮮鋭なエッジコントラストが画像において知覚されるかに関連するとすることができる。

画像データの第１のサブセットの第１の焦点メトリックおよび画像データの第２のサブセットの第２の焦点メトリックは画像コントラストメトリックを含むことができる。

画像コントラストメトリックは、画像内の空間的色差に関連するとすることができる。概して、鮮鋭でかつ高コントラストな画像データは、高周波数ピクセル情報を特徴とするものと理解することができる。そのような高周波数情報は、画像内の隣接ピクセル間の突然でかつ大きい変化から生じる。

本発明の適用可能性のさらなる範囲は、以下で与える詳細な説明から明らかになるであろう。しかしながら、詳細な説明および特定の例が、本発明の好ましい実施形態を示しながら、例証としてのみ与えられ、なぜならば、本発明の範囲内の種々の変更および修正が、詳細な説明から当業者に明らかになるからであることが理解されるべきである。

したがって、本発明が、述べるデバイスの特定のコンポーネント部品または述べる方法の特定の動作に限定されず、なぜならば、そのようなデバイスおよび方法が変動する場合があるからであることが理解される。本明細書で使用される用語が特定の実施形態を述べるためのものに過ぎず、制限的であることを意図されないことも理解される。

本明細書および添付特許請求の範囲で使用するとき、冠詞「１つの（ａ）」、「１つの（ａｎ）」、「その（ｔｈｅ）」、および「前記（ｓａｉｄ）」が、別段に文脈が明確に指示しない限り、要素の１つまたは複数が存在することを意味することを意図されることが留意されなければならない。そのため、例えば、「１つのユニット（ａ ｕｎｉｔ）」または「そのユニット（ｔｈｅ ｕｎｉｔ）」に対する言及は、幾つかのデバイスおよび同様なものを含むことができる。さらに、語「備えている（ｃｏｍｐｒｉｓｉｎｇ）」、「含んでいる（ｉｎｃｌｕｄｉｎｇ）」、「含んでいる（ｃｏｎｔａｉｎｉｎｇ）」、および同様な語は、他の要素またはステップを排除しない。

本発明の上記のおよび他の態様は、以下において、添付図を参照してより詳細に述べられる。図は、制限的であると考えられるべきでない；代わりに、図は、説明し理解するために考えられるべきである。

図に示すように、層および領域のサイズは、例証のために誇張することができ、したがって、全体的な構造を示すために提供される。同様の参照符号は全体と通して同様の要素を指す。

カメラが焦点はずれであるかどうかを判定する方法を概略的に示す図である。 カメラが焦点はずれであるかどうかを判定する方法についてのフローチャートである。

本発明は、ここで、現在のところ好ましい本発明の実施形態が示される添付図面を参照して以降でより完全に述べられるであろう。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書で述べる実施形態に限定されるものと解釈されるべきでない；むしろ、これらの実施形態は、徹底さおよび完全さ（ｔｈｏｒｏｕｇｈｎｅｓｓ ａｎｄ ｃｏｍｐｌｅｔｅｎｅｓｓ）のために、また、本発明の範囲を当業者に完全に伝えるために提供される。

図１は、カメラが焦点はずれであるかどうかを判定する方法を概略的に示し、一方、図２は、同じ方法のフローチャートを示す。方法は、以下のステップ／動作を含む。ステップ／動作は、任意の適切な順序で実施することができる。

ビデオカメラ１００の画像センサ１０２によって画像データ１１３を取り込むＳ１００２。フィルター関数１０４のフィルターの設定に基づいて焦点設定差閾値１２９を設定することＳ１００４であって、フィルター関数１０４は、画像データ１１３をビデオストリーム１１９に変換することの一部として、画像データ１１３をフィルタリングするように構成される、設定するＳ１００４。画像データ１１３を取り込む間、ビデオカメラの焦点設定１２３を現在の焦点設定１２５と変更された焦点設定１２７との間で調整するＳ１００６。ビデオカメラの焦点設定１２３を現在の焦点設定１２５と変更された焦点設定１２７との間で調整することＳ１００６は、現在の焦点設定１２５にビデオカメラ１００が設定された状態で画像データ１１３の第１のサブセット１１５が取り込まれ、変更された焦点設定１２７にビデオカメラ１００が設定された状態で画像データ１１３の第２のサブセット１１７が取り込まれるように実施される。さらに、調整することＳ１００６は、現在の焦点設定１２５と変更された焦点設定１２７との間の差が焦点設定差閾値１２９を下回るように実施される。画像データ１１３にフィルター関数１０４を適用することによってビデオストリーム１１９を形成するＳ１００８。画像データ１１３の第１のサブセット１１５の第１の焦点メトリック１３５および画像データ１１３の第２のサブセット１１７の第２の焦点メトリック１３７を決定するＳ１０１０。第１および第２の焦点メトリック１３５、１３７は、画像データ１１３にフィルター関数１０４を適用する前に、画像データ１１３に関して決定されるＳ１０１０。第１および第２の焦点メトリック１３５、１３７を比較することによって、ビデオカメラ１００が焦点はずれであるかどうかを判定するＳ１０１２。

画像データ１１３を取り込むＳ１００２ステップは、連続して実施することができ、したがって、画像データ１１３の連続した途切れのないストリームを形成する。

画像データ１１３は、デジタル画像形式である、あるいは、１つまたは複数の画像を表すピクセル色値のアレイまたはリストであるとすることができる。画像データ１１３は、未処理ビデオストリームの一部である１つの画像フレームまたは複数の画像フレームに対応することができる。画像データ１１３の第１のサブセット１１５および第２のサブセット１１７への細分は、画像データ１１３のその特定の部分の取り込み中に、現在の焦点設定１２５がアクティブであったか、変更された焦点設定１２７がアクティブであったかに基づくとすることができる。画像データ１１３の第１のサブセット１１５は画像フレームの第１のサブセットに対応することができる。画像データ１１３の第２のサブセット１１７は画像フレームの第２のサブセットに対応することができる。画像データ１１３の第１のサブセット１１５および画像データ１１３の第２のサブセット１１７は経時的に交互配置された（ｃｈｒｏｎｏｌｏｇｉｃａｌｌｙ ｉｎｔｅｒｌｅａｖｅｄ）画像フレームに対応することができる。

焦点設定１２３は、それを表す数値に関連するとすることができる。同じことは、現在の焦点設定１２５、変更された焦点設定１２７、および焦点設定差閾値１２９について当てはまる。現在の焦点設定１２５と変更された焦点設定１２７との間の差が焦点設定差閾値１２９を下回ることを維持することは、焦点設定差閾値１２９を表す数値より小さい、焦点設定１２５、１２７の数値の間の差を有するものと理解することができる。

焦点設定差閾値１２９を設定するＳ１００４ステップは、どのタイプのフィルター関数１０４が使用されるか、および、どのフィルター設定を上記フィルター関数１０４が特徴とするかを決定すること、および、この情報を焦点設定差閾値１２９の数値表現に変換することを含むことができる。

ビデオカメラ１００の焦点設定１２３を現在の焦点設定１２５と変更された焦点設定１２７との間で調整するＳ１００６ステップは、現在の焦点設定１２５が、或る数の画像について使用され、それに続いて、変更された焦点設定１２７を使用してビデオカメラ１００によって或る数の画像が取り込まれる時間ステップ関数（ｔｅｍｐｏｒａｌ ｓｔｅｐ ｆｕｎｃｔｉｏｎ）として理解することができる。

画像データ１１３の第１および第２のサブセット１１５、１１７のそれぞれは、時間的に直ちに連続する画像を含むことができる。サブセット１１５、１１７は、時間的に直ちに連続しない画像、すなわち、他の画像によって時間的に分離された画像を含むこともできる。

画像データ１１３にフィルター関数１０４を適用することによってビデオストリーム１１９を形成するステップは、連続して実施することができる。画像データ１１３の第１および第２のサブセット１１５、１１７は、フィルター関数を適用しビデオストリーム１１９を形成する前に、それらの元の時間的順序に応じて共にスティッチング（ｓｔｉｔｃｈ）することができる。

図２に示すように、焦点メトリック１３５、１３７を決定するＳ１０１０ステップは、ビデオストリーム１１９を形成するＳ１００８ステップにおいてフィルタリング関数１０４を適用する前に画像データ１１３のサブセット１１５、１１７に対して実施することができる。これは、決定することＳ１０１０が、時間的に、形成するＳ１００８ステップの前に実施されるものと理解することができる。それは、決定することＳ１０１０が、時間的に、形成するＳ１００８ステップの後に実施される場合でも、形成するＳ１００８ステップに対する別個のステップとして、決定することＳ１０１０が画像データのサブセット１１５、１１７に対して実施されるものと理解することもできる。実際には、画像データ１１３のサブセット１１５、１１７は、画像データ１１３が取り込まれたときにビデオカメラ１００がＯＯＦであったかどうかを判定するためにずっと後まで記憶することができる。ビデオストリーム１１９を形成するＳ１００８ことは、連続してかつ決定するＳ１０１０、Ｓ１０１２ステップと独立に進行することができる。

焦点メトリック１３５、１３７は、ビデオカメラ１００の焦点のレベルを表す数値として理解することができる。これらは、画像データ１１３のそれぞれのサブセット１１５、１１７の空間周波数画像コンテントに関連するとすることができる。概して、高空間周波数画像コンテントは、画像内の隣接ピクセル間の突然のおよび／または大きい変化に関連する。高空間周波数画像コンテントは、低空間周波数画像コンテントと比較してより高い焦点レベルに関連するとすることができる。画像コンテントの空間周波数は、種々の異なる因子によって影響を受ける場合があり、ビデオカメラ１００の焦点設定１２３はこれらの因子のうちの１つの因子である。

焦点メトリック１３５、１３７は、例えば、エッジ検出アルゴリズムによって決定することができる。焦点メトリック１３５、１３７は、画像データ１１３の空間的変動を解析することによって決定することができる。

焦点メトリック１３５、１３７を比較することによってビデオカメラ１００がＯＯＦであるかどうかを判定するＳ１０１２ステップは、焦点メトリック１３５、１３７の数値表現を比較することを含むことができる。比較は、焦点メトリック１３５、１３７の間の絶対差、または、焦点メトリック１３５、１３７の間のパーセンテージ／分数差を決定することを含むことができる。ビデオカメラ１００は、比較が、所定の閾値より小さい差を返す、すなわち、焦点メトリック１３５、１３７が共に、焦点メトリックヒルの頂上の近くにあることを示す場合、合焦状態であると判定することができる。

代替的に、判定することＳ１０１２は、画像データ１１３のサブセット１１５、１１７について最大値の焦点メトリック１３５、１３７を生成する焦点設定１２５、１２７を比較することを単に含むことができる。例えば、現在の焦点設定１２５が、変更された焦点設定１２７によって生成される焦点メトリック１３７より小さい焦点メトリック１３５を生成する場合、ビデオカメラ１００は、ＯＯＦであると判定することができる。このため、例えば、現在の焦点設定１２５から両方向に焦点設定を調整して、さらなる焦点メトリックをチェックすることが有利である場合がある。

焦点設定差閾値１２９は、異なる焦点設定１２３によって取り込まれる共通画像データにフィルター関数１０４を適用することによってビデオストリーム１１９を形成するＳ１００８ステップが、実質的に並みのビデオストリーム画像データをもたらすように設定することができる。

フィルター関数１０４は、ノイズ低減関数およびノイズエンコーディング関数の一方または両方を含むことができる。

フィルター関数１０４は時間的ノイズフィルタリング関数（ＴＮＦ：ｔｅｍｐｏｒａｌ ｎｏｉｓｅ ｆｉｌｔｅｒｉｎｇ ｆｕｎｃｔｉｏｎ）を含むことができる。フィルター関数１０４は空間フィルタリング関数を含むことができる。フィルター関数１０４は、ビデオストリーム１１９を記憶し送信するためのメモリおよび帯域幅要件を低減することを意図される圧縮関数を含むことができる。

焦点設定差閾値１２９は、フィルター関数１０４のフィルター強度に基づくとすることができる。これは、例えば、フィルターカットオフ周波数として理解することができる。焦点設定差閾値１２９は、エンコーディング関数または圧縮関数であるフィルター関数１０４の量子化パラメータＱＰ（ｑｕａｎｔｉｚａｔｉｏｎ ｐａｒａｍｅｔｅｒ）に基づくとすることができる。

焦点設定１２３は、ビデオカメラ１００の画像センサ１０２と集束レンズ１０１との間の相対位置を含むことができる。この場合、焦点設定差閾値１２９は、現在の焦点設定１２５にビデオカメラ１００が設定されるときの集束レンズ１０１と画像センサ１０２との間の距離と、変更された焦点設定１２７にビデオカメラ１００が設定されるときの対応する距離の差として理解することができる。焦点設定差閾値１２９は、最大光学部品シフト距離として理解することができる。

焦点設定１２３は、レンズ焦点距離、レンズ焦点深度、およびレンズ曲率半径のうちの１つまたは複数を含むことができる。

レンズ焦点距離は、集束レンズ１０１からその焦点までの距離であるとすることができる。レンズ焦点深度は、ピント（ｆｏｃｕｓ）が許容可能であると判定される集束レンズ１０１の焦点の周りの範囲であるとすることができる。レンズ曲率半径は、レンズの湾曲を延長することによって作成される楕円体または回転楕円体の半径であるとすることができる。半径は、湾曲の表面と楕円体または回転楕円体の中心との間の距離であるとすることができる。半径は、凸レンズの場合、正であり、凹レンズの場合、負でるとすることができる。

ビデオカメラ１００は、焦点設定１２３を調整するための種々の手段を特徴とすることができる。焦点設定１２３を調整するためのビデオカメラ１００手段は、ビデオカメラ１００の自動焦点機能またはＯＯＦ補正機能に関連するとすることができる。

焦点設定１２３を調整するための手段は、代替的に、方法が実施されることを可能にするのに十分に広い範囲内で焦点設定１２３を調整するために主として適切であるように構成することができる。実際には、これは、焦点設定１２３を調整するための手段が、ビデオカメラ１００がＯＯＦであると判定された場合に、焦点設定１２３を実際に補正するのに十分でない場合があることを意味することができる。したがって、方法は、ビデオカメラ１００がＯＯＦであるかどうかを判定するための方法であると考えることができる。したがって、方法は、焦点設定調整手段を実質的に欠く、複雑でないカメラシステムに適用可能であるとすることができる。これは、通常動作条件下で焦点設定調整を概して全く必要としない、実質的に静的なシーンを取り込むことを意図されるカメラについて当てはまる場合がある。

焦点設定１２３は、ビデオカメラ１００の光学経路において、光学部品、例えばレンズを、物理的に付加する、取り外す、または置き換えることによって調整することができる。光学部品は、ガラスベース光学部品またはポリマーベース光学部品として理解することができる。

焦点設定１２３は、一部の場合、実質的に固定であるとすることができる。そのようなカメラの場合、カメラがＯＯＦであるかどうかを判定する必要性が、カメラが結局ＯＯＦであることになることをもたらす物理的効果のせいで、必要とされる場合がある。そのような物理的効果は、カメラ光学部品の振動および変形などの機械的効果、カメラ光学部品の膨張および収縮などの熱効果、または、カメラ光学部品の表面上への埃および粒子集結などの汚染効果を含むとすることができる。

画像データ１１３の第１のサブセット１１５の第１の焦点メトリック１３５および画像データ１１３の第２のサブセット１１７の第２の焦点メトリック１３７は画像鮮鋭度メトリックを含むことができる。

画像データ１１３の第１のサブセット１１５の第１の焦点メトリック１３５および画像データ１１３の第２のサブセット１１７の第２の焦点メトリック１３７は画像コントラストメトリックを含むことができる。

方法は、画像データ１１３の第１のサブセット１１５の第１の焦点メトリック１３５および／または画像データ１１３の第２のサブセット１１７の第２の焦点メトリック１３７に関連する統計情報を決定することをさらに含むことができる。決定された焦点メトリック１３５、１３７を平均することができる。それぞれの焦点メトリック１３５、１３７についての平均値は、そのような場合、比較することができる。焦点メトリック１３５、１３７の中央値を採取することもでき、そのような場合、中央値を比較することができる。

方法は、コンピュータまたは他の処理デバイスによって実装することができる。非一時的コンピュータ可読記憶媒体は命令を含み、命令は、コンピュータによって実行されると、方法をコンピュータに実施させることができる。コンピュータまたは他の処理デバイスならびに非一時的コンピュータ可読記憶媒体は、ビデオカメラ１００と通信可能にまたは物理的に一体化することができる。

図１に示すように、ビデオカメラ１００は画像センサ１０２および制御回路要素１０３を備えることができる。画像センサ１０２は画像データ１１３を取り込むＳ１００２ように構成される。

制御回路要素１０３は、フィルター関数１０４のフィルター設定に基づいて焦点設定差閾値１２９を設定するＳ１００４ように構成され、フィルター関数１０４は、画像データ１１３をビデオストリーム１１９に変換することの一部として、画像データ１１３をフィルタリングするように構成される。

制御回路要素１０３は、ビデオカメラ１００の焦点設定１２３を現在の焦点設定１２５と変更された焦点設定１２７との間で調整するＳ１００６ようにさらに構成される。調整することＳ１００６は、画像データ１１３を取り込む間に実施することができる。ビデオカメラ１００の焦点設定１２３を現在の焦点設定１２５と変更された焦点設定１２７との間で調整することＳ１００６は、現在の焦点設定１２５にビデオカメラ１００が設定された状態で画像データ１１３の第１のサブセット１１５が取り込まれ、変更された焦点設定１２７にビデオカメラ１００が設定された状態で画像データ１１３の第２のサブセット１１７が取り込まれるように行うことができる。さらに、調整することＳ１００６は、現在の焦点設定１２５と変更された焦点設定１２７との間の差が焦点設定差閾値１２９を下回るように実施することができる。

制御回路要素１０３は、画像データ１１３にフィルター関数１０４を適用することによってビデオストリーム１１９を形成するＳ１００８ようにさらに構成さる。

制御回路要素１０３は、画像データ１１３の第１のサブセット１１５の第１の焦点メトリック１３５および画像データ１１３の第２のサブセット１１７の第２の焦点メトリック１３７を決定するＳ１０１０ようにさらに構成される。第１および第２の焦点メトリック１３５、１３７は、画像データ１１３にフィルター関数１０４を適用する前に、画像データ１１３に関して決定することができる。

制御回路要素１０３は、ビデオカメラ１００が焦点はずれであるかどうかを判定するＳ１０１２ようにさらに構成される。これは、第１および第２の焦点メトリック１３５、１３７を比較することによって行うことができる。

制御回路要素１０３は、ハードウェア、すなわち処理デバイスとして、ソフトウェア、すなわちコンピュータ命令で、またはその組み合わせで実装することができる。

ビデオカメラ１００はモニタリングカメラであるとすることができる。ビデオカメラ１００は、画像フレームごとに画像データ１１３を連続して取り込むＳ１００２ことができる。画像データ１１３はシーンを示すことができる。ビデオカメラ１００によって取り込まれるシーンは主に静的なシーンを示すことができる。主に静的によって、ビデオカメラ１００が、シーン内でのカメラの移動またはオブジェクトの移動に関連する、シーン内での実質的な動きを対象としないとすることができることが理解されるべきである。通常条件下で、そのようなシーンに関連する画像データ１１３内のピクセルの少数のみが画像間で変化することになる。そのようなシーンの例は、駐車場、交通ジャンクション、工業作業場などのような屋外環境を含む。シーンのさらなる例は、部屋、廊下、工場ホール、倉庫などのような屋内環境を含む。

ビデオカメラ１００は、可視光カメラであるとすることができる、すなわち、主に、３８０ｎｍと７４０ｎｍとの間の波長範囲内の光子を取り込む。ビデオカメラ１００は、赤外カメラであるとすることができる、すなわち、７００ｎｍと１ｍｍとの間の範囲のどこかの波長範囲内の光子を取り込む。画像センサ１０２は、異なる光子波長範囲のために構成することができる。画像センサ１０２は、入力光子信号を出力電気信号に変換する半導体デバイスを備えることができる。画像センサ１０２は電荷結合素子ＣＣＤ（ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）であるとすることができる。画像センサ１０２は、相補的金属酸化物半導体ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）に基づくアクティブピクセルセンサであるとすることができる。画像センサ１０２はＰＩＮダイオードを備えることができる。画像センサ１０２はフォトダイオードを備えることができる。フォトダイオードはピン留め（ｐｉｎｎｅｄ）であるとすることができる。

ビデオカメラ１００は集束レンズ１０１を備えることができる。集束レンズ１０１は、画像センサ１０２上に光子を集束させるように構成される単一光学レンズまたは光学システムを備えることができる。集束レンズ１０１は凹レンズを備えることができる。集束レンズ１０１は凹レンズを備えることができる。さらに、図面、本開示、および添付特許請求の範囲の調査によって、開示する実施形態に対する変形を、特許請求される本発明を実施するときに当業者が理解し実施することができる。

Claims (15)

1. ビデオカメラ（１００）が焦点はずれであるかどうかを判定するための方法であって、
   前記ビデオカメラの画像センサ（１０２）によって、画像データ（１１３）を取り込む（Ｓ１００２）こと、および
   フィルター関数（１０４）のフィルターの設定に基づいて焦点設定差閾値（１２９）を設定する（Ｓ１００４）ことを含み、ここにおける前記フィルター関数は、前記画像データをビデオストリーム（１１９）に変換するプロセス中に前記画像データをフィルタリングして、前記画像データからの冗長なまたは余分と見なされる情報を除去するように構成されるものであり、ここにおける前記焦点設定差閾値は、異なる焦点設定によって取り込まれた共通画像データに前記フィルター関数を適用することによって前記ビデオストリームを形成すると、実質的に並みのビデオストリーム画像データが得られるように設定され、
   前記方法はさらに、
   前記画像データを取り込む間、前記ビデオカメラの焦点設定（１２３）を現在の焦点設定（１２５）と変更された焦点設定（１２７）との間で調整する（Ｓ１００６）ことであって、それにより、前記現在の焦点設定に前記ビデオカメラが設定された状態で前記画像データの第１のサブセット（１１５）が取り込まれ、前記変更された焦点設定に前記ビデオカメラが設定された状態で前記画像データの第２のサブセット（１１７）が取り込まれ、調整することは、前記現在の焦点設定と前記変更された焦点設定との間の差が前記焦点設定差閾値を下回るように実施される、調整する（Ｓ１００６）こと、
   前記画像データに前記フィルター関数を適用することによって前記ビデオストリームを形成する（Ｓ１００８）こと、
   前記画像データの前記第１のサブセットの第１の焦点メトリック（１３５）および前記画像データの前記第２のサブセットの第２の焦点メトリック（１３７）を決定する（Ｓ１０１０）ことであって、前記第１の焦点メトリックおよび前記第２の焦点メトリックは、前記画像データに前記フィルター関数を適用する前の前記画像データに関して決定される、決定する（Ｓ１０１０）こと、および、
   前記第１の焦点メトリックと前記第２の焦点メトリックを比較することによって、前記ビデオカメラが焦点はずれであるかどうかを判定する（Ｓ１０１２）こと
   を含む、方法。
2. 前記フィルター関数はノイズ低減関数を含む、請求項１に記載の方法。
3. 前記フィルター関数はエンコーディング関数を含む、請求項１または２に記載の方法。
4. 前記焦点設定は、前記ビデオカメラの前記画像センサと集束レンズとの間の相対位置を含む、請求項１から３のいずれか一項に記載の方法。
5. 前記焦点設定は、レンズ焦点距離、レンズ焦点深度、およびレンズ曲率半径のうちの１つまたは複数を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記画像データの前記第１のサブセットの前記第１の焦点メトリックおよび前記画像データの前記第２のサブセットの前記第２の焦点メトリックは画像鮮鋭度メトリックを含む、請求項１から５のいずれか一項に記載の方法。
7. 前記画像データの前記第１のサブセットの前記第１の焦点メトリックおよび前記画像データの前記第２のサブセットの前記第２の焦点メトリックは画像コントラストメトリックを含む、請求項１から６のいずれか一項に記載の方法。
8. 前記画像データの前記第１のサブセットの前記第１の焦点メトリックおよび／または前記画像データの前記第２のサブセットの前記第２の焦点メトリックに関連する統計情報を決定することをさらに含む、請求項１から７のいずれか一項に記載の方法。
9. 命令を含む非一時的コンピュータ可読記憶媒体であって、前記命令は、コンピュータによって実行されると、請求項１から８のいずれか一項の方法を前記コンピュータに実施させる、非一時的コンピュータ可読記憶媒体。
10. ビデオカメラ（１００）であって、
    画像データ（１１３）を取り込むように構成される画像センサ（１０２）と、
    制御回路要素（１０３）とを備え、
    前記制御回路要素（１０３）は、フィルター関数（１０４）のフィルターの設定に基づいて焦点設定差閾値（１２９）を設定するように構成され、ここにおける前記フィルター関数は、前記画像データをビデオストリーム（１１９）に変換するプロセス中に前記画像データをフィルタリングして、前記画像データからの冗長なまたは余分と見なされる情報を除去するように構成されるものであり、ここにおける前記焦点設定差閾値は、異なる焦点設定によって取り込まれた共通画像データに前記フィルター関数を適用することによって前記ビデオストリームを形成すると、実質的に並みのビデオストリーム画像データが得られるように設定され、
    前記制御回路要素（１０３）はさらに、前記画像データを取り込む間、前記ビデオカメラの焦点設定（１２３）を現在の焦点設定（１２５）と変更された焦点設定（１２７）との間で調整するように構成され、それにより、前記現在の焦点設定に前記ビデオカメラが設定された状態で前記画像データの第１のサブセット（１１５）が取り込まれ、前記変更された焦点設定に前記ビデオカメラが設定された状態で前記画像データの第２のサブセット（１１７）が取り込まれ、調整することは、前記現在の焦点設定と前記変更された焦点設定との間の差が前記焦点設定差閾値を下回るように実施され、
    前記制御回路要素（１０３）はさらに、前記画像データに前記フィルター関数を適用することによって前記ビデオストリームを形成するように構成され、
    前記制御回路要素（１０３）はさらに、前記画像データの前記第１のサブセットの第１の焦点メトリック（１３５）および前記画像データの前記第２のサブセットの第２の焦点メトリック（１３７）を決定するように構成され、前記第１の焦点メトリックおよび前記第２の焦点メトリックは、前記画像データに前記フィルター関数を適用する前の前記画像データに関して決定され、
    前記制御回路要素（１０３）はさらに、前記第１の焦点メトリックと前記第２の焦点メトリックを比較することによって、前記ビデオカメラが焦点はずれであるかどうかを判定するように構成される、ビデオカメラ。
11. 前記フィルター関数はノイズ低減関数を含む、請求項１０に記載のビデオカメラ。
12. 前記フィルター関数はエンコーディング関数を含む、請求項１０または１１に記載のビデオカメラ。
13. 前記焦点設定は、前記ビデオカメラの前記画像センサと集束レンズとの間の相対位置を含む、請求項１０から１２のいずれか一項に記載のビデオカメラ。
14. 前記焦点設定は、レンズ焦点距離、レンズ焦点深度、およびレンズ曲率半径のうちの１つまたは複数を含む、請求項１０から１３のいずれか一項に記載のビデオカメラ。
15. 前記画像データの前記第１のサブセットの前記第１の焦点メトリックおよび前記画像データの前記第２のサブセットの前記第２の焦点メトリックは画像鮮鋭度メトリックを含む、請求項１０から１４のいずれか一項に記載のビデオカメラ。

Images