JP5812835B2 - ビデオ画像ストリーム中の画像の画質を改善するための方法およびデジタルビデオカメラ - Google Patents

Description

本発明は、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質の改善に関する。

デジタルビデオカメラは、ビデオ画像ストリームとして連続的に表示、記録、または転送することができる動画を取得する能力を有している。多数のデジタルビデオカメラが、種々の設定を変更することによって画質の向上または画像特性の変更を行う能力を有している。これらの設定は、通常は、画質または画像特性に直接的に関係している。画質または画像特性に影響を及ぼすことができる設定の例は、焦点の合わせ直し、利得の変更、露光時間の変更、ノイズ除去のフィルタ処理のレベルおよび／または種類の変更、ホワイトバランスの変更、色空間の変更、口径食による問題を軽減すべく画像センサを光軸に関して垂直に調節すること、などである。すなわち、画質を、例えば焦点の変更、利得の変更、露光時間の変更、ノイズ除去のフィルタ処理のレベルおよび／または種類の変更、ホワイトバランスの変更、色空間の変更、光軸に関して垂直な方向の画像センサの調節、などによって改善することができる。

しかしながら、デジタルビデオカメラで取得される画像に対して画質の改善または画像特性の変更に使用することができるより良好な技術について、ニーズが依然として存在する。

本発明の目的は、取得される画像の品質の改善を可能にすることにある。

この目的は、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質を改善するための請求項１に記載の方法、およびビデオ画像ストリーム中の画像の画質を改善するための請求項１１に記載のデジタルカメラによって達成される。本発明のさらなる実施形態が、従属請求項に開示される。

特に、本発明の第１の態様によれば、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質を改善するための方法が提供される。この方法は、デジタルビデオカメラによって第１の画像群を取得することと、第１の画像群の画像を前記ビデオ画像ストリームとして出力することと、デジタルビデオカメラの画像センサおよび／またはレンズを、第２の画像群の画像の取得に先立って、それぞれの通常位置からそれぞれのテスト位置へと動かすことと、前記デジタルカメラを使用して、第２の画像群の取得を、前記第１の画像群の取得に差し挟んで実行することと、第１の画像群の画像を第２の画像群の画像と比較することと、前記比較にもとづいて、第２の画像群の前記画像が第１の画像群の前記画像と比べてより良好な画質を呈するか否かを判断することと、第２の画像群の前記画像が第１の画像群の前記画像と比べてより良好な画質を呈する場合に、前記デジタルビデオカメラにおいて画質の改善の動作を開始することと、を含んでいる。

本発明の文脈において、「画像を差し挟んで取得する」に関係する用語は、第２の画像群の画像を第１の画像群の画像の合間に取得するものと理解すべきである。これは、第２の画像群のうちの第１の画像に、第１の画像群のうちの第１の画像が続くことができ、次いで第２の画像群のうちの第２の画像が続くことができ、さらに第１の画像群および第２の画像群のそれぞれからの交互の画像が続くことができることを意味する。差し挟むとは、第１の画像群からの２つ以上の画像に、第２の画像群からの１つの画像が続くことも、意味することができる。種々の差し挟みの組み合わせを、本発明の技術的範囲において使用できることを、理解すべきである。したがって、差し挟みを、所定の時間間隔または動的に定められる時間間隔のいずれかにて取得される画像に使用することができる。

第１または第２の画像群の画像の取得時にデジタルビデオカメラの画像センサおよび／またはレンズの位置を変えつつ、第１および第２の画像群の画像の取得を互いに差し挟むことによって、第２の画像群からの画像の画質を、第１の画像群からの画像の画質と比較し、画像センサおよび／またはレンズを動かした後で画質が改善されたか否かを判断することができる。その後に、画質改善の動作を開始させることができる。比較することができる画質の特徴の例は、ビデオ画像ストリームの画像の全体的な焦点、画像のうちの関心の対象の領域に焦点が合っているか否か、または種々の画素の光の感度である。このように、本発明は、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質を改善するために、例えば２つの画像を比較するフレーム間処理を可能にする。フレーム間処理は、ビデオ画像ストリーム中の２つの画像／フレームの取得の間に取得される（しかしながら、必ずしも表示されない）画像について実行され、あるいはそのような画像からの情報を使用して実行される。ビデオ画像ストリームの画像の取得の間に取得される画像は、ビデオ画像ストリームの画像と比べて、デジタルビデオカメラの画像センサおよび／またはレンズの位置を変えて取得される。すなわち、第１の画像群が、デジタルビデオカメラの画像センサおよび／またはレンズをそれぞれの通常位置に位置させてなるデジタルビデオカメラによって取得され、第２の画像群が、デジタルビデオカメラの画像センサおよび／またはレンズをそれぞれのテスト位置に位置させてなるデジタルビデオカメラによって取得され、第２の画像群の取得に第１の画像群の取得が差し挟まれる。デジタルビデオカメラの画像センサは、典型的には、表示される画像のフレームレートの２倍のフレームレートで動作しており、すなわち１つおきの画像をフレーム間処理に使用でき、１つおきの画像をビデオ画像ストリームとして表示または記録することができる。一例によれば、デジタルビデオカメラの画像センサが、毎秒６０フレームを取得するように構成され、ビデオ画像ストリームが、毎秒３０フレームを含んでいる。したがって、第１の画像（ビデオ画像ストリームに使用される画像である）が、デジタルビデオカメラの画像センサおよび／またはレンズをそれぞれの通常位置に位置させた状態でデジタルビデオカメラによって取得され、画像センサまたはレンズのいずれかの位置がテスト位置へと動かされ、あるいは画像センサおよびレンズの両方がそれぞれのテスト位置へと動かされ、第２の画像（通常は、ビデオ画像ストリームに使用される画像ではない）が取得され、第２および第１の画像の間の比較が実行され、画像センサおよび／またはレンズをそれぞれのテスト位置へと動かしたときに画質に結び付いた特定のパラメータが改善されたか否かが判断される。画像センサおよび／またはレンズを動かした後で画質が改善された場合、画質改善の動作を開始させることができる。画質改善の動作の例は、焦点の再調節の動作、口径食による問題を改善すべく画像センサを光軸に対して垂直方向に動かすこと、または監視対象のフェンスのより良好な眺めを得るために画像センサを傾けることである。

第２の画像群の取得に、第１の画像群の取得を所定のレートで差し挟むことができる。例えば、第２の画像群の画像を、第１の画像群の各画像の間に取得することができ、あるいは第１の画像群の１つおき、２つおき、３つおき、４つおき、５つおき、６つおき、７つおき、８つおき、または９つおきの画像（あるいは、さらにまれに）の間に取得することができる。

本発明の一実施形態によれば、第２の画像群の画像が、第１の画像群の各画像の間に取得される。この構成における利点は、画質改善の動作を、第１の画像群の画像の画質低下が生じたときに速やかに開始できる点にある。

第２の画像群の取得に、第１の画像群の取得を、利用可能な帯域幅および／またはシステムの負荷に応じた動的なレートで差し挟んでもよい。すなわち、システムの負荷が大きい場合または帯域幅が狭い場合に、第２の画像群の画像の取得を、より稀にすることができる。

第１の画像群の画像の前記ビデオ画像ストリームとしての出力を、所定のフレームレートで行うことができる。これに限られるわけではないが、例として、ビデオ画像ストリームは、毎秒３０フレームを含むことができる。

この方法は、第１の画像群の画像のシャープネスおよび第２の画像群の画像のシャープネスを分析し、第１の画像群の画像のシャープネスを第２の画像群の画像のシャープネスと比較することを含むことができる。

この方法は、前記比較にもとづいて、第２の画像群の画像のシャープネスが、先に取得された第１の画像群の画像に比べて改善されたか否かを判断することを含むことができる。第２の画像群からの画像と先に取得された第１の画像群からの画像との間で行われるシャープネスの比較によって、ビデオ画像ストリームのフレームとして表示、記録、または転送される第１の画像群の画像について、焦点が合っているか否かを判断することができる。

この方法は、シャープネスが改善されると判断される場合に、オートフォーカスを開始することをさらに含むことができる。シャープネスが改善されると判断される場合に限ってオートフォーカスを開始することは、オートフォーカスモータの寿命が節約されるため、有益である。オートフォーカスモータが、焦点の再調節が必要な場合にだけ使用される。

画像のシャープネスを、空間高周波数分析を使用することによって割り出すことができる。空間高周波数分析は、焦点が合っており、あるいは焦点が合っていない画像の種々の部分がどれくらいであるかを示す。画像のシャープネスを、当業者にとって公知の種々のやり方で割り出すことができる。シャープネスの割り出しの例は、画像内のエッジを検出することができるソーベルフィルタ（Ｓｏｂｅｌ ｆｉｌｔｅｒ）を使用し、その後にシャープネスの値として使用することができる数をもたらす画像のスムージングのためのガウシアンフィルタ（Ｇａｕｓｓｉａｎ ｆｉｌｔｅｒ）を適用することであってよい。あるいは、高周波数成分を計算し、決定点として使用してもよい。他の選択肢は、決定点が眼の周波数感度および他の要因の後で重み付けされる主観的品質ファクタ（ＳＱＦ）であってよい。

この方法は、第１の画像群の画像の取得の前に画像センサおよび／またはレンズをそれぞれの通常位置へと動かすことをさらに含むことができる。通常位置からテスト位置への移動およびテスト位置から通常位置への移動を繰り返し行うことで、合間の分析またはプロセスが可能になり、ここで「合間」は、画像が交互に表示、記録、または転送され、交互に分析されることを意味する。

前記デジタルカメラの画像センサを通常位置からテスト位置へと動かす工程は、画像センサを光学的入力に向かって第１のテスト位置へと動かすことと、画像センサを光学的入力から遠ざかる第２のテスト位置へと動かすこととをさらに含むことができる。光学的入力は、画像取得の光路の一部である。通常位置の前方および通常位置の後方の両方でテストを行うように画像センサを動かすことの利点は、オートフォーカスの開始時のオートフォーカスモータの方向を決定できる点にある。これは、オートフォーカスモータの寿命を、焦点の再調節時にモータを正しい方向に動作させることによってさらに改善する。

前記デジタルカメラのレンズを通常位置からテスト位置へと動かす工程は、レンズを光学的入力に向かって第１のテスト位置へと動かすことと、レンズを光学的入力から遠ざかる第２のテスト位置へと動かすこととをさらに含むことができる。光学的入力は、画像取得の光路の一部である。通常位置の前方および通常位置の後方の両方でテストを行うようにレンズを動かすことの利点は、オートフォーカスの開始時のオートフォーカスモータの方向を決定できる点にある。これは、オートフォーカスモータの寿命を、焦点の再調節時にモータを正しい方向に動作させることによってさらに改善する。

この方法は、第１の画像群の画像内の特段の関心の対象領域を特定することをさらに含むことができる。結果として、第１の画像群の画像を第２の画像群の画像と比較する工程を、第１の画像群の画像の特段の関心の対象領域を含む一部分を、第１の画像群の画像の関心の対象領域に対応する第２の画像群の画像の一部分と比較することによって実行することができる。特段の関心の対象領域は、例えばデジタルカメラの視野に進入する人物など、特に関心の対象である物体を含むことができる。この特定の関心の対象物を、例えば画像内の対象物を発見するように構成された画像解析プロセスによって見つけ出すことができる。画像解析プロセスの例は、移動検出、顔認識、またはナンバープレート認識であってよい。画像内に特定の対象物が発見された場合、いつ焦点の再調節を開始すべきかについての後のテストは、その特定の対象物に焦点が合っているか否かにもとづくことができる。すなわち、焦点が合っているか否かの分析を、画像センサによって取得された画像を表わしている画像データの一部分（関心の対象領域に対応する）について実行することができる。後に特定の対象物がもはや存在しないと判断される場合には、焦点が合っているか否かのテストを、画像全体を使用して実行することができる。

本発明の別の態様によれば、ビデオ画像ストリーム中の画像の画質を改善するためのデジタルビデオカメラが提供される。デジタルビデオカメラが、画像データを取得するように構成された画像センサと、画像センサによって取得された前記画像データを画像へと処理し、ビデオ画像ストリームとして画像を出力するように構成された画像処理手段と、画像センサおよび／またはレンズをそれぞれの通常位置からそれぞれのテスト位置へと動かすように構成された移動手段とを備えており、画像処理手段が、画像センサおよび／またはレンズがそれぞれの通常位置に位置するときに取得された画像データから処理された第１の画像の画質を、画像センサおよび／またはレンズがそれぞれのテスト位置に位置するときに取得された画像データから処理された第２の画像と比較するようにさらに構成されており、画像処理手段が、前記比較にもとづいて、前記第２の画像が前記第１の画像と比べてより良好な画質を呈するか否かを判断するようにさらに構成されており、画像処理手段が、前記第２の画像が前記第１の画像と比べてより良好な画質を呈する場合に、当該デジタルビデオカメラにおいて画質改善の動作を開始させるように構成されている。

画像処理手段を、前記第１および第２の画像のシャープネスを分析し、その後に前記第１および第２の画像のシャープネスを比較することによって、前記第１および第２の画像の画質を比較するようにさらに構成することができる。

さらに、画像処理手段を、前記第２の画像が前記第１の画像と比べてより良好な画質を呈するか否かを、前記第２の画像のシャープネスが先に取得された第１の画像と比べて改善されたか否かをチェックすることによって判断するように、さらに構成することができる。

さらに、画像処理手段を、デジタルビデオカメラの焦点の再調節を開始させることによって画質改善の動作を開始させるようにさらに構成することができる。

画像処理手段を、空間高周波数分析を使用することによって画像のシャープネスを割り出すように構成することができる。

移動手段を、画像センサおよび／またはレンズをそれぞれのテスト位置から再びそれぞれの通常位置へと動かすようにさらに構成することができる。

次に、本発明のこの態様および他の態様を、本発明の実施形態を示している添付の図面を参照して、さらに詳しく説明する。図面を、本発明を特定の実施形態に限定するものと考えてはならない。むしろ図面は、本発明の説明および理解のために使用されている。

本発明の一実施形態によるデジタルビデオカメラの概略図である。 本発明の実施形態による方法を示している概略のフロー図である。 本発明の別の実施形態による方法を示している概略のフロー図である。 本発明のさらに別の実施形態による方法を示している概略のフロー図である。 図３ａは本発明の実施形態に従って取得される画像ならびに表示、記録、または転送される画像を示している概略図であり、図３ｂは本発明の別の実施形態に従って取得される画像ならびに表示、記録、または転送される画像を示している概略図であり、図３ｃは本発明のさらに別の実施形態に従って取得される画像ならびに表示、記録、または転送される画像を示している概略図である。 ネットワークへと接続された本発明の第２の実施形態によるデジタルカメラの概略図である。 ネットワークへと接続された本発明の第２の実施形態によるデジタルカメラの概略図である。 本発明の実施形態による方法を示している概略のフロー図である。 本発明の別の実施形態による方法を示している概略のフロー図である。 本発明のさらに別の実施形態による方法を示している概略のフロー図である。 本発明の実施形態による方法を示している概略のフロー図である。

本発明の全体的な態様は、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質を改善するために、フレーム間処理を使用することである。フレーム間処理は、ビデオ画像ストリーム中の２つの画像／フレームの取得の間に取得される（しかしながら、必ずしも表示されない）画像について実行され、あるいはそのような画像からの情報を使用して実行される。ビデオ画像ストリーム中の画像の取得の間に取得される画像は、ビデオ画像ストリームの画像と比べ、デジタルビデオカメラの異なるカメラ設定を使用して取得される。したがって、第１の画像群が、デジタルビデオカメラの第１のカメラ設定を使用して、デジタルビデオカメラによって取得され、第２の画像群が、デジタルビデオカメラの第２のカメラ設定を使用して、デジタルビデオカメラによって取得され、第２の画像群の取得が、第１の画像群の取得に差し挟まれる。デジタルビデオカメラの画像センサは、典型的には、表示される画像のフレームレートの２倍のフレームレートで動作しており、すなわち１つおきの画像をフレーム間処理に使用でき、１つおきの画像をビデオ画像ストリームとして表示または記録することができる。一例によれば、デジタルビデオカメラの画像センサが、毎秒６０フレームを取得するように構成され、ビデオ画像ストリームが、毎秒３０フレームを含んでいる。

ビデオ画像ストリームの２つの画像／フレームの取得の間で変更することができるカメラ設定の例は、カメラの画像センサを種々の方向に動かすことおよび傾けることであり、あるいはカメラのレンズを種々の方向に動かすことである。

したがって、本発明によれば、第１の画像（ビデオ画像ストリームに使用される画像である）が、カメラ設定が第１の状態であるデジタルビデオカメラによって取得され、カメラ設定が第２の状態へと変更され、第２の画像（通常は、ビデオ画像ストリームに使用される画像ではない）が取得され、この第２の画像からの情報を使用して（場合によっては、第１および第２の両方の画像からの情報を使用して）処理が実行され、カメラ設定が第１の（元の）状態（第１の画像の取得時に使用された状態）へと再び変更され、第３の画像が取得され、カメラ設定が再び変更（必ずしも第２の画像の取得に使用された状態へと変更されるわけではない）され、第４の画像が取得される、などである。

また、フレーム間処理を、必ずしもビデオ画像ストリームの各フレームの間に実行する必要がないことに、留意されたい。例えば、フレーム間処理を、デジタルビデオカメラの画像センサによって取得される２つおき、３つおき、４つおき、５つおき、６つおき、７つおき、８つおき、または９つおきの画像（あるいは、さらにまれに）を使用して実行することができる。また、代案として、フレーム間処理を、例えば利用可能な帯域幅および／またはシステムの負荷に応じた動的なレートを使用して行うことができる。

以下で、デジタルビデオカメラによって取得されるビデオ画像ストリーム中の画像の画質を改善するために、フレーム間処理を使用するいくつかの異なる実施形態を説明する。

焦点の再調節の開始
本発明の第１の態様によれば、フレーム間処理が、デジタルビデオカメラの焦点の再調節を開始すべきか否か、およびいつ開始すべきかを判断するために使用される。

デジタルビデオカメラにおいて焦点の再調節を取り扱うために、画像または画像の一部において最高の周波数成分を与える焦点位置に達するための山登り（ｈｉｌｌ ｃｌｉｍｂｉｎｇ）法が、通常は使用される。しかしながら、デジタルビデオカメラのフォーカスモータは、モータを使用することができる最大のサイクル数として表現されることが多い有限の寿命を有している。典型的なフォーカスモータは、２００万回のサイクルに耐えるような仕様とされている。これは、デジタルビデオカメラについて所望される寿命である１００，０００時間にわたって動作可能なデジタルカメラにおいて、焦点の変更が３分間に１回までであることを意味する。したがって、フォーカスモータを保護するため、不必要な焦点の再調節の開始を回避するために、いつデジタルビデオカメラの焦点の再調節を開始すべきかについての方法を、発見する必要がある。フォーカスモータの例は、これらに限られるわけではないが、ＤＣモータまたはステッピングモータである。

画像センサを動かすことによる焦点の再調節の開始
本発明の一実施形態によれば、フレーム間処理が、焦点の再調節を開始すべきか否か、およびいつ開始すべきかを判断するために、ビデオ画像ストリームの画像／フレームの取得の間にデジタルビデオカメラの画像センサを動かしたときに取得された画像について実行される。

この実施形態によるデジタルビデオカメラ５が、図１に概略的に示されている。デジタルビデオカメラ５は、ハウジング１０、フォーカスレンズ１２、フォーカスモータ１１、画像センサ１４、アクチュエータ１３、コントローラ１５、画像処理手段１６、メモリ１７、およびＩ／Ｏポート１８を備えている。レンズ１２が、フォーカスモータ１１へと接続され、フォーカスモータ１１が、コントローラ１５へと接続され、コントローラ１５によって制御される。画像センサ１４が、アクチュエータ１３へと接続され、アクチュエータ１３が、コントローラ１５へと接続され、コントローラ１５によって制御される。画像処理手段１６が、画像センサ１４から画像データを受け取るとともに、コントローラ１５およびＩ／Ｏポート１８と通信するように構成されている。デジタルカメラ５を、Ｉ／Ｏポート１８を介してネットワーク２０へと接続することができる。

画像センサ１４が、所定のフレームレートで画像を取得するように構成されている。画像センサ１４は、ＣＭＯＳベースのセンサまたはＣＣＤセンサであってよいが、他の種類のセンサも可能である。所定のフレームレートは、典型的には、毎秒３０〜６０フレームの間であるが、他のフレームレートも可能である。画像センサ１４は、可動に取り付けられており、アクチュエータ１３または同様の装置によって動かすことが可能である。この実施形態によれば、アクチュエータ１３が、カメラ設定変更部材である。アクチュエータの例は、これらに限られるわけではないが、電気モータ、線形アクチュエータ、または圧電アクチュエータである。

画像センサ１４を、通常位置に配置することができ、アクチュエータ１３を使用してテスト位置へと移動させることができる。通常位置は、画像センサがカメラの通常の動作の際に配置される出発位置と理解されるべきである。この実施形態によれば、通常位置が、カメラ設定の第１の状態であり、テスト位置が、カメラ設定の第２の状態である。

テスト位置を、第１のテスト位置および第２のテスト位置へとさらに分割することができる。第１のテスト位置は、光軸に沿った位置であって、通常位置と比べてデジタルカメラ５の光学的入力に向かって位置する位置である。第２のテスト位置は、光軸に沿った位置であって、通常位置と比べてデジタルカメラ５の光学的入力から離れて位置する位置である。したがって、通常位置は、この場合には、第１のテスト位置と第２のテスト位置との間の位置である。

画像センサ１４によって取得された画像データは、画像処理手段１６へと転送される。画像センサ１４から画像処理手段１６への画像データの転送を、当業者にとって公知の任意の転送の仕組みに従って実行することができる。

画像処理手段１６が、所定のフレームレートで画像センサ１４から取得された画像データを受け取る。画像処理手段１６は、取得された画像データを下処理および／または分析するように構成されている。画像処理手段１６は、２つの出力を備えており、第１の出力がＩ／Ｏポート１８へと接続され、第２の出力がコントローラ１５へと接続されている。Ｉ／Ｏポート１８へと接続された出力は、表示、記録、または転送すべき画像を、モニタ、レコーダ、サーバ、などへと転送するために使用される。コントローラ１５へと接続された出力は、コントローラ１５へとインストラクションを送信するために使用される。画像処理手段１６は、並列または直列のいずれかでＩ／Ｏポート１８およびコントローラ１５へと画像および／またはインストラクションを送信することができる。

さらに画像処理手段１６は、取得された画像についてシャープネス値を割り出し、それらの値の各々をメモリ１７に保存するように構成されている。さらに画像処理手段１６は、メモリ１７に保存されたシャープネス値を比較し、シャープネス値が或る画像から別の画像へと変化した否かを判断するように構成されている。

画像のシャープネスを、焦点が合っており、あるいは焦点が合っていない画像の種々の部分がどれくらいであるかを示す空間高周波数分析を使用することによって割り出すことができる。画像のシャープネスを、当業者にとって公知の種々のやり方で割り出すことができる。シャープネスの割り出しの例は、画像内のエッジを検出することができるソーベルフィルタを使用し、その後にシャープネスの値として使用することができる数をもたらす画像のスムージングのためのガウシアンフィルタを適用することであってよい。あるいは、高周波数成分を計算し、決定点として使用してもよい。他の選択肢は、決定点が眼の周波数感度および他の要因の後で重み付けされる主観的品質ファクタ（ＳＱＦ）であってよい。

コントローラ１５が、アクチュエータ１３へと接続されている。コントローラ１５は、アクチュエータ１３を制御することによって画像センサ１４を移動させるように構成されている。さらに、コントローラ１５は、フォーカスモータ１１へと接続されている。コントローラ１５は、取得される画像の焦点を再調節するため、デジタルカメラ５のレンズ１２を動かすべくフォーカスモータ１１を制御するように構成されている。

Ｉ／Ｏポート１８は、図示の実施形態によれば、デジタルカメラ５をネットワーク２０へと接続するために使用される。しかしながら、デジタルカメラ５を、画像の表示のためにモニタへと、あるいは画像の保存のためのレコーダへと、直接接続することも可能である。

本発明の一実施形態によれば、上述のデジタルビデオカメラ５を、デジタルビデオカメラ５の焦点の再調節のためにフォーカスモータ１１をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図２ａのフロー図に要約されており、図３ａが、この実施形態によって取得される画像を示している。

第１の画像３１を表わす画像データの取得２１０が、通常位置に配置された画像センサ１４によって実行される。第１の画像３１を表わす画像データが、画像処理手段１６へと転送される。取得された第１の画像３１のシャープネス値の割り出し２２０が、画像処理手段１６によって行われる。第１の画像３１が、表示、記録、または転送２３０のために、Ｉ／Ｏポート１８へと送信される。第１の画像３１のシャープネス値が、メモリ１７に保存される。シャープネス値を、メモリ１７に一時的に保存することができる。

画像センサ１４のテスト位置への移動２４０が、アクチュエータ１３によって行われる。テスト位置への画像センサ１４の移動の後または最中に、第２の画像３２を表わす画像データの取得２５０が行われる。第２の画像３２を表わす画像データが、画像処理手段１６へと転送される。取得された第２の画像３２のシャープネス値の割り出し２６０が、画像処理手段１６によって行われる。次いで、第２の画像３２のシャープネス値が、メモリ１７に保存される。シャープネス値を、メモリ１７に一時的に保存することができる。通常は、第２の画像３２は、表示されず、記録されず、あるいはＩ／Ｏポート１８へと転送されることがない。

次いで、ビデオ画像ストリームに使用される画像である第１の画像３１について、焦点が合っているか否かの判断２７０を行うために、第１の画像３１および第２の画像３２のシャープネス値が、互いに比較される。第１の画像３１のシャープネス値を、第２の画像３２のシャープネス値との比較に先立って、メモリ１７から取り出すことができる。第２の画像３２が、第１の画像３１と比べてシャープではないと判断される場合、第１の画像３１が、焦点が合っていると判断される。しかしながら、第２の画像３２が、第１の画像３１と比べてよりシャープであると判断される場合、第１の画像３１が、焦点が合っていないと判断される。第１および第２の画像３１および３２のシャープネス値の間の比較の後または最中に、画像センサを、再び通常位置２８０へと移動させることができる。

第１の画像３１が焦点が合っていないと判断された場合、画像処理手段１６がコントローラ１５へと信号を送信し、コントローラ１５が、レンズ１２を動かし、例えば上述の山登り法を開始させることによってレンズ１２の焦点位置を見つけることで焦点の再調節を開始させるべく、フォーカスモータ１１を始動させることによって焦点の再調節を開始２９０させる。

このプロセスが、画像センサ１４によって第３の画像３３を表わす画像データを取得する、などによって繰り返される。

この実施形態においては、奇数番目の画像３１、３３、３５が、ビデオ画像ストリームとして表示、記録、または転送される一方で、偶数番目の画像３２、３４、３６が、比較およびテストのためだけに使用される。

この実施形態においては、表示、記録、または転送される奇数番目の画像３１、３３、３５の間に、フレーム間処理される偶数番目の画像３２、３４、３６が位置している。

本発明の他の実施形態によれば、上述のデジタルビデオカメラ５を、デジタルビデオカメラの焦点の再調節を開始させるためにフォーカスモータ１１をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図２ｂのフロー図に要約されており、図３ｂが、この実施形態によって取得される画像を示している。この実施形態によれば、ビデオ画像ストリームの各々の画像の取得の間に、２つのテスト画像が取得される。

第１の画像４１を表わす画像データの取得３０５が、通常位置に配置された画像センサ１４によって実行される。第１の画像４１を表わす第１の画像データが、画像処理手段１６へと転送され、第１の画像４１が第１の画像４１の表示、記録、または転送３１５のためにＩ／Ｏポート１８へとさらに送信される前に、第１の画像３１のシャープネス値の割り出し３１０が行われる。

この実施形態によれば、画像センサ１４が、次に第１のテスト位置３２０へと動かされる。第１のテスト位置への画像センサ１４の移動の後または最中に、第２の画像４２を表わす画像データの取得３２５が、画像センサ１４によって行われる。第２の画像４２を表わす画像データが、画像処理手段１６へと転送され、シャープネス値の割り出し３３０が行われる。画像センサ１４の第２のテスト位置への移動３３５が行われる。第２のテスト位置への画像センサ１４の移動の後または最中に、第３の画像４３を表わす画像データの取得３４０が、画像センサ１４によって行われる。次いで、第３の画像４３を表わす画像データが、やはり画像処理手段１６へと転送され、シャープネス値の割り出し３４５が、この第３の画像４３についても行われる。

画像センサ１４が通常位置にあるときに取得された第１の画像４１のシャープネス値について、画像センサ１４が第１のテスト位置および第２のテスト位置にそれぞれ位置するときに取得された第２および第３の画像４２、４３のシャープネス値との比較３５０が、画像処理手段１６によって行われる。第１、第２、および第３の画像４１、４２、４３のシャープネス値の間の比較の後または最中に、画像センサは、再び通常位置３５５へと動かされる。第２の画像４２または第３の画像４３が、第１の画像４１よりもシャープであると判断３５０される場合に、焦点の再調節が開始３６０される。

画像センサ１４の種々の位置において取得された第１、第２、および第３の画像４１、４２、４３からのシャープネスについての情報を、フォーカスモータ１１の方向を決定するために使用することもできる。例えば、デジタルカメラ５の光学的入力に向かって画像センサ１４の通常位置の前方に位置する第１のテスト位置において取得された第２の画像４２のシャープネスが、デジタルカメラ５の光学的入力から離れる方へと画像センサ１４の通常位置の後方に位置する第２のテスト位置において取得された第３の画像４３のシャープネスと比べてより良好である場合、フォーカスモータ１１は、フォーカスレンズ１２を、画像センサ１４に近付くように移動させるべくデジタルカメラ５の光学的入力から遠ざかる位置へと駆動することができる。フォーカスモータ１１の方向の決定は、フォーカスモータ１１自体の寿命をさらに延ばすことができる。これは、フォーカスモータ１１を、種々の方向を試みるのではなく、直ちに正しい方向に駆動することができるためであり、フォーカスモータ１１の使用が少なくなり、フォーカスモータ１１の寿命の向上につながる。

上述のプロセスが、画像センサ１４によって第４の画像４４を表わす画像データを取得する、などによって繰り返される。

この本発明の第１の態様の別の実施形態によれば、２つおきの画像４１、４４、４７が、ビデオ画像ストリームとして表示、記録、または転送される一方で、残りの画像４２、４３、４５、４６、４８、４９が、比較およびテストのためだけに使用される。

本発明のさらに別の実施形態によれば、上述のデジタルビデオカメラ５を、デジタルビデオカメラ５の焦点の再調節のためにフォーカスモータ１１をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図２ｃのフロー図に要約されており、図３ｃが、この実施形態によって取得される画像を示している。

第１の画像５１を表わす画像データの取得４１０が、通常位置に配置された画像センサ１４によって実行される。第１の画像５１を表わす画像データが、画像処理手段１６へと転送され、シャープネス値の割り出し４１５が、表示、記録、または転送のための第１の画像５１のさらなる送信４２０の前に行われる。画像センサ１４が、第１のテスト位置４２５へと動かされる。第１のテスト位置への画像センサ１４の移動の後または最中に、第２の画像５２を表わす画像データの取得４３０が行われる。次いで、第２の画像５２を表わす画像データが、画像処理手段１６へと転送され、シャープネス値の割り出し４３５が行われる。

次に画像センサ１４が、通常位置４４０へと再び動かされ、第３の画像５３を表わす画像データの取得４４５が行われる。第３の画像５３を表わす画像データが、画像処理手段１６へと転送され、この第３の画像５３についてのシャープネス値の割り出し４５０が、表示、記録、または転送のための第３の画像５３のさらなる送信４５５の前に行われる。

画像センサ１４の第２のテスト位置への移動４６０が行われる。第２のテスト位置への画像センサ１４の移動の後または最中に、第４の画像５４を表わす画像データの取得４６５が行われる。次いで、第４の画像５４を表わす画像データが、画像処理手段１６へと転送され、第４の画像５４のシャープネス値の割り出し４７０が行われる。

画像センサ１４が通常位置にあるときに取得された第１および第３の画像５１、５３のシャープネス値について、画像センサ１４が第１のテスト位置および第２のテスト位置にそれぞれ位置するときに取得された第２および第４の画像５２、５４のシャープネス値との比較３５０が、画像処理手段１６によって行われる。第１、第２、第３、および第４の画像５１、５２、５３、５４のシャープネス値の間の比較の後または最中に、画像センサは、再び通常位置４８０へと動かされる。第２の画像５２または第４の画像５４が、第１の画像５１または第３の画像５３よりもシャープであると判断４７５される場合に、焦点の再調節が開始４８５される。

次いで、画像センサ１４の種々の位置において取得された第１、第２、第３、および第４の画像５１、５２、５３、５４からのシャープネスについての情報を、フォーカスモータ１１の方向を決定するために使用することができる。例えば、デジタルカメラ５の光学的入力に向かって画像センサ１４の通常位置の前方に位置する第１のテスト位置において取得された第２の画像５２のシャープネスが、デジタルカメラ５の光学的入力から離れる方へと画像センサ１４の通常位置の後方に位置する第２のテスト位置において取得された第４の画像５４のシャープネスと比べてより良好である場合、フォーカスモータ１１は、フォーカスレンズ１２を、画像センサ１４に近付くように移動させるべくデジタルカメラ５の光学的入力から遠ざかる位置へと駆動することができる。フォーカスモータ１１の方向の決定は、フォーカスモータ１１自体の寿命をさらに延ばすことができる。これは、フォーカスモータ１１を、種々の方向を試みるのではなく、直ちに正しい方向に駆動することができるためであり、フォーカスモータ１１の使用が少なくなり、フォーカスモータ１１の寿命の向上につながる。

次いで、図２ｃに示したとおりの工程が繰り返される。第５の画像５５が画像センサ１４によって取得され、以下同様である。

この実施形態においては、すべての奇数番目の画像５１、５３、５５が、ビデオ画像ストリームとして表示、記録、または転送される一方で、偶数番目の画像５２、５４、５６が、比較およびテストのためだけに使用される。

上述のすべての実施形態について当てはまるが、焦点の再調節を開始すべきか否か、およびいつ開始すべきかを判断するためのテストの反復を、必ずしも画像ストリームの画像のすべての取得の間において行う必要はないことを、理解すべきである。例えば、テストを、画像ストリームの１０番目の画像が終わるたびに実行することができ、すなわち図２ａ、３ａおよび２ｂ、３ｂに示した実施形態によれば、テストが画像ストリームの画像のうちの画像１０および１１の間、画像ストリームの画像のうちの画像２０および２１の間、などで実行され、図２ｃ、３ｃに示した実施形態によれば、テストが画像ストリームの画像のうちの画像１０〜１２の間、画像ストリームの画像のうちの画像２０〜２２の間、などで実行される。

レンズを動かすことによる焦点の再調節の開始
本発明の第１の態様の別の実施形態によれば、取得される画像の焦点が合っているか否かをチェックするために、レンズ自体が動かされる。取得される画像の焦点が合っているか否かをチェックするために、レンズを動かすように構成されているデジタルビデオカメラの別の実施形態が、図４ａおよび４ｂに概略的に示されている。

図４ａの実施形態によれば、デジタルビデオカメラ５’が、ハウジング１０’、フォーカスレンズ１２’、フォーカスモータ１１’、アクチュエータ１３’、画像センサ１４’、コントローラ１５’、画像処理手段１６’、メモリ１７’、およびＩ／Ｏポート１８’を備えている。フォーカスレンズ１２’が、アクチュエータ１３’およびフォーカスモータ１１’の両方に接続されている。アクチュエータ１３’およびフォーカスモータ１１’の両方が、コントローラ１５’へと接続され、コントローラ１５’によって制御される。画像処理手段１６’が、画像センサ１４’から画像を受け取るとともに、コントローラ１５’およびＩ／Ｏポート１８’と通信するように構成されている。デジタルカメラ５’を、Ｉ／Ｏポート１８’を介してネットワーク２０へと接続することができる。

画像センサ１４’は、所定のフレームレートで画像を取得するように構成されている。画像センサ１４’は、ＣＭＯＳベースのセンサまたはＣＣＤセンサであってよいが、他の種類のセンサも可能である。所定のフレームレートは、典型的には、毎秒３０〜６０フレームの間であるが、他のフレームレートも可能である。

図４ａに示されている実施形態によれば、アクチュエータ１３’が、レンズ１２’およびフォーカスモータ１１’の両方を動かすように構成されている。しかしながら、アクチュエータ１３’をレンズ１２’とフォーカスモータ１１’との間に配置してもよく、その場合には、フォーカスモータ１１’がレンズ１２’およびアクチュエータ１３’の両方を動かすように構成されることを、理解すべきである。

レンズ１２’を、通常位置に配置することができ、アクチュエータ１３’を使用してテスト位置へと移動させることができる。通常位置は、レンズ１２’がカメラの通常の動作の際に配置される出発位置と理解されるべきである。この実施形態によれば、通常位置が、カメラ設定の第１の状態であり、テスト位置が、カメラ設定の第２の状態である。

テスト位置を、第１のテスト位置および第２のテスト位置へとさらに分けることができる。一実施形態によれば、第１のテスト位置が、光軸に沿った位置であって、通常位置に比べてデジタルカメラ５’の光学的入力に向かって位置する位置である。一実施形態によれば、第２のテスト位置が、光軸に沿った位置であって、通常位置に比べてデジタルカメラ５’の光学的入力から離れて位置する位置である。通常位置は、この場合には、第１のテスト位置と第２のテスト位置との間の位置である。

画像センサ１４’によって取得された画像データが、画像処理手段１６’へと転送される。画像センサ１４’から画像処理手段１６’への画像データの転送を、当業者にとって公知の任意の転送の仕組みに従って実行することができる。

画像処理手段１６’が、所定のフレームレートで画像センサ１４’から取得された画像データを受け取る。画像処理手段１６’は、取得された画像データを下処理および／または分析するように構成されている。画像処理手段１６’は、２つの出力を備えており、第１の出力がＩ／Ｏポート１８’へと接続され、第２の出力がコントローラ１５’へと接続されている。Ｉ／Ｏポート１８’へと接続された出力は、表示、記録、または転送すべき画像を、モニタ、レコーダ、サーバ、などへと転送するために使用される。コントローラ１５’へと接続された出力は、コントローラ１５’へとインストラクションを送信するために使用される。画像処理手段１６’は、並列または直列のいずれかでＩ／Ｏポート１８’およびコントローラ１５’へと画像／インストラクションを送信することができる。

さらに画像処理手段１６’は、取得された画像についてシャープネス値を割り出し、それらの値の各々をメモリ１７’に保存するように構成されている。さらに画像処理手段１６’は、メモリ１７’に保存されたシャープネス値を比較し、シャープネス値が或る画像から別の画像へと変化した否かを判断するように構成されている。

画像のシャープネスを、焦点が合っており、あるいは焦点が合っていない画像の種々の部分がどれくらいであるかを示す空間高周波数分析を使用することによって割り出すことができる。画像のシャープネスを、当業者にとって公知の種々のやり方で割り出すことができる。シャープネスの割り出しの例は、画像内のエッジを検出することができるソーベルフィルタを使用し、その後にシャープネスの値として使用することができる数をもたらす画像のスムージングのためのガウシアンフィルタを適用することであってよい。あるいは、高周波数成分を計算し、決定点として使用してもよい。他の選択肢は、決定点が眼の周波数感度および他の要因の後で重み付けされる主観的品質ファクタ（ＳＱＦ）であってよい。

コントローラ１５’が、アクチュエータ１３’によってレンズ１２’の移動を制御するとともに、フォーカスモータ１１’によってデジタルビデオカメラの焦点の再調節を制御するように構成されている。

Ｉ／Ｏポート１８’は、図４ａに示されている実施形態によれば、デジタルカメラ５’をネットワーク２０へと接続するために使用される。しかしながら、デジタルカメラ５’を、画像の表示のためにモニタへと、あるいは画像の保存のためのレコーダへと、直接接続することも可能である。

図４ｂに示されているように、改良され、したがって２００万サイクルを超える動作が可能であるフォーカスモータ１１’の場合には、フォーカスモータ自体を、アクチュエータの機能（すなわち、取得される画像の焦点が合っているか否かをチェックするためにレンズを動かす）およびフォーカスモータの機能（必要に応じてデジタルビデオカメラ５’の焦点を再調節する）の両方として使用できることを、さらに理解すべきである。すなわち、アクチュエータおよびフォーカスモータの機能を、両方ともフォーカスモータに任せることができる。この実施形態によれば、フォーカスモータ１１’が、カメラ設定変更部材である。

図４ｂの実施形態によれば、デジタルビデオカメラ５’が、ハウジング１０’、フォーカスレンズ１２’、フォーカスモータ１１’、画像センサ１４’、コントローラ１５’、画像処理手段１６’、メモリ１７’、およびＩ／Ｏポート１８’を備えている。フォーカスレンズ１２’が、フォーカスモータ１１’に接続されている。フォーカスモータ１１’が、コントローラ１５’へと接続され、コントローラ１５’によって制御される。コントローラ１５’が、フォーカスモータ１１’によってレンズ１２’の移動を制御するとともに、このフォーカスモータ１１’によってデジタルビデオカメラの焦点の再調節も制御するように構成されている。

以下の説明においては、アクチュエータ１３’がレンズ１２’を通常位置およびテスト位置の間で動かすために使用されると述べられているが、図４ｂの実施形態によって示されるとおり、レンズ１２’をフォーカスモータ１１’自体によって動かしてもよいことを、理解すべきである。

本発明の一実施形態によれば、図４ａおよび４ｂに別々の実施形態として示されている上述のデジタルビデオカメラ５’を、デジタルビデオカメラ５’の焦点の再調節のためにフォーカスモータ１１’をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図５ａのフロー図に要約されており、図３ａが、この実施形態に従って取得される画像を示している。

第１の画像３１を表わす画像データの取得５００が、撮像レンズ１２’が通常位置に配置された状態で、画像センサ１４’によって行われる。第１の画像３１を表わす画像データが、画像処理手段１６’へと転送される。取得された第１の画像３１のシャープネス値の割り出し５０２が、画像処理手段１６’によって行われる。第１の画像３１が、表示、記録、または転送のために、Ｉ／Ｏポート１８’へと送信５０４される。第１の画像３１のシャープネス値が、メモリ１７’に保存される。シャープネス値を、メモリ１７’に一時的に保存することができる。

レンズ１２’が、アクチュエータ１３’によってテスト位置５０６へと動かされる。テスト位置へのレンズ１２’の移動の後または最中に、第２の画像３２を表わす画像データの取得５０８が行われる。第２の画像３２を表わす画像データが、画像処理手段１６’へと転送される。取得された第２の画像３２のシャープネス値の割り出し５１０が、画像処理手段１６’によって行われる。次いで、第２の画像３２のシャープネス値が、メモリ１７’に保存される。シャープネス値を、メモリ１７’に一時的に保存することができる。通常は、第２の画像３２は、表示されず、記録されず、あるいはＩ／Ｏポート１８’へと転送されることがない。

次いで、ビデオ画像ストリームに使用される画像である第１の画像３１について、焦点が合っているか否かの判断５１２を行うために、第１の画像３１および第２の画像３２のシャープネス値が、互いに比較される。第１の画像３１のシャープネス値を、第２の画像３２のシャープネス値との比較に先立って、メモリ１７’から取り出すことができる。第２の画像３２が、第１の画像３１と比べてシャープではないと判断される場合、第１の画像３１が、焦点が合っていると判断される。しかしながら、第２の画像３２が、第１の画像３１と比べてよりシャープであると判断される場合には、第１の画像３１が、焦点が合っていないと判断される。第１および第２の画像３１、３２のシャープネス値の間の比較の後または最中に、レンズ１２’を、再び通常位置へと移動５１４させることができる。

第１の画像３１が焦点が合っていないと判断された場合、画像処理手段１６’がコントローラ１５’へと信号を送信し、コントローラ１５’が、レンズ１２’を動かし、例えば上述の山登り法を開始させることによってレンズ１２’の焦点位置を見つけることで焦点の再調節を開始させるべく、フォーカスモータ１１’を始動させることによって焦点の再調節を開始５１６させる。

このプロセスが、画像センサ１４’によって第３の画像３３を表わす画像データを取得する、などによって繰り返される。

この実施形態においては、奇数番目の画像３１、３３、３５が、ビデオ画像ストリームとして表示、記録、または転送される一方で、偶数番目の画像３２、３４、３６が、比較およびテストのためだけに使用される。

この実施形態においては、表示、記録、または転送される奇数番目の画像３１、３３、３５の間に、フレーム間処理される偶数番目の画像３２、３４、３６が位置している。

本発明の他の実施形態によれば、図４に示した上述のデジタルビデオカメラ５’を、デジタルビデオカメラの焦点の再調節を開始させるためにフォーカスモータ１１’をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図５ｂのフロー図に要約されており、図３ｂが、この実施形態に従って取得される画像を示している。この実施形態によれば、ビデオ画像ストリームの各々の画像の取得の間に、２つのテスト画像が取得される。

第１の画像４１を表わす画像データの取得５１８が、レンズ１２’を通常位置に配置して、画像センサ１４’によって実行される。第１の画像４１を表わす第１の画像データが、画像処理手段１６’へと転送され、第１の画像４１が第１の画像４１の表示、記録、または転送のためにＩ／Ｏポート１８’へとさらに送信５２２される前に、第１の画像３１のシャープネス値の割り出し５２０が行われる。

この実施形態によれば、レンズ１２’が、次に第１のテスト位置５２４へと動かされる。第１のテスト位置へのレンズ１２’の移動の後または最中に、第２の画像４２を表わす画像データの取得５２６が、画像センサ１４’によって行われる。第２の画像４２を表わす画像データが、画像処理手段１６’へと転送され、シャープネス値の割り出し５２８が行われる。レンズ１２’の第２のテスト位置への移動５３０が行われる。第２のテスト位置へのレンズ１２’の移動の後または最中に、第３の画像４３を表わす画像データの取得５３２が、画像センサ１４’によって行われる。次いで、第３の画像４３を表わす画像データが、やはり画像処理手段１６’へと転送され、シャープネス値の割り出し５３４が、この第３の画像４３についても行われる。

レンズ１２’が通常位置にあるときに取得された第１の画像４１のシャープネス値について、レンズ１２が第１のテスト位置および第２のテスト位置にそれぞれ位置するときに取得された第２および第３の画像４２、４３のシャープネス値との比較５３６が、画像処理手段１６’によって行われる。第１、第２、および第３の画像４１、４２、４３のシャープネス値の間の比較の後または最中に、レンズ１２’を、再び通常位置へと移動５３８させることができる。第２の画像４２または第３の画像４３が、第１の画像４１よりもシャープであると判断される場合に、焦点の再調節が開始５４０される。

レンズ１２’の種々の位置において取得された第１、第２、および第３の画像４１、４２、４３からのシャープネスについての情報を、フォーカスモータ１１’の方向を決定するために使用することもできる。例えば、デジタルカメラ５’の光学的入力に向かってレンズ１２’の通常位置の前方に位置する第１のテスト位置において取得された画像４２のシャープネスが、デジタルカメラ５’の光学的入力から離れる方へとレンズ１２’の通常位置の後方に位置する第２のテスト位置において取得された画像４３のシャープネスと比べてより良好である場合、フォーカスモータ１１は、レンズ１２’を、画像センサ１４’から遠ざかるように移動させるべくデジタルカメラ５’の光学的入力へと向かう位置へと最適に駆動することができる。フォーカスモータ１１’の方向の決定は、フォーカスモータ１１’自体の寿命を延ばすことができる。フォーカスモータ１１’を、種々の方向を試みるのではなく、直ちに正しい方向に駆動することができるため、フォーカスモータ１１’の使用が少なくなり、フォーカスモータ１１’の寿命の向上につながる。

このプロセスが、画像センサ１４’によって第４の画像４４を表わす画像データを取得する、などによって繰り返される。

この本発明の第１の態様の別の実施形態によれば、２つおきの画像４１、４４、４７が、ビデオ画像ストリームとして表示、記録、または転送される一方で、残りの画像４２、４３、４５、４６、４８、４９は、比較およびテストのためだけに使用される。

本発明のさらに別の実施形態によれば、図４に示した上述のデジタルビデオカメラ５’を、デジタルビデオカメラの焦点の再調節を開始させるためにフォーカスモータ１１’をいつ作動させるかを決定するために、以下のやり方で動作させることができる。動作が、図５ｃのフロー図に要約されており、図３ｃが、この実施形態に従って取得される画像を示している。

第１の画像５１を表わす画像データの取得５５２が、レンズ１２’が通常位置に配置された状態で、画像センサ１４’によって行われる。第１の画像５１を表わす画像データが、画像処理手段１６’へと転送され、シャープネス値の割り出し５５４が、表示、記録、または転送のための第１の画像５１のさらなる送信５５６の前に行われる。レンズ１２’が、第１のテスト位置５５８へと動かされる。第１のテスト位置へのレンズ１２’の移動の後または最中に、第２の画像５２を表わす画像データの取得５６０が行われる。第２の画像５２を表わす画像データが、画像処理手段１６’へと転送され、シャープネス値の割り出し５６２が行われる。

ここで、レンズ１２’が、通常位置５６４へと再び動かされ、第３の画像５３を表わす画像データの取得５６６が行われる。第３の画像５３を表わす画像データが、画像処理手段１６’へと転送され、この第３の画像５３についてのシャープネス値の割り出し５６８が、表示、記録、または転送のための第３の画像５３のさらなる送信５７０の前に行われる。

レンズ１２’が、第２のテスト位置５７２へと動かされる。第２のテスト位置へのレンズ１２’の移動の後または最中に、第４の画像５４を表わす画像データの取得５７４が行われる。次いで、第４の画像５４を表わす画像データが、画像処理手段１６’へと転送され、第４の画像５４のシャープネス値の割り出し５７６が行われる。

レンズ１２’が通常位置にあるときに取得された第１および第３の画像５１、５３のシャープネス値について、レンズ１２’が第１のテスト位置および第２のテスト位置にそれぞれ位置するときに取得された第２および第４の画像５２、５４のシャープネス値との比較５７８が、画像処理手段１６’によって行われる。第１、第２、第３、および第４の画像５１、５２、５３、５４のシャープネス値の間の比較の後または最中に、レンズ１２’が、再び通常位置５８０へと動かされる。第２の画像５２または第４の画像５４が、第１の画像５１または第３の画像５３よりもシャープであると判断５７８される場合に、焦点の再調節が開始５８２される。

次いで、レンズ１２’の種々の位置において取得された第１、第２、第３、および第４の画像５１、５２、５３、５４からのシャープネスについての情報を、フォーカスモータ１１’の方向を決定するために使用することができる。例えば、デジタルビデオカメラ５’の光学的入力に向かってレンズ１２’の通常位置の前方に位置する第１のテスト位置において取得された第２の画像５２のシャープネスが、デジタルビデオカメラ５’の光学的入力から離れる方へとレンズ１２’の通常位置の後方に位置する第２のテスト位置において取得された第４の画像５４のシャープネスと比べてより良好である場合、フォーカスモータ１１’は、フォーカスレンズ１２’を、画像センサ１４’から離れるように移動させるべくデジタルビデオカメラ５’の光学的入力に向かった位置へと駆動することができる。フォーカスモータ１１’の方向の決定は、フォーカスモータ１１’自体の寿命をさらに延ばすことができる。これは、フォーカスモータ１１を、種々の方向を試みるのではなく、直ちに正しい方向に駆動することができるためであり、フォーカスモータ１１’の使用が少なくなり、フォーカスモータ１１’の寿命の向上につながる。

次いで、図５ｃに示したとおりの工程が繰り返される。第５の画像５５が画像センサ１４’によって取得され、以下同様である。

この実施形態によれば、すべての奇数番目の画像５１、５３、５５が、ビデオ画像ストリームとして表示、記録、または転送される一方で、偶数番目の画像５２、５４、５６が、比較およびテストのためだけに使用される。

焦点の再調節を開始すべきか否か、およびいつ開始すべきかを判断するためのテストの反復を、必ずしもビデオ画像ストリームの画像のすべての取得の間において行う必要はないことを、理解すべきである。例えば、テストを、ビデオ画像ストリームの１０番目の画像が終わるたびに実行することができ、すなわち図５ａ、３ａおよび５ｂ、３ｂに示した実施形態によれば、テストがビデオ画像ストリームの画像のうちの画像１０および１１の間、ビデオ画像ストリームの画像のうちの画像２０および２１の間、などで実行され、図５ｃ、３ｃに示した実施形態によれば、テストがビデオ画像ストリームの画像のうちの画像１０〜１２の間、ビデオ画像ストリームの画像のうちの画像２０〜２２の間、などで実行される。

対象領域からの情報にもとづく焦点の再調節の開始
本発明の第１の態様の一実施形態によれば、焦点の再調節の開始が、画像の一部分からの情報にもとづき、そのような一部分は、画像の特定の対象領域である。特定の対象領域は、例えばデジタルカメラ５；５’の視野に進入する人物など、特に関心の対象である物体を含むことができる。この特定の関心の対象物を、例えば画像内の対象物を発見するように構成された画像解析プロセスによって見つけ出すことができる。画像解析プロセスの例は、移動検出、顔認識、またはナンバープレート認識であってよい。

画像内に特定の対象物が発見された場合、いつ焦点の再調節を開始すべきかについての後のテストは、その特定の対象物に焦点が合っているか否かにもとづくことができる。すなわち、焦点が合っているか否かの分析を、画像センサ１４；１４’によって取得された画像を表わしている画像データの一部分（関心の対象領域に対応する）にもとづいて実行することができる。後に特定の対象物がもはや存在しないと判断される場合には、焦点が合っているか否かのテストを、画像全体を使用して実行することができる。

画像センサ１４を通常位置とテスト位置との間で動かすように構成されたデジタルビデオカメラ５の実施形態、およびレンズ１２’を通常位置とテスト位置との間で動かすように構成されたデジタルビデオカメラ５’の実施形態の両方を、この実施形態に従って使用できることを、理解すべきである。さらに、上述した内容と同様に、デジタルビデオカメラ５の画像センサ１４またはデジタルビデオカメラ５’のレンズ１２’を、第１および第２のテスト位置の一方または両方へと動かすことができることを、当業者であれば理解できるであろう。

画像の一部分（画像内の特段の関心の領域）からの情報にもとづく焦点の再調節の開始の実施形態が、図６に示されている。第１の画像を表わす画像データの取得６００が、デジタルカメラ５；５’の画像センサ１４；１４’によって実行される。第１の画像を表わす画像データが、画像処理手段１６；１６’へと転送される。例えば、取得された画像について、第１の画像の画像データ表現内の関心の対象物または領域を特定すべく画像解析を実行することによって、対象の領域が決定６０２される。第１の画像内の対象の領域のシャープネス値の割り出し６０２が、画像処理手段１６；１６’によって行われる。第１の画像内の対象の領域のシャープネス値は、メモリ１７；１７’に保存される。第１の画像が、表示、記録、または転送のために、Ｉ／Ｏポート１８；１８’へと送信６０４される。画像センサ／レンズ１４／１２’のテスト位置への移動６０６が行われる。テスト位置への画像センサ／レンズ１４／１２’の移動の後または最中に、第２の画像を表わす画像データの取得６０８が、デジタルカメラ５、５’の画像センサ１４；１４’によって行われる。取得された第２の画像内の対象の領域のシャープネス値の割り出し６１０が、画像処理手段１６；１６’によって行われる。シャープネス値が、メモリ１７；１７’に保存される。第２の画像は、通常は、表示されず、記録されず、あるいはＩ／Ｏポート１８；１８’へと転送されることがない。

第１の画像内の対象の領域について、焦点が合っているか否かの判断６１４を行うために、第１の画像内の対象の領域のシャープネス値が、第２の画像内の対象の領域のシャープネス値と比較される。第１の画像の対象の領域のシャープネス値を、第２の画像の対象の領域のシャープネス値との比較に先立って、メモリ１７；１７’から取り出すことができる。シャープネス値の間の比較の後または最中に、画像センサ／レンズ１４／１２’が、再び通常位置へと移動６１２させられる。

第２の画像内の対象の領域が、第１の画像内の対象の領域と比べてシャープではないと判断される場合、第１の画像が、焦点が合っていると判断される。一方で、第２の画像内の対象の領域の方がシャープであると判断される場合、第１の画像が、焦点が合っていないと判断される。

第１の画像が焦点が合っていないと判断される場合、画像処理手段１６；１６’がコントローラ１５；１５’へと信号を送信し、コントローラ１５；１５’が、レンズ１２；１２’を動かし、例えば上述の山登り法を開始させることによってレンズ１２；１２’の焦点位置を見つけることで焦点の再調節を開始させるべく、フォーカスモータ１１；１１’を始動させることによって焦点の再調節を開始６１６させる。

当業者であれば、本発明が決して上述の態様および実施形態に限られないことを、理解できるであろう。例えば、画像センサを、２つの画像の取得の間において、光軸から９０度の平面内で垂直方向に移動させることができる。ぶれを軽減するために、第２の画像群が、画像が移動したか否かをチェックし、第１の画像群に属する後続の画像の取得の前のさらなる移動を垂直方向について補償し、あるいは先取りするために使用される。２つの画像の取得の間において、光軸から９０度の平面内で垂直方向に画像センサを移動させることの他の用途は、２つのビデオ画像フレームの取得の間において、画像センサの表面からほこりを除去する目的で画像センサを動かすことである。また、レンズの光に対する感度がレンズの外周に近付くにつれて低下するという口径食による問題も、垂直方向の調節によって改善することができる。第２の画像群の画像解析を通じ、センサの各角における「欠け」が同じ大きさになるように保証することによって、センサ１４；１４’の最適な垂直位置を発見することができる。

別の例によれば、２つの画像の取得の間に、画像センサを傾ける（傾きを変化させる）運動が実行される。これは、「フェンス監視」の用途において特に有用である。傾きをわずかに増加または減少させることで、元の傾きのままであることが適切であるか否かを判断することができる。焦点の調節が必要である場合、焦点の再調節のプロセスが、元の傾きにて開始され、その結果によって、より良い傾きを発見することができる。あるいは、「監視対象のフェンス」が移動または消滅した可能性がある場合、焦点の再調節のプロセスを、センサを真っ直ぐにして再開でき、結果にもとづいて最良の傾きを計算することができる。これは、視野が変化しうるパン／チルトカメラに当てはまるであろう。センサの傾きの変化は、画像の視点の変化につながる。センサの傾きは、センサの傾きがどのようであるかに応じて、画像の一部の拡大を生じさせる。用途は、センサが水平方向に傾けられる「フェンス監視」であってよく、あるいは垂直方向に傾けられ、例えば側面が垂直方向に真っ直ぐであるように高層ビルの眺めを真っ直ぐにするセンサであってよい。

さらに別の例によれば、画像解析が実行され、デジタルビデオカメラによって取得されたビデオ画像ストリーム中に関心の対象物が発見された場合に、第２の画像群の取得を、発見された対象物に応じた露出または利得などの画像パラメータの変更である異なるカメラ設定で行うことができる。例えば、利得が小さいほどノイズが少なくなり、焦点の分析においてより良好な結果がもたらされる。対象物が露出超過である場合、有効な焦点の分析のためには高周波数のデータが少なすぎるかもしれない。露出時間を変更することによって、焦点の分析を改善でき、すなわち第２の画像群について、変更された画像パラメータを、画像センサ１４またはレンズ１２’の移動との組み合わせにおいて、焦点の再調節のプロセスをいつ再開すべきかをより良好に決定するためのツールとして使用することができる。

さらに別の例によれば、いくつかの用途において、大きな被写界深度を有することが有利であると考えられ、すなわちデジタルビデオカメラによって取得されるビデオ画像ストリームの画像において２つ以上の対象物に同時に焦点が合うことが有利であると考えられる。本発明によれば、第１の画像群および第２の画像群の画像の取得の間に変更されるカメラ設定が、焦点である。次いで、第１の画像群の画像を、より良好な被写界深度を有するビデオ画像ストリームのフレームを生成するために、第２の画像群からの画像と組み合わせることができる。得られる画像は、画像内の種々の物体の間に実際には大きな距離が存在していても、種々の部分に焦点が合っているより良好な被写界深度を有する画像である。

上述の実施形態を組み合わせることが可能であることも、理解すべきである。

したがって、多数の変更および変種が、添付の特許請求の範囲の技術的範囲において可能である。

５ デジタルビデオカメラ
５’ デジタルビデオカメラ
１０ ハウジング
１０’ ハウジング
１１ フォーカスモータ
１１’ フォーカスモータ
１２ フォーカスレンズ
１２’ フォーカスレンズ
１３ アクチュエータ
１３’ アクチュエータ
１４ 画像センサ
１４’ 画像センサ
１５ コントローラ
１５’ コントローラ
１６ 画像処理手段
１６’ 画像処理手段
１７ メモリ
１７’ メモリ
１８ Ｉ／Ｏポート
１８’ Ｉ／Ｏポート
２０ ネットワーク
３１ 第１の画像
３２ 第２の画像
３３ 第３の画像
３４ 第４の画像
３５ 第５の画像
３６ 第６の画像
４１ 第１の画像
４２ 第２の画像
４３ 第３の画像
４４ 第４の画像
４５ 第５の画像
４６ 第６の画像
４７ 第７の画像
４８ 第８の画像
４９ 第９の画像
５１ 第１の画像
５２ 第２の画像
５３ 第３の画像
５４ 第４の画像
５５ 第５の画像
５６ 第６の画像

Claims (10)

1. デジタルビデオカメラ（５；５’）によって取得されるビデオ画像ストリーム中の画像の画質を改善するための方法であって、
   デジタルビデオカメラ（５；５’）によって第１の画像群を取得することと、
   前記第１の画像群の画像を前記ビデオ画像ストリームとして出力することと、
   デジタルビデオカメラ（５；５’）の画像センサ（１４、１４’）またはレンズ（１２、１２’）を、それぞれの通常位置から、該通常位置とは異なるそれぞれのテスト位置へと動かすことと、
   デジタルビデオカメラ（５；５’）の画像センサ（１４、１４’）またはレンズ（１２、１２’）が前記テスト位置にあるときに、第２の画像群の画像を取得することと、
   前記第２の画像群の取得が前記第１の画像群の取得に動的なレートで差し挟まれるように、前記デジタルカメラ（５；５’）を使用して前記第２の画像群を取得することと、
   シャープネスを分析することによって、第１の画像群の画像を第２の画像群の画像と比較することと、
   前記比較にもとづいて、前記第２の画像群の前記画像が前記第１の画像群の前記画像と比べてより良好な画質を呈するか否かを判断することと、
   前記第２の画像群の前記画像が前記第１の画像群の前記画像と比べてより良好な画質を呈する場合に、前記デジタルビデオカメラ（５；５’）について焦点の再調節の動作を開始させることと
   を含み、
   デジタルビデオカメラ（５；５’）の画像センサ（１４、１４’）またはレンズ（１２、１２’）を通常位置からテスト位置へと動かすことが、
   画像センサ（１４、１４’）またはレンズ（１２、１２’）をデジタルビデオカメラ（５；５’）の光学的入力に向かって第１のテスト位置へと動かすことと、
   画像センサ（１４、１４’）またはレンズ（１２、１２’）をデジタルビデオカメラ（５；５’）の光学的入力から遠ざかる第２のテスト位置へと動かすことと
   を含む、方法。
2. 前記第２の画像群の取得が、所定のレートで前記第１の画像群の取得に差し挟まれる、請求項１に記載の方法。
3. 前記第２の画像群の取得が、利用可能な帯域幅および／またはシステムの負荷に応じた動的なレートで前記第１の画像群の取得に差し挟まれる、請求項１に記載の方法。
4. 前記第１の画像群の画像の前記ビデオ画像ストリームとしての出力が、所定のフレームレートで行われる、請求項１〜３のいずれか一項に記載の方法。
5. 画像のシャープネスが、空間高周波数分析を使用することによって決定される、請求項１に記載の方法。
6. 第１の画像群の画像の取得の前に、画像センサ（１４、１４’）またはレンズ（１２、１２’）をそれぞれの通常位置へと動かすこと
   をさらに含む、請求項１〜５のいずれか一項に記載の方法。
7. 第１の画像群の画像内の特段の関心の対象領域を特定すること
   をさらに含んでおり、
   第１の画像群の画像を第２の画像群の画像と比較することが、第１の画像群の画像の特段の関心の対象領域を含む一部分を、第１の画像群の画像の関心の対象領域に対応する第２の画像群の画像の一部分と比較することによって実行される、請求項１〜６のいずれか一項に記載の方法。
8. ビデオ画像ストリーム中の画像の画質を改善するためのデジタルビデオカメラ（５；５’）であって、
   画像データを取得するように構成された画像センサ（１４、１４’）と、
   画像センサ（１４、１４’）によって取得された前記画像データを画像へと処理し、ビデオ画像ストリームとして画像を出力するように構成された画像処理手段（１６、１６’）と、
   画像センサ（１４、１４’）またはレンズ（１２、１２’）を、それぞれの通常位置から、該通常位置とは異なるそれぞれのテスト位置へと動かすように構成された移動手段と
   を備えており、
   画像センサ（１４、１４’）またはレンズ（１２、１２’）を、通常位置からテスト位置へと動かすことが、画像センサ（１４、１４’）またはレンズ（１２、１２’）をデジタルビデオカメラ（５；５’）の光学的入力に向かって第１のテスト位置へと動かすことと、画像センサ（１４、１４’）またはレンズ（１２、１２’）をデジタルビデオカメラ（５；５’）の光学的入力から遠ざかる第２のテスト位置へと動かすこととを含み、
   画像処理手段（１６、１６’）が、画像センサ（１４、１４’）またはレンズ（１２、１２’）がそれぞれの通常位置に位置するときに取得された画像データから処理された第１の画像の画質を、画像センサ（１４、１４’）またはレンズ（１２、１２’）がそれぞれのテスト位置に位置するときに取得された画像データから処理された第２の画像と、シャープネスを分析することによって比較するようにさらに構成されており、
   前記第２の画像の取得が前記第１の画像の取得に動的なレートで差し挟まれるように、前記移動手段および前記画像センサ（１４、１４’）が構成されており、
   画像処理手段（１６、１６’）が、前記比較にもとづいて、前記第２の画像が前記第１の画像と比べてより良好な画質を呈するか否かを判断するようにさらに構成されており、
   前記画像処理手段（１６、１６’）が、前記第２の画像が前記第１の画像と比べてより良好な画質を呈する場合に、当該デジタルビデオカメラ（５；５’）において焦点の再調節の動作を開始させるようにさらに構成されている、デジタルビデオカメラ（５；５’）。
9. 前記画像処理手段が、空間高周波数分析を使用することによって画像のシャープネスを決定するように構成されている、請求項８に記載のデジタルビデオカメラ（５、５’）。
10. 前記移動手段が、画像センサ（１４、１４’）またはレンズ（１２、１２’）をそれぞれのテスト位置から再びそれぞれの通常位置へと動かすようにさらに構成されている、請求項８または９に記載のデジタルビデオカメラ（５、５’）。

Images