JP5427935B2 - 場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するためのカメラおよび方法 - Google Patents

Description

本発明は、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するための方法に関する。本発明は、処理能力を有する装置に対して実行されるときに上記の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体にも関する。さらに、本発明は、上記のコンピュータ可読記録媒体を実行する処理能力を有する装置にも関する。さらに、本発明は、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するように構成されたカメラにも関する。

カメラは、建物、道路、店などを監視するために一般的に使用されている。特に、カメラは、事象を動きが存在する形で検出しかつ／または追跡するために、場面を監視するように使用される。

カメラによって監視された事象の動きのレベルに応じて、カメラによって監視された場面を取り込むビデオ画像ストリーム内の一連の画像フレーム内の画像フレームの露光時間を調整することができる。例えば、米国特許出願公開第２００８／００４３１１２号明細書によれば、取り込まれた場面内に動きが無いまたは低レベルである限り、長い露光時間が使用される。これに対して、監視された場面が高レベルの動きを有する場面を含んでいる場合、露光のより短い露光時間への切り替えが行われる。しかしながら、この方法での問題は、より短い露光時間に切り替わると、露光時間が低レベルの動きを有する事象を監視するには短くなりすぎることである。特に薄暗い状態の間に露光時間が短すぎる場合、低レベルの動きを有する事象の細部を識別するのは困難である。さらに、高レベルの動きを有する事象の検出に失敗した場合、したがって長い露光時間が使用された場合、事象は取り入れられた画像においてぼやける。

上記の一解決法は、２つ以上のカメラ、すなわち異なる露光時間を有する異なるカメラを使用することである。しかしながら、このような既知の解決法は費用がかかり、使用するのが厄介である。

本発明の一目的は、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するのを改善できるようにすることである。
本発明の別の目的は、動きの多い事象をぼやけさせずに動きの少ないまたは無い事象の信号対雑音比の向上を可能にすることである。

これらの目的、それにまた以下の説明から明らかになる追加の目的も達成するために、本発明は、請求項１によれば、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するための方法を提供し、請求項９によれば、処理能力を有する装置に対して実行されるときに請求項１に記載の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体を提供し、請求項１０によれば、請求項９に記載のコンピュータ可読記録媒体を実行する処理能力を有する装置を提供し、請求項１１によれば、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するように構成されたカメラを提供する。本発明の他の実施形態は従属請求項に開示されている。

特に本発明の第１の態様によれば、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するための方法が提供される。この方法は、複数の画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む場面の領域を決定するステップと、前記画像フレームの画像フレーム領域を決定するステップであって、画像フレーム領域が場面の少なくとも１つの領域に対応する、ステップと、いくつかの画像センサフレームからの画像データを使用して各画像フレーム領域を生成することにより各画像フレーム領域に対する領域特有の露光時間をエミュレートすることによって画像フレームの露光を最適化するステップであって、特定の画像フレーム領域を生成するために使用される画像センサフレームの数が場面の少なくとも１つの対応する領域内の動きのレベルに基づいている、ステップと、を含む。

これによれば、場面の対応する領域内の動きのレベルに基づいて、異なる画像フレーム領域に対する異なる露光時間がエミュレートされ、それによって画像フレームの露光は最適化される。これにより、低レベルの動きを有する場面の領域は長いエミュレート済み露光時間を使用して取り入れることができ、高レベルの動きを有する場面の領域は短い露光時間を使用して取り入れることができる。したがって、速く動く物体は、静止物体またはゆっくり動く物体の細部の画質が高めることができるので、ぼやけることなく同時に取り入れることができる。場面の静的領域またはごく低レベルの動きを有する場面の領域を描写する画像フレームの領域は高い信号対雑音比を有する。これは、画像フレームのこれらの領域が複数の画像センサフレームからの画像データを使用することによって生成されるからである。

各画像フレーム領域を生成するために使用される画像データは、場面の対応する少なくとも１つの領域に由来する画像データとすることができる。

少なくとも１つの画像フレーム領域が、２つ以上の画像センサフレームからの画像データを混合することによって生成されうる。画像フレーム領域は、２つ以上の画像センサフレームからの画像データが画像フレーム領域を生成するために使用されており、高い信号対雑音比を呈する。２つ以上の画像センサフレームからの画像データを混合するのは、２つ以上の画像センサフレームからの画像データを追加および／または平均化することによって行われる。

場面の領域内の動きのレベルは、場面の領域内の動きの事象の速度および／または場面の領域内の動きの事象の数に対応することができる。速度は、場面の領域内の動きの事象の実速度でも場面の領域内の動きの事象の平均速度でもよい。すなわち、速度（実速度または平均速度）は動きの存在を定義するために使用することができ、動く物体の数は動きのレベルを定義するために使用することができる。あるいは、動く物体の数は動きの存在を定義することができ、速度（平均速度または実速度）は動きのレベルを定義することができる。当業者は、動きのレベルを定義する他の多くの選択肢もまた想定されうるが、これらの選択肢はすべてどれだけの動きがあるのかを示すある種の基準を与えることに気付く。

各画像センサフレームは単位露光時間を使用して取り込むことができる。

各画像フレーム領域に対する領域特有の露光時間は、各画像センサフレームに対する単位露光時間と同等であるかまたはそれより長いものとすることができる。

前記複数の画像センサフレームは、場面の異なる領域の動きのレベルの統計マップを構成するために使用することができ、異なるレベルの動きを含む場面の領域を決定する前記ステップは、前記統計マップを分析することによって行うことができる。統計マップを使用することにより、単一事象を逃す機会は減少することになる。

本発明の第２の態様によれば、処理能力を有する装置に対して実行されるときに上記の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体が提供される。

本発明の第３の態様によれば、上記のコンピュータ可読記録媒体を実行する処理能力を有する装置が提供される。

本発明の第４の態様によれば、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するように構成されたカメラが提供される。このカメラは、画像データを画像センサフレームとして取り込み出力するように構成された画像センサと、複数の画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む場面の領域を決定するように構成された動き検出モジュールと、前記画像フレームを生成するように構成された画像フレーム生成モジュールと、を備え、前記画像フレーム生成モジュールは前記画像フレームを複数の画像フレーム領域に分割するように構成され、画像フレーム領域は場面の少なくとも１つの領域に対応し、前記画像フレーム生成モジュールは、いくつかの画像センサフレームからの画像データを使用することにより各画像フレーム領域を生成するように構成され、特定の画像フレーム領域を生成するために使用される画像センサフレームの数は、場面の対応する領域内の動きのレベルに基づいており、それにより、前記画像フレーム生成モジュールは、場面の対応する領域内の動きのレベルに基づいて、異なる画像フレーム領域に対する異なる露光時間をエミュレートするように構成され、それによって画像フレームの露光が最適化される。

前記画像フレーム生成モジュールは、場面の対応する少なくとも１つの領域に由来する画像データを使用することにより各画像フレーム領域を生成するように構成することができる。

前記画像フレーム生成モジュールは、２つ以上の画像センサフレームからの画像データを混合することによって少なくとも１つの画像フレーム領域を生成するように構成することができ、前記画像フレーム生成モジュールは、２つ以上の画像センサフレームからの画像データを追加および／または平均化することによって２つ以上の画像センサフレームからの画像データを混合するように構成することができる。

前記動き検出モジュールは、前記複数の画像センサフレームを使用することにより場面の異なる領域の動きのレベルの統計マップを構成するように構成することができ、前記動き検出モジュールは、前記統計マップを分析することにより異なるレベルの動きを含む場面の領域を決定するように構成することができる。

次に、本発明のこの態様およびその他の態様について、本発明の実施形態を示す添付図面を参照しながらより詳細に説明する。これらの図面は、本発明を特定の実施形態に限定すると見なされるべきでない。代わりに、これらの図面は本発明を説明しかつ理解するために使用される。

本発明の一実施形態によるデジタル・ネットワーク・カメラの概略図である。 本発明の一実施形態による方法を示す概略フローチャートである。

図１に、本発明の一実施形態によるカメラ１の概略図を示す。カメラ１は、例えばデジタル・ネットワーク・ビデオ・カメラとすることができる。カメラは、例えば監視目的に使用することができる。さらに、カメラ１は、固定カメラまたはパン／チルト機能を有するカメラとすることができる。本発明の理解を容易にするために、本発明に関連しないカメラの標準機能については説明しない。カメラ１は、ハウジング２、レンズ３、画像センサ４、動き検出モジュール６、画像フレーム生成モジュール８、メモリ１０、およびプロセッサ１２を備える。

画像センサ４は、カメラ１によって見られている場面を表す画像データを取り込みかつ前記画像データを画像センサフレームとして出力するように構成される。画像センサ４は、例えば、入射光を記録するための電荷結合素子（ＣＣＤ）センサ、ＣＭＯＳセンサ、または類似のものとすることができる。あるいは、画像センサ４は、ボロメータやＩＲ検出器などの、非可視光を記録するセンサとすることができる。

通常、各画像センサフレームは単位露光時間を有している。単位露光時間は、場面内の光のレベルに応じてかつ／または場面内の動きの全体的なレベルに応じて変化することができる。

動き検出モジュール６は、画像センサ４から出力されている画像センサフレームの画像データを分析するように構成される。通常、複数の画像センサフレームに対応する画像データがビデオシーケンスを構成していて、動きの存在を決定するために分析される。動き検出方法の例は、ビデオシーケンスの画像ボリュームの時空間的変化を分析することを含む。この種の方法は当業者によく知られている。この種の方法の非限定的な例が米国特許出願公開第２０１０／００８０４７７号明細書に記述されている。

上記の動き検出方法から、動きの事象、ならびにこれらの事象が生じている場面内の場所、これらの事象の数および／または動きのこれらの事象の速度を見出すことができる。「動きの事象（ｅｖｅｎｔ ｏｆ ｍｏｔｉｏｎ）」という用語は、本願の状況では、動きの存在と理解されるべきである。したがって、カメラによって見られている場面の異なる領域内の動きのレベルを決定することができる。場面の領域内の「動きのレベル（ｌｅｖｅｌ ｏｆ ｍｏｔｉｏｎ）」という用語は、本願の状況では、場面の領域内の動きの事象、すなわち動く物体の速度、および／または場面の領域内の動きの事象の数と理解されるべきである。速度は、場面の領域内の動きの事象の実速度でも場面の領域内の動きの事象の平均速度でもよい。すなわち、速度（実速度または平均速度）は動きの存在を定義するために使用することができ、動く物体の数は動きのレベルを定義するために使用することができる。あるいは、動く物体の数は動きの存在を定義することができ、速度（実速度または平均速度）は動きのレベルを定義することができる。当業者は、動きのレベルを定義する他の多くの選択肢もまた想定されうるが、これらの選択肢はすべてどれだけの動きがあるのかを示すある種の基準を与えることに気付く。「場面の領域（ｒｅｇｉｏｎ ｏｆ ｔｈｅ ｓｃｅｎｅ）」という用語は、本願の状況では、複数の画像を取り込むように構成されているカメラの場面の領域と理解されるべきである。領域は、例えば画素座標系を使用して、カメラの画像ビュー内の座標として表すことができるが、他の表示を使用することもできる。場面の各領域のサイズおよび場面内の動きの事象の程度に応じて、動きの事象は場面の複数の領域を網羅することができる。したがって、一実施形態では、動きの事象の決定された存在が場面の複数の領域の存在となりうる。別の実施形態によれば、カメラによって見られた場面内の各領域は、カメラのパン／チルト設定とともに、位置、例えばカメラの現在の画像ビュー内の１つまたは複数の画素によって表される（すなわち、前記複数の画像センサフレームのうちの１つの中の画素座標によって表される）。これは、パン／チルト機能を有するカメラに適用可能である。したがって、パン／チルトカメラによって見られている場面内の領域を決定することができる。

動き検出モジュール６は、複数の画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む、カメラによって見られた場面の領域を決定するように構成される。動き検出モジュール６の最も簡単な形では、前記複数の画像センサは２つである。これらの２つの画像センサフレーム内に描かれた場面の異なる領域に対して、次いで、動きのレベルは、上記の方法のうちのいずれか１つ、あるいは画像データを２つの画像センサフレームの間で比較することにより場面の異なる領域内の動きのレベルを決定するための他の適切な方法に従って決定される。上記方法のうちのいくつかは、そしてまた場面の異なる領域内の動きのレベルを決定するために使用される他の方法も、異なる領域の動きの前記レベルを決定するときに、３つ以上の画像センサフレームを利用することができる。したがって、動き検出モジュール６は、複数の画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む場面の領域を決定するように構成される。したがって、カメラ１によって見られている場面は、動きのレベルに応じて複数の領域に分割される。

一実施形態によれば、動き検出モジュール６は、複数の画像センサフレームを使用することにより場面の異なる領域の動きのレベルの統計マップを構成するように構成される。このマップは経時的に構築することができ、あるいは歴史的データから構成することもできる。動き検出モジュール６はさらに、前記統計マップを分析することにより異なるレベルの動きを含む場面の領域を決定するように構成される。この実施形態の場合、前記複数の画像センサフレームは多数の画像センサフレームであり、例えば、数分間、数時間または数日間収集された画像センサフレームである。使用する通常のフレームレートは１秒当たり６０フレームである。しかし、当業者によって良く知られているように、用途に応じて他のフレームレートを使用することもできる。この多数の画像センサフレームは、カメラによって見られた場面の異なる領域内の動きのレベルのマップを構成するために使用される。

動きのレベルの統計マップは、複数の画像センサフレームを動きの事象に対して分析することによって構築される。一般に、動きの事象を表すために使用されるデータは、動き検出モジュール６内の動き検出アルゴリズムからの出力データである。動き検出アルゴリズムからの出力データは、事象の、その事象が起きた場面の領域内での速度を含むことができる。複数の画像センサフレームを分析しているときに見出された動きの各事象は統計マップに記録される。したがって、統計マップは、場面の異なる領域の動きのレベルを表す情報を含むように構築される。この種の統計マップは、３次元ヒストグラムまたは頻度マップで表すことができる。したがって、３次元ヒストグラムまたは頻度マップ内の場面の領域に対応する各ビンは、動きの事象がその特定の位置で何回起きているのかを示しかつ／またはこれらの動きの事象の速度がどれほどであるかを示す値である動きのレベルを含んでいる。速度は、場面の領域内の動きの事象の実速度でも場面の領域内の動きの事象の平均速度でもよい。別法として、統計マップは数式で表すことができ、例えば、面は多項式で表すことができ、ここで場面の各領域内の動きのレベルは特定の位置でこの多項式の値である。したがって、場面の前記決定された領域内の動きのレベルは、動きの事象が全体的に出現する領域を示し、そしてまた動きの事象が全体的には出現しない領域も示す。これについて以下の例でさらに説明する。カメラが道路沿いの店の入口を監視する一方で、依然として舗道の一部および店の前の道路を「見ている」のを想像されたい。この場面では、通常、道路上での自動車の動きは多く、舗道上での人々の動きはいくぶん少なく、建物の壁を覆う画像部分上での動きはさらに少ない。したがって、上述した場面の異なる領域の動きのレベルの統計マップを使用することにより、道路に対応する領域内では動きのレベルが高く、舗道に対応する領域内では動きのレベルがより低く、建物の壁に対応する領域内では動きのレベルがさらに低いことを統計的に見出すことができる。

統計マップはダイナミックに更新することができる。すなわち、新たに取り込まれた画像センサフレームからの新たに見出された動きの事象に関するデータは、取り込まれる画像データが増大するにつれて統計マップを経時的に更新するために使用することができる。更新は様々な方法でトリガすることができる。一例によれば、更新は、一定量の画像データが取り込まれたときにトリガされる。別の例によれば、更新は、最終更新から一定時間が経過したことによってトリガされる。更新は、例えば、新たに取り込まれ分析された画像センサフレームに由来する動きの事象に関するデータが統計マップを更新するために単純に使用されるものとすることができる。別の例によれば、更新は、古い動きの事象を削除することによって行うことができる。さらなる実施形態によれば、新たに取り入れられ分析された画像センサフレームに由来する事象に関するデータが統計マップを更新するために使用され、古い動きの事象に対応するデータはマップから除去される。

画像フレーム生成モジュール８は、カメラ１によって見られている場面を取り込むビデオ画像ストリーム内に一連の画像フレームを生成するように構成される。画像フレーム生成モジュール８によって生成されている各画像フレームは複数の領域に分割され、１つの画像フレーム領域が場面の１つの領域に対応している。画像フレーム生成モジュール８は、１つまたは複数の画像センサフレームからの画像データを使用することにより、場面を取り込むビデオ画像ストリーム内に前記一連の画像フレーム内の画像フレームの領域を生成するように構成される。前記画像フレームの特定領域を生成するために使用される画像センサフレームの数は、場面の対応する領域内の動きのレベルに基づいている。したがって、場面の対応する領域内の動きのレベルに基づいて、画像フレームの異なる領域に対する異なる露光時間がエミュレートされる。それによって前記画像フレームの露光が最適化される。高レベルの動きを有する前記画像フレームの領域は、１つだけまたは第１の少数の画像センサフレームからの画像データを使用して生成される。したがって、これらの領域に対しては短い露光時間がエミュレートされる。これに対して、低レベルの動きを有する前記画像フレームの領域は、第２のいくつかの画像センサフレームからの画像データを使用して生成される。したがって、これらの領域に対しては長い露光時間がエミュレートされる。前記第２のいくつかの画像センサフレームは、前記第１の少数の画像センサフレームより多い。すなわち、特定の画像フレーム領域を生成するために使用される画像センサフレームの数は、場面の対応する領域内の動きのレベルに依存する。したがって、低レベルの動きを有する前記画像フレームの第１の領域に対する露光時間は、高レベルの動きを有する画像フレームの第２の領域に対する第２の露光時間より長い。

画像フレームの領域内の露光時間をエミュレートするために使用される画像センサフレームの数は、異なるレベルの動きを含む場面の領域を決定するために使用される画像センサからの複数の画像センサフレームより多くすることができる。その逆もまた可能である。すなわち、画像フレームの領域内の露光時間をエミュレートするために使用された画像センサからの画像センサフレームの数は、異なるレベルの動きを含む場面の領域を決定するために使用される複数の画像センサフレームより少なくする（または同量とする）ことができる。

画像フレームの領域を生成するために使用される画像センサの数が２つ以上である場合、画像フレーム生成モジュール８は、複数の画像センサフレームからの画像データを追加することにより前記数の画像センサフレームからの画像データを混合することによって前記画像フレームの領域を生成するように構成される。別法として、画像フレーム生成モジュール８は、前記数の画像センサフレームからの画像データを平均化することにより前記数の画像センサフレームからの画像データを混合することによって前記画像フレームの領域を生成するように構成される。いくつかの画像センサフレームからの画像データを追加または平均化することによってより長い露光時間をエミュレートすることにより、いわゆる画像スタッキング（今日、天体写真術の分野で広く使用されている）により、信号対雑音比が増大する。

動き検出モジュール６および／または画像フレーム生成モジュール８は、ハードウェアまたはソフトウェアを使用して実装されうることが分かる。ソフトウェアで実装される場合、ソフトウェアは、カメラ１のプロセッサ１２によって実行されるようにするために、コンピュータ可読媒体、例えばカメラ１のメモリ１０に記録することができる。

図２は、場面を取り込む一連の画像フレーム内の画像フレームの露光をその場面内の動きのレベルに基づいて最適化するための方法の一実施形態による概略フローチャートを示す。この方法は、以下のステップを含む。すなわち、複数の前記画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む場面の領域を決定するステップ１００と、前記画像フレームの画像フレーム領域を決定するステップ１０２であって、画像フレーム領域が場面の少なくとも１つの領域に対応する、ステップ１０２と、いくつかの画像センサフレームからの画像データを使用して各画像フレーム領域を生成することにより各画像フレーム領域に対する領域特有の露光時間をエミュレートすることによって画像フレームの露光を最適化するステップ１０４であって、特定の画像フレーム領域を生成するために使用される画像センサフレームの数が場面の少なくとも１つの対応する領域内の動きのレベルに基づいている、ステップ１０４と、を含む。

ステップ１００の間、複数の画像センサフレームが分析され、動きの事象が検出される。動きの事象は通常、動き検出アルゴリズムによって識別される。場面の各領域に対する動きの事象の数および／または場面の各領域に対する動きの事象の速度は、場面の各特定領域に対する動きのレベルを見出すために決定される。

各画像フレーム領域を生成するために使用される画像データは、場面の対応する少なくとも１つの領域に由来する画像データである。２つ以上の画像センサフレームからの画像データが使用される場合、画像データは、画像データを追加および／または平均化することによって混合される。

一実施形態によれば、場面内の動きのレベルに基づいて、場面を取り込む一連の画像フレーム内の画像フレームの露光を最適化するステップは、複数の画像センサフレームからの画像データに基づいて、第１のレベルの動きを含む場面の第１の領域および第２のレベルの動きを含む場面の第２の領域を決定するステップと、前記画像フレームの第１の領域に対する第１の露光時間および前記画像フレームの第２の領域に対する第２の露光時間をエミュレートすることにより画像フレームの露光を最適化するステップであって、前記画像フレームの第１の領域が場面の第１の領域に対応し、前記画像フレームの第２の領域が場面の第２の領域に対応する、ステップと、を含む。露光時間のエミュレーションは、第１のいくつかの画像センサフレームからの画像データを使用することにより前記画像フレームの第１の領域を生成し、前記画像フレームの第１の領域を生成するために使用される画像センサフレームの第１の数が場面の第１の領域内の動きのレベルに基づいていること、および、第２のいくつかの画像センサフレームからの画像データを使用することにより前記画像フレームの第２の領域を生成し、前記画像フレームの第２の領域を生成するために使用される画像センサフレームの第２の数が場面の第２の領域内の動きのレベルに基づいていることによって行われる。画像フレームの第１の領域を生成するために使用される画像データは場面の第１の領域に由来する画像データであり、画像フレームの第２の領域を生成するために使用される画像データは場面の第２の領域に由来する画像データである。第１のレベルの動きは第２のレベルの動きより少なく、前記露光時間は前記第２の露光時間より長い。前記画像フレームの第１の領域を生成するために使用される画像センサフレームの第１の数は２つ以上であり、前記画像フレームの第２の領域を生成するために使用される画像センサフレームの前記第２の数は１つまたは複数である。第２のエミュレートされる露光時間は、前記複数の画像センサフレームのうちのそれぞれの個々の画像センサフレームに対する露光時間と同じかまたはそれより長い。すべての画像センサフレームは単位露光時間を有している。前記第１の領域内の動きのレベルおよび前記第２の領域内の動きのレベルは、対応する領域内の動きの事象の実速度または平均速度に対応しかつ／または対応する領域内の動きの事象の数に対応する。前記画像フレームの領域を生成するために使用される画像センサフレームの数が２つ以上である場合、前記画像フレームの領域を生成するのは、いくつかの画像センサフレームからの画像データを追加すること、および／またはいくつかの画像センサフレームからの画像データを平均化することによっていくつかの画像センサフレームからの画像データを混合することにより行われる。

要約すると、本発明によれば、カメラによって見られているまたは監視されている場面の異なる領域内の動きのレベルを決定するために、少なくとも２つの画像センサフレームが比較される。場面を取り込むビデオ画像ストリーム内の一連の画像フレーム内の画像フレームの露光は、場面の対応する異なる領域内の動きのレベルに基づいて局所的に（画像フレームの領域内で）最適化される。画像フレームの露光の最適化は、画像フレームの異なる領域に対する異なる露光を局所的にエミュレートすることによって行われる。ビデオ画像ストリーム内の前記一連の画像フレームの画像フレームの露光は、異なる数の画像センサフレームからの画像データを使用することにより前記画像フレームの異なる領域を生成することにより前記画像フレームの異なる領域に対する異なる露光時間を局所的にエミュレートすることによって最適化される。特定領域に使用されるべき画像センサフレームの数は、場面の対応する領域の動きのレベルに基づいている。２つ以上の画像センサフレームからの画像データが画像フレームの特定領域を生成するために使用される場合、前記２つ以上の画像センサフレームからの画像データは追加および／または平均化によって混合される。したがって、異なる画像フレーム領域に対する異なる露光時間は場面の対応する領域内の動きのレベルに基づいてエミュレートすることができ、それによって画像フレームの露光は最適化される。

当業者は、本発明が上述した実施形態に決して限定されないことに気付く。

例えば、本発明はデジタルカメラとアナログカメラのどちらにも適用可能である。今日のインテリジェント・アナログ・カメラでは、デジタル画像処理がカメラ内で行われ、次いでデジタル信号がカメラを出る前にアナログ信号に変換される。また、アナログカメラに接続された画像Ａ／Ｄコンバータを使用して、より単純なアナログカメラを使用することができる。

さらに、カメラ１は、ネットワークに接続すること、独立型のカメラとすること、またはシステム内に他の方法で接続することができる。

さらに、複数の画像は、静止画像でも動画像でもよく、あるいはそれらを組み合わせたものでもよい。

さらに、本発明はカメラ内に実装される必要はなく、代わりに、カメラおよび処理ユニットを備えるカメラシステム内に実装することができる。したがって、カメラは、例えばネットワークを通じて処理ユニットに接続される。この実施形態によれば、カメラは前記画像センサフレームを取り込みかつ生成するように構成され、処理ユニットは画像データを処理するように構成される。したがって、処理ユニットは、前記動き検出モジュール６、前記画像フレーム生成モジュール８、前記メモリ１０、および前記プロセッサ１２を備える。複数のカメラを処理ユニットに接続することもでき、処理ユニットは複数のカメラのそれぞれ１つによって取り込まれた画像を処理するように構成される。

したがって、多くの変更形態および変形形態が添付の特許請求の範囲内で可能である。

１ カメラ
２ ハウジング
３ レンズ
４ 画像センサ
６ 動き検出モジュール
８ 画像フレーム生成モジュール
１０ メモリ
１２ プロセッサ

Claims (15)

1. 場面を取り込む一連の画像フレーム内の画像フレームを前記場面内の動きのレベルに基づいて生成する方法であって、一連の画像フレーム内の前記画像フレームが最適化された露光を有し、
   前記場面を表す画像センサフレームにアクセスするステップと、
   複数の前記画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む前記場面の領域を決定するステップ（１００）と、
   前記画像フレームの画像フレーム領域を決定するステップ（１０２）であって、画像フレーム領域が前記場面の前記領域のうちの少なくとも１つに対応する、ステップ（１０２）と、
   いくつかの前記画像センサフレームからの画像データを使用して各画像フレーム領域を生成することにより各画像フレームの領域に対する領域特有の露光時間をエミュレートすることによって前記画像フレームの露光を最適化するステップ（１０４）であって、特定の画像フレーム領域を生成するために使用される前記画像センサフレームの数が前記場面の前記少なくとも１つの対応する領域内の前記動きのレベルに基づいており、前記場面の領域内の前記動きのレベルが、前記場面の前記領域内の動きの事象の速度および前記場面の前記領域内の動きの事象の数に対応する、ステップ（１０４）と、
   を含む方法。
2. 各画像フレーム領域を生成するために使用される前記画像データが、前記場面の前記対応する少なくとも１つの領域に由来する画像データである、請求項１に記載の方法。
3. 少なくとも１つの画像フレーム領域が、２つ以上の画像センサフレームからの画像データを混合することによって生成される、請求項１または２に記載の方法。
4. ２つ以上の画像センサフレームからの画像データの混合が、２つ以上の画像センサフレームからの画像データを追加および／または平均化することによって行われる、請求項３に記載の方法。
5. 各画像センサフレームが単位露光時間を使用して取り込まれる、請求項１乃至４のいずれか一項に記載の方法。
6. 各画像フレーム領域に対する領域特有の露光時間が、各画像センサフレームに対する前記単位露光時間と同等であるかまたはそれより長い、請求項５に記載の方法。
7. 前記複数の画像センサフレームが、前記場面の異なる領域の動きのレベルの統計マップを構成するために使用され、異なるレベルの動きを含む前記場面の領域を決定する前記ステップが、前記統計マップを分析することによって行われ、前記統計マップは、特定の位置で起きる動きの事象の頻度を示す、請求項１乃至６のいずれか一項に記載の方法。
8. 前記画像センサフレームから得られた動きの事象に関するデータをもとに、前記統計マップが経時的に更新される、請求項７に記載の方法。
9. 処理能力を有する装置（１）に対して実行されるときに請求項１乃至７のいずれか一項に記載の方法を実施するためのプログラムを記録しているコンピュータ可読記録媒体（１０）。
10. 請求項９に記載のコンピュータ可読記録媒体（１０）を実行する処理能力を有する装置（１０）。
11. 場面を取り込む一連の画像フレーム内の画像フレームを前記場面内の動きのレベルに基づいて生成するように構成されたカメラ（１）であって、一連の画像フレーム内の前記画像フレームが最適化された露光を有し、
    画像データを画像センサフレームとして取り込み出力するように構成された画像センサ（３）と、
    前記画像フレームを生成するように構成された画像フレーム生成モジュール（８）と
    を備え、
    前記画像フレーム生成モジュール（８）が、前記画像フレームを複数の画像フレーム領域に分割するように構成され、
    前記画像フレーム生成モジュール（８）が、いくつかの前記画像センサフレームからの画像データを使用することにより各画像フレーム領域を生成するように構成され、
    複数の前記画像センサフレームからの画像データに基づいて、異なるレベルの動きを含む前記場面の領域を決定するように構成された動き検出モジュール（６）であって、画像フレーム領域が前記場面の前記領域のうちの少なくとも１つに対応する、動き検出モジュール（６）を特徴とし、
    特定の画像フレーム領域を生成するために使用される前記画像センサフレームの数が、前記場面の前記少なくとも１つの対応する領域内の前記動きのレベルに基づいており、前記場面の領域内の前記動きのレベルが、前記場面の前記領域内の動きの事象の速度および前記場面の前記領域内の動きの事象の数に対応し、
    それにより、前記画像フレーム生成モジュール（８）が、前記場面の少なくとも１つの対応する領域内の動きのレベルに基づいて、異なる画像フレーム領域に対する異なる露光時間をエミュレートするように構成され、それによって前記画像フレームの前記露光が最適化される、カメラ（１）。
12. 前記画像フレーム生成モジュール（８）が、前記場面の前記対応する少なくとも１つの領域に由来する画像データを使用することにより各画像フレーム領域を生成するように構成される、請求項１１に記載のカメラ（１）。
13. 前記画像フレーム生成モジュール（８）が、２つ以上の画像センサフレームからの画像データを混合することによって少なくとも１つの画像フレーム領域を生成するように構成され、前記画像フレーム生成モジュール（８）が、２つ以上の画像センサフレームからの画像データを追加および／または平均化することによって２つ以上の画像センサフレームからの画像データを混合するように構成される、請求項１１または１２に記載のカメラ（１）。
14. 前記動き検出モジュール（６）が、前記複数の画像センサフレームを使用することにより前記場面の異なる領域の動きのレベルの統計マップを構成するように構成され、前記動き検出モジュール（６）が、前記統計マップを分析することにより異なるレベルの動きを含む前記場面の前記領域を決定するように構成され、前記統計マップは、特定の位置で起きる動きの事象の頻度を示す、請求項１１乃至１３のいずれか一項に記載のカメラ（１）。
15. 前記画像センサフレームから得られた動きの事象に関するデータをもとに、前記統計マップが経時的に更新される、請求項１４に記載のカメラ（１）。

Images