JP6543319B2 - ビデオカメラの赤外線カットフィルタを制御する方法 - Google Patents

Description

本発明は、ビデオカメラの分野に関する。具体的には、本発明は、ビデオカメラの赤外線カットフィルタの制御に関する。

日中用の機能と夜間用の機能をどちらも提供するビデオカメラが存在する。こうしたカメラは、屋外に設置して使用するか、または屋内の照明不足の環境で使用するように設計されている。日中モードのとき、即ちシーンにおける明るさが一定レベルを超えているときは、カメラはカラー画像を作り出す。明るさが一定レベルを超えて減退すると、カメラは自動的に夜間モードに切り替わり、近赤外（ＩＲ）光を利用して高画質の白黒画像を作り出す。

７００ｎｍから約１，０００ｎｍの範囲にわたる近赤外光は、人間の目で見える範囲を超えているが、ほとんどのカメラセンサで検知可能であり、利用可能である。カメラは、日中モードのときにはＩＲカットフィルタを使用してＩＲ光を遮断し、それによって人間の目で見えるとおりの画像の色を歪めないようにする。カメラが夜間モードのときには、ＩＲカットフィルタは取り外され、それによってカメラの光感度が０．００１ルクスかそれ未満にまで低下し得る。

公開番号ＵＳ２０１５／１３８３６８ Ａ１の米国特許出願は、測定された明るさの値によって、ＩＲカットフィルタを撮像光学系の光路に挿入しまた光路から取り外し得るＩＲカットフィルタを有する、撮像装置に関する。

ＩＲカットフィルタの状態が変化したとき、即ち入／切されたときには、カメラにキャプチャされている映像に急激な変化が生じるであろう。これは部分的には色が取り入れられるか取り除かれるかによるものであり、また部分的には可視スペクトル内とＩＲスペクトル内とで物体が違って見えるからである。この変化は、映像の外観に影響するのみならず、映像のエンコーディングの効率と品質にもインパクトを与える。

ＭＰＥＧ−４及びＨ．２６４といった周知のビデオコーディング技術は、フレーム間予測を用いて一連のフレーム間の映像データを縮小する。これには、差分コーディングやブロックベース動き補償といった技法が関係している。差分コーディングでは、１つのフレームが参照フレームと比較され、参照フレームから変化があったピクセルだけがコーディングされる。ブロックベース動き補償では、参照フレーム内のマッチングブロックを探すことによって、新しいフレームをブロック単位で予測することができる。

フレーム間予測では、各フレームはイントラフレーム（例えばＨ．２６４では、Ｉフレームと呼ばれることもある）やインターフレーム（例えばＨ．２６４では、ＰフレームまたはＢフレームと呼ばれることもある）といった、ある型のフレームに分類される。イントラフレームは自己完結型のフレームであり、他の画像を一切参照することなく独立してデコードすることができる。具体的には、イントラフレームをエンコードするときには、予測、変換、及びエントロピーコーディングを介して、単一のフレームの所定のチャネル内のピクセルの空間的な冗長性を利用することによって、輝度チャネル及び色度チャネルがエンコードされる。これに対してインターフレームでは、フレームをコーディングするために、先行するイントラフレーム及び／またはインターフレームの部分が参照される。インターフレームをエンコードする際には、別々のフレーム間の時間的な冗長性が利用される。エンコードは、選択されたピクセルブロックについて１つのフレームから別のフレームへのピクセルの動きをエンコードすることによって、１つ以上の先行フレームからフレームの部分を予測する、動き補償予測技術に依存する。

ＩＲカットフィルタが状態を切り替えた後の映像の最初のフレームは、先行するフレームとは大きく異なるものになるであろう。その結果、ＩＲカットフィルタが状態を切り替えてから最初のフレームが、先行するフレームを参照してエンコードされた場合、即ち、インターフレームとしてエンコードされた場合、結果として生じるエンコードされたフレームは、非常に大きいものになるであろう。また、それによって低品質の参照画像が構成され、低品質の参照画像は次のイントラフレームが生成されるまで続くだろう。それによって、次のイントラフレームが生成されるまで、エンコードされた映像の効率性と品質が影響を受けるだろう。したがって、改良の余地がある。

公開番号ＥＰ２７２７３３０ Ａ１の欧州特許出願は、ビデオカメラに連結されたビデオエンコーダのエンコード特性に応じて、露出やカラーバランスといったビデオカメラの撮像パラメータを調整することに関する。エンコード特性は、ビデオシーケンスの中のどの画像を圧縮して次のイントラコーディングされた画像にするかを指示することを含み得る。

上記を踏まえて、本発明は、映像のエンコーディングの効率性と品質に対するＩＲカットフィルタのインパクトを低減することを目的としている。

本発明の第１の態様によると、上記の目的は、ビデオカメラ内で実施される、赤外線カットフィルタ、即ちＩＲカットフィルタの制御のための方法によって達成され、この方法は、
ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信することであって、ＩＲカットフィルタは、赤外光を遮断するオン状態と、赤外光を遮断しないオフ状態とで切り替え可能である、受信することと、
ＩＲカットフィルタの状態の切り替えを、ビデオカメラがキャプチャするフレームのビデオエンコーディングと同期させ、それによって、イントラフレームとしてエンコードされるように予定されたフレームから所定のフレーム数だけ前のフレームをビデオカメラがまさにキャプチャしようとするときに、ＩＲカットフィルタが制御されて状態が切り替わるようにすることと、を含む。

この構成によって、ＩＲカットフィルタの状態の切り替えは、カメラがキャプチャするフレームのエンコーディングと同期する。具体的には、ＩＲカットフィルタの制御は、いつ次のイントラフレームがエンコードされるかに基づく。こうして、ＩＲカットフィルタは、フレームのエンコーディングの効率性及び品質へのインパクトが小さい瞬間に状態が切り替わるように制御される。

ＩＲカットフィルタは、赤外光を遮断するフィルタを意味する。

ＩＲカットフィルタの状態の切り替えは、オンにする即ち赤外光を遮断する状態にするか、またはオフにする即ち赤外光を遮断しない状態にするかのどちらかを意味する。例えば、ＩＲカットフィルタは、カメラの画像センサに対する位置を切り替えることによって状態を切り替える、物理的なフィルタであってよい。

イントラフレームは、他の画像を一切参照することなく独立してデコードされる、自己完結型のフレームを意味する。これは、先行するイントラフレーム及び／またはインターフレームを参照することによってエンコードされる、インターフレームと対照的である。Ｈ．２６４規格では、イントラフレームはＩフレームと呼ばれる。Ｈ．２６４規格におけるインターフレームの例は、Ｐフレーム（予測フレーム）またはＢフレーム（双方向予測フレーム）である。

イントラフレームとしてエンコードされる予定のフレームをビデオカメラがまさにキャプチャしようとするときに、ＩＲカットフィルタが制御されて状態が切り替わるように、所定の数のフレームは０であってよい。こうして、ＩＲカットフィルタの状態切り替え後に最初にエンコードされるフレームは、イントラフレームとしてエンコードされる。これによって、コーディングの効率性と品質は向上する。なぜならば、切り替え後の最初のフレームがインターフレームとしてエンコードされるという上記の状況が回避されるからである。

画像フレームをキャプチャする際とキャプチャした画像フレームを処理する際パラメータ設定について、ＩＲカットフィルタが第１の状態にあるか第２の状態にあるかに応じて、種々のものが好適であったり、また最適でさえあったりする。例えば、露出、焦点、及びホワイトバランスに関して、種々の好適な値が存在し得る。ＩＲカットフィルタが第１の状態から第２の状態に切り替わる際、カメラセンサにおける光条件は、急激に変化する。それによってカメラは、新たな条件に適応するためパラメータ設定を自動調整する。しかし、通常は、パラメータが確定するまでに時間が少しかかる。パラメータが確定しない限り、過渡的な状態にあって変動しているパラメータを用いてキャプチャ及び／または処理されたフレームによって生じるバラつきが、映像内に存在するであろう。これらの変動は映像内で目に見えるものであり、符号化アーチファクトのリスクを増大させる。

ＩＲカットフィルタの状態切り替え後の最初のフレームがイントラフレームとしてエンコードされた場合、パラメータが画定するまでに時間があることは望ましくない。なぜならば、パラメータが変動することによって生じるフレーム間のバラつきのせいで、イントラフレームが、インターフレームとしてエンコードされる後続のフレームにとっての、低品質の参照フレームになるだろうからである。

この問題を解決するため、本方法は、ＩＲカットフィルタの状態が第１の状態から第２の状態に切り替えられたのを受けて、ビデオカメラの画像キャプチャパラメータと画像信号処理パラメータのうちの少なくとも１つを、当該第１の状態に関連付けられた第１の所定のセットの値から、当該第２の状態に関連付けられた第２の所定のセットの値に変更してよい。第１の状態はオン状態とオフ状態のうちの１つであり、第２の状態はオン状態とオフ状態のうちの残りの１つである。ＩＲカットフィルタの状態の切り替えを受けてパラメータを変更することにより、パラメータ設定は、第１の状態にとって好適な第１のセットの値から第２の状態にとって好適な第２のセットの値へと、直接変更され得る。こうして、パラメータが確定するまでの時間に伴う問題が取り除かれる。その結果、イントラフレームは、後続のフレーム用の良好な参照フレームの機能を果たすであろう。

第１及び第２の所定のセットの値は、露出、焦点、及びホワイトバランスのうちの少なくとも１つに関連するパラメータを含んでいてよい。これらのパラメータの値は、通常、ＩＲ光によって影響される。

ＩＲカットフィルタの状態の切り替えに関連するパラメータが確定するまでの時間に関する問題にアプローチする別の方法は、次に予定されているイントラフレームよりも所定の数のフレームに相当する時間だけ前の期間に、ＩＲカットフィルタを制御して状態を切り替え、それによって、次に予定されているイントラフレームがキャプチャされるまでにパラメータが確定する時間ができるようにすることである。より具体的には、所定のフレーム数は、１よりも大きいか、または１であってよい。

さらに、この期間中の、ＩＲカットフィルタの切り替えと次に予定されているイントラフレームとの間のフレームのエンコーディングには、可能な限り少量のビット数が使われてよい。したがって、本方法はさらに、ビデオカメラによってキャプチャされたフレームをビットストリームにエンコードする際、このビットストリームが、イントラフレームとしてエンコードされる予定のフレームよりも前の所定の数のフレームに関して、エンコードされた差分を含まないようにしてエンコードすることを含んでいてよい。これは、例えば、ＩＲカットフィルタの状態の切り替えの直前のフレームと、イントラフレームとしてエンコードされる予定のフレームとの間において、エンコーダ内のメモリのバッファを更新しないことによって達成されてよい。

これはまた、イントラフレームとしてエンコードされる予定のフレームよりも前の所定の数のフレームのそれぞれを、ＩＲカットフィルタの状態の切り替えの直前のフレームと同一であるとしてエンコードすることによって、達成されてもよい。こうして、パラメータが確定するまでの間は、映像は「フリーズ」される。したがって、この期間中に実行されるこのパラメータの調整は、映像中で視覚可能ではなく、それに起因する符号化アーチファクトは、すべて取り除かれる。

これは、例えば空のフレームを送信することによって達成されてよい。代わりに、イントラフレームとしてエンコードされる予定のフレームよりも前の所定の数のフレームが、Ｐスキップフレームとしてエンコードされてもよい。Ｐスキップフレームとは、Ｐスキップマクロブロックのみを含むフレームである。実際には、Ｐスキップフレームは、例えばフレーム番号を含むヘッダ情報のみがビットストリームに送信され、データは何も送信されないフレームである。

フレームのエンコーディングは、画像グループ構造、即ちＧＯＰ構造に従う。ＧＯＰ構造は、イントラフレームとインターフレームが配列される順序を特定する。各ＧＯＰはイントラフレームで開始され、その後にインターフレームが続く。ＧＯＰ内のフレーム数は、一般的にＧＯＰ長と呼ばれる。ＧＯＰの長さは固定されていてよいか、または映像内の動きの量に応じて動的に設定されてよい。しかし、どちらの場合であっても、ＧＯＰ構造は、ある数のフレーム分だけ先に、エンコーダによって知られるのである。

同期させるステップは、カメラがキャプチャした画像をエンコードするときに用いられるＧＯＰ構造に基づいて、いつイントラフレームがエンコードされる予定なのかを、判定することを含んでいてよい。このように、次のイントラフレームがいつ来る予定であるかがＧＯＰ構造から判定されてよく、この知識に基づいて、いつＩＲカットフィルタの状態を切り替えるかが制御されてよい。

同期させるステップは、イントラフレームとしてエンコードされる予定のフレームよりも所定の数だけ前のフレームを特定することと、イントラフレームとしてエンコードされる予定のフレームよりも所定の数だけ前のフレームとして特定されたフレームを、カメラがまさにキャプチャしようとしているときにＩＲカットフィルタの状態を切り替えることとを含んでいてよい。

ＩＲカットフィルタの状態を切り替える指示は、様々な方法で生成されてよい。例えば、ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信するステップは、ビデオカメラが画像をキャプチャするシーンの照明条件の変化を検出したことに応答したものであってよい。こうして、カメラは、照明条件に変化があったことを自動検出してよく、それに応答して、ＩＲカットフィルタの状態を切り替える指示を生成してよい。

照明条件の変化は、ビデオカメラがキャプチャした画像の明るさの変化に基づいて検出されてよい。代わりにまたはさらに、照明条件の変化は、カメラとは別であるかまたはカメラに含まれている、光センサによって検出されてもよい。代わりにまたはさらに、照明条件の変化は、例えば、日照時間と日没時間を把握しているか、建物内の照明の点灯時間と消灯時間を把握している、タイマーによって検出されてもよい。

ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信するステップは、ビデオカメラがキャプチャした画像内の事象を検出したことに応答したものであってよい。例えば、この事象は、カメラがキャプチャした画像内で人物が視覚可能になることであってよい。

さらなる実施例によると、ビデオカメラのＩＲカットフィルタの状態を切り替える指示は、例えばオペレータといったユーザのインプットに応答したものであってよい。

本発明の第２の態様によると、上記の目的は、赤外線カットフィルタ、即ちＩＲカットフィルタの制御するコントローラによって達成され、このコントローラは、
ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信するように構成された受信器であって、ＩＲカットフィルタは、赤外光を遮断するオン状態と、赤外光を遮断しないオフ状態とで切り替え可能である、受信器と、
ＩＲカットフィルタの状態の切り替えを、ビデオカメラがキャプチャするフレームのビデオエンコーディングと同期させるように構成されたプロセッサであって、それによって、イントラフレームとしてエンコードされるように予定されたフレームから所定のフレーム数だけ前のフレームをビデオカメラがまさにキャプチャしようとするときに、ＩＲカットフィルタが制御されて状態が切り替わるようにする、プロセッサとを備える。

本発明の第３の態様によれば、上記の目的は、
画像センサと、
赤外線カットフィルタ、即ちＩＲカットフィルタであって、フィルタが状態を切り替えることによってＩＲ光が画像センサに到達するのを阻止するかまたは阻止しないように適合しているＩＲカットフィルタと、
画像センサを用いてビデオカメラにキャプチャされた画像をエンコードするように構成されているビデオエンコーダと、
ＩＲカットフィルタを制御するための第２の態様によるコントローラと
を備えるビデオカメラによって達成される。

本発明の第４の態様によると、上記の目的は、処理能力を有する装置によって実行されたときに第１の態様の方法を実施するように適合しているコンピュータコード命令を内蔵する、非一過性コンピュータ可読媒体によって達成される。

第２、第３、及び第４の態様は、概して第１の態様と同じ特徴及び利点を有する。さらに、本発明は、別様に明記されていない限り、特徴の全ての可能な組み合わせに関連することに留意されたい。

一般的に、請求項で使用される全ての用語は、本書で別様に明記されていない限り、当該技術分野における通常の意味に従って解釈すべきである。デバイス、イベント、メッセージ、アラーム、パラメータ、ステップなどに不定冠詞または定冠詞「ａ／ａｎ／ｔｈｅ」を付けて参照することは全て、別様に明記されていない限り、前記デバイス、イベント、メッセージ、アラーム、パラメータ、ステップなどの少なくとも１つの実例を参照することであると、非限定的に解釈されるべきである。本書に開示されているあらゆる方法のステップは、明示的に記載されていない限り、開示されている順序に厳格に従って実行される必要はない。

本発明の上記の及びさらなる目的と特徴と利点は、付随する図面を参照しつつ、本発明の好ましい実施形態の以下の例示的かつ非限定的な詳細説明を通して、より明確に理解されるであろう。図面では、類似の要素に対して同じ参照番号が使用されている。

実施形態によるビデオカメラを示す概略図である。 実施形態による、ビデオカメラのＩＲカットフィルタの状態切り替えに関連したビデオカメラの画像キャプチャパラメータまたは画像処理パラメータの時間的変化を示す概略図である。 他の実施形態による、ビデオカメラのＩＲカットフィルタの状態切り替えに関連したビデオカメラの画像キャプチャパラメータまたは画像処理パラメータの時間的変化を示す概略図である。 実施形態による、ビデオカメラの赤外線カットフィルタ、即ちＩＲカットフィルタを制御する方法のフロー図である。

ここで、本発明の実施形態を示す添付図面を参照して、本発明をより網羅的に説明する。本書で開示されるシステム及びデバイスは、動作中のものが説明されることになる。

図１は、ビデオカメラ１００を示す。ビデオカメラ１００は、光学系１０１、画像センサ１０２、及び画像パイプライン１０４を含む。画像パイプライン１０４は、画像信号プロセッサ１０６及びビデオエンコーダ１０８を含む。ビデオカメラ１００は、ＩＲカットフィルタ１１０、及びＩＲカットフィルタ１１０を制御するコントローラ１１２をさらに含む。

ビデオカメラ１００は、概して光学系１０１と画像センサ１０２とによって、シーンの画像ストリームをキャプチャしてよい。ストリーム内の画像は、フレームと呼ばれる。画像ストリームのキャプチャは、露出や焦点といったパラメータに関連づけられている。これらのパラメータは、光学系１０１及び／または画像センサ１０２を制御し、したがって結果として生じる画像に影響する。これらのパラメータは、本書では画像キャプチャパラメータと呼ばれる。ビデオカメラ１００は、画像キャプチャパラメータの値を、シーンの内の各条件、具体的にはシーン内の現在の照明条件に、自動的に適合させるアルゴリズムを実装していてよい。例えば、ビデオカメラ１００は、オートフォーカスのアルゴリズム及び／または自動露出のアルゴリズムを実装していてよい。

カメラによってキャプチャされた画像ストリームは、次に画像パイプライン１０４によって処理される。より詳細には、画像ストリームは、当該技術分野で周知のように、画像信号プロセッサ１０６によって様々な種類の画像処理を受けてよい。この処理は、ホワイトバランス補正といった、画像の色を調整する処理を含む。画像信号プロセッサ１０６によって実施される処理は、画像ストリームの処理に影響するパラメータに関連づけられたものであり、これらのパラメータは、本書では画像信号処理パラメータと呼ばれる。例えば、画像信号プロセッサ１０６によって実施されるホワイトバランス補正に関連づけられた、ホワイトバランスのパラメータが存在してよい。画像キャプチャパラメータと同様、ホワイトバランスといった画像信号処理パラメータもまた、カメラ１００によって自動調整される。

画像パイプライン１０４内における画像信号プロセッサ１０６の下流には、ビデオエンコーダ１０８がある。ビデオエンコーダ１０８は、キャプチャされ処理された画像ストリームをエンコードして、ネットワークを介してデコーダに送信するためにビットストリーム１１４を出力する。当該技術分野で知られているように、ビデオエンコーダ１０８は、画像ストリーム内のフレームをイントラフレームまたはインターフレームとしてエンコードしてよい。概して、ビデオエンコーダ１０８は、イントラフレームとインターフレームが配列される順番を特定する画像グループ構造、即ちＧＯＰ構造に従って、画像ストリーム内のフレームをエンコードする。例えば、Ｉをイントラフレーム、Ｂ及びＰをタイプの異なるインターフレームであるとしたとき、ＧＯＰ構造は、ＩＢＢＰＢＢＰＢＢＰＢＢＩであってよい（Ｂは両方向予測コード化画像、Ｐは予測コード化画像を意味する）。このように、イントラフレームの後には一連のインターフレームが続いていてよく、その後には別のイントラフレームが続いていてよい。ＧＯＰ構造の長さ、即ち２つのイントラフレーム間の距離は、固定されていてよい。上記の例では、ＧＯＰ構造の長さは１２に等しい。代わりに、ＧＯＰ構造は、動的であってもよい。即ち、ビデオエンコーダ１０８は、例えば画像ストリーム内の動きの量に基づいて、経時的にＧＯＰ構造を変化させてよい。しかし、どちらの場合でも、ビデオエンコーダ１０８はいくつかのフレーム分だけ前もってＧＯＰ構造を決定する。それによって、例えば次のイントラフレームの予定が前もって分かるのである。

ビデオカメラ１００には、ＩＲカットフィルタ１１０が設けられている。ＩＲカットフィルタ１１０は、種々の状態、典型的には、２つの状態をとってよく、両者の間で切り替えができてよい。例えば、ＩＲカットフィルタ１１０は、赤外光が画像センサ１０２に到達するのを阻止することを意味するオンの状態と、赤外光が画像センサ１０２に到達するのを阻止しないことを意味するオフの状態との間で、切り替えられてよい。ＩＲカットフィルタ１１０は、画像センサ１０２に対する自身の位置を切り替えることによって、両状態間で切り替えられてよい。例えばＩＲカットフィルタ１１０は、画像センサ１０２の前に置かれている位置から画像センサ１０２の前に置かれていない位置へ移動するように、またはその逆に移動するように、フィルタを動かすモータに接続されていてよい。しかし、恒常的にセンサの前に保持されているが、電気的または化学的に状態を変えて光学特性を変化させることでフィルタをオンオフするフィルタといった、他のソリューションもまた、想定することができる。

コントローラ１１２がＩＲカットフィルタ１１０を制御する役割を果たし、それによって、ＩＲカットフィルタ１１０は制御された態様で状態が切り替わる。例えば、コントローラ１１２がモータを起動させてフィルタ１１０の位置を動かす際、モータが画像センサ１０１に対するフィルタ１１０の位置を動かすようにしてよい。

コントローラ１１２は、デジタル信号プロセッサまたはマイクロプロセッサといったプロセッサ１１６、受信器１１８、及びメモリ１２０を備えていてよい。メモリ１２０は、プロセッサ１１６によって実行され得るコンピュータコード命令を保存するためのコンピュータ記憶媒体（または非一過性コンピュータ可読媒体）の役割を果たし得る。具体的には、メモリ１２０は、実行されたときにコントローラ１１２に本書で開示されるあらゆる方法を実施させる、命令を保存していてよい。当業者にはよく知られているように、コンピュータ記憶媒体という用語は、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータといった情報を記憶するために、任意の方法または技術において実装される揮発性及び不揮発性の媒体、着脱可能及び固定型の媒体を含む。コンピュータ記憶媒体は、限定するものではないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、または他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）、もしくは他の光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスク記憶装置、もしくは他の磁気記憶デバイス、または所望の情報の保存に使用することができ、コンピュータによるアクセスが可能な他の任意の媒体を含む。

ここで、ビデオカメラ１００の動作、具体的にはコントローラ１１２の動作が、図１、図２、図３、及び図４のフローチャートを参照してより詳細に説明される。

ステップＳ０２では、コントローラ１１２は、例えば受信器１１２によって、ＩＲカットフィルタ１１０の状態を切り替える指示を受信する。例えば、ＩＲカットフィルタ１１０をオフに切り替える指示が受信されてよい。

この指示は、ビデオカメラが画像をキャプチャするシーンの照明条件の変化を検出したことに応答したものであってよい。例えば、カメラが設置されている室内でランプが点灯され、それによって照明条件に変化が生じてよい。この結果、画像内の色が赤外光によって歪まないように、ＩＲカットフィルタ１１０のスイッチをオンにするのが望ましいかもしれない。

このように、ビデオカメラ１００は、照明条件の変化を検出Ｓ０２ａし、それに応答してＩＲカットフィルタ１１０の状態を切り替える指示を生成してよい。例えば、照明条件の変化は、ビデオカメラ１００がキャプチャした画像の明るさの変化に基づいて検出されてよい。例えば、検出と指示の生成とは、画像信号プロセッサ１０６によってか、またはコントローラ１１２のプロセッサ１１６によって、実施されてよい。より詳細には、照明条件の変化は、画像内の明るさが閾値を超えた場合、またはある期間中に画像のシーケンス内の明るさが閾値を超えて変化した場合に、検出されてよい。

照明条件の変化は、シーン内の光量レベルを測定するように構成された露出計によって検出されてもよい。光量レベルが一定のレベルを上回るかまたは下回ったとき、ＩＲカットフィルタの状態を切り替える指示が生成され、コントローラ１１２に送信されてよい。代わりに、受信器１１８が光量レベルを受信し、次にプロセッサ１１６がこの光量を閾値と比較して、光量が閾値を上回ったか下回ったかに応じて、ＩＲカットフィルタの状態を切り替える指示を生成してもよい。

光条件の変化はまた、タイマーに基づいて検出されてもよい。例えば、ビデオカメラ１００は、日昇と日没を把握し、周辺光が一定の光量レベルを上回った場合と、光が一定の光量レベルを下回った場合に指示を出すタイマーを備えていてよい。こうした場合には、ＩＲカットフィルタ１１０の状態を切り替える指示は、例えばプロセッサ１１６によって生成されてよい。

ＩＲカットフィルタ１１０の状態を切り替える指示はまた、ビデオカメラ１００によって、例えばビデオカメラ１００内の専用ハードウェアによって、キャプチャされた画像内の事象を検出したことに応答したものであってもよい。この事象は、シーン内に物体が入ってきたことに関するものであってよい。例えば、ＩＲカットフィルタがオフのときに人物がシーン内に入ってきたのが検出された場合、特定する目的１００でこの人物のカラー画像が生成されるように、ＩＲカットフィルタ１１０をオンに切り替える命令が生成されてよい。

ＩＲカットフィルタ１１０の状態を切り替える指示について、ビデオカメラ１００のオペレータといったユーザのインプットによる指示が受信されてもよい。

ステップＳ０４では、コントローラ１１２のプロセッサ１１６が、ＩＲカットフィルタ１１０の状態の切り替えをビデオカメラ１００によってキャプチャされたフレームのビデオエンコーディングと同期させる。この目的のため、プロセッサ１１６はサブステップＳ０４ａ〜ｃを実行してよい。

ステップＳ０４ａでは、プロセッサ１１６は、いつイントラフレームがビデオエンコーダ１０８によってエンコードされる予定であるかを判定する。通常、プロセッサ１１６は、ステップＳ０２の指示を受領後、いつ次のイントラフレームがエンコードされる予定であるかを判定する。この判定は、ビデオエンコーダ１０８が使用するＧＯＰ構造に基づくものであってよい。プロセッサ１６６は、例えば受信器１１８を介して、ビデオエンコーダ１０８からＧＯＰ構造を受信してよく、それに基づいて、いつ次のイントラフレームが予定されるかを判定してよい。このことは、フィルタ状態を切り替える指示が一定の時刻に受信されることを示している図２及び図３の時間軸上で、さらに例証される。受信された指示に続くフレームは、ＰＢＢＰＢＢＰＢＢＩとしてエンコードされる予定になっている。このように、この例では、ステップＳ０２で受信した指示から、次にイントラフレームとしてエンコードされる予定のフレームまで、１０個のフレームがある。

ステップＳ０４ｂでは、プロセッサ１１６が、次のイントラフレームから所定のフレーム数だけ前のフレームを特定する。所定の数は、０よりも大きいか、または０であってよい。

所定の数が０である場合、プロセッサ１１６はステップＳ０４ｂで、次のイントラフレーム自体を、次のイントラフレームから所定の数だけ前のフレームとして特定する。これが図３の例の場合である。

所定の数は、ＩＲカットフィルタの位置の切り替え後に、画像キャプチャパラメータまたは画像信号処理パラメータが安定するのに必要な時間と関連づけられていてよい。これは、図２でさらに説明される。フィルタの状態が切り替わると、画像センサ１０２における光条件が変化する。結果として、及び上記でさらに記載されたように、カメラ１００は、焦点、露出、及びホワイトバランスといったパラメータ設定の、新たな光条件への適合を自動的に開始する。しかし、パラメータが確定するまでには時間が少しかかる。こうして、所定の数は通常、経験的に特定されたパラメータの確定時間に対応して選択される。図２の例では、所定のフレーム数は７であり、これは即ち、次のイントラフレームの７個前のフレームが、ステップＳ０４ｂで特定されることを意味する。

ステップＳ０４ｃでは、ステップＳ０４ｂで特定されたフレームをビデオカメラ１００がまさにキャプチャしようとするときに、プロセッサ１１６がＩＲカットフィルタを制御して、状態を切り替える。より詳細には、プロセッサ１１６は、ステップＳ０４ｂで特定されたフレームがビデオカメラ１００にキャプチャされるときに状態の切り替えが完了するようにして、ＩＲカットフィルタを制御する。例えば、プロセッサ１１６は、ＩＲカットフィルタ１１０に対してか、または、むしろモータといったＩＲカットフィルタのアクチュエータに対して、ＩＲカットフィルタ１１０の状態を切り替える制御信号を送信してよい。ＩＲカットフィルタが状態を切り替えるのにかかる時間に応じて、制御信号は、ステップＳ０４ｂで特定されたフレームがキャプチャされるときよりも前に送信されてよい。それによって、状態の切り替えは、確実にフレームのキャプチャよりも前に完了する。

図２の例を参照すると、ＩＲカットフィルタ１１０は、カメラが次のイントラフレームの７フレーム前のフレームをキャプチャする直前に、状態の切り替えをするように制御される。図３の例を参照すると、ＩＲカットフィルタ１１０は、カメラが次のイントラフレームをキャプチャする直前に、状態の切り替えをするように制御される。

こうして、プロセッサ１１６は、ステップＳ０４ａ、Ｓ０４ｂ、Ｓ０４ｃを実施することによって、イントラフレームとしてエンコードされる予定のフレームから所定のフレーム数だけ前のフレームを、ビデオカメラ１００がまさにキャプチャしようとするときに、ＩＲカットフィルタを制御して状態を切り替えてよい。それによって、ＩＲカットフィルタの状態の切り替えがカメラ１００のビデオエンコーディングに同期される。

図３の例に戻ると、次のイントラフレームをビデオカメラ１１０がまさにキャプチャしようとするときに、ＩＲカットフィルタ１１０が状態を切り替える。この場合、ＩＲカットフィルタ１１０の状態の切り替えと次のイントラフレームとの間に、画像キャプチャパラメータ及び画像信号処理パラメータが確定することができる時間窓は存在しない。したがって、プロセッサ１１６は、ＩＲカットフィルタ１１０の状態を第１の状態から第２の状態に切り替えた上で、さらにステップＳ０６で、画像キャプチャパラメータ及び画像信号処理パラメータのうちの少なくとも１つを、第１の所定のセットの値から第２の所定のセットの値へと変更してよい。第１の所定のセットの値は第１の状態に対応し、第２の所定のセットの値は第２の状態に対応している。第１の所定のセットの値は、ＩＲカットフィルタ１１０が第１の状態にあるときに好適であるような、露出、焦点、及びホワイトバランスを含んでいてよい。第２の所定のセットの値は、ＩＲカットフィルタ１１０が第２の状態にあるときに好適であるような、露出、焦点、及びホワイトバランスを含んでいてよい。例えば、プロセッサ１１６は、ＩＲカットフィルタ１１０に制御信号を送信するのと同時に、光学系１０１、画像センサ１０２、及び／または画像信号プロセッサ１０６に制御信号を送信して、画像キャプチャパラメータ及び画像信号処理パラメータを第１の所定のセットの値から第２の所定の値へと変更してよい。こうして、パラメータは、ＩＲカットフィルタの新しい状態に対して自動的に適合する。

図２の例に戻ると、次のイントラフレームから所定のフレーム数だけ前のフレームをビデオカメラ１１０がまさにキャプチャしようとするときに、ＩＲカットフィルタ１１０の状態が切り替えられる。したがってこの場合は、ＩＲカットフィルタ１１０の状態の切り替えと次のイントラフレームとの間に、パラメータが確定し得る期間が存在する。この期間中は、次のイントラフレームまでの所定のフレーム数に対応して、エンコーディングに可能な限り少ないビット数が費やされるのが好ましい。これは、ＩＲカットフィルタの切り替えとパラメータの変動によって画像フレームの急激な変化が生じると、エンコーディングのコストが上がり、エンコードされた画像の品質が劣化するからである。

コントローラ１１２は、ステップＳ０８で、この所定の数のフレームを予定されたとおりにインターフレームとしてエンコードする代わりに、ビデオエンコーダ１０８を制御して、所定の数のフレームを他の方法で処理し、ビット数を節約してもよい。例えば、所定の数のフレームに関して、ビットストリーム１１４内にエンコードされた差分が全く含まれないように、ビデオエンコーダ１０８を制御してよい。この結果、デコードされた画像ストリーム内の、ＩＲカットフィルタの状態の切り替えと次のイントラフレームとの間は、映像がフリーズするであろう。これは、様々な方法で達成され得る。例えば、ビデオエンコーダ１０８は、所定の数のフレームの箇所で、ビットストリーム１１４内に空のフレームを含むように制御されてよい。別のオプションは、例えば、所定の数のフレームをＰスキップフレームとしてエンコードするか、またはビデオエンコーダ１０８のメモリのバッファを更新しないことによって、所定の数のフレームを、ＩＲカットフィルタ１１０の状態の切り替えに先行するフレームと同一であるとしてエンコードすることである。さらなるオプションは、所定の数のフレームをドロップすること、即ちこれらのフレームをビットストリーム１１４内に全く含まないことである。

当業者は、上記の実施形態を多数の方法で修正できることと、修正してもなお上記の実施形態で示された本発明の利点を利用できることを、理解するであろう。従って、本発明は、図示した実施形態に限定されるべきではなく、添付の特許請求の範囲によってのみ限定されるべきである。さらに、当業者が理解しているように、示された実施形態は組み合わされてよい。

Claims (13)

1. ビデオカメラ（１００）内で実施される、前記ビデオカメラの赤外線カットフィルタ、即ちＩＲカットフィルタ（１１０）の制御のための方法であって、
   前記ビデオカメラ（１００）のＩＲカットフィルタ（１１０）の状態を切り替える指示を受信すること（Ｓ０２）であって、前記ＩＲカットフィルタ（１１０）は、赤外光を遮断するオン状態と、赤外光を遮断しないオフ状態とで切り替え可能である、受信すること（Ｓ０２）と、
   前記ＩＲカットフィルタ（１１０）の状態の切り替えを、前記ビデオカメラ（１００）がキャプチャするフレームのビデオエンコーディングと同期させること（Ｓ０４）であって、それによって、イントラフレームとしてエンコードされるように予定されたフレームから所定のインターフレーム数だけ前のフレームを前記ビデオカメラ（１００）がまさにキャプチャしようとするときに、前記ＩＲカットフィルタ（１１０）が制御されて状態が切り替わるようにする、同期させること（Ｓ０４）と、
   を含む方法であって、
   （ｉ）イントラフレームとしてエンコードされる予定のフレームを前記ビデオカメラ（１００）がまさにキャプチャしようとするときに、前記ＩＲカットフィルタ（１１０）が制御されて状態が切り替わるように、前記所定のインターフレーム数が０である、または、
   （ｉｉ）前記所定のインターフレーム数は１以上であって、前記方法は、前記ビデオカメラによってキャプチャされた前記フレームをビットストリームにエンコードする際、前記ビットストリームが、イントラフレームとしてエンコードされる予定のフレームよりも前の前記所定のインターフレーム数のインターフレームに関して、エンコードされた差分を含まないようにしてエンコードすること（Ｓ０８）をさらに含む、
   方法。
2. 前記所定のインターフレーム数が０であり、
   前記方法は、前記ＩＲカットフィルタ（１１０）の状態が、オン状態とオフ状態のうちの１つである第１の状態から、前記オン状態と前記オフ状態のうちの残りの１つである第２の状態に切り替えられたのを受けて、前記ビデオカメラ（１００）の画像キャプチャパラメータと画像信号処理パラメータのうちの少なくとも１つを、前記第１の状態に関連付けられた第１の所定のセットの値から、前記第２の状態に関連付けられた第２の所定のセットの値に変更すること（Ｓ０６）をさらに含む、
   請求項１に記載の方法。
3. 前記第１の所定のセットの値及び前記第２の所定のセットの値は、露出、焦点、及びホワイトバランスのうちの少なくとも１つに関連するパラメータを含む、請求項２に記載の方法。
4. 前記所定のインターフレーム数が１以上であり、
   前記方法は、イントラフレームとしてエンコードされる予定の前記フレームよりも前の前記所定のインターフレーム数のインターフレームのそれぞれを、前記ＩＲカットフィルタ（ＩＲ）の状態の前記切り替えの直前のフレームと同一であるとしてエンコードすることをさらに含む、
   請求項１に記載の方法。
5. イントラフレームとしてエンコードされる予定の前記フレームよりも前の前記所定のインターフレーム数のインターフレームは、Ｐスキップフレームとしてエンコードされる、
   請求項４に記載の方法。
6. 前記同期させる（Ｓ０４）ステップが、
   前記カメラがキャプチャした画像をエンコードするときに用いられる画像グループ構造、即ちＧＯＰ構造に基づいて、いつイントラフレームがエンコードされる予定なのかを、判定すること（Ｓ０４ａ）
   を含む、請求項１から５のいずれか一項に記載の方法。
7. 前記同期させる（Ｓ０４）ステップが、
   イントラフレームとしてエンコードされる予定の前記フレームよりも前記所定のインターフレーム数だけ前のフレームを特定すること（Ｓ０４ｂ）と、
   イントラフレームとしてエンコードされる予定の前記フレームよりも前記所定のインターフレーム数だけ前のフレームとして特定された前記フレームがまさにカメラにキャプチャされようとしているときに前記ＩＲカットフィルタ（１１０）の状態を切り替えること（Ｓ０４ｃ）と、
   を含む、請求項１から６のいずれか一項に記載の方法。
8. 前記ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信する（Ｓ０２）ステップは、前記ビデオカメラ（１００）が画像をキャプチャするシーンの照明条件の変化を検出したこと（Ｓ０２ａ）に応答したものである、請求項１から７のいずれか一項に記載の方法。
9. 照明条件の変化は、前記ビデオカメラがキャプチャした画像の明るさの変化に基づいて検出される、請求項８に記載の方法。
10. 前記ビデオカメラのＩＲカットフィルタの状態を切り替える指示を受信する（Ｓ０２）ステップは、前記ビデオカメラ（１００）がキャプチャする画像内の事象を検出したこと（Ｓ０２ｂ）に応答したものである、請求項１から７のいずれか一項に記載の方法。
11. ビデオカメラ（１００）の赤外線カットフィルタ、即ちＩＲカットフィルタ（１１０）の制御のためのコントローラ（１１２）であって、
    前記ビデオカメラ（１００）のＩＲカットフィルタ（１１０）の状態を切り替える指示を受信するように構成された受信器（１１８）であって、前記ＩＲカットフィルタ（１１０）は、赤外光を遮断するオン状態と、赤外光を遮断しないオフ状態とで切り替え可能である、受信器（１１８）と、
    前記ＩＲカットフィルタ（１１０）の状態の切り替えを、前記ビデオカメラ（１００）がキャプチャするフレームのビデオエンコーディングと同期させるように構成されたプロセッサ（１１６）であって、イントラフレームとしてエンコードされるように予定されたフレームから所定のインターフレーム数だけ前のフレームを前記ビデオカメラ（１００）がまさにキャプチャしようとするときに、前記ＩＲカットフィルタ（１１０）が制御されて状態が切り替わるようにする、プロセッサ（１１６）と、
    を含むコントローラ（１１２）であって、
    （ｉ）イントラフレームとしてエンコードされる予定のフレームを前記ビデオカメラ（１００）がまさにキャプチャしようとするときに、前記ＩＲカットフィルタ（１１０）が制御されて状態が切り替わるように、前記所定のインターフレーム数が０である、または、
    （ｉｉ）前記所定のインターフレーム数は１以上であって、前記コントローラ（１１２）は、前記ビデオカメラによってキャプチャされた前記フレームを前記ビデオカメラのビデオエンコーダがビットストリームにエンコードする際、前記ビットストリームが、イントラフレームとしてエンコードされる予定のフレームよりも前の前記所定のインターフレーム数のインターフレームに関して、エンコードされた差分を含まないようにしてエンコードする（Ｓ０８）よう、前記ビデオカメラの前記ビデオエンコーダを制御するようにさらに構成されている、
    コントローラ（１１２）。
12. 画像センサ（１０２）と、
    赤外線カットフィルタ、即ちＩＲカットフィルタ（１１０）であって、フィルタが状態を切り替えることによってＩＲ光が前記画像センサ（１０２）に到達するのを阻止するかまたは阻止しないように適合しているＩＲカットフィルタと、
    前記画像センサ（１０２）を用いて前記ビデオカメラ（１００）にキャプチャされた画像をエンコードするように構成されているビデオエンコーダ（１０８）と、
    前記ＩＲカットフィルタ（１１０）を制御するための請求項１１に記載のコントローラ（１１２）と
    を備えるビデオカメラ（１００）。
13. 画像センサ（１０２）、ＩＲカットフィルタ（１１０）及びビデオエンコーダ（１０８）を含み処理能力を有する装置によって実行されたときに、請求項１から１０のいずれか一項に記載の方法を実施するように適合しているコンピュータコード命令を内蔵する、非一過性コンピュータ可読媒体（１２０）。

Images