JP4484363B2 - ビデオ・イメージ・シーケンス内のフリッカを低減する方法および装置 - Google Patents

Description

【０００１】
背景
分野
本発明は、ビデオ・イメージ処理に関し、特にビデオ・イメージ・シーケンスのフリッカの低減に関する。
【０００２】
背景情報
図１は、典型的なテレビ会議システムの構成を示した概要図である。この図に示されるように、ユーザ／被写体は、コンピュータ・モニタ１２０を見ているとき、カメラ１１０の正面に位置している。そのエリアまたはその部屋は、光源１３０によって照明されている。カメラ１１０は、光源１３０に起因するフリッカを低減するように設計されている。これは、光源１３０の照明周期の整数倍が取り込めるようにカメラの開口時間を設定することによって達成することができる。ここで開口時間とは、カメラが入射光に感応する時間的長さを言う。また照明周期は、光源の明暗度変化の周波数の逆数を指す。フリッカの低減は、各フレームの照明周期における略同一のポイントからフレームの露光を開始するようにカメラのフレーム・レートを設定することによっても得ることができる。
【０００３】
図１に示した状況においては、コンピュータ・モニタ１２０が第２の光源として作用する。コンピュータ・モニタのリフレッシュ・レートは、多くの変数に依存し、上述の方法を使用するカメラが扱う周波数の１つに一致しないことは充分にあり得る。この周波数の不一致によって、シーケンス内のフレーム、たとえば図１に示したシーンを表示するイメージ・シーケンスにおけるフレームのいくつかが、ほかのフレームより強く照明されることになり、その結果、ビデオ・シーケンス内にフリッカが生じて、それを観察する者に不快感を与えることがある。このため、たとえばコンピュータ・モニタ等の第２の光源に伴う状況またはシーンを表示するビデオ・イメージ・シーケンスに関するフリッカを低減するテクニックが求められている。
【０００４】
要約
簡単に述べると、本発明の一実施態様によれば、ビデオ・イメージ・シーケンス内のフリッカを低減する方法は次のとおりとなる。連続するビデオ・イメージに対して時間的なフィルタリングを行う。フィルタの長さは、ビデオ・イメージ・シーケンス内の時間的な不連続にわたるフィルタリングの量を小さくするように調整する。
【０００５】
簡単に述べると、本発明の別の実施態様によれば、ビデオ・イメージ・シーケンス内のフリッカを低減する方法は次の内容を含む。連続するビデオ・イメージは、時間的にフィルタリングされる。フィルタの長さは動的に調整される。
【０００６】
本発明に関連する内容は、本件明細書に付随する特許請求の範囲に個別に指摘し、かつ明確に示した。しかしながら本発明の構成ならびに動作方法の最良の理解は、いずれもその目的、特徴および利点とともに、添付図面を参照した以下の詳細な説明を参照することによって得られることになろう。
【０００７】
詳細な説明
以下の詳細な説明においては、本発明の完全な理解を提供するために、各種の具体的な詳細を説明する。しかしながら、当業者であれば、これらの具体的な詳細から離れても本発明の実施が可能であることを理解されよう。一方、周知の方法、プロシージャ、コンポーネントおよび回路についての詳細な記述は、本発明の不明瞭化を避けるために割愛した。
【０００８】
すでに述べたように、図１は、典型的なテレビ会議システムのセットアップを示しているが、これは、本発明の範囲がテレビ会議との関連における使用に限定されることを意図したものではない。図１に示されるように、ユーザ／被写体は、コンピュータ・モニタ等のモニタ１２０を見ている間、カメラ１１０の正面に位置している。その部屋またはそのエリアは、光源１３０によって照明されている。カメラ１１０は、このシーンを表示するビデオ・イメージ・シーケンス内の光源１３０に起因するフリッカを低減するように設計されている。これは、前述したように、各種のテクニックによって達成することができる。しかしながらこの場合は、第２の光源として作用するコンピュータ・モニタ１２０がある。コンピュータ・モニタのリフレッシュ・レートは、多くの変数に依存し、上述の方法を使用するカメラが扱う周波数の１つに一致しないことは充分にあり得る。この周波数の不一致によって、ビデオ・イメージ・シーケンス内のフレームのいくつかが、ほかのフレームより多くの照明を受けることになり、その結果、ビデオ・シーケンス内にフリッカが生じて、そのビデオ・イメージ・シーケンスを観察する者に不快感を与えることがある。
【０００９】
本発明の一実施形態によれば、ビデオ・イメージ・シーケンス内のフリッカを低減する方法が次の内容を含む。連続するビデオ・イメージ、つまりビデオ・イメージ・シーケンスを時間的にフィルタリングし、そのフィルタの長さを調整する。以下にその次に詳細を述べる。この時間的なフィルタリングを達成するために、場合によっては、抑圧しようとするフリッカ周波数を決定することが望ましい。これは、各種の方法のいずれかを用いて達成できるが、それとは別に、フリッカ周波数を決定する代わりに、ユーザが調整して、エンド・ユーザが許容可能とするフリッカ量に到達してもよい。しかしながら、フリッカ周波数の決定が望まれるのであれば、一部の実施形態においては、たとえば、モニタのリフレッシュ・レートおよび、開口時間ならびにフレーム・レート等のカメラのパラメータからそれを決定することが考えられる。この情報は、オペレーティング・システムにより、および／または一例の実施形態におけるようにハードウエアから提供することができる。それに代えて、カメラによって生成されるサンプル・フレームのシーケンスに対して周波数解析を適用することによってフリッカ周波数を決定することもできる。これを行うテクニックは周知であり、ここではその詳細を論じない。さらに別の選択肢として、ユーザ・インターフェース・コントロールを使用してユーザからフリッカ周波数を獲得し、あるいは前述したように、特にフリッカ周波数値を提供することなく、ユーザがフィルタのフィルタリング機能を修正し、表示されたビデオ・イメージ・シーケンスに現れる効果を観察しながらこのテクニックを通じて、最終的にフリッカ量を許容可能な量まで調整することも考えられる。
【００１０】
これに関して本発明の範囲を制限する意図ではないが、この特定の実施形態においては、ゼロ遅延帯域消去フィルタを実装することによってフリッカを低減する。図２は、フリッカ周波数を抑圧するために設計された理想的な帯域消去フィルタを示した概要図である。一般的なテクニックを使用して、たとえば、Ｎを正の整数とするとき、フリッカ周波数において消去帯域を有する、２Ｎ＋１タップ、リニア・フェーズの有限インパルス応答（ＦＩＲ）フィルタを生成することができる。ＦＩＲフィルタは、過去のサンプル用のフィルタ係数を２倍し、将来のフィルタ係数をゼロに設定することによって、遅延が減り、あるいは除去されるように修正することができる。現在のサンプル用のフィルタ係数は変更しない。結果としてＮ＋１タップのＦＩＲフィルタが得られる。それはフリッカ周波数に消去帯域を有し、その実質的な遅延はゼロである。フィルタ設計のテクニックは周知であることから、それについての詳細もここでは省略する。この種のフィルタ作成には、多数のアプローチのいずれを使用してもよく、また、それを達成するためのソフトウエア・パッケージも市販されている。たとえば、マサチューセッツ州ナティックにあるＭａｔｈ Ｗｏｒｋｓ Ｉｎｃ（マス・ワークス・インク）から市販されている「ＭａｔＬａｂ（マットラボ）」（バージョン５．２）を使用することができるが、当然のことながら、市販されているこの製品の使用に本発明が限定されることはない。また、モニタのリフレッシュ・レートが変更されたとき、あるいはフレーム・レート等のカメラのパラメータが修正されたとき、フィルタの再較正が望まれることがあるという点にも注意されたい。
【００１１】
一実施形態においては、フィルタの長さを調整して、観察されるイメージのフリッカとイメージのゴーストとをトレードオフさせることもあるが、これに関して本発明の範囲が限定されることはない。たとえば、Ｎ＋１タップのＦＩＲフィルタを使用する場合、一例として図３に示したように、時間方向にピクセルごとのベースで現在のビデオ・フレームおよび直前のビデオ・フレームに対してそれを適用し、現在の出力フレームを生成してもよい。しかしながら、このフィルタの非適応的な適用は、フリッカは抑圧されるものの、「ゴースト」として視覚的に現れるリンギング・アーティファクトを招くことがある。このリンギングまたはゴーストは、少なくとも部分的には、特定のピクセル・ロケーションにおいて時間方向に不連続性をもたらす可能性のある対象の動きに起因する。このため、この特定の実施形態においては、過剰なゴーストを招くことなくフリッカを抑圧するため、それぞれのピクセル・ロケーションごとに、フィルタ長さ値をストアするためバッファを使用することがある。一実施形態においては、当初フィルタ長が「１」に設定される。その場合、現在のフレームのピクセル値と直前のフレームのピクセル値の間の絶対差分があらかじめ決定した所定のしきい値より小さいときは、そのピクセル用のフィルタ長を増分することができる。その条件を満たさないときは、この実施形態の場合、そのピクセル用のフィルタ長を「１」にリセットする。つまりフィルタ長が、ビデオ・イメージ・シーケンス内の時間的な不連続にわたるフィルタリングの量を小さくするように調整される。この実施形態におけるしきい値値は、フリッカの低減とゴーストの低減の間の効果的なトレードオフを提供するが、これに関して本発明の範囲が制限されることはなく、その調整を行ってもよい。たとえばこれを、すでに示したように、ディスプレイまたはモニタ上の効果を観察しながらエンド・ユーザがリアルタイムで調整するパラメータとしてもよい。別の実施形態においては、フリッカの効果が、たとえばプラス・マイナス１５％といった範囲を超えて個別のピクセルを変化させることがないものと仮定してもよい。ピクセル値が０から２５５までの範囲の場合にこの値を適用すると、３８近傍のしきい値が得られる。それに代えて、いくつかの実施形態においては、２のべき乗をしきい値として使用してもよい。その場合、たとえば３２のしきい値がもたらされる。
【００１２】
この特定の実施形態においては、ｎを正の整数とするとき、適応フィルタが、ピクセルごとのベースで１からＮ＋１までの長さｎを有する。一実施形態においては、１からＮ＋１までの長さを有するフィルタのセットを生成し、上記のフィルタ長に基づいて個別のピクセルに適したフィルタを選択するようにしてもよい。すべてのフィルタは、実質的に同一の消去帯域用として設計されるが、当然のことながら、フィルタが長いほどフリッカの抑圧が向上する。それに代えて、別の変形例においては、１つのＮ＋１タップのフィルタを生成し、長さｎのフィルタが必要なときには、そのＮ＋１タップのフィルタの、最初のｎ個の係数を使用する。短くしたフィルタの出力信号は、適宜スケーリングすればよい。当然のことではあるが、このほか多くのフィルタの実施形態が可能である。
【００１３】
パーソナル・コンピュータ等の演算プラットフォームの実施形態は、本発明に従ったビデオ・イメージ・シーケンス内のフリッカを低減するための方法、たとえば上記の実施形態のいずれかを実施するように適合させることができる。この種の演算プラットフォームは、ビデオ・イメージの処理にも適合することができる。たとえば、実行時にこの結果をもたらすロードしたソフトウエアをＰＣに持たせることが考えられる。さらにプラットフォームを、ビデオ・イメージ・シーケンスの時間的なフィルタリングに適合させ、かつ時間的なフィルタ長の調整、たとえば動的な調整に適合させることができる。また別の実施形態として、製品が、ディスク、フロッピーディスク、ＣＤ−ＲＯＭ、またはハードディスクのような記録媒体を含み、それらに命令を記録するようにしてもよい。その命令は、例えば、それがプロセッサによって実行されたとき、先に説明した実施形態のいずれかのように、本発明に従ったビデオ・イメージ・シーケンス内のフリッカを低減させる方法の実施形態を実施するものである。
【００１４】
ここでは、本発明の特定の特徴について示してきたが、当業者であれば、これらが明らかになった後においては、多くの変形、代用、変更、およびそれらの等価行為が可能であろう。したがって、付随する特許請求の範囲は、これらすべての修正および変更が本発明の真意に含まれるべく意図されているものと理解する必要がある。
【図面の簡単な説明】
【図１】 典型的なテレビ会議システムを示した概要図である。
【図２】 理想的な帯域消去フィルタを示した概要図である。
【図３】 本発明に従った実施形態による使用が考えられる時間フィルタを示したプロットである。

Claims (19)

1. 連続するビデオ・イメージの時間的なフィルタリングを行うステップと、
   フィルタ長を動的に調整するステップと
   を含み、
   前記フィルタ長は、観察可能なイメージのフリッカとイメージのゴーストとがトレードオフとなるように動的に調整されることを特徴とするビデオ・イメージ・シーケンス内のフリッカを低減する方法。
2. 前記時間的なフィルタリングは、ピクセルごとのベースで実施されることを特徴とする請求項１記載の方法。
3. 前記フィルタ長の調整は、現在のイメージ・ピクセルと直前のイメージ・ピクセルの間の絶対差分があらかじめ決定したしきい値より小さいとき前記フィルタ長を増加し、その逆のときにはフィルタ長を１に設定するステップを含むことを特徴とする請求項１記載の方法。
4. 前記調整は、ピクセルごとのベースで実施されることを特徴とする請求項３記載の方法。
5. 前記調整は、ピクセル・グループごとのベースで実施されることを特徴とする請求項３記載の方法。
6. 前記時間的なフィルタは、帯域消去フィルタを構成することを特徴とする請求項１記載の方法。
7. 前記帯域消去フィルタは、ゼロ遅延の有限インパルス応答フィルタからなることを特徴とする請求項６記載の方法。
8. 連続するビデオ・イメージの時間的なフィルタリングを行うステップと、
   ビデオ・イメージ・シーケンス内の時間的な不連続にわたるフィルタリングの量を小さくするようにフィルタ長を調整するステップ
   を含み、
   前記フィルタ長は、観察可能なイメージのフリッカとイメージのゴーストとがトレードオフとなるように動的に調整されることを特徴とするビデオ・イメージ・シーケンス内のフリッカを低減する方法。
9. 前記時間的なフィルタリングは、ピクセルごとのベースで実施されることを特徴とする請求項８記載の方法。
10. 前記フィルタ長の調整は、現在のイメージ・ピクセルと直前のイメージ・ピクセルの間の絶対差分があらかじめ決定したしきい値より小さいとき前記フィルタ長を増加し、その逆のときにはフィルタ長を１に設定するステップを含むことを特徴とする請求項８記載の方法。
11. 前記時間的なフィルタは、帯域消去フィルタを構成することを特徴とする請求項８記載の方法。
12. 前記調整は、ピクセルごとのベースで実施されることを特徴とする請求項８記載の方法。
13. 前記調整は、ピクセル・グループごとのベースで実施されることを特徴とする請求項８記載の方法。
14. 記録媒体に記録され、プロセッサによって実行されると、連続するビデオ・イメージを時間的にフィルタリングし、かつ、ビデオ・イメージ・シーケンス内の時間的な不連続にわたるフィルタリングの量を小さくするようにフィルタ長を調整する命令を含み、
    前記記録された命令は、プロセッサによって実行されたとき、観察可能なイメージのフリッカとイメージのゴーストとがトレードオフとなるようにフィルタ長を動的に調整する機能を含むことを特徴とする記録媒体を備える製品。
15. 前記記録された命令は、プロセッサによって実行されたとき、さらに、現在のイメージ・ピクセルと直前のイメージ・ピクセルの間の絶対差分があらかじめ決定したしきい値より小さいとき前記フィルタ長を増加し、その逆のときにはフィルタ長を１に設定する前記フィルタ長の調整をもたらすことを特徴とする請求項１４記載の製品。
16. 記録媒体に記録され、プロセッサによって実行されると、連続するビデオ・イメージの時間的なフィルタリングおよび、フィルタ長を動的に調整する命令を含み、
    前記記録された命令は、プロセッサによって実行されたとき、観察可能なイメージのフリッカとイメージのゴーストとがトレードオフとなるようにフィルタ長を動的に調整する機能を含むことを特徴とする記録媒体を備える製品。
17. 前記記録された命令は、プロセッサによって実行されたとき、さらに、現在のイメージ・ピクセルと直前のイメージ・ピクセルの間の絶対差分があらかじめ決定したしきい値より小さいとき前記フィルタ長を増加し、その逆のときにはフィルタ長を１に設定する前記フィルタ長の調整をもたらすことを特徴とする請求項１６記載の製品。
18. ビデオ・イメージの処理に適合された演算プラットフォームを備えるシステムであって、
    前記プラットフォームは、さらにビデオ・イメージ・シーケンスの時間的なフィルタリングに適合され、かつ、
    時間的なフィルタの長さを動的に調整するように適合され、
    前記プラットフォームは、さらに観察可能なイメージのフリッカとイメージのゴーストとがトレードオフとなるように行われるフィルタ長の動的な調整に適合されていることを特徴とするシステム。
19. 前記プラットフォームは、さらに現在のイメージ・ピクセルと直前のイメージ・ピクセルの間の絶対差分があらかじめ決定したしきい値より小さいとき前記フィルタ長を増加し、その逆のときにはフィルタ長を１に設定するフィルタ長の調整に適合されていることを特徴とする請求項１８記載のシステム。

Images