JP5222939B2 - テレビ電話におけるプライバシーを最大にするための浅い被写界深度のシュミレート - Google Patents

Description

テレビ電話におけるプライバシーを最大にするための浅い被写界深度の模擬実験に関する。

現在のテレビ電話では、被写界深度の深いカメラを用いており、その結果、カメラによって取り込まれる場面における主体は前景から背景まで焦点が合っている。このことを、被写界深度がより浅いカメラによって取り込まれるビデオ画像と比較すると、この場合には、前景における主体は焦点が合って見える一方で、場面の背景における対象は焦点が外れて見える。

テレビ電話において被写界深度が深いことは一般的に、レンズ口径に対してデジタル画像センサのサイズが小さいことと相まって、焦点距離およびシャッタ速度が固定されていることに起因する。これらの特定のデザイン・パラメータは、部品コストを低く保ちながら良好なテレビ電話画質を実現するために選択されている。このことは、非常に競争の激しい民生用エレクトロニクス市場でテレビ電話を販売していくためには重要なことである。

消費者市場でのテレビ電話は全体的に性能が優れており、被写界深度が深いことは多くの設定において許容されるのが普通である。その結果、テレビ電話の画像が全体的にシャープかつ鮮明であるということが知覚されるだけでなく、取り込まれた場面の一部分について焦点が外れるという心配をユーザがすることなく、テレビ電話を種々の設定で用いることができる。たとえば、テレビ電話通話の一方の側にいる人々のグループでは、カメラの近くに位置する参加者もいるし、離れている者もいる。別のユーザが、テレビ電話を用いて、カメラから少し離れたところに保持する必要がある何かを示したいと希望する場合もある。

しかしテレビ電話の被写界深度が深いことは、状況によっては問題点を示す可能性がある。ユーザの中には、受信したビデオ画像の背景において詳細が乱れていることを見つける場合もある。また他のユーザの中には、自分達のテレビ電話が取り込む自分達自身、自分達の家、または周囲の画像が鮮明すぎることに対して、また自分達のプライバシに対してテレビ電話が多少なりとも侵害を示すことに対して、不愉快な思いをする場合もある。また、テレビ電話の能力を全面的に受け入れるユーザの場合でさえ、ユーザの生活の詳細がテレビ電話通話の間に意図せずに明らかにされ得る可能性もある。たとえば、人が、テレビ電話通話が行なわれていることに気付かずに、家の外にいる人々が見るには不適切な衣装の状態で背景を通って歩く場合がある。

プライバシーに対する懸念に対処する現時点での１つの解決方法には、テレビ電話に対する制御として、ユーザが、通話の音響部分が損なわれないようにしながらテレビ電話カメラを停止できるようにする制御を設定することが含まれる。多くの状況において効果的ではあるものの、これが示す解決方法は、すべてのユーザが受け入れるわけではない全か無かの解決方法である。なぜならば、ビデオ機能が失われることによって、テレビ電話がもたらす主な特徴が取り除かれるからである。加えて、このようなユーザ制御では、望ましくない内容または不適切な内容がテレビ電話によって偶然に取り込まれることは防止されない。

取り込まれたテレビ電話画像において浅い被写界深度を模擬実験するための配置であって、画像の背景部分をデジタル的に分離および不鮮明にして不明瞭にする配置が提供される。その結果、前景におけるテレビ電話ユーザの表示ビデオ画像は焦点が合った状態に保持され、一方で、背景は焦点が外れているように見える。

種々の説明例において、画像検出および追跡技術用いて、対象部分（たとえば焦点が合った状態に保持される人の顔、または顔および肩の領域）を、残りのビデオ画像から動的に分離する。画像処理技術を、残りの部分における画素群に適用して、その部分を不鮮明にして不明瞭にする。このような技術としては、空間ドメインにおける畳み込みフィルタ（たとえば、平均、中央値、またはガウシアン・フィルタ）または周波数ドメインにおける周波数フィルタ（たとえば、ロー・パスまたはガウシアン・フィルタ）から選択される１または複数のフィルタを適用することが挙げられる。固定テンプレートも、取り込まれたビデオのそれぞれ焦点を合わされて不鮮明にされた部分を分離するために、代替的に利用可能である。テンプレートには種々の形状があり、実質的に矩形状、長円形状、またはアーチ形状のものが含まれる。たとえば、長円形状のテンプレートを適用することによって、取り込まれたビデオ画像のうち固定された長円形の内部に収まる部分を焦点が合った状態に保ち、そして画像のうち長円形の外側に収まる残りの部分をデジタル的に不鮮明にする。

利用する前景／背景分離技術のタイプ（すなわち、動的な物体検出／追跡または固定テンプレート形状）の制御、背景に適用される不鮮明化の度合いの制御、および背景不鮮明化のオン／オフ制御を可能にするために、ユーザ−選択可能な制御が任意的に提供される。

本配置によってもたらされる模擬実験された浅い被写界深度によって、優位に、高い度合いのプライバシーを実現することが可能になる一方で、テレビ電話通話のビデオ・コンポーネントが損なわれないようにすることによってテレビ電話通信の固有の価値が保持される。プライバシーの特徴は、カメラ・ハードウェアに対して、望ましくないコストを加えるであろう変更も追加も必要としない経済的に実行されるデジタル画像処理技術を用いてもたらされる。加えて、ビデオ画像の不鮮明にされた背景部分は、見る者に自然に見える。なぜならば、浅い被写界深度画像は、テレビ、映画、および他のメディア・プレゼンテーションにおいて一般的に用いられているからである。こうして、テレビ電話通話と干渉することもなく、プライバシーが利用されているという事実に注意が向けられることもない押しつけがましくない仕方で、プライバシーが有効にされる。

カメラと、カメラの視野内に配置された２つの黒色および白色のパターン化ターゲットとを示す図である。 例示的な視野深さに対するカメラによって取り込まれる画像を示す図である。 例示的な視野深さに対するカメラによって取り込まれる画像を示す図である。 ２人のテレビ電話ユーザを示す例示的な配置の図形図である。 図４に示すテレビ電話の一方の図形図である。 テレビ電話によって表示された深い被写界深度を有するビデオ画像の例示的なスクリーン・ショットを示す図である。 本配置の原理によりテレビ電話によって表示される模擬実験された浅い被写界深度を伴うビデオ画像の例示的なスクリーン・ショットを示す図である。 取り込まれたビデオ画像を、焦点が合った状態に保持される対象部分と、種々の代替的な画像処理技術を用いて不鮮明にされた残りの部分とにする例示的な分離を示す説明図である。 それぞれビデオ画像内の焦点が合った状態に保持される対象部分を分離する一方で残りの部分が不鮮明にされる種々の例示的な固定テンプレートを示す図である。 それぞれビデオ画像内の焦点が合った状態に保持される対象部分を分離する一方で残りの部分が不鮮明にされる種々の例示的な固定テンプレートを示す図である。 それぞれビデオ画像内の焦点が合った状態に保持される対象部分を分離する一方で残りの部分が不鮮明にされる種々の例示的な固定テンプレートを示す図である。 焦点が合った状態に保持される対象部分と不鮮明化部分との間の遷移領域を有する例示的なテンプレートのダイアグラムである。 デジタル・フィルタリングの応用例に付随する畳み込みを行なうために用いられる例示的な画像およびカーネル配列を示す図である。 平均（すなわち、平均化する）デジタル・フィルタとともに用いられる例示的なカーネルを示す図である。 例示的なテレビ電話アーキテクチャの単純化されたダイアグラムである。 ビデオ画像における被写界深度効果を模擬実験する例示的な方法のフローチャートである。 本配置の原理によりプライバシーが有効にされる正のフィードバックをユーザに与えるためにテレビ電話によって表示される模擬実験された浅い被写界深度を伴うビデオ画像の例示的なスクリーン・ショットを示す図である。

図面の全体に渡って同じ参照番号は同じ要素を示す。
従来の写真撮影では、ある場面における主体を強調するために種々の合成技術が用いられている。このような技術の１つは「ボケ」として知られている。これは、「曖昧な」または「目まい」に翻訳される日本語の用語である。ボケは、表示された画像内で焦点が外れたハイライトまたは領域を用いることを指す。主体の焦点が合った状態に保持される一方で、表示された画像の残りの部分について焦点が外れているという希望する効果を与えるために「被写界深度」として知られる属性の種々の機能的、芸術的、または美的理由で、ボケ技術を用いる場合がある。

被写界深度は、スチールおよびビデオ写真撮影の両方において、レンズ口径、フィルム・ネガ／画像センサのサイズ（従来／デジタル・イメージングのそれぞれにおいて）、および焦点距離によって決定される。従来の３５ｍｍフィルムは、ネガのサイズがレンズ口径と比較して大きいために、被写界深度が浅い。比較して、コストを最小限にするために、消費者市場向けのほとんどのテレビ電話では、非常に小さいデジタル画像センサを用いるとともに、光学部品パッケージが備える焦点距離およびシャッタ速度は固定されている。したがって、開口数（すなわち、ｆ／絞り）をレンズの最大口径未満に調製すること、および露出を補償するためにシャッタ速度を小さくすることによって被写界深度を浅くするように用いられる従来技術は一般的に、テレビ電話カメラに対しては適用することはできない。

被写界深度とは、満足できる程にシャープである焦点面の周りの距離範囲のことである。被写界深度は、カメラ・タイプ、口径、および焦点距離に応じて変化するが、表示される画像サイズおよび視距離によって、被写界深度を知覚することに影響が出る可能性がある。被写界深度は、シャープな状態からシャープでない状態委に突然に変わることはないが、その代わりに漸次的な遷移として起こる。実際には、見る者またはカメラの解像力によって知覚されない場合であっても、焦点距離のすぐ前または後ろにあるすべてのものは鮮明さを失い始める。

遷移の臨界点というものは存在しないため、「錯乱円」と呼ばれる用語を用いて、特定の点をシャープでないとして知覚されるためにはどのくらい不鮮明にする必要があるかを規定している。錯乱円とは、レンズから出る光の円錐によって生じる光スポットであり、点光源を結像するときに完全な焦点に達しない。「錯乱円」が小さい物体は、鮮明できれいなドットを示し、焦点が合っている。「錯乱円」が大きい物体は、エッジがぼやけたドットを示し、焦点が外れている。

したがって本配置では、表示されたテレビ電話画像の前景における対象とする人の顔または他の領域に、小さい錯乱円を与える。画像の残りの部分には大きな錯乱円を伴って表示される。ボケ技術、錯乱円、およびサンプル画像についてのさらなる説明が、Ｈ．マークリンガ（H.Merklinger）、ボケの技術的見解（A Technical View of Bokeh）、写真技術（Photo Techniques）、５月／６月（１９９７）に掲載されている。

図１〜３は、本配置に被写界深度の原理を適用することを例示するために与えられている。図１は、カメラ１０５と、その視野内にある２つの黒色および白色パターン化ターゲット１１２および１１５とを示す図形説明図である。図示するように、ターゲット１１２はカメラの視野の前景にあり、ターゲット１１５は背景にある。図２に示すのは、深い焦点深度をカメラ１０５が選択したときの画像の見かけの例である。図示するように、ターゲット１１２および１１５は両方とも焦点が合っている。比較して、図３に示すのは、焦点深度がより浅い場合の画像の例である。この場合、前景にあるターゲット１１２は焦点が合っているが、背景にあるターゲット１１５はもはや焦点が合っておらず、ぼやけて見える。

図４を参照して、２人のテレビ電話ユーザがビデオ電話通信セッションに参加している例示的な配置４００を示す。ユーザ４０５は、家４１３でテレビ電話４０８を用いている。テレビ電話４０８は、ネットワーク４１８を介して、家４３５でユーザ４３０が用いるテレビ電話４２６に結合されている。テレビ電話によって一般的に、通話が広帯域ネットワークを介して伝えられるときに、フレーム・レートおよび解像力が両方ともより高いより良好な画質が実現されるが、テレビ電話の中には、通常の公衆交換電話網（「ＰＳＴＮ」）を介して動作するように構成されているものもある。広帯域ネットワーク・サービスは一般的に、ケーブル、ＤＳＬ（デジタル加入者線）、および人工衛星サービス・プロバイダから提供される。テレビ電話は普通、２人１組になって用いられ、通話上の各当事者はテレビ電話を用いている。

図５は、図４に示すテレビ電話４０８の図形図である。テレビ電話４０８は、消費者市場に市販されているテレビ電話を表わす。テレビ電話４０８は、基部５０５に取り付けアーム５１２によって取り付けられるディスプレイ・コンポーネントを備えている。基部５０５は、テレビ電話４０８をたとえばデスクまたはテーブル上に配置できるように構成されている。カメラ５１４がディスプレイ・コンポーネント内に配置されている。カメラ５１４のレンズは、図示するように、テレビ電話ユーザの方に向けられている。またマイクロフォン（図示せず）がカメラ５１４の付近に配置され、音声および他の、テレビ電話通話に付随する音を取り込むようになっている。

カメラ５１４は一般的に、ＣＣＤ（電荷結合素子）画像センサを用いて実現されている。ＣＣＤ画像センサは、多数の画素（すなわち、分離した画素）から、テレビ電話ユーザおよび周囲領域から形成される画像を取り込む。カメラ５１４から得られる画像は、テレビ電話４０８内でデジタル信号処理を受けて、デジタル・ビデオ画像出力ストリームを作成する。このストリームは、テレビ電話通話の他方の側にあるテレビ電話４２６に送信される。この説明例では、デジタル・ビデオ画像出力ストリームは、国際標準化機構（「ＩＳＯ」）とともに動画像専門家グループによって規定されたＭＰＥＧ−４ビデオ標準に準拠する圧縮されたビデオ・ストリームである。代替的な実施形態においては、以下のものから選択される１つを含む他のフォーマットおよび／またはビデオ圧縮方式が利用可能である。ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−７、ＭＰＥＧ−２１、ＶＣ−１（映画テレビ技術者協会ＳＭＰＴＥ４２１Ｍとしても知られている）、ＤＶ（デジタル・ビデオ）、ＤｉｖＸ、作製元はディブックス社（DivX,Inc.）（以前は、ディブックスネットワーク社（DivXNetworks Inc.）として知られていた）、国際電気通信連合ＩＴＵＨ．２６１、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４、ＷＭＶ（ウィンドウズ・メディア・ビデオ）、リアルメディア、リアルビディオ、アップル・クィックタイム、ＡＳＦ（拡張ストリーミング形式、拡張システム形式としても知られている）、ＡＶＩ（オーディオ・ビデオ・インターフェース）、３ＧＰＰ（第３世代パートナーシップ・プロジェクト）、３ＧＰＰ２（第３世代パートナーシップ・プロジェクト２）、ＪＰＥＧ（写真専門家合同委員会）、またはモーションＪＰＥＧ。

表示コンポーネントはスクリーン５１６を備え、スクリーン５１６は受像領域５２０および送像領域５２５を備えている。スクリーン５１６の受像領域５２０は、図４に示すテレビ電話４２６内のカメラによって取り込まれたユーザ４３０のビデオ画像を表示するように配置されている。送像領域５２５は、カメラ５１４によって取り込まれたユーザ４０５の比較的より小さい画像を表示する。こうして送像領域５２５によって、ユーザ４０５は、送信されて他方のユーザ４３０によって見られている自分自身の像を見ることができる。このようなフィードバックは、ユーザ４０５が自分自身をカメラ５１４の視野内に、取り込まれたビデオ画像内で所望の位置決めおよびフレーミングがなされた状態で配置できるようにするためには重要である。

取り付けアーム５１２が、ディスプレイ・コンポーネントおよびカメラ５１４を、基部５０５から上方にある距離を置いて位置決めするように配置されている。この距離は、表示ビデオ画像を快適に見ることが実現され、テレビ電話ユーザの良好な視野を用いてカメラ５１４を位置決めするようにするためのものである。取り付けアーム５１２内には、テレビ電話動作制御５３２が配置されている。テレビ電話動作制御５３２は、ユーザが、テレビ電話通話を設定し、ユーザ選好を設定し、テレビ電話設定を調整するなどのために、設けられている。

図４を再び参照して、テレビ電話ユーザ４３０は、テレビ電話４２６内に配置されたカメラによって取り込まれる場面４４０の前景に位置している。前景を参照数字４４２によって示す。同様に、図示するように、室内用鉢植え植物４５０が場面の中景４５２にあり、家族メンバ４６０が背景４６２にいる。

図６に、図４における取り込まれた場面４４０のビデオ画像の、テレビ電話４０８によってスクリーン５１６上に表示されたときの例示的なスクリーン・ショット６００を示す。図示するように、表示された画像は被写界深度が深い状態で現れており、ユーザ４３０、室内用鉢植え植物４５０、および家族メンバ４６０はすべて焦点が合っている。前述したように、このような深い被写界深度は普通、従来のテレビ電話によって表示されるビデオ画像に対して与えられている。また、取り込んだ場面内のすべての対象をこのように鮮明に結像することは、プライバシーに対する懸念を示す場合がある。

図６に示す従来の被写界深度が深いビデオ画像と比べて、図７に、本配置によって実現される模擬実験された浅い被写界深度を有するビデオ画像の例示的なスクリーン・ショット７００を示す。スクリーン・ショット７００に示すビデオ画像は、テレビ電話４０８によってスクリーン５１６上に表示されたものと同じ取り込まれた場面４４０である。ここでは、前景４４２におけるユーザ４３０の画像のみが焦点が合った状態に保持され、一方で、室内用鉢植え植物４５０および家族メンバ４６０は、図７におけるドット・パターンによって示されるように、不鮮明にされて不明瞭にされている。

図８は、取り込まれたビデオ画像を、焦点が合った状態に保持されている対象領域８０５と、複数の代替的な画像処理技術（後に、図１３および１４に付随するテキストで述べる）の１つを用いて不鮮明にされている残りの部分８１０とにする例示的な分離を示す説明図である。この説明例では、物体検出技術として、特定の特徴（この場合はユーザの顔、頭、および肩）を、テレビ電話通話の間にユーザが動いたときおよび／または位置を変えたときに、取り込まれたビデオ画像内で動的に検出して追跡する技術が用いられている。図８に示す対象領域には、ユーザの顔、頭、および肩の領域が含まれているが、他の対象領域を検出および追跡用に規定しても良い。たとえば、動的な検出および追跡技術を用いて焦点が合った状態に保持される画像領域を、ユーザの顔領域のみに限定しても良い。

物体検出、特に顔検出は、種々のコンピュータ・ビジョン領域（たとえば画像検索、ショット検出、ビデオ監視など）の重要な要素である。目標は、ビデオ画像内の予め規定されたクラスの物体を見つけることである。ビデオ画像中の物体検出を行なう従来の種々の技術が、具体的な用途の要求に応じて利用可能である。このような技術として、特徴ベースのアプローチが挙げられる。このアプローチは、顔形状特徴の位置特定を、たとえば特定の画像特徴（たとえばエッジ、色彩領域、テクスチャ、輪郭、ビデオ・モーション・キューなど）を抽出することによって行ない、そして、いくつかのヒューリスティックスを用いて、対象とする物体に固有の特徴の構成および／または組み合わせを見出すものである。

他の物体検出技術では、画像ベースのアプローチを用いている。このアプローチは、物体（たとえば顔）の場所を、本質的にパターン認識問題として処理するものである。顔パターンを認識する際の基本的なアプローチは、例を顔およびそれ以外のプロトタイプ・クラスに分類するトレーニング手順を介している。これらのクラスと、入力画像から抽出された２Ｄ強度配列（したがって名前画像ベース）とを比較することによって、顔の存在を判定することができる。画像ベースのアプローチとしては、線形部分空間法、ニューラル・ネットワーク、および統計的アプローチが挙げられる。

これらの技術の概略および他の技術の説明は、Ｅ．ジェルマス（Hjelmas）およびＢ．Ｋ．ロウ（Low）、顔検出：調査、コンピュータ・ビジョン、および画像理解（Face Detection：A Survey,ComputerVision and Image Understanding）８３、２３６〜２７４（２００１）に見出せる場合がある。加えて、種々のオープン・ソース・コード供給源が、適切な顔検出アルゴリズムを実行するのに利用可能である。たとえば、オープン（Open）ＣＶコンピュータ・ビジョン・ファシリティ（インテル社製）である。これは、統計モデルを用いた顔検出に対する低レベルおよび高レベルの両方のＡＰＩ（アプリケーション・プログラミング・インターフェース）を提供するものである。この統計モデル、または分類子では、対象とする物体クラスの複数のインスタンス、または「正の」サンプルと、複数の「負の」サンプル、すなわち対象とする物体を含まない画像とを取り扱う。正および負のサンプルは一緒になって、トレーニング・セットを作成する。トレーニングの間、異なる特徴がトレーニング・サンプルから抽出されて、物体を分類するために用いることができる特有の特徴が選択される。この情報は、統計モデル・パラメータ内に「圧縮される」。トレーニングを受けた分類子が、物体を検出しない（物体を見逃す）かまたは不在の物体を誤って検出する（すなわち、誤報を出す）場合には、対応する正または負のサンプルをトレーニング・セットに加えることによって、容易に調整することができる。インテル・オープンＣＶ顔検出についてのより多くの情報を、以下の文献で見出せる場合がある。Ｇ．ブラッドスキー（Bradski）、Ａ．ケーラー（Kaehler）、およびＶ．ピザレブスキー（Pisarevsky）、インテルのオープン・ソース・コンピュータ・ビジョン・ライブラリによる学習ベースのコンピュータ・ビジョン（Learning-Based Computer Vision with Intel's Open Source Computer Vision Library）、インテル技術ジャーナル（Intel Technical Journal）、９巻、２号、（２００５）。

図９〜１１に、対象部分を残りの部分から分離するために、取り込まれたビデオ画像に適用される固定テンプレートの説明例を示す。対象が動くとターゲット部分の形状が動的に変化する場合の物体検出技術と比較して、図９〜１１におけるテンプレートでは、ターゲットと残りの部分との間の固定された境界を用いる。固定テンプレートを用いることによって、プライバシーを実現するために本配置の分離態様をそれほど複雑ではなく実行する一方で、いくつかのシナリオにおいて有益な場合があるその機能性の大部分が保持され得る。任意的な配置では、テレビ電話ユーザが、種々のテンプレートから選択して特定の用途および状況に最良にマッチするテンプレートを見出すように、制御が行なわれる。他の配置では、ターゲット部分および残りの部分の相対的サイズの調整を、固定増分でかまたは固定範囲において無限に行なっても良い。

図示するように、図９におけるテンプレート９００は、スクリーンのほぼ中央の３分の２を占める領域に配置された実質的に矩形のターゲット部分９０５を有している。ターゲット部分９０５は、残りの部分９１０がスクリーンの最上部および側辺を占めることができるように配置されている。このテンプレートは、ほとんどのテレビ電話ユーザがテレビ電話カメラの視野の中央部分を占めるように位置するという観察結果を利用している。したがって、潜在的なプライバシーに対する懸念の領域は、取り込まれた画像の最上部および側辺になる傾向がある。前述したように、任意的な配置では、ターゲット部分９０５と残りの部分９１０との間の相対的サイズを、図９における波線の矩形９２５が示すようにユーザ調整可能となるように構成しても良い。

図１０に示すのは、ターゲット部分１００５の最上部部分が曲線状であるということ以外は、図９に示すのと同様（スクリーンのほぼ中央の３分の２を占有することによって）であるテンプレート１０００である。したがって、ターゲット部分１００５は実質的にアーチ形状である。この形状を用いることによって、残りの部分１０１０の領域が増加するとともに、特定のユーザの用途に対して、焦点が合っている部分と不鮮明部分との間のフィットがより良好になる場合がある。

図１１に、ターゲット部分が実質的に長円形状であるテンプレート１１００を示す。この場合、残りの部分１１１０は、プライバシー不鮮明化が、スクリーンの最上部および側辺領域とともに、表示された画像の下部中央で行なわれるように（これは、テンプレート９００および１０００とは異なる）、ターゲット部分１１０５を囲んでいる。

図１２に、焦点が損なわれない状態に保持されたターゲット部分１２０５と、本明細書に記載した技術を用いて不鮮明にされた残りの部分１２１０との間の遷移領域１２０２を有する例示的なテンプレート１２００を示す。遷移領域１２０２は、ターゲット部分１２０５と残りの部分１２１０との間に中程度の錯乱円を伴って構成されている。これにより、焦点領域と不鮮明化領域との間の遷移をより柔らかくすることが実現でき、その結果、表示された画像が状況によってはより自然に見えるようにすることに役立つ場合がある。遷移領域１２０２のサイズは、普通は特定の用途の要求に従って選択されるデザイン上の選択である。遷移領域は、長円形のターゲット部分を有するテンプレートとともに用いられていると示されているが、このような遷移領域は、固定テンプレートおよび動的な物体検出の両方の実施形態において、任意のターゲット部分形状とともにを用いても良いことを強調しておく。

取り込まれたビデオ画像が、対象部分と残りの部分とにいったん分離されると、デジタル画像処理が行なわれて、残りの部分における画素群の錯乱円を増加させ、その結果、残りの部分を不鮮明にして不明瞭にする。この説明例では、デジタル画像処理には、空間ドメインまたは周波数ドメインのいずれかにおいてフィルタリングすることが含まれる。

空間ドメインは、空間内のある特定の点における強度によって画像が表わされる通常の像空間である。空間ドメインは、画像データに対する共通表現である。畳み込み演算子が、残りの部分における画素を不鮮明にするために適用される。畳み込みは、多くの共通の画像処理動作に対して基本的である単純な数学演算である。畳み込みによって、２つの数配列（一般的にサイズは異なるが次元は同じ）を互いに乗じて、同じ次元の第３の数配列を作成する方法が与えられる。これを画像処理において用いて、出力画素値が特定の入力画素値の単純な一次結合である演算子を実行することができる。

画像処理の文脈では、入力配列の１つは通常、たとえばＲＧＢ（赤緑青）色モデルを用いて、ビデオ画像内の色成分の１つに対する強度値の組（すなわち、グレー・レベル）である。第２の配列は通常、はるかに小さく、さらに２次元であり（単に単一の画素厚みの場合もあるが）、またカーネルとして知られている。図１３に、畳み込みを例示するために用いられる例画像１３０５およびカーネル１３１０を示す。

畳み込みは、画像上でカーネルをスライドさせて行ない（一般的に左上のコーナーで開始する）、カーネルが画像の境界内で完全にフィットするすべての位置を通してカーネルを動かす（なお具体化は、画像のエッジにおいて何をするかで異なる。これについては後述する）。各カーネル位置は、単一の出力画素に対応し、その値の計算は、カーネル内の各セルに対してカーネル値とその下の画素値とを互いに乗じることと、次にこれらの数を互いに加えて出力Ｏを作成することとによって行なう。したがって、図１３に示す例では、出力画像における右下の画素の値は、以下の式によって与えられる。

画像ＩがＭ行およびＮ列を有し、カーネルがｍ行およびｎ列を有する場合、出力画像のサイズは、Ｍ−ｍ＋１行およびＮ−ｎ＋１列を有する。数学的に、畳み込みは以下のように書かれる。

ここで、ｉは１からＭ−ｍ＋１に及び、ｊは１からＮ−ｎ＋１に及ぶ。

１つの説明例では、適用される畳み込みフィルタは平均フィルタと呼ばれる。平均フィルタでは、画像内の各画素の代わりに、その隣接（それ自体を含む）の平均値を用いる。平均フィルタは一般的に、「ボックス」、「平滑化」、または「平均化」フィルタとも言われる。平均フィルタに対して用いるカーネルは、平均を計算するときにサンプリングすべき近隣のサイズおよび形状を表わす。多くの場合に、図１４の参照数字１４１０によって示される３ｘ３の四角形カーネルであるが、より大きい５ｘ５、７ｘ７などのカーネル用いて、より不鮮明化を作成しても良い。カーネル１４０５を２回以上適用しても良い。

代替的に中央値フィルタを用いる。中央値フィルタでは、平均フィルタで用いた平均値の代わりに、隣接する画素の中央値を用いる。
別の説明例では、ガウシアン・フィルタを適用して、画像内の焦点が合った状態で表示すべき対象部分以外の残りの部分を不鮮明にする。このフィルタでは、カーネルとして、ガウシアン（すなわち、ベル形状曲線）を表わす形状を有するものを用いる。ガウシアンは以下の式で表される。

ここで、σは分布の標準偏差である（平均はゼロである、すなわち行の中心ｘ＝０に置かれていると仮定する）。

ガウシアン平滑化の効果は、前記した平均フィルタと同様の方法で画像を不鮮明にすることである。平滑化の度合いはガウシアンの標準偏差によって決定される。標準偏差がより大きいガウシアンの場合は、正確に表わすために、より大きい畳み込みカーネルを必要とする。

ガウシアンは、各画素の近隣の「加重平均」を出力する。平均値を、中央の画素の値に向けてより多く重み付けする。これは、平均フィルタの均一な加重平均とは対照的である。このため、ガウシアン・フィルタでは一般的に、平滑化がより優しく行なわれ、同様のサイズの平均フィルタよりもエッジが良好に保持される。

周波数ドメインは、種々の周波数を有する周期的な信号の和によってビデオ画像が表わされるドメインである。適用するフィルタ関数を、一部の周波数を減衰させて他を高めるような形にする。一般的に、フーリエ空間における乗算は、空間ドメインにおける畳み込みと同一であるため、すべての周波数フィルタを空間ドメイン内で実行することもできる。加えて、所望のフィルタ効果に対して単純なカーネルが存在する場合には、空間ドメイン内でフィルタリングを行なうことは計算的に安価である。空間ドメイン内で簡単なカーネルを見つけることができない場合には、周波数フィルタリングの方が適切であり、より効率的でもあり得る。

周波数ドメイン内でフィルタを適用するためには、画像内の対象領域以外の残りの部分における画素群を、空間ドメインから周波数ドメインへとフーリエ変換する。

ここで、Ｆ（ｋ、ｉ）はフーリエ・ドメインにおける入力画像であり、Ｈ（ｋ、ｉ）はフィルタ関数であり、Ｇ（ｋ、ｉ）はフィルタリングされた画像である。空間ドメイン内で結果として生じる画像を得るために、Ｇ（ｋ、ｌ）を逆フーリエ変換から再変換する必要がある。

フィルタ関数の形状によって、演算子の効果が決定される。本配置では、ロー・パス・フィルタを用いて、高周波を減衰させ、低周波を不変に保つ。空間ドメインにおける結果は、平均フィルタを空間ドメイン内で適用することによって得られるものと同等である。なぜならば、ブロックされた高周波は、鋭い強度変化すなわち空間ドメイン画像における微細な詳細に、対応するからである。

最も単純なローパス・フィルタが理想的なローパスである。このようなフィルタでは、カットオフ周波数Ｄ_０よりも高いすべての周波数が抑えられ、それよりも小さい周波数は変わらずに残る。

ほとんどの用途では、Ｄ_０は、フーリエ・ドメイン画像によって表わされる最も高い周波数の何分の１かで与えられる。

本配置の応用例では、周波数ドメイン内でガウシアン・フィルタを適用することによって、理想的なローパス・フィルタよりも望ましい結果が生じる。広く用いられているガウシアンに対する別個の近似は、バターワース・フィルタとして知られている。周波数ドメイン内でこのフィルタを適用すると、空間ドメイン内でのガウシアン平滑化と同様の結果が示される。

図１５は、テレビ電話４０８および／または４２６（図４）に対する例示的なアーキテクチャ１５００である。カメラ５１４を形成するＣＣＤイメージ・センサは、深い被写界深度（すなわち実質的に無限なもの）を有するビデオ画像を取り込むものであるが、アーキテクチャ１５００における抽象化ハードウェア層１５０２内に含まれている。またハードウェア層１５０２は、フレーム・バッファ１５０４および出力インターフェース１５１２も備えている。取り込まれたビデオ画像は、画像処理モジュール１５１６によって処理される。画像処理モジュール１５１６は、多くのコンポーネントを有しており、たとえば、画像分離論理回路１５２０、不鮮明化論理回路１５２６、ブレンディング論理回路１５３２、およびユーザ・インターフェース１５３５がある。画像処理モジュール１５１６およびその内部のコンポーネントを、用途によっては、たとえばハードウェア（たとえば１または複数の特定用途向け集積回路）および／またはファームウェアを用いて、別個に実現しても良い。あるいは、画像処理モジュール１５１６を、テレビ電話４０８に常駐するソフトウェア、またはハードウェア、ファームウェア、もしくはソフトウェアの組み合わせを用いて実現される論理装置として、構成しても良い。

分離論理回路１５２０は、カメラ５１４からビデオ画像を分離して、ターゲット部分（焦点が維持される）と残りの部分（不鮮明化が課される結果、その部分が不明瞭になる）とにするように配置されている。分離は、図８に付随するテキストで説明した物体検出を用いて、あるいは図９〜１２に付随するテキストで説明したテンプレートの１つを用いて行なう。

不鮮明化論理回路１５２６は、取り込まれたビデオ画像の残りの部分を不鮮明にして、その内部の画素の錯乱円を増加させ、その結果、主体を不明瞭にするように配置されている。このような不鮮明化は、図１３および１４に付随するテキストで説明したデジタル・フィルタリング技術のうちの１または複数を用いて行なう。不鮮明化論理回路は任意的に、ユーザからの入力に応答可能なように不鮮明化の度合いを調整するように構成される。不鮮明化論理回路１５２６は代替的に、取り込まれたビデオ画像の残りの部分を、前記したように、あらかじめ定義された画像（たとえば壁紙）と入れ替えるように配置されている。

ブレンディング論理回路１５３２は、不鮮明にされないターゲット部分を不鮮明にされる残りの部分と組み合わせた合成ビデオ画像を作成するように配置されている。用途によっては、ブレンディング論理回路１５３２および不鮮明化論理回路１５２６は、図１２に示し付随するテキストで説明した複数の不鮮明化レベルを可能にするように構成される。

ユーザ・インターフェース１５３５は、テレビ電話４０８のユーザに、現在のプライバシー特徴に対するユーザ−選択可能な制御を与えるように配置されている。たとえば、ユーザは、取り込まれた画像の背景部分が不明瞭にされるかまたは焦点が合った状態に保持されるように、プライバシー特徴を選択的に有効および／または無効にしても良い。不鮮明化を実行する度合い（物体検出／追跡を用いようと固定テンプレートを用いようと）およびテンプレート形状も、本配置の用途によってはユーザ−選択可能であっても良い。

フレーム・バッファ１５０４を、処理の間にビデオ画像を一時的に記憶するために、テレビ電話アーキテクチャ１５００内で用いる。出力インターフェース１５１２は、フレーム・バッファ１５０４からビデオ画像を読み出して、ネットワーク４１８（図４）上でビデオ出力ストリームとしてリアル・タイム送信を行なうことに備える。ほとんどの用途では、出力ストリームは、ＭＰＥＧ−４に従ってフォーマットされる。あるいは、ＭＰＥＧ−２である。

図１６は、ビデオ画像内の被写界深度効果を模擬実験するための例示的な方法１６００のフローチャートである。方法１６００は、図４のテレビ電話４０８または４２６のいずれかによって用いても良い。本方法はブロック１６０５で開始する。ブロック１６１１において、カメラ（たとえば、カメラ５１４）によって、被写界深度が深いかまたは実質的に無限であるビデオ画像（消費者市場内で販売されるほとんどのテレビ電話に対して典型的である）を取り込む。

ブロック１６１６において、取り込まれたビデオ画像を、焦点が維持されるターゲット部分と、図８に関する記載で説明した技術の１つを用いて不鮮明化が適用される残りの部分とに、空間的に分離する。通常、ビデオ画像は、分離、不鮮明化、および合成の画像処理ステップの間にバッファリングされる（たとえば、図１５におけるフレーム・バッファ１５０４において）。

ブロック１６２０において、取り込まれたビデオ画像の残りの部分を不鮮明にして、その内部の画素の錯乱円を増加させ、その結果、主体を不明瞭にすることを、図１３および１４に付随するテキストで説明したデジタル・フィルタリング技術の１または複数を用いて行なう。不鮮明にされた残りの部分を、不鮮明にされないターゲット部分と組み合わせて、ブロック１６２２において示すように合成ビデオ画像を作成する。合成ビデオ画像を次に、ブロック１６２５においてフレーム・バッファにおいてリフレッシュする。

ブロック１６３１は、任意的なステップを示す（図１６において波線の矩形で示す）。このステップでは、合成ビデオ画像をテレビ電話の表示スクリーン上に局所的に表示する。この任意的なステップを、図１７のスクリーン・ショットにおいて示す。このステップは、テレビ電話ユーザ（すなわち、図４においてテレビ電話４２６を用いるテレビ電話ユーザ４３０）が、プライバシー特徴が有効にされる正のフィードバックを受け取ることができるように行なわれる。すなわち、ユーザは、自分自身を、表示スクリーン１７１０の最下部にある小さい画像１７０５内に見ることができる。画像１７０５には、表示される合成画像が含まれる。プライバシーが、ユーザ選択的に有効および無効にされるように配置される応用例では、画像１７０５には、プライバシー特徴が無効にされたときに典型的な深い被写界深度を含むであろう通常のビデオ画像（すなわち、プライバシーを実現するようには処理されない）が含まれるであろう。

図１６に再び戻って、ブロック１６３５は、合成ビデオ画像が通話の遠い側にあるテレビ電話に送信されることを示す。通常、合成ビデオ画像は、ＭＰＥＧ−４に準拠するビデオ・ストリームの一部として送られる。例示的な方法１６００はブロック１６４０で終了する。

前述の説明では、別個かつ専用のテレビ電話配置が設けられているが、説明した特徴および機能は代替的に、汎用的なパーソナル・コンピュータ（「ＰＣ」）を用いて実施可能であることに注意されたい。このシナリオでは、ウェブカメラおよびマイクロフォン・ハードウェアを用いて、ＰＣによって提供される処理能力およびネットワーク・アクセスを補う。加えて、図１５に示すテレビ電話アーキテクチャ１５００は通常、ソフトウェアで実現されて、ＰＣ上のアプリケーションとして実行される「ソフト」テレビ電話が提供される。

別の代替的な例示的実施形態では、任意または所定の画像、効果、またはパターンを用いて、取り込まれたビデオ画像の残りの部分（すなわち、取り込まれたビデオ画像の、焦点が合った状態に保持されるターゲット部分以外の部分）と入れ替えても良い。前述したように、残りの部分における画素をそれらの錯乱円を増加させることによって不鮮明にして、その結果、残りの部分を不明瞭にする代わりに、残りの部分の全部または一部を、たとえば特徴のない画像と取り替えても良い。特徴のない画像を、たとえばテレビ電話ユーザが平坦な壁の前方に座っているように見えるようにするであろう任意のまたはユーザ選択可能な色彩を用いて配置しても良い。他の例では、任意のまたはユーザ選択可能な画像として、たとえば写真またはイラストを選択する。たとえば、庭園写真を選択して、テレビ電話ユーザに対する背景景色を提供しても良い。

主題を構造的特徴および／または方法行為に固有の言葉で説明してきたが、添付の請求項において規定される主題は必ずしも、前述した特定の特徴または行為に限定されないことを理解されたい。むしろ、前述した特定の特徴および行為は、請求の範囲を実施する形態例として開示されている。

Claims (19)

1. テレビ電話であって、
   複数の画素を含むビデオ画像を取り込むために配置されたカメラと、
   プライバシー・フィルタリングを前記ビデオ画像に適用して被写界深度効果をシュミレートするために配置された画像処理モジュールであって、前記プライバシー・フィルタリングは、（ａ）前記ビデオ画像のターゲット部分を前記ビデオ画像の残りの部分から分離すること、（ｂ）空間ドメイン内の前記ビデオ画像の前記残りの部分内の画素に適用される平均フィルタ、中央値フィルタ、またはガウシアン・フィルタのうちの１つを用いて前記残りの部分に付随する錯乱円を大きくして前記ビデオ画像の前記残りの部分を不鮮明にすることを含む、画像処理モジュールと
   を備え、
   前記画像処理モジュールは、前記ターゲット部分と前記残りの部分との間に中程度の錯乱円を有する遷移領域を形成する、テレビ電話。
2. 前記画像処理モジュールは、前記ビデオ画像の前記残りの部分を不鮮明にすることを、周波数ドメインの前記ビデオ画像の前記残りの部分内の画素に適用されるローパス・フィルタまたはガウシアン・フィルタの一方を用いて行なう、請求項１に記載のテレビ電話。
3. 前記ビデオ画像の前記不鮮明にされる部分を、前記ビデオ画像の不鮮明にされない部分の少なくとも一部と組み合わせて合成ビデオ画像を作成する、請求項１又は２項に記載のテレビ電話。
4. 前記画像処理モジュールは、ソフトウェア・アプリケーション、ファームウェア、ハードウェアのうちの１つ、またはそれらの組み合わせにより実現される、請求項１又は２に記載のテレビ電話。
5. 前記ビデオ画像の前記不鮮明にされる残りの部分のサイズまたは形状は、１または複数のテンプレートから選択される、請求項１又は２に記載のテレビ電話。
6. 前記プライバシー・フィルタリングに対する選択可能な制御を行なうように配置されたユーザ・インターフェースをさらに含む、請求項１又は２に記載のテレビ電話。
7. 前記ユーザ・インターフェースは、前記プライバシー・フィルタリングを有効および無効にするように配置される、請求項６に記載のテレビ電話。
8. 前記ユーザ・インターフェースは、前記ビデオ画像の前記残りの部分を不鮮明にする度合いを選択するように配置される、請求項６に記載のテレビ電話。
9. 前記ユーザ・インターフェースは、前記ビデオ画像の不鮮明にされる前記残りの部分のサイズまたは形状を選択するように配置される、請求項６に記載のテレビ電話。
10. コンピューター読取可能な媒体であって、電子装置内に配置された１つまたは複数のプロセッサにおいて実行されるとテレビ電話通話にプライバシーを与えるための方法を行なう命令を含み、前記方法は、
    テレビ電話カメラを用いてビデオ画像を取り込むステップと、
    物体検出アルゴリズムを適用して、前記ビデオ画像のターゲット部分を前記ビデオ画像の残りの部分から分離するステップと、
    空間ドメイン内の前記ビデオ画像の前記残りの部分内の画素に適用される平均フィルタ、中央値フィルタ、またはガウシアン・フィルタのうちの１つを用いて前記残りの部分に付随する錯乱円を大きくすることにより前記ビデオ画像の残りの部分をデジタル・フィルタリングして、前記ビデオ画像に含まれる主体にプライバシーを与えるステップと、
    前記ターゲット部分と前記残りの部分との間に中程度の錯乱円を有する遷移領域を形成するステップと、
    前記ターゲット部分を前記フィルタリングされた残りの部分と合成して、合成ビデオ画像を作成するステップと
    を含む、コンピューター読取可能な媒体。
11. 前記合成ビデオ画像を、前記テレビ電話通話の遠隔側にあるテレビ電話に送信するステップをさらに含む、請求項１０に記載のコンピューター読取可能な媒体。
12. 前記送信を、ビデオ圧縮を用いるフォーマットで行ない、前記フォーマットは、ＭＰＥＧ、ＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４、ＭＰＥＧ−７、ＭＰＥＧ−２１、ＶＣ−１、ＤＶ、ＤｉｖＸ、ＩＴＵＨ．２６１、ＩＴＵＨ．２６３、ＩＴＵＨ．２６４、ＷＭＶ１、リアルメディア、リアルビディオ、クイックタイム、ＡＳＦ、ＡＶＩ、３ＧＰＰ、３ＧＰＰ２、ＪＰＥＧ、またはモーションＪＰＥＧのうちの１つから選択される、請求項１１に記載のコンピューター読取可能な媒体。
13. 前記デジタル・フィルタリングは、空間ドメインまたは周波数ドメインの一方における畳み込み演算子を適用することを含む、請求項１０〜１２のいずれか１項に記載のコンピューター読取可能な媒体。
14. 前記デジタル・フィルタリングは、前記ビデオ画像の前記残りの部分の代わりに画像を適用することを含み、前記画像は、イラスト、パターン、特徴のない画像、カラー画像、写真または説明図の１つから選択される、請求項１０〜１３のいずれか１項に記載のコンピューター読取可能な媒体。
15. ビデオ画像における被写界深度効果をシュミレートするための方法であって、
    画像センサを用いて、実質的に無限の被写界深度を有する前記ビデオ画像を取り込むステップと、
    前記ビデオ画像のターゲット部分を画像バッファに空間的に前記ビデオ画像の残りの部分から分離するステップと、
    前記ビデオ画像の外見上の被写界深度が浅くなるように、前記残りの部分に画像処理を適用して、平均フィルタ、中央値フィルタ、またはガウシアン・フィルタのうちの１つを用いて前記残りの部分に付随する錯乱円を大きくするステップと、
    前記ターゲット部分と前記残りの部分との間に中程度の錯乱円を有する遷移領域を形成するステップと、
    前記画像処理されたビデオ部分を用いて前記画像バッファをリフレッシュするステップと
    を含む、方法。
16. 物体検出技術を用いて前記空間分離を行ない、前記ビデオ画像における対象部分について動的に位置を特定して追跡する、請求項１５に記載の方法。
17. 前記物体検出技術を、特徴ベースのアプローチまたは画像ベースのアプローチの一方から選択する、請求項１６に記載の方法。
18. 前記画像センサは、付随する画像センサのレンズ口径と比べて小さいＣＣＤアレイである、請求項１５〜１７のいずれか１項に記載の方法。
19. 前記レンズは、固定焦点距離を与えるように配置される、請求項１８に記載の方法。

Images