JP5156152B2 - 組み合わせ型の映像ディスプレイおよびカメラシステム - Google Patents

Description

（発明の分野）
本発明は電子装置に関する。特に、本発明は、組み合わせ型の映像ディスプレイおよびカメラシステムに関する。

（背景技術）
テレビ会議においては、２人が視聴覚的に通信する。各人は、カメラとディスプレイとを有するテレビ会議端末の近くにいる。カメラは人の画像を取り込み、離れたところにいる人にこの画像が送られる。離れたところにいる人の画像はディスプレイに表示される。テレビ会議に参加している各人は、他の人の画像を見るために自分のディスプレイを見る。通常、カメラは、ディスプレイ近くのどこかに置かれる。会議参加者がディスプレイを見るので、カメラによって取り込まれた画像は、ディスプレイにおいてはカメラから目をそらしている人の画像になる。このように、各人はアイコンタクトを維持することができない。会話中のアイコンタクトの欠如はコミュニケーションの効果を大きく低下させる。

多くの従来技術のシステムでは、ハーフミラーまたはビームスパッタとも呼ばれるマジックミラー（ｔｗｏ−ｗａｙ ｍｉｒｒｏｒ）を使うことが多い。マジックミラーは、一部の光を反射すると同時に一部の光を通過させる。図１は、従来技術のテレビ会議システムを示す。鏡１０４で反射されたディスプレイ１０８を会議参加者１０２が見る一方、カメラ１０６が会議参加者１０２の画像を取り込む。画像は、会議参加者１０２が見ているのと同じ位置から取り込まれる。テレプロンプタはこのように機能する。

他の従来技術のテレビ会議システムは、会議参加者に反射表示だけが見え、ディスプレイの直接表示が見えないように、映像ディスプレイにより生成される画像を反射するビームスプリッタを備える端末を用いる。カメラはビームスプリッタの表示面の後ろに置かれ、ビームスプリッタを通して会議参加者の画像を取り込む。ディスプレイの直接表示は、ビームスプリッタとディスプレイとの間に置かれた画像ブロックフィルムによってブロックされる。映像ディスプレイとディスプレイとの反射の両方を同時に見ると気が散るが、映像ディスプレイの直接表示をブロックすることで気が散ることがなくなり、遠隔会議が大きく改善される。

従来技術のシステムは、特に最新のディスプレイシステムあるいは最新の遠隔会議システムと比較すると、非常にかさばる。これらのシステムは、多くのエネルギーを浪費する。なぜならば、ディスプレイによって放射されるエネルギーのうちの多くが、マジックミラーを介して浪費されるからである。

多くの従来技術システムでは、会議参加者の三次元モデルを計算する。次に、このモデルを用いて、カメラが画面のすぐ後ろに置かれているかのように会議参加者の画像を与える。三次元モデルは、ディスプレイの近くに置かれたカメラによって取り込まれた会議参加者の複数表示から、あるいは特定の公知パターンの光を用いて会議参加者を照明し、この光によって引き起こされた照明に関するデータを用いることによって、計算される。

他の従来技術システムにおいては、三次元モデルは計算されず、ディスプレイの方向から見た最終の仮想表示が視覚フロー補間技術（ｖｉｓｕａｌ ｆｌｏｗ ｉｎｔｅｒｐｏｌａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）によって推定される。これらの方法はすべて計算が非常に膨大である。さらにこれらの方法は、必要な画像を完全に取り込むのではなく、単にこれを推定するだけである。同様に、見る人がディスプレイに近づくほど、種々のカメラによって取り込まれた会議参加者の画像間のばらつきが大きくなり、会議参加者の正確な三次元モデルを計算するのが難しくなる。同様に、このような近似モデルは、粒子状物質あるいは障害物が存在するといった、不適当な照明条件および不適当な表示条件の下ではうまくいかない。

テレビ会議の状況でアイコンタクトを得るための従来技術の方法では、会議参加者とディスプレイとの間の照準線に直接設けられたカメラを用いる。このようにしてユーザの画像を取り込むこともできるが、カメラのような視覚的な障害物は会議参加者にとって快適ではない。

取り付け機構は、カメラがディスプレイ画面とテレビ会議に参加する人との間に置かれるように、ディスプレイ画面の画面部分にカメラを取り外し可能に取り付ける。取付け機構は、吸盤、両面テープのストリップ、あるいは磁石であり得る。第１および第２の磁石間の磁力によって、フラットパネルディスプレイの画面部分にカメラを取り外し可能に取り付ける。

他の従来技術のシステムでは投影システムを用いるので、当然かさばる。さらに、これらのシステムでは、ディスプレイがあるため、カメラセンサを光から完全に分離できず、このためまぶしくなり望ましくない。さらに、画像品質の理由から、フラットパネルディスプレイが投影システムよりも好ましい状況が多く見られる。

（概要）
方法および組み合わせ型の映像ディスプレイおよびカメラシステムが開示される。一実施形態において、システムは、第１シートと、第１シートに対して平行になるよう向けられた第２シートとを備え、第２シートは光拡散器を含む。光源は第２シートの縁部に沿って設けられ、ここで第２シートは、光源により生成される光を拡散する。カメラが第２シートの後ろに１つ以上設けられ、第２シートおよび第１シートを通して画像を取り込む。

実装に関するさまざまな詳細および要素の組み合わせを含む、上記の特徴および他の好ましい特徴は、添付図面を参照しながらさらに詳細に説明され、請求項で示される。本明細書において記述される特定の方法およびシステムは、単なる例示として示され、限定として示されるのではないことが理解されるであろう。当業者によって理解されるとおり、本明細書で記述される原理および特徴は、本発明の範囲から外れることなく、種々の多数の実施形態において用いられ得る。

本明細書の一部として含まれる添付図面は、現時点の好ましい実施形態を示し、上で与えられた一般的な記述と下で与えられる好ましい実施形態の詳細な記述とを合わせることで、本発明の原理を説明し、教示するのに役立つ。

（詳細な説明）
方法および組み合わせ型の映像ディスプレイおよびカメラシステムが開示される。一実施形態において、システムは第１シートと、第１シートに対して平行になるよう向けられた第２シートとを備え、第２シートは光拡散器を含む。光源は第２シートの縁部に沿って設けられ、ここで第２シートは、光源により生成される光を拡散する。カメラが第２シートの後ろに１つ以上設けられ、第２シートおよび第１シートを通して画像を取り込む。

一実施形態によれば、本システムおよび方法では、ディスプレイが他の画像を表示しているのとほぼ同じ位置からカメラで画像を取り込む。システムは光学、電気、電子、およびオプションとしてコンピュータの要素を用いる。

本発明の一実施形態は、個々の画素の光学的透明度を調節することで画像映像を表示するフラットパネルスクリーンを備える。ディスプレイは、光がフラットパネルスクリーンを通過してユーザに画像が見えるように、光源からの光を拡散させるバックライトを用いて照明される。カメラは、フラットパネルスクリーンとバックライトとを通してユーザおよびユーザの周囲の画像を取り込む。画像補正システムおよび方法は、取り込まれた画像で用いられ、スクリーン上の画像の表示、バックライト、および取り込まれた画像の照明の効果を減少させるか、あるいはなくす。この補正された画像は出力２１４で利用可能である。

ほとんどすべてのコンピュータはディスプレイを有し、その多くがウェブカムあるいは他の画像取込み機構を有する。本システムは、さらにコンパクトな形態で、これら両方として機能する。多くの現在の携帯電話はディスプレイとカメラとの両方を有する。多くの携帯電話は、携帯電話のディスプレイを見る人に向けられたカメラを有する。本システムにより携帯電話をさらにコンパクトにすることができるようになり、携帯電話において目と目とを合わせた遠隔会議が可能になる。

一実施形態において、文書を読みながら、カメラをまっすぐ見つめているように見えるようにするのに本システムが用いられる場合もある。このような適用例では、本システムにより省エネルギーが可能になり、従来通りに利用してもスタジオスペースの節約となり、パソコンからのウェブキャスティングニュースまたは他のプログラム、あるいは屋外で撮影しながらカメラパネルから文書を読み取るといった他の利用ができる。

本システムを用いて、監視目的のために、ディスプレイあるいは照明のパッチの後ろにカメラを隠す場合もある。例えば、このシステムを用いて自動預金支払機のディスプレイ内にカメラを置くこともできる。

本システムは、取り込まれた画像をディスプレイ上で示すことで鏡として機能する場合もある。画像は左右を反転させて通常の鏡をエミュレートするか、あるいは反転させない場合もある。

図２は、本発明の一実施形態による例示的な組み合わせ型のカメラディスプレイシステム２９９のブロック図を示す。画像はフラットパネルスクリーン２０４上に表示される。フラットパネルスクリーン２０４は、個々の画素の光学的透明度を調節することで映像を表示する。スクリーン２０４は、フラットパネルスクリーン２０４を通って映像を見るユーザ２００まで光が通過するように、光源２０８からの光を拡散させるバックライト２０６を用いて照明される。カメラ２１０は、スクリーン２０４とバックライト２０６とを通してユーザ２００およびその周囲の画像を取り込む。画像補正システム２１２が用いられ、カメラ２１０により取り込まれた画像上にディスプレイ２０４とバックライト２０６とによって表示される画像の効果を減少させるか、あるいはなくす。

（表示と取り込み時間との交互切り替え）
スクリーン２０４の後ろのバックライト２０６はカメラ２１０内に光を散乱させ、その動作を妨げる。カメラ２１０内で散乱される光は予測可能であり、画像補正システム２１２で補正され得る。カメラ２１０で取り込まれるよう意図される光よりも散乱された光の方が強力な場合があるので、高い感度および精度のカメラが用いられる。散乱光（ノイズとなる）によって、取り込まれる画像の信号対雑音比が低下する。

システム２９９は画像を表示し、別の時間帯に画像を取り込むが、ここで画像表示時間と画像取り込み時間とは迅速に切り替わるシーケンスで現われる。切り替え周期頻度は非常に高いため、スクリーンを見ている目はちらつきに気付かない。人の目は約４０ヘルツより速い速度で起こるちらつきを知覚することができない。この原理は映画やブラウン管テレビで用いられている。

図３Ａは、本発明の一実施形態による、画像が表示される際の例示的な映像システム３００のブロック図を示す。光源２０８によって光をバックライトパネル２０６に照らす。この光はバックライトパネル２０６によって散乱される。散乱光がスクリーン２０４を通して見られると、スクリーン２０４上に表示される画像が知覚される。カメラ２１０は、この間の画像を記録しない。

図３Ｂは、本発明の一実施形態による、画像が取り込まれる際の例示的な映像システム３５０のブロック図を示す。光がバックライトパネル２０６によって散乱されないように、光源２０８は切られる。カメラ２１０はこの時、スクリーン２０４とバックライトパネル２０６とを通して画像２００を記録する。光源２０８が切られるため、画像を表示するのに用いられる光はカメラ２１０に入らず、カメラ２１０は、取り込まれた被写体２００のクリアな表示を得る。

光源２０８はオフおよびオンを（あるいは光出力ありおよび光出力なしを）繰り返す。この光源２０８は蛍光灯管の場合もある。蛍光灯は、光を出すことと光を出さないこととを素早く交互に繰り返すことができる。蛍光灯はフラットパネルディスプレイのバックライトを照らすのに用いられる。これらの蛍光灯は、１０００ヘルツ程度の速度で明るい状態と暗い状態とを繰り返す。明るい状態と暗い状態との負荷サイクルを変動させることが可能である（すなわち、光源が発光状態にあってバックライト２０６に光を供給する合計時間の比率を電子的に制御することが可能である）。他の実施形態において、光源２０８は１つ以上のＬＥＤ光源である。明るい状態と暗い状態との繰り返しは、ＬＥＤ光源を素早く続けてオンオフすることで行われる。白熱灯も同様に非常に良好な光源であるが、白熱灯は明るい状態と暗い状態とを非常に素早く切り替えることができない。白熱灯源からの照明は、光源２０８とバックライト２０６との間に障壁を置くことによって、明るい状態と暗い状態とを交互に繰り返し行わされ得る。障壁が透明と不透明との間で高速で切り替えを行い、バックライト２０６を輝かせたり、輝かせなかったりをする。こういった障壁は、迅速に開閉する開口部あるいは穴の開いたスピニングディスクとして実装される機械的シャッターの場合もある。周期的な障壁を生じさせる別のシステムは、不透明と透明とを高速に切り替えるＬＣＤパネルである。白熱灯のような連続式光源は、より自然で均等な光スペクトルを生成するので、照明システムで好まれることが多い。アークライトといった他の連続式システムは強力な出力をもたらす。光源が入れられている時間の比率が可能な限り小さくなるように、光源とその駆動用電子回路とが配置される。これにより、カメラ２１０で画像を取り込むのに割り当てられる時間を最大にして、カメラ２１０の感度を上げることができるようになる。非常に小さな負荷サイクル非常に大きな量の光エネルギーを供給するＬＥＤ光源がある。

カメラ２１０は画像記録モードと、カメラ２１０の入力開口部に照らされる光がカメラ２１０に何ら影響を及ぼさないモードとの間で切り替えを行い、このモードは、これ以降非記録モードと呼ばれる。一実施形態において、透明と非透明との間で高頻度の繰り返しを行うカメラ２１０の入力開口部近くの障壁を用いることでこれが実施される。カメラ２１０が、ＣＣＤカメラあるいは他の電子装置を含む電子カメラの場合、交互に入れ替わる障壁を実現するための他の方法は、電子シャッターを用いることである。電位が電子カメラ２１０の画像記録面の画素にかけられると、カメラ２１０により取り込まれた光子が電子に変換され、画面の各画素に対応する物理的スペースに蓄積される。この電位が除去されると、記録面に照らされる光の効果がなくなる。電子カメラ２１０の記録モードと非記録モードとの高頻度の切り替えは、上記の電位を交互に除去することで実施され得る。

電位をかけるのと除去するのとの間の時間は露光である。電位がかけられ、除去された後、各画素位置で蓄積された電荷量は画像の電子記述として機能するよう記録される。一実施形態においては、電位の印加および電位の除去の各々の後に、各画素に蓄積される電荷が記録される（すなわち画像が露光毎に取り込まれる）。非常に短い露光の場合、各点での強度を正確に推定するのに、単一の露光で十分な光子を蓄積することができないことがあり得る。このような場合、単一の画像が多数の露光後に記録される。このように、電位が多数回かけられて除去されることで、記録モードと非記録モードとの間でカメラが多数回切り替えられる。ある一定回数の露光後、各画素位置に蓄積された電荷量が測定され、記録される。後で画像が記録される露光の回数を選択することで露光制御、すなわち画素が単一画像の取り込みに対して露光される合計時間の制御が行われる。他の実施形態において、各露光の露光時間を選択することで露光制御を行う。露光制御は、記録された画像に対してさらに制御を行うためのカメラの特性である。自動露光制御は、以前に取り込まれた画像の強度または他の光計測値に基づいて、露光時間を選択することによって行われる。カメラは一定の画像速度で画像を取り込む。画像の取り込みで必要回数の露光が行われた後、次の画像が記録されるまで、カメラシャッターは非記録モードで維持される。この延長された非記録モードの間に、各画素位置で蓄積された電荷が記録される。

非ＣＣＤカメラ、非電子カメラおよびフィルムベースカメラが用いられる場合もある。フィルムベースカメラの場合、画像取り込み毎に複数の露光を行うために、記録モードと非記録モードとを複数回数切り替えてからフィルムフレームが進められる。これは、電子カメラの場合と同様に、記録モードと非記録モードとの間の高速切り替えを要求し得、その後に、延長された非記録モード（この間にフィルムが進められる）が続く。２つの連続的に設けられた開口部が用いられ得る。１つはバックライトの光がカメラ内に入り込まないようにするためのものであり、他の１つはフレームが進むことを可能にするためのものである。

光源２０８の明暗の間での切り替え、ならびにカメラ２１０の記録モードと非記録モードとの間での切り替えは、光源２０８が暗いときだけカメラ２１０が記録モードになるように同期される。カメラと光源との両方が単一の電子オシレータと制御回路とによって制御される。光源およびカメラのための交互開口部が、穴のあるディスクの場合、両ディスクは単一の機械軸によって駆動される。あるいは、穴のある単一ディスクが提供され、光源がオンになるか、またはカメラが記録中となるように、光源およびカメラの位置が配置される。

電子カメラと共に蛍光またはＬＥＤ光源が用いられ、これら両方を制御する単一のオシレータを有する単一の電子回路を用いて、これら両装置を駆動させる。一実施形態にしたがうと、単一のオシレータを有する単一の電子回路が、光源（蛍光あるいはＬＥＤのいずれか）と電子カメラとの両方を制御する。

さらにコストを下げるために、明暗を交互に切り替えることができる光源と置き換えることがあり得、この光源は、合計時間のうち、暗い期間は小さな比率でなく大きな比率であり得る。この場合、上述の同期は、光源２０８から最小限の光しかカメラ２１０に入らないように調節される。

他の実施形態において、カメラ２１０の開口部が非常に小さい場合、カメラ２１０に入る照明光は許容限度のものとなる場合があり、その効果は画像補正システム２１２によって無効にされる。

（ディスプレイ用バックライト）
ディスプレイ３００のバックライト２０６により、特定角度で入射する光があらゆる方向に散乱することができるようになる。一方、他の角度で入射する光は、何ら変化することなく、ほとんど完全にバックライトを通過する。

図４は、本発明の一実施形態による光導波路４００のブロック図を示す。光導波路４００のコア４０４には光拡散粒子がまばらに分布する（コア４０４は拡散器４０４とも呼ばれる）。拡散器４０４は、入射する光を反射させる金属、有機物、あるいは他の粉末または色素でできている。あるいは、拡散器４０４は、屈折、境界での反射、粒子内の拡散、あるいは全内反射によって光を拡散させる小さな透明粒子または気泡で構成される場合もある。一次光源４０８からの光は光導波路４００の全表面で拡散され、その大きな面の両側から出る。光導波路４００は、その面の１つから見ると、ほぼ透明でクリアである。光は収束反射鏡４１０を用いて収束される。

図５は、本発明の一実施形態による例示的なバックライトの図を示す。光源２０８からの光は主に、バックライト２０８の中間層５０４の１つの縁部に当たる。光源２０８から最大量の光が必要な角度で透明シート５０４に入るように、鏡とレンズとで構成される光学装置が用いられる。光源２０８から出る例示的な光線５０６が示される。この光線は、透明シート５０４と、低屈折率の他の透明シート５１０との間の境界で全内反射される。光線はさらに内反射され、これにより透明シート５０４内で完全に留まる。このように、光源２０８からの光の大部分はバックライトシート２０６によって散乱される。同様に、表面被覆シート５０２および５０６は完全に透明であるため、中間シート５０４は透明で、非常に低濃度の分散粒子バックライトシート２０６が、シートの大きな面に入る光に対してほぼ完全に透明になる。このように、カメラ２１０はバックライト２０６をほとんど完全に透明なものとして見る。

均一な照明が得られるように、非均一な濃度の分散粒子を用いることは有益である。単一光源の場合、分散粒子の濃度は光源の近くで低くなり、バックライト２０６の中間シート５０４の他の端部で高くなる。カメラは、バックライト２０６の分散粒子の濃度が低い部分の後部に設けられる。非均一な濃度を用いると、光源から来るすべての光がバックライトによって散乱され得る。

（画像補正システム）
画像補正システム２１２は、フラットパネルディスプレイ２０４とバックライト２０６とを通して、カメラ２１０によって取り込まれた画像の欠陥を補正する。カメラ２１０はフラットパネルディスプレイ２０４の非常に近くに設けられる。フラットパネルディスプレイ２０４のほんのわずかの画素しか、カメラ２１０により取り込まれた画像に影響を与えない。さらに、フラットパネルディスプレイ２０４の画素は、カメラ２１０の画像取り込み面で焦点から外れたところにある。カメラ２１０によって取り込まれる遠くにある被写体は、カメラ２１０の画像取り込み面で焦点内に入る。カメラ２１０によって取り込まれた画像の特定の画素に対するフラットパネルディスプレイ２０４の吸蔵（ｏｃｃｌｕｓｉｏｎ）の効果は、相乗的に大きくなる。特定の画素における実際の強度は、吸蔵する画素に応じて増加する。さらに、吸蔵画素が焦点から外れているので、２つ以上の吸蔵画素が、各々取り込まれる画像画素の吸蔵に対して寄与する。これ以降吸蔵マップと呼ばれる、取り込まれた画像の各画素の受ける吸蔵の量は、フラットパネルディスプレイ２０４上の吸蔵画素に特に関係する。一実施形態において、この関係は、スクリーン２０４上の単一画素が不透明であり、他のすべての画素が透明になる実験を行うことで推定される直線関係として近似される。吸蔵マップに対する単一スクリーン画素の効果が記録される。各スクリーン画素の吸蔵マップが分かると、適切なスクリーン画素の値に対する吸蔵マップが推定される。他の実施形態において、こういった直線関係はシフト不変な関係としてさらに特徴付けられる。これにより、高速フーリエ変換に基づく方法等の種々の高速たたみ込み法を用いて、適切なスクリーン画素の値から吸蔵マップを計算することができる。吸蔵マップがわかると、各々取り込まれた画素による吸蔵がわかり、スクリーン画素の初期値が求められる。

画素境界とトランジスタといった静的不透明要素とを有する多数のフラットパネルディスプレイがある。静的不透明要素は、吸蔵マップに対して静的な追加的効果を有する。この効果は、光のフラット強度でカメラに２１０にもたらされ、すべてのスクリーン画素を透明に維持することによって、実験的に推定される。静的不透明要素のさらなる既知の効果が吸蔵マップに追加され、合成吸蔵マップを生成する。マップは、静的要素と動的要素とによる変化を反映する。吸蔵の効果は次に、吸蔵マップで分割することで無効にされる場合もある。フラットパネルスクリーン２０４によってカメラ２１０により取り込まれた画像に導入された欠陥は、このように除去される。

カメラ２１０により取り込まれた画像には、バックライト２０６によって導入される２種類の欠陥がある。これらの欠陥の最初のものは、画像が取り込まれる前の光線の小さな分散である。他の実施形態において、クリアな映像を得るために、欠陥は標準的なデコンボリューション（ｄｅｃｏｍｖｏｌｕｔｉｏｎ）あるいは線形システム反転によって除去される場合もある。簡単な近似として、すべての画素値が加算され、合計散乱光を推定する場合もある。カメラ２１０に入る全ての光を近似するこの光の総量がさらに推定され、映像の全画素に均一に影響を与え、ひいては単一の均一値が各画素から減算される。これにより、バックライト２０６によって導入された僅かなぼやけ（ｈａｚｅ）を減らすことで、取り込まれた映像のコントラストが改善する。

バックライト２０６によって導入される第２の欠陥は、光源２０８からの光のカメラ２１０への分散である。画像補正システム２１２は、バックライトの散乱で導入される各画素における強度を減算することで欠陥を補正する。これは、表示フェーズと取り込みフェーズとの間の時間の重なりに応じて映像毎に推定される。

（吸蔵のある場合のカメラ感度の改善）
カメラ２１０が画像を取り込んでいる間に、カメラ開口部の前部にある種々のスクリーン画素の透明度の設定によって画像が吸蔵される。この吸蔵によってカメラ２１０で暗さを生じさせる。暗さは増幅によってしのぐことができるが、増幅によって、量子化ノイズ、画素エリアに入る光子の確率論的特性、光電効果の確率論的特性、熱的および電気的ノイズ、およびセンサ雑音の他の同様の原因を含むノイズについて、等価な増幅が行われる。これにより、取り込まれた画像の精度と感度とが低下する。

本発明の一実施形態において、光源２０８が「オフ」モードのとき、すなわちディスプレイが光っていないときに、カメラ２１０への光路におけるスクリーン画素の一部またはすべてが透明にされる。光源２０８が光の供給を再開し始める前に、画素の初期透明度の値が復旧される。新しい画像がスクリーン２０４上に表示される場合、画素は新しい透明度の値に設定される。このように、画像がスクリーン上に表示されているときに、正しい画像を表示されるようにする透明度の値にスクリーン画素が設定され、画像がカメラによって取り込まれているときに、カメラ２１０の画像面にさらに多くの光が当たる透明度の値になるようスクリーン画素が設定される。

スクリーン２０４が液晶ディスプレイ（ＬＣＤ）である場合、これらの画素値で保存される電荷を変化させることで透明度の変化が行われる。ＬＣＤ画素は、電位の変化への反応が遅い。そのため、取り込みフェーズ時に平均透過度が最大にできるように、これらの変化のタイミングが正確に調節される。表示時と取り込み時との切替えの頻度は、ＬＣＤ画素が透明に切り替え、その時の初期設定まで戻るように切り替わることができるように十分低く維持される。さらに、時間のわずかな比率だけが表示時で用いられるように光源２０８の負荷サイクルの設定を行うことで、切り替えにより多くの時間が残される。たとえ完全な透過度が得られないとしても、取り込み時間が長くなり、これによりカメラの感度が上がる際に特定の画素に対して平均透明度の値が得られる。完全な透過度が得られる場合、画像補正システム２１２は静的吸蔵に対して補正を行わなければならないが、これは非常に簡単なアルゴリズムである。完全な透過度が得られない場合、吸蔵マップに対してスクリーン画素値の影響が若干ある。この影響は、スクリーン画素値そのものに依存するだけでなく、カメラ２１０の露光の時間および露光中の特定の画素の平均透明度にも依存する。これは画像補正システム２１２によって計算され、吸蔵マップは、これらの変化した画素値から計算される。

特にディスプレイがＬＣＤの場合、フラットパネルディスプレイで一連の画素の選択を行うための多くの方法がある。例えば、マトリクスアドレッシングにおいて、横行の全ての画素の画素値は一度に設定される。個々の行は、ディスプレイを横断して延びる行イネーブルワイヤによって選択される。複数の行イネーブルワイヤを選択することで、複数行が一回の操作で透明にされる。行イネーブルと列イネーブルとの両方を用いるシステムにおいて、イネーブルにされる対応行および列を選択することで、一回の操作で四角形のエリアが選ばれて透明にされる。多くのＬＣＤシステムでは画素毎に１つの蓄積キャパシタを用いて、液晶画素に所定の電圧を印加する電荷を保存する。トランジスタといった追加の切り替え要素が画素において用いられ、キャパシタに保存された電荷から液晶の接続を切断させることがあり得る。液晶が電荷から切断されると、画素は透明になる。さらに、液晶をキャパシタに結合することで、初期の透明度の値を保存する。通常、蓄積キャパシタの１つの端子あるいは液晶の１つの端部にかかる電圧は変動するが、他の端部は一定に維持される。液晶あるいは蓄積キャパシタの他の端部における電圧は特定の画素あるいはすべての画素に対して変動し、第１の端部で保存される電圧を失うことなく、一回の操作で対応する画素を透明にする。液晶あるいは蓄積キャパシタの他の端部の電圧がその初期値に戻されると、初期透明度の値が復旧される。

本発明の他の実施形態において、遠隔会議中のようにディスプレイとカメラとが同時に用いられる場合、ディスプレイ上の特定の画素の輝度は特定の透明度レベルより低くならないようにされる。これは、フラットパネルディスプレイの駆動回路、あるいはディスプレイに取り付けられるコンピュータによるソフトウエアで行われる。これにより、取り込まれた映像に対する最小限の感度が保証される。

さらに他の実施形態において、単一画像を得るための露光時間は、吸蔵による光の損失を補償するように変動される。通常、こういった露光時間の変更は、ユーザ、あるいは取り込まれた画像の輝度レベルに適応する自動アルゴリズムによって制御される。一実施形態において、予想露光時間は、取り込まれた画像がこうむる既知の平均吸蔵の値から得られた係数で乗算される。画像補正システム２１２は、吸蔵による欠陥だけでなく、変更された露光時間による欠陥を補正するが、後者の補正は、実際の露光時間が予想露光時間より長くなる場合と同じ係数で割ることで得られ、この割り算によって画像のノイズが減少する。

（バックライトのエネルギー効率と照明の均一性との改善）
図６Ａは、本発明の一実施形態による、鏡面を有する例示的なバックライト６００の図を示す。スクリーン２０４がバックライト２０６の一方の面だけにあれば、特別な注意が払われない場合、光エネルギーの半分が浪費される。バックライト６００の非表示端は鏡６０２とともに大きくなり、その結果、表示方向と反対の方向に拡散されるエネルギーは表示方向に反射される。

鏡６０２が完全な鏡である場合、光は鏡を通過してカメラ２１０まで届かない。この問題を克服する１つの方法は、部分的に銀メッキを施した鏡を用いることである。バックライトのエネルギー能率は改善されるものの、カメラ２１０により受け取られる画像が減衰するので、カメラ２１０の感度に悪影響を与える。図６Ｂは、本発明の一実施形態による、例示的な部分鏡面反射されたバックライト６５０の図を示す。カメラ２１０に対する障壁がないように、鏡の開路（ｂｒｅａｋ）６０４が設けられる場合もある。鏡６０２の開路６０４の局部領域における輝度の損失を埋め合わせるために、鏡６０２の開路６０４近くの光散乱シート５０４で高濃度の光散乱粒子が用いられる。他の実施形態において、見た目が不連続になることを防ぐため、鏡６０２がカメラ２１０の開口部の領域で完全に透明になるように、鏡６０２の反射性能と光拡散粒子の濃度との両方が連続的に変えられる。

鏡６０２はディスプレイの反対側にある被写体の高い鏡面反射性をもたらすので、これによりディスプレイを見るのが不快になることがあり得る。この問題は、鏡６０２をつや出し処理またはブラシ仕上げされた散乱鏡にすることで克服される。一実施形態において、これは、透明シート５０６の表面を研磨し、その表面に金属を蒸着させることで行われる。あるいは、鏡６０２と透明シート５０６との間で光散乱シートが用いられる。

図７Ａは、本発明の一実施形態による、光拡散器７００を有する例示的なディスプレイ７１０の図を示す。標準的なフラットパネルバックライトシステムの多くは、バックライト２０６とフラットパネルスクリーン２０４との間に光拡散器７００を用いる。これは、均一な照明を得るためであり、バックライトの鏡からの鏡面反射を減らすためである。拡散器７００により、鏡の開路６０４がある場合でも均一な照明が確保される。一実施形態において、出射光が入射光と比べて偏光が小さくなるように拡散器７００は作製される。（図示されていない）拡散器７００とカメラ２１０との間の距離が小さいことから、光はあまり散乱しない。拡散器７００によって生じる拡散はコンボリューションの形態であり、この効果は画像補正システム２１２によって無効にされる。

図７Ｂは、本発明の他の実施形態による、光拡散器７００を有する例示的なディスプレイ７５０の図を示す。ディスプレイ７５０は、バックライト２０６から生じる光を散乱させ、カメラ２１０の表示が妨害されないようにする。拡散器７００の拡散セクション７０２は、透明材料または光散乱物質に変化し得る物質から作製される。光源２０８が切られ、カメラ２１０が画像を取り込んでいる間に、カメラ２１０の照準線に直接設けられる拡散セクション７０２が透明にされる。カメラ２１０が非記録モードで、光源２０８が入れられている間に、拡散セクション７０２が、光を散乱させる物質に変化する。多くの物質は、電場をかける、あるいは除去することで、光を散乱させるものから光を通過させるものに切り替わる。これらの物質では種々の形態の液晶を用いる。拡散器７００の均一性のために、拡散器７００の残りのセクションは、７０２が作製されるのと同じ物質から作製される。さらに、拡散器７００および７０２のセクションは単一セグメントの物質の場合もある。この場合、セグメント７０２は、セグメントが透明になるように、セグメントにわたって電磁場を生成する透明な電極の近接によって区別される。このため、電磁場がオフになると、拡散器７００と、この時点で拡散器になるセグメント７０２との間で検出可能な境界がなくなる。

（他光源によるちらつきの最小化）
画像がカメラ２１０によって取り込まれる被写体そのものが、蛍光灯といった規則的に相互に切り替わる外部光源によって照明されることがよくある。さらに、視野内に他のディスプレイがある場合もあり、このディスプレイは光放出の独自の周波数を有する（ＣＲＴとＬＣＤとの両方がこの挙動を示す）。こういったちらつき光は、カメラ２１０の高周波取り込み周期でサンプリングされる際に周波数エリアジング効果をもたらす場合がある。取り込まれた画像におけるこのエリアジングの効果は、この特定光源による照明における低周波振動である。

本発明の一実施形態において、取り込み時と表示時との切り替えは、交流光源による照明と同期され、画像が取り込まれる被写体を交流の外部光源が照明するのと同時に本システムが取り込み時間内にあることが好ましい。これによりエリアジング効果がなくなり、カメラ２１０に達する照明量が多くなるという付加的な利益がある。同期は、通常、外部光源の切り替えを駆動する交互交換主電源と同期させるか、あるいは位相ロックループを用いて光源の周波数にロックすることで行われる。位相ロックループは、光センサを用いるか、あるいはカメラ２１０からのフィードバックを行って位相ロックを行う場合もある。他の実施形態においては、切り替え周波数が外部光源の切り替えの周波数の倍数だったり、あるいはその逆であったりする。

他の実施形態において、エリアジング効果は、外部電源をオンオフするように切り替える頻度に比べて非常に高い周波数で取り込みと表示とを交互に繰り返すことで最小化される。高サンプリング速度のため、エリアジングの効果は減少する。残りのエリアジング効果によって、取り込まれた画像の照明において低周波の周期的変化をもたらす。このような周期的変化は画像補正システム２１２によって検出され、相殺される。周波数の変化の周期は、主電源の周波数を検出し、最も近い取り込みと表示周期との間の切り替え周波数の全比率を減算することで予想される。

高周波光源のちらつきを最小化するため、取り込みと表示との周期を交互に繰り返すシーケンスはランダム化される。画像を表示して画像を取り込む２つの段階の各々でシステムが留まる時間量は、数のランダムまたは疑似ランダムシーケンスに基づいてランダムに決められる。多くの場合、光源２０８がオンのままで留まる時間量は限定される。このような場合、ランダム化は、光源２０８の光の２つの閃光間の周期に関係する。ディスプレイの平均照明画素のディスプレイの平均照明になるように選定され、これにより視力の残像の原理を考慮して人の目でちらつきが知覚されず、取り込まれる各画像が必要時間露光されるように、ランダムシーケンスは配置される。シーケンスのランダム化にはサンプリングの対称性が成り立たず、エリアジングの効果が大きく減退する。

（カメラ位置）
カメラ２１０は、遠隔位置にいる会議参加者の目の画像の予想位置に最も近い場所に設けられる。人の目は頭の上半分に位置しており、通常、テレビ会議中、頭と肩との画像が最も一般的に伝送されることから、カメラ２１０はスクリーン２０４の上部の後ろに設けられる。

他の実施形態において、複数のカメラがスクリーンの後ろに置かれる場合もある。これらのカメラは被写体と周囲との立体的あるいは複数表示の画像を生成する場合もある。あるいは、種々のカメラからの表示が、さまざまなグループのテレビ会議における種々の会議参加者に伝送できる。特定の遠隔場所にいる会議参加者の画像に最も近いカメラによって取り込まれる画像は、その特定の会議参加者に伝送される。これは、この会議参加者が実際にその特定の遠隔会議参加者を見るときだけ、遠隔会議参加者に対するアイコンタクトを行うことをシミュレートする。

図８は、本発明の一実施形態による、カメラ８０２を有する例示的なディスプレイ８００の図を示す。カメラユニット８０２の嵩を減らすために、第１対物レンズ８０２が用いられ、その後ろに、カメラのかさが残りのディスプレイユニット８００の本体に容易に収納できるような方向に光を反射する鏡またはプリズム装置８０４が設けられる。光は、電荷結合素子（ＣＣＤ）あるいは種々のスポットで光の強度を測定する他の装置として光検知面８０６まで鏡８０４を通して対物レンズ８０２によって収束される。このような、かさばらないようにする配置は、デスクトップディスプレイでの利用や、携帯電話といった小型のものの利用でも有用である。

（安全およびプライバシー）
カメラ２１０が映像ディスプレイユニットと一体であることから、ディスプレイと異なる方向にカメラの方向を変えるのは難しい。ディスプレイを接続したままカメラを切断するのが難しい場合もある。カメラを回転させて、本発明のユーザの知らない画像を取り込む可能性を最小化するために、カメラが画像の取り込みを始めるときはいつでも、ＬＥＤインジケータといった簡単な電子式指示器がディスプレイの前パネルに設けられる。

（取り込みおよび表示機構の非線形化のための補正）
画像表示機構と画像取り込み機構との多くが非線形応答を行う。これにより、吸蔵スクリーン画素と吸蔵マスクとの間の関係が非線形になるとともに、吸蔵マスクそのものが、取り込まれた画像の画素毎の単一乗算器より複雑になる。カメラ画素の強度に対するスクリーンの透明度の値に関する限り、こういった関係は線形であるが、スクリーン画素の透明度が、入力された画素値と線形関係になく、カメラで記録された画素値が、その画素に入射する強度と線形関係にないため、非線形の複雑な問題が生じる。非線形の効果を減らすか、あるいは除去するために、画像補正システム２１２は、カメラの非線形関数の逆数で、取り込まれた画像上で最初に作動し、画素に入射する光の強度に対して線形関係にある記録画素値を得る。同様に、吸蔵マップが計算される前に、スクリーン上に表示される画像の関連画素が、スクリーンの非線形関数と同じ非線形関数により（コンピュータによって）演算され、各吸蔵画素の透明度の推定を行う。

（画像取り込み中に表示映像を変化させることから生じる複雑性）
システムのタイミングは、吸蔵スクリーン画素が特定の画像取り込み中に透明度の値を変化させないように設定される。これは表示リフレッシュサイクルとカメラフレーム取り込みサイクルとを同期させることで行われる。吸蔵画素の透明度の値が単一画像の取り込み中に変化する場合、画像補正システム２１２で計算される吸蔵マップは、スクリーン上の画素の第１および第２設定による吸蔵マップの関数（線形組み合わせ）として計算される。

（色画像の取り込みおよび表示）
色画像を表示するために、スクリーン２０４の個々の画素に対して色フィルタが用いられる。色画像を取り込むために、カメラ２１０の個々の画素に対して色フィルタが適用される。特定の色のカメラ画素を通して見ると、カメラ画素の色と異なる色の画素は、同じ色の画素よりかなり暗く見える。同一および異なる色で知覚されるこういった効果は、画像補正システム２１２による吸蔵マップの計算で用いられる。

方法および組み合わせ型の映像ディスプレイおよびカメラシステムが開示された。本明細書で記述された実施形態は説明のためであり、本特許の主題を限定するものとみなされるべきではない点が理解される。種々の修正、使用、置き換え、再結合、改良、本発明の範囲または精神から外れることなく作製する方法については、当業者にとって明らかになるであろう。

図１は、従来技術のテレビ会議システムを示す。 図２は、本発明の一実施形態による例示的な組み合わせ型のカメラおよびディスプレイシステムのブロック図を示す。 図３Ａは、本発明の一実施形態による、画像が表示されている間の例示的な映像システムのブロック図を示す。 図３Ｂは、本発明の一実施形態による、画像が取り込まれる際の例示的な映像システムのブロック図を示す。 図４は、本発明の一実施形態による例示的な光導波路のブロック図を示す。 図５は、本発明の一実施形態による例示的なバックライトの図を示す。 図６Ａは、本発明の一実施形態による、鏡面を有する例示的なバックライトの図を示す。 図６Ｂは、本発明の一実施形態による、例示的な部分的に鏡面反射されたバックライトの図を示す。 図７Ａは、本発明の一実施形態による、光拡散器を有する例示的なディスプレイの図を示す。 図７Ｂは、本発明の他の実施形態による、光拡散器を有する例示的なディスプレイの図を示す。 図８は、本発明の一実施形態による、カメラを有する例示的なディスプレイの図を示す。

Claims (15)

1. 第１シートと、
   該第１シートに対して平行になるよう向けられた第２シートと、
   該第２シートの縁部に沿って設けられた光源と、
   該第２シートの後ろに設けられ、該第２シートおよび該第１シートを通して画像を取り込む１つ以上のカメラと、を備え、
   該第２シートは１つ以上のカメラの前の光拡散粒子のまばらな分布を有し、光源による光が第２シートの全表面で拡散されその大きな面から出るよう構成されてなり、
   該第２シートはその大きな面の１つから見ると実質的に透明でクリアであり、それを介して１つ以上のカメラがクリアな表示を取得できるよう構成されてなる、システム。
2. 前記第２シートは、光拡散粒子を含み、該光拡散粒子は、前記１つ以上のカメラに向けて伝わる光を最小限散乱させ、吸収する、請求項１に記載のシステム。
3. 前記第２シートと前記１つ以上のカメラとの間に鏡をさらに備え、該鏡は、該１つ以上のカメラの前のエリアにおいて実質的に透明である、請求項１に記載のシステム。
4. 前記第２シートは、前記１つ以上のカメラの前の前記エリアにおいて、さらに高濃度の光拡散粒子を含む、請求項３に記載のシステム。
5. 前記１つ以上のカメラは、取り込み時には前記画像を取り込み、表示時には該画像を取り込まないように構成される、請求項１に記載のシステム。
6. 前記取り込み時と前記表示時とが重なる、請求項５に記載のシステム。
7. 前記第１シートがディスプレイであり、前記第２シートがバックライトである、請求項１に記載のシステム。
8. 前記光源は、前記表示時には光を照射し、前記取込み時には光を照射しないように構成される、請求項６に記載のシステム。
9. 前記光源は、蛍光灯と１つ以上のＬＥＤとのうちの１つである、請求項８に記載のシステム。
10. 前記取り込み時に前記光源からの前記光をブロックする光ブロック機構をさらに備える、請求項８に記載のシステム。
11. 前記画像は前記第１シート上に表示される、請求項１に記載のシステム。
12. 前記第２シートにより引き起こされる前記画像の欠陥を補正する画像補正器をさらに備える、請求項１に記載のシステム。
13. 前記第１シートにより引き起こされる前記画像の欠陥を補正する画像補正器をさらに備える、請求項１に記載のシステム。
14. 前記第１シートと前記第２シートとの間に第２光拡散器をさらに備え、該第２光拡散器は、前記１つ以上のカメラが前記画像を取り込んでいるときに透明になるように構成される、請求項１に記載のシステム。
15. 前記１つ以上のカメラが前記画像をいつ取り込んでいるかを示す取り込み指示器をさらに備える、請求項１に記載のシステム。

Images