JP4576740B2 - 窓状撮像表示装置及びそれを使う双方向通信方法 - Google Patents
窓状撮像表示装置及びそれを使う双方向通信方法 Download PDFInfo
- Publication number
- JP4576740B2 JP4576740B2 JP2001103477A JP2001103477A JP4576740B2 JP 4576740 B2 JP4576740 B2 JP 4576740B2 JP 2001103477 A JP2001103477 A JP 2001103477A JP 2001103477 A JP2001103477 A JP 2001103477A JP 4576740 B2 JP4576740 B2 JP 4576740B2
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- window
- display
- video
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、窓状撮像表示装置に関し、更に詳しく述べると、撮像機能と表示機能の両方の機能を備えた窓状の装置に関する。本装置は、離れた場所に存在する２つの空間の双方に設置して相互通信を行うことにより、それら２つの空間が恰も本装置の両側につながっているかのように感じさせる効果を作るのに用いることができる。
【０００２】
【従来の技術】
従来、薄型の表示パネルを部屋の壁に掛けてその表示パネルの奥に実際に物が存在するように見せる試みがなされているが、それらは、画面表示が平面的であり現実感に乏しいものであった。
【０００３】
現実感を増すために立体画像を映すようにすることも考えられるが、これらはいずれもカメラによって或方向から撮影した画像を表示しているものであるから、
その表示パネルを見る人の位置や方向により異なった画像を見ることができるようにはなっていない。あくまでもカメラで撮影されたものを見るだけである。
【０００４】
また、図２１に示すような立体視システム、立体テレビ等の立体画像表示装置も存在するが、これらは、もっぱら壁から被写体の像が浮き上がって見えるようにしたものであり、表示パネルの奥に空間が存在し、その表示パネルを介して見る人の居る空間と表示パネルの奥の空間がつながっているように見える効果は乏しい。しかも、この種の装置は立体視が得られる視者の位置範囲も限られている。そうして、この種の映像は不自然な映像となるので長時間見ていると心理的に疲れるものである。
【０００５】
撮像装置としてカメラを使い表示装置として平面表示パネルを使ってテレビ電話を構成する従来の場合は、図２２に示すように、通話を行う２つの端末の夫々にカメラと表示装置を設けて、カメラで撮影した画像を相手方に送り、相手方から送られてくる画像を自分の表示装置に映し出すようになっている。
【０００６】
ところで、通話者は相手の顔を見ながら話をするので、表示画面に視線を合わせた状態で話をする。このため、話し手の前には表示装置がありカメラを置くスペースがないので、カメラは表示画面の上方等に設置する。その結果、画面に映る通話者の像は上方から映した像、即ち、うつ向き状態の画像となり通話をする者同士の視線が合わない。
【０００７】
また、上記のように１対１の通話ではなくて、図２３に示すように、複数人の参加者がいる２つの場所間で会話を行うＴＶ電話会議システムがあるが、これは、上記テレビ電話を複数人で使うように拡張したものであり、送信側のカメラで撮影した画像を受信側に伝送し、それを受信側の表示パネルに表示するものである。従って、受信側で見る画像は送信側のカメラで撮影された画像であり、受信側の見る人の角度によって異なった画像が見えることはない。異なっているとすれば、それは受信側で見る画面の輪郭の相違くらいのものである。
【０００８】
そうして、このＴＶ電話会議システムの場合にも、会議参加者は表示画面の方を見ており、カメラは表示画面の外側の適当な場所に設置されるので、受信側で見る人と視線が合わず不自然である。
【０００９】
これを改良したテレビ電話システムとして、図２４に示すようなシステムが開発された。このシステムは、表示装置の前にハーフミラーを置いて、話し手が表示装置に映った聞き手の顔を見た状態で話し手の顔から来る光をハーフミラーで分離してカメラに導いて撮影するものである。
【００１０】
こうすることにより、通話者はお互いに相手と視線を合わせながら通話できるが、ハーフミラーを設けなければならないので装置が複雑になり大型になるという欠点がある。
また、ハーフミラーは図示のように方向が限定されるので表示画面の中央位置から見る場合には良く機能するが画面の斜め横方向から見た場合には所期の機能を発揮しない。
【００１１】
上記ハーフミラーを使う表示装置に変わる装置として、撮像機能を有する多数の撮像素子を設けた撮像面体と、表示機能を有する多数の表示素子を設けた画像表示面体とを平面的に重ね合わせて複合一体化した撮像表示装置が開発され、特開平１−２８０９７８号公報に記載されている。
【００１２】
上記撮像表示装置は、撮像素子を図２５に示すようなマトリックス状に配列した撮像面体と表示素子を同様にマトリックス状に配列した画像表示面体を、撮像素子と表示素子が光路方向で重ならないように横方向の位置を調整して、重ね合わせて図２６に断面図として示すような構造としたものである。この例では、撮像面体が画像表示面体の上に形成されており、外部から入射した光は収束レンズ体によって収束され撮像素子上に投射される。また、液晶等の光スイッチで成る表示素子を透過した光は撮像素子の間を通過して出射される。
【００１３】
この撮像表示装置は、画像表示面体と撮像面体とが平面的に均等に複合一体配列されているので、視線の不一致は起こらない。また、表示素子１つに対して撮像素子１つを対応させて設けることにより、撮影側と表示側の画面の解像度を一致させることができる。
【００１４】
【発明が解決しようとする課題】
上記のとおり、従来の表示装置は、撮影現場に置かれたカメラで撮影したカメラ視野内の映像信号を他の場所に置かれた表示装置に伝送して表示させるだけの情報伝送システムであったため、見る側の人間の位置や角度が変化したとしても表示される映像に変化はなく、視者は絵画を見ているような感覚を受けるという欠点がある。
【００１５】
上記の現状に鑑み、本発明の第１の課題は、離れた空間にそれぞれ設置された２つの窓状撮像表示装置を通信回線で接続して、離れた空間同士が一つの窓を通してつながっているように感じさせる効果を生む装置を提供することにある。
【００１６】
本発明の第２の課題は、上記カメラで撮影した映像を表示装置に表示する場合のように、カメラの視野に入った映像を表示画面に映し出し、視者はその画面を見るだけという一方的な動作による表示ではなく、上記窓状撮像表示装置のディスプレイ・パネル（表示画面）を見る人間が位置や角度を変えることによって送られて来ている映像の中から見ようとする映像を選択して見ることができるようにして、よりリアル感のある映像信号伝送を可能にすることにある。また、ディスプレイ・パネルの大きさや形状、配置場所に応じて非常に幅広い応用が可能な装置を得ることにある。
【００１７】
このことを更に明確に理解するために、図１を参照して本発明によって実現しようとする窓状撮像表示装置を説明する。同図に示すように本発明の窓状撮像表示装置を離れた２つの場所に各１つ設置し通信回線で接続して相互通信をおこなうと、図示のようにＡが見る画像とＢが見る画像、Ｃが見る画像は全て異なり、丁度窓ガラスを通して窓の向こうにある物を見ているようになる。
【００１８】
上記の例では、場所Ｗ１に居る３人の人（Ａ，Ｂ，Ｃ）が場所Ｗ２にある物Ｄ，Ｅ，Ｆを見る場合についての説明したが、これは、例えば重要文化財等の展示品を離れた部屋の中に保管しておき展示会場で本窓状撮像表示装置を使って見れるようにする場合に応用できる。この場合、視者は場所Ｗ１にのみ居るので１方向通信となるから、場所Ｗ２に設置する装置は撮像専用のパネル装置でよく、場所Ｗ１に設置する装置は表示専用のパネル装置にすることもできる。
【００１９】
場所Ｗ１だけでなく場所Ｗ２にも人が居て場所Ｗ１を見られるようにするには、双方に撮像と表示の機能を持つ装置設置する必要がある。そのような場合として、
図２７を参照して下記に説明するようなＴＶ電話会議システムがある。
【００２０】
図２２、図２３を参照して上記に説明したように、カメラを設置するテレビ電話やテレビ会議システムにおいては、カメラを設置する場所の都合から、テレビを通して会話を行う利用者同士の視線がずれてしまうと言う問題があった。
また、上記会話者の視線がずれてしまうという欠点を克服するものとして、上記のとおり撮像と表示の両方の機能を兼ね備えた撮像表示装置が提案されているが、この装置を使っても、光の方向を識別することはできないので、撮像素子群によって撮影された映像は撮像表示装置に入る光によって決まる映像であり、見る側の人の位置や角度によって見える範囲が異なるものではない。
【００２１】
本発明の第３の課題は、図２７に示すように、ＴＶ電話会議システムにおいて、場所Ｗ１に居る出席者Ａ、Ｂ，Ｃが、場所Ｗ２に居る会議出席者Ｄ，Ｅ，Ｆを見るとき、夫々自分の座っている席から見える独自の視野を持つことができ、その逆に場所Ｗ２に居る会議出席者Ｄ，Ｅ，Ｆも場所Ｗ１に居る会議出席者についての独自の視野を持つことができる窓状撮像表示装置を提供することにある。
【００２２】
上記のＴＶ電話会議システムにおいて、会議出席者の全員が全員を見渡せるようにするには、大規模な窓状撮像表示装置を必要とするが、技術的又は経済的にそのようなことが許されない場合でも、本発明の窓状撮像表示装置は大いに効果を発揮する。
【００２３】
図２８を参照して、このことを説明する。場所Ｗ１に居る人が１人であってもその人の顔の向く方向や視線が分かると自然さが非常に増すものである。例えば図示のように、ＡがＢの方向を見ているときにはＡもＢも自分の正面に相手の姿が見える。この時ＥはＢの方を向いているＡの姿を見ることができる。その状態から、ＡがＥの方向を見るとＡもＥも自分の正面に相手の姿を見ることができるが、今度はＢはＥの方向を向いているＡの姿を見ることになる。
【００２４】
ＡがＢと話している時にＢの方を向いているということは、離れた場所にいるＡとＢが本発明の窓状撮像表示装置を通してお互いに相手を見ているような感覚を与え自然な感じを与えるものである。
【００２５】
本発明の第４の課題は、上記窓状撮像表示装置を通信端末装置として設置するだけで、その場所の３次元情報を取り込むことができることを利用して、それらの情報を保存し、再生できるコンテンツを容易に作成することができるようにすることにある。
【００２６】
本発明の他の課題は、音声、温度や湿度、ディスプレイ上の圧力や、熱分布、匂い等、人間が空間を認知するために利用する媒体の情報を映像と同時に伝送することで、よりリアルに空間をつなぐことを可能にする装置を得ることにある。
【００２７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、下記の手段を備えた窓状撮像表示装置、及びそれを用いた双方向通信方法を提供する。即ち、
平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生するとともに、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイス回路へ送る信号送受信手段とを備えた窓状撮像表示装置を提供する。
【００２８】
また上記の窓状撮像表示装置において、上記撮像表示パネルの各撮像素子が半球型突出面上に形成された所定数の撮像素子で構成した撮像素子集成体で成り、該半球型突出面上の当該撮像素子の位置によって入射光の方向が判別できるようになっており、
上記表示素子が各々半球型突出面上に形成された上記撮像素子集成体と同じ数の表示素子で構成した表示素子集成体で成り、該半球型突出面上の表示素子の位置によって出射光の方向を指定できるようになった窓状撮像表示装置も提供する。
【００２９】
上記の窓状撮像表示装置において、該装置が更に、立体音声入出力手段及び該音声入出力の信号処理を行う音声インターフェイス手段と、
上記映像信号と上記音声信号を混合して複合映像信号を生成する信号処理手段とを備えた窓状撮像表示装置も提供する。
【００３０】
更にまた、上記の窓状撮像表示装置において、該装置が更に、環境情報入出力手段及び該環境入出力手段により入力し又はそこへ出力する信号の信号処理をする環境情報インターフェイス手段を備えた窓状撮像表示装置も提供する。
【００３１】
本発明の別の観点に従えば、平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出するようにした撮像パネルと、
上記撮像パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信する信号送信手段とを備えた窓状撮像パネル装置と、
平面基板の表面全体に亘って多数の表示素子が一様に分布するように形成され、該表示素子から上記入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした表示パネルと、
上記撮像パネルから伝送回線を介して送られてきた映像信号を受信し、該受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、を備えた窓状表示パネル装置と、を備えた窓状撮像表示装置を提供する。
【００３２】
本発明はまた、平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生し、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイス回路へ送る信号送受信手段とを備えた窓状撮像表示装置を離れた２以上の場所の夫々に設置し、伝送路を通して双方向映像データ通信を行う方法であって、
送信側の窓状撮像表示装置の撮像素子で被写体から来る光の位置と方向を検出して受信側に送り、受信側では、送信側から送られてくる映像信号の中のビューアの位置と窓状撮像表示装置の位置との関係で決まる視野の映像を見るようにする双方向通信方法も提供する。
【００３３】
【発明の実施の形態】
本発明の窓状撮像表示置の一実施形態を、図面を参照して、下記に説明する。
図１は、本発明の窓状撮像表示装置の外観及び使い方を示す。同図に示す例では説明を分かり易くするために、壁で仕切られた隣接する２つの部屋の壁面の同じ位置に背中合わせになるように本装置を設置した場合を示している。一方の部屋の中には、撮影する対象物Ｄ，Ｅ，Ｆが置かれており、この対象物を本装置が撮影するようになっている。
【００３４】
また、隣の部屋にはビューア（観察者）が複数人（Ａ，Ｂ，Ｃ）いて複数の位置から本装置をみることができるようになっている。後述するように、背中合わせに配置した２つの窓状撮像表示装置は、一種の窓を形成し、この窓をとおして光が透過するように見えるように撮影し表示できるので、観察者Ａ，Ｂ，Ｃはそれぞれ物体Ｆ，Ｅ，Ｄを自分の視線を向けた方向にみることができる。
【００３５】
このような効果を得るための条件としては、図２に示すように、離れた場所Ｗ１とＷ２に設置された２つの窓状撮像表示装置の間で相互通信を行うことにより、互いに相手方の情報が得られるようにし、ビューアの位置によって相手方から送られてくる情報の中の当該ビューアによって選択された範囲の情報を得るようにすることである。
【００３６】
同図において、場所Ｗ１に居るビューアＡは通信端末装置Ｔ１として設置された窓状撮像表示装置を該装置の左側から覗く位置に立っており、この位置から窓状撮像装置を見た場合に窓状撮像表示装置の右側の情景が見えるようにすれば、ビューアＡは窓越しに窓の向こうにある情景を見ているような感覚を得るであろう。
【００３７】
同様にして、ビューアＢについてもビューアＣについても、場所Ｗ１の彼らが立っている位置から窓状撮像表示装置Ｔ１を見たときに、場所Ｗ２の情景が丁度窓ガラスを通して窓の向こうにある情景を見ているように窓状撮像表示装置に表示されればビューアＢ，ビューアＣは窓状撮像表示装置を見て窓の向こうの情景を見ている感覚を得るであろう。
【００３８】
この様子を下記に更に詳しく説明する。一般に窓ガラスを通して反対側にある物を見る場合、図３に示すとおり、窓ガラス面の位置（ｘ，ｙ）に角度（θ゜，φ）で入射した光は、そのパネルの裏面の同じ位置から角度（１８０゜−θ゜，１８０゜−φ゜）で出射するようになっている。
【００３９】
従って、この窓ガラスと同じ窓状パネルを作ろうとすれば、撮像側のパネル面上の全ての点について、様々な方向から来る（即ち、上記θとφの種々の値に対する）光の少なくとも輝度（より自然さを出すためには色）についての情報を取り込み、それらの情報を表示側に伝送し、表示側パネル面上の対応する位置から入射角と１８０゜位相のずれた光を対応する輝度（及び色）で出射するようにパネルを形成すればよい。
【００４０】
図４は、上記の条件を採り入れた本発明の窓状撮像表示装置の基本構成を図解したものである。入射光はパネル面に角度（θ゜，φ゜）で入射するが、この角度が変わると撮像素子群でなる半球型突出面の中の当該光が当たる撮像素子が異なるようにすることにより、入射光の方向を検出することができる。表示側パネル面上では対応する位置の表示素子群でなる半球型突出面上の対応する表示素子から対応する輝度（及び色）の光を出射させるようにすればよい。
【００４１】
上記窓越しに物を見る感覚を与える装置について、下記にその構成と動作を説明する。ここでは、説明を分かり易くするために、２次元的に説明する。
図５に示すように、２つの窓状撮像表示装置を背中合わせに重ねて置いた状態で、一方の面に入射した光が他方の面から直進して出ていくようになるようにすればガラスを通して物を見ている感覚が得られる。換言すると、入射光の入射角と出射光の出射角が等しくなるようにすることである。窓ガラスを透して光りが透過する場合には光の入射位置と出射位置がほぼ等しいが、本装置においては、相対位置のみが重要であって絶対位置は必ずしも一致する必要はない。ただし、入射光と出射光の位置が視覚的に一致するように調整しておくことが必要である。
【００４２】
２つの窓状撮像表示装置の間は通信線路でつながれていて、信号伝送により一方の装置の面に入射した光の情報が他方の装置の表示面に伝えられるようになっていて、これら２つの装置の中を光が透過するわけではないから、２つの窓状撮像表示装置は、上記のように壁面に背中合わせして設置する必要はなく、全く離れた別の部屋の壁に設置されていてもよい。また、一方が室内の壁に設置され、他方が家の外壁に設置されてもよい。
【００４３】
図５に示すような現象が得られる本発明の窓状撮像表示装置の撮像表示パネルについて、図面を参照して、下記に説明する。
図６は、撮像表示パネル上の撮像素子と表示素子の配列を例示したものである。
（ａ）は、１列毎に撮像素子と表示素子を交互に配列したものである。
（ｂ）は、撮像素子と表示素子を１行毎に並べて千鳥状に配列したものである。
（ｃ）は、（ｂ）と同じ配列であるが撮像素子及び表示素子の形状が６角形になっているところが（ｂ）と異なる。
【００４４】
このように、パネル上に撮像素子と表示素子とを一様に配列することにより、このパネルは撮像装置としての機能を備えるとともに表示装置としての機能も備えており、これを光学的に見ると入射光を受け取り、出射光を出す機能を有することになる。
【００４５】
図７は、上記撮像表示パネルを２枚背中合わせにして配置したものを示し、上側のパネルについては撮像素子が形成されている部分を示し、下側のパネルについては表示素子が形成されている部分を示している。撮像素子も表示素子も同じ大きさの半球型の突出面の表面に形成されている。
【００４６】
今、入射光が同図に矢印で示すように右上方から左下方に向かって入ると、撮像表示パネルの半球型突出面上の右方向の対応する撮像素子に入射する。入射光の当たる位置は半球型突出面に番号（アドレス）を付けておくことにより検出することができ、入射角度はその突出面上の撮像素子の位置によって検出することができる。
【００４７】
同図においては、上側にｋ行ｊ列にマトリックス配列された撮像素子群を構成する半球型突出面のａ行目の（ｂ−１）、（ｂ）、（ｂ＋１）列目の突出面Ｃａ１〜Ｃａｙが描かれている。下側にはｋ行ｊ列マトリックス配列された表示素子群を構成する半球型突出面のａ行目の（ｊ−ｂ＋２）、（ｊ−ｂ＋１）、（ｊ−ｂ）列目の突出面Ｌａ１〜Ｌａｙが描画されている。配列順序は上側が左から右に増加するアドレスとした場合には下側が右から左に向かって増加するアドレスとする。入射光と出射光の対応関係は時間遅れ分だけずらすのがよい。
【００４８】
上記の窓状撮像表示パネル装置は、半球型の突出面上に複数の撮像素子を形成して成る撮像素子集成体と半球型の突出面上に複数の表示素子を形成して成る表示素子集成体を交互に配列し、隣接する撮像素子集成体と表示素子集成体が対をなすようにしたものである（これを２素子タイプとよぶ）が、図８を参照して下記に説明する窓状撮像表示パネル装置は、１つの半球型突出面上に撮像素子と表示素子の両方を形成したもの（撮像表示素子集成体）をマトリックス配列した撮像表示パネル装置であり（これを１素子タイプという）、２素子タイプと同様に構成できる。
【００４９】
同図において、マトリックスはｋ行ｊ列で構成されているものとし、
１＜ａ＜ｋ、１＜ｂ＜ｊの関係になっている。また、１つの半球型突出面上にｍ段に形成されたＣＣＤの或段をｃで表すとき、１＜ｃ＜ｍである。ｃ段における円周方向の位置をｄc とすると、１＜ｄc ＜ｎc で表される。
ここで、ｎx は偶数とし、ｎ1 ＝１（１段目）、ｎc ＝４ｃ−２（ｃ段目）、ｎm ＝ｎ（ｍ段目）とする。
【００５０】
図９は、上記２素子型の窓状撮像表示装置のパネル上に形成される半球型突出面の１つを詳細に示したものである。同図（ａ）に示すように、本半球型突出面上にはＣＣＤ等によって複数の撮像素子が形成されており、これらのＣＣＤ撮像素子は半球の頂部と底部の間に階層的に配列され、頂部は１つのＣＣＤで形成され、底部は入射光の方向をどのくらい細かく検出するかの解像度によって決まる数ｎのＣＣＤで形成する。頂部と底部の間の中間段は１個からｎ個の間で順次段階的に増加する数とする。
【００５１】
同図（ｂ）は、半球型突出面の断面を示す。半球型突出面の表面にはＣＣＤが形成され、その外側がレンズを形成する光導体の形成された層で覆われている。ＣＣＤの面にほぼ垂直に入射した光は当該ＣＣＤに導かれるが斜め方向から入射した光は当該ＣＣＤに殆ど達しないようになっている。これにより、どのＣＣＤで受けたかによりその光の来た方向がわかるようになっている。
【００５２】
同図（ｃ）は、（ａ）のＣＣＤ配列を平面的に展開して示したものである。このＣＣＤ配列の動作については後で詳しく説明するが、ここで簡単に説明すると、ｍ段に構成されたＣＣＤの内容は順次後段へシフトされ、最後段であるｍ段のＣＣＤの内容がシフトレジスタに転送され該シフトレジスタから直列に外部に出力される。この時ｍ−１段のＣＣＤの内容はｍ段にシフトされているので、次にｍ−１段のＣＣＤの内容がｍ段を通してシフトレジスタに転送されて、そこから直列に出力される。
【００５３】
図１０は、上記２素子型の窓状撮像表示装置のパネル上に形成される半球型突出面の他の１つを詳細に示したものである。同図（ａ）に示すように、本半球型突出面上にはＬＣＤ（液晶）表示素子が形成されている。この半球型突出面は上記図９を参照して説明したＣＣＤの配列と同一形状、同一寸法の半球型突出面上に上記ＣＣＤと同一数のＬＣＤを対応位置に形成したものである。
【００５４】
ＬＣＤスイッチを通過した光は同図（ｂ）に示すように直進し、従って、どのＬＣＤ素子から出た光であるかによってその光の進む方向が特定される。同図（ｃ）は表示素子（ＬＣＤ）の駆動回路を示す。レジスタＲＧ１に駆動する表示素子の位置データをセットし、レジスタＲＧ２に走査データをセットする。
【００５５】
図１１は、１つの半球型突出面上に撮像素子と表示素子の両方を搭載した撮像素子と表示素子の集成体を示す。この撮像素子・表示素子集成体は、半球型突出面にＬＣＤ等で表示素子を形成し、その上を光透過性の層で覆い、その上に下層の表示素子と重ならないようにＣＣＤ等で撮像素子を形成し、隣接する撮像素子と表示素子を一対の素子として扱うようにしたものである。
【００５６】
ここで、図１２を参照して、撮像素子集成体から電荷を読み出す方法を説明する。読み出し順序は最下段の撮像素子を最初に読み出し順次上方の段の撮像素子の内容（電荷）を読み出し最後に半球頂部の撮像素子の電荷を読み出すものとする。従って、時刻Ｔ１ではｍ段目のｎ個の素子の内容をシフトレジスタに並列に読み出し、上段の素子の内容を順次下段へ並列にシフトする。
【００５７】
時刻Ｔ２ではｍ−１段目のｎ−ｋ個（但しｋはｍ段目に比べて減少した素子の数）の撮像素子からｍ段にシフトしてきている電荷をシフトレジスタに並列に読み出す。この方法で時刻Ｔｍ−１には２段目の素子からｍ段目にシフトされている電荷をシフトレジスタに読み出し、時刻Ｔｍには１段目の１個の素子からの電荷がシフトレジスタに読み出される。
【００５８】
１つの半球型突出面上に形成された１組の撮像素子（これを撮像素子集成体ということにする）から電荷の読み出しが終わると引き続き次の撮像素子集成体から電荷を読み出す。この仕方で時間ｔ１に第１行のｘ個の撮像素子集成体から電荷信号を読み出し、次の時間ｔ２に第２行のｘ個の撮像素子集成体から電荷信号を読み出し、以下同様にして、時間ｔｙに第ｙ行のｘ個の撮像素子集成体から電荷信号を読み出す。
こうして読み出した電荷信号は１フレームの信号として信号処理され受信側（即ち、表示する側）の装置に伝送される。
【００５９】
次に、図１３を参照して、表示素子集成体（半球型突出面上に形成された１組の表示素子）に表示信号を供給する方法について下記に説明する。表示素子集成体はｘ列ｙ行にマトリックス配列されており、送信されてくる信号は１行１列〜１行ｘ列、２行１列〜２行ｘ列、・・・ｙ行１列〜ｙ行ｘ列の順で送られてくるので、この順序で開くゲート配列を設け、各表示素子集成体に表示する画像信号が配向されるようにする。
【００６０】
上記の方法で１つの表示素子集成体に配向された信号は、ｍ段、（ｍ−１）段、・・・２段、１段の順番で、各段のｎ個の角度情報を持つ信号として入力すると共に、それに同期して表示する段を指定することにより、撮像時と同じ画像を表示することができる。
【００６１】
上記においては、半球型突出面上に形成された撮像素子群で成る撮像素子集成体、表示素子集成体及び撮像素子・表示素子集成体について構造と動作を説明したが、これらの素子集成体の窓状撮像表示装置上の配列を図１４に示す。
撮像表示パネル上に配列する撮像素子集成体及び表示素子集成体は、２素子タイプ（撮像素子集成体と表示素子集成体が別々に形成されたタイプ）と１素子タイプ（撮像素子と表示素子が１つの集成体として形成されたタイプ）があるが、同じタイプの素子集成体配列からなる２つの表示パネルを離れた２つの場所Ｗ１，Ｗ２に設置し、データ通信装置を介して双方向通信を行うようにする。
【００６２】
上記のように配列された撮像素子集成体からの情報の読み出し及び表示素子集成体による表示について、図１５を参照して下記に説明する。まず、撮像表示パネルの表示素子集成体配列の１行１列に第ｍ段のｎ個の信号を入力して表示させる。次に、第ｍ−１段のｎ個、ただし、実際に表示に寄与する素子の数はｎ個より少ない。この仕方で順次表示し、最後に第１段のｎ個（実際に表示する素子は１個）の表示が終わると、１行２列の表示素子集成体の表示を行う。同様にして、１行ｘ列まで表示を行う。
【００６３】
１行目の表示が終わったら２行目の表示を行い、２行目が終わったら３行目の表示というふうにしてｙ行目までの表示を行う。この方法で、最終的にはｘ列ｙ行の全ての撮像素子集成体について読み出しが行われる。
表示側の構成も同様の構成になっており、撮像表示パネル上のｘ列ｙ行に並べられた表示素子集成体の全てについて順次表示を行う。
【００６４】
撮像素子から映像信号を取り出す方法として、各撮像素子集成体内の撮像素子から順番に電荷転送により信号を取り出し、１つの撮像素子集成体についての読み出しが終わったら次の撮像素子集成体から映像信号を取り出し、この方法で全ての撮像素子から映像信号を読み出す方法が考えられる。この方法は、信号を直列に読み出せるので回路構成が簡単になるが、膨大な数の撮像素子からの信号を読み出すためには高速な信号処理が必要になる。
【００６５】
そこで、各撮像素子集成体から読み出した信号を並列に転送する方法も考えられるが、この方法では撮像素子集成体の最大画素数（ｍ段目の画素数ｎ）に等しい数の転送路を必要とし、回路構成上複雑になる。また、１段目だけを転送する転送路とｍ段目だけの信号を転送する転送路では信号の量が大幅に異なり、信号伝送量にアンバランスが生じてしまい効率が悪い。しかし、１フィールド又はフレームを走査する時間は短くなるという利点がある。
＠
本窓状撮像表示装置は取り込む画像情報の量が多いので撮像素子や表示素子の量も多く、扱うデータの量も多くなる。しかし、扱う信号は相関性が大きい信号を多数含んでいることも大いに予想できるところである。従って、信号処理回路に取り込んだ映像信号は画像圧縮技術を適用して圧縮することができる。
【００６６】
図１６は、相関が大きい情報を扱う場合の画素配列の例を示す。
撮像表示パネル上に入射する光の中、隣接する場所から来る光は同じ輝度（及び色）、又は類似の輝度（又は色）であることが多い。このことは、パネル上に並ぶ或範囲の撮像素子に入る光は同じ又は類似の輝度（色）であることが多いことを意味する。このような信号に対しては信号圧縮を適用することにより伝送信号を減らすこともできるが、常に同じ輝度（色）の信号が来る場合には１つの画素、即ち１つの撮像素子で置き換えることができる。
【００６７】
この観点から考えると、撮像素子及び表示素子の配列は図１６に示すような配列にすることができる。即ち、半球型の頂部にほぼ垂直に入射する光、上下左右に入射する光の区別をするだけの撮像素子集成体とすることができる。また、これに対応して表示素子集成体も頂部、上下左右を区別して光を出す表示素子集成体とすることができる。
【００６８】
上記撮像素子集成体及び表示素子集成体は半球型突出面上に撮像素子を形成し又は表示素子を形成して構成したが、図１７に示すようにレンズにより光の集光又は発散を行うことにより、撮像素子や表示素子を平面的に形成することも可能である。
【００６９】
次に、本発明の窓状撮像表示装置を用いた双方向情報通信システムの構成について、図１８を参照して、下記に説明する。
図示の通り、或場所Ｗ１と他の場所Ｗ２に端末装置Ｔ１、Ｔ２として図示した窓状撮像表示装置を設置し、これら端末装置Ｔ１，Ｔ２の間を伝送路でつないで相互に情報通信を行えるようにする。
【００７０】
端末装置Ｔ１は、場所Ｗ１の環境情報として映像、音声、その他の環境情報、例えば温度等を取り込み、それらの信号の処理を行った後送信装置からそれらの信号を送信する。
【００７１】
今、端末装置Ｔ１から端末装置Ｔ２へ情報を伝送する場合について説明すると、端末装置Ｔ１において、端末装置Ｔ２側へ送信する音声はマイク２Ａから入力し、音声インターフェース３Ａを介して信号処理装置１０Ａに送る。
同様にして、送信対象画像となる人や物は撮像素子４Ａで撮像し、映像インターフェイス６Ａを介して信号処理装置１０Ａに送る。
映像、音声の他にも送りたい情報があれば、その情報を検出できるセンサ７Ａでその情報を検出して環境情報インターフェイス９Ａを介して信号処理装置１０Ａに送る。
【００７２】
音声信号、映像信号、環境信号は、信号処理装置１０Ａにおいて総合的に処理される。即ち、各信号の増幅、信号間の相関関係の検出、情報圧縮等はここで行われる。こうして処理された信号は、送受信装置１１Ａに送られ、ここで変調等の送信のための信号処理を行った後、伝送回線上に送信される。
【００７３】
場所Ｗ２に設置した端末装置Ｔ２では、送受信装置１１Ｂの受信側の装置で伝送回線網１２を介して送られてきた信号を受信し、復調等の通信信号処理を行った後信号処理装置１０Ｂに送り、そこで増幅、信号解凍等の信号処理を行う。信号処理装置１０Ｂの出力は、音声信号、映像信号、環境情報信号に分離し、音声信号は、音声インターフェイス３Ｂに送り、スピーカ２Ｂから出力する。
映像信号は、映像インターフェイス６Ｂへ送り、表示素子５Ｂによって表示する。また、環境情報は、環境インターフェイス９Ｂに送り、コンディショナー８Ｂから適宜送出する。
【００７４】
端末装置Ｔ２から端末装置Ｔ１へ信号を送信する場合には上記と逆の経路で信号の伝送が行われる。即ち、端末装置Ｔ２のマイク２Ｂで集音した音声入力、撮像素子４Ｂに入力した映像入力、センサ７Ｂで感知した環境情報入力は、それぞれ音声インターフェイス３Ｂ、映像インターフェイス６Ｂ、環境情報インターフェイス９Ｂを介して信号処理装置１０Ｂに取り込まれ、必要な信号処理を行った後送受信装置１１Ｂを通して送信される。
【００７５】
端末装置Ｔ１では、送受信装置１１Ａの受信側回路で受信した信号を信号処理装置１０Ａに送り、そこで必要な信号処理を行って、音声インターフェイス３Ａ、映像インターフェイス６Ａ、環境情報インターフェイス９Ａ、に送り、スピーカ１Ａ、表示素子５Ａ、コンディショナー９Ａから出力する。
【００７６】
上記の説明は、端末装置Ｔ１と端末装置Ｔ２の間の信号伝送についての説明であるが、本双方向情報通信システムは、このような一対一の通信に限らず、伝送回線網１２を介して他の多数の端末装置とマルチキャスト（一対多）通信を行うようにすることも可能である。
また、ストレージ装置１４を設けて、コンテンツを保存し、再生することにより、以前に取得した環境情報を用いることも可能である。
【００７７】
本発明の窓状撮像表示装置は、上記以外にも応用範囲は広く、例えば図１９に示すような曲面に形成したり、出窓に形成すれば広角の風景を見ることが可能になる。また、本装置で覆われた部屋を作れば、全方位の映像を表示でき、自分自身が離れた場所に存在している様な感覚を与える効果がある。
【００７８】
図２０に示すように、壁一面に本撮像表示装置を設置すると、テレビ等では伝えにくい演劇や、ＬＩＶＥ等の臨場感を伝えることができる。
また、住宅のドアや襖壁に表示パネルを配置すると、離れた部屋同士や、机、卓袱台等を繋げることができる効果が得られ、空間を超えた協同生活が可能となる。
【００７９】
【発明の効果】
本発明の窓状撮像表示装置は、離れた２つの空間にそれぞれ１つずつ設置してそれらの間を双方向通信回線でつなぐことにより、それらの空間が窓を通して１つにつながっているように感じさせる効果を生む。
【００８０】
本発明の窓状撮像表示装置は、そのディスプレイパネルを見る人（観測者）の位置や、動きに応じて表示される映像が変化するため実際に空間がつながっているというリアル感が生まれる。
【００８１】
本発明の窓状撮像表示装置を通じて人間同士が会話やコミュニケーションを行う場合、特定のカメラで撮影した絵画的な映像を用いる従来のテレビ電話やテレビ会議システムと比較して、より多様な感情表現及び意志伝達手段や効果が生まれ、より深いコミュニケーションが可能となる。
【００８２】
本発明の窓状撮像表示装置は、従来のカメラやディスプレイのように撮像や表示のみを行うのではなく、撮像及び表示機能の両方を備えた撮像表示パネルを使っているため、利用者は情報を入手すると共に情報を発信することも可能にする。
【００８３】
本発明の窓状撮像表示装置を２つ使用して一方を屋外に設置し、他方を屋内の何もない壁に設置することで「窓」を作ることができる。またストレージ装置に保存しておいた環境情報をこの窓状撮像表示装置に送ることで様々な風景を見ることができるようにできる。
【００８４】
本発明の窓状撮像表示装置を使ったデータ伝送を応用すれば、一対一の端末間の利用だけでなく、一つの端末で検出された環境情報を多数の端末に対して配信することでコンテンツ配信ビジネスに利用することが可能である。
【００８５】
本発明の窓状撮像表示装置を使った通信方法は、温度や湿度、匂いやディスプレイ上の圧力、熱等、人間が環境を認知するために用いる情報を同時に相互伝送を行うことで、よりリアルに「空間をつなぐ」効果を生むことができる。
【図面の簡単な説明】
【図１】本発明にかかる窓状撮像表示装置の機能説明模式図である。
【図２】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図３】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図４】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図５】本発明にかかる窓状撮像表示装置の入射光と出射光の関係を示す線図である。
【図６】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図７】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図８】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図９】本発明にかかる窓状撮像表示装置の撮像素子集成体の構造及び読み出し回路を示す模式図である。
【図１０】本発明にかかる窓状撮像表示装置の表示素子集成体の構造及び表示駆動回路を示す模式図である。
【図１１】本発明にかかる窓状撮像表示装置の撮像素子・表示素子集成体の構造及び表示駆動回路を示す模式図である。
【図１２】撮像素子集成体配列から映像情報を読み出す動作タイムチャートである。
【図１３】表示素子集成体配列に映像情報を表示する表示回路駆動信号タイムチャートである。
【図１４】本発明にかかる窓状撮像表示装置のパネル上の素子配列を示す模式図である。
【図１５】撮像素子集成体からの映像信号読み出し及び表示素子集成体の表示駆動回路の動作タイムチャートである。
【図１６】撮像素子集成体及び表示素子集成体の構成例を示す模式図である。
【図１７】撮像素子集成体及び表示素子集成体の他の構成例を示す模式図である。
【図１８】本発明にかかる窓状撮像表示装置を用いた双方向通信システムのブロック図である。
【図１９】本発明にかかる窓状撮像表示装置の応用例を示す模式図である。
【図２０】本発明にかかる窓状撮像表示装置の応用例を示す模式図である。
【図２１】従来の立体視システムの概念説明線図である。
【図２２】テレビ電話装置の概念説明線図である。
【図２３】テレビ会議電話装置の概念説明線図である。
【図２４】テレビ電話装置の他の例の概念説明線図である。
【図２５】撮像素子のマトリックス配列を示す模式図である。
【図２６】従来の撮像表示装置の断面構造を示す模式図である。
【図２７】本発明にかかる窓状撮像表示装置を用いたテレビ会議電話装置の概念説明線図である。
【図２８】本発明にかかる窓状撮像表示装置を使った離間地点間での会話の様子を示す概念説明線図である。
【符号の説明】
Ｗ１，Ｗ２・・・ 離間した２つの場所、 Ａ，Ｂ，Ｃ・・・ ビューア（視者）、
Ｄ，Ｅ，Ｆ・・・ 場所Ｗ２に置かれた物体、Ｔ１・・・ 場所Ｗ１に置かれた窓状撮像表示装置
【発明が属する技術分野】
本発明は、窓状撮像表示装置に関し、更に詳しく述べると、撮像機能と表示機能の両方の機能を備えた窓状の装置に関する。本装置は、離れた場所に存在する２つの空間の双方に設置して相互通信を行うことにより、それら２つの空間が恰も本装置の両側につながっているかのように感じさせる効果を作るのに用いることができる。
【０００２】
【従来の技術】
従来、薄型の表示パネルを部屋の壁に掛けてその表示パネルの奥に実際に物が存在するように見せる試みがなされているが、それらは、画面表示が平面的であり現実感に乏しいものであった。
【０００３】
現実感を増すために立体画像を映すようにすることも考えられるが、これらはいずれもカメラによって或方向から撮影した画像を表示しているものであるから、
その表示パネルを見る人の位置や方向により異なった画像を見ることができるようにはなっていない。あくまでもカメラで撮影されたものを見るだけである。
【０００４】
また、図２１に示すような立体視システム、立体テレビ等の立体画像表示装置も存在するが、これらは、もっぱら壁から被写体の像が浮き上がって見えるようにしたものであり、表示パネルの奥に空間が存在し、その表示パネルを介して見る人の居る空間と表示パネルの奥の空間がつながっているように見える効果は乏しい。しかも、この種の装置は立体視が得られる視者の位置範囲も限られている。そうして、この種の映像は不自然な映像となるので長時間見ていると心理的に疲れるものである。
【０００５】
撮像装置としてカメラを使い表示装置として平面表示パネルを使ってテレビ電話を構成する従来の場合は、図２２に示すように、通話を行う２つの端末の夫々にカメラと表示装置を設けて、カメラで撮影した画像を相手方に送り、相手方から送られてくる画像を自分の表示装置に映し出すようになっている。
【０００６】
ところで、通話者は相手の顔を見ながら話をするので、表示画面に視線を合わせた状態で話をする。このため、話し手の前には表示装置がありカメラを置くスペースがないので、カメラは表示画面の上方等に設置する。その結果、画面に映る通話者の像は上方から映した像、即ち、うつ向き状態の画像となり通話をする者同士の視線が合わない。
【０００７】
また、上記のように１対１の通話ではなくて、図２３に示すように、複数人の参加者がいる２つの場所間で会話を行うＴＶ電話会議システムがあるが、これは、上記テレビ電話を複数人で使うように拡張したものであり、送信側のカメラで撮影した画像を受信側に伝送し、それを受信側の表示パネルに表示するものである。従って、受信側で見る画像は送信側のカメラで撮影された画像であり、受信側の見る人の角度によって異なった画像が見えることはない。異なっているとすれば、それは受信側で見る画面の輪郭の相違くらいのものである。
【０００８】
そうして、このＴＶ電話会議システムの場合にも、会議参加者は表示画面の方を見ており、カメラは表示画面の外側の適当な場所に設置されるので、受信側で見る人と視線が合わず不自然である。
【０００９】
これを改良したテレビ電話システムとして、図２４に示すようなシステムが開発された。このシステムは、表示装置の前にハーフミラーを置いて、話し手が表示装置に映った聞き手の顔を見た状態で話し手の顔から来る光をハーフミラーで分離してカメラに導いて撮影するものである。
【００１０】
こうすることにより、通話者はお互いに相手と視線を合わせながら通話できるが、ハーフミラーを設けなければならないので装置が複雑になり大型になるという欠点がある。
また、ハーフミラーは図示のように方向が限定されるので表示画面の中央位置から見る場合には良く機能するが画面の斜め横方向から見た場合には所期の機能を発揮しない。
【００１１】
上記ハーフミラーを使う表示装置に変わる装置として、撮像機能を有する多数の撮像素子を設けた撮像面体と、表示機能を有する多数の表示素子を設けた画像表示面体とを平面的に重ね合わせて複合一体化した撮像表示装置が開発され、特開平１−２８０９７８号公報に記載されている。
【００１２】
上記撮像表示装置は、撮像素子を図２５に示すようなマトリックス状に配列した撮像面体と表示素子を同様にマトリックス状に配列した画像表示面体を、撮像素子と表示素子が光路方向で重ならないように横方向の位置を調整して、重ね合わせて図２６に断面図として示すような構造としたものである。この例では、撮像面体が画像表示面体の上に形成されており、外部から入射した光は収束レンズ体によって収束され撮像素子上に投射される。また、液晶等の光スイッチで成る表示素子を透過した光は撮像素子の間を通過して出射される。
【００１３】
この撮像表示装置は、画像表示面体と撮像面体とが平面的に均等に複合一体配列されているので、視線の不一致は起こらない。また、表示素子１つに対して撮像素子１つを対応させて設けることにより、撮影側と表示側の画面の解像度を一致させることができる。
【００１４】
【発明が解決しようとする課題】
上記のとおり、従来の表示装置は、撮影現場に置かれたカメラで撮影したカメラ視野内の映像信号を他の場所に置かれた表示装置に伝送して表示させるだけの情報伝送システムであったため、見る側の人間の位置や角度が変化したとしても表示される映像に変化はなく、視者は絵画を見ているような感覚を受けるという欠点がある。
【００１５】
上記の現状に鑑み、本発明の第１の課題は、離れた空間にそれぞれ設置された２つの窓状撮像表示装置を通信回線で接続して、離れた空間同士が一つの窓を通してつながっているように感じさせる効果を生む装置を提供することにある。
【００１６】
本発明の第２の課題は、上記カメラで撮影した映像を表示装置に表示する場合のように、カメラの視野に入った映像を表示画面に映し出し、視者はその画面を見るだけという一方的な動作による表示ではなく、上記窓状撮像表示装置のディスプレイ・パネル（表示画面）を見る人間が位置や角度を変えることによって送られて来ている映像の中から見ようとする映像を選択して見ることができるようにして、よりリアル感のある映像信号伝送を可能にすることにある。また、ディスプレイ・パネルの大きさや形状、配置場所に応じて非常に幅広い応用が可能な装置を得ることにある。
【００１７】
このことを更に明確に理解するために、図１を参照して本発明によって実現しようとする窓状撮像表示装置を説明する。同図に示すように本発明の窓状撮像表示装置を離れた２つの場所に各１つ設置し通信回線で接続して相互通信をおこなうと、図示のようにＡが見る画像とＢが見る画像、Ｃが見る画像は全て異なり、丁度窓ガラスを通して窓の向こうにある物を見ているようになる。
【００１８】
上記の例では、場所Ｗ１に居る３人の人（Ａ，Ｂ，Ｃ）が場所Ｗ２にある物Ｄ，Ｅ，Ｆを見る場合についての説明したが、これは、例えば重要文化財等の展示品を離れた部屋の中に保管しておき展示会場で本窓状撮像表示装置を使って見れるようにする場合に応用できる。この場合、視者は場所Ｗ１にのみ居るので１方向通信となるから、場所Ｗ２に設置する装置は撮像専用のパネル装置でよく、場所Ｗ１に設置する装置は表示専用のパネル装置にすることもできる。
【００１９】
場所Ｗ１だけでなく場所Ｗ２にも人が居て場所Ｗ１を見られるようにするには、双方に撮像と表示の機能を持つ装置設置する必要がある。そのような場合として、
図２７を参照して下記に説明するようなＴＶ電話会議システムがある。
【００２０】
図２２、図２３を参照して上記に説明したように、カメラを設置するテレビ電話やテレビ会議システムにおいては、カメラを設置する場所の都合から、テレビを通して会話を行う利用者同士の視線がずれてしまうと言う問題があった。
また、上記会話者の視線がずれてしまうという欠点を克服するものとして、上記のとおり撮像と表示の両方の機能を兼ね備えた撮像表示装置が提案されているが、この装置を使っても、光の方向を識別することはできないので、撮像素子群によって撮影された映像は撮像表示装置に入る光によって決まる映像であり、見る側の人の位置や角度によって見える範囲が異なるものではない。
【００２１】
本発明の第３の課題は、図２７に示すように、ＴＶ電話会議システムにおいて、場所Ｗ１に居る出席者Ａ、Ｂ，Ｃが、場所Ｗ２に居る会議出席者Ｄ，Ｅ，Ｆを見るとき、夫々自分の座っている席から見える独自の視野を持つことができ、その逆に場所Ｗ２に居る会議出席者Ｄ，Ｅ，Ｆも場所Ｗ１に居る会議出席者についての独自の視野を持つことができる窓状撮像表示装置を提供することにある。
【００２２】
上記のＴＶ電話会議システムにおいて、会議出席者の全員が全員を見渡せるようにするには、大規模な窓状撮像表示装置を必要とするが、技術的又は経済的にそのようなことが許されない場合でも、本発明の窓状撮像表示装置は大いに効果を発揮する。
【００２３】
図２８を参照して、このことを説明する。場所Ｗ１に居る人が１人であってもその人の顔の向く方向や視線が分かると自然さが非常に増すものである。例えば図示のように、ＡがＢの方向を見ているときにはＡもＢも自分の正面に相手の姿が見える。この時ＥはＢの方を向いているＡの姿を見ることができる。その状態から、ＡがＥの方向を見るとＡもＥも自分の正面に相手の姿を見ることができるが、今度はＢはＥの方向を向いているＡの姿を見ることになる。
【００２４】
ＡがＢと話している時にＢの方を向いているということは、離れた場所にいるＡとＢが本発明の窓状撮像表示装置を通してお互いに相手を見ているような感覚を与え自然な感じを与えるものである。
【００２５】
本発明の第４の課題は、上記窓状撮像表示装置を通信端末装置として設置するだけで、その場所の３次元情報を取り込むことができることを利用して、それらの情報を保存し、再生できるコンテンツを容易に作成することができるようにすることにある。
【００２６】
本発明の他の課題は、音声、温度や湿度、ディスプレイ上の圧力や、熱分布、匂い等、人間が空間を認知するために利用する媒体の情報を映像と同時に伝送することで、よりリアルに空間をつなぐことを可能にする装置を得ることにある。
【００２７】
【課題を解決するための手段】
上記課題を解決するために、本発明は、下記の手段を備えた窓状撮像表示装置、及びそれを用いた双方向通信方法を提供する。即ち、
平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生するとともに、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイス回路へ送る信号送受信手段とを備えた窓状撮像表示装置を提供する。
【００２８】
また上記の窓状撮像表示装置において、上記撮像表示パネルの各撮像素子が半球型突出面上に形成された所定数の撮像素子で構成した撮像素子集成体で成り、該半球型突出面上の当該撮像素子の位置によって入射光の方向が判別できるようになっており、
上記表示素子が各々半球型突出面上に形成された上記撮像素子集成体と同じ数の表示素子で構成した表示素子集成体で成り、該半球型突出面上の表示素子の位置によって出射光の方向を指定できるようになった窓状撮像表示装置も提供する。
【００２９】
上記の窓状撮像表示装置において、該装置が更に、立体音声入出力手段及び該音声入出力の信号処理を行う音声インターフェイス手段と、
上記映像信号と上記音声信号を混合して複合映像信号を生成する信号処理手段とを備えた窓状撮像表示装置も提供する。
【００３０】
更にまた、上記の窓状撮像表示装置において、該装置が更に、環境情報入出力手段及び該環境入出力手段により入力し又はそこへ出力する信号の信号処理をする環境情報インターフェイス手段を備えた窓状撮像表示装置も提供する。
【００３１】
本発明の別の観点に従えば、平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出するようにした撮像パネルと、
上記撮像パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信する信号送信手段とを備えた窓状撮像パネル装置と、
平面基板の表面全体に亘って多数の表示素子が一様に分布するように形成され、該表示素子から上記入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした表示パネルと、
上記撮像パネルから伝送回線を介して送られてきた映像信号を受信し、該受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、を備えた窓状表示パネル装置と、を備えた窓状撮像表示装置を提供する。
【００３２】
本発明はまた、平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生し、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイス回路へ送る信号送受信手段とを備えた窓状撮像表示装置を離れた２以上の場所の夫々に設置し、伝送路を通して双方向映像データ通信を行う方法であって、
送信側の窓状撮像表示装置の撮像素子で被写体から来る光の位置と方向を検出して受信側に送り、受信側では、送信側から送られてくる映像信号の中のビューアの位置と窓状撮像表示装置の位置との関係で決まる視野の映像を見るようにする双方向通信方法も提供する。
【００３３】
【発明の実施の形態】
本発明の窓状撮像表示置の一実施形態を、図面を参照して、下記に説明する。
図１は、本発明の窓状撮像表示装置の外観及び使い方を示す。同図に示す例では説明を分かり易くするために、壁で仕切られた隣接する２つの部屋の壁面の同じ位置に背中合わせになるように本装置を設置した場合を示している。一方の部屋の中には、撮影する対象物Ｄ，Ｅ，Ｆが置かれており、この対象物を本装置が撮影するようになっている。
【００３４】
また、隣の部屋にはビューア（観察者）が複数人（Ａ，Ｂ，Ｃ）いて複数の位置から本装置をみることができるようになっている。後述するように、背中合わせに配置した２つの窓状撮像表示装置は、一種の窓を形成し、この窓をとおして光が透過するように見えるように撮影し表示できるので、観察者Ａ，Ｂ，Ｃはそれぞれ物体Ｆ，Ｅ，Ｄを自分の視線を向けた方向にみることができる。
【００３５】
このような効果を得るための条件としては、図２に示すように、離れた場所Ｗ１とＷ２に設置された２つの窓状撮像表示装置の間で相互通信を行うことにより、互いに相手方の情報が得られるようにし、ビューアの位置によって相手方から送られてくる情報の中の当該ビューアによって選択された範囲の情報を得るようにすることである。
【００３６】
同図において、場所Ｗ１に居るビューアＡは通信端末装置Ｔ１として設置された窓状撮像表示装置を該装置の左側から覗く位置に立っており、この位置から窓状撮像装置を見た場合に窓状撮像表示装置の右側の情景が見えるようにすれば、ビューアＡは窓越しに窓の向こうにある情景を見ているような感覚を得るであろう。
【００３７】
同様にして、ビューアＢについてもビューアＣについても、場所Ｗ１の彼らが立っている位置から窓状撮像表示装置Ｔ１を見たときに、場所Ｗ２の情景が丁度窓ガラスを通して窓の向こうにある情景を見ているように窓状撮像表示装置に表示されればビューアＢ，ビューアＣは窓状撮像表示装置を見て窓の向こうの情景を見ている感覚を得るであろう。
【００３８】
この様子を下記に更に詳しく説明する。一般に窓ガラスを通して反対側にある物を見る場合、図３に示すとおり、窓ガラス面の位置（ｘ，ｙ）に角度（θ゜，φ）で入射した光は、そのパネルの裏面の同じ位置から角度（１８０゜−θ゜，１８０゜−φ゜）で出射するようになっている。
【００３９】
従って、この窓ガラスと同じ窓状パネルを作ろうとすれば、撮像側のパネル面上の全ての点について、様々な方向から来る（即ち、上記θとφの種々の値に対する）光の少なくとも輝度（より自然さを出すためには色）についての情報を取り込み、それらの情報を表示側に伝送し、表示側パネル面上の対応する位置から入射角と１８０゜位相のずれた光を対応する輝度（及び色）で出射するようにパネルを形成すればよい。
【００４０】
図４は、上記の条件を採り入れた本発明の窓状撮像表示装置の基本構成を図解したものである。入射光はパネル面に角度（θ゜，φ゜）で入射するが、この角度が変わると撮像素子群でなる半球型突出面の中の当該光が当たる撮像素子が異なるようにすることにより、入射光の方向を検出することができる。表示側パネル面上では対応する位置の表示素子群でなる半球型突出面上の対応する表示素子から対応する輝度（及び色）の光を出射させるようにすればよい。
【００４１】
上記窓越しに物を見る感覚を与える装置について、下記にその構成と動作を説明する。ここでは、説明を分かり易くするために、２次元的に説明する。
図５に示すように、２つの窓状撮像表示装置を背中合わせに重ねて置いた状態で、一方の面に入射した光が他方の面から直進して出ていくようになるようにすればガラスを通して物を見ている感覚が得られる。換言すると、入射光の入射角と出射光の出射角が等しくなるようにすることである。窓ガラスを透して光りが透過する場合には光の入射位置と出射位置がほぼ等しいが、本装置においては、相対位置のみが重要であって絶対位置は必ずしも一致する必要はない。ただし、入射光と出射光の位置が視覚的に一致するように調整しておくことが必要である。
【００４２】
２つの窓状撮像表示装置の間は通信線路でつながれていて、信号伝送により一方の装置の面に入射した光の情報が他方の装置の表示面に伝えられるようになっていて、これら２つの装置の中を光が透過するわけではないから、２つの窓状撮像表示装置は、上記のように壁面に背中合わせして設置する必要はなく、全く離れた別の部屋の壁に設置されていてもよい。また、一方が室内の壁に設置され、他方が家の外壁に設置されてもよい。
【００４３】
図５に示すような現象が得られる本発明の窓状撮像表示装置の撮像表示パネルについて、図面を参照して、下記に説明する。
図６は、撮像表示パネル上の撮像素子と表示素子の配列を例示したものである。
（ａ）は、１列毎に撮像素子と表示素子を交互に配列したものである。
（ｂ）は、撮像素子と表示素子を１行毎に並べて千鳥状に配列したものである。
（ｃ）は、（ｂ）と同じ配列であるが撮像素子及び表示素子の形状が６角形になっているところが（ｂ）と異なる。
【００４４】
このように、パネル上に撮像素子と表示素子とを一様に配列することにより、このパネルは撮像装置としての機能を備えるとともに表示装置としての機能も備えており、これを光学的に見ると入射光を受け取り、出射光を出す機能を有することになる。
【００４５】
図７は、上記撮像表示パネルを２枚背中合わせにして配置したものを示し、上側のパネルについては撮像素子が形成されている部分を示し、下側のパネルについては表示素子が形成されている部分を示している。撮像素子も表示素子も同じ大きさの半球型の突出面の表面に形成されている。
【００４６】
今、入射光が同図に矢印で示すように右上方から左下方に向かって入ると、撮像表示パネルの半球型突出面上の右方向の対応する撮像素子に入射する。入射光の当たる位置は半球型突出面に番号（アドレス）を付けておくことにより検出することができ、入射角度はその突出面上の撮像素子の位置によって検出することができる。
【００４７】
同図においては、上側にｋ行ｊ列にマトリックス配列された撮像素子群を構成する半球型突出面のａ行目の（ｂ−１）、（ｂ）、（ｂ＋１）列目の突出面Ｃａ１〜Ｃａｙが描かれている。下側にはｋ行ｊ列マトリックス配列された表示素子群を構成する半球型突出面のａ行目の（ｊ−ｂ＋２）、（ｊ−ｂ＋１）、（ｊ−ｂ）列目の突出面Ｌａ１〜Ｌａｙが描画されている。配列順序は上側が左から右に増加するアドレスとした場合には下側が右から左に向かって増加するアドレスとする。入射光と出射光の対応関係は時間遅れ分だけずらすのがよい。
【００４８】
上記の窓状撮像表示パネル装置は、半球型の突出面上に複数の撮像素子を形成して成る撮像素子集成体と半球型の突出面上に複数の表示素子を形成して成る表示素子集成体を交互に配列し、隣接する撮像素子集成体と表示素子集成体が対をなすようにしたものである（これを２素子タイプとよぶ）が、図８を参照して下記に説明する窓状撮像表示パネル装置は、１つの半球型突出面上に撮像素子と表示素子の両方を形成したもの（撮像表示素子集成体）をマトリックス配列した撮像表示パネル装置であり（これを１素子タイプという）、２素子タイプと同様に構成できる。
【００４９】
同図において、マトリックスはｋ行ｊ列で構成されているものとし、
１＜ａ＜ｋ、１＜ｂ＜ｊの関係になっている。また、１つの半球型突出面上にｍ段に形成されたＣＣＤの或段をｃで表すとき、１＜ｃ＜ｍである。ｃ段における円周方向の位置をｄc とすると、１＜ｄc ＜ｎc で表される。
ここで、ｎx は偶数とし、ｎ1 ＝１（１段目）、ｎc ＝４ｃ−２（ｃ段目）、ｎm ＝ｎ（ｍ段目）とする。
【００５０】
図９は、上記２素子型の窓状撮像表示装置のパネル上に形成される半球型突出面の１つを詳細に示したものである。同図（ａ）に示すように、本半球型突出面上にはＣＣＤ等によって複数の撮像素子が形成されており、これらのＣＣＤ撮像素子は半球の頂部と底部の間に階層的に配列され、頂部は１つのＣＣＤで形成され、底部は入射光の方向をどのくらい細かく検出するかの解像度によって決まる数ｎのＣＣＤで形成する。頂部と底部の間の中間段は１個からｎ個の間で順次段階的に増加する数とする。
【００５１】
同図（ｂ）は、半球型突出面の断面を示す。半球型突出面の表面にはＣＣＤが形成され、その外側がレンズを形成する光導体の形成された層で覆われている。ＣＣＤの面にほぼ垂直に入射した光は当該ＣＣＤに導かれるが斜め方向から入射した光は当該ＣＣＤに殆ど達しないようになっている。これにより、どのＣＣＤで受けたかによりその光の来た方向がわかるようになっている。
【００５２】
同図（ｃ）は、（ａ）のＣＣＤ配列を平面的に展開して示したものである。このＣＣＤ配列の動作については後で詳しく説明するが、ここで簡単に説明すると、ｍ段に構成されたＣＣＤの内容は順次後段へシフトされ、最後段であるｍ段のＣＣＤの内容がシフトレジスタに転送され該シフトレジスタから直列に外部に出力される。この時ｍ−１段のＣＣＤの内容はｍ段にシフトされているので、次にｍ−１段のＣＣＤの内容がｍ段を通してシフトレジスタに転送されて、そこから直列に出力される。
【００５３】
図１０は、上記２素子型の窓状撮像表示装置のパネル上に形成される半球型突出面の他の１つを詳細に示したものである。同図（ａ）に示すように、本半球型突出面上にはＬＣＤ（液晶）表示素子が形成されている。この半球型突出面は上記図９を参照して説明したＣＣＤの配列と同一形状、同一寸法の半球型突出面上に上記ＣＣＤと同一数のＬＣＤを対応位置に形成したものである。
【００５４】
ＬＣＤスイッチを通過した光は同図（ｂ）に示すように直進し、従って、どのＬＣＤ素子から出た光であるかによってその光の進む方向が特定される。同図（ｃ）は表示素子（ＬＣＤ）の駆動回路を示す。レジスタＲＧ１に駆動する表示素子の位置データをセットし、レジスタＲＧ２に走査データをセットする。
【００５５】
図１１は、１つの半球型突出面上に撮像素子と表示素子の両方を搭載した撮像素子と表示素子の集成体を示す。この撮像素子・表示素子集成体は、半球型突出面にＬＣＤ等で表示素子を形成し、その上を光透過性の層で覆い、その上に下層の表示素子と重ならないようにＣＣＤ等で撮像素子を形成し、隣接する撮像素子と表示素子を一対の素子として扱うようにしたものである。
【００５６】
ここで、図１２を参照して、撮像素子集成体から電荷を読み出す方法を説明する。読み出し順序は最下段の撮像素子を最初に読み出し順次上方の段の撮像素子の内容（電荷）を読み出し最後に半球頂部の撮像素子の電荷を読み出すものとする。従って、時刻Ｔ１ではｍ段目のｎ個の素子の内容をシフトレジスタに並列に読み出し、上段の素子の内容を順次下段へ並列にシフトする。
【００５７】
時刻Ｔ２ではｍ−１段目のｎ−ｋ個（但しｋはｍ段目に比べて減少した素子の数）の撮像素子からｍ段にシフトしてきている電荷をシフトレジスタに並列に読み出す。この方法で時刻Ｔｍ−１には２段目の素子からｍ段目にシフトされている電荷をシフトレジスタに読み出し、時刻Ｔｍには１段目の１個の素子からの電荷がシフトレジスタに読み出される。
【００５８】
１つの半球型突出面上に形成された１組の撮像素子（これを撮像素子集成体ということにする）から電荷の読み出しが終わると引き続き次の撮像素子集成体から電荷を読み出す。この仕方で時間ｔ１に第１行のｘ個の撮像素子集成体から電荷信号を読み出し、次の時間ｔ２に第２行のｘ個の撮像素子集成体から電荷信号を読み出し、以下同様にして、時間ｔｙに第ｙ行のｘ個の撮像素子集成体から電荷信号を読み出す。
こうして読み出した電荷信号は１フレームの信号として信号処理され受信側（即ち、表示する側）の装置に伝送される。
【００５９】
次に、図１３を参照して、表示素子集成体（半球型突出面上に形成された１組の表示素子）に表示信号を供給する方法について下記に説明する。表示素子集成体はｘ列ｙ行にマトリックス配列されており、送信されてくる信号は１行１列〜１行ｘ列、２行１列〜２行ｘ列、・・・ｙ行１列〜ｙ行ｘ列の順で送られてくるので、この順序で開くゲート配列を設け、各表示素子集成体に表示する画像信号が配向されるようにする。
【００６０】
上記の方法で１つの表示素子集成体に配向された信号は、ｍ段、（ｍ−１）段、・・・２段、１段の順番で、各段のｎ個の角度情報を持つ信号として入力すると共に、それに同期して表示する段を指定することにより、撮像時と同じ画像を表示することができる。
【００６１】
上記においては、半球型突出面上に形成された撮像素子群で成る撮像素子集成体、表示素子集成体及び撮像素子・表示素子集成体について構造と動作を説明したが、これらの素子集成体の窓状撮像表示装置上の配列を図１４に示す。
撮像表示パネル上に配列する撮像素子集成体及び表示素子集成体は、２素子タイプ（撮像素子集成体と表示素子集成体が別々に形成されたタイプ）と１素子タイプ（撮像素子と表示素子が１つの集成体として形成されたタイプ）があるが、同じタイプの素子集成体配列からなる２つの表示パネルを離れた２つの場所Ｗ１，Ｗ２に設置し、データ通信装置を介して双方向通信を行うようにする。
【００６２】
上記のように配列された撮像素子集成体からの情報の読み出し及び表示素子集成体による表示について、図１５を参照して下記に説明する。まず、撮像表示パネルの表示素子集成体配列の１行１列に第ｍ段のｎ個の信号を入力して表示させる。次に、第ｍ−１段のｎ個、ただし、実際に表示に寄与する素子の数はｎ個より少ない。この仕方で順次表示し、最後に第１段のｎ個（実際に表示する素子は１個）の表示が終わると、１行２列の表示素子集成体の表示を行う。同様にして、１行ｘ列まで表示を行う。
【００６３】
１行目の表示が終わったら２行目の表示を行い、２行目が終わったら３行目の表示というふうにしてｙ行目までの表示を行う。この方法で、最終的にはｘ列ｙ行の全ての撮像素子集成体について読み出しが行われる。
表示側の構成も同様の構成になっており、撮像表示パネル上のｘ列ｙ行に並べられた表示素子集成体の全てについて順次表示を行う。
【００６４】
撮像素子から映像信号を取り出す方法として、各撮像素子集成体内の撮像素子から順番に電荷転送により信号を取り出し、１つの撮像素子集成体についての読み出しが終わったら次の撮像素子集成体から映像信号を取り出し、この方法で全ての撮像素子から映像信号を読み出す方法が考えられる。この方法は、信号を直列に読み出せるので回路構成が簡単になるが、膨大な数の撮像素子からの信号を読み出すためには高速な信号処理が必要になる。
【００６５】
そこで、各撮像素子集成体から読み出した信号を並列に転送する方法も考えられるが、この方法では撮像素子集成体の最大画素数（ｍ段目の画素数ｎ）に等しい数の転送路を必要とし、回路構成上複雑になる。また、１段目だけを転送する転送路とｍ段目だけの信号を転送する転送路では信号の量が大幅に異なり、信号伝送量にアンバランスが生じてしまい効率が悪い。しかし、１フィールド又はフレームを走査する時間は短くなるという利点がある。
＠
本窓状撮像表示装置は取り込む画像情報の量が多いので撮像素子や表示素子の量も多く、扱うデータの量も多くなる。しかし、扱う信号は相関性が大きい信号を多数含んでいることも大いに予想できるところである。従って、信号処理回路に取り込んだ映像信号は画像圧縮技術を適用して圧縮することができる。
【００６６】
図１６は、相関が大きい情報を扱う場合の画素配列の例を示す。
撮像表示パネル上に入射する光の中、隣接する場所から来る光は同じ輝度（及び色）、又は類似の輝度（又は色）であることが多い。このことは、パネル上に並ぶ或範囲の撮像素子に入る光は同じ又は類似の輝度（色）であることが多いことを意味する。このような信号に対しては信号圧縮を適用することにより伝送信号を減らすこともできるが、常に同じ輝度（色）の信号が来る場合には１つの画素、即ち１つの撮像素子で置き換えることができる。
【００６７】
この観点から考えると、撮像素子及び表示素子の配列は図１６に示すような配列にすることができる。即ち、半球型の頂部にほぼ垂直に入射する光、上下左右に入射する光の区別をするだけの撮像素子集成体とすることができる。また、これに対応して表示素子集成体も頂部、上下左右を区別して光を出す表示素子集成体とすることができる。
【００６８】
上記撮像素子集成体及び表示素子集成体は半球型突出面上に撮像素子を形成し又は表示素子を形成して構成したが、図１７に示すようにレンズにより光の集光又は発散を行うことにより、撮像素子や表示素子を平面的に形成することも可能である。
【００６９】
次に、本発明の窓状撮像表示装置を用いた双方向情報通信システムの構成について、図１８を参照して、下記に説明する。
図示の通り、或場所Ｗ１と他の場所Ｗ２に端末装置Ｔ１、Ｔ２として図示した窓状撮像表示装置を設置し、これら端末装置Ｔ１，Ｔ２の間を伝送路でつないで相互に情報通信を行えるようにする。
【００７０】
端末装置Ｔ１は、場所Ｗ１の環境情報として映像、音声、その他の環境情報、例えば温度等を取り込み、それらの信号の処理を行った後送信装置からそれらの信号を送信する。
【００７１】
今、端末装置Ｔ１から端末装置Ｔ２へ情報を伝送する場合について説明すると、端末装置Ｔ１において、端末装置Ｔ２側へ送信する音声はマイク２Ａから入力し、音声インターフェース３Ａを介して信号処理装置１０Ａに送る。
同様にして、送信対象画像となる人や物は撮像素子４Ａで撮像し、映像インターフェイス６Ａを介して信号処理装置１０Ａに送る。
映像、音声の他にも送りたい情報があれば、その情報を検出できるセンサ７Ａでその情報を検出して環境情報インターフェイス９Ａを介して信号処理装置１０Ａに送る。
【００７２】
音声信号、映像信号、環境信号は、信号処理装置１０Ａにおいて総合的に処理される。即ち、各信号の増幅、信号間の相関関係の検出、情報圧縮等はここで行われる。こうして処理された信号は、送受信装置１１Ａに送られ、ここで変調等の送信のための信号処理を行った後、伝送回線上に送信される。
【００７３】
場所Ｗ２に設置した端末装置Ｔ２では、送受信装置１１Ｂの受信側の装置で伝送回線網１２を介して送られてきた信号を受信し、復調等の通信信号処理を行った後信号処理装置１０Ｂに送り、そこで増幅、信号解凍等の信号処理を行う。信号処理装置１０Ｂの出力は、音声信号、映像信号、環境情報信号に分離し、音声信号は、音声インターフェイス３Ｂに送り、スピーカ２Ｂから出力する。
映像信号は、映像インターフェイス６Ｂへ送り、表示素子５Ｂによって表示する。また、環境情報は、環境インターフェイス９Ｂに送り、コンディショナー８Ｂから適宜送出する。
【００７４】
端末装置Ｔ２から端末装置Ｔ１へ信号を送信する場合には上記と逆の経路で信号の伝送が行われる。即ち、端末装置Ｔ２のマイク２Ｂで集音した音声入力、撮像素子４Ｂに入力した映像入力、センサ７Ｂで感知した環境情報入力は、それぞれ音声インターフェイス３Ｂ、映像インターフェイス６Ｂ、環境情報インターフェイス９Ｂを介して信号処理装置１０Ｂに取り込まれ、必要な信号処理を行った後送受信装置１１Ｂを通して送信される。
【００７５】
端末装置Ｔ１では、送受信装置１１Ａの受信側回路で受信した信号を信号処理装置１０Ａに送り、そこで必要な信号処理を行って、音声インターフェイス３Ａ、映像インターフェイス６Ａ、環境情報インターフェイス９Ａ、に送り、スピーカ１Ａ、表示素子５Ａ、コンディショナー９Ａから出力する。
【００７６】
上記の説明は、端末装置Ｔ１と端末装置Ｔ２の間の信号伝送についての説明であるが、本双方向情報通信システムは、このような一対一の通信に限らず、伝送回線網１２を介して他の多数の端末装置とマルチキャスト（一対多）通信を行うようにすることも可能である。
また、ストレージ装置１４を設けて、コンテンツを保存し、再生することにより、以前に取得した環境情報を用いることも可能である。
【００７７】
本発明の窓状撮像表示装置は、上記以外にも応用範囲は広く、例えば図１９に示すような曲面に形成したり、出窓に形成すれば広角の風景を見ることが可能になる。また、本装置で覆われた部屋を作れば、全方位の映像を表示でき、自分自身が離れた場所に存在している様な感覚を与える効果がある。
【００７８】
図２０に示すように、壁一面に本撮像表示装置を設置すると、テレビ等では伝えにくい演劇や、ＬＩＶＥ等の臨場感を伝えることができる。
また、住宅のドアや襖壁に表示パネルを配置すると、離れた部屋同士や、机、卓袱台等を繋げることができる効果が得られ、空間を超えた協同生活が可能となる。
【００７９】
【発明の効果】
本発明の窓状撮像表示装置は、離れた２つの空間にそれぞれ１つずつ設置してそれらの間を双方向通信回線でつなぐことにより、それらの空間が窓を通して１つにつながっているように感じさせる効果を生む。
【００８０】
本発明の窓状撮像表示装置は、そのディスプレイパネルを見る人（観測者）の位置や、動きに応じて表示される映像が変化するため実際に空間がつながっているというリアル感が生まれる。
【００８１】
本発明の窓状撮像表示装置を通じて人間同士が会話やコミュニケーションを行う場合、特定のカメラで撮影した絵画的な映像を用いる従来のテレビ電話やテレビ会議システムと比較して、より多様な感情表現及び意志伝達手段や効果が生まれ、より深いコミュニケーションが可能となる。
【００８２】
本発明の窓状撮像表示装置は、従来のカメラやディスプレイのように撮像や表示のみを行うのではなく、撮像及び表示機能の両方を備えた撮像表示パネルを使っているため、利用者は情報を入手すると共に情報を発信することも可能にする。
【００８３】
本発明の窓状撮像表示装置を２つ使用して一方を屋外に設置し、他方を屋内の何もない壁に設置することで「窓」を作ることができる。またストレージ装置に保存しておいた環境情報をこの窓状撮像表示装置に送ることで様々な風景を見ることができるようにできる。
【００８４】
本発明の窓状撮像表示装置を使ったデータ伝送を応用すれば、一対一の端末間の利用だけでなく、一つの端末で検出された環境情報を多数の端末に対して配信することでコンテンツ配信ビジネスに利用することが可能である。
【００８５】
本発明の窓状撮像表示装置を使った通信方法は、温度や湿度、匂いやディスプレイ上の圧力、熱等、人間が環境を認知するために用いる情報を同時に相互伝送を行うことで、よりリアルに「空間をつなぐ」効果を生むことができる。
【図面の簡単な説明】
【図１】本発明にかかる窓状撮像表示装置の機能説明模式図である。
【図２】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図３】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図４】本発明にかかる窓状撮像表示装置の原理説明模式図である。
【図５】本発明にかかる窓状撮像表示装置の入射光と出射光の関係を示す線図である。
【図６】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図７】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図８】本発明にかかる窓状撮像表示装置のパネル面上の撮像素子と表示素子の配列を示す線図である。
【図９】本発明にかかる窓状撮像表示装置の撮像素子集成体の構造及び読み出し回路を示す模式図である。
【図１０】本発明にかかる窓状撮像表示装置の表示素子集成体の構造及び表示駆動回路を示す模式図である。
【図１１】本発明にかかる窓状撮像表示装置の撮像素子・表示素子集成体の構造及び表示駆動回路を示す模式図である。
【図１２】撮像素子集成体配列から映像情報を読み出す動作タイムチャートである。
【図１３】表示素子集成体配列に映像情報を表示する表示回路駆動信号タイムチャートである。
【図１４】本発明にかかる窓状撮像表示装置のパネル上の素子配列を示す模式図である。
【図１５】撮像素子集成体からの映像信号読み出し及び表示素子集成体の表示駆動回路の動作タイムチャートである。
【図１６】撮像素子集成体及び表示素子集成体の構成例を示す模式図である。
【図１７】撮像素子集成体及び表示素子集成体の他の構成例を示す模式図である。
【図１８】本発明にかかる窓状撮像表示装置を用いた双方向通信システムのブロック図である。
【図１９】本発明にかかる窓状撮像表示装置の応用例を示す模式図である。
【図２０】本発明にかかる窓状撮像表示装置の応用例を示す模式図である。
【図２１】従来の立体視システムの概念説明線図である。
【図２２】テレビ電話装置の概念説明線図である。
【図２３】テレビ会議電話装置の概念説明線図である。
【図２４】テレビ電話装置の他の例の概念説明線図である。
【図２５】撮像素子のマトリックス配列を示す模式図である。
【図２６】従来の撮像表示装置の断面構造を示す模式図である。
【図２７】本発明にかかる窓状撮像表示装置を用いたテレビ会議電話装置の概念説明線図である。
【図２８】本発明にかかる窓状撮像表示装置を使った離間地点間での会話の様子を示す概念説明線図である。
【符号の説明】
Ｗ１，Ｗ２・・・ 離間した２つの場所、 Ａ，Ｂ，Ｃ・・・ ビューア（視者）、
Ｄ，Ｅ，Ｆ・・・ 場所Ｗ２に置かれた物体、Ｔ１・・・ 場所Ｗ１に置かれた窓状撮像表示装置
Claims (6)
- 平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生するとともに、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイスへ送る信号送受信手段と
を備えた窓状撮像表示装置。 - 請求項１に記載の窓状撮像表示装置において、上記撮像表示パネルの各撮像素子が半球型突出面上に形成された所定数の撮像素子で構成した撮像素子集成体で成り、該半球型突出面上の当該撮像素子の位置によって入射光の方向が判別できるようになっており、
上記表示素子が各々半球型突出面上に形成された上記撮像素子集成体と同じ数の表示素子で構成した表示素子集成体で成り、該半球型突出面上の表示素子の位置によって出射光の方向を指定できるようになった窓状撮像表示装置。 - 請求項１に記載の窓状撮像表示装置において、該装置が更に、立体音声入出力手段及び該音声入出力の信号処理を行う音声インターフェイス手段と、
上記映像信号と上記音声信号を混合して複合映像信号を生成する信号処理手段とを備えた窓状撮像表示装置。 - 請求項１に記載の窓状撮像表示装置において、該装置が更に、環境情報入出力手段及び該環境入出力手段により入力し又はそこへ出力する信号の信号処理をする環境情報インターフェイス手段を備えた窓状撮像表示装置。
- 平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出するようにした撮像パネルと、 上記撮像パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生する映像インターフェイス回路と、上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信する信号送信手段とを備えた窓状撮像パネル装置と、
平面基板の表面全体に亘って多数の表示素子が一様に分布するように形成され、該表示素子から上記入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした表示パネルと、 上記撮像パネルから伝送回線を介して送られてきた映像信号を受信し、該受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、を備えた窓状表示パネル装置と、
を備えた窓状撮像表示装置。 - 平面基板の表面全体に亘って多数の撮像素子と表示素子が一様に分布するように形成され、該撮像素子によって入射光の少なくとも輝度と方向を検出し、該表示素子から入射光が直進するように見える方向に入射光に比例した輝度の出射光を出射するようにした撮像表示パネルと、
上記撮像表示パネル上の多数の撮像素子によって受光した映像情報に基いて映像信号を発生するとともに、他の撮像表示パネルから受信した映像信号に基いて多数の表示素子に供給する映像情報を発生する映像インターフェイス回路と、
上記映像インターフェイス回路から送られてくる信号を伝送回線上へ送信し伝送回線から受信した映像信号を上記映像インターフェイス回路へ送る信号送受信手段とを備えた窓状撮像表示装置を離れた２以上の場所の夫々に設置し、伝送路を通して双方向映像データ通信を行う方法であって、
送信側の窓状撮像表示装置の撮像素子で被写体から来る光の位置と方向を検出して受信側に送り、受信側では、送信側から送られてくる映像信号の中からビューアの位置と窓状撮像表示装置の位置との関係で決まる視野の映像を見るようにする双方向通信方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001103477A JP4576740B2 (ja) | 2001-04-02 | 2001-04-02 | 窓状撮像表示装置及びそれを使う双方向通信方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001103477A JP4576740B2 (ja) | 2001-04-02 | 2001-04-02 | 窓状撮像表示装置及びそれを使う双方向通信方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002300602A JP2002300602A (ja) | 2002-10-11 |
| JP4576740B2 true JP4576740B2 (ja) | 2010-11-10 |
Family
ID=18956533
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001103477A Expired - Fee Related JP4576740B2 (ja) | 2001-04-02 | 2001-04-02 | 窓状撮像表示装置及びそれを使う双方向通信方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4576740B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10375353B2 (en) | 2015-12-11 | 2019-08-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US10638091B2 (en) | 2016-07-28 | 2020-04-28 | Sony Corporation | Information processing device and information processing method |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FI114752B (fi) * | 2003-05-30 | 2004-12-15 | Nokia Corp | Valosähköinen elementti ja sellaisen käsittävä päätelaite |
| JP4595313B2 (ja) * | 2003-11-14 | 2010-12-08 | ソニー株式会社 | 撮像表示装置及び方法、画像送受信システム |
| JP4069855B2 (ja) | 2003-11-27 | 2008-04-02 | ソニー株式会社 | 画像処理装置及び方法 |
| JP5354253B2 (ja) * | 2008-07-22 | 2013-11-27 | 独立行政法人情報通信研究機構 | 撮影カメラ、画像表示装置及び画像表示システム |
| US7948547B2 (en) * | 2008-08-05 | 2011-05-24 | Eastman Kodak Company | Apparatus and method for capturing and viewing images |
| US9317899B2 (en) | 2012-01-13 | 2016-04-19 | Sony Corporation | Information processing apparatus and information processing method, and computer program |
| JP6196017B2 (ja) | 2012-01-13 | 2017-09-13 | サターン ライセンシング エルエルシーＳａｔｕｒｎ Ｌｉｃｅｎｓｉｎｇ ＬＬＣ | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
| JP5957893B2 (ja) | 2012-01-13 | 2016-07-27 | ソニー株式会社 | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
| US10685551B2 (en) | 2016-07-21 | 2020-06-16 | Sony Corporation | Information processing system, information processing apparatus, and information processing method |
| JP7071087B2 (ja) * | 2017-10-20 | 2022-05-18 | キヤノン株式会社 | 撮影装置、その制御方法、および制御プログラム |
| JPWO2021085320A1 (ja) | 2019-10-31 | 2021-05-06 | ||
| US20230028976A1 (en) | 2020-01-16 | 2023-01-26 | Sony Group Corporation | Display apparatus, image generation method, and program |
| US20240048838A1 (en) * | 2020-12-16 | 2024-02-08 | Sony Group Corporation | Display apparatus, display control method, and program |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000056226A (ja) * | 1998-08-04 | 2000-02-25 | Olympus Optical Co Ltd | 表示・撮像装置 |
| JP2000201359A (ja) * | 1999-01-06 | 2000-07-18 | Hideyoshi Horigome | ３次元画像撮影装置および方法ならびに３次元画像表示装置および方法 |
-
2001
- 2001-04-02 JP JP2001103477A patent/JP4576740B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000056226A (ja) * | 1998-08-04 | 2000-02-25 | Olympus Optical Co Ltd | 表示・撮像装置 |
| JP2000201359A (ja) * | 1999-01-06 | 2000-07-18 | Hideyoshi Horigome | ３次元画像撮影装置および方法ならびに３次元画像表示装置および方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10375353B2 (en) | 2015-12-11 | 2019-08-06 | Sony Corporation | Information processing apparatus, information processing method, and program |
| US10638091B2 (en) | 2016-07-28 | 2020-04-28 | Sony Corporation | Information processing device and information processing method |
| US11343471B2 (en) | 2016-07-28 | 2022-05-24 | Sony Corporation | Information processing device and information processing method for communication using three-dimensional space |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002300602A (ja) | 2002-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11290681B2 (en) | System and methods for facilitating virtual presence | |
| JP4576740B2 (ja) | 窓状撮像表示装置及びそれを使う双方向通信方法 | |
| US8638354B2 (en) | Immersive video conference system | |
| US8208002B2 (en) | Distance learning via instructor immersion into remote classroom | |
| US20070182812A1 (en) | Panoramic image-based virtual reality/telepresence audio-visual system and method | |
| JP3817020B2 (ja) | 仮想空間における画像生成方法及び装置並びに撮像装置 | |
| JP3289730B2 (ja) | 画像通信用入出力装置 | |
| TW201943258A (zh) | 視頻通信裝置及方法 | |
| JP3587106B2 (ja) | 視線一致テレビ会議装置 | |
| US11831454B2 (en) | Full dome conference | |
| US10645340B2 (en) | Video communication device and method for video communication | |
| US10972699B2 (en) | Video communication device and method for video communication | |
| JP4595313B2 (ja) | 撮像表示装置及び方法、画像送受信システム | |
| TWI700933B (zh) | 視頻通信裝置及方法 | |
| JP2001231019A (ja) | 撮像画像付き表示装置、モニタ装置、テレビ電話装置、プロンプタ付きカメラ装置、テレビ会議装置、並びに、反射エネルギ・モデル化装置 | |
| WO2013060295A1 (zh) | 一种视频处理方法和系统 | |
| JPH0568246A (ja) | 画像通信用表示・撮像方式 | |
| JP2012010059A (ja) | 撮影装置及びこれを用いた遠隔コミュニケーションシステム | |
| EP4203464A1 (en) | Full dome conference | |
| Noda et al. | Application of Tiled Display Environment for High Presence Informal Communication | |
| TW201236449A (en) | Method for capturing and displaying images in an interlacedly switched working time sequence and application system thereof | |
| JPH05316500A (ja) | 空間走査撮像表示装置 | |
| JP2015186177A (ja) | 映像配信システム及び映像配信方法 | |
| JPH05130596A (ja) | 空間合成型映像生成システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080307 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100727 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100809 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130903 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |