JPH08336166A

JPH08336166A - 映像視聴装置

Info

Publication number: JPH08336166A
Application number: JP7140232A
Authority: JP
Inventors: Satoru Inagaki; 悟稲垣; Yoshihisa Nishigori; 義久錦織
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-06-07
Filing date: 1995-06-07
Publication date: 1996-12-17

Abstract

(57)【要約】【目的】複数の視聴者が同じ空間を視聴する際に、臨
場感やインターフェースの優れた映像視聴装置を提供す
ることを目的とする。【構成】データベース１００から画像データが送られ
ると、記憶手段１０３に記憶される。頭部センサ１０１
により視聴者の頭部位置が検出され、この頭部位置に基
づき画像制御回路１０６により仮想空間が構築される。
受信制御回路１０５により他の視聴者の音声と仮想空間
内での位置情報が受信される。画像制御回路１０６で
は、受信された位置情報を用いて前記仮想空間内に他視
聴者が表示される。音声制御回路１０７では、前記仮想
空間内に表示された他視聴者を音源として他視聴者の音
声が出力される。これにより、同一仮想空間内に別々の
視聴者がアクセスした場合、互いに相手の姿を確認で
き、さらに相手の方向から相手の音声が聞こえてくる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、遠隔地からの映像や、
映像を配信するセンターからの映像を視聴する映像視聴
装置に関するものである。

【０００２】

【従来の技術】従来の映像視聴装置の例としては、例え
ば図１３に示すものが挙げられる。図１３において、１
３００は映像配信を行う映像出力部、１３０１は視聴者
Ａに映像を表示する映像表示部、１３０２は視聴者Ａが
任意の入力を行うことができるマウス、ジョイスティッ
ク、リモコン等の入力手段、１３０３は視聴者Ｂに映像
を表示する映像表示部、１３０４は視聴者Ｂからの入力
を受ける入力手段、１３０５および１３０６は映像出力
部から映像表示部１３０１および１３０２へ接続された
通信手段である。

【０００３】上記のように構成された映像視聴装置にお
いて、映像出力部１３００から映像が出力されると通信
回線１３０５および１３０６を介して映像表示部１３０
１および１３０３に映像が表示される。ここで映像出力
部からは、たとえば従来のＴＶショッピングの番組のよ
うな映像が出力される。視聴者Ａは、映像出力部から出
力された前記映像を映像表示部１３０１により観察する
ことができる。ここで視聴者Ａは、映像中の任意の部分
に関して入力手段１３０２を用いて、その詳細な情報を
要求することができ、この要求に対して映像出力部側
は、映像、音声、文字等でその要求に応じる。

【０００４】また視聴者Ｂも同様に、映像表示部１３０
３の映像を見ながら入力手段１３０４を用いて任意の映
像を映像出力部から得ることができる。

【０００５】また従来の第２の映像視聴装置の例として
は例えば図１４に示すものがあげられる。図１４におい
て、１４００は撮像カメラ、１４０１は撮像カメラ１４
００の方向、位置や、フォーカス等のカメラパラメータ
を制御するカメラ制御回路、１４０２は視聴者に映像を
表示する映像表示部、１４０３は視聴者からカメラ位置
や方向、カメラパラメータ等の入力を受ける入力手段、
１４０４は撮像カメラ１４００、カメラ制御回路１４０
１と映像表示部１４０２、入力手段１４０３とを接続す
る通信手段である。

【０００６】上記のように構成された映像視聴装置にお
いて、撮像カメラ１４００において撮影された映像が、
通信手段１４０４を介して映像表示部１４０２に表示さ
れる。視聴者は映像表示部１４０２に表示された映像を
見ながら、カメラの位置および方向やカメラパラメータ
を入力手段１４０３を用いて入力する。入力手段１４０
３によって入力された情報は通信手段１４０４を介して
カメラ制御回路１４０１に入力される。カメラ制御回路
１４０１では、入力手段１４０３からの情報に応じて、
カメラの位置および方向、カメラパラメータが制御され
る。

【０００７】

【発明が解決しようとする課題】しかしながら、このよ
うな第１の従来例の映像視聴装置は、映像を用いた双方
向の通信を実現しているが、複数のグループ視聴者が同
時に映像を見ている際に、視聴者同士のコミュニケーシ
ョンがとれないという問題点がある。

【０００８】また、第２の従来例の映像視聴装置におい
ても、複数の視聴者が同時に映像を視聴し、同じ空間を
共有する際に、視聴者同士のコミュニケーションがとれ
ないという問題点があった。

【０００９】本発明は上記問題点に鑑み、離れた位置に
いる複数の視聴者による同時観察を実現できる映像視聴
装置を提供することを目的としている。

【００１０】

【課題を解決するための手段】本願の請求項１記載の発
明は、画像データ及び音声データを蓄積しているホスト
端末と、このホスト端末から画像データ及び音声データ
を読み出して視聴者に出力する複数のリモート端末とか
らなる映像視聴装置において、前記リモート端末は、ホ
スト端末から画像データ及び音声データを読み出して一
時的に記憶しておく記憶手段と、視聴者の頭の動きを検
出し、位置信号を出力する頭部センサと、独自の空間座
標を有し、前記画像データが前記独自の空間座標系に変
換され、前記位置信号に基づいた視点から見た前記独自
の空間を画像として出力する画像制御手段と、前記視聴
者の音声を受信し音声信号を出力するマイクと、この音
声信号と前記位置信号とを複数の視聴者に出力する送信
手段と、他の複数のリモート端末の送信手段から、第２
の音声信号と第２の位置信号とが入力される受信手段
と、この第２の位置信号に基づき、第２の音声信号と前
記音声データとを出力する音声制御手段と、前記画像制
御手段の出力信号を視聴者に表示する画像表示手段と、
前記音声制御手段の出力信号を視聴者に出力する音声出
力手段とを備えたことを特徴とするものである。

【００１１】また本願の請求項６記載の発明は、画像デ
ータ及び音声データを蓄積しているホスト端末と、この
ホスト端末から画像データ及び音声データを常に読み出
して視聴者に表示する複数のリモート端末からなる映像
視聴装置において、前記リモート端末は、視聴者の頭の
動きを検出し、位置信号をホスト端末へ出力する頭部セ
ンサと、視聴者の音声を受信し、ホスト端末へ音声信号
を出力するマイクと、ホスト端末から送信される画像を
表示する画像表示手段と、ホスト端末から送信される音
声を出力数音声出力手段とを備え、前記ホスト端末は、
独自の空間座標に画像を変換し、前記位置信号に基づい
た視点から見た前記独自の空間を画像としてリモート端
末へ出力する画像制御手段と、前記位置信号に基づき、
前記音声信号をリモート端末へ送信する音声制御手段と
を備えたことを特徴とするものである。

【００１２】また本願の請求項１２の発明は、画像デー
タを蓄積しているホスト端末と、このホスト端末から画
像データを常に読み出して視聴者に出力する複数のリモ
ート端末からなる映像視聴装置において、前記リモート
端末は、視聴者の頭の動きを検出し、位置信号をホスト
端末へ出力する頭部センサと、視聴者の音声を他のリモ
ート端末へ送信する音声送信手段と、他のリモート端末
から他視聴者の音声を受信する音声受信手段とを備え、
前記ホスト端末は、独自の空間座標に前記画像データを
変換し前記位置信号に基づいた視点から見た前記独自の
空間を画像としてリモート端末へ出力する画像制御手段
と、この画像制御手段の出力を表示する画像出力手段と
を備えたことを特徴とするものである。

【００１３】また本願の請求項１７記載の発明は、視聴
者の頭部の動きを検出し、位置信号を出力する頭部セン
サと、前記位置信号に基づき撮像方向が制御される撮像
手段と、前記撮像手段の出力画像を表示する画像表示手
段と、視聴者の音声を受信し音声信号を出力するマイク
と、前記位置信号と前記音声信号とを他視聴者へ送信す
る送信手段と、他視聴者の第２の位置信号と第２の音声
信号とを受信する受信手段と、前記第２の位置情報に基
づき、前記第２の音声信号を出力する音声制御手段と、
前記音声制御手段の出力を視聴者に出力する音声出力手
段とを備えたことを特徴とするものである。

【００１４】また本願の請求項２２記載の発明は、画像
と音声とを出力する複数の撮像カメラを有する撮像手段
と、前記撮像手段から出力される画像を表示する複数の
リモート端末からなる映像視聴装置において、前記リモ
ート端末は、視聴者の頭部の動きを検出して位置信号を
撮像手段に出力する頭部センサと、視聴者の音声を受信
し、音声信号を撮像手段へ出力するマイクと、撮像手段
から出力される画像を表示する画像表示手段と、撮像手
段から出力される音声を出力する音声出力手段とを備
え、前記撮像手段は、前記位置信号に基づき前記音声信
号を前記撮像カメラに入力する音声付加手段と、前記位
置信号に基づき前記複数の撮像カメラからの出力を選択
してリモート端末に出力する選択手段とを備えたことを
特徴とするものである。

【００１５】また本願の請求項２６記載の発明は、画像
データを供給するホスト端末と、ホスト端末から入力さ
れた画像データを画像として視聴者に表示するリモート
端末とからなる映像視聴システムにおいて、前記リモー
ト端末は、視聴者の頭の動きを検出し位置信号を出力す
る頭部センサと、視聴者により入力可能な第１の入力手
段と、視聴者の眼球運動を検出し視線信号として出力す
る視線センサと、独自の空間座標を有し、前記画像デー
タが前記独自の空間座標系に変換され、前記位置信号と
前記第１の入力手段からの信号に基づいた視点を設定
し、この視点から見た前記独自の空間に、前記視線信号
により視聴者が見ている空間内の箇所を検出し、ポイン
タ等を付加して画像として出力し、さらに前記ポインタ
の位置情報を出力する画像制御手段と、前記画像制御手
段の出力画像を表示する画像表示手段とを備えたことを
特徴とするものである。

【００１６】

【作用】本願の請求項１乃至５記載の発明によれば、ホ
スト端末から画像データが送られると、リモート端末の
記憶手段に記憶されてホストとの回線が切断される。頭
部センサにより視聴者の頭部位置が検出され、この頭部
位置に基づき画像制御手段により仮想空間が構築され
る。受信手段により他の視聴者の音声と仮想空間内での
位置情報が受信され、受信された位置情報を用いて前記
画像制御手段により前記仮想空間内に他視聴者が表示さ
れ、受信された音声を用いて音声制御手段で前記仮想空
間内に表示された他視聴者を音源として音声が出力され
る。これにより、同一仮想空間内に別々の視聴者がアク
セスした場合、互いに相手の姿を確認でき、さらに相手
の方向から相手の音声が聞こえてくる。

【００１７】また、本願の請求項６乃至１１記載の発明
によれば、リモート端末にある頭部センサにより視聴者
の頭の位置信号が出力され、この位置信号がホスト端末
に送信されると、ホスト端末の画像制御手段により前記
位置信号にもとづき仮想空間が構築される。またこの画
像制御手段には他視聴者からの第２の位置信号も入力さ
れ、この第２の位置信号に基づき他視聴者のモデルが前
記仮想空間内に表示される。またホスト端末の音声制御
手段には、前記第２の位置信号と他視聴者の音声信号が
入力され、前記第２の位置信号に基づき前記仮想空間内
に表示された他視聴者を音源として音声が出力される。
これにより同一仮想空間内に別々の視聴者がアクセスし
た場合、互いに相手の姿を確認でき、さらに相手の方向
から相手の音声が聞こえてくる。

【００１８】また、本願の請求項１２乃至１６記載の発
明によれば、リモート端末にある頭部センサにより視聴
者の頭の位置信号が出力され、この位置信号がホスト端
末に送信されると、ホスト端末の画像制御手段により前
記位置信号に基づき仮想空間が構築される。またこの画
像制御手段には他視聴者からの第２の位置信号も入力さ
れ、この第２の位置信号に基づき他視聴者のモデルが前
記仮想空間内に表示される。またリモート端末間で音声
信号が通信されることにより、同一仮想空間内に別々の
視聴者がアクセスした場合、互いに相手の姿を確認で
き、会話もできる。

【００１９】またこのような特徴を有する請求項１７〜
２１記載の発明によれば、頭部センサにより視聴者の頭
の位置信号が撮像手段に出力され、前記位置信号に応じ
て前記撮像手段の撮像方向が変化され、出力画像が画像
表示手段により表示される。視聴者の音声と前記位置信
号は、送信手段と受信手段により通信され、他視聴者の
位置信号に基づき他視聴者の音声が音声制御手段により
出力される。これにより、遠隔地の映像を複数の視聴者
で視聴する際に、他視聴者の音声が他視聴者の撮像手段
の場所から聞こえることになる。

【００２０】また、請求項２２乃至２５記載の発明によ
れば、リモート端末にある頭部センサにより視聴者の頭
の位置信号が出力され、この位置信号に基づき視聴者の
音声が音声付加手段により重み付けされて複数の撮像カ
メラに入力される。また位置信号が選択手段に送信され
ると、複数のカメラの中から適切なカメラ出力がリモー
ト端末に送信される。複数の視聴者がアクセスした場
合、互いの音声をその視聴者の視点の位置から聞こえる
ことになる。

【００２１】また、請求項２６乃至３０記載の発明によ
れば、ホスト端末からリモート端末へ画像データが送ら
れる。リモート端末の頭部センサでは視聴者の頭部の位
置信号が画像制御手段に出力され、前記位置信号に基づ
き仮想空間が構築される。また視線センサ出力が前記画
像制御回路に入力されると、視聴者自身が注視している
仮想空間内の場所がポインタで示され、第２の入力手段
を用いることで仮想空間の動作が変化される。また複数
の視聴者がアクセスした場合、他視聴者のポインタ情報
を通信手段により得ることで、他視聴者が注視している
場所を見ることができる。

【００２２】

【実施例】

（実施例１）本発明の実施例１について図面を参照しつ
つ説明する。図１は実施例１の構成を示すブロック図で
ある。本図において、１００はデータベースを示してお
り、１０９で示した１０１〜１１１は視聴者Ａが使用す
るもので、１０１は視聴者Ａの頭の位置及び方向を検出
する頭部センサ、１０２は視聴者Ａの声を入力するマイ
ク、１０３はデータベース１００からの画像データを記
憶する記憶回路、１０４は視聴者Ａからの入力を受ける
入力手段、１０５は他の視聴者からの情報を受信する受
信制御回路、１０６は頭部センサ１０１と受信制御回路
１０５とからの入力に基づき、記憶回路１０３からの画
像データを制御する画像制御回路、１０７は他の視聴者
の音声等を出力する音声制御回路、１０８は他の視聴者
に情報を出力する送信制御回路、１１０は画像制御回路
１０６からの画像を表示する画像表示部である。１１２
〜１２２は視聴者Ｂが使用するもので、視聴者Ａが使用
する１０１〜１１１に対応している。

【００２３】図２は実際に視聴者が本映像視聴装置を使
用した場合の外観図であり、図１と同じ符号のものは同
じ働きをするものである。図２において、２００は図１
における１０３および１０５〜１０８を含んだユニット
である。

【００２４】上記のように構成された第１実施例におけ
る映像視聴装置において、視聴者Ａが入力手段１０４を
用いて所望の画像を送信するようにデータベースに送信
要求を送ると、データベースから画像データが送信さ
れ、記憶回路１０３に記憶される。一度画像データが送
信され記憶回路１０３に記憶されれば、その時点で通信
回線はクローズされる。

【００２５】画像制御回路１０６では、記憶回路１０３
から読み出されたデータ、頭部センサ１０１および入力
手段１０４からの情報にもとづき、仮想的な空間が生成
される。すなわち、頭部センサ１０１で検出された視聴
者Ａの頭の方向及び位置と、入力手段１０４から入力さ
れた視聴者Ａの空間的位置とにより、仮想空間内の視聴
者Ａの視点位置および方向が決定され、その視点位置お
よび方向に対する画像が、仮想空間として表示される。
この様子を図３に示す。

【００２６】図３において、（ａ）はモデリングされた
画像データで、３００はデータベース１００から送信さ
れ記憶回路１０３において記憶された自動車データのイ
メージである。（ｂ）は視聴者Ａが正面方向を向いてい
る場合の画像制御回路１０６の出力画像で、３０１は画
像の表示枠で仮想空間を示しており、３０２は仮想空間
内に配置された画像データ、３０３は背景画像である。
ここで背景画像３０３は、任意に取り込める画像であ
り、背景をつけるか否かは視聴者の判断で行うことがで
き、背景をつける場合はあらかじめ記憶回路１０３に記
憶されているデータを用いる。このように、モデリング
された画像データ３００が、画像制御回路１０６におい
て仮想空間内に表示される。次に（ｃ）は視聴者Ａが左
方向に向いた場合に表示される画像を示しており、この
場合視聴者Ａの視点方向の変化量が頭部センサにより検
出され、この変化量に応じて表示画像が変化する。この
ように視聴者が左を向けば仮想空間内の左の画像が表示
され、右を向けば右の画像が表示される。また、入力手
段１０４により、仮想空間内を上下左右前後に移動する
こともでき、例えば仮想空間内の物体３０２の裏側をの
ぞき込むことも可能である。

【００２７】次に音声制御回路１０７について説明す
る。前述のように画像データがデータベース１００から
記憶回路１０３に送信される際に、その画像データに音
のデータも付加されて送信される。すなわち図３におい
て、送信される画像が３００に示されるように自動車の
画像であれば、例えば自動車の音やこの自動車について
の説明の音声のデータも付加されている。この場合、視
聴者Ａが正面方向を向いており、自動車３００が正面方
向にあれば付加された音が正面方向から聞こえてくるよ
うな制御がなされ、視聴者Ａが左を向いて図３（ｃ）の
ような状態になれば、音が右方向から聞こえてくるよう
な制御がなされる。もちろん音源である自動車に近づく
動作をすれば音は大きくなり、逆に遠ざかれば音は小さ
くなる。このような３次元空間内の音の制御は、スピー
カが２つあれば理論的に可能な技術であり、これまでに
知られていることである。

【００２８】次に、複数の視聴者が前述の仮想空間を共
有する場合について述べる。この装置では、同一の仮想
空間を複数の視聴者が共有することができる。例えば視
聴者Ａおよび視聴者Ｂが同一の仮想空間を共有する場
合、視聴者Ａの送信制御回路１０８からは、視聴者Ａの
頭部位置及び方向の情報とマイク１０２により受信され
た視聴者Ａの音声とが送信される。

【００２９】視聴者Ｂの受信制御回路１１６では、送信
制御回路１０８から送信された情報が受信され、画像制
御回路１１７及び音声制御回路１１８に入力される。画
像制御回路１１７では視聴者Ａの位置情報に基づき、仮
想空間内に視聴者Ａが図４（ａ）のように表示される。
図４（ａ）は視聴者Ｂに表示される画像の模式図を示し
ており、図４（ｂ）は視聴者Ａに表示される画像の模式
図を示している。

【００３０】図４（ａ）において、４００は視聴者Ｂが
視聴している仮想空間、４０１は図３における自動車３
０２、４０２は図３における背景３０３、４０３は視聴
者Ａのモデルである。ここで視聴者Ａのモデル４０３は
あらかじめ記憶回路１１４に記憶されている視聴者Ａの
データでも良いし、視聴者Ａの位置のみを示すポインタ
でもよく、視聴者Ａの送信制御回路１０８から送信され
た視聴者Ａの位置情報に基づき視聴者Ｂの仮想空間に表
示される。

【００３１】送信制御回路１０８から送信された視聴者
Ａの音声は、視聴者Ｂの音声制御回路１１８に入力さ
れ、図４において仮想空間内の視聴者Ａのモデル４０３
を音源と設定される。すなわち視聴者Ｂが視聴する際
に、データベース１００から送信された画像データの音
はもちろんのこと、同一仮想空間内にアクセスしている
視聴者Ａの音声も、実際に視聴者Ａの仮想空間内の位置
から聞こえてくることになる。

【００３２】視聴者Ｂの送信制御回路１１９からもマイ
ク１１３で受信した視聴者Ｂの音声と視聴者Ｂの位置と
が、視聴者Ａの受信制御回路１０５に送信される。これ
により、視聴者Ａが視聴している仮想空間内にも視聴者
Ｂの姿及び音声を図４（ｂ）のように表示することがで
き、視聴者Ａおよび視聴者Ｂがあたかも同じ空間内にい
るかのごとく、同一のものを視聴することができる。こ
こで４０４は視聴者Ｂのモデルである。

【００３３】なお、ここでは視聴者は２人で説明を行っ
たが、３人以上の視聴者でも、送信制御回路および受信
制御回路の接続により、同一空間を共有することもでき
る。また図１において、視聴者Ａおよび視聴者Ｂの装置
である１０９および１２０は、計算機システムを利用し
ても実現することができる。このばあい、記憶回路１０
３はメモリやハードディスク等の記憶装置、受信制御回
路１０５および送信制御回路１０８はネットワーク装
置、画像制御回路１０６と音声制御回路１０７は専用ハ
ードウェア、もしくは計算機のＣＰＵにより実現可能で
ある。またデータベース１００と視聴者Ａの端末１０９
は遠隔地にあってもよく、その場合データベースからの
データは公衆回線等を介して送信されることにより実現
される。また、画像制御回路１０６内で視点を２つ設定
することにより、両眼立体視用の２チャンネルの画像を
出力することもでき、この場合画像表示部１１０に両眼
立体視用ディスプレイを用いることで、視聴者は立体映
像を視聴することができる。

【００３４】（実施例２）本発明の実施例２について図
面を参照しつつ説明する。図５は実施例２の構成を示す
ブロック図である。本図において、５００はデータベー
ス、５０１は視聴者の視点位置を検出して視点位置及び
方向を出力する視点制御回路、５０２は視点制御回路５
０１からの入力に基づきデータベース５００から画像デ
ータを抽出する画像制御回路、５０３は視点制御回路５
０１からの入力に基づき音声データの音源を設定する音
声制御回路、５０４は画像制御回路５０２と音声制御回
路５０３の出力を合成して送信する送信制御回路、５０
４は視聴者からの信号を受信して、位置情報を視点制御
回路５０１に、音声情報を音声制御回路５０３に出力す
る受信制御回路、５０６は視聴者Ａの端末で、５０７は
送信制御回路５０４からの信号を画像信号と音声信号と
に分離する受信回路、５０８は送信回路、５０９は視聴
者Ａの頭の位置および方向を検出する頭部センサ、５１
０は視聴者Ａが操作する入力手段、５１１は視聴者Ａの
音声を受信するマイク、５１２は視聴者Ａに画像を表示
する画像表示部、５１３は視聴者Ａに音声を出力するス
ピーカである。５１４は視聴者Ｂが使用する端末で、５
１５〜５２１は前述の５０７〜５１３と同様である。ま
た視聴者が実際に装置を装着した外観図は図２のとおり
である。

【００３５】上記のように構成された第２実施例におけ
る映像視聴装置において、頭部センサ５０９により視聴
者Ａの頭部方向及び頭部位置が検出され、入力手段５１
０により視聴者Ａの移動量が検出され、マイク５１１に
より視聴者Ａの音声が受信される。これらの信号が送信
回路５０８に入力されると、それぞれの信号が合成され
て出力される。送信された信号は受信制御回路５０５に
入力され、頭部センサ５０９の出力信号および入力手段
５１０の信号とが抽出され視点制御回路５０１に入力さ
れる。一方マイク５１１で受信された音声信号は音声制
御回路５０３に入力される。

【００３６】視点制御回路５０１では、頭部センサ５０
９と入力手段５１０との出力信号から、視聴者Ａの視点
の位置および方向を、仮想空間内の座標系を用いて算出
し、画像制御回路５０２および音声制御回路５０３に視
点情報として出力する。画像制御回路５０２では、前記
視点情報を用いて、データベース５００から画像データ
を読み出し、視聴者Ａの視点位置および方向に適切な画
像を出力する。すなわち視聴者Ａが右を向けば、向いた
量だけ仮想空間内の右方向の画像を出力し、下を向けば
その分仮想空間内で視点を下に向けるという処理であ
る。

【００３７】音声制御回路５０３では前記視点情報を用
いて、データベース５００から仮想空間内の表示物体に
設定された音声データを読み込み、視聴者Ａの視点位置
および方向に適切な音声を出力する。すなわち、視聴者
Ａが２つのスピーカを使用して、３次元音響処理によ
り、音源の方向から音が聞こえてくるという処理が行わ
れる。つまり、仮想空間内で音源が正面方向にある場合
は、音声は正面方向から聞こえ、視聴者Ａが右を向け
ば、仮想空間内では音源は左へ移動するため、音声は左
方向から聞こえるように制御される。このような制御を
受けた音声が送信制御回路５０４に出力される。

【００３８】送信制御回路５０４では、画像制御回路５
０２の出力信号と、音声制御回路５０３の出力信号とが
合成されて送信される。

【００３９】受信回路５０７では、送信制御回路５０４
から送信された信号が受信され、画像信号と音声信号と
に分離されてそれぞれ画像表示部５１２およびスピーカ
５１３に出力される。ここで視聴者Ａは、正面を向いて
いれば仮想空間内でも正面方向の画像および音声を視聴
し、右を向けば仮想空間でも右方向を向いたときの画像
及び音声を視聴することになる。

【００４０】次に視聴者が複数になった場合について説
明する。視聴者Ｂが視聴者Ａと別々の仮想空間に入る場
合は、画像制御回路５０２や音声制御回路５０３等をタ
イムシェアリングで使用したり、回路を複数用いること
で別々の仮想空間で独立の動作が可能である。視聴者Ｂ
が視聴者Ａとともに同一の仮想空間に入る場合を説明す
る。

【００４１】視聴者Ａの場合と同様に、視聴者Ｂの送信
回路５１６からは、頭部センサ５１７と入力手段５１８
とマイク５１９の出力が合成されて送信される。受信制
御回路５０５では送信回路５０８および５１６からの信
号を受信し、視聴者Ａおよび視聴者Ｂの視点位置がそれ
ぞれ視点制御回路５０１で算出され、画像制御回路５０
２および音声制御回路５０３に出力される。画像制御回
路５０２および音声制御回路５０３では、視聴者Ａおよ
び視聴者Ｂ用に例えばタイムシェアリングで処理が行わ
れる。

【００４２】視聴者Ａ用の画像および音声を出力する場
合、画像制御回路５０２には、視聴者Ｂの仮想空間内で
の位置情報も入力されており、視聴者Ｂのモデル画像が
出力画像に合成される。すなわち視聴者Ａは、仮想空間
内で視聴者Ｂを確認することができる。合成される視聴
者Ｂのモデルは、簡単なコンピュータグラフィックスで
もよいし、あらかじめデータベース５００に実写データ
として登録しておけば、リアルなモデルとなる。さらに
音声制御回路５０３では、視聴者Ｂの音声と視聴者Ｂの
仮想空間内での位置情報とが入力されており、前記視聴
者Ｂのモデルの位置を音源として、視聴者Ｂの音声を出
力するように制御される。これにより、視聴者Ａは、視
聴者Ｂがあたかも仮想空間内に存在するかのように視聴
できる。

【００４３】また視聴者Ｂ用の画像及び音声を出力する
場合、上記に述べたものと同様に、視聴者Ｂにとって
も、視聴者Ａがあたかも仮想空間内に存在するかのよう
に視聴できる。この様子は実施例１で述べたように図４
のように視聴できる。すなわち図４（ａ）は視聴者Ｂの
視聴している仮想空間を示しており、４０３は視聴者Ａ
のモデルである。視聴者Ａの音声も仮想空間内の４０３
の方向から聞こえてくる。図４（ｂ）は視聴者Ａの視聴
している仮想空間を示しており、４０４は視聴者Ｂであ
り、視聴者Ｂの音声も仮想空間内の４０４の方向から聞
こえてくる。

【００４４】なお、ここでは視聴者は２人で説明を行っ
たが、３人以上の視聴者でも、画像出力部にアクセスす
れば同一空間を共有することもできる。また視聴者Ａの
端末５０６および視聴者Ｂの端末５１４は遠隔地にあっ
てもよく、その場合送信制御回路５０４や受信制御回路
５０５とは公衆回線やＣＡＴＶ回線等を介して接続され
ることにより実現される。また画像制御回路５０２と音
声制御回路５０３はタイムシェアリング処理で複数の視
聴者の処理を行うことができるが、回路を複数備えるこ
とにより処理を行ってもよい。また、視点制御回路５０
１は、視聴者側の端末にあってもよく、この場合送信回
路５０８で合成されて送信される。また、画像制御回路
５０２内で視点を２つ設定することにより、両眼立体視
用の２チャンネルの画像を出力することもでき、この場
合画像表示部５１２に両眼立体視用ディスプレイを用い
ることで、視聴者は立体映像を視聴することができる。

【００４５】（実施例３）本発明の実施例３について図
面を参照しつつ説明する。図６は実施例３の構成を示す
ブロック図である。本図において、６００は画像データ
を蓄積しているデータベース、６０１は視聴者の視点を
算出する視点制御回路、６０２は視点制御回路の出力を
もとにデータベース６００から画像を抽出する画像制御
回路、６０３は送信回路、６０４は視聴者Ａの頭の位置
および方向を検出する頭部センサ、６０５は視聴者Ａの
入力手段、６０６は視聴者Ａの音声を出力し視聴者Ｂの
音声を受信する通信部、６０７は視聴者Ａに画像を表示
する画像表示部、視聴者Ｂに対する６０８〜６１２は、
視聴者Ａに対する６０３〜６０７と同等の機能を有す
る。

【００４６】上記のように構成された映像視聴装置にお
いて、頭部センサ６０４により視聴者Ａの頭の位置及び
方向が検出され、入力手段６０５により視聴者Ａの仮想
空間内での移動量が検出される。頭部センサ６０４の出
力と入力手段６０５の出力とは送信回路６０３に入力さ
れ、信号が合成されて視点制御回路６０１に送信され
る。

【００４７】また頭部センサ６１０により視聴者Ｂの頭
の位置及び方向が検出され、入力手段６０９により視聴
者Ｂの仮想空間内での移動量が検出される。頭部センサ
６１０の出力と入力手段６０９の出力とは送信回路６０
８に入力され、信号が合成されて視点制御回路６０１に
送信される。

【００４８】視点制御回路６０１では、送信回路６０３
の出力信号から視聴者Ａおよび視聴者Ｂの仮想空間内で
の頭の位置および方向が算出され、画像制御回路６０２
に出力される。画像制御回路６０２では、仮想空間内の
画像データが読み出され、視聴者Ａおよび視聴者Ｂの仮
想空間内の視点に応じて変換され、画像表示部６０７お
よび６１２に出力される。この際、視聴者Ａが視聴する
画像表示部６０７へは、視聴者Ｂの仮想空間内の位置に
視聴者Ｂのモデルデータが合成されて表示され、視聴者
Ｂが視聴する画像表示部６１２へは、視聴者Ａの仮想空
間内の位置に視聴者Ａのモデルデータが合成されて表示
される。

【００４９】視聴者Ａの画像表示部６０７および視聴者
Ｂの画像表示部６１２に表示される画像は、実施例２で
述べた図４のとおりである。つまり図４（ａ）におい
て、４００が画像表示部６１２に表示されている画像
で、４０１および４０２はデータベースから読み出した
データを視聴者Ｂの視点に変換して表示されたもので、
４０３は視聴者Ａのモデルである。図４（ｂ）は視聴者
Ａの視聴する画像であり、４０４は視聴者Ｂのモデルで
ある。

【００５０】この際視聴者Ａおよび視聴者Ｂのモデル
は、あらかじめ視聴者Ａおよび視聴者Ｂの姿がモデリン
グされたデータをデータベース６００に登録しておけ
ば、視聴者が視聴する際には、あたかも仮想空間内に他
の視聴者が存在するかのごとく視聴できる。また視聴者
Ａおよび視聴者Ｂのモデルとして、単に図形を表示する
だけでも、仮想空間内での他の視聴者の位置を知ること
ができる。

【００５１】通信部６０６および６１１は電話の働きを
し、通信部６０６では視聴者Ｂの音声が受信され視聴者
Ａの耳に届く。また通信部６１１では視聴者Ａの音声が
受信され視聴者Ｂの耳に届く。これにより、共通の仮想
空間内を複数の視聴者が会話しながら動き回ることがで
きる。

【００５２】なお、ここでは視聴者は２人で説明を行っ
たが、３人以上の視聴者でも、データベースにアクセス
すれば同一空間を共有することもできる。また視聴者Ａ
および視聴者Ｂは遠隔地にいてもよく、その場合視聴者
の送信回路と視点制御回路や画像制御回路とは、公衆回
線やＣＡＴＶ回線等を介して接続されることにより実現
される。また画像制御回路６０２はタイムシェアリング
処理で複数の視聴者の処理を行うことができるが、画像
制御回路を複数備えることにより処理を行ってもよい。
また、視点制御回路は、視聴者側にあってもよく、この
場合送信回路で視点情報も合成されて送信される。ま
た、画像制御回路６０２内で視点を２つ設定することに
より、両眼立体視用の２チャンネルの画像を出力するこ
ともでき、この場合画像表示部６０７に両眼立体視用デ
ィスプレイを用いることで、視聴者は立体映像を視聴す
ることができる。

【００５３】（実施例４）本発明の実施例４について図
面を参照しつつ説明する。図７は実施例４の構成を示す
ブロック図である。本図において、７００は音声を集音
するとともに映像を撮像する撮像カメラ、７０１は撮像
カメラ７００の撮像方向や焦点距離等のカメラパラメー
タを制御するカメラ制御回路、７０２は視聴者の頭の向
きおよび位置を検出する頭部センサ、７０３は視聴者の
入力手段、７０４は頭部センサ７０２と入力手段７０３
との出力信号より、視聴者の視点の位置および方向を算
出し出力する位置検出回路、７０５は視聴者の音声を受
信するマイク、７０６は位置検出回路７０４の出力信号
とマイク７０５の音声信号とを合成して出力し、さらに
他視聴者と通信をする通信制御回路、７０７は撮像カメ
ラ７００からの映像信号及び音声信号を分離して出力す
る信号処理回路、７０８は視聴者に画像を表示する画像
表示部、７０９は信号処理回路７０７の出力音声信号
と、通信制御回路７０６の出力音声信号とを合成して空
間音響制御を行う音声制御回路、７１０および７１１は
視聴者に音声を出力する左右両耳用のスピーカ、７１２
は受信端子、７１３は送信端子である。

【００５４】上記のように構成された映像視聴装置の動
作について説明する。頭部センサ７０２により、視聴者
の頭の方向および位置が検出される。また入力手段７０
３により、撮像カメラの動作等が入力される。位置検出
回路７０４では、頭部センサ７０２および入力手段７０
３により、視聴者が向いた方向および移動した位置が演
算され位置情報信号として出力される。また入力手段７
０３により入力された焦点位置等のカメラパラメータに
ついての情報も出力される。マイク７０５では視聴者の
音声が集音され視聴者音声信号として出力される。

【００５５】次に通信制御回路７０６の動作について説
明する。位置情報信号と視聴者音声信号とが通信制御回
路７０６に入力されると、位置情報信号はカメラ制御回
路７０１にそのまま出力される。また位置情報信号と視
聴者音声信号とは合成され、送信端子７１３に出力され
る。受信端子７１３からは他視聴者の送信端子からの信
号、すなわち位置情報信号と視聴者音声信号とが合成さ
れた信号が受信され、その受信された信号が音声制御回
路７０９に出力される。

【００５６】カメラ制御回路７０１では位置情報信号に
基づき撮像カメラの位置及び方向の制御、カメラパラメ
ータの制御を行う制御信号が出力される。撮像カメラ７
００では、カメラ制御回路７０１から出力される制御信
号に基づき撮像が行われ、集音されたカメラ音声信号と
撮像された画像信号とが出力される。撮像カメラ７００
から出力された信号は信号処理回路７０７に入力され、
画像信号と音声信号とに分離され、画像信号は画像表示
部７０８に、音声信号は音声制御回路７０９に出力され
る。

【００５７】音声制御回路７０９には、撮像カメラ７０
０で集音されたカメラ音声信号と、通信制御回路７０６
からの信号、すなわち他視聴者の位置情報信号と他視聴
者の視聴者音声信号とが入力される。ここで視聴者音声
信号は他視聴者の位置情報信号に基づき、空間的に音場
制御される。たとえば撮像カメラが移動体に搭載されて
おり、複数の視聴者が通信制御回路で接続されいる場合
について説明する。

【００５８】図８において８００は視聴者Ａが視聴して
いる画像、すなわち視聴者Ａの撮像カメラが撮像してい
る画像で、８０１および８０２はそれぞれ視聴者Ｂ、視
聴者Ｃの撮像カメラが搭載されている移動体である。視
聴者Ａの音声制御回路７０９には、視聴者Ｂおよび視聴
者Ｃの位置情報および音声信号が通信制御回路７０６を
通して入力されており、ここで視聴者Ｂの音声信号は移
動体８０１から、視聴者Ｃの音声信号は移動体８０２か
ら音声が聞こえるように制御される。また視聴者Ｂや視
聴者Ｃにとっても、他の移動体の方向からそれぞれの視
聴者の音声を聞くことができる。すなわち複数の視聴者
が通信制御回路で接続されておれば、あたかも各視聴者
が撮像カメラの位置にいるかのごとく視聴することがで
きる。

【００５９】なお、位置情報をもとに音源を設定する空
間音場制御は、スピーカを２つ用いれば可能な制御であ
ることはすでに知られていることである。また撮像カメ
ラと視聴者とは遠隔地にあってもよく、この場合、撮像
カメラと視聴者の端末とは公衆回線等で接続することに
より実現できる。また撮像カメラを移動体に搭載した場
合について説明を行ったが、例えばロボット等に搭載
し、視聴者の入力手段からロボットの制御信号を入力す
れば遠隔操作によるロボット制御が行える。また複数の
視聴者が通信制御回路で接続されると、複数視聴者が互
いに臨場感ある音声で連絡を取り合い、複数のロボット
による共同作業を行うこともできる。また、撮像カメラ
７００を複数用いることで、両眼立体視用の２チャンネ
ルの画像を出力することもでき、この場合画像表示部７
０８に両眼立体視用ディスプレイを用いることで、視聴
者は立体映像を視聴することができる。

【００６０】（実施例５）本発明の実施例５について図
面を参照しつつ説明する。図９は実施例５の構成を示す
ブロック図である。本図において、９００〜９０２は音
声を集音するとともに映像を撮像する撮像カメラ、９０
３は撮像カメラ９００〜９０２の中から視聴者からの要
求信号に基づき一つの映像を選択して出力する選択回
路、９０４は撮像カメラの音声集音部分に視聴者の音声
を付加する音声付加回路、９０５は視聴者Ａの端末で、
９０６は視聴者Ａの音声を集音するマイク、９０７は入
力手段、９０８は視聴者Ａの頭の動きを検出する頭部セ
ンサ、９０９は入力手段９０７と頭部センサ９０８から
の入力に基づき、選択回路９０３に要求信号を出力する
画像制御回路、９１０は前記要求信号とともに視聴者Ａ
の音声を出力する音声制御回路、９１１は視聴者Ａに画
像を表示する画像表示部、９１２は視聴者Ａに音声を出
力する音声出力部である。９１３は視聴者Ｂの端末であ
り、９１４〜９２０は視聴者Ａにおける９０６〜９１２
と同等の働きを有する。

【００６１】上記のように構成された本実施例における
映像視聴装置において、頭部センサ９０８により視聴者
Ａの頭の動きが検出されると、画像制御回路９０９にお
いて９００〜９０２の撮像カメラの中から頭の向いてい
る方向を撮影している撮像カメラの要求信号を出力す
る。これを図１０を用いて説明する。図１０において１
０００は撮像物体、１００１〜１００８は撮像カメラで
ある。例えば撮像カメラが図１０のように配置されてい
る場合、視聴者が正面を向いている場合は撮像カメラ１
０００を選択する要求信号が出力される。つぎに視聴者
が右方向にのぞき込んだ場合、頭部センサ９０８により
その動きが検出され、画像制御回路９０９からは撮像カ
メラ１００２を選択するような要求信号が出力される。
同様に視聴者が左方向をのぞき込んだ場合、撮像カメラ
１００８を選択するような要求信号が出力される。また
視聴者Ａは入力手段９０７を用いて撮像カメラを選択す
ることもできる。選択された撮像カメラには、視聴者Ａ
が選択していることがわかるようにライト等が点灯され
る。

【００６２】選択回路９０３では、要求信号に応じて撮
像カメラが選択され、その撮像カメラの出力画像が画像
表示部９１１へ出力されるとともに音声信号が９１２へ
出力される。

【００６３】マイク９０６では視聴者Ａの音声が集音さ
れ音声信号として音声制御回路９１０へ出力される。音
声制御回路９１０には画像制御回路９０９から要求信号
が入力され、この要求信号と音声とが音声付加回路９０
４に出力される。音声付加回路９０４では、それぞれの
撮像カメラの音声入力部に視聴者Ａの音声信号が入力さ
れる。この際、要求信号により選択された撮像カメラか
らの距離に応じて音声信号が減衰されて入力される。こ
の様子を図１０を用いて説明する。

【００６４】視聴者Ａの画像制御回路９０９からの要求
信号が撮像カメラ１００１である場合、１００１の撮像
カメラの音声入力部には視聴者Ａの音声が入力される。
ここで撮像カメラの音声入力部は２チャンネルのステレ
オ式であり、左右両方のチャンネルに同じ大きさの音声
が入力される。１００２〜１００８の撮像カメラには、
撮像カメラ１００１からの距離に応じて音声が減衰され
て入力される。この際音声は２チャンネルあるので、チ
ャンネルごとに減衰率を変化させることにより音源の方
向を設定することができる。すなわちどの撮像カメラか
らの出力音声を聞いても１００１の方向から音声が聞こ
えるようになる。

【００６５】次に、視聴者Ａおよび視聴者Ｂが図９に示
されるように同時に視聴している場合について説明す
る。視聴者Ｂでは、前述の視聴者Ａと同様の処理が行わ
れる。ここで図１０において視聴者Ａが１００２の撮像
カメラを選択し、視聴者Ｂが１００３の撮像カメラを選
択して視聴している場合、視聴者Ｂにとって視聴者Ａの
音声は前述のように１００２の方向から聞こえ、視聴者
Ａにとって視聴者Ｂの音声は１００３のほうから聞こえ
ることになる。すなわち、視聴者Ａは前方にある撮像カ
メラのライトで視聴者Ｂの視聴しているカメラを認識で
きるとともに音声もその方向から聞こえてくる。視聴者
Ｂにとっても同様である。これにより視聴者Ａおよび視
聴者Ｂともに違和感無く会話でき視聴することができ
る。

【００６６】（実施例６）本発明の実施例６について図
面を参照しつつ説明する。図１１は実施例６の構成を示
すブロック図である。本図において、１１００は３次元
座標を有する画像データを蓄積しているデータベース、
１１０１は視聴者Ａのリモート端末で、１１０２は視聴
者Ａの頭部運動から視聴者Ａの視点を検出し、位置信号
として出力する頭部センサ、１１０３は視聴者Ａの移動
量入力手段、１１０４は視聴者Ａの眼球運動から視聴者
Ａの視線方向を検出し、視線信号として出力する視線セ
ンサ、１１０５は視聴者Ａが入力を行う入力手段、１１
０６は他視聴者のポインタ信号を受信するポインタ受信
回路、１１０７は前記位置信号と移動量入力手段からの
信号と、前記視線信号と入力ボタン１１０５およびポイ
ンタ受信回路１１０６からの信号にもとづき、データベ
ース１１００からの画像データを変換して画像として出
力し、さらにポインタ信号を出力する画像制御回路、１
１０８は画像制御回路１１０７の出力の一つであるポイ
ンタ信号をデータベース１１００および他視聴者のポイ
ンタ受信回路へ出力するポインタ送信回路、１１０９は
画像制御回路１１０７の出力画像を表示する画像表示部
であり、ここでは頭部搭載型のディスプレイであるヘッ
ドマウントディスプレイを用いる。１１１０は視聴者Ｂ
のリモート端末で、１１１１〜１１１８は視聴者Ａの１
１０２〜１１０９と同等の働きを有する。

【００６７】上記のように構成された第６実施例におけ
る映像視聴装置の動作について説明する。画像制御回路
１１０７において、独自の３次元座標を有する仮想空間
が構築されると、データベースからの画像データがこの
仮想空間内の座標系に変換される。つぎに頭部センサ１
１０２で視聴者Ａの頭部運動が検出されると、視聴者Ａ
の位置信号、すなわち実空間上での頭部の３次元座標お
よび３軸に対する回転量が画像制御回路１１０７に入力
される。この位置信号が仮想空間内の座標系に変換され
て、視点として設定される。この視点から見た前記画像
データの様子が画像信号として画像表示部１１０９に出
力される。すなわち視聴者Ａは、実空間上で右方向を向
くと、仮想空間内でも右方向の画像が視聴でき、実空間
上で左方向を向くと仮想空間内でも左方向の画像が視聴
できる。

【００６８】次に移動量入力手段１１０３からは、視聴
者Ａが仮想空間内で上下左右前後の移動を行う場合に使
用される。例えばジョイスティック等を用いて入力が行
われ、視聴者Ａがジョイスティックを前方へ倒せば、画
像制御回路１１０７において視点が仮想空間内で前方へ
移動する。

【００６９】視線センサ１１０４では視聴者Ａの眼球運
動が検出され、視線方向を示す視線信号が出力される。
１１０７ではこの視線情報に基づき、視聴者Ａが仮想空
間内のどの箇所を注視しているかが、例えば図１２
（ａ）に示すようにポインタとして表示される。図１２
（ａ）において、１２００は表示画像で１２０１は注視
点を示しているポインタである。

【００７０】入力ボタン１１０５は１つもしくは複数の
ボタンからなり、たとえば図１２（ｂ）のように、画像
中のメニューなどを指定するのに使用される。図１２
（ｂ）において、１２０２は表示画像、１２０３はデー
タベース１１００から読み出されて視聴者Ａの視点から
見た画像データ、１２０４および１２０５はデータベー
ス側から出力されて仮想空間内に表示された仮想的なボ
タン、１２０６は視聴者Ａの注視点を示している。ここ
で入力ボタン１１０５によって、この仮想的なボタンの
操作を行うことができる。

【００７１】画像制御回路１１０７の出力の１つである
ポインタ信号は、図１２における視聴者Ａの注視点の位
置を示す信号である。ただしその注視点の位置は、仮想
空間内の座標系ではなくデータベース側の座標系で出力
される。出力されたポインタ信号はデータベース１１０
０および他視聴者のリモート端末にあるポインタ受信回
路１１１５に入力される。データベース１１００ではこ
のポインタ信号に基づき、他の画像データを送信するな
どの動作が行われる。

【００７２】ポインタ受信回路１１０６では、視聴者Ｂ
のポインタ送信回路１１１７からポインタ信号が受信さ
れ、画像制御回路１１０７に入力される。画像制御回路
１１０７では、このポインタ信号が仮想空間の座標系に
変換されて図１２（ｃ）の１２０７のように表示され
る。図１２（ｃ）において図１２（ｂ）と同じ符号のも
のは同じものを示している。１２０７は視聴者Ｂの注視
点を示すポインタである。すなわち視聴者Ａは、他視聴
者がどの部分を注視しているかを把握することができ
る。ただしこの場合、自分の注視点である１２０６で示
されるポインタは表示しないようにも設定可能である。

【００７３】なお、画像表示部１１０９は視聴者Ａの視
点から見た画像を見る場合のみ説明を行ったが、表示部
をマルチウィンドウにすることにより、視聴者Ａと視聴
者Ｂの双方の視点から見た画像を同時に視聴することも
可能である。また、画像制御回路１１０７内で視点を２
つ設定することにより、両眼立体視用の２チャンネルの
画像を出力することもでき、この場合画像表示部１１０
９に両眼立体視用ディスプレイを用いることで、視聴者
は立体映像を視聴することができる。

【００７４】

【発明の効果】以上詳細に説明したように、本願の請求
項１乃至５記載の発明によれば、ホスト端末から画像デ
ータを送信した後は回線が切断されるので通信コストが
抑えられる。また複数の視聴者間で音声および仮想空間
内での位置情報を共有するので、視聴している仮想空間
内に他視聴者の場所を表示でき、また他視聴者の音声も
その場所から聞こえてくるので、臨場感の高い映像視聴
装置を実現できる。

【００７５】また、本願の請求項６乃至１１記載の発明
によれば、ホスト端末で仮想空間の構築がなされるの
で、安価にリモート端末画実現できる。

【００７６】また、本願の請求項１２乃至１６記載の発
明によれば、音声はリモート端末間で通信するので、ホ
スト端末およびリモート端末ともに安価に実現できる。

【００７７】また、本願の請求項１７乃至２１記載の発
明によれば、他視聴者のカメラ方向から音声が聞こえて
くることにより、遠隔地での共同作業を行う際に、視聴
者間の距離が遠く離れていても、あたかもその場所にい
るかのごとく臨場感を体験できる。

【００７８】また、本願の請求項２２乃至２５記載の発
明によれば、撮像カメラが固定されているので容易な構
成で遠隔地の映像を視聴できる。

【００７９】また、本願の請求項２６乃至３０記載の発
明によれば、視線が検出されポインタとして扱われるこ
とで、インターフェースの良い双方向通信が実現でき
る。また他視聴者の注視している部分を見ることができ
るので、共同作業の際の意志疎通がスムースに行われ
る。

【図面の簡単な説明】

【図１】本発明の実施例１における映像視聴装置のブロ
ック図

【図２】本発明の実施例１における映像視聴装置の外観
図

【図３】本発明の実施例１における仮想空間の説明図

【図４】本発明の実施例１における画像制御回路の説明
図

【図５】本発明の実施例２における映像視聴装置のブロ
ック図

【図６】本発明の実施例３における映像視聴装置のブロ
ック図

【図７】本発明の実施例４における映像視聴装置のブロ
ック図

【図８】本発明の実施例４における音声制御回路の説明
図

【図９】本発明の実施例５における映像視聴装置のブロ
ック図

【図１０】本発明の実施例５における撮像手段の説明図

【図１１】本発明の実施例６における映像視聴装置のブ
ロック図

【図１２】本発明の実施例６における画像制御回路の説
明図

【図１３】第１の従来例のブロック図

【図１４】第２の従来例のブロック図

【符号の説明】

１００データベース１０１、１１２頭部センサ１０２、１１３マイク１０３、１１４記憶回路１０４、１１５入力手段１０５、１１６受信制御回路１０６、１１７画像制御回路１０７、１１８音声制御回路１０８、１１９送信制御回路１０９、１２０リモート端末１１０、１２１画像表示部１１１、１２２スピーカ

Claims

【特許請求の範囲】

【請求項１】画像データ及び音声データを蓄積している
ホスト端末と、このホスト端末から画像データ及び音声
データを読み出して視聴者に出力する複数のリモート端
末とからなり、前記リモート端末は、ホスト端末から画像データ及び音
声データを読み出して一時的に記憶しておく記憶手段
と、視聴者の頭の動きを検出し、位置信号を出力する頭部セ
ンサと、独自の空間座標を有し、前記画像データが前記独自の空
間座標系に変換され、前記位置信号に基づいた視点から
見た前記独自の空間を画像として出力する画像制御手段
と、前記視聴者の音声を受信し音声信号を出力するマイク
と、この音声信号と前記位置信号とを複数の視聴者に出力す
る送信手段と、他の複数のリモート端末の送信手段から、第２の音声信
号と第２の位置信号とが入力される受信手段と、この第２の位置信号に基づき、第２の音声信号と前記音
声データとを出力する音声制御手段と、前記画像制御手段の出力信号を視聴者に表示する画像表
示手段と、前記音声制御手段の出力信号を視聴者に出力する音声出
力手段とを備えたことを特徴とする映像視聴装置。
【請求項２】前記第２の音声制御手段は、前記第２の位
置信号に基づき前記第２の音声信号の音源位置を前記独
自の空間に設定して空間的な音場を出力する２チャンネ
ルの音声出力を有することを特徴とする請求項１記載の
映像視聴装置。
【請求項３】前記画像制御手段は、前記位置信号に基づ
く視点を左右両眼に設定し、両眼視差を有する２チャン
ネルの画像を出力し、前記画像表示手段は両眼視差立体表示手段であることを
特徴とする請求項１または請求項２記載の映像視聴装
置。
【請求項４】前記画像表示手段は頭部搭載型ディスプレ
イであることを特徴とする請求項１または請求項２また
は請求項３記載の映像視聴装置。
【請求項５】前記画像データは３次元座標を有するデー
タであり、前記音声データはその音源位置を３次元座標
で有するデータであることを特徴とする請求項１から請
求項４のいずれかに記載の映像視聴装置。
【請求項６】画像データ及び音声データを蓄積している
ホスト端末と、このホスト端末から画像データ及び音声
データを常に読み出して視聴者に表示する複数のリモー
ト端末とからなり、前記リモート端末は、視聴者の頭の動きを検出し、位置
信号をホスト端末へ出力する頭部センサと、視聴者の音声を受信し、ホスト端末へ音声信号を出力す
るマイクと、ホスト端末から送信される画像を表示する画像表示手段
と、ホスト端末から送信される音声を出力数音声出力手段と
を備え、前記ホスト端末は、独自の空間座標に画像を変換し、前
記位置信号に基づいた視点から見た前記独自の空間を画
像としてリモート端末へ出力する画像制御手段と、前記位置信号に基づき、前記音声信号をリモート端末へ
送信する音声制御手段とを備えたことを特徴とする映像
視聴装置。
【請求項７】前記音声制御手段は、前記位置信号に基づ
き前記音声信号の音源位置を前記独自の空間に設定して
空間的な音場を出力する２チャンネルの音声出力を有す
ることを特徴とする請求項６記載の映像視聴装置。
【請求項８】前記画像制御手段は、前記位置信号に基づ
く視点を左右両眼に設定し、両眼視差を有する２チャン
ネルの画像を出力し、前記画像表示手段は両眼視差立体表示手段であることを
特徴とする請求項６または請求項７記載の映像視聴装
置。
【請求項９】前記画像表示手段は頭部搭載型ディスプレ
イであることを特徴とする請求項６または請求項７また
は請求項８記載の映像視聴装置。
【請求項１０】前記画像データは３次元座標を有するデ
ータであり、前記音声データはその音源位置を３次元座
標で有するデータであることを特徴とする請求項６から
請求項９のいずれかに記載の映像視聴装置。
【請求項１１】前記ホスト端末は、複数のリモート端末
と接続され、かつ複数の画像制御手段と複数の音声制御
手段とを備えたことを特徴とする請求項６から請求項１
０のいずれかに記載の映像視聴装置。
【請求項１２】画像データを蓄積しているホスト端末
と、このホスト端末から画像データを常に読み出して視
聴者に出力する複数のリモート端末とからなり、前記リモート端末は、視聴者の頭の動きを検出し、位置
信号をホスト端末へ出力する頭部センサと、視聴者の音声を他のリモート端末へ送信する音声送信手
段と、他のリモート端末から他視聴者の音声を受信する音声受
信手段とを備え、前記ホスト端末は、独自の空間座標に前記画像データを
変換し前記位置信号に基づいた視点から見た前記独自の
空間を画像としてリモート端末へ出力する画像制御手段
と、この画像制御手段の出力を表示する画像出力手段とを備
えたことを特徴とする映像視聴装置。
【請求項１３】前記画像制御手段は、前記位置信号に基
づく視点を左右両眼に設定し、両眼視差を有する２チャ
ンネルの画像を出力し、前記画像表示手段は両眼視差立体表示手段であることを
特徴とする請求項１２記載の映像視聴装置。
【請求項１４】前記画像表示手段は頭部搭載型ディスプ
レイであることを特徴とする請求項１２または請求項１
３記載の映像視聴装置。
【請求項１５】前記画像データは３次元座標を有するデ
ータであることを特徴とする請求項１２または請求項１
３または請求項１４記載の映像視聴装置。
【請求項１６】前記ホスト端末は複数の画像制御手段を
備えたことを特徴とする請求項１２から請求項１５のい
ずれかに記載の映像視聴装置。
【請求項１７】視聴者の頭部の動きを検出し、位置信号
を出力する頭部センサと、前記位置信号に基づき撮像方
向が制御される撮像手段と、前記撮像手段の出力画像を
表示する画像表示手段と、視聴者の音声を受信し音声信
号を出力するマイクと、前記位置信号と前記音声信号と
を他視聴者へ送信する送信手段と、他視聴者の第２の位
置信号と第２の音声信号とを受信する受信手段と、前記
第２の位置情報に基づき、前記第２の音声信号を出力す
る音声制御手段と、前記音声制御手段の出力を視聴者に
出力する音声出力手段とを備えたことを特徴とする映像
視聴装置。
【請求項１８】前記音声制御手段は、前記位置信号に基
づき前記音声信号の音源位置を前記撮像手段の映像に合
成して空間的な音場を出力する２チャンネルの音声出力
を有することを特徴とする請求項１７記載の映像視聴装
置。
【請求項１９】ズーム倍率等のカメラパラメータを入力
する入力手段を備え、前記撮像手段は前記入力手段から
の出力に応じてカメラパラメータが変化することを特徴
とする請求項１７または請求項１８記載の映像視聴装
置。
【請求項２０】前記画像表示手段は頭部搭載型ディスプ
レイであることを特徴とする請求項１７または請求項１
８または請求項１９記載の映像視聴装置。
【請求項２１】前記撮像手段は、複数の撮像カメラを有
して両眼視差を有する２チャンネルの画像を出力し、前記画像表示手段は両眼視差立体表示手段であることを
特徴とする請求項１７から請求項２０のいずれかに記載
の映像視聴装置。
【請求項２２】画像と音声とを出力する複数の撮像カメ
ラを有する撮像手段と、前記撮像手段から出力される画像を表示する複数のリモ
ート端末とからなり、前記リモート端末は、視聴者の頭部の動きを検出して位
置信号を撮像手段に出力する頭部センサと、視聴者の音声を受信し、音声信号を撮像手段へ出力する
マイクと、撮像手段から出力される画像を表示する画像表示手段
と、撮像手段から出力される音声を出力する音声出力手段と
を備え、前記撮像手段は、前記位置信号に基づき前記音声信号を
前記撮像カメラに入力する音声付加手段と、前記位置信号に基づき前記複数の撮像カメラからの出力
を選択してリモート端末に出力する選択手段とを備えた
ことを特徴とする映像視聴装置。
【請求項２３】前記音声制御手段は、前記位置信号に基
づき前記音声信号の音源位置を前記撮像手段の映像に合
成して空間的な音場を出力する２チャンネルの音声出力
を有することを特徴とする請求項２２記載の映像視聴装
置。
【請求項２４】ズーム倍率等のカメラパラメータを入力
する入力手段を備え、前記撮像手段は前記入力手段から
の出力に応じてカメラパラメータが変化することを特徴
とする請求項２２または請求項２３記載の映像視聴装
置。
【請求項２５】前記画像表示手段は頭部搭載型ディスプ
レイであることを特徴とする請求項２２から請求項２４
のいずれかに記載の映像視聴装置。
【請求項２６】画像データを供給するホスト端末と、ホ
スト端末から入力された画像データを画像として視聴者
に表示するリモート端末とからなり、前記リモート端末は、視聴者の頭の動きを検出し位置信
号を出力する頭部センサと、視聴者により入力可能な第１の入力手段と、視聴者の眼球運動を検出し視線信号として出力する視線
センサと、独自の空間座標を有し、前記画像データが前記独自の空
間座標系に変換され、前記位置信号と前記第１の入力手
段からの信号に基づいた視点を設定し、この視点から見
た前記独自の空間に、前記視線信号により視聴者が見て
いる空間内の箇所を検出し、ポインタ等を付加して画像
として出力し、さらに前記ポインタの位置情報を出力す
る画像制御手段と、前記画像制御手段の出力画像を表示する画像表示手段と
を備えたことを特徴とする映像視聴装置。
【請求項２７】前記画像制御手段は、前記位置信号に基
づく視点を左右両眼に設定し、両眼視差を有する２チャ
ンネルの画像を出力し、前記画像表示手段は両眼視差立体表示手段であることを
特徴とする請求項２６記載の映像視聴装置。
【請求項２８】前記画像表示手段は頭部搭載型ディスプ
レイであることを特徴とする請求項２６または請求項２
７記載の映像視聴装置。
【請求項２９】前記リモート端末は、視聴者により入力
可能な第２の入力手段を備え、前記ホスト端末は、前記ポインタが指し示す場所と、前
記第２の入力手段の入力状態とから動作が制御されるこ
とを特徴とする請求項２６または請求項２７または請求
項２８記載の映像視聴装置。
【請求項３０】前記ホスト端末に、前記リモート端末が
複数接続され、前記リモート端末は、前記ポインタの位置情報を通信す
る通信手段を備え、前記画像制御回路は、前記通信手段により入力された他
視聴者のポインタの位置情報から、他視聴者のポインタ
も付加して出力することを特徴とする請求項２６から請
求項２９のいずれかに記載の映像視聴装置。