JP5892797B2 - 送受信システム及び送受信方法、受信装置及び受信方法 - Google Patents

Description

本発明は、データの送受信を行う送受信システム及び送受信方法、データの受信を行う受信装置及び受信方法に関する。

近年、放送において、複数の角度から撮影された映像を放送し、受信者側で好みのアングルの映像を楽しむマルチアングル視聴によるサービスが提供されている。
さらに、特許文献１によれば、連続的に各アングルの映像を撮影し、撮影した映像を並べて表示することにより、パノラマ視聴を提供する技術が提案されている。

特開平１１−２６１８８４号公報

ところで、特許文献１の技術では、視聴者側のディスプレイは、いわゆる据え置き型が想定されており、コントローラを利用して表示されている映像を左右に動かすことによりパノラマ視聴を行うものである。

本発明は、視聴する位置を自在に移動することができる可搬性のあるディスプレイを用いて、まるで撮影場所に立って周囲を眺めているような感覚を与えることができる送受信システム及び送受信方法、受信装置及び受信方法を提供することを一つの目的とする。

本発明に係る送受信システムは、送信装置と受信装置を備える送受信システムにおいて、前記送信装置は、所定の範囲の映像を撮影する第１の撮影部と、前記第１の撮影部で撮影した映像を所定の規格に準拠した映像データに変換する変換部と、前記変換部により変換した映像データを送信する送信部を備え、前記受信装置は、前記送信部から送信されてきた前記映像データを受信する受信部と、前記受信部で受信した前記映像データを記憶する記憶部と、映像を表示する表示部と、前記表示部の表示面に対向する方向を算出する算出部と、前記算出部で算出した前記表示部の表示面に対向する方向に一致する方向の映像が前記表示部の中心に表示されるように前記記憶部に記憶されている前記映像データを読み出す映像読出部と、前記映像読出部で読み出した映像データを映像に変換して前記表示部に表示する表示制御部とを備える構成である。

かかる構成によれば、本発明に係る送受信システムは、送信装置により、所定の範囲の映像を撮影し、撮影した映像データを受信装置に送信し、受信装置により、表示部の表示面に対向する方向を算出し、算出した表示部の表示面に対向する方向に一致する方向の映像が表示部の中心に表示されるように記憶部に記憶されている映像データを読み出すので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

また、送受信システムでは、前記第１の撮影部は、前記所定の範囲として、配置されている場所を中心に、水平方向全体及び垂直方向全体の映像を撮影する構成でも良い。

かかる構成によれば、本発明に係る送受信システムは、送信装置により、所定の範囲として、第１の撮影部が配置されている場所における水平方向全体及び垂直方向全体の映像を撮影するので、受信装置の表示部をどの方向にかざしても、かざした方向に対応する映像を表示することができ、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

また、送受信システムでは、前記送信装置は、前記第１の撮影部により映像を撮影している場所において、複数の方向から到来する音声を取得する音声取得部と、前記音声取得部により取得した音声を取得方向ごとに所定の規格に準拠した音声データに変換する音声データ変換部を備え、前記送信部は、前記変換部により変換した映像データとともに、前記音声データ変換部により変換された取得方向ごとの音声データを送信し、前記受信装置は、音声出力部と、前記受信部で受信した前記音声データを取得方向ごとに記憶する音声データ記憶部と、前記算出部で算出した前記表示部の表示面に対向する方向に一致する方向の音声データを前記音声データ記憶部の中から読み出す音声読出部を備え、前記音声出力部は、前記音声読出部により読み出した音声データを音声に変換して出力する構成でも良い。

かかる構成によれば、本発明に係る送受信システムは、送信装置により、所定の範囲の映像を撮影し、かつ、映像を撮影する場所において、複数の方向から到来する音声を取得し、映像データとともに、取得方向ごとの音声データを受信装置に送信し、受信装置により、表示部の表示面に対向する方向に一致する方向の音声データを音声データ記憶部の中から読み出すので、受信装置の表示部をかざした方向に対応する映像を表示部に表示し、かつ受信装置の表示部をかざした方向に対応する音声を音声出力部から出力することができ、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

また、送受信システムでは、前記受信装置は、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、前記表示部の表示面に対向している被写体を撮影する第２の撮影部と、前記第２の撮影部で撮影した被写体を認識する認識部とを備え、前記表示制御部は、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、前記認識部により認識した被写体に前記表示部の表示面が近づいていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして縮小処理を行い、前記認識部により認識した被写体から前記表示部の表示面が遠ざかっていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして拡大処理を行う構成でも良い。

かかる構成によれば、本発明に係る送受信システムは、例えば、受信装置を手に持って、被写体（例えば、視聴者自身の顔）に近づけるような操作が行われると、表示部に表示されている映像を縮小、すなわち表示範囲を広くし、被写体から遠ざかるような操作が行われると、表示部に表示されている映像を拡大、すなわち表示範囲を狭くするので、直感的な操作によって、表示されている映像を縮小又は拡大することができ、まるで、窓に近づいたり遠ざかったりして窓の外の風景を眺めているような感覚を視聴者に与えることができる。

また、送受信システムでは、前記表示制御部は、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から前記表示部の傾きを算出し、当該算出した傾きに応じて、前記表示部に表示されている映像の加工処理を行う構成でも良い。

例えば、加工処理とは、映像の一部を切り出して、切り出した部分を表示部全体に引き伸ばす処理をいう。
かかる構成によれば、本発明に係る送受信システムは、例えば、受信装置を手前に傾けたり、右方向に旋回させたりすると、表示部に表示されている映像を加工処理するので、傾いた表示部を通して、まるで窓の隙間から向こう側（受信装置で撮影した映像）を覗き見ているような感覚を視聴者に与えることができる。

また、送受信システムでは、前記表示制御部は、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から前記表示部の傾きを算出し、算出した傾きに基づいて水平面からの傾斜を示す映像と、前記第２の撮影部により撮影した映像を前記表示部に表示する構成でも良い。

かかる構成によれば、本発明に係る送受信システムは、水平面からの傾斜を示す映像（例えば、水平器を模したＣＧ画面）と、視聴者自身の映像を表示部に表示するので、受信装置の初期位置を簡易に設定することが可能となる。

また、送受信システムでは、前記受信装置は、加速度を検出する加速度検出部と、角速度を検出する角速度検出部と、前記表示部の表示面に対向している被写体を撮影する第２の撮影部と、前記第２の撮影部で撮影した被写体を認識する認識部と、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、前記認識部により認識した被写体に前記表示部の表示面が近づいていると判断した場合には、前記音声出力部から出力されている音声の音量を下げ、前記認識部により認識した被写体から前記表示部の表示面が遠ざかっていると判断した場合には、前記音声出力部から出力されている音声の音量を上げる音量制御部を備える構成でも良い。

かかる構成によれば、本発明に係る送受信システムは、例えば、受信装置を手に持って、被写体（例えば、視聴者自身の顔）に近づけるような操作が行われると、表示部に表示されている映像を縮小しつつ、音声の音量を小さくし、また、被写体から遠ざかるような操作が行われると、表示部に表示されている映像を拡大しつつ、音声の音量を大きくするので、直感的な操作によって、表示されている映像の大きさに同期して音声の音量を上げたり下げたりするので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

本発明に係る送受信方法は、送信装置の第１の撮影部により所定の範囲の映像を撮影する撮影ステップと、前記撮影ステップで撮影した映像を所定の規格に準拠した映像データに変換する変換ステップと、前記変換ステップにより変換した映像データを受信装置に送信する送信ステップと、前記受信装置の受信部により、前記送信ステップから送信されてきた前記映像データを受信する受信ステップと、前記受信ステップで受信した前記映像データを記憶部に記憶する記憶ステップと、映像を表示する表示部の表示面に対向する方向を算出する算出ステップと、前記算出ステップで算出した前記表示部の表示面に対向する方向に一致する方向の映像が前記表示部の中心に表示されるように前記記憶部に記憶されている前記映像データを読み出す映像読出ステップと、前記映像読出ステップで読み出した映像データを映像に変換して前記表示部に表示する表示ステップとを備える構成である。

かかる構成によれば、本発明に係る送受信方法は、送信装置により、所定の範囲の映像を撮影し、撮影した映像データを受信装置に送信し、受信装置により、表示部の表示面に対向する方向を算出し、算出した表示部の表示面に対向する方向に一致する方向の映像が表示部の中心に表示されるように記憶部に記憶されている映像データを読み出すので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

本発明に係る受信装置は、送信装置から送信されてきた映像データを受信する受信部と、前記受信部で受信した前記映像データを記憶する記憶部と、映像を表示する表示部と、前記表示部の表示面に対向する方向を算出する算出部と、前記算出部で算出した前記表示部の表示面に対向する方向に一致する方向の映像が前記表示部の中心に表示されるように前記記憶部に記憶されている前記映像データを読み出す映像読出部と、前記映像読出部で読み出した映像データを映像に変換して前記表示部に表示する表示制御部とを備える構成である。

かかる構成によれば、本発明に係る受信装置は、所定の範囲を撮影した映像データを受信し、受信装置の表示部をかざした方向に対応する映像を表示部に表示するので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

本発明に係る受信方法は、送信されてきた映像データを受信装置の受信部により受信する受信ステップと、前記受信ステップで受信した前記映像データを記憶部に記憶する記憶ステップと、映像を表示する表示部の表示面に対向する方向を算出する算出ステップと、記算出ステップで算出した前記表示部の表示面に対向する方向に一致する方向の映像が前記表示部の中心に表示されるように前記記憶部に記憶されている前記映像データを読み出す映像読出ステップと、前記映像読出ステップで読み出した映像データを映像に変換して前記表示部に表示する表示ステップとを備える構成である。

かかる構成によれば、本発明に係る受信方法は、所定の範囲を撮影した映像データを受信し、受信装置の表示部をかざした方向に対応する映像を表示部に表示するので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

本発明によれば、まるで撮影場所に立って周囲を眺めているような感覚を与えることができる。

送受信システムの構成を示す図である。 第１の撮影部により撮影した映像を合成する方法についての説明に供する図である。 受信装置の外観（表面）の構成を示す図である。 受信装置の初期位置を設定する方法についての説明に供する図である。 受信装置の移動方向についての説明に供する図である。 受信装置の移動方向についての説明に供する図である。 受信装置をα方向に移動したときの様子を模式的に示す図である。 受信装置がα方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置をβ方向に移動したときの様子を模式的に示す図である。 受信装置がβ方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置をγ方向に移動したときの様子を模式的に示す図である。 受信装置をγ方向に移動したときの様子を模式的に示す図である。 受信装置がγ方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置をＲｏｌｌ方向に移動したときの様子を模式的に示す図である。 受信装置がＲｏｌｌ方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置をＰｉｔｃｈ方向に移動したときの様子を模式的に示す図である。 受信装置がＰｉｔｃｈ方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置をＹａｗ方向に移動したときの様子を模式的に示す図である。 受信装置がＹａｗ方向に移動したときに表示部に表示される映像の遷移についての説明に供する図である。 受信装置がγ方向に移動したときに表示部に表示される映像の遷移と、音声出力部から出力される音声の変化についての説明に供する図である。 受信装置がγ方向に移動したときに表示部に表示される映像の遷移と、音声出力部から出力される音声の変化についての説明に供する図である。 送受信システムの構成を模式的に示す図である。 アクティブ・テレビジョン表示装置の構成を示す図である。 表示パネルの動きと、音声スピーカ部から出力する音声の関係についての説明に供する図である。 アクティブ・テレビジョン表示装置の初期位置を設定する方法についての説明に供する図である。

以下、本発明の実施形態の一例について図１を参照しながら説明する。本発明の実施形態に係る送受信システム１は、図１に示すように、送信装置１０と受信装置２０を備える。また、本実施形態では、送信装置１０は、放送サービスを提供する放送局側の装置を想定し、受信装置２０は、送信装置１０から送信された放送信号を受信する視聴者側の装置を想定する。よって、送受信システム１は、以下では、説明の便宜上、送信装置１０と受信装置２０が一対でデータを送受信する例を示すが、実際には、一般的な放送システムのように、複数の受信装置２０が送信装置１０から放送されたコンテンツを受信するように構成されている。

送信装置１０は、図１に示すように、第１の撮影部１１と、変換部１２と、送信部１３を備える。
第１の撮影部１１は、所定の範囲の映像を撮影する。所定の範囲とは、例えば、水平方向に１２０度、１８０度、又は３６０度等の範囲である。また、第１の撮影部１１は、所定の範囲として、配置されている場所を中心に、全方位（水平方向全体及び垂直方向全体）の映像を撮影する構成でも良い。

第１の撮影部１１は、全方位（水平方向３６０度、垂直方向３６０度）の映像を撮影することができ、例えば、図２に示すように、天空方向を中心とした映像と地表方向を中心とした映像を撮影し、両映像を合成することにより、全方位の映像を生成する。また、天空方向の映像と地表方向の映像は、それぞれオーバーラップする部分がある。よって、第１の撮影部１１は、両映像の相関する部分を重ねるようにして、両映像をシームレスに合成する。なお、第１の撮影部１１は、全方位の映像を撮影できる構成であれば良く、上述に限られない。

変換部１２は、第１の撮影部１１で撮影した映像を所定の規格に準拠した映像データに変換する。ここで、所定の規格は、ｍｐｅｇ等である。また、本実施例では、動画像を対象にしているが、これに限られず静止画像であっても良い。

送信部１３は、有線又は無線により、変換部１２により変換した映像データを送信する。

受信装置２０は、図１に示すように、受信部２１と、記憶部２２と、表示部２３と、算出部２４と、映像読出部２５と、表示制御部２６とを備える。なお、本実施例では、受信装置２０は、視聴者が手に持って自在に移動が可能なタブレット型の装置（例えば、モバイルテレビ、タブレットＰＣ、スマートフォン、携帯電話機等）を想定している。

受信部２１は、送信部１３から送信されてきた映像データを受信する。
記憶部２２は、受信部２１で受信した映像データを記憶する。
表示部２３は、映像を表示する。

算出部２４は、表示部２３の表示面に対向する方向、すなわち、視聴者により表示部２３がかざされている方向を算出する。

映像読出部２５は、算出部２４で算出した表示部２３の表示面に対向する方向に一致する方向の映像が表示部２３の中心に表示されるように記憶部２２に記憶されている映像データを読み出す。

表示制御部２６は、映像読出部２５で読み出した映像データを映像に変換して表示部２３に表示する。

このようにして、送受信システム１は、送信装置１０により、所定の範囲の映像を撮影し、撮影した映像データを受信装置２０に送信し、受信装置２０により、表示部２３の表示面に対向する方向を算出し、算出した表示部２３の表示面に対向する方向に一致する方向の映像が表示部２３の中心に表示されるように記憶部２２に記憶されている映像データを読み出すので、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

また、送信装置１０は、図１に示すように、音声取得部１４と、音声データ変換部１５を備える構成でも良い。
音声取得部１４は、第１の撮影部１１により映像を撮影している場所において、複数の方向から到来する音声を取得する。また、音声取得部１４は、第１の撮影部１１が全方位（水平方向３６０度、垂直方向３６０度）の映像を撮影する構成の場合には、全方向から到来する音声を取得する。

音声データ変換部１５は、音声取得部１４により取得した音声を取得方向ごとに所定の規格（ｍｐ３等）に準拠した音声データに変換する。

送信部１３は、変換部１２により変換した映像データとともに、音声データ変換部１５により変換された取得方向ごとの音声データを送信する。

また、受信装置２０は、図１に示すように、音声出力部２７と、音声データ記憶部２８と、音声読出部２９を備える構成でも良い。
音声データ記憶部２８は、受信部２１で受信した音声データを取得方向ごとに記憶する。

音声読出部２９は、記憶部２２に記憶されている撮影方向の中から、算出部２４で算出した表示部２３の表示面に対向する方向に一致する撮影方向を選択し、当該選択された撮影方向に対応する音声データの取得方向を特定し、特定した取得方向の音声データを音声データ記憶部２８の中から読み出す。
音声出力部２７は、音声読出部２９により読み出した音声データを音声に変換して出力する。

ここで、視聴者が受信装置２０を正面方向（例えば、仰俯角が±０度（水平）、方位角が０度（北））にかざした場合を例にして、以下に説明する。
算出部２４は、表示部２３の表示面に対向する方向として、仰俯角が±０度（水平）、方位角が０度（北）を算出する。

音声読出部２９は、算出部２４で算出した表示部２３の表示面に対向する方向（仰俯角が±０度、方位角が０度）に対応する撮影方向を選択し、当該撮影方向に対応する音声データの取得方向を特定（本実施例の場合には、仰俯角が±０度、方位角が０度）し、特定した取得方向の音声データを音声データ記憶部２８の中から読み出す。

したがって、音声出力部２７からは、送信装置１０の音声取得部１４により取得した、仰俯角が±０度、方位角が０度の方向から到来してきた音声が出力される。
なお、表示部２３には、送信装置１０の第１の撮影部１１で撮影した、仰俯角が±０度、方位角が０度の映像が表示される。

このようにして、送受信システム１は、送信装置１０により、所定の範囲の映像を撮影し、かつ、映像を撮影する場所において、複数の方向から到来する音声を取得し、映像データとともに、取得方向ごとの音声データを受信装置２０に送信し、受信装置２０により、表示部２３の表示面に対向する方向に一致する方向の音声データを音声データ記憶部２８の中から読み出すので、受信装置２０の表示部２３をかざした方向に対応する映像を表示部２３に表示し、かつ受信装置２０の表示部２３をかざした方向に対応する音声を音声出力部２７から出力することができ、まるで撮影場所に立って周囲を眺めているような感覚を視聴者に与えることができる。

また、受信装置２０は、図１に示すように、加速度検出部３０と、角速度検出部３１と、第２の撮影部３２と、認識部３３とを備える。

加速度検出部３０は、受信装置２０に加えられた加速度を検出する。
角速度検出部３１は、受信装置２０に加えられた角速度を検出する。
第２の撮影部３２は、表示部２３の表示面に対向している被写体を撮影する。具体的には、第２の撮影部３２は、図３に示すように、表示部２３が配置されている面と同一の面に配置されている。

認識部３３は、第２の撮影部３２で撮影した被写体を認識する。例えば、認識部３３は、第２の撮影部３２によって撮像された映像に対して、特徴抽出を行い、視聴者の顔を認識する。

表示制御部２６は、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、認識部３３により認識した被写体に表示部２３の表示面が近づいていると判断した場合には、表示部２３に表示されている映像の中心位置を基準にして縮小処理を行う。よって、表示部２３には、広い範囲の映像が表示されることになる。

また、表示制御部２６は、認識部３３により認識した被写体から表示部２３の表示面が遠ざかっていると判断した場合には、表示部２３に表示されている映像の中心位置を基準にして拡大処理を行う。よって、表示部２３には、狭い範囲の映像が表示されることになる。

このようにして、送受信システム１は、例えば、受信装置２０を手に持って、被写体（例えば、視聴者自身の顔）に近づけるような操作が行われると、表示部２３に表示されている映像を縮小し、被写体から遠ざかるような操作が行われると、表示部２３に表示されている映像を拡大するので、直感的な操作によって、表示されている映像を縮小又は拡大することができ、まるで、窓に近づいたり遠ざかったりして窓の外の風景を眺めているような感覚を与えることができる。なお、本実施例では、表示制御部２６により映像の拡大及び縮小の処理を行うものとして説明したが、これに限られず、専用の処理部により処理を行っても良い。

また、表示制御部２６は、被写体と表示面の間の距離の変化に基づいて、映像の縮小率及び拡大率を徐々に変化させる構成でも良い。すなわち、表示制御部２６は、表示部２３が視聴者に近づいた分だけ映像を縮小し、また、表示部２３が視聴者から遠ざかった分だけ映像を拡大する。

このような構成によれば、受信装置２０は、表示部２３の表示面が視聴者に近づいていることを検出した場合には、表示部２３に表示されている映像を近づいた分だけ縮小するので、視聴者に対して、表示部２３の中心位置に映っている被写体の大きさに変化を感じさせずに、視野角が広がっている印象を与えることができる。

また、受信装置２０は、表示部２３の表示面が視聴者から遠ざかっていることを検出した場合には、表示部２３に表示されている映像を遠ざかった分だけ拡大するので、視聴者に対して、表示部２３の中心位置に映っている被写体の大きさに変化を感じさせずに、注目したい被写体のみをクローズアップしているような印象を与えることができる。

また、本実施例では、受信装置２０と被写体との間の相対的な距離が変わったことに応じて、映像の拡大及び縮小の処理を行うものとして説明したが、これに限られない。例えば、送受信システム１は、表示部２３の表示面側への移動を検出した場合に、映像の中心位置を基準にして縮小処理を行い、表示部２３の表示面に対向する方向への移動を検出した場合に、映像の中心位置を基準にして拡大処理を行う構成でも良い。

また、表示制御部２６は、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から表示部２３の傾きを算出し、当該算出した傾きに応じて、表示部２３に表示されている映像の加工処理を行う構成でも良い。

例えば、加工処理とは、映像の一部を切り出して、切り出した部分を表示部２３全体に引き伸ばす処理をいう。
よって、送受信システム１は、例えば、受信装置２０を手前に傾けたり、右方向に旋回させたりすると、表示部２３に表示されている映像を加工処理するので、傾いた表示部２３を通して、まるで、斜め方向から窓に近づいたり遠ざかったりして窓の外の風景を眺めているような感覚を与えることができる。
なお、本実施例では、表示制御部２６により映像の加工処理を行うものとして説明したが、これに限られず、専用の処理部により処理を行っても良い。

表示制御部２６は、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から表示部２３の傾きを算出し、算出した傾きに基づいて水平面からの傾斜を示す映像と、第２の撮影部３２により撮影した映像を表示部２３に表示する構成でも良い。

ここで、受信装置２０の初期位置を設定する一方法について、図４を参照しながら説明する。
受信装置２０は、第２の撮影部３２で撮影した映像（図４中のＡ）を表示部２３に表示する。また、受信装置２０は、加速度センサ２１２から検出される水平器（水準器）を模したＣＧ画面（図４中のＢ）を表示部２３に表示する。
視聴者は、第２の撮影部３２で撮影した映像を眺めながら、手をいっぱいに伸ばして、目の位置が正面になるように動かして調整し、かつ、水平器を模したＣＧ画面を眺めながら、表示部２３の表面が直角に正面になるように調整する。

このようにして、送受信システム１は、水平面からの傾斜を示す映像（例えば、水平器を模したＣＧ画面）と、視聴者自身の映像を表示部２３に表示することによって、視聴者に受信装置２０の初期位置を簡易に設定させることが可能となる。

受信装置２０は、さらに、図１に示すように、音量制御部３４を備える構成でも良い。
このような構成の場合には、音量制御部３４は、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、認識部３３により認識した被写体に表示部２３の表示面が近づいていると判断した場合には、音声出力部２７から出力されている音声の音量を下げる処理を行う。また、音量制御部３４は、認識部３３により認識した被写体から表示部２３の表示面が遠ざかっていると判断した場合には、音声出力部２７から出力されている音声の音量を上げる処理を行う。

このようにして、送受信システム１は、例えば、受信装置２０を手に持って、被写体（例えば、視聴者自身の顔）に近づけるような操作が行われると、表示部２３に表示されている映像を縮小しつつ、音声の音量を小さくし、被写体から遠ざかるような操作が行われると、表示部２３に表示されている映像を拡大しつつ、音声の音量を大きくするので、直感的な操作によって、表示されている映像の大きさに同期して音声の音量を上げたり下げたりするので、まるで撮影場所に立って周囲を眺めているような感覚を与えることができる。

また、音量制御部３４は、被写体と表示面の間の距離の変化に基づいて、音声の音量を徐々に変化させる構成でも良い。すなわち、音量制御部３４は、表示部２３が視聴者に近づいた分だけ音量を小さくし、また、表示部２３が視聴者から遠ざかった分だけ音量を大きくする。

このような構成によれば、受信装置２０は、表示部２３の表示面が視聴者に近づいていることを検出した場合には、表示部２３に表示されている映像を近づいた分だけ縮小しつつ、音量を小さくするので、視聴者に対して、音声出力部２７から出力されている音の変化と、表示部２３の中心位置に映っている被写体の大きさに変化を感じさせずに、視野角が広がっている印象を与えることができる。

また、受信装置２０は、表示部２３の表示面が視聴者から遠ざかっていることを検出した場合には、表示部２３に表示されている映像を遠ざかった分だけ拡大しつつ、音量を大きくするので、視聴者に対して、音声出力部２７から出力されている音の変化と、表示部２３の中心位置に映っている被写体の大きさに変化を感じさせずに、注目したい被写体のみをクローズアップしているような印象を与えることができる。

また、本実施例では、受信装置２０と被写体との間の相対的な距離が変わったことに応じて、音声の音量を上げたり下げたりするものとして説明したが、これに限られない。例えば、送受信システム１は、表示部２３の表示面側への移動を検出した場合に、音声の音量を小さくし、表示部２３の表示面に対向する方向への移動を検出した場合に、音声の音量を大きくする構成でも良い。

つぎに、受信装置２０を移動させたときの表示部２３の表示態様について説明する。なお、以下では、図５に示すように、水平方向をα方向といい、垂直方向をβ方向といい、前後方向をγ方向という。また、図６に示すように、γ方向を中心軸にして回転する方向をＲｏｌｌ方向といい、α方向を中心軸にして回転する方向をＰｉｔｃｈ方向といい、β方向を中心軸にして回転する方向をＹａｗ方向という。また、受信装置２０は、送信装置１０から送信（放送）されている映像データと取得方向ごとの音声データを受信し、表示部２３の表示面に対向する方向の映像を表示部２３に表示し、かつ、表示部２３の表示面に対向する方向の音声を音声出力部２７から出力しているものとする。

（α方向への移動）
受信装置２０は、図７に示すように、Ａの位置（現在位置）からα方向に移動し、Ｂの位置で静止した場合、算出部２４によりＢの位置における表示部２３の表示面に対向する方向を算出し、当該方向に一致する撮影方向の映像を表示部２３に表示する。なお、図７は、真上から見たときの受信装置２０の移動の様子を示す図である。

ここで、α方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。
従来の受信装置では、図８（ａ）、（ｂ）に示すように、Ａの位置からα方向に移動し、Ｂの位置で静止した場合でも、表示部２３には同じ映像を表示する。
一方、受信装置２０は、図８（ｃ）、（ｄ）に示すように、Ａの位置からα方向に移動し、Ｂの位置で静止した場合には、移動した方向に応じた映像を表示部２３に表示する。

また、受信装置２０は、Ａの位置からＢの位置まで移動している間も、各方向における映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を移動し、所望する場所を見つけることができる。

（β方向への移動）
受信装置２０は、図９に示すように、Ａの位置（現在位置）からβ方向に移動し、Ｂの位置で静止した場合、算出部２４によりＢの位置における表示部２３の表示面に対向する方向を算出し、当該方向に一致する撮影方向の映像を表示部２３に表示する。なお、図９は、真横から見たときの受信装置２０の移動の様子を示す図である。

ここで、β方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。
従来の受信装置では、図１０（ａ）、（ｂ）に示すように、Ａの位置からβ方向に移動し、Ｂの位置で静止した場合でも、表示部２３には同じ映像を表示する。
一方、受信装置２０は、図１０（ｃ）、（ｄ）に示すように、Ａの位置からβ方向に移動し、Ｂの位置で静止した場合には、移動した方向に応じた映像を表示部２３に表示する。

また、受信装置２０は、Ａの位置からＢの位置まで移動している間も、各方向における映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を移動し、所望する場所を見つけることができる。

（γ方向への移動）
受信装置２０は、図１１に示すように、Ａの位置（現在位置）からγ方向（例えば、後方向）に移動して、Ｂの位置で静止することにより、表示部２３の表示面が遠ざかっていると判断した場合には、表示部２３に表示されている映像の中心位置を基準にして拡大処理を行う。なお、図１１は、真横から見たときの受信装置２０の移動の様子を示す図である。
また、受信装置２０は、表示部２３の表示面が近づいていると判断した場合には、表示部２３に表示されている映像の中心位置を基準にして縮小処理を行う。

つまり、受信装置２０は、図１２に示すように、視聴者に近づいた場合（図中ａ１）には、表示部２３の表示面に対向する方向と同一方向の映像を広範囲（例えば、図中ａ２に示す範囲）に表示し、また、視聴者から遠ざかった場合（図中ｂ１）には、表示部２３の表示面に対向する方向と同一方向の映像を一定の範囲（例えば、図中ｂ２に示す範囲）だけ表示する。

ここで、γ方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。
従来の受信装置では、図１３（ａ）、（ｂ）に示すように、ａ１の位置からγ方向に移動し、ｂ１の位置で静止した場合でも、表示部２３には同じ大きさの映像を表示するので、受信装置が遠ざかる分だけ視聴者からは小さく見える。

一方、受信装置２０は、ａ１の位置にある場合には、図１３（ｃ）に示すように、広範囲の映像を表示部２３に表示し、ｂ１の位置にある場合には、図１３（ｄ）に示すように、一定の範囲の映像を表示部２３に表示する。

また、受信装置２０は、ａ１の位置からｂ１の位置（又は、ｂ１の位置からａ１の位置）まで移動している間も、映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を移動し、表示部２３に表示される映像を所望の範囲に調整することができる。

（Ｒｏｌｌ方向への移動）
受信装置２０は、図１４に示すように、Ａの位置（現在位置）からＲｏｌｌ方向に回転し、Ｂの位置で静止した場合、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、表示制御部２６により表示部２３の傾きを算出し、当該算出した傾きに応じて、表示部２３に表示されている映像の加工処理を行う。

ここで、Ｒｏｌｌ方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。

従来の受信装置では、図１５（ａ）、（ｂ）に示すように、Ａの位置にあってもＢの位置にあっても、表示部２３の表示面に対向する方向に一致する方向の映像を表示する。したがって、視聴者は、表示部２３とともに映像も傾いて見える。

一方、受信装置２０は、Ａの位置にある場合には、図１５（ｃ）に示すように、表示部２３の表示面に対向する方向に一致する方向の映像を表示し、Ｂの位置にある場合には、図１５（ｄ）に示すように、Ｒｏｌｌ方向の傾き（Ｒｏｌｌ角）に基づいて、映像をＲｏｌｌ方向とは反対の方向にＲｏｌｌ角分回転させて表示する。したがって、視聴者は、表示部２３だけが傾いて、映像は回転していないように見える。

また、受信装置２０は、Ａの位置からＢの位置（又は、Ｂの位置からＡの位置）まで回転している間も、映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を回転させ、表示部２３に表示される映像を所望の角度に調整することができる。

（Ｐｉｔｃｈ方向への移動）
受信装置２０は、図１６に示すように、Ａの位置（現在位置）からＰｉｔｃｈ方向に回転し、Ｂの位置で静止した場合、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、表示制御部２６により表示部２３の傾きを算出し、当該算出した傾きに応じて、表示部２３に表示されている映像の加工処理を行う。なお、図１６（ａ）は、斜め上後方から見たときの受信装置２０の移動の様子を示す図であり、図１６（ｂ）は、真横から見たときの受信装置２０の移動の様子を示す図であり、図１６（ｃ）は、受信装置２０がＰｉｔｃｈ方向に回転している様子を模式的に示す図である。

ここで、Ｐｉｔｃｈ方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。

従来の受信装置では、図１７（ａ）、（ｃ）に示すように、Ａの位置にあってもＢの位置にあっても、表示部２３の表示面に対向する方向に一致する方向の映像を表示する。したがって、視聴者は、図１７（ｂ）に示すように、表示部２３に表示されている映像の上下がつぶれたように見えてしまう。

一方、受信装置２０は、Ａの位置にある場合には、図１７（ｄ）に示すように、表示部２３の表示面に対向する方向に一致する方向の映像を表示し、Ｂの位置にある場合には、図１７（ｆ）に示すように、Ｐｉｔｃｈ方向の傾き（Ｐｉｔｃｈ角（θ））に基づいて、映像を垂直方向に１／ｃｏｓθ倍に引き伸ばして表示する。したがって、視聴者は、図１７（ｅ）に示すように、映像の上下を切り取ったように見える。

また、受信装置２０は、Ａの位置からＢの位置（又は、Ｂの位置からＡの位置）まで回転している間も、映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を回転させ、表示部２３に表示される映像を所望の角度に調整することができる。

（Ｙａｗ方向への移動）
受信装置２０は、図１８に示すように、Ａの位置（現在位置）からＹａｗ方向に回転し、Ｂの位置で静止した場合、加速度検出部３０及び角速度検出部３１により検出した結果に基づいて、表示制御部２６により表示部２３の傾きを算出し、当該算出した傾きに応じて、表示部２３に表示されている映像の加工処理を行う。なお、図１８（ａ）は、斜め上後方から見たときの受信装置２０の移動の様子を示す図であり、図１８（ｂ）は、真横から見たときの受信装置２０の移動の様子を示す図であり、図１８（ｃ）は、受信装置２０がＹａｗ方向に回転している様子を模式的に示す図である。

ここで、Ｙａｗ方向に移動したときに表示部２３に表示される映像の遷移について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。

従来の受信装置では、図１９（ａ）、（ｃ）に示すように、Ａの位置にあってもＢの位置にあっても、表示部２３の表示面に対向する方向に一致する方向の映像を表示する。したがって、視聴者は、図１９（ｂ）に示すように、表示部２３に表示されている映像の左右がつぶれたように見えてしまう。

一方、受信装置２０は、Ａの位置にある場合には、図１９（ｄ）に示すように、表示部２３の表示面に対向する方向に一致する方向の映像を表示し、Ｂの位置にある場合には、図１９（ｆ）に示すように、Ｙａｗ方向の傾き（Ｙａｗ角（θ））に基づいて、映像を水平方向に１／ｃｏｓθ倍に引き伸ばして表示する。したがって、視聴者は、図１９（ｅ）に示すように、映像の左右を切り取ったように見える。

また、受信装置２０は、Ａの位置からＢの位置（又は、Ｂの位置からＡの位置）まで回転している間も、映像を途切れることなく表示部２３に表示する。
よって、視聴者は、表示部２３に表示される映像を眺めながら、受信装置２０を回転させ、表示部２３に表示される映像を所望の角度に調整することができる。

つぎに、γ方向に移動したときに表示部２３に表示される映像の遷移と、音声出力部２７から出力される音声の変化について、従来の受信装置と本実施例に係る受信装置２０を対比して説明する。なお、以下では、図２０に示すように、受信装置２０を視聴者に近い位置（γ方向において、手を近づけた位置）をγとし、受信装置２０を視聴者から遠い位置（γ方向において、手をいっぱいに伸ばした位置）をγ０とする。

従来の受信装置では、図２１（ａ）、（ｂ）に示すように、γでもγ０でも映像の多いさや音量を変更しない。よって、視聴者は、受信装置がγの位置にある場合には、映像が大きく見え、音量が大きく聞こえ、また、受信装置がγ０の位置にある場合には、映像が小さく見え、音量が小さく聞こえる。

一方、受信装置２０は、γの場合には、図２１（ｃ）に示すように、映像を縮小し、かつ音量を小さくし、また、γ０の場合には、図２１（ｄ）に示すように、映像を拡大し、かつ音量を大きくする。よって、視聴者は、受信装置２０がγの位置にある場合とγ０の位置にある場合とで、音量の大きさと映像の大きさに変化を感じず、視野角のみが変化しているように感じるので、まるで、窓に近づいたり遠ざかったりして窓の外の風景を眺めているような感覚を得ることになる。

つぎに、送受信システム１の具体的な構成について図２２を用いて説明する。
テレビカメラ部１００（送信装置１０に相当する）は、全方位の映像・音声の撮影・集音する装置であり、全方位を撮影するカメラ１０１（第１の撮影部１１に相当する）と、カメラ１０１の周囲を集音するマイクロホン１０２（音声取得部１４に相当する）を備える。

全方位を撮影するカメラ１０１は、双曲面ミラーと１台のビデオカメラからなる装置（以下、第１の装置という。）（例えば、情報処理学会研究報告 ＣＶＩＭ，［コンピュータビジョンとイメージメディア］ ２００８（３６），２４７−２６２，２００８−０５−０１「全方位映像のマルチキャストによる実時間ネットワークテレプレゼンスに関する研究（Ｄ論セッション２）」）や、３６０度を撮影するビデオカメラ（以下、第２の装置という。）（例えば、「ｈｔｔｐ：／／ｗｗｗ．ｉｍｍｅｒｓｉｖｅｍｅｄｉａ．ｃｏｍ／ｉｍｇ／ｐａｇｅ１０５／ＩＭ＿ＴｅｃｈＳｐｅｃＤｏｄｅｃａ＿１２０８０８．ｐｄｆ」に示されている装置）や、これらに相当する装置により構成される。

カメラ１０１の周囲を集音するマイクロホン１０２は、複数のマイクロホンから構成されており、ＸＹＺの三次元方向の原点（０，０，０）として、６軸方向（ｒ，０，０）、（−ｒ，０，０）、（０，ｒ，０）、（０，−ｒ，０）、（０，０，ｒ）、（０，０，−ｒ）から到来する音を集音するようにそれぞれが配置されている。

また、撮影した映像・音声の伝送部３００は、送信装置１０で撮影、集音した映像・音声信号を圧縮して視聴者が手に持つアクティブ・テレビジョン表示装置２００（受信装置２０に相当する）までケーブル等の有線又は無線で伝送する装置である。

例えば、伝送部３００は、第１の装置を利用する場合には、全方位を一度に撮影した円形の画像（ハイビジョン映像）をＭＰＥＧ等の圧縮方式によって圧縮して伝送する。また、伝送部３００は、第２の装置を利用する場合には、多視点のカメラで撮影した映像データを合成した３６０度の全方位の映像データをＭＰＥＧ等の圧縮方式によって圧縮して伝送する。

伝送部３００は、６個のマイクロホン１０２により集音した６チャンネル音声を圧縮して伝送する。

撮影した映像・音声の記録・再生装置４００は、テレビカメラ部１００で撮影、集音した映像・音声を記録し、視聴者が見たい時刻に映像・音声を再生し、伝送部３００を介してアクティブ・テレビジョン表示装置２００に伝送する装置である。

例えば、記録・再生装置４００は、映像が第１の装置を利用して伝送されてきた場合には、円形の画像をハイビジョン映像として記録し再生する。また、記録・再生装置４００は、映像が第２の装置を利用して伝送されてきた場合には、多視点のカメラで撮影した映像を合成した３６０度の全方位の映像データを記録し再生する。

また、記録・再生装置４００は、６個のマイクロホン１０２により集音した音声を６チャンネル音声で記録し再生する。

アクティブ・テレビジョン表示装置２００（受信装置２０に相当する）は、視聴者が手に持って視聴するための映像表示及び音声出力装置であって、加速度センサ、ジャイロセンサ、地磁気センサ、赤外線距離センサ等を搭載している。

アクティブ・テレビジョン表示装置２００は、伝送部３００から伝送されてきた映像のデータを、視聴者を中心として形成される仮想映像スクリーンＳｃにマッチングさせる。アクティブ・テレビジョン表示装置２００は、搭載されている加速度センサ、ジャイロセンサ、地磁気センサ、赤外線距離センサ等から計算した表示パネル（表示部２３に相当する）の６軸における位置と、視聴者の視点位置と、仮想映像スクリーンＳｃとの位置から、表示パネルに投影する映像を切り出して表示する。

また、アクティブ・テレビジョン表示装置２００は、伝送部３００から伝送された音声のデータを、三次元方向の原点（０，０，０）からｒだけ離れた６方向（ｒ，０，０）、（−ｒ，０，０）、（０，ｒ，０）、（０，−ｒ，０）、（０，０，ｒ）、（０，０，−ｒ）に仮想的に設置する仮想スピーカＳｐから出力される音声にマッチングさせる。アクティブ・テレビジョン表示装置２００は、加速度センサ、ジャイロセンサ、地磁気センサ、赤外線距離センサ等から計算した表示パネルの６軸の位置と、視聴者の視点位置と、仮想スピーカＳｐとの位置から、表示パネルの方向と位置から聞こえるはずの音声を計算して表示パネルのスピーカ（音声出力部２７に相当する）から音声を出力する。

つぎに、アクティブ・テレビジョン表示装置２００の構成概要について図２３を用いて説明する。アクティブ・テレビジョン表示装置２００は、図２３（ａ）に示すように、視聴者が手に持って視聴することができる大きさである。

アクティブ・テレビジョン表示装置２００の前面は、図２３（ｂ）に示すように、前面には映像を表示する液晶パネル等の映像表示部２０１（表示部２３に相当する）、音声を出力する音声スピーカ部２０２（音声出力部２７に相当する）、視聴者と映像表示部２０１との初期位置を調整するために使う前面カメラ部２０３（第２の撮影部３２に相当する）、視聴者と映像表示部２０１間の距離を測定するための赤外線距離センサ２０４で構成されている。

アクティブ・テレビジョン表示装置２００の裏面には、図２３（ｃ）に示すように、裏面カメラ部２０５を配置する。これは実際に視聴者の目の前にある映像と、伝送される映像を合成した映像を楽しんだり、ジャイロセンサだけでは位置の計算誤差が大きい場合に、実際に目の前の映像を撮影した映像から映像表示部２０１の計算位置を補正するためのものである。

また、アクティブ・テレビジョン表示装置２００は、図２３（ｄ）に示すように、映像表示部２０１と、音声スピーカ部２０２と、前面カメラ部２０３と、赤外線距離センサ２０４と、裏面カメラ部２０５と、電波受信部２０６と、有線入力部２０７と、受信信号／映像変換部２０８と、映像メモリ部２０９と、受信信号／音声変換部２１０と、音声メモリ部２１１と、加速度センサ２１２と、ジャイロセンサ２１３と、地磁気センサ２１４と、６軸位置計算部２１５と、映像計算部２１６と、音声・音量計算部２１７と、タイミング再生部２１８と、映像表示変換部２１９と、音声変換部２２０とを備える。

なお、電波受信部２０６及び有線入力部２０７は、受信部２１に相当する。映像メモリ部２０９は、記憶部２２に相当する。音声メモリ部２１１は、音声データ記憶部２８に相当する。加速度センサ２１２は、加速度検出部３０に相当する。ジャイロセンサ２１３は、角速度検出部３１に相当する。映像計算部２１６は、映像読出部２５に相当する。音声・音量計算部２１７は、音声読出部２９に相当する。

電波受信部２０６は、撮影した映像・音声の伝送部３００から電波で伝送される映像・音声を受信する。

有線入力部２０７は、撮影した映像・音声の伝送部３００からケーブル等の有線で伝送される映像・音声を受信する。

受信信号／映像変換部２０８は、電波又は有線で受信した全方位又はその一部の圧縮伝送された映像を復号して仮想映像スクリーンＳｃにマッチングさせて映像メモリ部２０９に書き込む。

受信信号／音声変換部２１０は、電波又は有線で受信した６チャンネルの圧縮伝送された音声を復号して、６方向に仮想的に設置する仮想スピーカＳｐから出力される音声にマッチングさせて音声メモリ部２１１へ書き込む。

加速度センサ２１２は、重力や映像表示部２０１の動き等の加速度を検出する装置であり、検出されたデータからアクティブ・テレビジョン表示装置２００の傾き速度、位置を計算する。

ジャイロセンサ２１３は、映像表示部２０１の角速度を検出する装置で、検出されたデータからアクティブ・テレビジョン表示装置２００の動作方向や位置を計算する。

前面カメラ部２０３は、アクティブ・テレビジョン表示装置２００から視聴者の顔を撮影することができ、検出された映像データから視聴者と映像表示部２０１との初期位置を調整するために、視聴者の顔や目の位置を検出する。

裏面カメラ部２０５は、実際に視聴者の目の前にある映像と、伝送される映像を合成した映像を楽しんだり、加速度センサ２１２とジャイロセンサ２１３だけでは位置の計算誤差が大きい場合に、実際に目の前の映像を撮影した映像から映像表示部２０１の計算位置の誤差を補正するときに利用される。

地磁気センサ２１４は、アクティブ・テレビジョン表示装置２００の地軸とのズレから東西南北の方位を検出する装置で、加速度センサ２１２とジャイロセンサ２１３だけでは位置の計算誤差が大きい場合に、映像表示部２０１の計算位置を補正するときに利用される。また、地磁気センサ２１４は、伝送された映像と実際の方位をマッチングさせた映像を楽しむような番組を楽しむ場合に用いられる。

赤外線距離センサ２０４は、アクティブ・テレビジョン表示装置２００の前面から視聴者までの距離を測定する赤外線センサであり、加速度センサ２１２とジャイロセンサ２１３だけでは位置の計算誤差が大きい場合に、赤外線距離センサ２０４検出されたγ方向の距離データにより映像表示部２０１のγ方向の計算位置の誤差を補正するときに利用される。

６軸位置計算部２１５では、加速度センサ２１２、ジャイロセンサ２１３、前面カメラ部２０３、裏面カメラ部２０５、地磁気センサ２１４、赤外線距離センサ２０４のデータから視聴者の目を中心としたアクティブ・テレビジョン表示装置２００の６方向における位置を計算する。

映像計算部２１６は、６軸位置計算部２１５により計算された視聴者を中心としたアクティブ・テレビジョン表示装置２００の６方向における位置により、仮想映像スクリーンＳｃから映像表示部２０１に投影される映像を計算し、表示する部分の映像を映像メモリ部２０９から取り出す。

音声・音量計算部２１７は、６軸位置計算部２１５により計算された視聴者を中心としたアクティブ・テレビジョン表示装置２００の６方向における位置と、仮想スピーカＳｐとの位置から、映像表示部２０１の位置から聞こえるはずの音声を計算し、出力する音声部分を音声メモリ部２１１から読み出す。

タイミング再生部２１８は、受信した映像・音声データから再生クロックを再生し、受信信号／映像変換部２０８に変換するタイミングを通知し、音声メモリ部２１１に音声データを読み出すタイミングを通知し、映像メモリ部２０９に映像データを読み出すタイミングを通知し、映像表示変換部２１９に変換するタイミングを通知し、映像表示部２０１に映像を表示するタイミングを通知する。

映像表示変換部２１９では、映像メモリ部２０９から読み出した映像データを平面の映像表示部２０１に表示する。

音声変換部２２０では、音声メモリ部２１１から読み出した音声と仮想スピーカＳｐとの位置から、映像表示部２０１の位置・方向から聞こえるはずの音声を計算して音声スピーカ部２０２へ出力する。

このようにして、送受信システム１は、テレビカメラ部１００から送信される映像データを受信したアクティブ・テレビジョン表示装置２００を手に持って動かすと、その動きに連動して、アクティブ・テレビジョン表示装置２００が向けられている方向から取得された映像を映像表示部２０１に表示することができる。

また、送受信システム１は、テレビカメラ部１００から送信される音声データを受信したアクティブ・テレビジョン表示装置２００手に持って動かすと、その動きに連動して、アクティブ・テレビジョン表示装置２００が向いている方向から取得した音声を音声スピーカ部２０２から出力することができる。

ここで、アクティブ・テレビジョン表示装置２００をγ方向に移動させた場合に、当該γ方向から取得した音声を音声スピーカ部２０２から出力する原理について、図２０、２１を参照しながら説明する。

視聴者を中心として、アクティブ・テレビジョン表示装置２００をγ方向に動かした場合、その視聴者からアクティブ・テレビジョン表示装置２００の間の距離に応じて（１）式で示す音量Ｌで出力する。
Ｌ＝Ｌ０＋２０ｌｏｇ_１０（γ／γ０）〔ｄＢ〕・・・（１）
ここで、Ｌ０は、γ０の位置で表示パネルから出力する音量である。

つまり、アクティブ・テレビジョン表示装置２００は、視聴者からアクティブ・テレビジョン表示装置２００が遠ざけられると、それに連動して表示するアクティブ・テレビジョン表示装置２００の音声スピーカ部２０２から出力する音量を上げる。

また、アクティブ・テレビジョン表示装置２００は、視聴者からアクティブ・テレビジョン表示装置２００が近づけられると、それに連動して表示するアクティブ・テレビジョン表示装置２００の音声スピーカ部２０２から出力する音量を下げる。

よって、視聴者は、アクティブ・テレビジョン表示装置２００を前後に動かしても仮想的にアクティブ・テレビジョン表示装置２００の向こう側から一定の音量で音声が到来するように聞こえることになる。

つぎに、表示パネルの動きと、音声スピーカ部２０２から出力する音声の関係を、図２４を参照しながら説明する。
上述したように、カメラ１０１の周囲を集音するマイクロホン１０２は、複数のマイクロホンから構成されており、ＸＹＺの三次元方向の原点（０，０，０）として、６軸方向（ｒ，０，０）、（−ｒ，０，０）、（０，ｒ，０）、（０，−ｒ，０）、（０，０，ｒ）、（０，０，−ｒ）から到来する音を集音するようにそれぞれが配置されている。

また、テレビカメラ部１００側において集音された６軸方向の音をアクティブ・テレビジョン表示装置２００側で再現するために、この６軸方向に対応するように、三次元方向の原点（０，０，０）からｒだけ離れた６方向（ｒ，０，０）、（−ｒ，０，０）、（０，ｒ，０）、（０，−ｒ，０）、（０，０，ｒ）、（０，０，−ｒ）に仮想的に仮想スピーカＳｐを配置する。

ここで、加速度センサ２１２、ジャイロセンサ２１３及び地磁気センサ２１４からアクティブ・テレビジョン表示装置２００のＹａｗ（＝α）方向、及びＰｉｔｃｈ（＝β）方向を計算し、表示パネルを、原点（０，０，０）を中心とした法線ベクトル（ｃｏｓαｃｏｓβ，ｓｉｎαｃｏｓβ，ｓｉｎβ）を持つ平面（Ｘｃｏｓαｃｏｓβ＋Ｙｓｉｎαｃｏｓβ＋Ｚｓｉｎβ＝０）であると仮定する。

まず、マイクロホン１０２により集音したカメラ１０１周りの音声を、仮想スピーカＳｐから出力されるものと想定し、６か所の仮想スピーカＳｐ（Ｘ，Ｙ，Ｘ）＝（ｒ，０，０），（−ｒ，０，０），（０，ｒ，０），（０，−ｒ，０），（０，０，ｒ），（０，０，−ｒ）を（２）式に代入し、０を超える仮想スピーカＳｐの音声を採用する。
Ｘｃｏｓαｃｏｓβ＋Ｙｓｉｎαｃｏｓβ＋Ｚｓｉｎβ＞０・・・（２）

そして、採用された仮想スピーカＳｐの音声（Ｘ０，Ｙ０，Ｚ０）をアクティブ・テレビジョン表示装置２００の音声スピーカ部２０２から出力（Ｌ）する際には、（３）式を利用する。
Ｌ０＝ｍ×（Ｘ０ｃｏｓαｃｏｓβ＋Ｙ０ｓｉｎαｃｏｓβ＋Ｚ０ｓｉｎβ）・・・（３）
なお、Ｘ０は、Ｘ軸方向で採用された仮想スピーカＳｐの音声を示し、Ｙ０は、Ｙ軸方向で採用された仮想スピーカＳｐの音声を示し、Ｚ０は、Ｚ軸方向で採用された仮想スピーカＳｐの音声を示し、ｍは、係数であり、表示パネルがγ０の位置で視聴者が聞きやすい好みの音量になるように調整した値を示している。

γ０の位置で表示パネルから出力する基準音量をＭとすると、アクティブ・テレビジョン表示装置２００の音声スピーカ部２０２から出力する音量Ｌ〔ｄＢ〕は、（４）式となる。
Ｌ＝２０ｌｏｇ_１０（Ｌ０／Ｍ）＋２０ｌｏｇ_１０（γ／γ０） 〔ｄＢ〕・・・（４）
なお、γ０は、γ方向において、手をいっぱいに伸ばした場合のアクティブ・テレビジョン表示装置２００と視聴者の間の距離を示している。また、γは、γ方向において、手を近づけた場合のアクティブ・テレビジョン表示装置２００と視聴者の間の距離を示している。

つぎに、アクティブ・テレビジョン表示装置２００の初期位置を設定する一方法について、図２５を参照しながら説明する。
アクティブ・テレビジョン表示装置２００は、前面カメラ部２０３で撮影した映像（図２５（ａ）中のＡ）を表示パネルの映像表示部２０１に表示する。また、アクティブ・テレビジョン表示装置２００は、加速度センサ２１２から検出される水平器（水準器）を模したＣＧ画面（図２５（ａ）中のＢ）を表示パネルの映像表示部２０１に表示する。

視聴者は、前面カメラ部２０３で撮影した映像（図２５（ｃ）中のＡ）を眺めながら、手をいっぱいに伸ばして、目の位置が正面になるように動かして調整し、かつ、水平器の映像を眺めながら、表示パネルの表面が直角に正面になるように調整する（図２５（ｂ）、（ｃ）を参照）。

アクティブ・テレビジョン表示装置２００は、視聴者によって調整された位置において検出した各種センサのデータを、初期位置のデータとして６軸位置計算部２１５の内部メモリ等に記憶する。アクティブ・テレビジョン表示装置２００は、このようにして初期位置を設定する。

このような構成によれば、アクティブ・テレビジョン表示装置２００は、表示パネルが動かされた場合に、加速度センサ２１２、ジャイロセンサ２１３、地磁気センサ２１４、赤外線距離センサ２０４等により検出されるデータと、記憶されている初期位置のデータとの差分を算出することにより、視聴者を中心とした表示パネルの６軸位置を計算し、仮想映像スクリーンＳｃや仮想スピーカＳｐとの位置を計算することができる。

１ 送受信システム
１０ 送信装置
１１ 第１の撮影部
１２ 変換部
１３ 送信部
１４ 音声取得部
１５ 音声データ変換部
２０ 受信装置
２１ 受信部
２２ 記憶部
２３ 表示部
２４ 算出部
２５ 映像読出部
２６ 表示制御部
２００ アクティブ・テレビジョン表示装置
２０１ 映像表示部
２０２ 音声スピーカ部
２０３ 前面カメラ部
２０４ 赤外線距離センサ
２０５ 裏面カメラ部
２０６ 電波受信部
２０７ 有線入力部
２０８ 受信信号／映像変換部
２０９ 映像メモリ部
２１０ 受信信号／音声変換部
２１１ 音声メモリ部
２１２ 加速度センサ
２１３ ジャイロセンサ
２１４ 地磁気センサ
２１５ ６軸位置計算部
２１６ 映像計算部
２１７ 音声・音量計算部
２１８ タイミング再生部
２１９ 映像表示変換部
２２０ 音声変換部

Claims (10)

1. 送信装置と受信装置を備える送受信システムにおいて、
   前記送信装置は、
   所定の範囲の映像を撮影する第１の撮影部と、
   前記第１の撮影部で撮影した映像を所定の規格に準拠した映像データに変換する変換部と、
   前記変換部により変換した映像データを送信する送信部を備え、
   前記受信装置は、
   前記送信部から送信されてきた前記映像データを受信する受信部と、
   前記受信部で受信した前記映像データを記憶する記憶部と、
   映像を表示する表示部と、
   映像データを映像に変換して前記表示部に表示する表示制御部と、
   加速度を検出する加速度検出部と、
   角速度を検出する角速度検出部と、
   前記表示部の表示面に対向している被写体を撮影する第２の撮影部と、
   前記第２の撮影部で撮影した被写体を認識する認識部と、を備え、
   前記表示制御部は、さらに
   前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、前記認識部により認識した被写体に前記表示部の表示面が近づいていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして縮小処理を行い、前記認識部により認識した被写体から前記表示部の表示面が遠ざかっていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして拡大処理を行う送受信システム。
2. 前記表示制御部は、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から前記表示部の傾きを算出し、当該算出した傾きに応じて、前記表示部に表示されている映像の加工処理を行う請求項１に記載の送受信システム。
3. 前記表示制御部は、前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、回転を検出した場合、その回転方向と回転角度から前記表示部の傾きを算出し、算出した傾きに基づいて水平面からの傾斜を示す映像と、前記第２の撮影部により撮影した映像を前記表示部に表示する請求項１記載の送受信システム。
4. 前記受信装置は、さらに、
   前記表示部の表示面に対向する方向を算出する算出部と、
   前記算出部で算出した前記表示部の表示面に対向する方向に一致する方向の映像が前記表示部の中心に表示されるように前記記憶部に記憶されている前記映像データを読み出す映像読出部と、を備え、
   前記表示制御部は、さらに
   前記映像読出部で読み出した映像データを映像に変換して前記表示部に表示する請求項１乃至請求項３のいずれか１項に記載の送受信システム。
5. 前記第１の撮影部は、前記所定の範囲として、配置されている場所を中心に、水平方向全体及び垂直方向全体の映像を撮影する請求項４に記載の送受信システム。
6. 前記送信装置は、さらに、
   前記第１の撮影部により映像を撮影している場所において、複数の方向から到来する音声を取得する音声取得部と、
   前記音声取得部により取得した音声を取得方向ごとに所定の規格に準拠した音声データに変換する音声データ変換部を備え、
   前記送信部は、前記変換部により変換した映像データとともに、前記音声データ変換部により変換された取得方向ごとの音声データを送信し、
   前記受信装置は、さらに、
   音声出力部と、
   前記受信部で受信した前記音声データを取得方向ごとに記憶する音声データ記憶部と、
   前記算出部で算出した前記表示部の表示面に対向する方向に一致する方向の音声データを前記音声データ記憶部の中から読み出す音声読出部を備え、
   前記音声出力部は、前記音声読出部により読み出した音声データを音声に変換して出力する請求項４又は請求項５に記載の送受信システム。
7. 前記受信装置は、さらに、
   前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、前記認識部により認識した被写体に前記表示部の表示面が近づいていると判断した場合には、前記音声出力部から出力されている音声の音量を下げ、前記認識部により認識した被写体から前記表示部の表示面が遠ざかっていると判断した場合には、前記音声出力部から出力されている音声の音量を上げる音量制御部を備える請求項６に記載の送受信システム。
8. 送信装置が、
   前記送信装置の第１の撮影部により所定の範囲の映像を撮影する撮影ステップと、
   前記撮影ステップで撮影した映像を所定の規格に準拠した映像データに変換する変換ステップと、
   前記変換ステップにより変換した映像データを受信装置に送信する送信ステップと、
   を実行し、
   前記受信装置が、
   前記受信装置の受信部により、前記送信ステップから送信されてきた前記映像データを受信する受信ステップと、
   前記受信ステップで受信した前記映像データを受信装置の記憶部に記憶する記憶ステップと、
   映像データを映像に変換して前記受信装置の表示部に表示する表示制御ステップと、
   前記受信装置の加速度を検出する加速度検出ステップと、
   前記受信装置の角速度を検出する角速度検出ステップと、
   前記受信装置の表示部の表示面に対向している被写体を撮影する第２の撮影ステップと、
   前記第２の撮影ステップで撮影した被写体を認識する認識ステップと、を実行し、
   前記表示制御ステップは、さらに
   前記加速度検出ステップ及び前記角速度検出ステップにより検出した結果に基づいて、前記認識ステップにより認識した被写体に前記受信装置の表示部の表示面が近づいていると判断した場合には、前記受信装置の表示部に表示されている映像の中心位置を基準にして縮小処理を行い、前記認識ステップにより認識した被写体から前記受信装置の表示部の表示面が遠ざかっていると判断した場合には、前記受信装置の表示部に表示されている映像の中心位置を基準にして拡大処理を行う送受信方法。
9. 送信装置から送信されてきた映像データを受信する受信部と、
   前記受信部で受信した前記映像データを記憶する記憶部と、
   映像を表示する表示部と、
   前記映像データを映像に変換して前記表示部に表示する表示制御部と、
   加速度を検出する加速度検出部と、
   角速度を検出する角速度検出部と、
   前記表示部の表示面に対向している被写体を撮影する第２の撮影部と、
   前記第２の撮影部で撮影した被写体を認識する認識部と、を備え、
   前記表示制御部は、さらに
   前記加速度検出部及び前記角速度検出部により検出した結果に基づいて、前記認識部により認識した被写体に前記表示部の表示面が近づいていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして縮小処理を行い、前記認識部により認識した被写体から前記表示部の表示面が遠ざかっていると判断した場合には、前記表示部に表示されている映像の中心位置を基準にして拡大処理を行う受信装置。
10. 受信装置が、
    送信装置から送信されてきた映像データを前記受信装置の受信部により受信する受信ステップと、
    前記受信ステップで受信した前記映像データを前記受信装置の記憶部に記憶する記憶ステップと、
    前記映像データを映像に変換して前記受信装置の表示部に表示する表示制御ステップと、
    前記受信装置の加速度を検出する加速度検出ステップと、
    前記受信装置の角速度を検出する角速度検出ステップと、
    前記受信装置の表示部の表示面に対向している被写体を撮影する第２の撮影ステップと、
    前記第２の撮影ステップで撮影した被写体を認識する認識ステップと、を備え、
    前記表示制御ステップは、さらに
    前記加速度検出ステップ及び前記角速度検出ステップにより検出した結果に基づいて、前記認識ステップにより認識した被写体に前記受信装置の表示部の表示面が近づいていると判断した場合には、前記受信装置の表示部に表示されている映像の中心位置を基準にして縮小処理を行い、前記認識ステップにより認識した被写体から前記受信装置の表示部の表示面が遠ざかっていると判断した場合には、前記受信装置の表示部に表示されている映像の中心位置を基準にして拡大処理を行う受信方法。

Images