JP6570290B2 - 映像表示システム及び映像表示方法 - Google Patents

映像表示システム及び映像表示方法 Download PDF

Info

Publication number
JP6570290B2
JP6570290B2 JP2015071761A JP2015071761A JP6570290B2 JP 6570290 B2 JP6570290 B2 JP 6570290B2 JP 2015071761 A JP2015071761 A JP 2015071761A JP 2015071761 A JP2015071761 A JP 2015071761A JP 6570290 B2 JP6570290 B2 JP 6570290B2
Authority
JP
Japan
Prior art keywords
video
display screen
display
space
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015071761A
Other languages
English (en)
Other versions
JP2016192685A (ja
Inventor
康夫 高橋
康夫 高橋
裕樹 松本
裕樹 松本
吏 中野
吏 中野
貴司 折目
貴司 折目
雄一郎 竹内
雄一郎 竹内
宮島 靖
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Daiwa House Industry Co Ltd
Original Assignee
Sony Corp
Daiwa House Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Daiwa House Industry Co Ltd filed Critical Sony Corp
Priority to JP2015071761A priority Critical patent/JP6570290B2/ja
Priority to US15/562,331 priority patent/US10182206B2/en
Priority to PCT/JP2016/060530 priority patent/WO2016159163A1/ja
Publication of JP2016192685A publication Critical patent/JP2016192685A/ja
Application granted granted Critical
Publication of JP6570290B2 publication Critical patent/JP6570290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、映像表示システム及び映像表示方法に係り、特に、ユーザが離れた場所の映像を見るために用いられる映像表示システム及び映像表示方法に関する。
通信技術を利用することにより、互いに離れた場所に居る者同士が映像表示用のディスプレイで相手の映像を見ながら対話(会話)をすることは、既に知られている。また、近年では、対話者の視線や顔の向きに合わせて表示映像を変化させる技術(厳密には、表示される映像を切り替える技術)が開発されている。このように対話者の動きに合わせて表示映像が変わることで、通信技術を用いた対話の臨場感を高めることが可能となる。
一例を挙げて詳しく説明すると、特許文献1によれば、対話者が自己の通信端末(例えば、携帯電話やスマートフォン)のインカメラを用いて当該対話者の視線方向等を解析する。解析後には、視線方向に対応する画像(映像)を生成し、対話者が持つ通信端末のディスプレイに当該画像が表示されるようになる。これによってディスプレイに表示されている画像に対して視線方向が変えられた場合には、その変えられた視線方向と対応するように表示画像を切り替えることが可能となる。
しかしながら、特許文献1に記載の技術では、対話者の視線方向の変化に合わせて、相手側に存する表示対象物や表示対象者を見るときの角度が切り替わるに留まる。つまり、特許文献1に記載の技術では、対話者の視線方向が変化したとしても、表示対象となる物や人自体については変わらないことになる。
これに対して、特許文献2によれば、対話者の位置や視線又は顔の向きが変化したときに、相手側の映像を撮像するカメラがズーム・パン・チルト動作を行う。これによって対話者の位置や視線又は顔の向きが変化したときには、その変化に応じてカメラの撮像方向や画角が切り替わるようになる。そして、切り替え後の表示映像には、切り替え前に表示されていた人の隣に位置していた物や人が映るようになる。このように対象者の視線や顔の向きの変化に連動して表示対象物(表示対象者)が切り替わることで、対話者は、あたかも対話相手と同じ空間内に居るような視覚的効果を得るようになる。
特開2012−190230号公報 特開2005−286442号公報
ところで、上述の視覚的効果については、より簡易な機構によって実現されることが望ましい。一方で、特許文献2では、上述の視覚的効果を得るための構成として、カメラ駆動用の装置が別途必要となる。このため、特許文献2に記載の構成にて上述の視覚的効果を得ようとすると、そのためのシステムが高コスト化し、構成についても複雑化してしまう虞がある。
そこで、本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、ユーザが離れた場所の映像を見るために用いられる映像表示システムとして、あたかもその空間に居るような視覚的効果を簡易な構成にて実現することが可能な映像表示システムを提供することである。同様に、本発明の他の目的は、より簡易な構成にて上記の視覚的効果を得ることが可能な映像表示方法を提供することである。
前記課題は、本発明の映像表示システムによれば、第一空間内に居るユーザが、前記第一空間とは離れた第二空間内の映像を見るために用いられる映像表示システムであって、(A)前記第二空間内に設置された撮像装置と、(B)前記第一空間内に設置され、映像の表示画面を形成する表示画面形成部と、(C)前記撮像装置が撮像した映像を示す映像データを前記撮像装置から受信する受信部と、(D)該受信部が受信した前記映像データが示す映像のうち、前記表示画面の大きさに応じた表示サイズとなった部分映像を前記表示画面に表示させる映像表示部と、(E)前記第一空間内に居るユーザの位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出するための検出部と、を有し、(F)前記映像表示部は、前記検出部による検出結果が変化したときに、変化後の該検出結果に応じて前記映像データが示す映像中、どの前記部分映像を前記表示画面に表示させるかを決め、前記受信部が前記撮像装置から前記映像データを受信して、前記検出部が前記表示画面の前に前記ユーザが居ないと判定した場合、前記映像データを受信したことを、呼び出し音、発光、又は受信通知用の画像を利用して前記ユーザに通知するよう構成されていることにより解決される。
上記の映像表示システムでは、第一空間内に居るユーザの位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出部により検出する。そして、映像表示部は、撮像装置が撮像した第二空間の映像中、検出部の検出結果に応じた部分映像を表示画面に表示させる。また、映像表示部は、検出部による検出結果が変化したときに、変化後の検出結果に応じて、どの部分映像を表示画面に表示させるかを決める。以上の構成は、第一空間に居るユーザがあたかも第二空間に居るような視覚的効果を得るための構成として、よりシンプルなものとなる。したがって、撮像装置の撮像方向や画角を切り替えるための装置を別途備える必要もなく、上記の視覚的効果が適切に得られるようになる。
また、上記の映像表示システムにおいて、互いに通信可能な第一コンピュータ及び第二コンピュータを有し、前記第一コンピュータは、前記撮像装置と接続されており、前記撮像装置が撮像した映像を示す前記映像データを送信する送信部として機能し、前記第二コンピュータは、前記表示画面形成部及び前記検出部と接続されており、前記受信部及び前記映像表示部として機能するとよい。
上記の構成では、コンピュータが受信部及び映像表示部としての機能を担っている。つまり、コンピュータが受信部及び映像表示部として一連のデータ処理を実行することで、上記の視覚的効果が得られるようになる。すなわち、上記の構成では、ユーザの位置、顔の向き、視線若しくは顔の位置の変化に連動して表示映像を切り替えるにあたり、メカ構成を必要とせず、データ処理のみによって実現する。この結果、より一層簡易な構成にて上述の視覚的効果を得ることが可能となる。
また、上記の映像表示システムにおいて、前記撮像装置は、魚眼レンズ又は広角レンズを備え、該魚眼レンズ又は広角レンズを通して映像を撮像する固定カメラであるとよい。
上記の構成では、撮像装置により撮像された映像が、比較的画角の広い映像となる。このように画角が広い映像を元の映像として取得しておけば、ユーザの位置、顔の向き、視線若しくは顔の位置が変化した際に、その変化に応じて部分映像を容易に切り替えることが可能となる。
また、上記の映像表示システムにおいて、前記検出部は、前記第一空間内に設置された他の撮像装置であり、該他の撮像装置は、前記表示画面形成部の前に居る前記ユーザを撮像することで前記ユーザの顔の位置を検出し、前記映像表示部は、前記他の撮像装置が検出した前記ユーザの顔の位置を示す座標値を算出し、前記ユーザの顔の位置が変化して前記座標値が変化したときに、変化後の前記座標値に応じて前記映像データが示す映像中、どの前記部分を前記表示画面に表示させるかを決めるとよい。
上記の構成では、表示画面形成部の前に居るユーザを撮像することでユーザの顔の位置を検出し、その後、検出したユーザの顔の位置を示す座標値を算出する。そして、表示画面に部分映像を表示する際には、算出した座標値と対応した部分映像を表示する。さらに、ユーザの顔の位置が変化して座標値が変化したときには、変化後の座標値に応じた部分映像を表示画面に表示する。この結果、ユーザの顔の位置の変化に連動して、表示画面に表示される部分映像が適切に切り替わるようになる。
また、上記の映像表示システムにおいて、前記映像表示部は、算出した前記座標値が予め設定された基準値となるときには、前記映像データが示す映像中、前記基準値に対応して設定された基準部分映像を前記表示画面に表示させ、算出した前記座標値が前記基準値と異なるときには、前記映像データが示す映像中、前記座標値と前記基準値とのずれ量に応じた分だけ前記基準部分映像からずれた前記部分映像を前記表示画面に表示させるとよい。
上記の構成では、ユーザの顔の現在位置について座標値を算出したとき、その算出結果が基準値となるときには、基準部分映像を表示させる。一方、算出結果が基準値と異なるときには、そのずれ量に応じた分だけ基準部分映像からずれた部分映像を表示させる。これにより、表示画面に表示される部分映像が、ユーザの顔の現在位置に応じて適切に決められるようになる。
また、上記の映像表示システムにおいて、前記表示画面形成部の前に居る前記ユーザが、互いに反対向きである第一の向き及び第二の向きのうち、前記表示画面形成部から見て前記第一の向きに顔を移動させたとき、前記映像表示部は、移動前に表示されていた前記部分映像よりも前記第二の向きにずれた前記部分映像を前記表示画面に表示させ、前記表示画面形成部の前に居る前記ユーザが、前記表示画面形成部から見て前記第二の向きに顔を移動させたとき、前記映像表示部は、移動前に表示されていた前記部分映像よりも前記第一の向きにずれた前記部分映像を前記表示画面に表示させるとよい。
上記の構成では、表示画面形成部の前に居るユーザが表示画面形成部から見て第一の向きに移動したとき、移動前に表示されていた部分映像よりも第二の向きにずれた部分映像を表示画面に表示させる。他方、ユーザが第二の向きに移動したとき、移動前に表示されていた部分映像よりも第一の向きにずれた部分映像を表示画面に表示させる。つまり、上記の構成によれば、ユーザが顔の位置を変化させたときに、変化させた方向と対応する映像が表示画面に表示されるようになる。この結果、ユーザは、顔を移動させるだけで、移動前の時点で表示画面を通じて見ていた物(人)の隣に在る物(人)を見られるようになる。すなわち、上記の構成により、いわゆる「覗き込み」の効果を得ることが可能となる。
また、上記の映像表示システムにおいて、前記表示画面形成部は、前記第一空間内に配置された建築材料、家具若しくは装飾品の一部分を構成するとともに前記表示画面を形成し、前記第一空間内に設けられ、前記ユーザが行う動作、前記ユーザが居る位置、前記ユーザの姿勢及び前記ユーザが発する音のうちの少なくとも一つを検知対象としたときに、予め設定された検知条件を満たす前記検知対象を検知するセンサと、を有し、該センサが前記検知条件を満たす前記検知対象を検知していない期間中、前記表示画面形成部は、前記表示画面を形成せずに前記一部分としての外観を現し、前記センサが前記検知条件を満たす前記検知対象を検知している期間にのみ、前記表示画面形成部は、前記表示画面を形成するとよい。
上記の構成では、第一空間内でユーザの動作、位置、姿勢及び音のうちの少なくとも一つを検知すると、これをトリガーとして映像の表示画面が形成されることになっている。他方、トリガーとなる検知対象の検知がない期間には表示画面が形成されず、その代わりに、第一空間内において建築材料、家具若しくは装飾品の一部分としての外観を現すようになる。これにより、映像を表示させない期間中には表示画面形成部が建築材料等として機能するようになり、第一空間内で目立ち難くなる。一方、上述したように第一空間内で検知対象が検知されると、これをトリガーとして表示画面が形成されるため、表示画面を形成させるのに特段複雑な操作を要さないことになる。
また、前述の課題は、本発明の映像表示方法によれば、第一空間内に居るユーザが、コンピュータを用いて、前記第一空間とは離れた第二空間内の映像を見るための映像表示方法であって、(A)コンピュータが、前記第二空間内に設置された撮像装置が撮像した映像を示す映像データを、前記撮像装置から受信し、コンピュータが、前記第一空間内に設置された表示画面形成部によって形成される表示画面の前に前記ユーザが居ないと判定した場合、前記映像データを受信したことを、呼び出し音、発光又は受信通知用画像を利用して前記ユーザに通知する工程と、(B)コンピュータが、前記表示画面に、受信した前記映像データが示す映像のうち、前記表示画面の大きさに応じた表示サイズとなった部分映像を表示させる工程と、(C)前記第一空間内に居るユーザの位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出部によって検出する工程と、を有し、(D)前記部分映像を前記表示画面に表示させる工程の実施中、前記検出部による検出結果が変化したときには、コンピュータが、変化後の該検出結果に応じて前記映像データが示す映像中、どの前記部分映像を前記表示画面に表示させるかを決めることにより解決される。
上記の方法によれば、ユーザの位置や視線等の変化に連動して表示画面に表示させる映像(部分映像)を切り替えることで、あたかも第二空間に居るような視覚的効果を、よりシンプルな構成によって得ることが可能となる。
本発明の映像表示システム及び映像表示方法によれば、ユーザの顔の位置や視線等の変化に連動して表示画面に表示させる映像(部分映像)が切り替わる。これにより、顔を移動させるだけで、移動前の時点で表示画面を通じて見ていた物(人)の隣に在る物(人)を見られる「覗き込み」の効果が得られる。また、かかる視覚的効果を得る上で特別な機構を必要としない構成であるため、よりシンプルな構成を実現することができる。以上のように、本発明の映像表示システム及び映像表示方法によれば、比較的シンプルな構成にて「覗き込み」の効果が得られる。
第一空間に居るユーザが表示画面を通じて第二空間の映像を見ている様子を示した図である。 本発明の一実施形態に係る映像表示システムの構成を示したブロック図である。 第二空間に設置された撮像装置による撮像範囲と、第一空間にて表示される表示範囲とを示した図である。 図4の(A)及び(B)は、本発明の表示画面形成部の一例を示した図である。 第一コンピュータ及び第二コンピュータのそれぞれの構成を機能面から示した図である。 対話用通信処理の流れに関する説明図である。 ユーザの顔の位置が変化したときに表示画面の映像を切り替える際の手順を示した図である(その1)。 ユーザの顔の位置が変化したときに表示画面の映像を切り替える際の手順を示した図である(その2)。 ユーザの顔の位置が変化することで表示画面の映像が切り替わった状況を示した図である。 変形例に係る映像表示システムの構成を示した図である。
以下、本発明の一実施形態(以下、本実施形態)について図面を参照しながら説明する。なお、説明を分かり易くするために、以下では、互いに離れた場所に居るAさん及びBさんが本実施形態に係る映像表示システムを通じて対話を行う場面を具体例に挙げて説明することとする。また、以下の説明では、Aさんを「ユーザ」とし、Bさんを「対話相手」とする。ただし、「ユーザ」と「対話相手」との関係は、相対的な立場関係であり、話者の一方を「ユーザ」に設定した場合には、他方が必然的に「対話相手」となる。そして、以下に説明する本実施形態の内容は、Aさん及びBさんの各々の立場を入れ替えたとき、つまり、Bさんを「ユーザ」としAさんを「対話相手」としたときにも同様に適用されるものである。
また、以下の説明中、「第一空間」とは、「ユーザ」であるAさんが居る空間のことである。「第二空間」とは、「対話相手」であるBさんが居る空間のことである。ここで、第一空間と第二空間とは、互いに離れており、特に本実施形態では、互いに異なる建物(例えば、Aさんの自宅とBさんの自宅)に設けられた空間となっている。ただし、これに限定されるものではなく、第一空間及び第二空間が、同じ建物内にあって互いに離れている2つの部屋であることとしてもよい。なお、「第一空間」と「第二空間」との関係についても、「ユーザ」と「対話相手」との関係と同様、相対的な関係である。つまり、「ユーザ」として設定された人が居る空間が「第一空間」に該当し、「対話相手」として設定された人が居る空間が「第二空間」に該当する。
<<本実施形態に係る映像表示システムの構成について>>
先ず、本実施形態に係る映像表示システム(以下、本システムS)の用途及び構成について図1及び2を参照しながら説明する。図1は、第一空間に居るAさんが表示画面を通じて第二空間の映像を見ている様子を示した図である。図2は、本システムSの構成を示したブロック図である。
本システムSの用途について説明すると、本システムSは、図1に示すようにAさんとBさんとが互いの映像を見ながら対話を行うために用いられる。つまり、Aさんは、第一空間に居ながらにして、第二空間の映像及び音声を視聴することが可能である。同様に、Bさんは、第二空間に居ながらにして、第一空間の映像及び音声を視聴することが可能である。
より詳しく説明すると、Bさん及びその周辺の映像は、Aさんが居る第一空間内に設置されたディスプレイに表示される。また、Bさんの話し声を含む第二空間内の音声は、Aさんが居る第一空間内に設置されたオーディオ装置によって再生される。そして、Aさんは、図1に示すようにディスプレイの前に立ち、ディスプレイに表示された映像を見ながら、オーディオ装置によって再生された音声を聴く。同様に、Bさんは、第二空間内に設置されたディスプレイにてAさん及びその周辺の映像を見ながら、オーディオ装置によって再生された第一空間内の音声を聴く。この結果、Aさん及びBさんの双方は、互いに離れた場所に居ながら、あたかも同じ場所で対話をしているような視聴覚的効果を得ることが可能となる。換言すると、本システムSの機能により、互いに離れた場所に居る者同士の間で臨場感のある対話が実現されるようになる。
次に、本システムSの構成について説明すると、本システムSは、図2に示すように、第一空間及び第二空間のそれぞれに対して設けられた対話ユニット1、2によって構成されている。ここで、第一空間に対して設けられた対話ユニット1と、第二空間に対して設けられた対話ユニット2とは、構成の面で共通している。したがって、以下の説明では、第一空間に対して設けられた対話ユニット1の構成のみを説明することとする。
対話ユニット1は、コンピュータの一例であるサーバコンピュータ及び視聴覚設備等によって構成されている。対話ユニット1が有するサーバコンピュータは、第一コンピュータに相当し、第一空間内の映像及び音声の取得並びに第二空間の映像及び音声の再生をコントロールするものであり、以下、第一サーバ10Aと呼ぶ。この第一サーバ10Aは、インターネット等の通信回線3を通じて第二サーバ10Bと通信可能に接続されている。ここで、第二サーバ10Bとは、対話ユニット2が有するサーバコンピュータであり、第二コンピュータに相当し、第二空間内の映像及び音声の取得並びに第一空間の映像及び音声の再生をコントロールする。
そして、第一サーバ10Aは、第二サーバ10Bと通信することで、第二空間の映像及び音声を示すデータ(以下、対話データ)を受信する。同様に、第二サーバ10Bは、第一サーバ10Aと通信することで、第一空間の映像及び音声を示す対話データを受信する。なお、図2では不図示となっているが、一般的に、対話ユニット1、2の間には中継サーバ(プロキシサーバ)が介在している。つまり、各対話ユニット1、2間で送受信される対話データについては、通常、上記の中継サーバを経由することになる。
第一サーバ10Aの構成についてより詳しく説明すると、第一サーバ10Aは、図2に示すようにCPU11、ROMやRAMからなるメモリ12、ハードディスクドライブ13(図2中、HDDと表記)、通信用インターフェース14(図2中、通信用I/F)及びI/Oポート15を有する。第一サーバ10Aは、通信回線3を通じて第二サーバ10Bから送信されてくるデータを受信し、当該データをメモリ12若しくはハードディスクドライブ13に記憶する。また、メモリ12には、対話に係る一連のデータ処理のアルゴリズムを規定したプログラム(以下、対話プログラム)が格納されている。この対話プログラムが第一サーバ10A及び第二サーバ10Bのそれぞれにおいて実行されることで、後述の対話用通信処理が進められることになる。
なお、本実施形態において、第一サーバ10Aは、第一空間と同じ建物内にある別の空間内に配置されている。ただし、第一サーバ10Aの配置場所に関して言うと、特に制限されるものではなく、第一空間内に配置されていてもよく、あるいは、第一空間が属する建物とは異なる建物内に配置されていてもよい。
次に、第一空間内に設けられた視聴覚設備について説明する。視聴覚設備としては、図1及び2に示すように、集音装置21、撮像装置としての撮像カメラ22、検出部としての検出カメラ23、オーディオ装置24及びディスプレイ(厳密には後述のディスプレイ兼用ミラー25)が備えられている。
集音装置21は、Aさんの話し声を含む第一空間内での音声を集音する装置であり、マイクロフォン等の公知の装置により構成される。この集音装置21は、集音した音声を示す音声信号を出力し、当該音声信号は、第一サーバ10Aに設けられたI/Oポート15に入力される。
撮像カメラ22は、Aさんの姿及び周辺空間を撮像するために第一空間内の所定位置、具体的にはディスプレイの上方位置に固定された固定カメラであり、その構成については公知である。撮像カメラ22は、撮像した映像を示す映像信号を出力し、当該映像信号は、第一サーバ10Aに設けられたI/Oポート15に入力される。なお、本実施形態に係る撮像カメラ22は、広角レンズ22aを搭載しており、当該広角レンズ22aを通じて第一空間内の映像を撮像する。したがって、撮像カメラ22によって撮像される映像は、通常のビデオカメラにて撮像した映像と比較して画角が大きな映像(以下、ワイド映像)となる。
なお、本実施形態では、撮像カメラ22に搭載されたレンズが広角レンズ22aであることとしたが、広角レンズ22aの代わりに魚眼レンズを用いてもよい。かかる場合には、撮像カメラ22によって撮像される映像が、より画角が大きな全方位映像となる。
検出カメラ23は、他の撮像装置に相当し、ディスプレイの前に人が居るときにその人の顔の位置を検出する検出部として機能する。より具体的に説明すると、検出カメラ23は、人感センサを内蔵している。この人感センサは、ディスプレイの前に設定された検知エリア内に人が入ると、これを検知する。人感センサが検知エリア内の人を検知すると、これをトリガーとして検出カメラ23が起動する。検出カメラ23は、検知エリア内に居る人の顔の位置を検出すべく、その人を撮像する。そして、検出カメラ23は、撮影した映像を示す映像信号を出力し、当該映像信号は、第一サーバ10Aに設けられたI/Oポート15に入力される。
なお、本実施形態では、検出カメラ23が、ディスプレイの前に居る人の顔の位置を検出するものとしたが、これに限定されるものではない。検出カメラ23は、ディスプレイの前に居る人の位置(立ち位置)、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出するものであればよい。
オーディオ装置24は、音声を再生する装置であり、スピーカー等の公知の装置により構成される。このオーディオ装置24は、第一サーバ10Aが第二サーバ10Bから受信した対話データを展開して再生命令を出力すると、かかる命令を受け付けて当該対話データが示す音声を再生する。この結果、オーディオ装置24が配置された第一空間内で、Bさんの話し声を含む第二空間内の音声が再生されるようになる。
ディスプレイは、Bさんの映像を含む第二空間の映像を表示する表示画面を形成する装置であり、表示画面形成部に相当する。このディスプレイは、第一サーバ10Aが第二サーバ10Bから受信した対話データを展開して映像表示命令を受け付けて当該対話データが示す映像を表示する。この結果、ディスプレイ上の表示画面には、第二空間の映像が表示されるようになる。
なお、本実施形態において、ディスプレイの表示画面には、第二サーバ10Bから受信した対話データが示す映像のうちの一部分が表示されることになっている。換言すると、本実施形態に係るディスプレイは、第一サーバ10Aが受信した対話データが示す映像のうち、表示画面の大きさに応じた表示サイズとなった部分映像を表示画面に表示させる。より分かり易く説明するために、以下、図3を参照しながら説明する。図3は、第二空間に設置された撮像カメラ22による撮像範囲と、第一空間に設置されたディスプレイによって表示される表示範囲とを示した図である。ちなみに、図3は、第二空間に設置された撮像カメラ22側から見たときの図である。
第二サーバ10Bから受信した対話データには、第二空間内に設置された撮像カメラ22が撮像した映像を示す映像データが含まれている。一方、撮像カメラ22は、前述したように広角レンズ22aを通じて映像を撮像する。したがって、上記の映像データが示す映像は、比較的画角が広いワイド映像となり、具体的には、図3中、太線の一点鎖線にて囲まれた範囲の映像となる。一方、第一空間内に設置されたディスプレイの表示画面に表示可能な映像は、上記のワイド映像よりも画角が小さい映像となる。すなわち、ディスプレイの表示画面には、上記のワイド映像の一部分である部分映像が表示されることとなる。ここで、部分映像の表示サイズについて説明すると、ワイド映像に比べて縦幅及び横幅が幾分小さくなっており、例えば、図3中、細線の破線にて図示した表示サイズとなっている。
なお、本実施形態では、表示画面の縦幅がディスプレイの前に居る人の全身像を表示するのに十分な長さとなっている。これにより、表示画面に対話相手の映像(部分映像)を映し出すときには、当該対話相手の全身像が映し出されることになる。このように対話相手の全身像が映し出されることで、ユーザは、対話相手と同じ室内に居るような感覚を感じるようになる。この結果、対話の臨場感がより一層高まることとなる。ここで、「全身像」とは、頭部から足に亘る身体全体の姿であり、起立状態であっても着座状態であってもよく、また、前方に配置された物によって一部が隠れている状態の姿を含む概念である。
ディスプレイの構成について更に説明すると、本実施形態に係るディスプレイは、通常時には第一空間内に配置された装飾品、具体的には姿見としての外観を呈し、対話が実行される時にのみ表示画面を形成するものとなっている。かかる構成について、以下、図4を参照しながら説明する。図4は、本実施形態に係るディスプレイを示す図であり、同図の(A)は、対話が行われていない非対話時の状態を、同図の(B)は、対話が行われている対話時の状態を、それぞれ示している。
本実施形態に係るディスプレイは、図4の(A)に示す通り、非対話時には表示画面を形成せずに姿見の一部(具体的には鏡面部分)としての外観を現している。一方、本実施形態に係るディスプレイは、対話時になると、図4の(B)に示すように、表示画面を形成し、当該表示画面には上記の部分映像が表示されるようになる。このように本実施形態に係るディスプレイは、ディスプレイ兼用ミラー25によって構成されており、表示画面の形成・消去が自在に切り替え可能となっている。
ディスプレイ兼用ミラー25は、図2に示すように、制御回路26と発光部27を内蔵している。制御回路26は、第一サーバ10Aから出力される表示画面形成命令を受信し、当該命令に従って発光部27を点灯させる。これにより、ディスプレイ兼用ミラー25の鏡面部分に表示画面が形成されるようになる。上記の表示画面形成命令は、ディスプレイ兼用ミラー25が表示画面を形成していない状態において画面形成条件が成立すると、これをトリガーとして第一サーバ10Aによって生成される。
ここで、画面形成条件とは、ディスプレイ兼用ミラー25に表示画面を形成させるための条件として予め設定されたものである。本実施形態では、上述の検出カメラ23がディスプレイ兼用ミラー25の前方位置に居る人の顔を検出(検知)することが、画面形成条件となっている。そして、検出カメラ23がディスプレイ兼用ミラー25の前方位置に居る人の顔を検出(検知)し続けている間、ディスプレイ兼用ミラー25は、表示画面を形成し続ける。他方、検出カメラ23がディスプレイ兼用ミラー25の前方位置に居る人の顔を検出(検知)しなくなると、ディスプレイ兼用ミラー25は、表示画面を消去し、再び姿見としての外観を現すようになる。
なお、画面形成条件については、ディスプレイ兼用ミラー25の前に居る人の顔を検知することに限定されない。例えば、ディスプレイ兼用ミラー25の前に居る人が行う動作又は姿勢を検知対象とし、当該検知対象が予め設定された条件を満たすことを画面形成条件としてもよい。あるいは、ヒトの足音や話し声に反応する音センサを用い、所定の音量以上の音声を音センサが検知することを画面形成条件としてもよい。このように音を検知対象とする構成としては、例えば特開2013−73505号公報や特開2005−78347号公報に記載された構成のように公知の構成を利用することが可能である。
<<第一サーバ及び第二サーバの機能について>>
次に、図5を参照しながら、第一サーバ10A及び第二サーバ10Bの構成をその機能面から改めて説明する。図5は、第一サーバ10A及び第二サーバ10Bのそれぞれの構成を機能面から示したブロック図である。なお、第一サーバ10A及び第二サーバ10Bの双方は機能面で共通するので、以下では、第一サーバ10Aの構成のみを説明することとする。
第一サーバ10Aは、第一空間の映像及び音声を示す対話データを生成し、当該対話データを第二サーバ10Bに向けて送信する。その一方で、第一サーバ10Aは、第二サーバ10Bから対話データを受信し、当該対話データを展開することで第二空間の映像及び音声を再生するための処理を実行する。以上の機能は、第一サーバ10Aにインストールされた対話プログラムが起動することで実現される。より詳しく説明すると、第一サーバ10Aは、そのCPU11が対話プログラムを読み取って実行することで、取得部31、送信部32、受信部33、映像表示部34及び音声再生部35として機能する。以下、各機能部についてそれぞれ説明する。
取得部31は、第一空間内に設置された集音装置21及び撮像カメラ22からの出力信号を受信することで、第一空間の映像及び音声を取得するものである。この取得部31は、CPU11、メモリ12、ハードディスクドライブ13及びI/Oポート15が対話プログラムと協働することで実行される。
送信部32は、取得部31が取得した第一空間の映像及び音声を示すデータとして対話データを生成し、同データを第二サーバ10Bに向けて送信するものである。この送信部32は、CPU11、メモリ12及び通信用インターフェース14が対話プログラムと協働することで実行される。なお、対話データは、撮像カメラ22が撮像した映像を示す映像データと、集音装置21が集音した音声を示す音声データと、を多重化することで生成される。
受信部33は、第二サーバ10Bから送信されてくる対話データを、通信回線3を通じて受信するものである。この受信部33は、CPU11、メモリ12及び通信用インターフェース14が対話プログラムと協働することで実行される。
映像表示部34は、受信部33が受信した対話データ中の映像データを読み取り、当該映像データが示す映像を表示画面に映し出すためのものである。この映像表示部34は、CPU11、メモリ12、ハードディスクドライブ13及びI/Oポート15が対話プログラムと協働することで実行される。
映像表示部34について詳しく説明すると、本実施形態において、映像表示部34は、表示画面を形成するディスプレイ兼用ミラー25を制御して、表示画面の形成・消去を切り替える。具体的に説明すると、検出カメラ23がディスプレイ兼用ミラー25の前に居る人の顔を検出(検知)し、その検知結果として撮像映像の映像信号を出力すると、映像表示部34が当該映像信号を受信する。これをトリガーとして、映像表示部34は、表示画面形成命令を生成してディスプレイ兼用ミラー25の制御回路26に向けて送信する。これにより、発光部27が点灯し、ディスプレイ兼用ミラー25の鏡面部分に表示画面が形成されるようになる。
表示画面の形成後、映像表示部34は、表示画面に映像を表示させる映像表示命令を生成して制御回路26に向けて送信する。これにより、表示画面に、第二サーバ10Bから受信した対話データ(厳密には、その中の映像データ)に基づく映像が表示されるようになる。
さらに、映像表示部34は、検出カメラ23が検出するユーザの顔の位置に応じて、映像データが示す映像中、実際に表示画面に表示する映像を決定する。より具体的に説明すると、本実施形態では、映像データが示す映像、すなわち、撮像カメラ22が撮像した映像がワイド映像となっているのに対し、表示画面に表示可能な映像は、ワイド映像の一部分である部分映像となっている。そして、映像表示部34は、ワイド映像中のどの部分映像を表示するのかを、検出カメラ23が検出するユーザの顔の位置に応じて決定する。また、映像表示部34は、検出カメラ23による検出結果(すなわち、ユーザの顔の位置)が変化したときには、変化後の検出結果に応じてワイド映像中のどの部分映像を表示画面に表示させるかを再度決定する。
音声再生部35は、受信部33が受信した対話データ中の音声データを読み取り、当該音声データが示す音声をオーディオ装置24に再生させるためのものである。この音声再生部35は、CPU11、メモリ12、ハードディスクドライブ13及びI/Oポート15が対話プログラムと協働することで実行される。音声再生部35は、上記の音声データが示す音声を再生させる音声再生命令を生成してオーディオ装置24に向けて送信する。オーディオ装置24は、音声再生命令を受信すると当該命令に従って音声を発生する。これにより、第二サーバ10Bから受信した対話データ(厳密には、その中の音声データ)が示す音声が再生されるようになる。
<<本実施形態に係る映像表示方法>>
次に、本実施形態に係る映像表示方法(以下、本表示方法)について説明する。本表示方法は、上述した第一サーバ10A及び第二サーバ10Bにより実現される。より具体的に説明すると、本表示方法は、第一サーバ10Aと第二サーバ10Bとの間で行われる対話用通信処理において採用されている。言い換えれば、対話用通信処理中で実施される各ステップが、本表示方法を構成する各工程に相当する。
以下、図6を参照しながら、対話用通信処理の流れを説明することとする。図6は、対話用通信処理の流れに関する説明図である。なお、以下では、第二サーバ10Bから送信されてくる対話データに基づき、Aさんが居る第一空間において第二空間の映像及び音声を再生するケースを例に挙げて説明することとする。ただし、以下に説明する手順については、第一サーバ10Aから送信されてくる対話データに基づき、Bさんが居る第二空間において第一空間の映像及び音声を再生する場合でも同様の手順となる。
対話用通信処理は、図6に示すように、先ず、第二空間において撮像及び集音が開始され、第二サーバ10Bが映像及び音声を取得するところから始まる(S001)。なお、本実施形態では、Bさんが第二空間の所定位置、具体的にはディスプレイ兼用ミラー25の前方位置に位置した時点で撮像及び集音が開始されることになっている。より具体的には、Bさんがディスプレイ兼用ミラー25の前に立つと、第二空間内に設置された検出カメラ23がBさんの顔を検出(検知)する。これをトリガーとして集音装置21及び撮像カメラ22が起動し、撮像及び集音が開始される。
第二サーバ10Bは、集音装置21及び撮像カメラ22の各々からの出力信号を受信し、それぞれデータ化して音声データ及び映像データを生成する。さらに、第二サーバ10Bは、上記のデータを多重化して対話データを生成し、当該データを第一サーバ10Aに向けて送信する(S002)。第一サーバ10Aは、通信回線3を通じて対話データを受信する(S003)。このとき、呼び出し音や発光若しくは受信通知用の画像等を利用して対話データを受信した事をAさんに通知するのが望ましい。
一方、第一サーバ10Aが対話データを受信すると、第一空間内に設置された検出カメラ23が、第一空間内の所定位置、具体的にはディスプレイ兼用ミラー25の前にAさんが居るかどうかを判定する(S004)。Aさんが居ない場合(S004でNo)、第一サーバ10Aは、Aさんがディスプレイ兼用ミラー25の前に来るまで待機する。
反対に、検出カメラ23がディスプレイ兼用ミラー25の前に居るAさんの顔を検知(検知)した場合(S004でYes)、第一サーバ10Aは、検知結果に相当する映像信号を検出カメラ23から受信する。これをトリガーとして、第一サーバ10Aは、表示画面形成命令を生成してディスプレイ兼用ミラー25の制御回路26に向けて送信する。そして、制御回路26が表示画面形成命令を受信すると、発光部27が点灯し、それまで姿見としての外観を呈していたディスプレイ兼用ミラー25の鏡面部分に表示画面が形成されるようになる(S005)。
次に、第一サーバ10Aは、検出カメラ23から受信した映像信号を解析し、Aさんの顔の位置を特定する(S006)。具体的に説明すると、第一サーバ10Aは、ディスプレイ兼用ミラー25の前に居るAさんの顔の位置を示す座標値を算出する。ここで、顔の位置を示す座標値とは、顔の所定位置、例えば、顔の中央位置(重心位置)を示す座標値である。
座標値の算出後、第一サーバ10Aは、算出した座標値が基準値と一致するかどうかを判定する(S007)。ここで、基準値とは、ディスプレイ兼用ミラー25の前に居るユーザの顔の位置を特定するにあたり基準として予め設定された値である。より詳しく説明すると、本実施形態では、ディスプレイ兼用ミラーに向かって前方正面に居るときのユーザの顔の所定位置(例えば、顔の中央位置)を原点とし、当該原点の座標値を基準値として設定している。なお、基準値(換言すると、基準値に対応する顔の位置)については、特に限定されるものではなく、任意に設定することが可能である。また、基準値は、単一の値に限らず、範囲を有する値であってもよい。
その後、第一サーバ10Aは、Bさんが居る第二空間の映像や音声を再生させるために、第二サーバ10Bから受信した対話データを展開し、オーディオ装置24やディスプレイ兼用ミラー25に対して命令(音声再生命令及び映像表示命令)を発する。このとき、第一サーバ10Aは、前ステップS007の判定結果に対応した部分映像が表示画面に表示されるように、ディスプレイ兼用ミラー25に命ずる。かかる内容について、図7A及び7B並びに図8を参照しながら具体的に説明する。図7A及び7Bは、Aさんの顔の位置が変化したときに表示画面の映像を切り替える際の手順を示した図である。厳密には、Aさんの顔の位置が変化する様子を図7Aに示し、その変化に連動して表示映像が切り替わる様子を図7Bに示している。
先ず、算出した座標値が基準値に一致する場合(S007でYes)、つまり、Aさんの顔の位置が、ディスプレイ兼用ミラー25の前方正面(具体的には、図7Aに図示したAさんのポジションのうち、真ん中のポジション)に居るときの顔の位置と一致する場合について説明する。かかる場合において、第一サーバ10Aは、第二サーバ10Bから受信した対話データ中の映像データが示すワイド映像のうち、基準値に対応して設定された基準部分映像を表示画面に表示させる。ここで、基準部分映像とは、上記のワイド映像中、中央領域(縦方向及び横方向の双方において中央に位置する領域)に位置する映像のことであり、図7B中、記号Psにて示された映像のことである。
以上のように座標値の算出結果が基準値と一致する場合には、第二空間内の撮像カメラ22によって撮像されたワイド映像のうち、基準部分映像Psが表示画面に表示される(S008)。また、これと同時に、第二サーバ10Bから受信した対話データ中の音声データが示す音声が、オーディオ装置24によって再生されるようになる(S008)。
次に、算出した座標値が基準値と異なる場合(S007でNo)について説明する。かかる場合、第一サーバ10Aは、算出した座標値と基準値とのずれ量を算出する(S009)。その後、第一サーバ10Aは、映像データが示すワイド映像中、算出したずれ量に応じた分だけ基準部分映像からずれた部分映像を表示画面に表示させる(S010)。これらの工程は、前述した映像表示部34の機能によって実現される。
上記の工程S009、S010について分かり易く説明すると、座標値が基準値と異なるということは、Aさんの顔の位置が、ディスプレイ兼用ミラー25の前方正面に居たときの位置(以下、基準位置)からずれていることを意味している。特に、本実施形態では、互いに反対向きである第一の向き及び第二向きのうち、いずれかの向きに顔の位置がずれることを意味している。ここで、第一の向き及び第二の向きとは、左右方向における向きである。より具体的に説明すると、第一の向きは、ディスプレイ兼用ミラー25を正面から見たときの左向きに相当し、第二の向きは、右向きに相当する。
例えば、Aさんの顔の位置が基準位置から第一の向きにずれているとき(すなわち、Aさんが図7A中、左側のポジションに居るとき)、第一サーバ10Aは、そのずれ量を算出する。その後、第一サーバ10Aは、映像データが示すワイド映像において、基準部分映像から第二の向きに上記ずれ量だけずれた部分映像を特定する。この際に特定される部分映像は、ワイド映像中、右側領域に位置する映像であり、具体的には、図7B中、記号Paにて示された映像のことである。そして、第一サーバ10Aは、特定した部分映像Paを表示画面に表示させるようにディスプレイ兼用ミラー25に命ずる。
同様に、Aさんの顔の位置が基準位置から第二の向きにずれているとき(すなわち、Aさんが図7A中、右側のポジションに移ったとき)、第一サーバ10Aは、そのずれ量を算出する。その後、第一サーバ10Aは、映像データが示すワイド映像において、基準部分映像から第一の向きに上記ずれ量だけずれた部分映像を特定する。この際に特定される部分映像は、ワイド映像中、左側領域に位置する映像であり、具体的には、図7B中、記号Pbにて示された映像のことである。そして、第一サーバ10Aは、特定した部分映像Pbを表示画面に表示させるようにディスプレイ兼用ミラー25に命ずる。
以上のように算出した座標値が基準値と異なる場合には、第二空間内の撮像カメラ22によって撮像されたワイド映像のうち、座標値と基準値とのずれ量の分だけ基準部分映像からずれた映像が表示画面に表示される(S010)。また、これと同時に、第二サーバ10Bから受信した対話データ中の音声データが示す音声が、オーディオ装置24によって再生されるようになる(S010)。
そして、本実施形態では、Aさんがディスプレイ兼用ミラー25の前方位置で左右に移動して顔の位置が変化すると(S011)、上述した映像表示に関する一連の工程S006〜S010が繰り返し行われることになっている。これにより、例えば、Aさんの顔の位置が基準位置から第一の向きに移動すると、それまで基準部分映像が表示されていた表示画面の映像が、基準部分映像から第二の向きにずれた部分映像に切り替わるようになる。同様に、Aさんの顔の位置が基準位置から第二の向きに移動すると、それまで基準部分映像が表示されていた表示画面の映像が、基準部分映像から第一の向きにずれた部分映像に切り替わるようになる。
以上のように本実施形態では、ディスプレイ兼用ミラー25の前に居るAさんが、ディスプレイ兼用ミラー25から見て第一の向きに顔を移動させたとき、第一サーバ10Aは、移動前に表示されていた部分映像よりも第二の向きにずれた部分映像を表示画面に表示させる。同様に、ディスプレイ兼用ミラー25から見て第二の向きに顔を移動させたときには、第一サーバ10Aは、移動前に表示されていた部分映像よりも第一の向きにずれた部分映像を表示画面に表示させる。これにより、Aさんは、顔を移動させるだけで、移動前の時点で表示画面を通じて見ていた物(人)の隣に在る物(人)を見られるようになる。すなわち、本実施形態では、いわゆる「覗き込み」の視覚的効果を得ることが可能となる。
「覗き込み」の効果について具体的に説明すると、Aさんの顔の位置が基準位置にあるとき、図1に示すようにBさんの全身像が基準部分映像として表示画面に表示されているとする。かかる状態でAさんが第一の向きに移動してAさんの顔の位置が同じ向きにずれると、第二空間内に設置された撮像カメラ22が撮像したワイド映像中、基準部分映像から第二の向きにずれた部分映像が表示画面に表示されるようになる。これにより、図8に示すように、Bさんの隣に在る物(厳密には、Bさんを正面から見たときの右隣にあった図3に図示の箱状物)の映像が表示されるようになる。図8は、Aさんの顔の位置が変化することで表示画面の映像が切り替わった状況を示した図である。
また、Aさんが第二の向きに移動してAさんの顔の位置が同じ向きにずれると、上記のワイド映像中、基準部分映像から第一の向きにずれた部分映像が表示画面に表示されるようになる。これにより、Bさんの隣に居る人物(厳密には、Bさんを正面から見たときの左隣に居る、図3に図示のCさん)の映像が表示されるようになる。
以上のように本実施形態では、ユーザの顔の位置の変位に連動してワイド映像中、実際に表示画面に表示する部分映像を切り替えることにより、比較的簡易な構成にて「覗き込み」の視覚的効果を得ることができる。より詳しく説明すると、背景技術の項で説明した特許文献2のようにユーザの位置に応じて撮像カメラ22の撮像範囲を変更する構成でれば、ユーザの位置の変化に応じて表示映像を切り替えることが可能である。しかしながら、このような構成では撮像カメラ22の撮像範囲を変更するための機構を別途要するため、構成が複雑化し、コストも高くなる。一方で、本実施形態の構成であれば、撮像カメラ22の撮像範囲を変更するための機構を必要としないため、その分だけ構成がシンプルとなり、コストも抑えられる。
以上のような「覗き込み」の視覚的効果が得られることにより、AさんとBさんの間で行われる対話、すなわち、本表示方法を用いた遠隔対話の臨場感がより高まることになる。なお、「覗き込み」の視覚的効果をより効果的なものとする上で、部分映像の切り替えは、Aさんの顔の移動速度に応じて漸次的に(連続的に)行われることが望ましい。
<<その他の実施形態>>
上記の実施形態では、本発明の映像表示システム及び映像表示方法について、一例を挙げて説明した。ただし、上記の実施形態は、本発明の理解を容易にするための一例に過ぎず、本発明を限定するものではない。すなわち、本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは勿論である。
また、本実施形態では、ユーザの顔の位置の変位に連動してワイド映像中、実際に表示画面に表示する部分映像を切り替えることとした。この際、ユーザの顔が移動する向きや部分映像が変化する向きは、左右方向の向きであることとしたが、これに限定されるものではない。例えば、ユーザの顔の位置が上下に移動した際には、これに連動して表示画面に表示される部分映像が上下に切り替わる(すなわち、移動前の部分映像から上下にずれた部分映像に切り替わる)こととしてもよい。
また、本実施形態では、ユーザ(Aさん)及び対話相手(Bさん)の各々が保有する対話ユニット1、2が共通の構成となっていることとした。より具体的に説明すると、ユーザ及び対話相手のそれぞれに対して、前述の「覗き込み」の視覚的効果を得るための構成が用意されている。ただし、これに限定されるものではなく、図9に示すように、ユーザ及び対話相手のうち、一方の者のみに対して「覗き込み」の視覚的効果を得るための構成が用意されていることとしてもよい。図9は、変形例に係る映像表示システムSxの構成を示した図である。
図9を参照しながら変形例に係る映像表示システムSxについて説明すると、ユーザ側の対話ユニット101は、撮像カメラ22が広角レンズ22aを有していない点を除き、上記の実施形態と同様の構成となっている。すなわち、ユーザ側の対話ユニット101が有する第一サーバ10Aは、上記に実施形態に係る第一サーバ10Aと同様の構成となっている。そして、変形例において第一サーバ10Aは、表示画面に表示させる部分映像を、ユーザの顔の位置の検出結果に応じて切り替える機能を有する。他方、対話相手側の対話ユニット102では、検出カメラ23が設置されてなく、また、第二サーバ10Bが表示画面に表示させる部分映像を切り替える機能を有していない。以上の点において、変形例に係る映像表示システムSxは、上記の実施形態に係る映像表示システム(すなわち、本システムS)と相違する。そして、変形例に係る映像表示システムSxの構成では、ユーザ側及び対話相手側のうち、ユーザ側においてのみ「覗き込み」の視覚的効果が得られるようになる。
また、本実施形態において、ディスプレイは、通常時には姿見として機能するディスプレイ兼用ミラー25であることとしたが、これに限定されるものではない。ディスプレイについては、一般的な汎用ディスプレイであってもよく、例えば壁掛け式の表示パネルを用いてもよい。
1,2,101,102 対話ユニット
3 通信回線
10A 第一サーバ
10B 第二サーバ
11 CPU
12 メモリ
13 ハードディスクドライブ
14 通信用インターフェース
15 I/Oポート
21 集音装置
22 撮像カメラ
22a 広角レンズ
23 検出カメラ
24 オーディオ装置
25 ディスプレイ兼用ミラー
26 制御回路
27 発光部
31 取得部
32 送信部
33 受信部
34 映像表示部
35 音声再生部
S 本システム
Sx 変形例に係る映像表示システム

Claims (8)

  1. 第一空間内に居るユーザが、前記第一空間とは離れた第二空間内の映像を見るために用いられる映像表示システムであって、
    前記第二空間内に設置された撮像装置と、
    前記第一空間内に設置され、映像の表示画面を形成する表示画面形成部と、
    前記撮像装置が撮像した映像を示す映像データを前記撮像装置から受信する受信部と、
    該受信部が受信した前記映像データが示す映像のうち、前記表示画面の大きさに応じた表示サイズとなった部分映像を前記表示画面に表示させる映像表示部と、
    前記第一空間内に居るユーザの位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出するための検出部と、を有し、
    前記映像表示部は、前記検出部による検出結果が変化したときに、変化後の該検出結果に応じて前記映像データが示す映像中、どの前記部分映像を前記表示画面に表示させるかを決め
    前記受信部が前記撮像装置から前記映像データを受信して、前記検出部が前記表示画面の前に前記ユーザが居ないと判定した場合、前記映像データを受信したことを、呼び出し音、発光、又は受信通知用の画像を利用して前記ユーザに通知するよう構成されていることを特徴とする映像表示システム。
  2. 互いに通信可能な第一コンピュータ及び第二コンピュータを有し、
    前記第一コンピュータは、前記撮像装置と接続されており、前記撮像装置が撮像した映像を示す前記映像データを送信する送信部として機能し、
    前記第二コンピュータは、前記表示画面形成部及び前記検出部と接続されており、前記受信部及び前記映像表示部として機能することを特徴とする請求項1に記載の映像表示システム。
  3. 前記撮像装置は、魚眼レンズ又は広角レンズを備え、該魚眼レンズ又は広角レンズを通して映像を撮像する固定カメラであることを特徴とする請求項1又は2に記載の映像表示システム。
  4. 前記検出部は、前記第一空間内に設置された他の撮像装置であり、
    該他の撮像装置は、前記表示画面形成部の前に居る前記ユーザを撮像することで前記ユーザの顔の位置を検出し、
    前記映像表示部は、前記他の撮像装置が検出した前記ユーザの顔の位置を示す座標値を算出し、前記ユーザの顔の位置が変化して前記座標値が変化したときに、変化後の前記座標値に応じて前記映像データが示す映像中、どの前記部分映像を前記表示画面に表示させるかを決めることを特徴とする請求項1乃至3のいずれか一項に記載の映像表示システム。
  5. 前記映像表示部は、算出した前記座標値が予め設定された基準値となるときには、前記映像データが示す映像中、前記基準値に対応して設定された基準部分映像を前記表示画面に表示させ、算出した前記座標値が前記基準値と異なるときには、前記映像データが示す映像中、前記座標値と前記基準値とのずれ量に応じた分だけ前記基準部分映像からずれた前記部分映像を前記表示画面に表示させることを特徴とする請求項4に記載の映像表示システム。
  6. 前記表示画面形成部の前に居る前記ユーザが、互いに反対向きである第一の向き及び第二の向きのうち、前記表示画面形成部から見て前記第一の向きに顔を移動させたとき、前記映像表示部は、移動前に表示されていた前記部分映像よりも前記第二の向きにずれた前記部分映像を前記表示画面に表示させ、
    前記表示画面形成部の前に居る前記ユーザが、前記表示画面形成部から見て前記第二の向きに顔を移動させたとき、前記映像表示部は、移動前に表示されていた前記部分映像よりも前記第一の向きにずれた前記部分映像を前記表示画面に表示させることを特徴とする請求項5に記載の映像表示システム。
  7. 前記表示画面形成部は、前記第一空間内に配置された建築材料、家具若しくは装飾品の一部分を構成するとともに前記表示画面を形成し、
    前記第一空間内に設けられ、前記ユーザが行う動作、前記ユーザが居る位置、前記ユーザの姿勢及び前記ユーザが発する音のうちの少なくとも一つを検知対象としたときに、予め設定された検知条件を満たす前記検知対象を検知するセンサと、を有し、
    該センサが前記検知条件を満たす前記検知対象を検知していない期間中、前記表示画面形成部は、前記表示画面を形成せずに前記一部分としての外観を現し、
    前記センサが前記検知条件を満たす前記検知対象を検知している期間にのみ、前記表示画面形成部は、前記表示画面を形成することを特徴とする請求項1乃至6のいずれか一項に記載の映像表示システム。
  8. 第一空間内に居るユーザが、コンピュータを用いて、前記第一空間とは離れた第二空間内の映像を見るための映像表示方法であって、
    コンピュータが、前記第二空間内に設置された撮像装置が撮像した映像を示す映像データを、前記撮像装置から受信し、コンピュータが、前記第一空間内に設置された表示画面形成部によって形成される表示画面の前に前記ユーザが居ないと判定した場合、前記映像データを受信したことを、呼び出し音、発光又は受信通知用画像を利用して前記ユーザに通知する工程と、
    コンピュータが、前記表示画面に、受信した前記映像データが示す映像のうち、前記表示画面の大きさに応じた表示サイズとなった部分映像を表示させる工程と、
    前記第一空間内に居るユーザの位置、顔の向き、視線及び顔の位置のうち、少なくとも一つを検出部によって検出する工程と、を有し、
    前記部分映像を前記表示画面に表示させる工程の実施中、前記検出部による検出結果が変化したときには、コンピュータが、変化後の該検出結果に応じて前記映像データが示す映像中、どの前記部分映像を前記表示画面に表示させるかを決めることを特徴とする映像表示方法。
JP2015071761A 2015-03-31 2015-03-31 映像表示システム及び映像表示方法 Active JP6570290B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015071761A JP6570290B2 (ja) 2015-03-31 2015-03-31 映像表示システム及び映像表示方法
US15/562,331 US10182206B2 (en) 2015-03-31 2016-03-30 Image display system and image display method
PCT/JP2016/060530 WO2016159163A1 (ja) 2015-03-31 2016-03-30 映像表示システム及び映像表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015071761A JP6570290B2 (ja) 2015-03-31 2015-03-31 映像表示システム及び映像表示方法

Publications (2)

Publication Number Publication Date
JP2016192685A JP2016192685A (ja) 2016-11-10
JP6570290B2 true JP6570290B2 (ja) 2019-09-04

Family

ID=57006053

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015071761A Active JP6570290B2 (ja) 2015-03-31 2015-03-31 映像表示システム及び映像表示方法

Country Status (3)

Country Link
US (1) US10182206B2 (ja)
JP (1) JP6570290B2 (ja)
WO (1) WO2016159163A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021090702A1 (ja) * 2019-11-07 2021-05-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002062832A (ja) * 2000-08-16 2002-02-28 Nippon Signal Co Ltd:The 床埋め込み表示装置
JP4556099B2 (ja) 2003-08-29 2010-10-06 ソニー株式会社 監視システム、制御装置および方法、並びにプログラム
JP2005286442A (ja) * 2004-03-29 2005-10-13 Saxa Inc 監視システムおよび画像通信装置
JP2009196593A (ja) * 2008-02-25 2009-09-03 Denso Corp 車上荒らし予防装置
JP5202448B2 (ja) * 2009-06-17 2013-06-05 シャープ株式会社 画像処理システム及び方法
JP2011023886A (ja) * 2009-07-14 2011-02-03 Panasonic Corp テレビ会議装置及び映像表示処理方法
JP5237234B2 (ja) * 2009-09-29 2013-07-17 日本電信電話株式会社 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP2011113206A (ja) * 2009-11-25 2011-06-09 Nippon Telegr & Teleph Corp <Ntt> 映像コミュニケーションシステム、及び映像コミュニケーション方法
JP5896445B2 (ja) 2011-03-10 2016-03-30 日本電気株式会社 表示装置、表示方法及びプログラム
JP2013073505A (ja) 2011-09-28 2013-04-22 Casio Comput Co Ltd 動作制御装置、動作制御方法及びプログラム
JP6303270B2 (ja) * 2012-05-18 2018-04-04 株式会社リコー ビデオ会議端末装置、ビデオ会議システム、映像の歪み補正方法および映像の歪み補正プログラム
KR102227661B1 (ko) * 2014-01-08 2021-03-15 삼성전자주식회사 화면 미러링 방법 및 그에 따른 장치
US9939167B2 (en) * 2014-10-22 2018-04-10 Honeywell International Inc. HVAC controller

Also Published As

Publication number Publication date
US20180205912A1 (en) 2018-07-19
JP2016192685A (ja) 2016-11-10
US10182206B2 (en) 2019-01-15
WO2016159163A1 (ja) 2016-10-06

Similar Documents

Publication Publication Date Title
KR102312124B1 (ko) 향상된 오디오를 갖는 디바이스
JP2020156109A (ja) 情報処理装置、情報処理方法、プログラム、および情報処理システム
JP6229314B2 (ja) 情報処理装置、表示制御方法及びプログラム
US8887043B1 (en) Providing user feedback in projection environments
JP6496172B2 (ja) 映像表示システム及び映像表示方法
TWI530157B (zh) 多視角影像之顯示系統、方法及其非揮發性電腦可讀取紀錄媒體
JP6753405B2 (ja) 情報処理装置及び情報処理方法
CN110324553B (zh) 基于视频通信的实景窗系统
WO2018025458A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN102111541A (zh) 拍摄控制装置、拍摄控制方法和程序
TWI692976B (zh) 視頻通信裝置及方法
WO2020017261A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP4414708B2 (ja) 動画表示用パーソナルコンピュータ、データ表示システム、動画表示方法、動画表示プログラムおよび記録媒体
US9787939B1 (en) Dynamic viewing perspective of remote scenes
CN114302214A (zh) 一种虚拟现实设备及防抖动录屏方法
TWI439134B (zh) 三維場景數位影像監控系統及方法
WO2021095573A1 (ja) 情報処理システム、情報処理方法及びプログラム
JP2021136683A (ja) 全景リアリティシミュレーションシステム及びその使用方法
JP2007501950A (ja) 3次元像表示装置
WO2009119288A1 (ja) コミュニケーションシステム及びコミュニケーションプログラム
JP6570290B2 (ja) 映像表示システム及び映像表示方法
JP4960270B2 (ja) インターホン装置
WO2012008553A1 (ja) ロボットシステム
CN110324556B (zh) 视频通信装置及方法
WO2019123754A1 (ja) 情報処理装置、情報処理方法、および記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180328

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190709

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190806

R150 Certificate of patent or registration of utility model

Ref document number: 6570290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250