JP6260809B2 - ディスプレイ装置、情報処理方法、及び、プログラム - Google Patents

ディスプレイ装置、情報処理方法、及び、プログラム Download PDF

Info

Publication number
JP6260809B2
JP6260809B2 JP2013144501A JP2013144501A JP6260809B2 JP 6260809 B2 JP6260809 B2 JP 6260809B2 JP 2013144501 A JP2013144501 A JP 2013144501A JP 2013144501 A JP2013144501 A JP 2013144501A JP 6260809 B2 JP6260809 B2 JP 6260809B2
Authority
JP
Japan
Prior art keywords
user
video
message
display device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2013144501A
Other languages
English (en)
Other versions
JP2015019203A (ja
Inventor
祐介 阪井
祐介 阪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013144501A priority Critical patent/JP6260809B2/ja
Priority to EP20140171532 priority patent/EP2830309A1/en
Priority to US14/320,810 priority patent/US10298525B2/en
Priority to CN201410314236.2A priority patent/CN104281371B/zh
Publication of JP2015019203A publication Critical patent/JP2015019203A/ja
Application granted granted Critical
Publication of JP6260809B2 publication Critical patent/JP6260809B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/10—Multimedia information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/16—Arrangements for providing special services to substations
    • H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
    • H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
    • H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本技術は、ディスプレイ装置、情報処理方法、及び、プログラムに関し、特に、その場にいないユーザ同士がメッセージをやりとりすることができるようにしたディスプレイ装置、情報処理方法、及び、プログラムに関する。
ユーザが自身の映像メッセージを記録媒体に記録して、相手に郵送する、いわゆるビデオレターが知られている。また、ビデオレターのように郵送することなく、インターネットに接続可能な環境であれば、映像メッセージを他の装置に配信することができる動画配信システムが提案されている（例えば、特許文献１参照）。
特開２００３−７８９０１号公報
しかしながら、従来の技術であると、映像メッセージを相手に送ることはできるが、映像メッセージは、送信元のユーザが送信先のユーザに対し、一方的に話しかけるものであるため、映像メッセージを再生しても、ユーザ同士が、インタラクティブなコミュニケーションをとることができない。そのため、その場にいないユーザ同士がメッセージをやりとりできるようにしたいという要求があった。
本技術はこのような状況に鑑みてなされたものであり、その場にいないユーザ同士がメッセージをやりとりすることができるようにするものである。
本技術の一側面のディスプレイ装置は、複数のユーザのうちの特定のユーザと同一の空間内に同時に存在しない他のユーザに対する前記特定のユーザからの通知であって、前記特定のユーザの映像を含む第１のメッセージを登録するメッセージ登録部と、前記第１のメッセージを、前記他のユーザの映像と重ね合わせて再生し、前記第１のメッセージに対する前記他のユーザからの応答であって、前記特定のユーザと前記他のユーザとが同時に存在している映像を含む第２のメッセージを再生するメッセージ再生部とを備え、前記第１のメッセージと前記第２のメッセージは、時系列で、繰り返しやり取りされるディスプレイ装置である。
前記第２のメッセージは、前記特定のユーザの映像と、前記他のユーザの映像とを重ね合わせた合成映像を含んでいる。
前記特定のユーザと、前記他のユーザとは、同一の空間内に、異なる時間帯に存在し、前記メッセージ再生部は、前記他のユーザに対し、前記第１のメッセージを再生し、前記メッセージ登録部は、前記他のユーザからの応答として、前記第１のメッセージが再生されている状態で、前記第２のメッセージを登録する。
前記合成映像において、前記特定のユーザの映像と、前記他のユーザの映像は、同一の空間内に存在している。
前記メッセージ登録部は、各ユーザの映像と、背景の映像とを分離して登録し、前記メッセージ再生部は、１つの背景の映像に対して、複数のユーザの映像が重ね合わされた前記合成映像を再生する。
空間内におけるユーザの位置を検出する位置検出部をさらに備え、前記メッセージ再生部は、ユーザの映像が、ユーザの検出位置に応じて調整された前記合成映像を再生する。
前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて表示位置が調整されている。
前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて透明度が調整されている。
前記合成映像におけるユーザの映像は、メッセージの登録時刻に応じて配置の順序が調整されている。
前記合成映像におけるユーザの映像は、ユーザによる設定に応じて配置の順序が調整されている。
前記メッセージ再生部は、複数のユーザの映像が重なる場合に、各ユーザの映像が重ならないように調整された前記合成映像を再生する。
本技術の一側面の情報処理方法又はプログラムは、上述した本技術の一側面のディスプレイ装置に対応する情報処理方法又はプログラムである。
本技術の一側面のディスプレイ装置、情報処理方法、及び、プログラムにおいては、複数のユーザのうちの特定のユーザと同一の空間内に同時に存在しない他のユーザに対する前記特定のユーザからの通知であって、前記特定のユーザの映像を含む第１のメッセージが登録され、前記第１のメッセージが、前記他のユーザの映像と重ね合わせて再生され、前記第１のメッセージに対する前記他のユーザからの応答であって、前記特定のユーザと前記他のユーザとが同時に存在している映像を含む第２のメッセージが再生され、前記第１のメッセージと前記第２のメッセージは、時系列で、繰り返しやり取りされる。
本技術の一側面によれば、その場にいないユーザ同士がメッセージをやりとりすることができる。
本技術を適用したディスプレイ装置の外観を示す図である。 本技術を適用したディスプレイ装置の内部構成を示す図である。 制御部の機能的構成例を示す図である。 記録部の詳細を示す図である。 メッセージ送受信処理を説明するフローチャートである。 メニュー画面選択時のディスプレイ装置の表示例を示す図である。 メッセージ送信処理の詳細を説明するフローチャートである。 映像メッセージ送信時のディスプレイ装置の表示例を示す図である。 メッセージ受信処理の詳細を説明するフローチャートである。 映像メッセージ受信時のディスプレイ装置の表示例を示す図である。 メッセージ返信処理の詳細を説明するフローチャートである。 映像メッセージ返信時のディスプレイ装置の表示例を示す図である。 返信用の映像メッセージの再生時のディスプレイ装置の表示例を示す図である。 メッセージデータベースの構成例を示す図である。 時系列で並べられた映像メッセージを示した図である。 空間内のユーザ位置を示した図である。 映像メッセージを時系列で示したタイミングチャートである。 ユーザの映像の重ね合わせの例を示す図である。 ユーザの表示位置の調整を説明する図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。
＜ディスプレイ装置の構成＞
（ディスプレイ装置の外観）
図１は、本技術を適用したディスプレイ装置の外観を示す図である。
図１に示すように、ディスプレイ装置１０は、大画面を有する板状の筐体からなり、主な使用形態として、大画面が縦向きになるように設置されるか、あるいは壁に掛けられることが想定される。
ディスプレイ装置１０は、タッチセンサと表示部とが一体化されたタッチパネルのほか、カメラ部やマイクロフォンを有している。これにより、ディスプレイ装置１０は、あるユーザによるタッチパネル操作に従い、他のユーザに対する映像メッセージを登録（録画）して、他のユーザが、登録された映像メッセージを再生できるようにしている。
（ディスプレイ装置の内部構成）
図２は、本技術を適用したディスプレイ装置の内部構成を示す図である。
図２に示すように、図１のディスプレイ装置１０は、制御部１０１、メモリ部１０２、操作部１０３、カメラ部１０４、マイクロフォン１０５、タッチパネル１０６、スピーカ１０７、記録部１０８、及び、通信部１０９から構成される。
制御部１０１は、ディスプレイ装置１０の各部の動作を制御する。メモリ部１０２は、制御部１０１からの制御に従い、各種のデータを一時的に保持する。
操作部１０３は、ディスプレイ装置１０に設けられたボタン等であり、ユーザの操作に応じて操作信号を制御部１０１に供給する。制御部１０１は、操作部１０３からの操作信号に応じて、各部の動作を制御する。
カメラ部１０４は、制御部１０１からの制御に従い、被写体の撮影を行う。カメラ部１０４は、撮影により得られる映像データを、制御部１０１に供給する。マイクロフォン１０５は、制御部１０１からの制御に従い、外部からの音声を音声データに変換して、制御部１０１に供給する。制御部１０１は、カメラ部１０４からの映像データと、マイクロフォン１０５からの音声データを関連付けて、映像メッセージとして記録部１０８に記録する。なお、ここでは、その詳細については述べないが、例えば、映像メッセージは、所定の圧縮方式に従って圧縮され、ファイルとして記録される。
タッチパネル１０６は、表示部１５１と、その画面上に重畳されるタッチセンサ１５２から構成される。表示部１５１は、液晶ディスプレイ（LCD：Liquid Crystal Display）等で構成され、制御部１０１からの制御に従い、各種の情報を表示する。また、タッチセンサ１５２は、ユーザによりタッチパネル１０６に対して行われる入力操作を、その操作が行われた場所のタッチパネル１０６上での位置とともに検出し、その検出信号を制御部１０１に供給する。制御部１０１は、タッチセンサ１５２からの検出信号に応じて、各部の動作を制御する。
なお、タッチパネル１０６では、例えば、静電容量方式や電磁誘導方式などの各種の検出方式を採用することができる。
スピーカ１０７は、制御部１０１からの制御に従い、音声データを音声に変換して、外部に出力する。記録部１０８は、例えばHDD（Hard Disk Drive）等から構成される。記録部１０８は、制御部１０１からの制御に従い、各種のデータを記録する。
通信部１０９は、制御部１０１からの制御に従い、ネットワークを介して他の電子機器や各種のサーバ（不図示）と通信を行う。
ディスプレイ装置１０は、以上のように構成される。
（制御部の機能的構成例）
図３は、図２の制御部１０１の機能的構成例を示す図である。
図３に示すように、制御部１０１は、ユーザ検出部２０１、メッセージ登録部２０２、メッセージ再生部２０３、位置検出部２０４、及び、表示制御部２０５から構成される。
ユーザ検出部２０１は、カメラ部１０４からの映像データに対し、所定の画像処理を施すことで、ディスプレイ装置１０の正面付近に存在するユーザを検出する。ユーザ検出部２０１は、ユーザの検出結果を、表示制御部２０５等に供給する。
メッセージ登録部２０２には、映像メッセージの登録時に、カメラ部１０４からの映像データと、マイクロフォンからの音声データが供給される。メッセージ登録部２０２は、映像データと音声データからなる映像メッセージを、記録部１０８に保持されたメッセージデータベース２３２（図４）に登録する。
ここで、図４に示すように、記録部１０８は、ユーザデータベース２３１と、メッセージデータベース２３２を保持している。ユーザデータベース２３１には、各ユーザに関するユーザ情報が格納されている。従って、ユーザデータベース２３１に格納されたユーザ情報を用いて、あるユーザによる他のユーザに対する映像メッセージを、メッセージデータベース２３２に登録（録画）することができる。なお、ユーザデータベース２３１には、例えば、ユーザ名や、ユーザの顔画像などのユーザ情報が格納されている。また、メッセージデータベース２３２には、映像メッセージのほか、例えば、送信元、送信先、送信日時、ユーザの位置情報などが格納されている。
図３の説明に戻り、メッセージ再生部２０３は、映像メッセージの再生時に、記録部１０８に保持されたメッセージデータベース２３２を参照して、映像メッセージを読み出す。メッセージ再生部２０３は、映像メッセージを構成するデータのうち、映像データを表示部１５１に供給し、音声データをスピーカ１０７に供給する。これにより、あるユーザによる他のユーザに対する映像メッセージが再生される。
位置検出部２０４は、カメラ部１０４からの映像データに対し、所定の画像処理を施すことで、空間内におけるユーザの３次元位置を検出し、その検出位置を検出対象のユーザに関連付けて、メッセージデータベース２３２に格納する。なお、画像処理を用いる方法に限らず、例えば、位置検出用のセンサを用いるなど、他の検出方法により３次元位置が検出されるようにしてもよい。
表示制御部２０５は、各種の画面を表示部１５１に表示させる。例えば、表示制御部２０５は、ユーザ検出部２０１からのユーザの検出結果に従い、メニュー画面を表示部１５１に表示される。
制御部１０１は、以上のように構成される。
＜具体的な使用例＞
次に、ディスプレイ装置１０の使用方法について説明する。ここでは、その具体的な使用方法として、その場にいないユーザ同士が、ディスプレイ装置１０を介して映像メッセージをやりとりする場面について説明する。また、この例では、説明を分かり易くするため、ある家の居間にディスプレイ装置１０が設置され、その家に住んでいる家族が、家庭内で映像メッセージをやりとりする例について述べる。ただし、この家族は、父親、母親、３人の子供（２人の息子、１人の娘）の５人家族であるものとする。
（メッセージ送受信処理）
まず、図５のフローチャートを参照して、ディスプレイ装置１０により実行されるメッセージ送受信処理を説明する。
ステップＳ１１において、ディスプレイ装置１０の起動が指示されたか否かが判定される。ディスプレイ装置１０の起動が指示された場合には、処理は、ステップＳ１２に進められる。
ステップＳ１２において、ユーザ検出部２０１は、ユーザ検出処理を行う。このユーザ検出処理においては、カメラ部１０４からの映像データに、所定の画像処理が施され、ディスプレイ装置１０の正面付近にユーザが存在する場合には、映像に含まれる被写体（ユーザ）が検出される。
なお、検出されたユーザの顔画像のデータをメモリ１０２に保持しておくことで、ユーザがタッチパネル操作の際にディスプレイ装置１０に近接するなどして、フレームアウトしても、対象のユーザを認識し続けることができる。また、ユーザ検出部２０１は、ユーザデータベース２３１を参照して、検出されたユーザの顔画像と一致するユーザを特定する。これにより、ユーザ認証が行われ、検出されたユーザが誰であるのかが認識されるので、各ユーザに応じた処理を実行することができる。
ステップＳ１３においては、ステップＳ１２のユーザ検出処理によってユーザが検出されたか否かが判定される。ステップＳ１３において、ユーザが検出されていないと判定された場合、処理はステップＳ１２に戻り、ユーザが検出されるまで、ステップＳ１２乃至Ｓ１３の処理が繰り返される。
一方、ステップＳ１３において、ユーザが検出されたと判定された場合、処理は、ステップＳ１４に進められる。ステップＳ１４において、表示制御部２０５は、検出されたユーザの映像とともに、メニュー画面を、表示部１５１に表示させる。
図６は、ユーザが検出されてから、メニュー画面が表示されるまでのディスプレイ装置１０の表示例を図示している。図６Ａは、ユーザが検出される前の表示状態を示している。ユーザが検出される前は、誰もいない状態の居間の映像が表示される。なお、ユーザが検出される前の映像は、ぼかした状態で表示される。
その後、例えば父親が居間に入ってきて、ディスプレイ装置１０の正面に立った場合、ユーザとして父親が検出され、父親の映像が表示される。なお、このとき、父親の顔付近の領域以外の領域がぼかした状態で表示されるようにしてもよい。また、父親の映像には、メニュー画面２５１が重畳して表示される。メニュー画面２５１には、新規の映像メッセージの送信を行う際に選択される送信アイコン２５２、他のユーザからの映像メッセージの受信を行う際に選択される受信アイコン２５３、他のユーザからの映像メッセージに対する返信を行う際に選択される返信アイコン２５４が表示される。
図５のフローチャートに戻り、ステップＳ１５においては、メニュー画面からメッセージの送信が選択されたか否かが判定される。ステップＳ１５において、例えばメニュー画面２５１において送信アイコン２５２がタッチパネル操作され、メッセージの送信が選択されたと判定された場合、処理はステップＳ１６に進められる。
ステップＳ１６において、メッセージ登録部２０２は、メッセージ送信処理を実行する。メッセージ送信処理においては、例えば、父親がユーザとして検出された場合、父親から娘への新規の映像メッセージが登録（録画）される。この映像メッセージは、メッセージデータベース２３２に登録される。なお、メッセージ送信処理の詳細は、図７のフローチャートを参照して後述する。
メッセージ送信処理が終了すると、処理はステップＳ２０に進められる。
ステップＳ１５において、メッセージの送信が選択されていないと判定された場合、処理は、ステップＳ１７に進められる。ステップＳ１７においては、メニュー画面から映像メッセージの受信が選択されたか否かが判定される。ステップＳ１７において、例えばメニュー画面２５１において受信アイコン２５３がタッチパネル操作され、メッセージの受信が選択されたと判定された場合、処理は、ステップＳ１８に進められる。
ステップＳ１８において、メッセージ再生部２０３は、メッセージ受信処理を実行する。メッセージ受信処理においては、例えば、父親がユーザとして検出された場合、事前に登録済みの娘から父親への映像メッセージが、メッセージデータベース２３２から読み出され、再生される。なお、メッセージ受信処理の詳細は、図９のフローチャートを参照して後述する。
メッセージ受信処理が終了すると、処理はステップＳ２０に進められる。
ステップＳ１７において、例えばメニュー画面において返信アイコン２５４がタッチパネル操作され、映像メッセージの受信が選択されていないと判定された場合、処理は、ステップＳ１９に進められる。
ステップＳ１９において、メッセージ登録部２０２は、メッセージ返信処理を実行する。メッセージ返信処理においては、例えば、娘からの映像メッセージを見た父親がユーザとして検出された場合、父親から娘への返信用の映像メッセージが登録（録画）される。この映像メッセージは、メッセージデータベース２３２に登録される。なお、メッセージ返信処理の詳細は、図１１のフローチャートを参照して後述する。
なお、返信アイコン２５４は、ステップＳ１８のメッセージ受信処理において、映像メッセージの再生が終了したときに表示されるようにしてもよく、その場合に返信アイコン２５４がタッチパネル操作され、メッセージ返信処理が実行されると、直前に再生した映像メッセージに対する返信用の映像メッセージが登録されることになる。
メッセージ返信処理が終了すると、処理はステップＳ２０に進められる。
ステップＳ２０においては、ユーザによって映像メッセージに関する他の操作が行われるかどうかが判定される。ステップＳ２０において、他の操作が行われると判定された場合、処理は、ステップＳ１４に戻り、それ以降の処理が繰り返される。一方、ステップＳ２０において、他の操作が行われないと判定された場合、処理は、ステップＳ２１に進められる。
ステップＳ２１において、ディスプレイ装置１０の終了が指示されたか否かが判定される。ステップＳ２１において、ディスプレイ装置１０の終了が指示されていないと判定された場合、処理は、ステップＳ１２に戻り、それ以降の処理が繰り返される。そして、ステップＳ２１において、ディスプレイ装置１０の終了が指示された場合、図５のメッセージ送受信処理は終了する。
以上で、メッセージ送受信処理の説明を終了する。
（メッセージ送信処理）
次に、図７のフローチャートを参照して、図５のステップＳ１６に対応するメッセージ送信処理の詳細について説明する。
ステップＳ６１において、表示制御部２０５は、ユーザデータベース２３１を参照して、映像メッセージの送信先（宛先：他のユーザ）の選択画面を、表示部１５１に表示させる。これにより、ユーザは、送信先の選択画面から所望の送信先を、タッチパネル操作により選択することができる。
ステップＳ６２においては、ユーザのタッチパネル操作により、映像メッセージの送信先が選択されたか否かが判定される。映像メッセージの送信先が選択されると、処理は、ステップＳ６３に進められる。
ステップＳ６３においては、映像メッセージの登録を開始するか否かが判定される。ステップＳ６３において、映像メッセージの登録を開始すると判定された場合、処理は、ステップＳ６４に進められる。
ステップＳ６４において、位置検出部２０４は、例えば、映像データに対し、所定の画像処理を施すことで、空間内におけるユーザの３次元位置を検出し、その検出位置をメッセージデータベース２３２に登録する。
ステップＳ６５において、メッセージ登録部２０２は、カメラ部１０４からの映像データと、マイクロフォン１０５からの音声データを、映像メッセージとしてメッセージデータベース２３２に登録する。
これにより、あるユーザによる他のユーザに対する映像メッセージが登録（録画）され、他のユーザは、その映像メッセージを再生することができるので、換言すれば、あるユーザから他のユーザに対し、映像メッセージが送信されたと言うことができる。
映像メッセージの登録が完了すると、処理は、図５のステップＳ１６に戻り、それ以降の処理が実行される。
図８は、映像メッセージの送信時におけるディスプレイ装置１０の表示例を示す図である。
図８Ａに示すように、メニュー画面２５１から送信アイコン２５２が選択されると、ディスプレイ装置１０の正面に立っている父親の映像に重畳して、送信先の選択画面２６１が表示される。ここでは、あらかじめ家族全員のユーザ情報を、ユーザデータベース２３１に登録しておくことで、ユーザ認証により特定された父親以外の母親と子供達の顔画像が選択画面２６１に表示される。そして、父親によるタッチパネル操作によって、選択画面２６１から娘の顔画像が選択されると、映像メッセージの送信先として娘が選択される。
このように、映像メッセージの送信先となるユーザの顔画像が表示されるので、映像メッセージの登録を行うユーザは、直感的に送信先を選択することができる。また、ここでは、送信先が１つだけ選択される例を説明するが、例えば、自分以外の家族全員を送信先として選択するなど、複数の送信先が選択されるようにしてもよい。
送信先が選択されると、例えば、図８Ｂに示すように、所定のカウントダウンが表示された後、映像メッセージの登録が開始される。これにより、図８Ｃに示すように、映像メッセージの登録（録画）が行われることになる。
例えば、父親が娘を送信先に選択して映像メッセージを送信する場合、父親は、ディスプレイ装置１０の正面に立って、ジェスチャを交えながら、その空間内（居間）に同時に存在しない娘に話しかけることで、娘に対する映像メッセージが録画されることになる。その結果、メッセージデータベース２３２には、娘に対する映像メッセージのほか、送信元（父親）、送信先（娘）、送信日時、ユーザの位置情報（父親の立ち位置）などの情報が登録されることになる。
以上で、メッセージ送信処理の説明を終了する。
（メッセージ受信処理）
次に、図９のフローチャートを参照して、図５のステップＳ１８に対応するメッセージ受信処理の詳細について説明する。
ステップＳ１１１において、表示制御部２０５は、メッセージデータベース２３２を参照して、ユーザが送信先（宛先）となっている映像メッセージの選択画面を、表示部１５１に表示させる。
ステップＳ１１２においては、ユーザのタッチパネル操作により、再生対象の映像メッセージが選択されたか否かが判定される。再生対象の映像メッセージが選択されると、処理は、ステップＳ１１３に進められる。
ステップＳ１１３において、メッセージ再生部２０３は、メッセージデータベース２３２を参照して、再生対象の映像メッセージを再生する。
これにより、あるユーザが、他のユーザによって登録（録画）された映像メッセージを再生することができるので、換言すれば、あるユーザが他のユーザからの映像メッセージを受信したと言うことができる。
映像メッセージの再生が終了すると、処理は、図５のステップＳ１８に戻り、それ以降の処理が実行される。
図１０は、映像メッセージの受信時におけるディスプレイ装置１０の表示例を示す図である。
図１０Ａに示すように、メニュー画面２５１から受信アイコン２５３が選択されると、ディスプレイ装置１０の正面に立っている父親の映像に重畳して、映像メッセージの選択画面２６２が表示される。ここでは、父親に対する映像メッセージを送った家族の顔画像と、その映像メッセージの送信日時が選択画面２６２表示される。例えば、9:00に母親、10:10に娘がそれぞれ、父親に対する映像メッセージを送っている場合、送信日時とともに母親と娘の顔画像が選択画面２６２に表示される。そして、父親によるタッチパネル操作によって、例えば、娘の顔画像が選択されると、娘からの映像メッセージが選択されることになる。
このように、映像メッセージの送信元の顔画像が表示されるので、映像メッセージの再生を行うユーザは、直感的にメッセージを選択することができる。
顔画像が選択されると、映像メッセージの再生が開始される。例えば、図１０Ｂに示すように、娘からの映像メッセージを再生すると、娘の映像が表示されるが、娘の録画映像に重畳させて、父親のライブ映像を表示させることができる。その際に、父親の映像の透明度を調整して半透明にすることで、映像メッセージの送信元である娘の映像を強調して表示させることができる。
映像メッセージの再生が終了すると、図１０Ｃに示すように、透明度が調整されていた父親の映像が元の状態に戻って、父親のライブ映像が表示される。一方、例えば、映像メッセージとして再生されていた娘の映像の透明度を調整して半透明にすることで、再生が終了したことを明示することができる。また、再生が終了した場合に、リプレイを指示するためのアイコンを表示することで、そのアイコンがタッチパネル操作された場合には、再度、娘からの映像メッセージが再生されるようにすることができる。さらに、再生の終了時に返信アイコンを表示することで、返信アイコンがタッチパネル操作された場合には、直前に再生された娘からの映像メッセージに対する、父親からの返信用の映像メッセージが登録されることになる。
なお、図１０を参照して説明した映像メッセージの再生時の表示形態は一例であり、例えば、娘の映像メッセージを再生している間は、父親のライブ映像を非表示にするなど、他の表示形態を採用することができる。
以上で、メッセージ受信処理の説明を終了する。
（メッセージ返信処理）
次に、図１１のフローチャートを参照して、図５のステップＳ１９に対応するメッセージ返信処理の詳細について説明する。
ステップＳ１６１において、メッセージ再生部２０３は、メッセージデータベース２３２を参照して、返信対象の映像メッセージを再生する。ここで、映像メッセージの返信は、映像メッセージの再生を行ったユーザが、その映像メッセージの送信元のユーザに対して行うものである。従って、返信対象の映像メッセージは、図９のステップＳ１１３において、再生対象となった映像メッセージとなる。
ステップＳ１６２においては、映像メッセージの登録を開始するか否かが判定される。ステップＳ１６２において、映像メッセージの登録を開始すると判定された場合、処理は、ステップＳ１６３に進められる。
ステップＳ１６３において、位置検出部２０４は、例えば、映像データに対し、所定の画像処理を施すことで、空間内におけるユーザの３次元位置を検出して、その検出位置をメッセージデータベース２３２に登録する。
ステップＳ１６４において、メッセージ登録部２０２は、カメラ部１０４からの映像データと、マイクロフォン１０５からの音声データを、映像メッセージとしてメッセージデータベース２３２に登録する。
ステップＳ１６５においては、映像メッセージの登録を終了するか否かが判定される。ステップＳ１６５において、映像メッセージの登録を終了しないと判定された場合、処理は、ステップＳ１６４に戻り、それ以降の処理が繰り返される。すなわち、この場合、返信対象の映像メッセージが再生され、表示部１５１に表示されている状態で、返信用の映像メッセージが登録されることになる。
返信用の映像メッセージの登録が終了すると、処理は、図５のステップＳ１９に戻り、それ以降の処理が実行される。
図１２は、映像メッセージの返信時におけるディスプレイ装置１０の表示例を示す図である。
メニュー画面２５１に表示された返信アイコン２５４、あるいは再生の終了時に表示された返信アイコンが選択されると、図１２Ａに示すように、所定のカウントダウンが表示され、その後、返信用の映像メッセージの登録が開始される。これにより、図１２Ｂに示すように、返信用の映像メッセージの登録（録画）が行われることになる。
例えば、娘からの映像メッセージに対して父親が返信を行う場合に、娘からの映像メッセージが再生されている状態で、父親のライブ映像を表示することで、父親は娘の映像を見ながら、娘の映像に合わせたジェスチャをとることができる。具体的には、図１２Ｂの例では、学校の成績を映像メッセージとして報告した娘の録画映像に対し、娘の映像の頭を撫でながら成績をほめている父親のライブ映像が表示されている。つまり、父親と娘は、同一の空間内（居間）に同時に存在していないが、あたかも同時に存在しているような合成映像が表示され、これを映像メッセージとして登録（録画）することができる。
このように、例えば、父親が仕事から帰ってきたときに、娘は既に就寝中であったとしても、父親宛の映像メッセージを残しておけば、父親は、その映像メッセージを再生して、娘の近況を知ることができる。また、父親は、娘宛の映像メッセージであって、父親と娘が同時に存在している映像を残すことができる。これにより、図１３に示すように、翌日、娘は父親からの映像メッセージを再生して、学校の成績をほめてくれている父親からの返信を受け取ることができる。
以上で、メッセージ返信処理の説明を終了する。
（映像の重ね合わせの原理）
上述したように、本技術では、同一の空間内に同時に存在しないユーザが別個に登録した映像メッセージの映像を重ね合わせることで、それらのユーザがあたかも一緒にいるような合成映像が再生されるようにしている。そこで、以下、本技術による映像の重ね合わせの原理について説明する。ここでは、図１４に示す映像メッセージが時系列で、メッセージデータベース２３２に順次登録されるものとする。
図１４のメッセージデータベース２３２には、時刻t0に、ユーザＡ（母親）により、家族全員に対し、「冷蔵庫にアイスクリームがあるよ。」との映像メッセージが登録され、時刻t1に、ユーザＢ，Ｃ（息子）からユーザＡ（母親）に対し、「アイスクリーム、おいしかったよ。」との映像メッセージが登録されている。また、時刻t2には、ユーザＤ（娘）からユーザＭ（父親）に対し、「お父さん、おかえりなさい。」との映像メッセージが登録されている。そして、現時点（時刻now）において、ユーザＭ（父親）からのユーザＤ（娘）に対する「ありがとう。」の映像メッセージが登録中である。
図１４の例では、説明の都合上、映像メッセージを、対応する文字列で記述しているが、実際には、送信元のユーザが、その場にいない送信先のユーザに対して身振り手振りをしながら話しかけている映像が登録されている。
具体的には、図１５に示すように、時間軸を時刻tの矢印の方向にとって、メッセージデータベース２３２に登録された映像メッセージを時系列で並べれば、ユーザＡ（母親）、ユーザＢ，Ｃ（息子）、ユーザＤ（娘）、ユーザＭ（父親）の順に、映像メッセージが登録されたことになる。なお、図１５においては、各映像メッセージを構成する複数のフレームのうち、１フレームのみを時系列で図示している。
ここで、図１６に示すように、ディスプレイ装置１０が設置された居間を上側から見た場合に、映像メッセージを登録している各ユーザが同時に存在していたとすれば、その立ち位置は、ばらばらである。また、このような状況で登録される映像メッセージには、ユーザの映像だけでなく、背景の映像も含まれることになるが、各映像メッセージの背景は、基本的に同一の背景となる。そして、映像を重ね合わせて合成映像を生成する際には１つの背景だけあればよく、それ以外の他の背景は必要がない。そこで、映像メッセージを登録する際には、ユーザの映像と、背景の映像とを分離して登録するものとする。
具体的には、図１５に示すように、時刻t0の映像のうち、ユーザＡ（母親）と背景とが分離されて登録され、時刻t1の映像のうち、ユーザＢ，Ｃ（息子）と背景とが分離されて登録され、時刻t2の映像のうち、ユーザＤ（娘）と背景とが分離されて登録されている。これにより、例えば、すべてのユーザを含む合成映像の再生時には、背景を含む父親のライブ映像に対して、背景が分離された母親、息子、娘の録画映像が重ね合わされた合成映像が再生されることになる。
また、各ユーザと背景の映像を分離して登録するための手法であるが、例えば、次の手法を採用することができる。すなわち、ディスプレイ装置１０に複数のカメラ部１０４−１乃至１０４−３を設けて、各カメラ部１０４で撮影される撮影画像間で生じるずれを利用したステレオ視によって背景分離を行うことで、各ユーザと背景の映像を分離することができる。なお、ステレオ視を用いた手法は、各ユーザと背景の映像を分離する手法の一例であり、例えば、赤外線のパターンを照射する手法や背景差分法、位相センサ等の各種のセンサによる検出結果を用いる手法などを採用して、各ユーザと背景の映像を分離することもできる。これらの手法を用いることで、各ユーザの映像と背景の映像のリアルタイムでの分離登録が可能となる。
図１７は、図１４のメッセージデータベース２３２に登録された映像メッセージを時系列で示したタイミングチャートである。図１７において、図中の水平方向は時間軸を表し、図中の垂直方向は映像を重ね合わせる際のレイヤを表している。図１７のタイミングチャートに示すように、各映像メッセージは、映像メッセージごとに、ユーザの映像と背景の映像とが分離されたうえで、メッセージデータベース２３２に登録（録画）されることになる。また、現時点（時刻now）において、ユーザＭ（父親）が返信用の映像メッセージを登録する際には、ユーザＤ（娘）からの映像メッセージが再生され、合成映像が表示されることになるが、背景が分離されているため、ユーザＤ（娘）の録画映像のみが、父親のライブ映像に重ね合わされることになる。
また、図１４には示していないが、メッセージデータベース２３２には、各ユーザの立ち位置を示すユーザの位置情報が、各映像メッセージに対応付けられて格納されることになる。すなわち、図１６に示したように、各ユーザの立ち位置は、ばらばらであるが、それらのユーザの実際の立ち位置を３次元位置として検出することで、その検出位置を、映像を重ね合わせる際のレイヤの順序に反映させることができる。
図１６の例において、ユーザＤ（娘）の検出位置と、ユーザＭ（父親）の検出位置を比較すれば、ディスプレイ装置１０に対して、父親よりも娘のほうが手前にいることになる。この場合には、図１８に示すように、手前にいる娘の映像が、父親の映像よりも手前にくるように映像を重ね合わせることで、各ユーザの実際の立ち位置に応じた映像メッセージを再生することができる。なお、映像の透明度を調整して、例えば、娘よりも後ろにいる父親の映像が薄くなるように表示することなどによっても、同様の効果を得ることができる。
また、図１９に示すように、各ユーザが、ディスプレイ装置１０の正面で映像メッセージを登録した場合には、映像メッセージの再生時に、各ユーザの映像が重なってしまい、映像が見づらくなることが想定される。この場合には、ユーザの映像の表示位置を調整して、各ユーザの映像が重ならないようにすることができる。例えば、娘がディスプレイ装置１０の正面の中心位置に立って、父親宛の映像メッセージを登録した後に、父親が同様に中心位置に立って、娘宛の映像メッセージの登録を行う場合、娘の録画映像と父親のライブ映像の表示位置が重なってしまう。
この場合には、各ユーザの立ち位置を検出し、ユーザの映像の表示位置をずらすことで、各ユーザの表示位置が重ならないようにすることができる。例えば、娘と息子の映像メッセージが登録済みである場合、図１９Ａに示すように、中心位置から、娘の映像を図中の右方向に距離ｄだけずらし、さらに、息子の映像を図中の右方向に距離２ｄだけずらすことで、父親のライブ映像と、娘及び息子の録画映像とが重ならないようにすることができる。なお、この場合、距離ｄ、距離２ｄには例えば、あらかじめ定められる一定の距離が設定される。
また、例えば、図１９Ｂに示すように、登録された映像メッセージに含まれるユーザの映像のうち、重ね合わせるユーザの映像の有無を判定してから、表示位置をずらすようにしてもよい。例えば、父親のライブ映像に、娘の映像と息子の録画映像を重ね合わせる場合には、中心位置から、娘の映像を図中の右方向に距離３ｄだけずらし、息子の映像を図中の左方向に４ｄだけずらすことで、同時に表示される３人の映像がそれぞれ重ならないようにすることができる。なお、この場合、距離３ｄ、４ｄには例えば、各ユーザの映像が重ならない程度の距離が設定される。
なお、上述した説明では、各ユーザの立ち位置を検出し、その検出位置に応じて、ユーザの映像の重ね合わせの順序を決定するとして説明したが、例えば、映像メッセージの登録時刻や、ユーザ設定に応じて重ね合わせの順序を決定するようにしてもよい。具体的には、映像メッセージの登録時刻を用いる場合には、例えば、登録時刻が新しい映像メッセージ、又は登録時刻が古い映像メッセージに含まれるユーザの映像がより手前に表示されるようにすることができる。例えば、登録時刻が古いメッセージに含まれるユーザの映像から順に手前に表示されるようにした場合には、図１５に示すように、母親、息子、娘、父親の順に映像が重ね合わされることになる。
また、ユーザ設定により、任意のユーザとの間の重ね合わせの前後関係を調整できるようにしてもよい。また、他のユーザとの表示位置が重なる場合には、他のユーザとの表示位置を、ユーザ設定や所定の画像処理により調整するようにしてもよい。さらに、ユーザの操作に応じて、重ね合わせの対象となる映像メッセージの追加や削除を行うことができるようにしてもよい。これにより、例えば、過去に登録した自身の映像メッセージを削除するといったことが可能となる。
なお、この例では、ディスプレイ装置１０が居間に設けられているため、各ユーザが同一の空間に存在することになるが、例えば、物理的な設定（例えば、部屋の広さや設置の高さなど）が同一の別空間に他のディスプレイ装置を設置して、通信部１０９によってネットワークを介した通信を行うことで、別空間にいるユーザ同士が映像メッセージをやりとりできるようにしてもよい。また、図１６の例では、説明の都合上、カメラ部１０４を複数設けた場合の構成を示しているが、映像の分離の手法によっては、１台のカメラ部１０４により構成されるようにしてもよい。
以上のように、本技術によれば、ディスプレイ装置１０を介することで、その場にいないユーザ同士がメッセージをやりとりすることができる。例えば、上述した例では、父親と娘は、同一の空間に同時に存在していなくとも、父親と娘が同時に存在している合成映像を含む映像メッセージをやりとりすることで、インタラクティブなコミュニケーションをとることができる。また、このような合成映像を作り出すことで、映像メッセージの再生時に、現実には同時に存在していない父親と娘があたかも一緒に存在しているかのような効果を生むことができる。
また、ディスプレイ装置１０を使用するユーザは、登録済みの映像メッセージに対する編集作業を行うことなく、自身の映像と、他のユーザの映像とが重ね合わされた合成映像を含む映像メッセージを登録（録画）することができる。
＜本技術を適用したコンピュータの説明＞
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図２０は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ３００において、CPU（Central Processing Unit）３１１，ROM（Read Only Memory）３１２，RAM（Random Access Memory）３１３は、バス３１４により相互に接続されている。
バス３１４には、さらに、入出力インタフェース３１５が接続されている。入出力インタフェース３１５には、入力部３１６、出力部３１７、記録部３１８、通信部３１９、及びドライブ３２０が接続されている。
入力部３１６は、キーボード、マウス、マイクロフォンなどよりなる。出力部３１７は、ディスプレイ、スピーカなどよりなる。記録部３１８は、ハードディスクや不揮発性のメモリなどよりなる。通信部３１９は、ネットワークインタフェースなどよりなる。ドライブ３２０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア３２１を駆動する。
以上のように構成されるコンピュータ３００では、CPU３１１が、例えば、記録部３１８に記憶されているプログラムを、入出力インタフェース３１５及びバス３１４を介して、RAM３１３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ３００（CPU３１１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア３２１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ３００では、プログラムは、リムーバブルメディア３２１をドライブ３２０に装着することにより、入出力インタフェース３１５を介して、記録部３１８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部３１９で受信し、記録部３１８にインストールすることができる。その他、プログラムは、ROM３１２や記録部３１８に、あらかじめインストールしておくことができる。
なお、コンピュータ３００が実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
ここで、本明細書において、コンピュータ３００に各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。
また、プログラムは、１のコンピュータにより処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであってもよい。
さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
第１のユーザと同一の空間内に同時に存在しない第２のユーザに対する前記第１のユーザからの通知であって、前記第１のユーザの映像を含む第１のメッセージを登録するメッセージ登録部と、
前記第１のメッセージに対する前記第２のユーザからの応答であって、前記第１のユーザと前記第２のユーザとが同時に存在している映像を含む第２のメッセージを再生するメッセージ再生部と
を備える情報処理装置。
（２）
前記第２のメッセージは、前記第１のユーザの映像と、前記第２のユーザの映像とを重ね合わせた合成映像を含んでいる
（１）に記載の情報処理装置。
（３）
前記メッセージ再生部は、前記第１のメッセージを再生し、
前記メッセージ登録部は、前記第１のメッセージが再生されている状態で、前記第２のメッセージを登録する
（１）又は（２）に記載の情報処理装置。
（４）
前記合成映像において、前記第１のユーザの映像と、前記第２のユーザの映像は、同一の空間内に存在している
（２）又は（３）に記載の情報処理装置。
（５）
前記メッセージ登録部は、各ユーザの映像と、背景の映像とを分離して登録し、
前記メッセージ再生部は、１つの背景の映像に対して、複数のユーザの映像が重ね合わされた前記合成映像を再生する
（２）乃至（４）のいずれか一項に記載の情報処理装置。
（６）
空間内におけるユーザの位置を検出する位置検出部をさらに備え、
前記メッセージ再生部は、ユーザの映像が、ユーザの検出位置に応じて調整された前記合成映像を再生する
（２）乃至（５）のいずれか一項に記載の情報処理装置。
（７）
前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて表示位置が調整されている
（６）に記載の情報処理装置。
（８）
前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて透明度が調整されている
（６）に記載の情報処理装置。
（９）
前記合成映像におけるユーザの映像は、メッセージの登録時刻に応じて配置の順序が調整されている
（２）乃至（５）のいずれか一項に記載の情報処理装置。
（１０）
前記合成映像におけるユーザの映像は、ユーザによる設定に応じて配置の順序が調整されている
（２）乃至（５）のいずれか一項に記載の情報処理装置。
（１１）
前記メッセージ再生部は、複数のユーザの映像が重なる場合に、各ユーザの映像が重ならないように調整された前記合成映像を再生する
（２）乃至（１０）のいずれか一項に記載の情報処理装置。
（１２）
情報処理装置の情報処理方法において、
前記情報処理装置が、
前記第１のユーザと同一の空間内に同時に存在しない第２のユーザに対する前記第１のユーザからの通知であって、前記第１のユーザの映像を含む第１のメッセージを登録し、
前記第１のメッセージに対する前記第２のユーザからの応答であって、前記第１のユーザと前記第２のユーザとが同時に存在している映像を含む第２のメッセージを再生する
ステップを含む情報処理方法。
（１３）
コンピュータを、
前記第１のユーザと同一の空間内に同時に存在しない第２のユーザに対する前記第１のユーザからの通知であって、前記第１のユーザの映像を含む第１のメッセージを登録するメッセージ登録部と、
前記第１のメッセージに対する前記第２のユーザからの応答であって、前記第１のユーザと前記第２のユーザとが同時に存在している映像を含む第２のメッセージを再生するメッセージ再生部と
して機能させるプログラム。
１０ ディスプレイ装置， １０１ 制御部， １０２ メモリ部， １０３ 操作部， １０４ カメラ部， １０５ マイクロフォン， １０６ タッチパネル， １０７ スピーカ， １０８ 記録部， １０９ 通信部， １５１ 表示部， １５２ タッチセンサ， ２０１ ユーザ検出部， ２０２ メッセージ登録部， ２０３ メッセージ再生部， ２０４ 位置検出部， ２０５ 表示制御部， ３００ コンピュータ， ３１１ CPU

Claims (13)

  1. 複数のユーザのうちの特定のユーザと同一の空間内に同時に存在しない他のユーザに対する前記特定のユーザからの通知であって、前記特定のユーザの映像を含む第１のメッセージを登録するメッセージ登録部と、
    前記第１のメッセージを、前記他のユーザの映像と重ね合わせて再生し、前記第１のメッセージに対する前記他のユーザからの応答であって、前記特定のユーザと前記他のユーザとが同時に存在している映像を含む第２のメッセージを再生するメッセージ再生部と
    を備え、
    前記第１のメッセージと前記第２のメッセージは、時系列で、繰り返しやり取りされる
    ディスプレイ装置。
  2. 前記第２のメッセージは、前記特定のユーザの映像と、前記他のユーザの映像とを重ね合わせた合成映像を含んでいる
    請求項１に記載のディスプレイ装置。
  3. 前記特定のユーザと、前記他のユーザとは、同一の空間内に、異なる時間帯に存在し、
    前記メッセージ再生部は、前記他のユーザに対し、前記第１のメッセージを再生し、
    前記メッセージ登録部は、前記他のユーザからの応答として、前記第１のメッセージが再生されている状態で、前記第２のメッセージを登録する
    請求項２に記載のディスプレイ装置。
  4. 前記合成映像において、前記特定のユーザの映像と、前記他のユーザの映像は、同一の空間内に存在している
    請求項３に記載のディスプレイ装置。
  5. 前記メッセージ登録部は、各ユーザの映像と、背景の映像とを分離して登録し、
    前記メッセージ再生部は、１つの背景の映像に対して、複数のユーザの映像が重ね合わされた前記合成映像を再生する
    請求項２に記載のディスプレイ装置。
  6. 空間内におけるユーザの位置を検出する位置検出部をさらに備え、
    前記メッセージ再生部は、ユーザの映像が、ユーザの検出位置に応じて調整された前記合成映像を再生する
    請求項２に記載のディスプレイ装置。
  7. 前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて表示位置が調整されている
    請求項６に記載のディスプレイ装置。
  8. 前記合成映像におけるユーザの映像は、ユーザの検出位置に応じて透明度が調整されている
    請求項６に記載のディスプレイ装置。
  9. 前記合成映像におけるユーザの映像は、メッセージの登録時刻に応じて配置の順序が調整されている
    請求項２に記載のディスプレイ装置。
  10. 前記合成映像におけるユーザの映像は、ユーザによる設定に応じて配置の順序が調整されている
    請求項２に記載のディスプレイ装置。
  11. 前記メッセージ再生部は、複数のユーザの映像が重なる場合に、各ユーザの映像が重ならないように調整された前記合成映像を再生する
    請求項２に記載のディスプレイ装置。
  12. ディスプレイ装置の情報処理方法において、
    前記ディスプレイ装置が、
    複数のユーザのうちの特定のユーザと同一の空間内に同時に存在しない他のユーザに対する前記特定のユーザからの通知であって、前記特定のユーザの映像を含む第１のメッセージを登録し、
    前記第１のメッセージを、前記他のユーザの映像と重ね合わせて再生し、前記第１のメッセージに対する前記他のユーザからの応答であって、前記特定のユーザと前記他のユーザとが同時に存在している映像を含む第２のメッセージを再生する
    ステップを含み、
    前記第１のメッセージと前記第２のメッセージは、時系列で、繰り返しやり取りされる
    情報処理方法。
  13. コンピュータを、
    複数のユーザのうちの特定のユーザと同一の空間内に同時に存在しない他のユーザに対する前記特定のユーザからの通知であって、前記特定のユーザの映像を含む第１のメッセージを登録するメッセージ登録部と、
    前記第１のメッセージを、前記他のユーザの映像と重ね合わせて再生し、前記第１のメッセージに対する前記他のユーザからの応答であって、前記特定のユーザと前記他のユーザとが同時に存在している映像を含む第２のメッセージを再生するメッセージ再生部と
    を備え、
    前記第１のメッセージと前記第２のメッセージは、時系列で、繰り返しやり取りされる
    ディスプレイ装置として機能させるプログラム。
JP2013144501A 2013-07-10 2013-07-10 ディスプレイ装置、情報処理方法、及び、プログラム Expired - Fee Related JP6260809B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013144501A JP6260809B2 (ja) 2013-07-10 2013-07-10 ディスプレイ装置、情報処理方法、及び、プログラム
EP20140171532 EP2830309A1 (en) 2013-07-10 2014-06-06 Information processing apparatus, information processing method, and program
US14/320,810 US10298525B2 (en) 2013-07-10 2014-07-01 Information processing apparatus and method to exchange messages
CN201410314236.2A CN104281371B (zh) 2013-07-10 2014-07-03 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013144501A JP6260809B2 (ja) 2013-07-10 2013-07-10 ディスプレイ装置、情報処理方法、及び、プログラム

Publications (2)

Publication Number Publication Date
JP2015019203A JP2015019203A (ja) 2015-01-29
JP6260809B2 true JP6260809B2 (ja) 2018-01-17

Family

ID=51167566

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013144501A Expired - Fee Related JP6260809B2 (ja) 2013-07-10 2013-07-10 ディスプレイ装置、情報処理方法、及び、プログラム

Country Status (4)

Country Link
US (1) US10298525B2 (ja)
EP (1) EP2830309A1 (ja)
JP (1) JP6260809B2 (ja)
CN (1) CN104281371B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5598232B2 (ja) * 2010-10-04 2014-10-01 ソニー株式会社 情報処理装置、情報処理システムおよび情報処理方法
WO2014145722A2 (en) * 2013-03-15 2014-09-18 Digimarc Corporation Cooperative photography
CN108476214A (zh) * 2016-10-17 2018-08-31 微软技术许可有限责任公司 共享网络内容
CN107529095A (zh) * 2017-08-24 2017-12-29 上海与德科技有限公司 一种视频拼接方法及装置
US10885691B1 (en) * 2018-11-08 2021-01-05 Electronic Arts Inc. Multiple character motion capture

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0907293A4 (en) * 1997-02-20 2008-06-18 Sony Corp IMAGE PROCESSING AND DEVICE AND IMAGE SYNTHESIS AND CUTTING DEVICE
JP3610423B2 (ja) * 1997-03-19 2005-01-12 独立行政法人産業技術総合研究所 映像表示システムおよびその臨場感向上方法
JP2000284777A (ja) * 1999-03-30 2000-10-13 Sony Corp 画像情報処理装置および方法、画像情報提供装置および方法、並びに提供媒体
JP2003078901A (ja) 2001-08-30 2003-03-14 Canon Inc 動画配信システム、撮影装置、動画配信制御装置、動画配信方法、及び記憶媒体
JP2004007539A (ja) * 2002-04-19 2004-01-08 Sumitomo Electric Ind Ltd ビジュアル情報の記録／再生方法、その装置及び通信システム
US20050008240A1 (en) * 2003-05-02 2005-01-13 Ashish Banerji Stitching of video for continuous presence multipoint video conferencing
JP2005142818A (ja) * 2003-11-06 2005-06-02 Nippon Telegr & Teleph Corp <Ntt> ビデオメール通信方法／プログラム／端末装置
JP4686988B2 (ja) * 2004-03-08 2011-05-25 富士ゼロックス株式会社 コミュニケーション装置及びコミュニケーション方法
JP2006041884A (ja) * 2004-07-27 2006-02-09 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
US7769819B2 (en) * 2005-04-20 2010-08-03 Videoegg, Inc. Video editing with timeline representations
US20090235364A1 (en) * 2005-07-01 2009-09-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Media markup for promotional content alteration
NO20071401L (no) * 2007-03-16 2008-09-17 Tandberg Telecom As System og arrangement for naturtro videokommunikasjon
US8542266B2 (en) * 2007-05-21 2013-09-24 Polycom, Inc. Method and system for adapting a CP layout according to interaction between conferees
US20080317439A1 (en) * 2007-06-22 2008-12-25 Microsoft Corporation Social network based recording
US8482635B2 (en) * 2007-09-12 2013-07-09 Popnoggins, Llc System, apparatus, software and process for integrating video images
CN101946500B (zh) * 2007-12-17 2012-10-03 伊克鲁迪控股公司 实时视频包含系统
US20090248300A1 (en) * 2008-03-31 2009-10-01 Sony Ericsson Mobile Communications Ab Methods and Apparatus for Viewing Previously-Recorded Multimedia Content from Original Perspective
TW201005583A (en) * 2008-07-01 2010-02-01 Yoostar Entertainment Group Inc Interactive systems and methods for video compositing
US8537196B2 (en) * 2008-10-06 2013-09-17 Microsoft Corporation Multi-device capture and spatial browsing of conferences
US8345082B2 (en) * 2008-10-08 2013-01-01 Cisco Technology, Inc. System and associated methodology for multi-layered site video conferencing
US20140229866A1 (en) * 2008-11-24 2014-08-14 Shindig, Inc. Systems and methods for grouping participants of multi-user events
US8817092B2 (en) * 2008-11-25 2014-08-26 Stuart Leslie Wilkinson Method and apparatus for generating and viewing combined images
US8390718B2 (en) * 2009-01-28 2013-03-05 Hewlett-Packard Development Company, L.P. Methods and systems for performing visual collaboration between remotely situated participants
JP5235162B2 (ja) * 2009-05-15 2013-07-10 日本電信電話株式会社 ビデオメール通信方法、装置およびプログラム
US8830293B2 (en) * 2009-05-26 2014-09-09 Cisco Technology, Inc. Video superposition for continuous presence
US9615056B2 (en) * 2010-02-10 2017-04-04 Oovoo, Llc System and method for video communication on mobile devices
WO2011112640A2 (en) * 2010-03-08 2011-09-15 Vumanity Media Llc Generation of composited video programming
US9628722B2 (en) * 2010-03-30 2017-04-18 Personify, Inc. Systems and methods for embedding a foreground video into a background feed based on a control input
FR2958487A1 (fr) * 2010-04-06 2011-10-07 Alcatel Lucent Une methode de detourage en temps reel d'une entite reelle enregistree dans une sequence video
JP5447134B2 (ja) * 2010-04-19 2014-03-19 カシオ計算機株式会社 画像処理装置、返信画像生成システム、及び、プログラム
WO2012036903A1 (en) * 2010-09-14 2012-03-22 Thomson Licensing Compression methods and apparatus for occlusion data
US9237305B2 (en) * 2010-10-18 2016-01-12 Apple Inc. Overlay for a video conferencing application
US20140233913A1 (en) * 2011-05-09 2014-08-21 Rockwell L. Scharer, III Cross-platform portable personal video compositing and media content distribution system
US20120287224A1 (en) * 2011-05-12 2012-11-15 Nicholaz F. Paris Video chat within a webpage and video instant messaging
US9117483B2 (en) * 2011-06-03 2015-08-25 Michael Edward Zaletel Method and apparatus for dynamically recording, editing and combining multiple live video clips and still photographs into a finished composition
US8970704B2 (en) * 2011-06-07 2015-03-03 Verizon Patent And Licensing Inc. Network synchronized camera settings
JP2013009073A (ja) * 2011-06-23 2013-01-10 Sony Corp 情報処理装置、情報処理方法、プログラム、及びサーバ
IL214855A0 (en) * 2011-08-28 2011-10-31 Arnon Joseph A method and device for carrying out a computerized group session
CN104067317A (zh) * 2011-09-08 2014-09-24 宝福特控股私人有限公司 用于在真实世界视频剪辑内对合成对象进行可视化的系统和方法
US8869198B2 (en) * 2011-09-28 2014-10-21 Vilynx, Inc. Producing video bits for space time video summary
US9473809B2 (en) * 2011-11-29 2016-10-18 At&T Intellectual Property I, L.P. Method and apparatus for providing personalized content
US9154732B2 (en) * 2012-04-09 2015-10-06 Futurewei Technologies, Inc. Visual conditioning for augmented-reality-assisted video conferencing
US9247306B2 (en) * 2012-05-21 2016-01-26 Intellectual Ventures Fund 83 Llc Forming a multimedia product using video chat
JP5571269B2 (ja) * 2012-07-20 2014-08-13 パナソニック株式会社 コメント付き動画像生成装置およびコメント付き動画像生成方法
US20140368669A1 (en) * 2012-10-04 2014-12-18 Google Inc. Gpu-accelerated background replacement
US9357165B2 (en) * 2012-11-16 2016-05-31 At&T Intellectual Property I, Lp Method and apparatus for providing video conferencing
WO2014102440A1 (en) * 2012-12-27 2014-07-03 Nokia Corporation Method, apparatus and computer program product for image rendering
US9325943B2 (en) * 2013-02-20 2016-04-26 Microsoft Technology Licensing, Llc Providing a tele-immersive experience using a mirror metaphor
US9485542B2 (en) * 2013-03-15 2016-11-01 Arris Enterprises, Inc. Method and apparatus for adding and displaying an inline reply within a video message

Also Published As

Publication number Publication date
CN104281371B (zh) 2019-07-02
JP2015019203A (ja) 2015-01-29
EP2830309A1 (en) 2015-01-28
US20150019657A1 (en) 2015-01-15
CN104281371A (zh) 2015-01-14
US10298525B2 (en) 2019-05-21

Similar Documents

Publication Publication Date Title
JP7053869B2 (ja) ビデオ生成の方法、装置、電子機器及びコンピュータ読み取り可能記憶媒体
AU2019216671B2 (en) Method and apparatus for playing video content from any location and any time
US11546566B2 (en) System and method for presenting and viewing a spherical video segment
WO2020077855A1 (zh) 视频拍摄方法、装置、电子设备及计算机可读存储介质
WO2020077856A1 (zh) 视频拍摄方法、装置、电子设备及计算机可读存储介质
US9743060B1 (en) System and method for presenting and viewing a spherical video segment
US9026596B2 (en) Sharing of event media streams
US20190289417A1 (en) Synchronized spatial audio presentation
US8867886B2 (en) Surround video playback
JP6260809B2 (ja) ディスプレイ装置、情報処理方法、及び、プログラム
US20180160194A1 (en) Methods, systems, and media for enhancing two-dimensional video content items with spherical video content
US20130129304A1 (en) Variable 3-d surround video playback with virtual panning and smooth transition
CN109407821B (zh) 与虚拟现实视频的协作交互
KR20220031894A (ko) 데이터 스트림을 동기화하기 위한 시스템 및 방법
US9973746B2 (en) System and method for presenting and viewing a spherical video segment
CN112261481B (zh) 互动视频的创建方法、装置、设备及可读存储介质
JP2014106837A (ja) 表示制御装置、表示制御方法および記録媒体
JP4543694B2 (ja) コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP2015106223A (ja) コンテンツの評価装置、システム、サーバ装置及び端末装置
EP3417609A1 (en) System and method for presenting and viewing a spherical video segment
JP2014204411A (ja) 会議記録システム、会議記録装置、会議記録再生方法およびコンピュータプログラム
JP2020136821A (ja) 情報処理装置及びその制御方法、プログラム
JP2017038152A (ja) 映像処理装置および映像処理方法
KR20230051308A (ko) 영상 편집 장치, 영상 편집 방법 및 컴퓨터 프로그램
JP2022173052A (ja) 動画配信装置、表示制御装置、動画配信システム、動画配信方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171129

R151 Written notification of patent or utility model registration

Ref document number: 6260809

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees