JPWO2020095639A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2020095639A1
JPWO2020095639A1 JP2020556719A JP2020556719A JPWO2020095639A1 JP WO2020095639 A1 JPWO2020095639 A1 JP WO2020095639A1 JP 2020556719 A JP2020556719 A JP 2020556719A JP 2020556719 A JP2020556719 A JP 2020556719A JP WO2020095639 A1 JPWO2020095639 A1 JP WO2020095639A1
Authority
JP
Japan
Prior art keywords
user
display device
space
captured image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020556719A
Other languages
English (en)
Other versions
JP7452434B2 (ja
Inventor
大輔 三木
大輔 三木
崇裕 坂本
崇裕 坂本
勝也 福屋
勝也 福屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020095639A1 publication Critical patent/JPWO2020095639A1/ja
Application granted granted Critical
Publication of JP7452434B2 publication Critical patent/JP7452434B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)

Abstract

第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示する、情報処理装置を提供する。これによって、より臨場感のあるコミュニケーションを実現できる。

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
第１ユーザと第２ユーザとが離隔した別の拠点に存在するような遠隔ビデオコミュニケーションにおいて、表示装置に表示される第１ユーザと第１ユーザを撮像するカメラの位置との関係により、表示装置に表示される第１ユーザの視線のずれが生じ得る。この視線のずれは、視線が合わない等の状態を生じさせることがある。そこで、かかる状態の発生を抑制し、第１ユーザと第２ユーザとが視線を合わせて臨場感のあるコミュニケーションを体験するために、様々な技術が開発されてきた。
例えば、特許文献１には、他拠点に存在する複数のユーザがコミュニケーションを行う際の技術が開示されている。特許文献１の技術によれば、通話相手先のユーザが該ユーザの注視方向に応じて、通話相手元のユーザを撮像する撮像装置および表示装置を回転させることで、臨場感を高めたコミュニケーションを実現している。
特開２００９−６５４９０号公報
しかしながら、上記特許文献１に記載の技術では、通話相手先のユーザの視線と、通話相手元のユーザの視線とを合わせるものではないため、通話相手元のユーザの位置によっては、臨場感のあるコミュニケーションを実現することが困難であった。
上記事情を鑑みれば、より臨場感のあるコミュニケーションを実現する技術の開発が求められていた。
本開示によれば、第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示する、情報処理装置が提供される。
また、本開示によれば、第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御することと、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示することと、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示するように機能させるための、プログラムが提供される。
本開示の技術概要を示す模式図である。 本開示の技術概要を示す模式図である。 本開示の技術概要を説明するための従来例を示した模式図である。 本開示の技術概要を示す模式図である。 本開示の実施形態に係る情報処理システムの各種装置の配置の一例を示した図である。 同実施形態にかかる情報処理システムの内部構成を示したブロック図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの制御部が行う処理の一例を示した図である。 同実施形態にかかる情報処理システムの処理フローの一例を示した図である。 同実施形態にかかる情報処理システムの変形例の一例を示した図である。 同実施形態にかかる情報処理システムの変形例の一例を示した図である。 同実施形態にかかる情報処理システムの変形例の一例を示した図である。 同実施形態に係る情報処理システムのハードウェアの構成例の一例を示した図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．本開示の技術に関して
１．１．技術概要
１．２．後姿の配置
１．３．効果
２．構成
２．１．外部構成
２．２．内部構成
３．動作フロー
４．変形例
４．１．視距離の優先順位
４．２．測距センサの使用
４．３．グラス型表示装置の使用
５．ハードウェア構成例
（１．本開示の技術に関して）
（１．１．技術概要）
図１を参照して、本開示の技術概要を説明する。本開示の技術は、他拠点に存在するユーザがビデオチャット等を用いて、コミュニケーションを行う際の技術に関する。
図１では、第１拠点に存在するユーザ４が、第２拠点に存在するユーザ１、ユーザ２、およびユーザ３と表示装置Ｄを通してコミュニケーションを行っている。表示装置Ｄには、ユーザ４の後姿Ｓ４が配置されている。ユーザ４の後姿Ｓ４は、表示装置Ｄ内で表示されるユーザ１の視線１ｖ、ユーザ２の視線２ｖ、およびユーザ３の視線３ｖの先に配置されている。これにより、ユーザ４は、ユーザ４の後姿Ｓ４とユーザ１、ユーザ２、ユーザ３とが、目線を合わせてコミュニケーションを取っているように感じられ、より臨場感のあるコミュニケーションを図ることができる。
（１．２．後姿の配置）
図２を参照して、第１拠点のＡ地点に存在するユーザＡ１と第２拠点のＢ地点に存在するユーザＢ１とのコミュニケーションを例に挙げて、更に説明する。図２の左図では、Ａ地点におけるユーザＡ１と表示装置Ｄ１およびチャット用カメラＶＣ１との配置関係とＢ地点におけるユーザＢ１と表示装置Ｄ２およびチャット用カメラＶＣ２との配置関係とを模式的に示している。
Ａ地点に存在するユーザＡ１が、Ａ地点に存在する表示装置Ｄ１を視認してＢ地点のユーザＢ１とコミュニケーションを行っている。Ａ地点に存在する表示装置Ｄ１に設けられたチャット用カメラＶＣ１は画角ＶＣθ１の範囲でＡ１を撮像している。
Ｂ地点に存在するユーザＢ１は、Ａ地点に存在するユーザＡ１と同様に、Ｂ地点に存在する表示装置Ｄ２を視認してＡ地点のユーザＡ１とコミュニケーションを行っている。Ｂ地点に存在する表示装置Ｄ２に設けられたチャット用カメラＶＣ２は画角ＶＣθ２の範囲でＢ１を撮像している。
図２の右図には、Ａ地点に存在する表示装置Ｄ１に設けられたチャット用カメラＶＣ１とＢ地点に存在する表示装置Ｄ２に設けられたチャット用カメラＶＣ2とが撮像した撮像画像が並んで示されている。
Ａ地点に存在するユーザＡ１を撮像した最上段に示す撮像画像では、ユーザＡ１は、ユーザＡ１から表示装置Ｄ１に向かって表示装置Ｄ１の右端領域の視線Ｇ１Ａ１の方向を視認している。該最上段の撮像画像には、視線Ｇ１Ａ１の先に、Ｂ地点に存在するユーザＢ１の後姿ＳＢ１が重畳して配置される。
Ａ地点に存在するユーザＡ１を撮像した中段に示す撮像画像では、ユーザＡ１は、ユーザＡ１から表示装置Ｄ１に向かって表示装置Ｄ１の中央領域の視線Ｇ２Ａ１の方向を視認している。該中段の撮像画像には、視線Ｇ２Ａ１の先に、Ｂ地点に存在するユーザＢ１の後姿ＳＢ１が重畳して配置される。
Ａ地点に存在するユーザＡ１を撮像した最下段に示す撮像画像では、ユーザＡ１は、ユーザＡ１から表示装置Ｄ１に向かって表示装置Ｄ１の左端領域の視線Ｇ３Ａ１の方向を視認している。該最下段の撮像画像には、視線Ｇ３Ａ１の先に、Ｂ地点に存在するユーザＢ１の後姿ＳＢ１が重畳して配置される。
Ｂ地点を撮像した撮像画像も同様に、Ｂ地点に存在するユーザＢ１を撮像した最上段に示す撮像画像では、ユーザＢ１は、ユーザＢ１から表示装置Ｄ２に向かって表示装置Ｄ２の右端領域の視線Ｇ１Ｂ１の方向を視認している。該最上段の撮像画像には、視線Ｇ１Ｂ１の先に、Ａ地点に存在するユーザＡ１の後姿ＳＡ１が重畳して配置される。
Ｂ地点に存在するユーザＢ１を撮像した中段に示す撮像画像では、ユーザＢ１は、ユーザＢ１から表示装置Ｄ２に向かって表示装置Ｄ２の中央領域の視線Ｇ２Ｂ１の方向を視認している。該中段の撮像画像には、視線Ｇ２Ｂ１の先に、Ａ地点に存在するユーザＡ１の後姿ＳＡ１が重畳して配置される。
Ｂ地点に存在するユーザＢ１を撮像した最下段に示す撮像画像では、ユーザＢ１は、ユーザＢ１から表示装置Ｄ２に向かって表示装置Ｄ２の左端領域の視線Ｇ３Ｂ１の方向を視認している。該最下段の撮像画像には、視線Ｇ３Ｂ１の先に、Ａ地点に存在するユーザＡ１の後姿ＳＡ１が重畳して配置される。
このように、Ａ地点の撮像画像に表示されるユーザの視線の先に、Ｂ地点のユーザの後姿を該撮像画像に重畳して表示することにより、Ｂ地点のユーザは、撮像画像に表示されるＡ地点のユーザと目を合わせてコミュニケーションをとるかのような疑似体験を行うことができる。
（１．３．効果）
具体的に、本開示の技術の目的と効果とを図３および図４を用いて説明する。図３は、表示装置等を介さずに、同一の空間で複数のユーザがコミュニケーションを行う場合を示している。図３のようなリアルな会議では、ユーザ５、ユーザ６、ユーザ７、ユーザ８、が同一空間を共有している。ユーザ５は、話者であるユーザ７を視認しており、ユーザ６は、他方の話者であるユーザ８を視認している。ユーザ７とユーザ８は互いに目を合せてコミュニケーションを行っている。このとき、各ユーザは各ユーザの目線を把握できる。
一方、図４は、表示装置を介して他拠点同士でコミュニケーションを行うビデオチャットの一例を示している。ユーザ５、ユーザ６、ユーザ８、は、他拠点に存在するユーザ７と表示装置を介して会議を行っている。ユーザ５はユーザ７を視認し、ユーザ６はユーザ８を視認し、ユーザ８はユーザ７を視認している。ここで、ユーザ７は、ユーザ７が視認する表示装置に表示されるユーザ５、ユーザ６、ユーザ８のいずれかを視認していると考えられる。しかしながら、表示装置を介したコミュニケーションでは、ユーザ７がユーザ５、ユーザ６、ユーザ８のいずれを視認しているか把握することが困難である。つまり、このようなビデオチャットにおいては、よく撮像画像上のユーザ７は、カメラ目線となってしまい、モナリザ効果により、ユーザ５、ユーザ６、ユーザ８は、それぞれが自分を視認していると認識することもある。
本開示の技術を適用することにより、撮像画像上のユーザ７の視線の先に視認対象であるユーザ５、ユーザ６、ユーザ８のいずれかの後姿を重畳して配置することができる。これにより、ユーザ５、ユーザ６、ユーザ８は、ユーザ７がユーザ５、ユーザ６、ユーザ８の中で誰を視認しているか判別でき、より臨場感のある会議を体感することができる。
（２．構成）
（２．１．外部構成）
図５および図６を参照して、臨場感のある会議を体感することができる情報処理装置を含む情報処理システムの構成の一例を説明する。図５は、情報処理システムの概要を示した概要図であり、図６は情報処理システムの内部構成を示したブロック図である。
図５によると、地点Ａには、ユーザＡ１が存在し、表示装置ＤＡと、チャット用カメラＶＣＡと後姿用カメラＳＣＡが配置されている。地点Ｂには、ユーザＢ１およびユーザＢ２が存在し、表示装置ＤＢと、チャット用カメラＶＣＢと後姿用カメラＳＣＢが配置されている。
地点Ａでは、表示装置ＤＡに、地点Ｂのチャット用カメラＶＣＢにより撮像された撮像画像が表示されており、ユーザＡ１は、表示装置ＤＡを通して、ユーザＢ１およびユーザＢ２を視認してコミュニケーションできる。地点Ｂでは、表示装置ＤＢに、地点Ａのチャット用カメラＶＣＡにより撮像された撮像画像が表示されており、ユーザＢ１およびユーザＢ２は、表示装置ＤＢを通して、ユーザＡ１を視認してコミュニケーションできる。
表示装置ＤＡでは、地点Ｂのチャット用カメラＶＣＢにより撮像された撮像画像に重畳して、後姿用カメラＳＣＡにより撮像された撮像画像から作成されたユーザＡ１の後姿ＳＡ１が表示されている。一方、表示装置ＤＢでは、地点Ａのチャット用カメラＶＣＡにより撮像された撮像画像に重畳して、後姿用カメラＳＣＢにより撮像された撮像画像から作成されたユーザＢ１の後姿ＳＢ１およびーザＢ２の後姿ＳＢ２が表示されている。
ユーザＡ１は視線Ａ１ｖの方向で表示装置ＤＡに表示されるユーザＢ２を視認しており、表示装置ＤＢにはユーザＡ１の視線Ａ１ｖの方向にユーザＢ２の後姿ＳＢ２が表示されている。これにより地点Ｂに存在するＢ１およびＢ２は、ユーザＡ１がユーザＢ２を視認してコミュニケーションしていると認識できる。
（２．２．内部構成）
図６によると、情報処理システム１０００は、地点Ａに設けられる後姿カメラＳＣＡと、チャットカメラＶＣＡと、表示装置ＤＡと、地点Ｂに設けられる後姿カメラＳＣＢと、チャットカメラＶＣＢと、表示装置ＤＢと、制御部１００と、を備える。
チャットカメラＶＣＡ、ＶＣＢは、各地点を撮像する機能を有する。チャットカメラＶＣＡ、ＶＣＢは、ＲＧＢカメラまたはサーモカメラ等の画像（静止画像又は動画像）を撮像する撮像装置であり、レンズ系、駆動系、及び撮像素子を有してもよい。チャットカメラＳＣＡ、ＳＣＢにより得られた撮像画像は、画像処理に使用されてもよく、表示装置ＤＡ、ＤＢにて表示するために使用されてもよい。
後姿カメラＳＣＡ、ＳＣＢは、各地点におけるユーザの後姿を撮像する機能を有する。チャットカメラＶＣＡ、ＶＣＢと同様の撮像装置であってよい。
表示装置ＤＡ、ＤＢは、制御部１００の指示により、各地点において、他拠点のチャットカメラＶＣＡ、ＶＣＢにて撮像された撮像画像を表示し、かつ自拠点に存在する後姿カメラＳＣＡ、ＳＣＢにて撮像されたユーザの後姿を表示する機能を有する。具体的に、表示装置ＤＡ、ＤＢは、制御部１００により生成された表示画像をユーザに対して視覚的に通知することが可能な装置で形成される。このような装置として、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬ （ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置がある。
制御部１００は、Ａ地点およびＢ地点に設けられる各種装置から、各種データを取得して、表示装置を制御する機能を有する。制御部は、取得部１１０と、人物認識部１２０と、３Ｄ変換部１３０と、表示制御部１４０と、を有する。
取得部１１０は、後姿カメラＳＣＡ、ＳＣＢから撮像画像を取得する。また、取得部１１０は、チャットカメラＶＣＡ、ＶＣＢから撮像画像を取得する。取得部１１０は、例えば、通信により撮像画像を取得する。通信は、常時行われてもよく、不連続に適宜行われてもよい。取得部１１０は取得した撮像画像を人物認識部１２０に出力する。
人物認識部１２０は、チャットカメラＶＣＡ、ＶＣＢから取得された撮像画像を処理することで、ユーザの位置を特定する機能を有する。図７を参照して説明する。図７は、地点Ａにおいて、人物認識部１２０が地点ＡのユーザＡ１を認識し、各種情報を取得する様子を示した図である。図７に示す地点Ａでは、表示装置ＤＡと、ユーザＡ１が対向している。図７の左図は、表示装置ＤＡと、ユーザＡ１とを直上からみた上面視図であり、図７右図は、表示装置ＤＡと、ユーザＡ１とを横からみた側面視図である。表示装置ＤＡは、水平方向長さＨＡ、垂直方向長さＶＡを有する。図７に示すように、表示装置ＤＡの上部には、チャットカメラＶＣＡが設けられている。チャットカメラＶＣＡの水平方向の水平撮像画角θＡおよび垂直方向の垂直撮像画角φＡは、チャットカメラＶＣＡから任意の範囲を有する。
人物認識部１２０は、チャットカメラＶＣＡが撮像した撮像画像から、水平撮像画角θＡおよび垂直方向撮像画角φＡ内でユーザＡ１が存在する３次元空間の位置を認識する。人物認識部１２０は、表示装置ＤＡに対してユーザＡ１が存在する位置を認識してもよい。
さらに、人物認識部１２０は、チャットカメラＶＣＡが撮像した撮像画像から、ユーザの視線関連情報を取得する機能を有する。ユーザの視線関連情報とは、ユーザの視線、視距離に関する情報を含む。ユーザの視線は、表示装置ＤＡに対するユーザの視線方向、視線位置を含む。ユーザの視距離は、ユーザの目から表示装置ＤＡまでの水平距離であってよい。図７左図を用いて説明すると、ユーザＡ１は視線Ａ１ｖを表示装置ＤＡに対して向けており、ユーザＡ１は、ユーザの目から表示装置ＤＡまでの水平距離である視距離ｄＡ１で、表示装置ＤＡを視認している。図７右図を用いて説明すると、床Ｆに直立するユーザＡ１は視線Ａ１ｖを表示装置ＤＡに対して向けており、ユーザＡ１は、ユーザの目から表示装置ＤＡまでの水平距離である視距離ｄＡ１で、表示装置ＤＡを視認している。このように人物認識部１２０は、ユーザの目から表示装置ＤＡまでの水平距離を視距離として認識する。
人物認識部１２０は、チャットカメラＶＣＡ、ＶＣＢが撮像した撮像画像から、ユーザを検出する機能を有する。図８を用いて説明すると、地点Ｂにおいて、人物認識部１２０は、地点Ｂの撮像画像を画像処理することで、地点Ｂの空間内に存在する物体の中からユーザＢ１およびＢ２のような人物を検出し、ユーザＢ１およびＢ２をそれぞれ特定する。
人物認識部１２０は、チャットカメラＶＣＡ、ＶＣＢが撮像した撮像画像から、ユーザ検出するのと同様に、後姿カメラＳＣＡ、ＳＣＢにより撮像された撮像画像から、ユーザの後姿を検出する機能を有する。人物認識部１２０は、地点ＡのチャットカメラＳＣＡが撮像したユーザＡ１と地点Ａの後姿カメラＳＣＡが撮像したユーザＡ１とが同一のユーザを示すことを認識し関連付けを行い得る。このような関連付けを行うことにより、後に説明する仮想３Ｄ空間における地点ＡのチャットカメラＶＣＡが撮像したユーザＡ１の位置にユーザＡ１の後姿を配置することが可能となる。
３Ｄ変換部１３０は、人物認識部１２０から取得した各種情報を用いて、地点Ｂの表示装置にて表示される表示画像を制御するための仮想撮像画像を生成し、生成した仮想撮像画像を表示制御部１４０へ出力する機能を有する。図９を用いて説明すると、３Ｄ変換部１３０は、仮想３Ｄ空間に、表示装置ＤＡと表示装置ＤＱを配置することで、ユーザＡ１の視距離ｄＡ１を用いて、ユーザオブジェクトであるユーザＢ１の後姿ＳＢ１、およびユーザＢ２の後姿ＳＢ２の表示位置を決定する。
図１０および図１１を参照して、３Ｄ変換部１３０が行う処理を詳しく説明する。図１０は、仮想３Ｄ空間２００を示している。仮想３Ｄ空間２００では、Ａ地点における表示装置ＤＡとユーザＡ１との位置関係を疑似的に再現する。仮想３Ｄ空間２００には、実空間のＡ地点に配置された表示装置ＤＡと同一の大きさを示す仮想第１表示装置ＤＡが配置されている。ここで、仮想第１表示装置は表示装置ＤＡと同一の大きさを示すため、同一の符号を付記している。
仮想第１表示装置ＤＡと対向する位置には、仮想第２表示装置ＤＱが配置される。仮想第２表示装置ＤＱの配置位置は、地点Ａにおける表示装置ＤＡとユーザＡ１との位置関係により決定する。具体的には、仮想第２表示装置ＤＱは、地点Ａにおける表示装置ＤＡとユーザＡ１との視距離ｄＡ１と同じ距離を置いて、仮想第１表示装置ＤＡと離隔して配置される。
仮想第１表示装置ＤＡには、地点Ａのように、チャットカメラＶＣＢで撮像されたユーザＢ１、Ｂ２が表示されており、仮想第２表示装置ＤＱには、地点Ｂのように地点Ａのように、チャットカメラＶＣＡで撮像されたユーザＡ１が表示されている。
仮想３Ｄ空間における仮想第２表示装置ＤＱの縦横サイズは、視距離と第１撮像画像を撮像する第１撮像装置の画角とにより決定される。つまり、仮想第２表示装置ＤＱの横サイズＨＱは、視距離ｄＡ１と仮想第１表示装置ＤＡの水平撮像画角θＡとにより決定され、ＨＱ＝２ｄＡ１ｔａｎ（θＡ／２）で表すことができる。一方、仮想第２表示装置ＤＱの縦サイズＶＱは、視距離ｄＡ１と仮想第１表示装置ＤＡの垂直撮像画角φＡとにより決定され、ＶＱ＝２ｄＡ１ｔａｎ（φＡ／２）で表すことができる。
３Ｄ変換部１３０は、図１０に示した各仮想表示装置の配置と、該仮想表示装置に表示されるユーザＡ１、ユーザＢ１、ユーザＢ２とを用いて画像変換を行い、地点Ｂの表示装置ＤＢに表示される画像を生成するための情報を表示制御部１４０に出力する。
３Ｄ変換部１３０は、上述した仮想３Ｄ空間においてさらに、表示起点を配置し、表示起点から仮想撮像装置（図示せず。）により撮像した仮想撮像画像を用いて、地点Ｂの表示装置ＤＢに表示される画像を生成する。図１１は、図１０の仮想第１表示装置および仮想第２表示装置の配置に対してさらに表示起点Ｐを示した図である。表示起点Ｐは、仮想第２表示装置ＤＱに表示される第１ユーザＡ１を起点として第１表示装置が配置される位置と同じ側にあり仮想第１表示装置よりも離れた位置に存在する。実空間の地点Ｂにおける表示装置ＤＢに表示される画像は、仮想第１表示装置ＤＡと仮想第２表示装置ＤＱと、表示起点Ｐより撮像される仮想撮像画像と、に基づいて制御される。具体的には、仮想撮像画像Ｐｖは、表示起点Ｐから撮像され、表示起点Ｐから視認される画角範囲内の物体を撮像した画像である。仮想撮像画像Ｐｖは、表示起点Ｐから、人等が仮想第１表示装置の存在する方向を視認した場合に、仮想第１表示装置と仮想第２表示装置とが重畳される様子が示された画像である。
表示制御部１４０は、３Ｄ変換部１３０にて生成された仮想撮像画像を用いて、実空間の地点Ｂにおける表示装置ＤＢに表示される画像を制御する。
図１２および図１３を参照して、仮想撮像画像と表示制御とに関して説明する。図１２および図１３は、表示起点Ｐから撮像される仮想撮像画像Ｐｖに基づいて、表示装置ＤＢに表示される画像が制御された一例を示した図である。図１２の上図は、仮想撮像画像Ｐｖを示している。これより、仮想撮像画像Ｐｖ内で、仮想第２表示装置に表示されるユーザＡ１と、仮想第２表示装置ＤＱに表示されるユーザＢ１、Ｂ２とが表示される中で、ユーザＡ１とユーザＢ１の後姿とが重畳して表示されている。
表示制御部１４０は、図１２の上図に示したように、仮想撮像画像Ｐｖ内で、ユーザＡ１にユーザＢ１またはＢ２の後姿が重なって表示されていたら、ユーザＢ１またはＢ２の後姿のサイズを変更して、図１２の下図に示したように、ユーザＡ１にユーザＢ１またはＢ２の後姿が重ならないようにする。後姿の重なりの程度は、情報処理システム１０００を利用するユーザにより適宜決定されてよい。例えば、表示制御部１４０は、少なくともユーザＡ１の目に重ならないように、後姿のサイズを変更すればよい。よって、表示制御部１４０は、認識されたユーザＡ１の目の位置から一定距離外にユーザＢ１またはＢ２の後姿が配置されるように、後姿のサイズを変更して良い。また例えば、表示制御部１４０は、ユーザＢ１、Ｂ２の後姿がユーザＡ１の顔の輪郭に重なるか否かでユーザＢ１、Ｂ２の後姿のサイズを変更するか否かを判断してよい。表示制御部１４０は、ユーザＢ１、Ｂ２の後姿がユーザＡ１の顔の輪郭に重なっていれば、ユーザＢ１、Ｂ２の後姿のサイズをユーザＡ１の顔の輪郭に重ならないように変更して良い。これにより、ユーザＢ１、Ｂ２は、ユーザＡ１の視線を確実に把握することができ、より快適なコミュニケーションが可能である。
また、表示制御部１４０は、図１３に示したように、仮想撮像画像Ｐｖにおいて、ユーザＢ１またはＢ２の後姿がフレームアウトした場合、フレームアウトしたユーザＢ１またはＢ２が仮想撮像画像Ｐｖ内に入るように、仮想撮像画像Ｐｖの範囲を変更してもよい。この変更は、表示起点Ｐの移動により行われる。例えば、フレームアウトしたユーザＢ１またはＢ２を仮想撮像画像Ｐｖ内に入るようにするために、表示起点Ｐと仮想第２表示装置ＤＱとが、より離隔して配置されてもよい。これにより、図１３の下図に示したように、仮想第１表示装置ＤＡおよび仮想第２表示装置ＤＱを仮想撮像画像Ｐｖ内で縮小することができ、ユーザＡ１およびユーザＢ１、Ｂ２を明確に表示できる。
このような表示制御では、表示画像に違和感を生じさせずに表示することができる。また、変換処理を通した表示制御も処理負荷を軽減して実現可能である。
さらにまた、表示制御部１４０は、仮想撮像画像Ｐｖにおいて、ユーザＢ１またはＢ２がフレームアウトした場合、フレームアウトしたユーザＢ１またはＢ２の後姿が仮想撮像画像Ｐｖ内に入るように、ユーザＢ１またはＢ２の後姿の表示位置を変更してもよい。該表示位置の変更は、ユーザＡ１の目線の先と後姿の位置とが対応する範囲で変更されてよい。なお、本実施形態では、Ｂ地点のユーザが視認する撮像画像に対してユーザの後姿を配置する箇所を表示制御部１４０により変更したが、かかる例に限定されない。表示制御部１４０はＢ地点のユーザの後姿を配置する箇所を予め決めておいて、Ｂ地点のユーザの後姿の配置箇所にＡ地点のユーザの視線を加工して、Ｂ地点のユーザの後姿と視線が合っているかのように、視線を加工してもよい。このとき、Ｂ地点にて視認されるＡ地点のユーザの視線の先に配置されるＢ地点のユーザの後姿のそれぞれは、タグ付けがされて、各ユーザを識別可能な状態として加工されてもよい。
その他にも、表示制御部１４０は、図１２の上図に示したように、仮想撮像画像Ｐｖ内で、ユーザＡ１にユーザＢ１またはＢ２の後姿が重なって表示されていたら、後姿の透過度を変更することで、ユーザＡ１と後姿の視認性を保持してもよい。具体的には、表示制御部１４０は、ユーザＡ１と重なっている後姿の部分の透過度をより上昇させ、ユーザＡ１と重なっていない後姿部分の透過度を低下させてもよい。これにより、表示制御部１４０は、ユーザＡ１の視認性を保持して、後姿の視認性も保持することができる。
（３．動作フロー）
図１４を用いて上述までに説明した各装置および各構成が行う動作フロー（Ｓ１００）を説明する。
まず、地点Ａでは、チャットカメラＶＣＡが地点Ａを撮影する（Ｓ１０２）。また、地点Ａでは、後姿カメラＳＣＡがユーザＡ１の後姿を撮影する（Ｓ１０４）。他方、地点Ｂでは、チャットカメラＶＣＢが地点Ｂを撮影する（Ｓ１０６）。また、地点Ｂでは、後姿カメラＳＣＢがユーザＢ１、Ｂ２の後姿を撮影する（Ｓ１０８）。
これらの動作は、同時に動作を開始してもよく、順次動作を開始してもよい。各動作が行われる順番は問わない。
次に、取得部が、チャットカメラＶＣＡ、ＶＣＢおよび後姿カメラＳＣＡ、ＳＣＢから撮像画像を取得する（Ｓ１１０）。
次に、人物認識部１２０が撮像画像からユーザを認識して、各種情報を検出する（Ｓ１１１）。
人物認識部１２０が、ユーザＡ１の視距離を検出する（Ｓ１１２）。このとき人物認識部１２０は、撮像画像からユーザＡ１を検出および特定し、チャットカメラＶＣＡとユーザＡ１との視距離を検出する。
人物認識部１２０が、撮像画像から撮像画像内のユーザの位置を特定する（Ｓ１１３）。このとき、人物認識部１２０は、撮像画像からユーザＢ１、Ｂ２を検出および特定し、撮像画像内の位置を特定する。なお、撮像画像内の位置は、地点Ｂにおける実空間内での位置であってもよい。
人物認識部１２０が、後姿カメラの撮像画像から後姿を抽出する（Ｓ１１４）。このとき人物認識部１２０は、撮像画像からユーザＢ１およびＢ２の人物部分を検出および特定し、撮像画像内のユーザＢ１およびＢ２の後姿と背景とを分離して抽出する。
次に、３Ｄ変換部が、Ａ地点の表示装置とユーザＡ１との位置関係に基づいて、仮想３Ｄ空間に、仮想第１表示装置と仮想第２表示装置とを配置する（Ｓ１１６）。
次に、表示制御部が、配置された仮想第１表示装置と仮想第２表示装置の位置関係と、表示起点から撮像された仮想撮像画像とに基づいて、地点Ｂの表示装置Ｂで表示される画像を制御する（Ｓ１２０）。
各構成が上述したような動作フローを行うことにより、ユーザＡ１の顔に補正、画像処理などを加えることなく、表示画像に違和感を生じさせずに表示することができる。また、３Ｄ変換処理を通した表示制御も処理負荷を軽減して実現可能である。
（４．変形例）
以上までで、本実施形態にかかる情報処理装置および情報処理方法の説明を行った。本項では、図１５および図１６を参照して、本実施形態にかかる情報処理装置および情報処理方法の変形例の一例を説明する。
（４．１．視距離の優先順位）
上記実施形態においては、地点ＡにユーザＡ１と地点ＢにユーザＢ１、Ｂ２とが存在し、地点Ａと地点Ｂとがコミュニケーションをとる一例を説明した。ここでは、図１５を参照して、上記実施形態の変形例として、地点Ａにユーザが複数いる場合の一例を説明する。図１５は、地点Ａにユーザが複数いる場合の一例を示した図である。
図１５に示す地点Ａには、床Ｆに直立し、表示装置ＤＡを視認するユーザＡ１とユーザＡ２が存在する。ユーザＡ１およびユーザＡ２と表示装置ＤＡとの距離が異なる。ユーザＡ１およびユーザＡ２と表示装置ＤＡとの距離とは、ユーザＡ１およびユーザＡ２の表示装置ＤＡに対する視距離であってよい。視距離とは、ユーザの目から表示装置ＤＡまでの水平距離であってよい。
このように、地点Ａに複数のユーザが存在する場合には、制御部１００は、視距離が最も小さいユーザの視距離を優先して、表示制御を行ってよい。チャットカメラに近いほど、視線の向きの振れ幅が大きくなるため、上記のように視距離が最も小さいユーザの視距離を優先することで、振れ幅を抑制することができる。また、制御部１００は、地点Ａの複数のユーザの中から、話者を特定して、特定された話者の視距離を優先して、表示制御を行ってもよい。
（４．２．測距センサの使用）
上記実施形態の他の変形例の一例として、図１６を参照して、後姿を作成する情報を取得する後姿カメラの代わりに、測距センサを使用した技術を説明する。
図１６は、図５に示した表示装置ＤＡと表示装置ＤＢとに、測距センサ装置ＫｎＡ、ＫｎＢを備えた例を示している。測距センサ装置は、測距センサ装置からユーザの体の部位の距離までを測定可能な位置に配置される。測距センサ装置としては、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサを例示することができる。例えば、ＴｏＦセンサは、ユーザの体に対して赤外光をパルス照射し、赤外光が体の表面で反射して返ってくるまでの時間を直接計測する方法（ｄＴｏＦ法）、または赤外光を変調し、照射時の光の位相と、反射して返って来た光の位相との位相差に基づいて算出する方法（ｉＴｏＦ法）等を用いて、ユーザの体までの距離を測定する。
制御部１００は、測距センサ装置ＫｎＡ、ＫｎＢにより、ユーザの動きに関する情報を取得して、該情報に基づいて、アバターまたはアバターを一部加工したユーザオブジェクトを作成しても良い。ユーザが複数人いる場合は、チャットカメラＶＣＡ、ＶＣＢにより特定したユーザと、測距センサ装置ＫｎＡ、ＫｎＢによりユーザの動きに関する情報を取得したユーザとを関連づけて、リアルタイムにユーザの骨格の動き等を取得して、ユーザオブジェクトに反映させてよい。ユーザが複数人いる場合には、表示制御部１４０は、各ユーザに対応するユーザオブジェクトに各ユーザの視覚的な特徴を反映させても良い。これにより、それぞれのユーザオブジェクトに差異が生まれ、識別が可能となる。視覚的な特徴は、例えば、服のテクスチャまたは髪型などでよい。
なお、本変形例では、後姿カメラの代わりに、測距センサ装置を使用する例を説明したが、チャットカメラと測距センサ装置とが同一デバイスであってもよい。これによると、チャットカメラが撮像する撮像画像を画像認識および画像処理を行うことで、測距が可能であり、設置される装置の数を抑制することができる。
（４．３．グラス型表示装置の使用）
上記実施形態の他の変形例の一例として、図１７を参照して、ユーザオブジェクトを表示制御する際に、グラス型表示装置を装着してユーザが視認をする技術を説明する。図１７は、図１に示す本開示の技術概要の一例がグラス型の表示装置に適用された一例を示している。図１７によると、ユーザ４は、透過型グラス３００を装着している。ユーザ４は、表示装置Ｄに表示される撮像画像に対して透過型グラス３００により重畳表示されたユーザオブジェクトＳ４を視認する。これにより、ユーザが移動しても、ユーザの位置に応じて、ユーザオブジェクトＳ４の表示位置を変化させることができ、より利便性が向上する。
（５．ハードウェア構成例）
図１８を参照して、本実施形態に係る情報処理システムに含まれる情報処理装置の制御部のハードウェア構成の一例について説明する。図１８は、本実施形態に係る制御部のハードウェア構成の一例を示すブロック図である。
図１８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、表示装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図６に示す制御部を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置等がある。表示装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置９０７は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置を用いる場合は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。表示装置９０７は、例えば、図６に示す表示装置ＤＡ若しくは表示装置ＤＢである。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図６に示す制御部１００において、表示制御部１４０が表示装置ＤＡ、表示装置ＤＢを制御する際に使用する仮想撮像画像または、仮想撮像画像を生成する際に使用される各種パラメータ等を記憶する。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３により、例えば、図６に示す、制御部１００とＡ地点およびＢ地点の各種装置とは、各種情報の送受を行っている。この送受の際には、通信装置９１３のような装置が使用されてもよい。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
また、情報処理装置９００では、情報処理システム１０００に内蔵されるＣＰＵ、ＲＯＭ及びＲＡＭなどのハードウェアを上述した本実施形態に係る情報処理システム１０００の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記録媒体も本開示に係る技術の範疇に含まれ得る。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、
前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示する、情報処理装置。
（２）
前記視線関連情報は、前記第１空間に存在する前記第１ユーザから前記第１ユーザが視認する第１表示装置までの視距離に関する情報を含み、
前記表示制御部は、前記視距離に関する情報に基づいて、前記第２ユーザに対応する前記第２ユーザオブジェクトの表示位置を制御する、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記視距離に関する情報に基づいて、前記第１撮像画像のサイズを制御する、前記（２）に記載の情報処理装置。
（４）
前記第１ユーザ、前記第１表示装置、前記第２表示装置、及び前記第２ユーザの位置関係を仮想的に同一空間で表した仮想３Ｄ空間を生成する３Ｄ変換部をさらに備え、
前記表示制御部は、前記仮想３Ｄ空間に配置される前記第１ユーザ、および前記仮想３Ｄ空間に配置され前記第１ユーザから前記視距離だけ離隔されて配置された前記第１表示装置の位置関係と、前記第１ユーザを起点として前記第１表示装置と同じ側にあり前記第１表示装置よりも離れた位置に配置された表示起点から仮想的に撮像される仮想撮像画像と、に基づいて、前記第２ユーザオブジェクトの前記表示位置と前記第１撮像画像の前記サイズとを制御する、前記（３）に記載の情報処理装置。
（５）
前記第２空間に存在する前記第２表示装置は、前記仮想３Ｄ空間では、前記第１ユーザに対応して、前記第１ユーザと同じ位置に配置され、
前記表示制御部は、前記仮想３Ｄ空間における前記第２表示装置と前記第１表示装置との位置関係を用いて、前記第２ユーザオブジェクトの前記表示位置と前記第１撮像画像の前記サイズとを制御する、前記（４）に記載の情報処理装置。
（６）
前記第２表示装置に表示される前記第１撮像画像のサイズは、前記視距離と前記第１撮像画像を撮像する第１撮像装置の画角とにより決定される、前記（２）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記表示制御部は、前記第１撮像画像に表示された前記第１ユーザと、前記第２ユーザオブジェクトとが重畳されないように、前記第２ユーザオブジェクトのサイズを変更する、前記（１）〜（６）のいずれか一項に記載の情報処理装置。
（８）
前記第２ユーザに対応する前記第２ユーザオブジェクトは、前記第２ユーザの後姿を撮像した第２ユーザ後姿撮像画像から抽出した前記第２ユーザの画像に基づいて作成される、前記（２）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記第１撮像装置と前記第１表示装置とは、一体化して備えられる、前記（６）に記載の情報処理装置。
（１０）
前記第２ユーザオブジェクトは、前記第２ユーザに対して照射して、前記第２ユーザから反射した赤外光から取得される情報を用いて作成される、前記（２）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記表示制御部は、さらに、
前記第２空間に存在する少なくとも１以上の第２ユーザを撮像した第２撮像画像を表示する、第１空間に存在する第１表示装置を制御し、前記第１空間に存在する少なくとも１以上の前記第１ユーザに対応する第１ユーザオブジェクトを、前記第２ユーザの視線関連情報に応じて前記第２撮像画像に重畳表示する、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御することと、
前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示することと、を含む情報処理方法。
（１３）
コンピュータを、
第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、
前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示するように機能させるための、プログラム。
ＤＡ、ＤＢ 表示装置
ＶＣＡ、ＶＣＢ チャット用カメラ
ＳＣＡ、ＳＣＢ 後姿用カメラが
１００ 制御部
１１０ 取得部
１２０ 人物認識部
１３０ 変換部
１４０ 表示制御部

Claims (13)

  1. 第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、
    前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示する、情報処理装置。
  2. 前記視線関連情報は、前記第１空間に存在する前記第１ユーザから前記第１ユーザが視認する第１表示装置までの視距離に関する情報を含み、
    前記表示制御部は、前記視距離に関する情報に基づいて、前記第２ユーザに対応する前記第２ユーザオブジェクトの表示位置を制御する、請求項１に記載の情報処理装置。
  3. 前記表示制御部は、前記視距離に関する情報に基づいて、前記第１撮像画像のサイズを制御する、請求項２に記載の情報処理装置。
  4. 前記第１ユーザ、前記第１表示装置、前記第２表示装置、及び前記第２ユーザの位置関係を仮想的に同一空間で表した仮想３Ｄ空間を生成する３Ｄ変換部をさらに備え、
    前記表示制御部は、前記仮想３Ｄ空間に配置される前記第１ユーザ、および前記仮想３Ｄ空間に配置され前記第１ユーザから前記視距離だけ離隔されて配置された前記第１表示装置の位置関係と、前記第１ユーザを起点として前記第１表示装置と同じ側にあり前記第１表示装置よりも離れた位置に配置された表示起点から仮想的に撮像される仮想撮像画像と、に基づいて、前記第２ユーザオブジェクトの前記表示位置と前記第１撮像画像の前記サイズとを制御する、請求項３に記載の情報処理装置。
  5. 前記第２空間に存在する前記第２表示装置は、前記仮想３Ｄ空間では、前記第１ユーザに対応して、前記第１ユーザと同じ位置に配置され、
    前記表示制御部は、前記仮想３Ｄ空間における前記第２表示装置と前記第１表示装置との位置関係を用いて、前記第２ユーザオブジェクトの前記表示位置と前記第１撮像画像の前記サイズとを制御する、請求項４に記載の情報処理装置。
  6. 前記第２表示装置に表示される前記第１撮像画像のサイズは、前記視距離と前記第１撮像画像を撮像する第１撮像装置の画角とにより決定される、請求項５に記載の情報処理装置。
  7. 前記表示制御部は、前記第１撮像画像に表示された前記第１ユーザと、前記第２ユーザオブジェクトとが重畳されないように、前記第２ユーザオブジェクトのサイズを変更する、請求項１に記載の情報処理装置。
  8. 前記第２ユーザに対応する前記第２ユーザオブジェクトは、前記第２ユーザの後姿を撮像した第２ユーザ後姿撮像画像から抽出した前記第２ユーザの画像に基づいて作成される、請求項２に記載の情報処理装置。
  9. 前記第１撮像装置と前記第１表示装置とは、一体化して備えられる、請求項６に記載の情報処理装置。
  10. 前記第２ユーザオブジェクトは、前記第２ユーザに対して照射して、前記第２ユーザから反射した赤外光から取得される情報を用いて作成される、請求項２に記載の情報処理装置。
  11. 前記表示制御部は、さらに、
    前記第２空間に存在する少なくとも１以上の第２ユーザを撮像した第２撮像画像を表示する、第１空間に存在する第１表示装置を制御し、前記第１空間に存在する少なくとも１以上の前記第１ユーザに対応する第１ユーザオブジェクトを、前記第２ユーザの視線関連情報に応じて前記第２撮像画像に重畳表示する、請求項１に記載の情報処理装置。
  12. 第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御することと、
    前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示することと、を含む情報処理方法。
  13. コンピュータを、
    第１空間に存在する少なくとも１以上の第１ユーザを撮像した第１撮像画像を表示する、第２空間に存在する第２表示装置を制御する表示制御部を備え、
    前記表示制御部は、前記第２空間に存在する少なくとも１以上の第２ユーザに対応する第２ユーザオブジェクトを、前記第１ユーザの視線関連情報に応じて前記第１撮像画像に重畳表示するように機能させるための、プログラム。
JP2020556719A 2018-11-09 2019-10-16 情報処理装置、情報処理方法及びプログラム Active JP7452434B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018211671 2018-11-09
JP2018211671 2018-11-09
PCT/JP2019/040620 WO2020095639A1 (ja) 2018-11-09 2019-10-16 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2020095639A1 true JPWO2020095639A1 (ja) 2021-09-24
JP7452434B2 JP7452434B2 (ja) 2024-03-19

Family

ID=70612392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020556719A Active JP7452434B2 (ja) 2018-11-09 2019-10-16 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US11589001B2 (ja)
JP (1) JP7452434B2 (ja)
CN (1) CN113170075B (ja)
DE (1) DE112019005617T5 (ja)
WO (1) WO2020095639A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022130798A1 (ja) * 2020-12-16 2022-06-23 ソニーグループ株式会社 表示装置、表示制御方法、およびプログラム
CN116107534A (zh) * 2021-11-10 2023-05-12 财团法人工业技术研究院 信息显示方法及其处理装置与信息显示系统

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1055257A (ja) * 1996-08-09 1998-02-24 Nippon Telegr & Teleph Corp <Ntt> ３次元仮想空間表示方法
JP2000276613A (ja) * 1999-03-29 2000-10-06 Sony Corp 情報処理装置および情報処理方法
US8208007B2 (en) * 2004-04-21 2012-06-26 Telepresence Technologies, Llc 3-D displays and telepresence systems and methods therefore
JP2009065490A (ja) 2007-09-07 2009-03-26 Nippon Telegr & Teleph Corp <Ntt> テレビ会議装置
EP2285109B1 (en) * 2008-05-29 2018-11-28 Fujitsu Limited Vehicle image processor, and vehicle image processing system
JP5674300B2 (ja) 2009-09-30 2015-02-25 一般財団法人Ｎｈｋサービスセンター 情報伝達処理装置及び情報伝達処理システム並びにこれらに用いるコンピューター・プログラム
CN103140879B (zh) * 2010-09-30 2017-06-16 富士胶片株式会社 信息呈现装置、数字照相机、头戴式显示器、投影仪、信息呈现方法和信息呈现程序
US8665307B2 (en) * 2011-02-11 2014-03-04 Tangome, Inc. Augmenting a video conference
JP2013042250A (ja) * 2011-08-12 2013-02-28 Sony Corp 撮像装置および撮像方法
JP2013062640A (ja) * 2011-09-13 2013-04-04 Sony Corp 信号処理装置、信号処理方法、およびプログラム
JP2014191718A (ja) * 2013-03-28 2014-10-06 Sony Corp 表示制御装置、表示制御方法および記録媒体
JP2015002477A (ja) 2013-06-17 2015-01-05 キヤノン株式会社 情報処理装置、情報処理システムおよび情報処理方法
US10075656B2 (en) * 2013-10-30 2018-09-11 At&T Intellectual Property I, L.P. Methods, systems, and products for telepresence visualizations
WO2017115507A1 (ja) * 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
US10942024B2 (en) * 2016-02-02 2021-03-09 Sony Corporation Information processing apparatus, information processing method, and recording medium
US10219095B2 (en) * 2017-05-24 2019-02-26 Glen A. Norris User experience localizing binaural sound during a telephone call
JP6392945B1 (ja) * 2017-07-19 2018-09-19 株式会社コロプラ 仮想空間を提供するコンピュータで実行されるプログラム、方法、および当該プログラムを実行する情報処理装置
KR102271308B1 (ko) * 2017-11-21 2021-06-30 주식회사 하이퍼커넥트 영상통화 중에 상호작용 가능한 시각적 오브젝트를 제공하기 위한 방법, 및 이를 수행하는 상호작용 가능한 시각적 오브젝트 제공 시스템

Also Published As

Publication number Publication date
CN113170075B (zh) 2024-04-19
US11589001B2 (en) 2023-02-21
JP7452434B2 (ja) 2024-03-19
WO2020095639A1 (ja) 2020-05-14
CN113170075A (zh) 2021-07-23
US20210400234A1 (en) 2021-12-23
DE112019005617T5 (de) 2021-08-19

Similar Documents

Publication Publication Date Title
JP6780642B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6229314B2 (ja) 情報処理装置、表示制御方法及びプログラム
WO2017215295A1 (zh) 一种摄像机参数调整方法、导播摄像机及系统
US11924402B2 (en) Information processing apparatus and information processing method
JP2016213674A (ja) 表示制御システム、表示制御装置、表示制御方法、及びプログラム
WO2017141584A1 (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
JPWO2020095639A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP2011097447A (ja) コミュニケーションシステム
US11317082B2 (en) Information processing apparatus and information processing method
US20190028690A1 (en) Detection system
JPWO2019230169A1 (ja) 表示制御装置、プログラムおよび表示制御方法
JPWO2019087513A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018216327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
US20240202944A1 (en) Aligning scanned environments for multi-user communication sessions
WO2017203818A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2017098999A1 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法、及び、コンピュータープログラム
US20230401805A1 (en) Merged 3D Spaces During Communication Sessions
US10816814B2 (en) Imaging device
JP6950548B2 (ja) 送信プログラム、方法及び装置、並びに画像合成プログラム、方法及び装置
WO2024050280A1 (en) Dual camera tracking system
JP2018056907A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240219

R151 Written notification of patent or utility model registration

Ref document number: 7452434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151