JP7259838B2 - 情報処理装置、情報処理方法、および記録媒体 - Google Patents

情報処理装置、情報処理方法、および記録媒体 Download PDF

Info

Publication number
JP7259838B2
JP7259838B2 JP2020505604A JP2020505604A JP7259838B2 JP 7259838 B2 JP7259838 B2 JP 7259838B2 JP 2020505604 A JP2020505604 A JP 2020505604A JP 2020505604 A JP2020505604 A JP 2020505604A JP 7259838 B2 JP7259838 B2 JP 7259838B2
Authority
JP
Japan
Prior art keywords
user
display
display object
control unit
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020505604A
Other languages
English (en)
Other versions
JPWO2019176236A1 (ja
Inventor
真里 斎藤
毅 石川
諒 横山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2019176236A1 publication Critical patent/JPWO2019176236A1/ja
Application granted granted Critical
Publication of JP7259838B2 publication Critical patent/JP7259838B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/10—Details of earpieces, attachments therefor, earphones or monophonic headphones covered by H04R1/10 but not provided for in any of its subgroups
    • H04R2201/107—Monophonic and stereophonic headphones with microphone for two-way hands free communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示は、情報処理装置、情報処理方法、および記録媒体に関する。
近年、実空間に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、テキスト、アイコン又はアニメーションなどの様々な形態の仮想的なオブジェクトを用いて可視化され得る。また、ＡＲ技術においてユーザに呈示される情報は、通常、入力画像に映るいずれかの実物体と関連付けられる位置に表示される。
このようなＡＲ技術におけるユーザへの呈示情報の制御に関し、例えば下記特許文献１では、ＡＲアプリケーションを通じて提供される多数の情報の中で、ユーザにとっての所望の情報の視認性を選択的に向上させる技術が開示されている。
特開２０１３－２１８５９７号公報
しかしながら、ＡＲ技術におけるユーザへの呈示情報の制御に関する従来の技術では、仮想的なオブジェクト（ＡＲ仮想物体）を実物体のように自然に見せることはできるが、実物体をＡＲで装飾したり隠蔽する際には、ＡＲ自体の視認性が高かったり、ＡＲが突然現れたりといった急激な変化により装飾や隠蔽が強調され、コミュニケーション相手に対して自分や自分の空間における実物体を意図的に隠蔽したい場合には適切ではない。
そこで、本開示では、コミュニケーション相手に悟られずに実空間の表示を変化させることが可能な情報処理装置、情報処理方法、および記録媒体を提案する。
本開示によれば、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、を含む、情報処理方法を提案する。
本開示によれば、コンピュータを、第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、として機能させるためのプログラムが記録された、記録媒体を提案する。
以上説明したように本開示によれば、コミュニケーション相手に悟られずに実空間の表示を変化させることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の一実施形態による情報処理システムの他のシステム構成例について説明する図である。 本開示の一実施形態による情報処理システムの構成の一例を示す図である。 本開示の一実施形態による情報処理端末の構成の一例を示すブロック図である。 本開示の一実施形態によるサーバの構成の一例を示すブロック図である。 本開示の一実施形態による装飾制御において誘導オブジェクトを用いて相手の視線を逸らした上で装飾対象の表示オブジェクトの外観を変化させる例について説明する図である。 本開示の一実施形態に係る動作処理における装飾制御の流れの一例を示すフローチャートである。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
２－１．情報処理端末１０の構成
２－２．サーバ２０の構成
３．動作処理
４．補足
５．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。本実施形態による情報処理システム１は、空間Ａに存在するユーザＡと、空間Ｂに存在するユーザＢとのコミュニケーションを実現するものであって、例えば図１に示すように、空間Ａに存在するユーザＡの頭部に装着される入出力機能を有するＨＭＤ（Head Mounted Display）等により実現される情報処理端末１０Ａと、空間Ｂに存在するユーザＢの頭部に装着されるＨＭＤ等により実現される情報処理端末１０Ｂとを含む。情報処理システム１は、さらに、ユーザを含む空間内の映像（部屋の様子など）を撮像する外部カメラ１２を含んでいてもよい。また、本実施形態による情報処理システム１は、情報処理端末１０Ａおよび情報処理端末１０Ｂと、ネットワークを介して接続するサーバ２０をさらに含み得る。
本実施形態による情報処理システム１は、空間Ａの情報（例えば、画像、音声）を、外部カメラ１２Ａや、情報処理端末１０Ａに設けられた各種センサにより取得して、空間Ｂに存在するユーザＢに対して情報処理端末１０Ｂから出力する。また、情報処理システム１は、空間Ｂの情報（例えば、画像、音声）を、外部カメラ１２Ｂや、情報処理端末１０Ｂに設けられた各種センサにより取得して空間Ａに存在するユーザＡに対して情報処理端末１０Ａから出力する。これにより、リアルタイムでユーザＡとユーザＢの双方向コミュニケーションが実現される。
本実施形態による双方向コミュニケーションにおける互いの様子の見せ方は、様々想定される。まず、図１に示すように、本実施形態による情報処理端末１０の一例として、頭部装着型のＨＭＤを用いる場合を想定する。ＨＭＤは、頭部装着型の表示装置を広く意味し、例えば、ヘッドバンド等の装着ユニットにより頭部に被せる形状や、耳で支える眼鏡形状がある。ディスプレイ方式としては、視界を全て表示部で覆う非透過型（没入型ＨＭＤとも称す）、視界を全て表示部で覆うが外の様子をＨＭＤの外向きカメラにより撮像して表示部に表示するビデオ透過型（ビデオシースルー型ＨＭＤとも称す）、光学透過性を有する表示部により外界を視認できる状態において実空間に画像が重畳表示される所謂光学シースルー型、また、ユーザの眼前に保持された投影部（プロジェクタ相当）により、ユーザの眼に向けて画像を投影する網膜投射型がある。また、ＨＭＤは、両眼に画像を提示するものに限定されず、片眼のみに画像を提示するものであってもよい。
没入型は、さらにヘッドフォン等で耳を覆うことで外界の情報を遮断し、没入感を高めることができ、ＶＲ（Virtual Reality）で好ましく用いられる。また、シースルー型や網膜投射型は、日常的にＨＭＤを装着した状態で生活することができ、ユーザの眼の前に存在する実物体に関する情報を提示する場合など、ＡＲ（Augmented Reality）で好ましく用いられる。
以上説明した様々なディスプレイ方式を用い得るＨＭＤには、外界を撮像する外向きカメラや、装着者の顔や眼を撮像する内向きカメラ、視線センサ（赤外線センサ、眼電位センサなど。外向き／内向きカメラを視線センサとして用いてもよい）、また、ジャイロ・加速度センサなどが設けられている。
また、本実施形態による情報処理システム１における双方向コミュニケーションでの互いの様子の見せ方は様々想定される。例えば、情報処理システム１は、外部カメラ１２Ａにより撮像したユーザＡを含む部屋の映像を、ユーザＢの情報処理端末１０Ｂの表示部に表示する際、撮像した映像からユーザＡやユーザＡが座っている椅子など所定のオブジェクト（実物体）を抽出し、ユーザＢが装着している情報処理端末１０Ｂの光学シースルー型の表示部において、空間Ｂに重畳表示してもよい（所謂ＡＲ。重畳表示するオブジェクトは例えば３Ｄ画像であってもよい）。これによりユーザＢは、ユーザＡがあたかも空間Ｂに存在しているかのような状態で、ユーザＡとコミュニケーションを取ることができる。若しくは、情報処理システム１は、外部カメラ１２Ａにより撮像したユーザＡを含む部屋の映像を、ユーザＢが装着する、ユーザの視界を覆う非透過型のＨＭＤの情報処理端末１０Ｂに表示することで、ユーザＢがあたかも空間ＡでユーザＡと一緒にいるような没入感を与えることができる。
また、情報処理端末１０は、上述したようなＨＭＤに限定されず、例えば、ＰＣ、ノートＰＣ、テレビ装置、スマートフォン、タブレット端末、携帯電話端末、プロジェクター等、様々な表示装置が想定される。図２に、本実施形態による他のシステム構成の一例を示す。図２に示すように、例えば、空間Ａに存在するノートＰＣ等による情報処理端末１０ａにおいて空間Ｂの情報（画像、音声）を出力し、空間Ｂに存在するノートＰＣ等による情報処理端末１０ｂにおいて空間Ａの情報（画像、音声）を出力する。空間の情報は、情報処理装置１０に設けられた各種センサ（カメラ、マイク）や、外部カメラ１２ａにより取得され得る。具体的には、例えば情報処理端末１０に設けられたカメラ１１１により、ユーザを含む空間の映像を取得し得る。
ここで、例えばユーザＡが存在する空間Ａの映像を、空間Ｂに存在する情報処理端末１０Ｂで提示する場合に、空間Ａの映像に含まれるユーザＡの周辺に存在する実オブジェクト４０ａ～４０ｆをユーザＢには見せたくないといったことがある。例えば、テレワーク（テレコミューティングとも称する。インターネット等を介して自宅等で働く勤労形態を示す）により自宅と会社を映像で繋いだ際に、プライベート空間である自宅の映像（ユーザの背景等に映り込む自室の様子など）が会社に送られるため、例えば散らかった洗濯物や子供の様子など、会社の人には見られたくないものが見られてしまう恐れがある。また、テレワークで１時間程度の会議のためだけに化粧をするのは面倒といった事情もある。
上述した実空間に表示オブジェクトを重畳表示する従来技術としては、例えばＡＲ技術が提案されているが、ＡＲオブジェクトの境界面が目立ったり、ＡＲオブジェクト自体がユーザの注意を引くことを目的として生成されたりするため、実空間の一部分を隠したいといった用途には適していなかった。
また、隠したい部分にＡＲオブジェクトが急に現れると、表示の変化により却って目立ってしまい、好ましくない。ユーザとしては、隠蔽や装飾していること自体も相手には悟られないことが望ましい。
そこで、本開示による情報処理システム１では、実空間に対応付けられる表示オブジェクトに対してコミュニケーション相手が注視していない間にその表示オブジェクトの外観（appearance）を（徐々に）変化させることで、相手に悟られずに実空間の表示を変化させる（隠蔽のために装飾する）ことを可能とする。
また、本開示による情報処理システム１では、コミュニケーション相手の視線を誘導する誘導オブジェクトを敢えて表示して装飾対象の表示オブジェクトから相手の注意を逸らした上で、当該表示オブジェクトの外観を変化させることで、より確実に、相手に悟られずに実空間の表示を変化させることも可能である。
ユーザの視線は、情報処理端末１０のディスプレイ方式が例えば図１に示すようなＨＭＤの場合、ＨＭＤに設けられた視線センサ１１３等によりセンシングしたデータに基づいて認識することが可能である。視線認識手法の詳細については後述するが、例えば、視線センサ１１３の一例として赤外線センサや眼電位センサを用いて、眼球の動き等から視線を認識することができる。若しくは、ＨＭＤに設けられたカメラ１１１（外向き／内向きカメラ）やジャイロ・加速度センサ（不図示）等を用いて、顔向きや頭部方向等から視線を認識することもできる。
一方、情報処理端末１０のディスプレイ方式が例えば図２に示すようなノートＰＣの場合、ユーザの視線を、ノートＰＣに設けられた視線センサ１１３や、外部カメラ１２等によりセンシングしたデータに基づいて認識することが可能である。例えば、ノートＰＣの画面を見ているユーザに対して赤外線を当てて眼の角膜上に反射点（プルキニエ像）を作った状態で撮像した撮像画像に基づいて、瞳孔点と反射点との位置関係から視線を認識してもよい。また、ノートＰＣに設けられたカメラ１１１や外部カメラ１２によりユーザの顔を撮影し、顔向きから視線認識を行ってもよい。
以上、本実施形態による情報処理システム１の概要について説明した。なお、本実施形態において、双方向コミュニケーションを行う各ユーザが利用する情報処理端末１０は、全て同じディスプレイ方式でなくともよい。例えば、ユーザＡがノートＰＣを用いる一方で、ユーザＢがシースルー型ＨＭＤを用いていてもよい。
次いで、本実施形態による情報処理システム１のシステム構成の一例を図３に示す。図３を参照すると、情報処理システム１は、空間Ａの情報の入出力を制御する情報処理端末１０Ａと、空間Ｂの情報の入出力を制御する情報処理端末１０Ｂと、各空間における情報出力の際に装飾制御を行うサーバ２０とを含む。情報処理端末１０Ａ、情報処理端末１０Ｂ、およびサーバ２０は、ネットワーク３０を介して接続される。なお本実施形態では、一例としてユーザＡとユーザＢの二者間のコミュニケーションを実現するシステム構成について説明しているが、本開示はこれに限定されず、３者間以上のコミュニケーションを実現するシステム構成であってもよい。
情報処理端末１０は、入力部１１０および出力部１３０を含み、入力部１１０から取得した空間情報を、接続先に送信すると共に、接続先から受信した接続先の空間情報を出力部１３０から出力する制御を行う。空間情報の送受信は、サーバ２０を介して行われてもよいし、接続先と直接送受信してもよいし、サーバ２０および接続先の両方と送受信してもよい。また、情報処理端末１０は、複数の装置により構成されていてもよい。例えば、入力部１１０又は出力部１３０が情報処理端末１０と別の装置により実現され、有線又は無線により情報処理端末１０と接続される構成であってもよい。例えば、入力部１１０がカメラデバイス、出力部１３０がＨＭＤ、情報処理端末１０が据え置きの専用端末により実現され、情報処理端末１０が有線又は無線によりカメラデバイスおよびＨＭＤと接続する構成であってもよい。
サーバ２０は、例えばクラウド上のサーバであって、各空間に相手空間の情報を出力する際に、適宜、表示オブジェクトの装飾制御を行う。本明細書において、「表示オブジェクト」とは、実空間で撮像した実オブジェクトであって、実空間に存在するユーザや物体が含まれる。
以下、本実施形態による情報処理システム１に含まれる各装置の具体的な構成について図面を参照して説明する。
＜＜２．構成＞＞
＜２－１．情報処理端末１０の構成＞
図４は、本実施形態による情報処理端末１０の構成の一例を示すブロック図である。図４に示すように、情報処理端末１０は、制御部１００、入力部１１０、操作Ｉ／Ｆ（インタフェース）１２０、出力部１３０、通信部１４０、および記憶部１５０を有する。
（制御部１００）
制御部１００は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理端末１０内の動作全般を制御する。制御部１００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部１００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
本実施形態による制御部１００は、視線認識部１０１、音声制御部１０２、および表示制御部１０３としても機能する。
視線認識部１０１は、空間内におけるユーザの視線方向および注視点の少なくとも一方を認識し、認識結果をサーバ２０に出力する。例えば視線認識部１０１は、ディスプレイ１３１を見るユーザの視線を追跡する。視線認識手法については特に限定しないが、例えば次に説明するような手法を用いることが可能である。
まず、情報処理端末１０が図１に示すようにＨＭＤにより実現されている場合、視線認識部１０１は、情報処理端末１０に設けられたセンサにより装着者であるユーザの視線を検出し得る。例えば、視線認識部１０１は、情報処理端末１０に設けられる環境を認識するためのフロントカメラ（カメラ１１１）の向きをユーザの視線の向きとして認識してもよい。また、視線認識部１０１は、例えば視線センサ１１３の一例である赤外線センサ（赤外線光源および赤外線カメラ（光学センサ））により撮像されたユーザの眼の撮像画像を解析し、眼球の動きから視線を認識してもよい。より具体的には、例えば視線認識部１０１は、瞳孔や虹彩の位置、動き、また、瞳孔位置とプルキニエ像の位置関係を取得することで、ユーザの視線を認識し得る。また、視線認識部１０１は、例えば視線センサ１１３の一例である眼電位センサによりセンシングした眼電位値を解析し、眼球の運動を把握して視線方向を認識することも可能である。
また、情報処理端末１０が図２に示すようなノートＰＣ等により実現されている場合、視線認識部１０１は、情報処理端末１０に設けられた視線センサ１１３やカメラ１１１により、情報処理端末１０のディスプレイ１３１を見ているユーザの視線（視線方向や、ディスプレイ１３１上の注視点など）を認識し得る。例えば、視線認識部１０１は、カメラ１１１により撮像された撮像画像を解析し、ユーザの顔／頭部の向きから、視線方向を認識する。また、視線認識部１０１は、視線センサ１１３の一例である赤外線センサにより、ユーザの眼の撮像画像を解析し、瞳孔位置とプルキニエ像（赤外光照射による角膜上の反射点）の位置関係から視線を認識してもよい。
音声制御部１０２は、出力部１３０のスピーカ１３２から音声を出力する制御を行う。表示制御部１０３は、出力部１３０のディスプレイ１３１に画像を表示する制御を行う。例えば音声制御部１０２および表示制御部１０３は、サーバ２０から受信した相手空間の音声および映像をスピーカ１３２およびディスプレイ１３１から出力する制御を行う。
また、本実施形態による制御部１００は、入力部１１０から取得した撮像画像および音声情報を、通信部１４０からネットワーク３０を介してサーバ２０又は接続先の情報処理端末１０に送信する制御を行う。
（入力部１１０）
入力部１１０は、空間情報を入力する機能を有する。例えば入力部１１０は、カメラ１１１、マイクロフォン（以下、マイクと称する）１１２、および視線センサ１１３を含む。カメラ１１１は、例えばＨＭＤに設けられる外向きカメラであって、周辺の映像を撮像する。カメラ１１１は複数設けられていてもよい。マイク１１２は、周囲の音声を取得する。マイク１１２は、複数から成るマイクアレイであってもよい。
視線センサ１１３は、ユーザの視線認識に用いられるデータをセンシングするセンサであって、例えば、赤外線センサ（赤外線ＬＥＤと赤外線カメラ）、または、眼電位センサ等により実現される。
（操作Ｉ／Ｆ１２０）
操作Ｉ／Ｆ１２０は、ユーザからの操作入力を受け付け、制御部１００へ出力する。操作Ｉ／Ｆ１２０は、キーボード、マウス、タッチパネル、ボタン、スイッチ等により実現され得る。
（出力部１３０）
出力部１３０は、制御部１００から出力される各種情報をユーザに提示する機能を有する。例えば出力部１３０は、ディスプレイ１３１およびスピーカ１３２を有する。ディスプレイ１３１は、相手ユーザ（遠隔地空間に存在するユーザ）の映像を表示する。スピーカ１３２は、相手ユーザの音声を再生する。
（通信部１４０）
通信部１４０は、ネットワーク３０を介して他の情報処理端末１０やサーバ２０と接続し、データの送受信を行う。例えば通信部１４０は、カメラ１１１により撮像された撮像画像、およびマイク１１２により収音された音声データを、通信先の情報処理端末１０やサーバ２０へ送信する。また、通信部１４０は、通信先の情報処理端末１０やサーバ２０から、映像や音声データ等を受信する。
（記憶部１５０）
記憶部１５０は、制御部１００が各機能を実行するためのプログラムやパラメータを格納するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。また、本実施形態による記憶部１５０は、通信部１４０を介して送受信されるデータを記憶してもよい。
以上、本実施形態による情報処理端末１０の構成について具体的に説明した。なお、図３に示す構成は一例であって、本実施形態による情報処理端末１０の構成はこれに限定されない。例えば、情報処理端末１０は複数の装置により構成されていてもよい。具体的には、入力部１１０および出力部１３０の少なくともいずれかが別の装置により実現されていてもよい。
＜２－２．サーバ２０の構成＞
図５は、本実施形態によるサーバ２０の構成の一例を示すブロック図である。図５に示すように、サーバ２０（情報処理装置）は、制御部２００、通信部２１０、ユーザＤＢ（データベース）２２０、および装飾ルールＤＢ２３０を有する。
（制御部２００）
制御部２００は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ２０内の動作全般を制御する。制御部２００は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２００は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部２００は、装飾制御部２０１および注視状態判定部２０２としても機能する。
装飾制御部２０１は、コミュニケーション相手に提示する実空間に対応付けられた表示オブジェクトの外観を変化させる制御を行う。実空間を撮像した撮像画像は、リアルタイムでコミュニケーション相手に提示されるため、ユーザが動いたりカメラアングルを切り替えたりした際に、見られたくないものが映り込んでしまう可能性がある。また、化粧をしていない顔を見られたくはないが、短時間のコミュニケーションのために化粧をするのは面倒といったことがある。本実施形態による装飾制御部２０１は、このようなコミュニケーション相手に見られたくない部分を隠蔽したり、ユーザの顔に仮想的な化粧を施したりといった、実空間の映像への装飾を行い得る。また、装飾制御部２０１は、装飾を行う際には、急激な変化により相手に悟られることを回避するため、相手の注視領域等に応じて、徐々に変化させることで、相手に気付かれずに装飾を行うことを特徴とする。すなわち、装飾制御部２０１は、第１の実空間に存在する第１のユーザの表示装置によって表示される、第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する第１のユーザの注視状態又は非注視状態の判定結果に基づいて、注視状態から非注視状態に移った際に、表示オブジェクトの外観を変化させる制御を行い得る。どのような条件でどのような装飾を施すのかについては、例えば装飾ルールＤＢ２３０に予め設定された装飾ルールに基づいて行われる。
ここで、装飾ルールに基づいて行われる装飾制御の具体例についていくつか説明する。
（１）注視領域に応じた装飾制御
例えば、装飾制御部２０１は、コミュニケーション相手（例えば図１に示すユーザＢ）が存在する相手空間（例えば図１に示す空間Ｂ）における表示装置（例えばディスプレイ１３１）に表示される、ユーザ空間（例えば図１に示す空間Ａ）に対応付けられた表示オブジェクト（例えば空間Ａに存在する実オブジェクトの撮像画像）に対する相手の注視状態が非注視状態に移った際に、表示オブジェクトの外観を変化させる制御を行う。相手が見ていない間に変化させることで、相手に悟られずに装飾することが可能となる。なお、相手の注視状態および非注視状態は、後述する注視状態判定部２０２により判定される。
また、装飾制御部２０１は、注視状態から非注視状態に移る毎に、表示オブジェクトの外観を段階的に変化させて少しずつ装飾を施すことで、より確実に、コミュニケーション相手に悟られないようにすることも可能である。また、装飾制御部２０１は、表示オブジェクトの外観の変化量を時間経過に応じて徐々に大きくしてもよい。小さな変化から開始することで、相手に気付かれることを極力避けることができる。また、装飾制御部２０１は、表示オブジェクトの境界面から徐々に変化させることで、変化を目立たないようにしてもよい。また、装飾制御部２０１は、表示オブジェクトの境界面近傍の表示オブジェクト以外の領域（すなわち表示オブジェクトの周辺）も変化させることで、境界面の変化を目立たないようにすることも可能である。例えば表示オブジェクトの周辺の領域の色を、表示オブジェクトの境界面の色に近付けると共に、表示オブジェクトの境界面の色も周辺の領域の色に近付けることで、境界面の色の変化を小さくする。
また、装飾制御部２０１は、コミュニケーション相手の視線を誘導する誘導オブジェクトを、表示オブジェクトと離れた位置に表示して、コミュニケーション相手の注意（アテンション）を誘導オブジェクトに向かせた上で、表示オブジェクトの装飾を行うようにしてもよい。これにより、より確実に、表示オブジェクトに対するコミュニケーション相手の注視状態を非注視状態に移し、コミュニケーション相手に気付かれずに表示オブジェクトの外観を変化させることが可能となる。誘導オブジェクトは、例えば所定のキャラクター画像やエージェント画像、光ったり動いたりするインテリアや装飾品等の仮想的なオブジェクトであってもよいし、装飾度合いを高めたメッセージングや相手への通知等であってもよい。また、コミュニケーション相手の視線を誘導する手法としては、かかる誘導オブジェクトの提示に限定されず、アテンションを取りたい領域（すなわち誘導領域であって、表示オブジェクトから離隔した領域が好ましい）の輝度や彩度、明度等を一時的に上げる（誘目性を高める）ようにしてもよい。
ここで、図６を参照して本実施形態の装飾制御について具体的に説明する。図６は、本開示の一実施形態による装飾制御において誘導オブジェクトを用いて相手の視線を逸らした上で装飾対象の表示オブジェクトの外観を変化させる例について説明する図である。図６に示す例では、空間Ａに存在するユーザＡと空間Ｂに存在するユーザＢとのコミュニケーションを想定する。また、図６に示す画像４０－１～４０－３は、例えば外部カメラ１２ａにより空間Ａから取得し、空間Ｂに存在する表示装置（情報処理端末１０Ｂ）で出力される映像である。ここでは一例として外部カメラ１２ａを用いているが、本実施形態はこれに限定されず、情報処理端末１０ａのカメラ１１１ａにより取得してもよい。また、音声もマイク１１２ａ等により取得され得る。
図６の画像４０－１に示すように、ユーザＡの背景に、散らかった机や引き出しが映り込んでしまっている場合（表示オブジェクト４１ａ、４１ｂ）、ユーザＡとしてはこれらを自然に隠蔽することが望ましい。これらの隠蔽したい表示オブジェクト４１ａ、４１ｂは、例えばコミュニケーション開始時にはユーザＡの身体に隠れていて見えていなかったが、ユーザが移動することによって見えてしまうといったことも想定される。また、最初の相手（例えば同僚）は身だしなみや部屋の状況を気にしない相手だったため隠す必要は無かったが、途中から参加したもう一人の相手（例えば上司）は、身だしなみや部屋の状況を気にする相手であった場合、見えると都合の悪いものが出てくるが、最初から繋がっていた相手には既に見えている部分であり、仮想画像で急に隠すと却って違和感が生じるといった状況が想定される。また、ユーザＡが寝癖や身なり、化粧をしていない姿を相手に見られたくない場合、ユーザＡの顔部分の表示オブジェクト４１ｃを装飾する（仮想的な化粧を施す）ことが望ましいが、急激な変化を伴う装飾を行うと相手に仮想的な化粧であると知られてしまう可能性がある。
そこで本実施形態では、図６の画像４０－２に示すように、表示オブジェクト４１ａ～４１ｃと離隔した位置に誘導オブジェクト４３を表示し、相手（例えば、ユーザＢ）の視線を誘導する。相手側の視線は、例えば情報処理端末１０Ｂにより、情報処理端末１０Ｂのディスプレイ１３１ｂに表示している画像４０－１に対するユーザＢの視線を、視線センサ１１３ｂやカメラ１１１ｂによりセンシングしたデータに基づいて認識する。誘導オブジェクト４３は、キャラクター画像やエージェント画像であってもよく、動いたり音を出したりすることで、相手の注意を引くことが好ましい。また、誘導オブジェクト４３は、相手の趣味嗜好情報に応じて、相手が興味を示しそうなキャラクター画像やエージェント画像にしてもよい。
このように相手の視線を誘導して装飾領域から外した上で、サーバ２０の装飾制御部２０１は、表示オブジェクト４１ａ～４１ｃの装飾（外観の変化）を開始する。装飾制御の内容としては、例えば机の上に散らかっているゴミ、乱雑な状態のペンや付箋、プリント等を消したり、キーボードの位置を正す画像加工を行ったり、事前に取得した普段の机（綺麗な状態の机）の画像や、普段のコミュニケーション時における机の画像（コミュニケーション時には綺麗にしている）を重畳表示したりすることが想定される。また、装飾制御部２０１は、事前に取得した化粧を施しているユーザの顔画像に基づいて、普段の化粧顔を再現するよう、ファンデーション、チーク、眉、アイメイク、および口紅を付加したり、シミやしわの除去、美白加工等を行い得る。
このような装飾（外観の変化）は、時間を掛けて徐々に行うようにしてもよい。例えば装飾制御部２０１は、相手の視線が１回外れたタイミングで全ての変化を実行するのではなく、視線が外れる毎に段階的に変化させるようにしてもよい。また、装飾制御部２０１は、複数の表示オブジェクトがある場合、同時に装飾制御を開始してもよいし、相手の注意が向き難い場所（例えば画面端の領域や、相手の注視点から離れた領域、奥行き方向に遠い領域、相手が見慣れている物、誘目性が他よりも低いなど）にある表示オブジェクトから順に変化させるようにしてもよい。
そして、最終的には、図６の画像４０－３に示すように、机や引き出しが綺麗な状態に変化した表示オブジェクト４１ａ、４２ｂ、及びユーザＡの顔に化粧が施された表示オブジェクト４１ｃが表示される。
以上、図６を参照して装飾制御の具体的な内容について説明した。
また、装飾制御部２０１は、コミュニケーション相手の注意が向いていない領域を検出（推定）し、その領域から（装飾が必要であると判断した場合は）変化させるようにしてもよい。「コミュニケーション相手の注意が向いていない領域の検出」は、上述した実際のコミュニケーション相手の視線認識に基づく注視状態および非注視状態の判定結果の他にも、以下のような手法が考えられる。
例えば、空間内に存在する物体がコミュニケーション相手にとって既知かつ変化しない場合、コミュニケーション相手が注目せず、変化に気付き難いと推定される。したがって、空間内に存在する物体が既知かつ変化しない場合（例えばユーザがいつも同じ部屋に居る場合）、装飾制御部２０１は、相手のアテンションを捉えやすい順番を推定し、当該順番の低順位から変化させるようにしてもよい。相手のアテンションを捉えやすい物体／領域の判断は、例えば「視覚探索課題における妨害刺激とターゲット刺激との関係（Jeremy Wolfe and Todd S. Horowitz (2008), Scholarpedia, 3(7):3325.）」などに基づくアルゴリズムにより行ってもよい。
また、装飾制御部２０１は、相手の注視点から空間上距離の長い領域や、奥行き方向の距離が長い領域も、「コミュニケーション相手の注意が向いていない領域」として検出し、当該領域から順に変化させてもよい。また、装飾制御部２０１は、物体の色や大きさ、形、表示位置等に応じて、誘目性を推定し、誘目性の低い順から変化させるようにしてもよい。例えば、人間の場合は「顔」以外の部分、物体の場合は小さい物や、目立たない色の物、また、画角の端に表示されている物などが、誘目性の低いと推定される。
（２）親近性に応じた装飾制御
また、装飾制御部２０１は、コミュニケーション相手が以前に表示オブジェクト（または実オブジェクト）を見たときからの経過時間に応じて、外観変化の変化量を制御してもよい。例えば経過時間が所定値より長い場合、相手にとって表示オブジェクトは見慣れない物であり、また、以前に見た印象を強く持っている可能性もあるため、変化や以前との差に気付き易いと考えられる。このため、装飾制御部２０１は、より時間をかけてゆっくりと表示オブジェクトの外観を変化させる。
一方、コミュニケーション相手が見慣れている表示オブジェクトや、誘目性の低い表示オブジェクト、汎用的な表示オブジェクトなどは、相手が注意を向け難いと考えられ、装飾制御部２０１は、このような表示オブジェクトの変化は短い時間で行うようにしてもよい。
コミュニケーション相手が見慣れている表示オブジェクトに関する情報等は、ユーザＤＢ２２０から取得され得る。
（３）変化の度合いの個人化
人によっては、変化に敏感な人もいれば、特定の特性についてこだわりや興味があるため変化に気付き易い人がいることも考えられる。このような想定を鑑み、装飾制御部２０１は、個人の特徴に合わせて表示オブジェクトの変化の度合い（変化量）を調整するようにしてもよい。各ユーザの趣味嗜好や変化への敏感さ等の情報は、ユーザＤＢ２２０から取得され得る。制御部２００は、ユーザの普段の発言やコミュニケーション時における視線移動等からユーザの興味やこだわりを推定し、ユーザＤＢ２２０に格納してもよい。例えば、頻繁に髪形や服装の変化に言及している場合、「髪形や服装の変化に敏感な人」、「髪形や服装に興味のある人」と推定できる。また、インテリアなど空間内の物体に頻繁に言及している場合、「インテリアなどの変化に敏感な人」と推定できる。また、コミュニケーション開始時や対話時に服装や周囲を注視する頻度が一定以上である場合、服装や周囲の変化に敏感な人と推定できる。また、何に興味があるか、趣味嗜好等についてユーザ情報として予め各ユーザに入力させるようにしてもよい。
また、ユーザが相手の特徴について設定してもよい。例えば、普段の会話から、この人はインテリアに感度が高い、あの人は服装に感度が高いなどとユーザ自ら判断し、設定しておいてもよい。装飾制御部２０１は、コミュニケーション相手が興味やこだわりを持ち、変化に敏感に気付き易い表示オブジェクトについては、変化をより緩やかにするよう調整し、出来るだけ気付かれないようにする。
（４）色味や形の変化に伴う制御
装飾制御部２０１は、装飾を行う表示オブジェクトの色や形などによって目立ちやすい変化が起こりやすい箇所を予め予測し、カメラアングルや背景を動的に変化させることで変化を目立たなくしたり、表示オブジェクトを画角に含まないようにしたりすることも可能である。
例えば、顔色が悪い、顔に怪我をして傷がある、部屋が散らかっているなどの場合、これらは相手の注意を引いてしまう可能性が高く、変化も目立ちやすい。この場合、装飾制御部２０１は、表示オブジェクト周辺（背景）を表示オブジェクトの色や形の変化が目立たないような色に変更した上で、表示オブジェクトを変化させる（例えば顔色の変化、顔の怪我を消すなど）ことで、表示オブジェクトの変化を出来るだけ目立たないようにする。
また、いくつかのカメラアングルが選択できる場合、装飾制御部２０１は、誘目されると都合が悪い領域が目立たない、若しくは画角から外れるアングルを選択するようにしてもよい。例えば装飾制御部２０１は、ユーザが移動しており、周辺に配置された複数のカメラでユーザの姿を追ってコミュニケーション相手にリアルタイムで提示している際に、部屋の散らかっている部分やキッチンの汚い部分など、相手に見られたくない部分が映り込んでしまう可能性を予測する（ユーザの移動経路を予測して判断してもよい）。そして、ユーザの移動経路から、相手に見られたくない部分が映り込んでしまう可能性が高いと判断した場合、装飾制御部２０１は、誘目されると都合が悪い領域が目立たない、若しくは画角から外れる別のカメラアングルに切り換える。また、普段化粧をしているユーザが化粧をせずにコミュニケーションを開始している場合には、装飾制御部２０１は、ズームアウトした映像をコミュニケーション相手に提示するよう制御し、誘目されると都合が悪い領域が目立たないようにする。
（５）変化の方法
装飾制御部２０１は、上述したように、表示オブジェクトを徐々に変化させることで、境界面の変化が目立つことを避け、コミュニケーション相手に変化を悟られないようにする。また、装飾制御部２０１は、表示オブジェクトの境界面から中央に向けて徐々に変化させることで表示オブジェクトの変化が目立つことを避けるようにしてもよい。
また、装飾制御部２０１は、表示オブジェクトの境界面をぼかして周辺に（背景に）混ぜる表示制御を行ってもよい。
また、装飾制御部２０１は、どうしても目立ってしまいそうな誘目性の高い（色、形、大きさ等に基づいて所定値より誘目性が高いと判断される）表示オブジェクトの場合、さらに誘目性の高い誘導オブジェクトを表示することで、コミュニケーション相手の視線を表示オブジェクトから逸らすようにしてもよい。誘導オブジェクトは、上述したようなキャラクター画像やエージェント画像の他、目立つインテリアや装飾品、ポスター、壁紙等であってもよい。装飾制御部２０１は、このような誘目性の高い誘導オブジェクトを表示している間に、表示オブジェクトの外観を変化させる制御を行う。
（６）変化のトリガー
続いて、装飾制御部２０１による装飾制御の条件（どのような場合に装飾制御を行うか）の一例について説明する。
・通常時とギャップがある場合
例えば、装飾制御部２０１は、ユーザが日常的にネットワークを介したコミュニケーションを行っている相手に対して普段と異なる状況になっていた場合（例えば、部屋が散らかっている、体調が悪く顔色が悪い、化粧をしていない、身支度が整っていない等）、装飾を行う。装飾制御部２０１は、ネットワークを介したコミュニケーションを行う際に、コミュニケーション相手に提示されるユーザ側の映像を分析し、一定の傾向（ユーザの普段の傾向）から一定以上外れているか否かを判断し、外れている場合は装飾を行うようにしてもよい。すなわち、普段は綺麗な状態でコミュニケーションを行っているが、その時だけは部屋が散らかっている状態になっていた場合、一定の傾向（物体が整頓されている状況）から外れるため、装飾が必要な状況であると判断し、装飾制御部２０１は、普段の傾向に合わせるよう表示オブジェクトの装飾を行う。
・リアルとのギャップがある場合
装飾制御部２０１は、ユーザが現実空間で実際にコミュニケーション相手と会っている場合と異なる状況になっていた場合（例えば会社ではきちんとした身なりで、化粧を行っているのに対し、テレワークにより自宅から会社に繋げた際には、髪の毛に寝癖がついていたり、化粧をしていなかったりした場合など）、装飾を行う。装飾制御部２０１は、例えばユーザの外出時の身なりや顔画像を記録し、ネットワークコミュニケーション時にユーザの姿が普段の傾向から外れているか否かを判断し、装飾要否を判断してもよい。また、装飾制御部２０１は、ユーザの身支度が、設定された所定の身支度基準（例えば、化粧の有無や、部屋着と外出着の登録など）を満たすか否かに基づいて、装飾要否を判断してもよい。
・コミュニケーションの目的と一致しない場合
装飾制御部２０１は、ネットワークコミュニケーションの目的（業務またはプライベートなど）と、ユーザ又はユーザが存在する空間の状態が一致していない場合、装飾を行うようにしてもよい。目的に一致する状態に関する情報は、装飾ルールとして予め設定され得るが、例えば業務目的のネットワークコミュニケーションの場合は、パーカーやスウェット、ジャージ等は相応しくないため、襟付きのシャツやニットなど他の服装に変化させるといった服装に関するルールなどが想定される。
以上、変化のトリガーについて具体例を説明したが、本実施形態はこれらに限定されず、例えばユーザが予め又はリアルタイムで表示オブジェクトを指定してもよい。
注視状態判定部２０２は、コミュニケーション相手の表示オブジェクトに対する注視状態および非注視状態を判定する。例えば、注視状態判定部２０２は、情報処理端末１０から取得した視線認識結果に基づいて、表示オブジェクトに対するユーザの注視状態又は非注視状態を判定する。
（通信部２１０）
通信部２１０は、有線又は無線によりネットワーク３０と接続し、ネットワーク３０を介して各情報処理端末１０とデータの送受信を行う。通信部２１０は、例えば有線／無線ＬＡＮ（Local Area Network）、又はＷｉ－Ｆｉ（Wireless Fidelity、登録商標）等によりネットワーク３０と通信接続する。
（ユーザＤＢ２２０）
ユーザＤＢ２２０は、ユーザに関連する情報を蓄積する。例えばユーザのコミュニケーション履歴（発話音声、映像、コミュニケーション相手、コミュニケーション目的等）、コミュ二ケーション時におけるユーザの服装や化粧、周辺の様子の傾向、ユーザの趣味嗜好、こだわり、特性（変化に対する敏感さなど）が蓄積される。
（装飾ルールＤＢ２３０）
装飾ルールＤＢ２３０は、本実施形態による装飾をどのような条件で行うかを規定するルールが蓄積されている。
上記ユーザＤＢ２２０および装飾ルールＤＢ２３０は、サーバ２０に設けられた記憶部（不図示）に記憶される。記憶部は、制御部２００の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ、および適宜変化するパラメータ等を一時記憶するＲＡＭにより実現される。
以上、本実施形態によるサーバ２０の構成について具体的に説明した。なお図５に示すサーバ２０の構成は一例であって、本実施形態はこれに限定されない。例えばサーバ２０の少なくとも一部の構成が外部装置にあってもよいし、制御部２００の各機能の少なくとも一部が情報処理端末１０又は通信距離が比較的情報処理端末１０に近い情報処理装置（例えば、いわゆるエッジサーバなど）により実現されてもよい。このように、サーバ２０の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。
また、図５に示す制御部２００の各構成および各ＤＢを全て情報処理端末１０に設け、本実施形態による情報処理システムを情報処理端末１０のアプリケーションにより実行するようにしてもよい。すなわち、コミュニケーションを行う者の情報処理端末１０同士で通信接続するシステム構成であってもよい。この場合、一方または両方の情報処理端末１０により、コミュニケーション相手に隠蔽したい表示オブジェクトの装飾制御が適宜行われる。
＜＜３．動作処理＞＞
続いて、本実施形態による動作処理について図７を参照して説明する。図７は、本実施形態に係る動作処理における装飾制御の流れの一例を示すフローチャートである。
図７に示すように、まず、サーバ２０は、ユーザ間のネットワークを介したコミュニケーションを開始する（ステップＳ１０３）。
次に、サーバ２０は、空間内の状況認識を行う（ステップＳ１０６）。例えばサーバ２０は、各空間から取得した情報（撮像画像や深度センサデータ等）に基づいて、各空間に存在するユーザの位置や、顔認識、および物体の認識等を行う。なお、空間の状況認識は、各情報処理端末１０により行われてもよい。
次いで、サーバ２０は、装飾要否の判断を行う（ステップＳ１０９）。例えばサーバ２０は、普段のネットワークコミュニケーションにおける状況とのギャップがある場合や、リアルでコミュニケーション相手に会っている場合とのギャップがある場合、また、コミュニケーション目的に一致していない場合等に、装飾が必要であると判断する。若しくは、ユーザにより装飾実行指示が入力された場合には、装飾が必要であると判断する。
次に、装飾が必要であると判断した場合(ステップＳ１０９／Ｙｅｓ)、装飾制御部２０１は、装飾制御の方法を特定する（ステップＳ１１２）。装飾制御の方法は、上述したように、コミュニケーション相手の注視状態に応じた装飾制御（併せて、誘導オブジェクトの提示など）、誘目性に応じて推定した順番に基づく装飾制御、親近性に応じた装飾制御、および変化への敏感さやインテリア等へのこだわりなどコミュニケーション相手の特性に応じた装飾制御等が挙げられる。装飾制御部２０１は、予め設定された装飾制御の方法に特定してもよいし、状況に応じて適切な装飾制御の方法を特定してもよいし、複数の装飾制御を適宜組み合わせて特定してもよい。例えば、コミュニケーション相手の注視状態に応じた装飾制御を行うと特定し、コミュニケーション相手の注目が表示オブジェクト周辺にある場合は誘導オブジェクトを提示したり、装飾要の表示オブジェクトが複数ある場合には誘導オブジェクトを提示した上で誘目性の低い順に装飾を開始したり、さらに親近性や敏感さを考慮して変化量を調整したりするようにしてもよい。
次いで、特定した装飾制御の方法がコミュニケーション相手の視線情報を用いる方法である場合、サーバ２０は、相手側の視線を検出する（ステップＳ１１５）。具体的には、注視状態判定部２０２により、相手側の表示オブジェクトに対する注視状態／非注視状態を判定する。
次に、サーバ２０の装飾制御部２０１は、表示オブジェクトの装飾制御（表示オブジェクトの外観の変化）を行う（ステップＳ１１８）。
一方、装飾が必要ではないと判断した場合（ステップＳ１０９／Ｎｏ）、サーバ２０は表示オブジェクトの装飾は行わず、ユーザ空間の映像をそのままコミュニケーション相手の空間の表示装置に出力する（ステップＳ１２１）。
上記ステップＳ１０６～Ｓ１２１に示す処理は、コミュニケーションが終了するまで繰り返される（ステップＳ１２４）。
以上、本実施形態による動作処理の一例を説明した。なお図７に示す動作処理は一例であって、本開示は図７に示す例に限定されない。例えば、本開示は、図７に示すステップの順序に限定されない。少なくともいずれかのステップが並列に処理されてもよいし、逆の順番で処理されてもよい。例えば、ステップＳ１１５の処理とステップＳ１１２の処理は並列に処理されてもよいし、逆の順番で処理されてもよい。
また、図７に示す全ての処理が必ずしも実行されてなくともよい。
また、図７に示す全ての処理が必ずしも単一の装置で行われなくともよい。例えば、ステップＳ１０３～ステップＳ１０６とステップＳ１１８の処理が情報処理端末１０で行われ、ステップＳ１０９～ステップＳ１１５の処理がサーバ２０で行われる等、複数の装置で行われてもよい。
また、図７に示す各処理が必ずしも時間的に順次行われなくともよい。例えば、ステップＳ１０６に示す状況認識処理が継続的に行われ、並行してステップＳ１０９～Ｓ１１８に示す処理が行われてもよい。
＜＜４．補足＞＞
続いて、本実施形態についていくつか補足を行う。
（装飾対象についての補足）
装飾制御部２０１は、ユーザの顔や物体の装飾に限定されず、ユーザの動作の特徴や癖を消すことも可能である。例えば、装飾制御部２０１は、髪をいじる、爪をいじる、腕組み、貧乏揺すり等の動作を消して、手を下ろした状態に変化させてもよい。手を下ろした状態への変化は、ユーザの前後の動作と自然に繋がるよう制御することが好ましい。また、舌打ち、口癖などを、生活音やノイズなどで隠すようにしてもよい。
装飾制御部２０１は、ユーザの声を装飾することも可能である。例えば予め普段のユーザの音声を記録しておき、状況や相手によってユーザ音声の出力を調整する。これにより、例えば風邪などでのどの調子が悪い場合も、相手側には普段の音声に加工した状態でユーザの音声を提示することが可能である。
また、装飾制御部２０１は、ユーザの声を、その場の雰囲気に適した声に加工して出力してもよい。例えばユーザの気分が落ち込んでいる場合でも、落ち込んだトーンの会話が適さないコミュニケーション時には（例えば業務目的など）、ユーザの声のピッチを高めに出力したり、話速を速くしたりして気分が高まっているように見せることも可能である。また、装飾制御部２０１は、ビジネス相手とのコミュニケーション場合、ユーザの声を落ち着いた口調に変換するようにしてもよい。
また、装飾制御部２０１は、ユーザの声が目立つ場合は、別の音を提示してコミュニケーション相手の注意を引き付けて、ユーザの声の変化をマスキングしてもよい。
（音声による視線誘導）
コミュニケーション相手の注意を逸らす手法として誘導オブジェクトを提示する場合について上述したが、本実施形態はこれに限定されず、例えば対象物と離隔した位置に音像定位した音声情報を出力するようにしてもよい。例えば、コミュニケーション相手が使用している情報処理端末がＨＭＤ等のウェアラブルデバイスの場合、空間定位させた音により表示オブジェクトと異なる方向にアテンションを取ることも可能である。
（調光制御）
装飾制御部２０１は、表示オブジェクトを変化する際に調光を制御し、変化が見え難いようにしてもよい。例えば表示オブジェクトの変化時は蛍光灯の光から間接照明の色合いの光に画面全体を変化させて変化が目立たないようにしてもよい。また、装飾制御部２０１は、表示オブジェクトを装飾する代わりに表示オブジェクトの領域を調光して見え難くしてもよい。
（隠蔽対象および隠蔽レベルの判断）
装飾制御部２０１は、表示オブジェクトの重要度に応じて、徐々に変化させるかすぐに変化させるかを判断してもよい。例えば機密書類は重要度が高いため、相手に多少不自然に思われてもすぐに隠蔽する（すぐに変化させる）ことが好ましい。
また、装飾制御部２０１は、コミュニケーションに参加した人物や当該人物との関係性に応じて動的に装飾する表示オブジェクトを判断してもよい。例えば同僚と二人でコミュニケーションを行っていたところに上司が加わった場合、装飾制御部２０１は、同僚および上司に悟られないよう、上司とのコミュニケーションに適した装いにユーザを装飾する。
＜＜５．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、コミュニケーション相手に悟られずに（違和感を持たれずに）、実空間の表示を変化させる（実空間に存在する人物や物体に仮想的な装飾を施して都合の悪い部分を隠す）ことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述した情報処理端末１０又はサーバ２０に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理端末１０又はサーバ２０の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
を備える、情報処理装置。
（２）
前記表示制御部は、前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させる、前記（１）に記載の情報処理装置。
（３）
前記表示制御部は、前記表示オブジェクトの外観の変化量を、時間経過に応じて徐々に大きくする、前記（１）に記載の情報処理装置。
（４）
前記表示制御部は、
前記第１のユーザの視線を誘導する誘導領域を前記表示オブジェクトと離隔した位置に出力する制御を行った後、
前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、前記（１）又は（２）に記載の情報処理装置。
（５）
前記誘導領域の生成は、
前記表示オブジェクトと離隔した位置における誘導オブジェクトの表示、または、前記表示オブジェクトと離隔した領域の誘目性を高める制御である、前記（４）に記載の情報処理装置。
（６）
前記情報処理装置は、
前記表示オブジェクトと離隔した位置に音像定位した音声情報を出力する音声制御部をさらに備え、
前記表示制御部は、
前記音声情報が出力された後、前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（７）
前記判定部は、
前記第１のユーザの視線、顔、又は頭部の向きに基づいて、前記表示オブジェクトに対する前記第１のユーザの前記注視状態又は非注視状態を判定する、前記（１）～（６）のいずれか１項に記載の情報処理装置。
（８）
前記表示制御部は、
前記第１のユーザが変化を認識し難いと推定される部分から変化させる、前記（１）～（７）のいずれか１項に記載の情報処理装置。
（９）
前記表示制御部は、
複数の前記表示オブジェクトのうち、誘目性の低い表示オブジェクトから順に変化させる、前記（８）に記載の情報処理装置。
（１０）
前記表示制御部は、
複数の前記表示オブジェクトのうち、前記第１のユーザの注視点から空間上の距離が長い領域から変化させる、前記（８）に記載の情報処理装置。
（１１）
前記表示制御部は、
前記表示オブジェクトが人物の場合、顔以外の部分から変化させる、前記（８）に記載の情報処理装置。
（１２）
前記表示制御部は、
前記表示オブジェクトが人物以外の場合、前記表示装置によって表示する画角の端の部分から変化させる、前記（８）に記載の情報処理装置。
（１３）
前記表示制御部は、
前記表示オブジェクトが、前記第１のユーザにより見慣れたものであるか否かに応じて、変化量を制御する、前記（１）～（１２）のいずれか１項に記載の情報処理装置。
（１４）
前記表示オブジェクトは、前記第２の実空間で撮像された実オブジェクトである、前記（１）～（１３）のいずれか１項に記載の情報処理装置。
（１５）
前記表示制御部は、
前記第１のユーザの変化に対する感度の高さに応じて、前記表示オブジェクトの変化量を調整する、前記（１）～（１４）のいずれか１項に記載の情報処理装置。
（１６）
前記表示制御部は、
前記実オブジェクトの外観が一定の傾向から外れる状態にある場合、前記表示オブジェクトを前記一定の傾向を満たすよう外観を変化させる制御を行う、前記（１４）に記載の情報処理装置。
（１７）
プロセッサが、
第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、
前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、
を含む、情報処理方法。
（１８）
コンピュータを、
第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
として機能させるためのプログラムが記録された、記録媒体。
１ 情報処理システム
１０ 情報処理端末
２０ サーバ
３０ ネットワーク
１００ 制御部
１０１ 視線認識部
１０２ 音声制御部
１０３ 表示制御部
１１０ 入力部
１１１ カメラ
１１２ マイクロフォン
１１３ 視線センサ
１２０ 操作Ｉ／Ｆ（インタフェース）
１３０ 出力部
１３１ ディスプレイ
１３２ スピーカ
１４０ 通信部
１５０ 記憶部
２００ 制御部
２０１ 装飾制御部
２０２ 注視状態判定部
２１０ 通信部
２２０ ユーザＤＢ
２３０ 装飾ルールＤＢ

Claims (15)

  1. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示制御部は、前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させる、
    情報処理装置。
  2. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示制御部は、
    前記第１のユーザの視線を誘導する誘導領域を前記表示オブジェクトと離隔した位置に出力する制御を行った後、
    前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、
    情報処理装置。
  3. 前記誘導領域の生成は、
    前記表示オブジェクトと離隔した位置における誘導オブジェクトの表示、または、前記表示オブジェクトと離隔した領域の誘目性を高める制御である、請求項２に記載の情報処理装置。
  4. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    前記表示オブジェクトと離隔した位置に音像定位した音声情報を出力する音声制御部と、
    を備え、
    前記表示制御部は、
    前記音声情報が出力された後、前記表示オブジェクトに対して前記第１のユーザが前記非注視状態の際に、前記表示オブジェクトの外観を変化させる、
    情報処理装置。
  5. 前記判定部は、
    前記第１のユーザの視線、顔、又は頭部の向きに基づいて、前記表示オブジェクトに対する前記第１のユーザの前記注視状態又は非注視状態を判定する、請求項１に記載の情報処理装置。
  6. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示制御部は、
    前記第１のユーザが変化を認識し難いと推定される部分から変化させる、
    情報処理装置。
  7. 前記表示制御部は、
    複数の前記表示オブジェクトのうち、誘目性の低い表示オブジェクトから順に変化させる、請求項６に記載の情報処理装置。
  8. 前記表示制御部は、
    複数の前記表示オブジェクトのうち、前記第１のユーザの注視点から空間上の距離が長い領域から変化させる、請求項６に記載の情報処理装置。
  9. 前記表示制御部は、
    前記表示オブジェクトが人物の場合、顔以外の部分から変化させる、請求項６に記載の情報処理装置。
  10. 前記表示制御部は、
    前記表示オブジェクトが人物以外の場合、前記表示装置によって表示する画角の端の部分から変化させる、請求項６に記載の情報処理装置。
  11. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示制御部は、
    前記表示オブジェクトが、前記第１のユーザにより見慣れたものであるか否かに応じて、変化量を制御する、
    情報処理装置。
  12. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示制御部は、
    前記第１のユーザの変化に対する感度の高さに応じて、前記表示オブジェクトの変化量を調整する、
    情報処理装置。
  13. 第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    を備え、
    前記表示オブジェクトは、前記第２の実空間で撮像された実オブジェクトであり、
    前記表示制御部は、
    前記実オブジェクトの外観が一定の傾向から外れる状態にある場合、前記表示オブジェクトを前記一定の傾向を満たすよう外観を変化させる制御を行う、
    情報処理装置。
  14. プロセッサが、
    第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定することと、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させることと、
    を含み、
    前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させることをさらに含む、
    情報処理方法。
  15. コンピュータを、
    第１の実空間に存在する第１のユーザの表示装置によって表示される、前記第１の実空間とは異なる第２の実空間に対応付けられた表示オブジェクトに対する前記第１のユーザの注視状態又は非注視状態を判定する判定部と、
    前記注視状態から前記非注視状態に移った際、前記表示オブジェクトの外観を変化させる表示制御部と、
    として機能させるためのプログラムが記録された、記録媒体であって、
    前記表示制御部は、前記注視状態から前記非注視状態に移る毎に、前記表示オブジェクトの外観を段階的に変化させる、
    記録媒体。
JP2020505604A 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体 Active JP7259838B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018045141 2018-03-13
JP2018045141 2018-03-13
PCT/JP2018/048394 WO2019176236A1 (ja) 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019176236A1 JPWO2019176236A1 (ja) 2021-03-25
JP7259838B2 true JP7259838B2 (ja) 2023-04-18

Family

ID=67907167

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020505604A Active JP7259838B2 (ja) 2018-03-13 2018-12-28 情報処理装置、情報処理方法、および記録媒体

Country Status (4)

Country Link
US (1) US11417296B2 (ja)
JP (1) JP7259838B2 (ja)
CN (1) CN111819518B (ja)
WO (1) WO2019176236A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2020129115A1 (ja) * 2018-12-17 2021-11-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、情報処理方法およびコンピュータプログラム
WO2021182126A1 (ja) * 2020-03-09 2021-09-16 ソニーグループ株式会社 情報処理装置、情報処理方法、および記録媒体
WO2021200152A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
JP2021192157A (ja) * 2020-06-05 2021-12-16 富士フイルムビジネスイノベーション株式会社 情報処理装置及びプログラム
CN116507997A (zh) * 2020-09-11 2023-07-28 苹果公司 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
JPWO2022107582A1 (ja) * 2020-11-18 2022-05-27
CN112415783B (zh) * 2021-01-19 2021-04-06 北京佳珥医学科技有限公司 一种美瞳式ar眼镜
US11706381B2 (en) 2021-05-24 2023-07-18 Getac Technology Corporation Selective obfuscation of objects in media content
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
CN117111734A (zh) * 2023-07-04 2023-11-24 深圳云天励飞技术股份有限公司 道路病害的vr显示方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268101A1 (en) 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
JP2014532206A (ja) 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2016532178A (ja) 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227567B1 (en) * 2004-09-14 2007-06-05 Avaya Technology Corp. Customizable background for video communications
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
JP2011203446A (ja) * 2010-03-25 2011-10-13 Fujifilm Corp ヘッドマウントディスプレイ装置
JP2012175136A (ja) 2011-02-17 2012-09-10 Nec Corp カメラシステムおよびその制御方法
JP2012213013A (ja) 2011-03-31 2012-11-01 Nippon Telegr & Teleph Corp <Ntt> Ｔｖ会議システム
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US8917238B2 (en) * 2012-06-28 2014-12-23 Microsoft Corporation Eye-typing term recognition
US9124762B2 (en) 2012-12-20 2015-09-01 Microsoft Technology Licensing, Llc Privacy camera
EP2988275A4 (en) * 2013-04-16 2016-11-30 Sony Corp INFORMATION PROCESSING DEVICE AND INFORMATION PROCESSING METHOD, DISPLAY DEVICE AND DISPLAY METHOD AND INFORMATION PROCESSING SYSTEM
CN103927778B (zh) * 2013-05-31 2017-04-19 深圳信息职业技术学院 一种虚拟人环境感知的仿真方法及系统
US10019057B2 (en) * 2013-06-07 2018-07-10 Sony Interactive Entertainment Inc. Switching mode of operation in a head mounted display
WO2015116183A2 (en) 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
US9227736B2 (en) * 2014-03-07 2016-01-05 Honeywell International Inc. Methods and apparatus for determining pilot awareness of a system-initiated change based on scanning behavior
KR20150145616A (ko) * 2014-06-20 2015-12-30 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
US10832479B2 (en) * 2015-06-15 2020-11-10 Sony Corporation Information processing apparatus, information processing method, and program
KR102610120B1 (ko) * 2016-01-20 2023-12-06 삼성전자주식회사 Hmd 디바이스 및 그 제어 방법
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US20180150204A1 (en) * 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060268101A1 (en) 2005-05-25 2006-11-30 Microsoft Corporation System and method for applying digital make-up in video conferencing
JP2014532206A (ja) 2011-09-08 2014-12-04 インテル・コーポレーション インタラクティブな画面閲覧
JP2016532178A (ja) 2013-06-08 2016-10-13 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイにおいて、透過モードと非透過モードとの間を移行するシステム及び方法

Also Published As

Publication number Publication date
CN111819518B (zh) 2024-08-06
US20200410960A1 (en) 2020-12-31
JPWO2019176236A1 (ja) 2021-03-25
WO2019176236A1 (ja) 2019-09-19
CN111819518A (zh) 2020-10-23
US11417296B2 (en) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7259838B2 (ja) 情報処理装置、情報処理方法、および記録媒体
JP7565368B2 (ja) コンピュータ生成体験を提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
US11900527B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
KR102553190B1 (ko) 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어
US20220092862A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20240012601A1 (en) Wearable device for facilitating enhanced interaction
Dinică Non-verbal communication-indispensable complement of oral and written communication
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240005623A1 (en) Positioning content within 3d environments
WO2021210585A1 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
US12112441B2 (en) Content transformations based on reflective object recognition
JP7398655B2 (ja) コンピュータプログラム、サーバ装置、端末装置、及び方法
JP7295478B1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240103608A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
US20240153205A1 (en) Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences
Kan Dancing Alone.
WO2023043647A1 (en) Interactions based on mirror detection and context awareness
CN117333788A (zh) 基于反射对象识别的内容转换
JP2024127033A (ja) プログラム及びシステム
JP2024046864A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046865A (ja) 情報処理装置および恐怖症改善支援方法
JP2024046867A (ja) 情報処理装置および恐怖症改善支援方法
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230320

R151 Written notification of patent or utility model registration

Ref document number: 7259838

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151