JPWO2018150831A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JPWO2018150831A1
JPWO2018150831A1 JP2018568067A JP2018568067A JPWO2018150831A1 JP WO2018150831 A1 JPWO2018150831 A1 JP WO2018150831A1 JP 2018568067 A JP2018568067 A JP 2018568067A JP 2018568067 A JP2018568067 A JP 2018568067A JP WO2018150831 A1 JPWO2018150831 A1 JP WO2018150831A1
Authority
JP
Japan
Prior art keywords
observation
user
screen
display device
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018568067A
Other languages
English (en)
Other versions
JP7095602B2 (ja
Inventor
陽 野々山
陽 野々山
エミリー 麗 ウォルン
エミリー 麗 ウォルン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018150831A1 publication Critical patent/JPWO2018150831A1/ja
Application granted granted Critical
Publication of JP7095602B2 publication Critical patent/JP7095602B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】仮想空間における対象物との距離感を円滑に制御することが可能な仕組みを提案する。【解決手段】表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、を備える情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
近年の技術開発では、ハードウェア又はソフトウェアの性能の向上を目指す動きがある一方で、より豊かなユーザ体験を提供することを目指す動きがある。豊かなユーザ体験を提供するための技術に、実空間に付加的な情報を重畳してユーザに提示する拡張現実（ＡＲ：Augmented Reality）と呼ばれる技術や、仮想空間を構築してユーザに提供する仮想現実（ＶＲ：Virtual Reality）と呼ばれる技術がある。これらの技術では、ユーザの没入感を向上させる、仮想空間におけるユーザビリティを向上させる等の様々な観点で、より豊かなユーザ体験を提供するための技術開発が行われている。
例えば、下記特許文献１では、仮想空間においてズーム及び視点位置を変更する技術が開示されている。
国際公開第２０１４／１６２８５２号
しかし、上記特許文献１などで提案されている技術は、未だ開発されてから日が浅く、豊かなユーザ体験を提供するための技術として十分であるとは言い難い。例えば、仮想空間における対象物との距離感を円滑に制御する技術も、十分でない技術のひとつである。
そこで、本開示では、仮想空間における対象物との距離感を円滑に制御することが可能な仕組みを提案する。
本開示によれば、表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、を備える情報処理装置が提供される。
また、本開示によれば、表示装置を装着したユーザの操作を認識することと、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、を含む、プロセッサにより実行される情報処理方法が提供される。
また、本開示によれば、コンピュータを、表示装置を装着したユーザの操作を認識する認識部と、前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、として機能させるためのプログラムが記録された記録媒体が提供される。
本開示によれば、表示装置において、観察対象物のリアルタイムな撮像画像を含む画面が表示される。そして、当該画面における観察対象物の大きさが、表示装置を装着したユーザが操作する認識対象物と基準位置との距離に基づいて制御される。ユーザは、認識対象物を操作して基準位置との距離を変えることで、画面内の観察対象物の大きさを容易に変えることが可能である。このようにして、仮想空間における対象物との距離感の円滑な制御が実現される。
以上説明したように本開示によれば、仮想空間における対象物との距離感を円滑に制御することが可能な仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本実施形態に係るシステムの全体構成を示す図である。 本実施形態に係る表示装置の外観構成の一例を示す図である。 本実施形態に係る表示装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る出力装置の論理的な構成の一例を示すブロック図である。 本実施形態に係る観察装置の外観構成の一例を示す図である。 本実施形態に係る観察装置の論理的な構成の一例を示すブロック図である。 観察対象物を横アングルから観察する観察装置の設置例を示す図である。 観察対象物を横アングルから観察する観察装置の設置例を示す図である。 観察対象物を下アングルから観察する観察装置の設置例を示す図である。 本実施形態に係るシステムにおいて実行されるユーザ体験提供処理の流れの一例を示す図である。 本実施形態に係る初期画面の一例を示す図である。 本実施形態に係るカメラマップモードの選択画面の一例を示す図である。 本実施形態に係るカメラマップモードの選択画面の一例を示す図である。 本実施形態に係る一覧表示モードの選択画面の一例を示す図である。 本実施形態に係る一覧表示モードの選択画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係る座標軸の設定の一例を示す図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作の一例を説明するための図である。 本実施形態に係るズーム操作時の観察画面の一例を示す図である。 本実施形態に係る接触操作の一例を示す図である。 本実施形態に係る観察画面の一例を示す図である。 本実施形態に係るキャンセル操作の一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
１．概要
２．各装置の構成例
２．１．表示装置の構成例
２．２．出力装置の構成例
２．３．観察装置の構成例
３．処理の流れ
４．各処理の詳細
４．１．初期画面の表示
４．２．選択画面の表示
４．３．観察画面の表示
４．４．ユーザ操作
４．５．ユーザ間の相互作用
５．ハードウェア構成例
６．まとめ
＜＜１．概要＞＞
まず、図１を参照して、本開示の一実施形態に係るシステムの概要を説明する。
図１は、本実施形態に係るシステムの全体構成を示す図である。図１に示すように、本実施形態に係るシステム１は、表示装置１００、出力装置２００、及び複数の観察装置３００を含む。
観察装置３００は、観察対象物を観察する装置である。例えば、観察装置３００は、観察対象物の撮像画像（動画／静止画）及び音声等の観察情報を取得する。観察装置３００は、ズームしての撮像、及びマイク指向性を形成しての収音等が可能であり、観察対象物を間近から観察したかのような観察情報を取得することができる。なお、ズームとは、ズームインとズームアウトとの総称であるものとする。
表示装置１００及び出力装置２００は、観察装置による観察結果に基づく情報を出力する。例えば、表示装置１００は、ユーザに装着され、観察装置３００により撮像された画像を表示する。表示装置１００は、さらに観察装置３００により収音された音声を出力してもよい。出力装置２００は、例えば心拍、体温、及び毛並等の、観察対象物に触れた場合に得られる感触を仮想的に生成して出力する。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。なお、ユーザとは、表示装置１００を装着した人を指すものとする。
本明細書では、図１に示すように、動物園においてシステム１が運用されるものとして説明する。図１に示すように、観察装置３００は、観察対象物である動物が囲われた柵１０に沿って多数設置されている。図示は省略しているが、観察装置３００は、柵１０内の地面にも設置されてもよいし、柵１０内の上空に設置されてもよいし、動物の周りを飛行するドローンに搭載されてもよい。図１に示した例では、表示装置１００は、動物の正面に設置された観察装置３００によりして撮像された画像をリアルタイムで表示している。ユーザは、動物の正面に移動しなくても、且つ柵１０に近づかなくても、動物を正面から間近で見たようなユーザ体験を享受することが可能である。
動物園では、動物がユーザから遠くにいる、又は岩等の遮蔽物の陰に隠れている等で、迫力のある光景を見ることが困難な場合がある。また、ユーザは、動物を様々な角度から見るためには、柵１０の周りを動き回らなければならないし、柵１０の周りの人ごみに邪魔されて動物を満足に見ることができない場合もあった。
この点、システム１によれば、ユーザは、動物が遠くにいる、又は遮蔽物の陰に隠れている場合であっても、動物の近くに設置された観察装置３００により得られた迫力のある画像、音声及び感触等を享受することが可能である。また、ユーザは、動き回ることも人ごみに邪魔されることもなく、上下左右様々な視点から多面的に動物をみることが可能である。
以上、システム１の概要を説明した。
＜＜２．各装置の構成例＞＞
以下、図１〜図９を参照して、システム１に含まれる各装置の構成例を説明する。
＜２．１．表示装置の構成例＞
（１）外観構成例
図２は、本実施形態に係る表示装置１００の外観構成の一例を示す図である。図２に示す表示装置１００は、ＨＭＤ（Head Mounted Display）とも称される。
表示装置１００は、例えば両側頭部から後頭部にかけて半周回するようなフレーム構造の装着ユニットを持ち、図２に示すように両耳殻にかけられることでユーザに装着される。そしてこの表示装置１００は、図２に示すような装着状態において、ユーザの両眼の直前に表示部１２１が配置される構成とされている。この表示部１２１には、例えば液晶パネルが用いられ、表示装置１００は、液晶パネルの透過率を制御することで、スルー状態、即ち透明又は半透明の状態にしたり、非透過の状態にしたりすることができる。
さらに、表示部１２１は、スルー状態のまま、テキストや図等の画像を表示することで、実空間の風景にＡＲ情報（即ち、アノテーション）を重畳表示することができる。また、表示部１２１は、非透過の状態において、外向きカメラ１１２で撮像された実空間の撮像画像を表示し、当該実空間の撮像画像にアノテーションを重畳表示することも可能である。
他方、表示部１２１は、非透過の状態において、ＶＲ情報を表示可能である。例えば、表示部１２１は、非透過の状態において、表示装置１００が外部機器から受信したコンテンツや、表示装置１００の記憶媒体（即ち、記憶部１４０）に記憶されるコンテンツを再生表示したり、再生表示したコンテンツにアノテーションを重畳表示したりすることもできる。なお、外部機器とは、サーバ、デジタルカメラ、デジタルビデオカメラ、または携帯電話端末、スマートフォン、パーソナルコンピュータ等の情報処理装置などである。本実施形態では、外部機器とは観察装置３００である。
なお、以下では、表示部１２１において表示される画像全体を、画面とも称する。ここで、画面とは、非透過の状態において表示される画像と、スルー状態において透過的に映る光景及び重畳表示されるアノテーションとを含む概念であるものとする。また、画面に含まれる要素の各々を表示オブジェクトとも称し、表示オブジェクトはアノテーション等を含む概念であるものとする。
また、表示装置１００には、ユーザが表示装置１００を装着した状態で、ユーザを近距離から撮像するように、ユーザに向けて一対の内向きカメラ１１１が配置されている。内向きカメラ１１１は、ユーザの目を撮像する第１の画像センサとして機能する。内向きカメラ１１１は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
また、表示装置１００には、ユーザが表示装置１００を装着した状態において、ユーザが向く方向（例えば、表示部１２１がスルー状態である場合にユーザが視認する方向）を撮像方向として撮像するように、前方に向けて外向きカメラ１１２が配置されている。外向きカメラ１１２は、ユーザの手等の認識対象物を撮像する第２の画像センサとして機能する。外向きカメラ１１２は、深度情報も取得可能なステレオカメラであってもよいし、深度センサが併設されていてもよい。
また、図２では図示されていないが、ユーザが表示装置１００を装着した状態において、ユーザの両耳殻に挿入されるイヤホンスピーカが配置されてもよい。また、図２では図示されていないが、外部音を収音するマイクが配置されてもよい。
なお、本実施形態に係る表示装置１００は、図２に示したようなＨＭＤでもよいし、例えばスマートフォンを眼前に固定することで構成される簡易的なＨＭＤであってもよい。その場合、スマートフォンのディスプレイ、ディスプレイ側に設けられるインカメラ、及び背面側に設けられるアウトカメラが、それぞれ上述した表示部１２１、内向きカメラ１１１及び外向きカメラ１１２として機能する。そして、スマートフォンを固定する固定台は、後述する制御部１５０、記憶部１４０及び通信部１３０等を含み、スマートフォンと通信して撮像画像を取得し画面表示を制御する。
他にも、表示装置１００は、ＨＭＤの他、スマートフォン、タブレット端末、ＰＣ、デジタルサイネージ等として実現され得る。
以上、表示装置１００の外観構成を説明した。続いて、表示装置１００の内部構成を説明する。
（２）内部構成例
図３は、本実施形態に係る表示装置１００の論理的な構成の一例を示すブロック図である。図３に示すように、本実施形態に係る表示装置１００は、センサ部１１０、出力部１２０、通信部１３０、記憶部１４０及び制御部１５０を含む。
・センサ部１１０
センサ部１１０は、ユーザの動作や状態に関するセンシング情報を取得する。例えば、センサ部１１０は、ユーザが表示装置１００を装着した状態において、ユーザの目を撮像対象とする内向きカメラ１１１、及びユーザが向く方向を撮像方向として撮像する外向きカメラ１１２を含み得る。また、センサ部１１０は、ユーザが表示装置１００を装着した状態でユーザの顔の横に接触する圧力センサを含み得る。また、センサ部１１０は、対象物の温度を非接触で取得する赤外線センサ又は対象物の深度情報を取得する深度センサを含み得る。また、センサ部１１０は、ジャイロセンサ、又は加速度センサ等の、ユーザの姿勢を取得するセンサを含み得る。また、センサ部１１０は、筋電センサ、脈拍センサ、又は体温センサ等のユーザの生体情報を取得するセンサを含み得る。また、センサ部１１０は、ユーザの音声を収音するマイクを含み得る。また、センサ部１１０は、ＧＰＳ（Global Positioning System）等のユーザの位置情報を取得するセンサを含み得る。
・出力部１２０
出力部１２０は、ユーザに情報を出力する。例えば、出力部１２０は、画像を表示する表示部１２１を含み得る。また、出力部１２０は、音声を出力するスピーカを含み得る。また、出力部１２０は、アロマディフューザ等の匂いを出力する装置を含み得る。
・通信部１３０
通信部１３０は、他の装置との通信を行う。
例えば、通信部１３０は、観察装置３００から観察情報を受信する。また、通信部１３０は、出力装置２００に触覚情報を送信する。
・記憶部１４０
記憶部１４０は、表示装置１００の動作のための情報を一時的に又は恒久的に記憶する。
例えば、記憶部１４０は、多様な触覚情報を記憶する。触覚情報とは、観察対象物を触れた場合に得られる触覚を模した情報である。観察対象物は、動物であってもよく、その場合、触覚情報は、観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含んでいてもよい。なお、ここでの動物とは、哺乳類、両生類、鳥類、及び魚類等の任意の生物を含む概念であるものとする。
例えば、触覚情報は、心拍に関する情報として、動物ごとの鼓動データを含む。鼓動データは、鼓動の周期及び大きさ、心臓の位置等を含み得る。
例えば、触覚情報は、体温に関する情報として、動物ごとの体温データを含む。体温データは、胴体や足といった部位ごとのデータであることが望ましい。
例えば、触覚情報は、体表面の感触に関する情報として、動物ごとの体表面の毛の量、質、及び生える方向等の毛並みデータを含む。毛並みデータは、胴体や足といった部位ごとのデータであることが望ましい。
・制御部１５０
制御部１５０は、表示装置１００の様々な機能を提供する。制御部１５０は、認識部１５１及び出力制御部１５３を含む。なお、制御部１５０は、これらの構成要素以外の他の構成要素をさらに含み得る。即ち、制御部１５０は、これらの構成要素の動作以外の動作も行い得る。
−認識部１５１
認識部１５１は、表示装置１００を装着したユーザの操作を認識する処理を行う。
例えば、認識部１５１は、内向きカメラ１１１による撮像画像又は深度情報に基づいてユーザの視線の向きを認識し、視線の向きに基づいてユーザ操作を認識し得る。例えば、認識部１５１は、ユーザが注視している表示オブジェクトがある場合、詳しくは、ユーザの視線が所定時間表示オブジェクトから一定の範囲内に収まっている場合、ユーザが当該表示オブジェクトを選択したものとして、ユーザ操作を認識する。なお、一定の範囲とは、表示オブジェクトの領域内、若しくはその領域の上下左右に数ピクセル程度の遊びを持たせた領域を指す。
また、認識部１５１は、ユーザの視線の焦点距離を認識し、焦点距離に基づいてユーザ操作を認識し得る。例えば、認識部１５１は、水晶体の厚さと眼の焦点距離との関係を参照して、水晶体の厚さに基づいて焦点距離を認識する。なお、水晶体の厚さは、光を目に向けて発射し、その散乱光を観測することで認識可能である。このような水晶体の厚さに基づく焦点距離の認識技術に関しては、米国特許第９１３１８３９号明細書に詳しく記載されている。
他方、認識部１５１は、外向きカメラ１１２による撮像画像又は深度情報に基づいて、ユーザの手等の認識対象物により行われるジェスチャを認識し、ジェスチャに基づいてユーザ操作を認識し得る。例えば、認識部１５１は、ユーザが眼前に、即ち外向きカメラ１１２の撮像範囲に掲げた手の撮像画像及び深度情報に基づいて、ユーザが手で作る形状や腕の伸縮（即ち、曲げ伸ばし）等のハンドジェスチャを認識し、ハンドジェスチャに対応するユーザ操作を認識する。なお、本明細書では、手とは手首から指先までを意味し、腕とは肩から手首までを意味するものとする。
さらに、認識部１５１は、出力装置２００によりセンシングされたセンシング情報に基づいて、ユーザ操作を認識してもよい。例えば、認識部１５１は、ユーザの手の姿勢情報に基づいて、ユーザが手で作る形状や腕の伸縮等のハンドジェスチャを認識し、ハンドジェスチャに対応するユーザ操作を認識する。
その他、認識部１５１は、生体情報、ユーザ音声、又はユーザの姿勢等を加味して、ユーザ操作を認識してもよい。
−出力制御部１５３
出力制御部１５３は、出力制御部１５３は、表示装置１００又は出力装置２００によるユーザへの出力を制御する処理を行う。
（観察情報の表示）
出力制御部１５３は、観察情報に基づく画面を生成して、生成した画面を表示するよう表示部１２１を制御する。
具体的には、出力制御部１５３は、仮想空間を構築し、仮想空間を任意の視点から見た様子を示す画面を表示させる。ここでの仮想空間とは、観察装置３００によりリアルタイムで撮像された撮像画像により構築されるものであり、任意の観察装置３００の視点から見た空間である。
出力制御部１５３は、仮想空間を任意の視点から見た画面に、様々な表示オブジェクトを重畳して表示させ得る。表示される画面の具体例については、後に詳しく説明する。
出力制御部１５３は、表示部１２１に表示される画面における観察対象物の大きさを制御する。画面における観察対象物の大きさの制御を実現する手法として、２通りの手法が考えられる。例えば、表示装置１００は、撮像画像の撮像倍率を制御することで、画面における観察対象物の大きさを制御してもよい。つまり、表示装置１００は、観察装置３００にズームイン指示又はズームアウト指示、即ちズーム率の指示を送信することで光学ズームを行い、画面に映る観察対象物の大きさを制御してもよい。また、表示装置１００は、撮像画像を拡縮して表示倍率を制御することで、画面における観察対象物の大きさを制御してもよい。即ち、表示装置１００は、観察装置３００から取得した撮像画像を対象としてデジタルズームを行い、画面に映る観察対象物の大きさを制御してもよい。表示装置１００は、光学ズームとデジタルズームとを併用してもよい。いずれにしろ、画面における観察対象物の大きさを制御することを、ズーム率を制御する、とも称する。
（触覚情報の出力）
出力制御部１５３は、記憶部１４０に記憶された触覚情報を提供する。詳しくは、出力制御部１５３は、出力部１２０により表示される仮想空間においてユーザが触れる操作（以下、接触操作とも称する）を行った観察対象物の、触れた部位に応じた触覚情報を、出力装置２００に送信して出力させる。
動物園のように観察対象物が複数存在する環境下では、出力制御部１５３は、まず、ユーザが触れる操作を行った対象の観察対象物を特定する。例えば、出力制御部１５３は、表示部１２１に表示される画面に含まれる動物を画像認識したり、当該画面の元となる観察情報に含まれる音声を音声認識したりすることで、対象の動物を特定してもよい。また、出力制御部１５３は、仮想空間内の視点の位置と動物の種類とを対応させたマップ、即ち、観察装置３００の設置位置と動物の種類とを対応付けされたマップを参照することで、対象の動物を特定してもよい。また、動物にＧＰＳが装着されている場合、出力制御部１５３は、観察装置３００の位置情報及び撮像方向と動物の位置情報とに基づいて、対象の動物を特定してもよい。
出力制御部１５３は、ユーザが触れた部位に応じた触覚情報を出力させる。例えば、出力制御部１５３は、仮想空間においてユーザが触れた部位と対象の動物の心臓の位置との距離を計算して、距離に応じた減衰を加えた大きさの鼓動を出力させる。また、出力制御部１５３は、仮想空間においてユーザが触れた部位に対応する温度を出力させる。また、出力制御部１５３は、仮想空間においてユーザが触れた部位に対応する体表面の感触を出力させる。なお、出力制御部１５３は、ユーザが動物をなでる方向に応じて異なる感触を出力させることで、動物の毛並を表現してもよい。
さらに、出力制御部１５３は、ユーザが触れた動物及び部位に応じた音声や匂いを、出力部１２０に出力させてもよい。
＜２．２．出力装置の構成例＞
図４は、本実施形態に係る出力装置２００の論理的な構成の一例を示すブロック図である。図４に示すように、本実施形態に係る出力装置２００は、センサ部２１０、出力部２２０、通信部２３０、記憶部２４０及び制御部２５０を含む。以下では、出力装置２００が、図１に示したようなユーザの手に装着される、グローブ型として実現されるものとする。
・センサ部２１０
センサ部２１０は、出力装置２００を装着したユーザの動作や状態に関するセンシング情報を取得する。例えば、センサ部２１０は、ジャイロセンサ、又は加速度センサ等の、出力装置２００を装着したユーザの手の姿勢を取得するセンサを含み得る。また、センサ部２１０は、指先同士の接触を検出する接触センサを含み、後述するユーザのズーム操作を精度よく検出し得る。
・出力部２２０
出力部２２０は、ユーザに触覚情報を出力する。
例えば、出力部２２０は、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む。
例えば、振動生成装置は、触覚情報が示す周期、大きさ及び減衰で振動することで、観察対象物の心拍を疑似的に表現する。振動生成装置は、例えば複数の振動子を含んでいてもよく、表示装置１００又は出力装置２００に配置される超音波素子から放射された音波により振動してもよい。
例えば、熱生成装置は、触覚情報が示す温度の熱を生成することで、観察対象物の体温を疑似的に表現する。
例えば、感触生成装置は、触覚情報が示す感触を生成することで、観察対象物の体表面の感触を疑似的に表現する。感触生成装置は、例えば振動発生装置と同様に構成され、振動により感触を疑似的に表現してもよい。また、感触生成装置は、外部に設けられる超音波出力機として実現されてもよく、超音波の放射圧によりユーザの手に感触を与えてもよい。その場合、超音波出力機は、例えば動物園の柵の周りや、表示装置１００の外面に設けられ得る。超音波の放射圧を利用した感触生成技術は、例えば「T. Iwamoto, T. Maeda and H. Shinoda: “Focused Ultrasound for Tactile Feeling Display,” Proc. 2001 ICAT, pp. 121-126, 2001.」に詳しく記載されている。その他にも、「牧野泰才，篠田裕之： 吸引圧刺激による触覚生成法，日本バーチャルリアリティ学会論文誌，Vol. 11, No.1, pp. 123-132, 2006.」に記載されているように、感触生成技術は、電気刺激を利用するもの、空気圧による薄膜が上下するもの、吸引圧を利用するもの等、多様にあり、感触生成装置は、任意の技術を採用し得る。
・通信部２３０
通信部２３０は、他の装置との通信を行う。
例えば、通信部２３０は、表示装置１００から触覚情報を受信する。また、通信部２３０は、表示装置１００にセンシング情報を送信する。
・記憶部２４０
記憶部２４０は、出力装置２００の動作のための情報を一時的に又は恒久的に記憶する。
・制御部２５０
制御部２５０は、出力装置２００の様々な機能を提供する。例えば、制御部２５０は、表示装置１００から受信した触覚情報を出力するよう出力部２２０を制御する。
＜２．３．観察装置の構成例＞
（１）外観構成例
図５は、本実施形態に係る観察装置３００の外観構成の一例を示す図である。図５に示すように、観察装置３００は、複数のカメラ３１１Ａ〜３１１Ｃ及び３１２を含み得る。カメラ３１２は、ズームレンズを有し、ズームしての撮像が可能である。なお、カメラ３１１Ａ〜３１１Ｃとカメラ３１２とで用途が異なっていてもよい。例えばカメラ３１１Ａ〜３１１Ｃが撮像した撮像画像は後述する選択画面の生成のために用いられ、カメラ３１２が撮像した撮像画像は後述する観察画面の生成のために用いられてもよい。
（２）内部構成例
図６は、本実施形態に係る観察装置３００の論理的な構成の一例を示すブロック図である。図６に示すように、本実施形態に係る観察装置３００は、センサ部３１０、通信部３２０、記憶部３３０及び制御部３４０を含む。
・センサ部３１０
センサ部３１０は、観察対象物に関するセンシング情報（即ち、観察情報）を取得する。センサ部３１０は、観察対象物の撮像画像（動画／静止画）及び音声等の観察情報を取得する。センサ部３１０は、例えばカメラ３１１Ａ〜３１１Ｃ及び３１２等の画像センサ、深度センサ、及びマイク等を含み得る。センサ部３１０は、ズームしての撮像、及びマイク指向性を形成しての収音等を行ってもよい。
・通信部３２０
通信部３２０は、他の装置との通信を行う。
例えば、通信部３２０は、表示装置１００から画像センサのズーム指示又はマイク指向性の形成指示等を受信する。また、通信部３２０は、表示装置１００に観察情報を送信する。
・記憶部３３０
記憶部３３０は、観察装置３００の動作のための情報を一時的に又は恒久的に記憶する。
・制御部３４０
制御部３４０は、観察装置３００の様々な機能を提供する。例えば、制御部３４０は、表示装置１００からの指示に基づきズーム又はマイク指向性を形成するようセンサ部３１０を制御する。
（３）設置例
以下、図７〜図９を参照して、観察装置３００の設置例を説明する。
図７及び図８は、観察対象物を横アングルから（即ち、横から）観察する観察装置３００の設置例を示す図である。図７に示すように、動物園における柵１０に沿って観察装置３００が設置され得る。観察装置３００が設置される高さは、柵１０内の動物の地面から頭、背中又は体の中心までの高さに応じて設置されてもよい。図７に示したように、柵１０内の動物がキリンであれば、観察装置３００は、高さ１ｍで８方向から動物を撮像するよう設置され得る。また、図８に示すように、柵１０内の地形に動物の身長を超えるほどの高低差がある場合、観察装置３００は、複数段階（図８に示した例では３段階）の高さから動物を撮像するよう設置され得る。
図９は、観察対象物を下アングルから（即ち、下から）観察する観察装置３００の設置例を示す図である。観察装置３００は、地面に敷き詰められて設置されてもよい。例えば、柵１０内の動物がキリンであり、キリンを上から見て尻尾から顔の先までの距離をＸとし、キリンを上から見たときの体の幅をＹとする。その場合、図９に示すように、観察装置３００は、横の距離をＸとし縦の距離をＹとする長方形の領域に地面を区切ったときの、各々の領域にひとつずつ設置されてもよい。
他にも、観察装置３００は、観察対象物を上アングルから（即ち、上から）観察するよう設置されてもよい。また、観察装置３００は、動物の視線方向を撮像方向とするように、例えば動物の頭に装着されてもよい。
＜＜３．処理の流れ＞＞
以下、図１０を参照して、動物園におけるユーザ体験提供処理の流れの一例を説明する。
図１０は、本実施形態に係るシステム１において実行されるユーザ体験提供処理の流れの一例を示す図である。図１０に示すように、本シーケンスには、表示装置１００、出力装置２００、及び複数の観察装置３００が関与する。
まず、表示装置１００は、初期画面を生成して表示する（ステップＳ１０２）。初期画面については後述するので、ここでの詳しい説明は省略する。
次いで、表示装置１００は、観察装置３００を探索する（ステップＳ１０４）。例えば、表示装置１００は、ユーザの位置情報及び向き等に基づいて、ユーザの目の前にある柵１０内の動物を観察対象物とする観察装置３００を探索する。
次に、表示装置１００は、探索された観察装置３００に対してリクエストを送信し（ステップＳ１０６）、リクエストを受信した観察装置３００は観察情報を返信する（ステップＳ１０８）。
次いで、表示装置１００は、観察装置３００から受信した観察情報に基づいて選択画面を生成して表示する（ステップＳ１１０）。表示装置１００は、選択画面を表示中に、ユーザによる選択操作を認識する（Ｓ１１２）。詳しくは、表示装置１００は、複数の観察装置３００から一の観察装置３００を選択する操作を認識する。選択画面については後述するので、ここでの詳しい説明は省略する。なお、ここで選択された観察装置３００から受信した観察情報に基づいて、後述する観察画面が生成される。
次に、表示装置１００は、選択された観察装置３００に対してリクエストを送信し（ステップＳ１１４）、リクエストを受信した観察装置３００は観察情報を返信する（ステップＳ１１６）。なお、観察装置３００は、上記ステップＳ１０６においてリクエストを受信してから継続的に観察情報を表示装置１００に送信してもよい。その場合、上記ステップＳ１１４においてもリクエストを受信した観察装置３００は、以降も継続的に観察情報を表示装置１００に送信し、上記ステップＳ１１４においてリクエストを受信しなかった観察装置３００は、観察情報の送信を停止するものとする。
次いで、表示装置１００は、観察装置３００から受信した観察情報に基づいて観察画面を生成して表示する（ステップＳ１１８）。観察画面については後述するので、ここでの詳しい説明は省略する。
次に、表示装置１００は、ユーザによるズーム操作を認識すると（ステップＳ１２０）、観察装置３００にズーム指示を送信する（ステップＳ１２２）。ズーム指示を受信した観察装置３００は、ズーム指示に基づいてズームイン又はズームアウトした撮像画像を含む観察情報を返信する（ステップＳ１２４）。これにより、表示装置１００に表示される観察画面は、ズームイン又はズームアウトされる。
次いで、表示装置１００は、ユーザによる接触操作を認識すると（ステップＳ１２６）、認識した接触操作に対応する触覚情報を出力装置２００に送信する（ステップＳ１２８）。
そして、出力装置２００は、受信した触覚情報を出力する（ステップＳ１３０）。
＜＜４．各処理の詳細＞＞
以下では、上記説明したユーザ体験提供処理における各処理の詳細を説明する。
＜４．１．初期画面の表示＞
初期画面とは、ユーザ体験提供処理において最初に表示される画面である。初期画面の一例を、図１１を参照して説明する。
図１１は、本実施形態に係る初期画面の一例を示す図である。図１１に示すように、初期画面４００は、ユーザが、現在地から直接動物を見たときと同じ光景を映すものであってもよい。例えば、初期画面４００は、外向きカメラ１１２によりリアルタイムに撮像された撮像画像であってもよい。また、初期画面４００は、表示部１２１をスルー状態にした場合に透過的に映る光景であってもよい。
他にも、初期画面４００は、デフォルトで選択される観察装置３００によりリアルタイムで撮像された撮像画像であってもよい。
＜４．２．選択画面の表示＞
表示装置１００は、選択画面を表示する。選択画面とは、後述する観察画面において提供するユーザ体験の元となる観察処理を行う観察装置３００を選択する画面である。
詳しくは、表示装置１００（例えば、出力制御部１５３）は、表示装置１００に表示させる撮像画像（即ち、観察画面において提供される撮像画像）の提供元となり得る複数の候補の撮像装置（即ち、観察装置３００）に対応する複数の表示オブジェクトを含む選択画面を表示する。そして、表示装置１００（例えば、認識部１５１）は、表示された複数の表示オブジェクトのうちひとつの表示オブジェクトへのユーザの所定の操作を、観察装置３００の選択操作として認識する。ユーザは、選択画面において、観察画面生成のための撮像画像の提供元となる観察装置３００、即ち観察画面生成のための視点を選択することが可能である。
選択画面は、多様なモードを有し得る。一例として、以下ではカメラマップモードの選択画面と一覧表示モードの選択画面の一例を説明する。
・カメラマップモード
カメラマップモードでは、表示装置１００は、画面内の候補の観察装置３００の設置位置に対応する位置に当該候補の観察装置３００に対応する表示オブジェクトを表示させる。以下、図１２及び図１３を参照して、カメラマップモードの選択画面の具体例を説明する。
図１２は、本実施形態に係るカメラマップモードの選択画面の一例を示す図である。図１２に示すように、カメラマップモードの選択画面５００の背景は、初期画面４００と同様に、ユーザが現在地から直接動物を見たときと同じ光景を映すものであってもよいし、任意の観察装置３００により撮像された撮像画像であってもよい。そして、カメラマップモードの選択画面５００は、画面内の観察装置３００の設置位置に対応する位置に当該観察装置３００に対応するカメラアイコン５０１Ａ〜５０１Ｈを含む。カメラアイコン５０１Ａ〜５０１Ｄは、動物を横アングルから撮像するよう設置された観察装置３００に対応している。カメラアイコン５０１Ｅ〜５０１Ｇは、動物を下アングルから撮像するよう設置された観察装置３００に対応している。カメラアイコン５０１Ｈは、動物を上アングルから撮像するよう設置された観察装置３００に対応している。ユーザがこれらのカメラアイコン５０１Ａ〜５０１Ｈのうち一のカメラアイコンを選択すると、選択したカメラアイコンに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
なお、選択画面５００のヘッダには、現在のモードがカメラマップモードであることを示す表示オブジェクト５０２と、モードを後述する一覧表示モードに切り替えるための表示オブジェクト５０３とが表示されている。ユーザが表示オブジェクト５０３を選択すると、一覧表示モードの選択画面に表示が切り替わる。
図１３は、本実施形態に係るカメラマップモードの選択画面の一例を示す図である。図１３に示すように、カメラマップモードの選択画面５１０は、画面内の観察装置３００の設置位置に対応する位置に当該観察装置３００に対応するサムネイル５１１Ａ〜５１１Ｄを含む。サムネイル５１１Ａ〜５１１Ｄは、対応する観察装置３００によりリアルタイムで撮像された撮像画像を縮小表示するものである。サムネイル５１１Ａ及び５１１Ｂは、動物を横アングルから撮像するよう設置された観察装置３００に対応している。サムネイル５１１Ｃは、動物を下アングルから撮像するよう設置された観察装置３００に対応している。サムネイル５１１Ｄは、動物を上アングルから撮像するよう設置された観察装置３００に対応している。ユーザがこれらのサムネイル５１１Ａ〜５１１Ｄのうち一のサムネイルを選択すると、選択したサムネイルに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
なお、選択画面５１０のヘッダには、現在のモードがカメラマップモードであることを示す表示オブジェクト５１２と、モードを後述する一覧表示モードに切り替えるための表示オブジェクト５１３とが表示されている。ユーザが表示オブジェクト５１３を選択すると、一覧表示モードの選択画面に表示が切り替わる。
このように、カメラマップモードの選択画面では、カメラアイコン又はサムネイルが対応する観察装置３００の設置位置に応じた位置に表示されるので、ユーザは、観察画面生成のための視点を容易に選択することが可能である。とりわけ、サムネイルが表示される場合、ユーザは、選択前にどのような観察画面が生成されるかを予測可能であるので、利便性が向上する。
・一覧表示モード
一覧表示モードでは、表示装置１００は、候補の観察装置３００により撮像された撮像画像を含む表示オブジェクトを、候補の観察装置３００の撮像方向の鉛直方向との角度に対応する高さに並べて表示させる。以下、図１４及び図１５を参照して、一覧表示モードの選択画面の具体例を説明する。
図１４は、本実施形態に係る一覧表示モードの選択画面の一例を示す図である。図１４に示すように、一覧表示モードの選択画面５２０では、観察装置３００により撮像された撮像画像のサムネイル５２１Ａ〜５２１Ｇが、観察装置３００の撮像方向と鉛直方向との角度に対応する高さに並べて表示される。サムネイル５２１Ａ〜５２１Ｅは、動物を横アングルから（即ち、撮像方向と鉛直方向との角度が９０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の中部に並べられている。これにより、実際に動物を水平方向から見たときに見えるであろう光景が、ユーザにとって水平方向に表示されることとなる。サムネイル５２１Ｆは、動物を下アングルから（即ち、撮像方向と鉛直方向との角度が１８０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の上部に並べられている。これにより、実際に動物を下アングルから見上げたときに見えるであろう光景が、ユーザにとって見上げる位置に表示されることとなる。サムネイル５２１Ｇは、動物を上アングルから（即ち、撮像方向と鉛直方向との角度が０度程度）撮像するよう設置された観察装置３００に対応しており、画面内の下部に並べられている。これにより、実際に動物を上アングルから見下ろしたときに見える光景が、ユーザにとって見下ろす位置に表示されることとなる。なお、観察装置３００が、動物の視線方向を撮像方向とするように設置された場合、図１４に示すように、当該観察装置３００により撮像された撮像画像のサムネイル５２１Ｈが、選択画面５２０において表示されてもよい。ユーザがこれらのサムネイル５２１Ａ〜５２１Ｈのうち一のサムネイルを選択すると、選択したサムネイルに対応する観察装置３００により撮像された撮像画像に基づき観察画面が生成される。
ここで、選択画面５２０において表示されるサムネイルは、一部であってもよく、ユーザは、表示されているサムネイルと表示されていないサムネイルとを入れ替えてもよい。例えば、図１４に示すように、画面内の中部に並べられたサムネイル５２１Ａ〜５２１Ｅは、ユーザを仮想的に囲むように配置されている。そこで、ユーザは、この囲みを回転させるような操作を行うことで、動物を横アングルから撮像するよう設置された他の観察装置３００により撮像された撮像画像のサムネイルを、新たに表示させてもよい。この点、サムネイル５２１Ａ〜５２１Ｅとして、水平方向における撮像方向が互いに遠い観察装置３００により撮像された撮像画像に基づくサムネイルが表示されている。従って、選択画面５２０においては、サムネイルの入れ替えが行われなくても、観察画面生成のための幅広い視点の候補を提供することが可能である。
なお、選択画面５２０のヘッダには、現在のモードが一覧表示モードであることを示す表示オブジェクト５２２と、モードをカメラマップモードに切り替えるための表示オブジェクト５２３とが表示されている。ユーザが表示オブジェクト５２３を選択すると、カメラマップモードの選択画面に表示が切り替わる。
図１５は、本実施形態に係る一覧表示モードの選択画面の一例を示す図である。図１５に示すように、図１４と同様に、一覧表示モードの選択画面５３０では、観察装置３００により撮像された撮像画像のサムネイル５３１Ａ〜５３１Ｇが、観察装置３００の撮像方向と鉛直方向との角度に対応する高さに並べて表示される。また、図１５に示すように、図１４と同様に、観察装置３００が、動物の視線方向を撮像方向とするように設置された当該観察装置３００により撮像された撮像画像のサムネイル５３１Ｈが、選択画面５３０において表示される。
ここで、選択画面５３０では、サムネイル５３１Ａ〜５３１Ｅとして、水平方向における撮像方向が互いに近い（例えば、隣り合って設置された）観察装置３００により撮像された撮像画像に基づくサムネイルが表示されている。従って、選択画面５３０においては、観察画面生成のための類似する視点の候補を提供することが可能である。
なお、選択画面５３０のヘッダには、現在のモードが一覧表示モードであることを示す表示オブジェクト５３２と、モードをカメラマップモードに切り替えるための表示オブジェクト５３３とが表示されている。ユーザが表示オブジェクト５３３を選択すると、カメラマップモードの選択画面に表示が切り替わる。
このように、一覧表示モードの選択画面では、観察装置３００の撮像方向と鉛直方向との角度に対応する高さにサムネイルが並べられるので、観察装置３００の撮像方向とユーザの上下の視線方向とを調和させることが可能である。
なお、図１４及び図１５では、一覧表示モードの選択画面の背景が黒一色であったが、カメラマップモードの選択画面と同様の背景であってもよい。
ここで、上述した選択画面における観察装置３００の選択等の選択操作は、多様に実現され得る。例えば、表示装置１００は、ユーザが注視している表示オブジェクトがある場合、当該表示オブジェクトをユーザが選択したものとして認識してもよい。
＜４．３．観察画面の表示＞
観察画面とは、選択画面において選択された観察装置３００による観察情報に基づく出力を行う画面である。具体的には、観察画面は、選択された観察装置３００によりリアルタイムに撮像された撮像画像を含む画面である。とりわけ、観察画面では、ユーザが接触操作を行った場合に、対応する触覚情報が出力される。
詳しくは、表示装置１００は、観察画面において、観察対象物の所定の部位への所定の操作が認識された場合、観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置２００により出力させる。所定の操作とは、接触操作である。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。
また、表示装置１００は、観察画面において、接触操作が可能であることを示す情報を、上記所定の部位、即ち接触操作が可能な部位に関連付けて表示する。接触操作が可能な部位は、首や顔、顎など、動物の種類、又はそのときの動物の感情等に応じて異なり得る。これにより、ユーザは、触覚情報の出力を享受することができる部位を目がけて接触操作を行うことが可能となる。
以下、図１６〜図１８を参照して、観察画面の具体例を説明する。
図１６は、本実施形態に係る観察画面の一例を示す図である。図１６に示すように、観察画面６００では、接触操作が可能であることを示すアノテーション６０１Ａ〜６０１Ｃ、及び現在のズーム率を示す情報６０２が表示されている。ユーザは、ズーム操作を行うことで、観察画面におけるズーム率を任意の変更可能である。ユーザがズームイン操作を行ったときの観察画面を、図１７に示す。
図１７は、本実施形態に係る観察画面の一例を示す図である。図１７に示すように、観察画面６１０では、観察対象物にズームインした画面が表示されており、接触操作が可能であることを示すアノテーション６１１Ａ及び６１１Ｂ、並びに現在のズーム率を示す情報６１２が表示されている。ここで、アノテーション６１１Ａでは、接触操作を行うと観察対象物が肯定的な反応を行う（例えば、喜ぶ）ことを示すアイコンが表示されている。また、アノテーション６１１Ｂでは、観察対象物が否定的な反応を行う（例えば、怒る）ことを示すアイコンが表示されている。もちろん、ユーザが観察対象物に実際に触れるわけではなく、これらの反応は仮想的なものである。
ここで、図１６及び図１７に示したように、表示装置１００は、観察画面における観察対象物の大きさに基づいて、接触操作が可能であることを示す情報の詳細度を制御してもよい。例えば、表示装置１００は、ズーム率が低い場合には接触操作が可能であることを示すアノテーションを表示する。これにより、ユーザは、例えばアノテーションが表示された部位を目がけてズーム操作を行うことが可能である。他方、表示装置１００は、ズーム率が高い場合には接触操作が可能であることに加えて、予想される観察対象物の反応を示すアノテーションを表示する。これにより、ユーザは、例えば観察対象物が肯定的な反応を行う部位を選択して、接触操作を行うことが可能である。
表示装置１００は、観察対象物の感情に応じて、観察対象物の反応を生成してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの内容や形状を動的に変更し得る。また、表示装置１００は、観察対象物の感情に応じて、接触操作が可能か否かを判断してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの表示可否を動的に変更し得る。また、表示装置１００は、触っても否定的な反応が起こりにくい部位にアノテーションを配置してもよい。即ち、表示装置１００は、観察対象物の感情に応じて、アノテーションの表示位置を動的に変更し得る。
ここで、観察対象物の感情は、観察対象物の観察情報に基づいたニューラルネット等の機械学習により推定され得る。例えば、撮像画像に基づく学習により、動物の種類、行動及び身震い等に対応する感情が推定される。また、音声に基づく学習により、鳴き声のスペクトル及び長さに対応する感情が推定される。
上述した観察対象物の感情に代えて又は加えて、観察対象物が寝ている／歩いている等の行動、又は特徴的な触覚の有無等に応じてアノテーションが表示されてもよい。例えば、行動が異なればアノテーションの表示位置が異なってもよいし、心臓の近く等の心拍を大きく感じ取ることが可能な位置に優先的にアノテーションが表示されてもよい。
観察画面においては、ズームに連動して観察情報に含まれる撮像画像以外の他の情報が出力されてもよい。例えば、表示装置１００は、ズームに連動して観察装置３００のマイクの指向性を観察画面に含まれる観察対象物に向くよう制御して、観察対象物の鳴き声等を出力してもよい。また、表示装置１００は、ズームに連動して観察画面に含まれる観察対象物の匂いを出力してもよい。
観察画面においてユーザがキャンセル操作を行うと、表示装置１００は選択画面を再度表示する。これにより、ユーザは、観察画面生成のための視点を選択し直すことが可能となる。その他、表示装置１００は、観察画面において、他の視点を推薦する表示オブジェクトを表示してもよい。その場合の例を、図１８を参照して説明する。
図１８は、本実施形態に係る観察画面の一例を示す図である。図１８に示すように、観察画面６２０では、観察対象物にズームインした画面が表示されており、他の視点を推薦する表示オブジェクト６２１及び現在のズーム率を示す情報６２２が表示されている。表示オブジェクト６２１は、他の観察装置３００により撮像された撮像画像のサムネイルである。表示装置１００は、ユーザが表示オブジェクト６２１を選択すると、当該他の観察装置３００により撮像された撮像画像に基づく観察画面を生成して、表示を切り替える。
＜４．４．ユーザ操作＞
（１）ズーム操作
以下、図１９〜図２４を参照して、ズーム操作について説明する。
まず、図１９を参照して、ズーム操作を説明するための座標軸の設定を説明する。
図１９は、本実施形態に係る座標軸の設定の一例を示す図である。図１９に示すように、ユーザに装着された表示装置１００の位置を原点とし、ユーザにとって前方の方向をＺ軸、水平方向（即ち、画面の横方向）をＸ軸、天頂方向（即ち、画面の縦方向）をＹ軸として座標軸が設定されるものとする。
・Ｚ軸方向の距離に応じたズーム率の制御
表示装置１００は、観察対象物の撮像画像を含む画面（例えば、観察画面）を表示しつつ、表示装置１００を装着したユーザが操作する認識対象物と基準位置との距離に基づいて、上記画面における観察対象物の大きさを制御する。より簡易には、表示装置１００は、ユーザが操作する認識対象物と基準位置との距離に応じて、観察画面におけるズーム率を制御する。
ここで、基準位置は、ユーザに装着された表示装置１００の位置であり、図１９における原点であってもよい。より具体的には、基準位置は、ステレオカメラとして形成された外向きカメラ１１２の位置であってもよいし、深度センサの位置であってもよい。また、認識対象物と基準位置との距離は、基準位置と認識対象物との基準方向における距離であってもよく、基準方向は、例えば図１９におけるＺ軸方向であってもよい。より簡易には、表示装置１００は、ユーザの前方方向における認識対象物と表示装置１００との距離に応じて、観察画面におけるズーム率を制御してもよい。
具体的には、表示装置１００は、認識対象物と基準位置との距離が大きいほど観察画面における観察対象物を大きくする。即ち、表示装置１００は、認識対象物と基準位置との基準方向の距離が大きいほど観察画面のズーム率を大きくする。一方で、表示装置１００は、認識対象物と基準位置との距離が小さいほど観察画面における観察対象物を小さくする。即ち、表示装置１００は、認識対象物と基準位置との基準方向の距離が大きいほど観察画面のズーム率を小さくする。
認識対象物は、多様に考えられる。例えば、認識対象物は、所定の形状となったユーザの手であってもよい。他にも、認識対象物は、ユーザの足又は器具等であってもよいし、仮想空間においてユーザに操作される仮想オブジェクトであってもよい。
上記所定の形状は多様に考えられる。例えば、認識対象物は、指で輪を形成したユーザの手であってもよい。この輪は、片手で形成されてもよいし、両手で形成されてもよい。他にも、認識対象物は、握りこぶしを形成したユーザの手等であってもよい。
認識対象物と基準位置との距離の上限及び下限は、予め設定されていてもよい。例えば、認識対象物が指で輪を形成したユーザの手である場合、ユーザの腕の長さを考慮して、上限は１メートル程度であってもよい。また、表示装置１００は、認識対象物と基準位置との距離の変化量が閾値以上であれば、観察画面のズーム率を変化させてもよい。これにより、腕の微細な動きがズーム率に影響することが防止されるので、画面揺れ等が防止される。なお、この閾値は、例えば１５センチメートル程度であってもよい。
以下、図２０〜図２２を参照して、ズーム操作の一例を説明する。図２０〜図２２は、本実施形態に係るズーム操作の一例を説明するための図である。
図２０では、認識対象物の一例が示されている。図２０に示した認識対象物７００は、片手の指でそれぞれ輪を形成したユーザの両手である。このような形状により、ユーザは遠くを双眼鏡でのぞくイメージでズーム操作を行うことが可能である。
図２１では、ズームイン操作の一例が示されている。表示装置１００は、図２１に示すような、ユーザが腕を伸ばしてＺ軸方向で認識対象物７００を表示装置１００から遠ざける操作を、ズームイン操作として認識する。そして、表示装置１００は、観察画面のズーム率を大きくする。
図２２では、ズームアウト操作の一例が示されている。表示装置１００は、図２２に示すような、ユーザが腕を畳んでＺ軸方向で認識対象物７００を表示装置１００に近づける操作を、ズームアウト操作として認識する。そして、表示装置１００は、観察画面のズーム率を小さくする。
・他の情報に応じたズーム率制御
表示装置１００は、他の情報にさらに基づいて、ズーム率を制御してもよい。これにより、ズーム操作の認識精度を向上させることが可能である。
例えば、認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、輪の姿勢にさらに基づいて、観察画面における観察対象物の大きさを制御してもよい。この点、図２３を参照して説明する。
図２３は、本実施形態に係るズーム操作の一例を説明するための図である。図２３の上段に示すように、ユーザが腕を伸ばしてＺ軸方向に輪（即ち、認識対象物）７００を表示装置１００から遠ざけるズームイン操作を行った場合、手首の可動域の関係で、典型的には輪７００とＺ軸方向との角度は小さくなる。他方、図２３の下段に示すように、ユーザが腕を畳んでＺ軸方向で認識対象物７００を表示装置１００に近づけるズームアウト操作を行った場合、典型的には輪７００とＺ軸方向との角度は大きくなる。そこで、表示装置１００は、この輪７００とＺ軸方向との角度に応じて、ズーム率を制御してもよい。例えば、表示装置１００は、輪７００とＺ軸方向との角度が小さくなった場合にズームイン操作が行われていることを認識し、輪７００とＺ軸方向との角度が大きくなった場合にズームアウト操作が行われていることを認識してもよい。また、表示装置１００は、輪７００とＺ軸方向との角度が閾値を上回る又は下回る場合に、誤認識であると判断し、ズーム率の制御を停止してもよい。
他にも、表示装置１００は、出力装置２００により取得されたセンシング情報にさらに基づいて、観察画面における観察対象物の大きさを制御してもよい。例えば、表示装置１００は、出力装置２００により取得されたセンシング情報が所定のパターンを示す場合に、ズーム操作を認識してもよい。具体的には、表示装置１００は、出力装置２００の加速度センサ又はジャイロセンサによるセンシング情報に基づいて、指で輪が形成されているか否か、輪の角度、又は輪の移動等を認識する。また、表示装置１００は、出力装置２００の指先同士の接触を検出する接触センサにより取得されたセンシング情報に基づいて、指で輪が形成されているか否かを認識する。なお、グローブ型の出力装置２００に設けられるセンサ以外にも、腕輪、腕時計、指輪又は洋服等に設けられるセンサにより取得されたセンシング情報が加味されてもよい。
・ズームの中心位置の制御
表示装置１００は、観察画面における観察対象物の大きさの制御、即ちズーム率の制御の中心位置を制御する。この、中心位置を、以下ではズームの中心位置とも称する。
例えば、表示装置１００は、観察対象物の目、耳又は鼻などの特徴点に基づいて顔を認識し、認識した顔をズームの中心位置としてもよい。また、表示装置１００は、観察画面において観察対象物が複数表示されている場合、ユーザの視野の中心により近くに表示されている観察対象物を、ズームの中心位置としてもよい。
また、表示装置１００は、基準方向に直交する方向における認識対象物の位置に基づいて観察画面における観察対象物の大きさの制御の中心位置を制御してもよい。例えば、表示装置１００は、観察画面の中心位置から見たズームの中心位置の座標を、Ｚ軸方向に直交するＸＹ平面における原点（即ち、Ｚ軸）から見た認識対象物の座標に対応させる。より簡易には、認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、ユーザの手の上下左右方向の動きに応じて、ズームの中心位置を上下左右に動かす。その後、表示装置１００は、ユーザの手の前方方向（即ち、Ｚ軸方向）への動きに応じて、当該中心位置を中心としてズームイン又はズームアウトする。
表示装置１００は、上記中心位置を示す情報を表示してもよい。これにより、ユーザは、ズームイン操作を行う前に、例えば手を上下左右に動かしながらズームの中心位置を動かして、狙いを定めることができる。なお、ズームの中心位置を示す情報は、中心点を示す情報であってもよいし、中心位置から所定範囲を示す情報であってもよい。後者の情報を、以下ではフォーカス範囲とも称する。
以下、図２４を参照して、ズーム操作時の観察画面の一例を説明する。
図２４は、本実施形態に係るズーム操作時の観察画面の一例を示す図である。図２４の左図に示すように、ユーザは、腕を畳んだまま認識対象物７００を上下左右に動かす。図２６の右図に示すように、観察画面６３０においては、フォーカス範囲６３１が表示される。これにより、ユーザは、ズームイン前に、フォーカス範囲６３１に所望する観察対象物の部位が含まれるように、ズームの中心位置を上下左右に動かすことが可能である。そして、ユーザは、狙いを定めた後に腕を伸ばしてズームイン操作を行うことで、フォーカス範囲６３１に含まれる部位を拡大して観察画面に表示させることができる。
・ズーム倍率の設定
表示装置１００は、ズーム倍率の最大値又は最小値を設定してもよい。ズーム倍率の最大値は、例えば実空間において観察対象物に手を伸ばせば触れられる位置にユーザがいる場合に見えるであろう観察対象物の大きさと、同等の大きさで観察対象物を表示する倍率に設定され得る。また、ズーム倍率の最小値は、例えば実空間においてユーザが現在の位置から観察対象物を見た場合に見えるであろう観察対象物の大きさと、同等の大きさで観察対象物を表示する倍率に設定され得る。
・ズームスピードの設定
ズームスピードは、認識対象物の基準方向における速度又は加速度に応じて設定され得る。ズームスピードは、認識対象物の基準方向における移動可能距離を考慮して設定されてもよい。例えば、認識対象物が指で輪を形成したユーザの手である場合、ズームスピードは腕の長さを考慮して設定されてもよい。具体的には、腕の伸縮の速度又は加速度を腕の長さで割り算した値が、ズームスピードとして設定され得る。これにより、子供と大人とで腕の長さが異なり腕の伸縮のスピードが異なっていても、同等のズームスピードが実現される。腕の長さ情報が無い場合、身長情報で代替されてもよい。身長情報は、ユーザにより入力されてもよいし、画像認識により得られる外向きカメラ１１２の地上からの高さ情報であってもよい。
（２）接触操作
表示装置１００は、観察画面に表示される仮想空間においてユーザが観察対象物に触れる操作を、接触操作として認識する。
例えば、表示装置１００は、仮想空間においてユーザが手のひらを観察対象物に向ける動作を、接触操作として認識する。とりわけ、ズーム操作における認識対象物が指で輪を形成したユーザの手である場合、表示装置１００は、ユーザが手を伸ばした状態で手のひらを観察対象物に向ける動作を、接触操作として認識してもよい。その場合、ユーザは、手を伸ばしてズームイン操作を行った後、シームレスに接触操作を行うことが可能である。
以下、図２５を参照して接触操作の一例を説明し、図２６を参照して、接触操作時の観察画面の一例を説明する。
図２５は、本実施形態に係る接触操作の一例を示す図である。図２５示すように、ユーザは、手を伸ばした状態で手のひらを開いている。ユーザは、実空間において観察対象物に近づいて実際に触れる場合と同様の動作で接触操作を行い、触覚情報の出力を出力装置２００から受けることが可能である。
図２６は、本実施形態に係る観察画面の一例を示す図である。図２６に示すように、観察画面６４０では、観察対象物にズームインした画面が表示されており、接触操作が可能であることを示すアノテーション６４１Ａ及び６４１Ｂ、並びに現在のズーム率を示す情報６４２が表示されている。そして、表示装置１００は、観察画面６４０において、観察対象物への接触操作を行うユーザの手を示す画像６４４を観察対象物に重畳させて表示させている。これにより、ユーザ体験の臨場感をより向上させることが可能である。なお、観察対象物との距離感が近い場合に接触可能になるよう、接触操作は、所定の倍率以上で観察対象物が表示されたときに可能になってもよい。
（３）キャンセル操作
表示装置１００は、キャンセル操作を認識する。表示装置１００は、例えば、観察画面においてキャンセル操作を認識すると、ズーム率をデフォルト値に戻す、又は画面を選択画面若しくは初期画面に戻す。
キャンセル操作は、多様に認識され得る。例えば、表示装置１００は、所定のジェスチャ、所定の音声コマンド、又は所定のボタンの押下等をキャンセル操作として認識する。以下、図２７を参照してキャンセル操作の一例を説明する。
図２７は、本実施形態に係るキャンセル操作の一例を示す図である。図２７に示すように、表示装置１００は、ユーザが首を左右に振る動作を、キャンセル操作として認識してもよい。例えば、表示装置１００は、外向きカメラ１１２の撮像画像のフレーム間差分又は横方向のオプティカルフロー等を画像認識することで、ユーザが首を左右に振る動作を認識してもよい。また、表示装置１００は、加速度センサにより得られた加速度に基づいて、ユーザが首を左右に振る動作を認識してもよい。また、表示装置１００は、顔の横に接触する圧力センサにより得られた圧力の連続的なパターンを認識することで、ユーザが首を左右に振る動作を認識してもよい。なお、上記認識方法は、画像認識は暗所では精度が落ちる等、一長一短があるため、適宜組み合わせて用いられることが望ましい。
＜４．５．ユーザ間の相互作用＞
表示装置１００を装着したユーザが複数いる場合、表示装置１００は、ユーザ間の関係に基づく表示を行ってもよい。
例えば、友人関係又は親子関係等の所定の関係にある複数のユーザが装着する複数の表示装置１００は、それぞれ別々の画面を表示する個別モード、又はそのうち一のユーザの画面を他のユーザへも表示するグループモードのいずれかで動作し得る。表示装置１００は、個別モードにおいては、装着したユーザの操作に応じた画面を表示する。これにより、各々のユーザは、自身が好む画面を自由に見ることができる。一方、表示装置１００は、グループモードにおいては、複数のユーザのうち一のユーザの操作に応じた画面を表示する。これにより、複数のユーザは、共通する画面を見て同じユーザ体験を享受することができる。個別モードとグループモードとは、ユーザ操作により適宜切り替えられてもよい。
グループモードにおける一のユーザの選択は、任意のユーザ操作により行われてもよいし、予め設定されていてもよい。前者の場合、グループのユーザは、お互いが選択した視点を交換し合いながらユーザ体験を享受することができる。後者の場合、例えば親が上記一のユーザとして選択され、子供が他のユーザとして設定されてもよい。その場合、親は、子供に豊かなユーザ体験を提供することが可能である。他にも、動物園のガイドが上記一のユーザとして選択され、客が他のユーザとして予め設定されてもよい。
＜＜５．ハードウェア構成例＞＞
最後に、図２８を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図２８は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２８に示す情報処理装置９００は、例えば、図３、図４又は図６にそれぞれ示した表示装置１００、出力装置２００又は観察装置３００を実現し得る。本実施形態に係る表示装置１００、出力装置２００又は観察装置３００による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図２８に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１及び通信装置９１３を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、電気回路、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、図３に示す制御部１５０、図４に示す制御部２５０又は図６に示す制御部３４０を形成し得る。
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
他にも、入力装置９０６は、ユーザに関する情報を検知する装置により形成され得る。例えば、入力装置９０６は、画像センサ（例えば、カメラ）、深度センサ（例えば、ステレオカメラ）、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、圧力センサ、力センサ等の各種のセンサを含み得る。また、入力装置９０６は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得してもよい。また、入力装置９０６は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global Positioning System）衛星からのＧＰＳ信号）を受信して装置の緯度、経度及び高度を含む位置情報を測定するＧＮＳＳモジュールを含んでもよい。また、位置情報に関しては、入力装置９０６は、Ｗｉ−Ｆｉ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。入力装置９０６は、例えば、図３に示すセンサ部１１０、図４に示すセンサ部２１０又は図６に示すセンサ部３１０を形成し得る。
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置、レーザープロジェクタ、ＬＥＤプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。出力装置９０７は、例えば、図３に示す出力部１２０又は図４に示す出力部２２０を形成し得る。
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置９０８は、例えば、図３に示す記憶部１４０、図４に示す記憶部２４０又は図６に示す記憶部３３０を形成し得る。
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、図３に示す通信部１３０、図４に示す通信部２３０又は図６に示す通信部３２０を形成し得る。
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
＜＜６．まとめ＞＞
以上、図１〜図２８を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係る表示装置１００は、観察対象物の撮像画像を含む画面を表示させつつ、表示装置１００を装着したユーザの操作を認識する。とりわけ、表示装置１００は、ユーザが操作する認識対象物と基準位置との距離に基づいて、画面における観察対象物の大きさを制御する。ユーザは、認識対象物を操作して基準位置との距離を変えることで、画面内の観察対象物の大きさを容易に変えることが可能である。このようにして、仮想空間における対象物との距離感の円滑な制御が実現される。
具体的には、表示装置１００は、認識対象物と基準位置との距離が大きいほど画面における観察対象物を大きくし、認識対象物と基準位置との距離が小さいほど画面における観察対象物を小さくしてもよい。このように、認識対象物と基準位置との距離と画面における観察対象物の大きさとが連動するので、ユーザは、直観的に仮想空間における対象物との距離感を制御することが可能である。
また、認識対象物は、指で輪を形成したユーザの手であってもよい。これにより、ユーザは、簡易なハンドジェスチャにより、仮想空間における対象物との距離感を制御することが可能である。
また、観察対象物の所定の部位への所定の操作が認識された場合、観察対象物を触れた場合に得られる触覚を模した触覚情報が出力装置２００により出力され得る。これにより、ユーザは、観察対象物から離れていても、あたかも近づいて触れたかのような臨場感のあるユーザ体験を享受ことが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、観察対象物を動物園における動物であるとしたが、本技術はかかる例に限定されない。例えば、観察対象物は、コンサート会場におけるアーティストであってもよいし、演劇舞台における俳優であってもよい。
例えば、上記実施形態では、表示装置１００は、観察装置３００によりリアルタイムに撮像された撮像画像を含む画面を表示するものと説明したが、本技術はかかる例に限定されない。例えば、表示装置１００は、映画又はゲーム等のコンテンツを表示してもよく、ユーザは、上記説明したハンドジェスチャによりコンテンツの表示倍率を制御してもよい。
なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図３に示した表示装置１００の機能構成例のうち、記憶部１４０及び制御部１５０が、センサ部１１０、出力部１２０とネットワーク等で接続されたサーバ等の情報処理装置に備えられていても良い。その場合、サーバは、観察装置３００から観察情報を受信し、出力装置２００及び表示装置からセンシング情報を受信し、受信した情報に基づいて観察画面等の画面を生成するための表示制御情報及び触覚情報を生成する。そして、サーバは、表示制御情報を表示装置に送信して出力部１２０により出力させ、触覚情報を出力装置２００に送信して出力させる。出力装置２００及び観察装置３００についても同様である。
また、本明細書においてシーケンス図を用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
表示装置を装着したユーザの操作を認識する認識部と、
前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
を備える情報処理装置。
（２）
前記出力制御部は、前記認識対象物と基準位置との距離が大きいほど前記画面における前記観察対象物を大きくし、認識対象物と基準位置との距離が小さいほど前記画面における前記観察対象物を小さくする、前記（１）に記載の情報処理装置。
（３）
前記認識対象物と前記基準位置との距離は、前記基準位置と前記認識対象物との基準方向における距離であり、
前記出力制御部は、前記基準方向に直交する方向における前記認識対象物の位置に基づいて前記画面における前記観察対象物の大きさの制御の中心位置を制御する、前記（１）又は（２）に記載の情報処理装置。
（４）
前記出力制御部は、前記中心位置を示す情報を表示する、前記（３）に記載の情報処理装置。
（５）
前記基準位置は、前記ユーザに装着された前記表示装置の位置である、前記（１）〜（４）のいずれか一項に記載の情報処理装置。
（６）
前記認識対象物は、所定の形状となった前記ユーザの手である、前記（１）〜（５）のいずれか一項に記載の情報処理装置。
（７）
前記認識対象物は、指で輪を形成した前記ユーザの手であり、
前記出力制御部は、前記輪の姿勢にさらに基づいて、前記画面における前記観察対象物の大きさを制御する、前記（６）に記載の情報処理装置。
（８）
前記出力制御部は、前記撮像画像の撮像倍率を制御することで、前記画面における前記観察対象物の大きさを制御する、前記（１）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記出力制御部は、前記観察対象物の所定の部位への所定の操作が認識された場合、前記観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置により出力させる、前記（１）〜（８）のいずれか一項に記載の情報処理装置。
（１０）
前記出力制御部は、前記観察対象物への前記所定の操作を行う前記ユーザの手を示す画像を前記観察対象物に重畳させて表示させる、前記（９）に記載の情報処理装置。
（１１）
前記観察対象物は、動物であり、
前記触覚情報は、前記観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含む、前記（９）又は（１０）に記載の情報処理装置。
（１２）
前記出力制御部は、前記所定の操作が可能であることを示す情報を、前記所定の部位に関連付けて表示させる、前記（９）〜（１１）のいずれか一項に記載の情報処理装置。
（１３）
前記出力制御部は、前記画面における前記観察対象物の大きさに基づいて、前記所定の操作が可能であることを示す情報の詳細度を制御する、前記（１２）に記載の情報処理装置。
（１４）
前記出力装置は、ユーザの手に装着され、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む、前記（９）〜（１３）のいずれか一項に記載の情報処理装置。
（１５）
前記出力制御部は、前記表示装置に表示させる前記撮像画像の提供元となり得る複数の候補の撮像装置に対応する複数の表示オブジェクトを含む画面を表示させ、
前記認識部は、表示された複数の前記表示オブジェクトのうちひとつの前記表示オブジェクトへの前記ユーザの所定の操作を、前記候補の撮像装置の選択操作として認識する、前記（１）〜（１４）のいずれか一項に記載の情報処理装置。
（１６）
前記出力制御部は、画面内の前記候補の撮像装置の設置位置に対応する位置に当該候補の撮像装置に対応する前記表示オブジェクトを表示させる、前記（１５）に記載の情報処理装置。
（１７）
前記出力制御部は、候補の撮像装置により撮像された撮像画像を含む前記表示オブジェクトを、前記候補の撮像装置の撮像方向と鉛直方向との角度に対応する高さに並べて表示させる、前記（１５）に記載の情報処理装置。
（１８）
前記表示装置は、ユーザの目を撮像する第１の画像センサ及び前記認識対象物を撮像する第２の画像センサを含む、前記（１）〜（１７）のいずれか一項に記載の情報処理装置。
（１９）
表示装置を装着したユーザの操作を認識することと、
前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、
を含む、プロセッサにより実行される情報処理方法。
（２０）
コンピュータを、
表示装置を装着したユーザの操作を認識する認識部と、
前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
として機能させるためのプログラムが記録された記録媒体。
１ システム
１０ 柵
１００ 表示装置
１１０ センサ部
１１１ 内向きカメラ
１１２ 外向きカメラ
１２０ 出力部
１２１ 表示部
１３０ 通信部
１４０ 記憶部
１５０ 制御部
１５１ 認識部
１５３ 出力制御部
２００ 出力装置
２１０ センサ部
２２０ 出力部
２３０ 通信部
２４０ 記憶部
２５０ 制御部
３００ 観察装置
３１０ センサ部
３２０ 通信部
３３０ 記憶部
３４０ 制御部
７００ 認識対象物

Claims (20)

  1. 表示装置を装着したユーザの操作を認識する認識部と、
    前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
    を備える情報処理装置。
  2. 前記出力制御部は、前記認識対象物と基準位置との距離が大きいほど前記画面における前記観察対象物を大きくし、前記認識対象物と基準位置との距離が小さいほど前記画面における前記観察対象物を小さくする、請求項１に記載の情報処理装置。
  3. 前記認識対象物と前記基準位置との距離は、前記基準位置と前記認識対象物との基準方向における距離であり、
    前記出力制御部は、前記基準方向に直交する方向における前記認識対象物の位置に基づいて前記画面における前記観察対象物の大きさの制御の中心位置を制御する、請求項１に記載の情報処理装置。
  4. 前記出力制御部は、前記中心位置を示す情報を表示する、請求項３に記載の情報処理装置。
  5. 前記基準位置は、前記ユーザに装着された前記表示装置の位置である、請求項１に記載の情報処理装置。
  6. 前記認識対象物は、所定の形状となった前記ユーザの手である、請求項１に記載の情報処理装置。
  7. 前記認識対象物は、指で輪を形成した前記ユーザの手であり、
    前記出力制御部は、前記輪の姿勢にさらに基づいて、前記画面における前記観察対象物の大きさを制御する、請求項６に記載の情報処理装置。
  8. 前記出力制御部は、前記撮像画像の撮像倍率を制御することで、前記画面における前記観察対象物の大きさを制御する、請求項１に記載の情報処理装置。
  9. 前記出力制御部は、前記観察対象物の所定の部位への所定の操作が認識された場合、前記観察対象物を触れた場合に得られる触覚を模した触覚情報を出力装置により出力させる、請求項１に記載の情報処理装置。
  10. 前記出力制御部は、前記観察対象物への前記所定の操作を行う前記ユーザの手を示す画像を前記観察対象物に重畳させて表示させる、請求項９に記載の情報処理装置。
  11. 前記観察対象物は、動物であり、
    前記触覚情報は、前記観察対象物の心拍、体温又は体表面の感触の少なくともいずれかを含む、請求項９に記載の情報処理装置。
  12. 前記出力制御部は、前記所定の操作が可能であることを示す情報を、前記所定の部位に関連付けて表示させる、請求項９に記載の情報処理装置。
  13. 前記出力制御部は、前記画面における前記観察対象物の大きさに基づいて、前記所定の操作が可能であることを示す情報の詳細度を制御する、請求項１２に記載の情報処理装置。
  14. 前記出力装置は、前記ユーザの手に装着され、振動生成装置、熱生成装置又は感触生成装置の少なくともいずれかを含む、請求項９に記載の情報処理装置。
  15. 前記出力制御部は、前記表示装置に表示させる前記撮像画像の提供元となり得る複数の候補の撮像装置に対応する複数の表示オブジェクトを含む画面を表示させ、
    前記認識部は、表示された複数の前記表示オブジェクトのうちひとつの前記表示オブジェクトへの前記ユーザの所定の操作を、前記候補の撮像装置の選択操作として認識する、請求項１に記載の情報処理装置。
  16. 前記出力制御部は、画面内の前記候補の撮像装置の設置位置に対応する位置に当該候補の撮像装置に対応する前記表示オブジェクトを表示させる、請求項１５に記載の情報処理装置。
  17. 前記出力制御部は、前記候補の撮像装置により撮像された撮像画像を含む前記表示オブジェクトを、前記候補の撮像装置の撮像方向と鉛直方向との角度に対応する高さに並べて表示させる、請求項１５に記載の情報処理装置。
  18. 前記表示装置は、前記ユーザの目を撮像する第１の画像センサ及び前記認識対象物を撮像する第２の画像センサを含む、請求項１に記載の情報処理装置。
  19. 表示装置を装着したユーザの操作を認識することと、
    前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御することと、
    を含む、プロセッサにより実行される情報処理方法。
  20. コンピュータを、
    表示装置を装着したユーザの操作を認識する認識部と、
    前記表示装置により観察対象物の撮像画像を含む画面を表示させつつ、前記ユーザが操作する認識対象物と基準位置との距離に基づいて、前記画面における前記観察対象物の大きさを制御する出力制御部と、
    として機能させるためのプログラムが記録された記録媒体。
JP2018568067A 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体 Active JP7095602B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017027238 2017-02-16
JP2017027238 2017-02-16
PCT/JP2018/002198 WO2018150831A1 (ja) 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018150831A1 true JPWO2018150831A1 (ja) 2019-12-12
JP7095602B2 JP7095602B2 (ja) 2022-07-05

Family

ID=62982701

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018568067A Active JP7095602B2 (ja) 2017-02-16 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US11170580B2 (ja)
JP (1) JP7095602B2 (ja)
CN (1) CN110506249B (ja)
DE (1) DE102018103572A1 (ja)
WO (1) WO2018150831A1 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019045144A1 (ko) * 2017-08-31 2019-03-07 (주)레벨소프트 의료용 항법 장치를 위한 의료 영상 처리 장치 및 의료 영상 처리 방법
JP7210153B2 (ja) * 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
USD902221S1 (en) * 2019-02-01 2020-11-17 Apple Inc. Electronic device with animated graphical user interface
JP7377615B2 (ja) * 2019-03-27 2023-11-10 株式会社Subaru 車両の非接触操作装置、および車両
CN110124305B (zh) * 2019-05-15 2023-05-12 网易（杭州）网络有限公司 虚拟场景调整方法、装置、存储介质与移动终端
US11042746B2 (en) * 2019-06-05 2021-06-22 International Business Machines Corporation Presenting information on object to be observed
US11321927B1 (en) * 2019-09-23 2022-05-03 Apple Inc. Temporal segmentation
DE202022002753U1 (de) 2021-02-25 2023-03-29 DAYHOLI GmbH System zur Darstellung einer virtuellen Realität
JP2024509401A (ja) 2021-02-25 2024-03-01 デイホリ ゲーエムベーハー 仮想現実を表示する方法及びシステム
WO2023276116A1 (ja) * 2021-07-01 2023-01-05 三菱電機ビルソリューションズ株式会社 遠隔支援装置および遠隔支援方法
KR20240051157A (ko) * 2021-08-26 2024-04-19 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 장치 및 전자 기기
US20230221566A1 (en) * 2022-01-08 2023-07-13 Sony Interactive Entertainment Inc. Vr headset with integrated thermal/motion sensors
WO2023223933A1 (ja) * 2022-05-18 2023-11-23 ソニーグループ株式会社 情報処理方法、情報処理装置、通信システム及びコンピュータプログラム
JP2024047795A (ja) * 2022-09-27 2024-04-08 株式会社Ｊｖｃケンウッド 仮想空間インターフェース装置、クライアント端末およびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188869A (ja) * 1997-09-04 1999-03-30 Canon Inc 映像通信システム及び情報表示装置
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US20150347080A1 (en) * 2014-05-30 2015-12-03 Samsung Electronics Co., Ltd. Data processing method and electronic device thereof
WO2016029183A1 (en) * 2014-08-22 2016-02-25 Sony Computer Entertainment Inc. Glove interface object
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3517190B1 (en) * 2013-02-01 2022-04-20 Sony Group Corporation Information processing device, terminal device, information processing method, and programme
US9411160B2 (en) * 2013-02-12 2016-08-09 Seiko Epson Corporation Head mounted display, control method for head mounted display, and image display system
WO2014162852A1 (ja) 2013-04-04 2014-10-09 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
WO2014178228A1 (ja) * 2013-04-30 2014-11-06 ソニー株式会社 クライアント端末、表示制御方法、プログラム、およびシステム
JP6217244B2 (ja) * 2013-08-29 2017-10-25 セイコーエプソン株式会社 画像処理装置、これを有する頭部装着型表示装置、画像処理方法およびコンピュータープログラム
US20160224123A1 (en) * 2015-02-02 2016-08-04 Augumenta Ltd Method and system to control electronic devices through gestures
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments
KR20160139727A (ko) * 2015-05-28 2016-12-07 엘지전자 주식회사 글래스타입 단말기 및 이의 제어방법
WO2017086508A1 (ko) * 2015-11-19 2017-05-26 엘지전자 주식회사 이동 단말기 및 그 제어 방법
CN105653029A (zh) * 2015-12-25 2016-06-08 乐视致新电子科技（天津）有限公司 在虚拟现实系统中获得沉浸感的方法、系统及智能手套
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1188869A (ja) * 1997-09-04 1999-03-30 Canon Inc 映像通信システム及び情報表示装置
JP2003308141A (ja) * 2002-04-17 2003-10-31 Seiko Epson Corp 力覚提示装置
WO2015170520A1 (ja) * 2014-05-09 2015-11-12 ソニー株式会社 情報処理システムおよび情報処理方法
US20150347080A1 (en) * 2014-05-30 2015-12-03 Samsung Electronics Co., Ltd. Data processing method and electronic device thereof
WO2016029183A1 (en) * 2014-08-22 2016-02-25 Sony Computer Entertainment Inc. Glove interface object
WO2016136838A1 (ja) * 2015-02-25 2016-09-01 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム

Also Published As

Publication number Publication date
WO2018150831A1 (ja) 2018-08-23
US20200258314A1 (en) 2020-08-13
JP7095602B2 (ja) 2022-07-05
US11170580B2 (en) 2021-11-09
DE102018103572A1 (de) 2018-08-16
CN110506249A (zh) 2019-11-26
CN110506249B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP7411133B2 (ja) 仮想現実ディスプレイシステム、拡張現実ディスプレイシステム、および複合現実ディスプレイシステムのためのキーボード
US11340694B2 (en) Visual aura around field of view
KR102316327B1 (ko) 가상 공간의 캡쳐 방법 및 그 전자장치
JP6244593B1 (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
JP2022502800A (ja) 拡張現実のためのシステムおよび方法
US11481025B2 (en) Display control apparatus, display apparatus, and display control method
JP2022549853A (ja) 共有空間内の個々の視認
CN117008720A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
JP2017220032A (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
KR102110208B1 (ko) 안경형 단말기 및 이의 제어방법
WO2019187862A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20220262080A1 (en) Interfaces for presenting avatars in three-dimensional environments
CN115917474A (zh) 在三维环境中呈现化身
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2018074045A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN113498531A (zh) 头戴式信息处理装置以及头戴式显示系统
KR20180094875A (ko) 정보 처리 장치, 정보 처리 방법, 및 프로그램
WO2021061310A1 (en) Displaying representations of environments
US20240094819A1 (en) Devices, methods, and user interfaces for gesture-based interactions
US20240095877A1 (en) System and method for providing spatiotemporal visual guidance within 360-degree video
US20230171484A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20240104871A1 (en) User interfaces for capturing media and manipulating virtual objects
US20240005623A1 (en) Positioning content within 3d environments
CN117331434A (zh) 在3d环境内定位内容

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220606

R151 Written notification of patent or utility model registration

Ref document number: 7095602

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151