JPWO2019138661A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
JPWO2019138661A1
JPWO2019138661A1 JP2019564309A JP2019564309A JPWO2019138661A1 JP WO2019138661 A1 JPWO2019138661 A1 JP WO2019138661A1 JP 2019564309 A JP2019564309 A JP 2019564309A JP 2019564309 A JP2019564309 A JP 2019564309A JP WO2019138661 A1 JPWO2019138661 A1 JP WO2019138661A1
Authority
JP
Japan
Prior art keywords
information processing
projection
user
message
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019564309A
Other languages
English (en)
Inventor
祐平 滝
祐平 滝
真一 河野
真一 河野
広 岩瀬
広 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019138661A1 publication Critical patent/JPWO2019138661A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/224Monitoring or handling of messages providing notification on incoming messages, e.g. pushed notifications of received messages
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/02Composition of display devices
    • G09G2300/026Video wall, i.e. juxtaposition of a plurality of screens to create a display screen of bigger dimensions
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2356/00Detection of the display position w.r.t. other display screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21Monitoring or handling of messages
    • H04L51/222Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】メッセージの属性に基づいて、当該メッセージをユーザに対して通知するオブジェクトの射影をより適切に制御することを可能にする。【解決手段】メッセージを取得する取得部と、前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御する制御部と、を備える、情報処理装置が提供される。【選択図】図4

Description

本開示は、情報処理装置および情報処理方法に関する。
近年、IOT(Internet Of Things)をはじめとして、複数の情報処理装置同士が互いに通信を行い連携することで新たな機能の提供が可能となっている。
例えば、以下の特許文献1には、表示画面を有する通信可能な表示装置であって、表示画面の縁を複数に区分した縁片に対応させて属性情報を管理する属性管理部と、縁片の識別情報および属性情報の少なくとも一方に対応させて、通信により連携可能な他の機器を識別する装置管理部と、他の機器の管理または他の機器との連携を表示装置の表示画面に表示する表示制御部とを備える表示装置が開示されている。このように、表示画面の縁片に対応させて機器を識別することで、ユーザが機器の管理をしやすくなるという有利な効果が得られる。例えば、ユーザは、管理対象の機器が、表示画面を基準にどの方向に位置しているかを容易に把握することができる。
特願2009−289330号公報
しかし、特許文献1等の先行技術によっては、メッセージの属性に基づいて、当該メッセージをユーザに対して通知するオブジェクトの射影を適切に制御することができなかった。
そこで、本開示では、メッセージの属性に基づいて、当該メッセージをユーザに対して通知するオブジェクトの射影をより適切に制御することが可能な、新規かつ改良された情報処理装置および情報処理方法を提案する。
本開示によれば、メッセージを取得する取得部と、前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御する制御部と、を備える、情報処理装置が提供される。
また、本開示によれば、メッセージを取得することと、前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御することと、を有する、コンピュータにより実行される情報処理方法が提供される。
以上説明したように本開示によれば、メッセージの属性に基づいて、当該メッセージをユーザに対して通知するオブジェクトの射影をより適切に制御することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示に係る第1の実施例について説明するための図である。 本開示に係る第1の実施例について説明するための図である。 本開示に係る第1の実施例について説明するための図である。 第1の実施例に係る情報処理装置100の機能構成例を示すブロック図である。 第1の実施例に係る情報処理装置100の処理例を示すフローチャートである。 第1の変形例について説明するための図である。 第1の変形例について説明するための図である。 第1の変形例について説明するための図である。 第1の変形例に係る情報処理装置100の機能構成例を示すブロック図である。 第1の変形例に係る情報処理装置100の処理例を示すフローチャートである。 第2の変形例について説明するための図である。 第2の変形例について説明するための図である。 第2の変形例が車載システムに適用された場合の例について説明するための図である。 第1の実施例に係るオブジェクトのバリエーションを示す図である。 本開示に係る第2の実施例について説明するための図である。 本開示に係る第3の実施例について説明するための図である。 本開示に係る情報処理装置100のハードウェア構成例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.背景
2.第1の実施例
2.1.システム構成例
2.2.情報処理装置100の機能構成例
2.3.情報処理装置100の処理例
2.4.第1の変形例
2.5.第2の変形例
3.第2の実施例
4.第3の実施例
5.ハードウェア構成例
6.まとめ
<1.背景>
まず、本開示の背景について説明する。
上記のとおり、特許文献1等の先行技術によっては、メッセージの属性に基づいて、当該メッセージをユーザに対して通知するオブジェクトの射影を適切に制御することができなかった。
例えば、ユーザ所有の情報処理装置(例えば、エージェント装置またはスマートフォン等)が何らかのメッセージを受信した場合に、当該メッセージをユーザに通知するオブジェクトをディスプレイ等に射影する機能を有しているとする。これによって、ユーザは、この情報処理装置がメッセージを受信したことを認識することができる。
さて、例えば、ユーザが宅配便の到着を待っている場合、ユーザは、宅配業者との離隔距離を知りたい。仮に、宅配業者がユーザ所有の情報処理装置に対して何らかのメッセージ(例えば、移動状況に関するメッセージ等)を送信した場合、従来技術によっては、情報処理装置は、メッセージの属性に基づいてオブジェクトの射影を制御(変更)することができない。換言すると、オブジェクトは画一的に射影されるため、ユーザは、オブジェクトからは、宅配業者との離隔距離を知ることができない。
また、例えば、ユーザが家の中におり、家の中にある複数の情報処理装置のうちのいずれかが外部装置からメッセージを受信した場合、ユーザは、どの情報処理装置がメッセージを受信したのかを知りたい。しかし、従来技術によっては、情報処理装置は、メッセージの属性に基づいてオブジェクトの射影を制御(変更)することができないため、ユーザは、オブジェクトからは、どの情報処理装置がメッセージを受信したかを知ることができない。
また、例えば、メッセージの属性等によらずに、メッセージの内容を含むオブジェクトが画一的に射影されると、閲覧すべきではない他のユーザにまでメッセージの内容が伝わってしまう場合がある。
本件の開示者は、上記事情に鑑みて本開示に係る技術を創作するに至った。本開示に係る情報処理装置100は、メッセージの属性に基づいて、当該メッセージを通知するオブジェクトの射影を制御することができる。
例えば、宅配業者からのメッセージを受信した情報処理装置100は、そのメッセージの属性に基づいて、射影するオブジェクトを、宅配業者との離隔距離を示すオブジェクトに変更すること等ができる。また、例えば、家の中にある複数の情報処理装置100のうちのいずれかが外部装置からメッセージを受信した場合、当該メッセージを受信した情報処理装置100は、そのメッセージの属性に基づいて、射影するオブジェクトを、ユーザから当該情報処理装置100までの方向を示すオブジェクトに変更すること等ができる。そのため、当該オブジェクトを認識したユーザは、その方向に基づいて直感的にメッセージを受信した情報処理装置100を特定することができる。
また、情報処理装置100は、メッセージの属性等に応じてオブジェクトの内容を制御することができる。これによって、例えば、メッセージの内容を閲覧すべきではない他のユーザが近くに存在する場合、情報処理装置100は、メッセージの内容ではなく、メッセージを示すアイコンをオブジェクトとして射影すること等ができる。
以降では、本開示の実施例の詳細について順次説明していく。第1の実施例では、オブジェクトの射影制御によって、ユーザからメッセージの送信元装置(例えば、情報処理装置100または外部装置等)までの方向が示される例について説明する。第2の実施例では、オブジェクトの射影制御によって、ユーザとメッセージの送信元装置との離隔距離が示される例について説明する。最後に、第3の実施例では、オブジェクトの射影制御によって、ユーザからメッセージの送信元装置までの方向、および、ユーザとメッセージの送信元装置との離隔距離の両方が示される例について説明する。
<2.第1の実施例>
上記では、本開示の背景について説明した。続いて、本開示に係る第1の実施例について説明する。第1の実施例は、オブジェクトの射影制御によって、ユーザからメッセージの送信元装置までの方向が示される例である。
(2.1.システム構成例)
まず、図1を参照して、本実施例のシステム構成例について説明する。図1に示すように、本実施例は、情報処理装置100と、表示装置200と、を備える。
情報処理装置100は、表示装置200へメッセージを送信する装置であり、当該メッセージをユーザへ通知するための任意のオブジェクトを表示装置200へ射影する装置でもある。例えば、情報処理装置100は、当該メッセージを示すアイコンまたはメッセージの内容自体等をオブジェクトとして表示装置200に射影する。これによって、ユーザは、情報処理装置100から表示装置200に対してメッセージが送信されたことを認識することができる。
また、情報処理装置100は、任意の外部装置と通信可能であり、これらの外部装置からメッセージを受信した場合、当該メッセージをユーザへ通知するための任意のオブジェクトを表示装置200へ射影してもよい。例えば、情報処理装置100は、外部装置からメッセージを受信すると、当該メッセージを示すアイコンまたはメッセージの内容自体等をオブジェクトとして表示装置200に射影してもよい。これによって、ユーザは、外部装置からのメッセージが情報処理装置100によって受信されたことを認識することができる。
なお、上記のとおり、「メッセージ」には、情報処理装置100から表示装置200へ送信されるものだけでなく、外部装置から情報処理装置100へ送信されるものも含まれる。
さらに、情報処理装置100は、メッセージの属性に基づいて当該射影を制御する。ここで、メッセージの属性とは、様々な概念が含まれるものである。例えば、メッセージの属性としては、メッセージの種類(または種別、カテゴリ等)、メッセージの内容を示す情報、メッセージの送受信に使用されるソフトウェア(アプリケーション)を示す情報、メッセージの送信元装置(例えば、情報処理装置100または外部装置)を示す情報、メッセージの宛先を示す情報等(例えば、宛先となるユーザまたは宛先数等)が挙げられるが、これらに限定されない。
ユーザからメッセージの送信元装置までの方向を示すような射影についてより具体的に説明する。情報処理装置100は、三次元空間の直交座標系において、自装置、表示装置200およびその他の実物体を構成する各点が位置する座標を認識している。そして、図1に示すように、情報処理装置100は、射影が行われる射影面(表示装置200のディスプレイと同義)を通る平行面へ、自装置の中心点P1から垂線を引きたときの交点P1´を算出する。そして、情報処理装置100は、射影面の中心点C1と交点P1´とを通る直線と、射影面の端部との交点P1_inを算出する。最後に、情報処理装置100は、交点P1_in付近(例えば、交点P1_inを基準に、交点P1´から交点P1_inの方向P1_in_dへ所定の距離だけ進んだ位置)に、当該メッセージをユーザへ通知するための任意のオブジェクトを射影する。
例えば、メッセージの送信元である情報処理装置100が表示装置200の上方向に位置している場合(例えば、表示装置200が一階の部屋に位置し、情報処理装置100が当該部屋の真上にある2階の部屋に位置している場合)、オブジェクトは、射影面における上方向の端部付近に射影される。
これによって、ユーザは、表示装置200からメッセージの送信元装置である情報処理装置100までの方向を直感的に認識することができる。そのため、特に、家や施設のような限定的な空間において、情報処理装置100と同様の機能を有している装置が複数存在する場合であっても、ユーザは、送信元の情報処理装置100を直感的に特定することができる。
また、情報処理装置100は、アニメーションまたは音像定位技術等も用いて、表示装置200からメッセージの送信元装置までの方向を示してもよい。より具体的には、メッセージの送信元装置が表示装置200よりも後ろ(図1においてz座標が負)に位置している場合、情報処理装置100は、オブジェクトが徐々に大きく射影されるようなアニメーションを射影したり、音像をz座標が負の位置からz座標が正の位置へ変化させたりすることで、当該オブジェクトがユーザに対して遠くから迫ってくる様子を表現してもよい。反対に、メッセージの送信元装置が表示装置200よりも前(図1においてz座標が正)に位置している場合、情報処理装置100は、オブジェクトが徐々に小さく射影されるようなアニメーションを射影したり、音像をz座標が正の位置からz座標が負の位置へ変化させたりすることで、当該オブジェクトがユーザに対して近くから遠ざかっていく様子を表現してもよい。これによって、ユーザは、表示装置200とメッセージの送信元装置との前後関係を直感的に認識することができる。また、表示装置200がスマートフォン等のように向きが頻繁に変化する物である場合、オブジェクトの射影位置が不安定になるため図1のような射影態様は適切ではない。そこで、この場合、情報処理装置100は、オブジェクトが射影された直後については図1のように射影位置を制御するが、一定時間経過後については所定の位置にオブジェクトを射影させてもよい。これによって、オブジェクトの射影位置の不安定性が軽減される。
なお、上記の例では、厳密には、「表示装置200」からメッセージの送信装置(情報処理装置100)までの方向が示されている。しかし、ユーザは、表示装置200の射影面を視認可能な場所に位置しているため、「表示装置200」からメッセージの送信装置(情報処理装置100)までの方向が示されることは、「ユーザ」からメッセージの送信装置(情報処理装置100)までの方向が示されることと等価であると言える。
また、上記はあくまで一例であり、処理の態様は上記に限定されない。例えば、図2に示すように、情報処理装置100は、ユーザU1とメッセージの送信元装置(情報処理装置100)とを略最短距離で結ぶ、射影面上の点付近に、メッセージをユーザU1へ通知するための任意のオブジェクトを射影してもよい。
より具体的には、情報処理装置100は、上記と同様に、三次元空間の直交座標系において、自装置、表示装置200およびその他の実物体(ユーザU1を含む)を構成する各点が位置する座標を認識している。そして、図2に示すように、情報処理装置100は、自装置の中心点P1から射影面上の1点を経てユーザU1の眼(右目または左目のどちらでもよい。またはユーザU1の頭の中心点)に至るまでの経路が略最短距離となるように射影面上の1点P1_inの位置を算出する。そして、情報処理装置100は、射影面上の1点P1_in付近に、オブジェクトを射影してもよい。
また、その際、情報処理装置100は、単なるオブジェクトを射影するのではなく、図3に示すように、情報処理装置100と、その周辺の実物体の撮像画像が編集されたものをオブジェクトとして射影してもよい。
これによって、ユーザには、情報処理装置100が射影面上の1点P1_inで鏡面反射しているように見えるため、ユーザは、情報処理装置100までの方向をより直感的に認識することができる。
なお、図2および図3の実施例において、情報処理装置100と、その周辺の実物体の撮像画像の撮像方法は特に限定されない。例えば、表示装置200が撮像機能を備えることで実現されてもよいし、その他の外部装置が撮像機能を備えており、当該外部装置によって生成された撮像画像が表示装置200に提供されることで実現されてもよい。
また、表示装置200の種類は特に限定されない。例えば、表示装置200は、射影面となるディスプレイを有しているテレビ、スマートフォン、PC(Personal Computer)、タブレットPC等であってもよい。また、表示装置200は射影面を投影可能なプロジェクタ等であってもよい。
また、上記では、情報処理装置100がオブジェクトの射影を制御していたが、これに限定されない。例えば、情報処理装置100と通信可能なサーバ(例えば、クラウドサーバ等)が存在し、当該サーバがオブジェクトの射影を制御してもよい。この場合、サーバは、三次元空間の直交座標系において、情報処理装置100、表示装置200およびその他の実物体を構成する各点が位置する座標を認識している。そして、例えば、情報処理装置100が外部装置からメッセージを受信した場合、情報処理装置100は、その旨をサーバに対して連携する。そして、サーバは、上記と同様の方法で、点P1_inを算出し、点P1_in付近に、当該メッセージをユーザへ通知するための任意のオブジェクトを射影する。
(2.2.情報処理装置100の機能構成例)
上記では、本実施例のシステム構成例について説明した。続いて、図4を参照して、情報処理装置100の機能構成例について説明する。
図4に示すように、情報処理装置100は、制御部110と、入力部120と、センサ部130と、撮像部140と、出力部150と、通信部160と、記憶部170と、を備える。
(制御部110)
制御部110は、情報処理装置100が行う処理全般を統括的に制御する機能構成である。例えば、制御部110は、ユーザによって入力部120を用いて行われる入力に基づいて各構成の起動や停止を制御したり、ディスプレイまたはスピーカ等の出力部150を制御したりすることができる。また、制御部110は、メッセージを取得する取得部としても機能することができる。なお、制御部110の制御内容はこれらに限定されない。例えば、制御部110は、エージェント装置、汎用コンピュータ、PC、タブレットPCまたはスマートフォン等において一般的に行われる処理を制御してもよい。
また、制御部110は、センサ部130によりセンシングされた各種センサ情報または撮像部140によって生成された撮像画像情報等を用いて、コンテキストを認識する機能構成でもある。ここで、コンテキストとは、ユーザがおかれた状況もしくは環境、ユーザの状態もしくは行動等の全て含む概念である。なお、コンテキストの認識方法については特に限定されるものではなく、公知のコンテキスト認識技術が用いられればよい。
そして、制御部110は、認識したコンテキストに基づいてオブジェクトの射影を制御することができる。より具体的には、制御部110は、コンテキストに基づいて、ユーザからメッセージの送信元装置までの方向を示すようにオブジェクトを射影するのか(第1の実施例)、ユーザとメッセージの送信元装置との離隔距離を示すようにオブジェクトを射影するのか(第2の実施例)、ユーザからメッセージの送信元装置までの方向、および、ユーザとメッセージの送信元装置との離隔距離の両方が示されるようにオブジェクトを射影するのか(第3の実施例)を制御することができる。
例えば、家の中にある情報処理装置100からのメッセージの通知については、そのメッセージの属性に基づいて、当該情報処理装置100までの方向が示されるようにオブジェクトの射影が行われていたとする(第1の実施例)。そして、仮に、ユーザが家の中で自装置を探しているというコンテキストを制御部110が認識した場合、制御部110は、当該コンテキストに基づいて、ユーザから情報処理装置100までの方向だけでなく、ユーザと情報処理装置100との離隔距離も示されるようにオブジェクトを射影する方式(第3の実施例)へ切り替えてもよい。これによって、ユーザは、より容易に情報処理装置100を見つけることができる。コンテキストに基づくオブジェクトの射影制御については、後段の第2の実施例および第3の実施例についての説明時にも言及する。
さて、図4に示すように、制御部110は、射影面決定部111と、射影位置決定部112と、オブジェクト決定部113と、射影実行部114と、を備える。
(射影面決定部111)
射影面決定部111は、射影が行われる射影面(本実施例においては、表示装置200のディスプレイと同義)を決定する機能構成である。より具体的には、射影面決定部111は、ユーザが視認可能な射影面を射影対象として決定する。例えば、射影面決定部111は、センサ部130から提供された各種センサ情報を解析することで、ユーザの位置、体勢または行動等を認識し、これらの情報に基づいてユーザが視認可能な射影面を出力する。ユーザが視認可能な射影面が複数存在する場合には、射影面決定部111は、最適な(換言すると、ユーザが最も視認し易い)射影面を出力する。そして、射影面決定部111は、決定した射影面を射影位置決定部112に提供する。
なお、射影が行われる射影面の決定方法はこれに限定されない。より具体的には、射影面決定部111は、センサ部130からのセンサ情報だけでなく任意の外部装置から提供されたセンサ情報も併せて解析することでユーザの位置、体勢または行動等を認識してもよいし、外部装置からユーザの位置、体勢または行動等に関する情報を取得してもよい。また、射影面決定部111は、ユーザの位置、体勢または行動等だけでなく、表示装置200の状態(例えば、電源オンまたはオフに関する状態または表示モードに関する状態等)にも基づいて、射影が行われる射影面を決定してもよい。
また、上記では、射影面が表示装置200のディスプレイである場合を一例として説明したが、これに限定されない。例えば、射影面は、スクリーン等のように、プロジェクタ等が投影可能な投影面であってもよい。
(射影位置決定部112)
射影位置決定部112は、射影面において射影を行う位置を決定する機能構成である。より具体的には、射影位置決定部112は、図1または図2における点P1_inを出力する。点P1_inの出力方法は上記のとおりであるため、説明を省略する。射影位置決定部112は、射影を行う位置に関する情報を射影実行部114に提供する。
(オブジェクト決定部113)
オブジェクト決定部113は、射影面に射影されるオブジェクトの内容を決定する機能構成である。例えば、オブジェクト決定部113は、メッセージのプライベート性に基づいてオブジェクトの内容を決定してもよい。例えば、情報処理装置100に受信されたメッセージに個人情報等の内容が含まれる場合、オブジェクト決定部113は、メッセージの内容ではなく、メッセージに対応するアイコンをオブジェクトとして決定してもよい。
また、オブジェクト決定部113は、メッセージの属性に基づいてオブジェクトの内容を決定してもよい。より具体的には、オブジェクト決定部113は、メッセージの属性の一種である、メッセージの種類等(または種別、カテゴリ等)に基づいてオブジェクトの内容を決定してもよい。
また、オブジェクト決定部113は、制御部110によって認識されたコンテキストに基づいてオブジェクトの内容を決定してもよい。例えば、上記のように、メッセージのプライベート性が高い場合であっても、他のユーザに視認されないようなコンテキストが認識された場合、オブジェクト決定部113は、メッセージに対応するアイコンではなく、メッセージの内容をオブジェクトとして決定してもよい(換言すると、オブジェクト決定部113は、オブジェクトが他のユーザから視認される可能性に基づいてオブジェクトの内容を決定してもよい)。
オブジェクト決定部113は、内容を決定したオブジェクトに関する情報を射影実行部114に提供する。なお、オブジェクト決定部113によるオブジェクトの内容の決定方法は上記に限定されない。
(射影実行部114)
射影実行部114は、射影面へのオブジェクトの射影を実行する機能構成である。より具体的には、射影実行部114は、射影位置決定部112から提供される射影を行う位置に関する情報、および、オブジェクト決定部113から提供されるオブジェクトに関する情報を用いて、表示装置200による射影を制御する制御情報を生成する。そして、射影実行部114は、通信部160を介して、当該制御情報をメッセージとして送信する。これによって、表示装置200は、当該制御情報を用いてオブジェクトを射影面に射影することができる。
(入力部120)
入力部120は、ユーザからの入力を受ける機能構成である。より具体的には、入力部120は、マウス、キーボード、タッチパネル、ボタンまたはスイッチ等の各種入力機器を備えており、これらの入力機器を用いて行われた入力を受ける。入力部120は、入力された情報を制御部110に提供する。なお、入力手段はこれらに限定されない。
(センサ部130)
センサ部130は、ユーザがおかれた状況もしくは環境、ユーザの状態もしくは行動等に関する種々のセンサ情報を収集する機能構成である。センサ部130が収集するセンサ情報の種類は特に限定されない。例えば、センサ部130が収集するセンサ情報には、加速度センサ、ジャイロセンサ、地磁気センサ、気圧センサ、温度センサ、振動センサ、心拍センサ、脈波センサ、近接センサ、照度センサ、圧力センサ、音センサ、位置センサ(例えば、GNSS(Global Navigation Satellite System)センサ等)、発汗センサ、pHセンサ、湿度センサまたは赤外線センサ等の任意のセンサによって出力された情報が含まれる。なお、センサ部130は、これらの各種センサを備えている外部装置からセンサ情報を収集してもよい。センサ部130は、収集したセンサ情報を制御部110に提供する。
(撮像部140)
撮像部140は、ユーザや周囲環境の画像を撮像する機能構成である。より具体的には、撮像部140は、イメージセンサ(例えば、CCD(Charge-Coupled Device)センサまたはCMOS(Complementary
Metal Oxide Semiconductor)センサ等)を備えており、当該センサを用いてユーザや周囲環境の画像を撮像する。そして、撮像部140は、生成した撮像画像情報を制御部110に提供する。なお、上記の画像には、静止画像のほか動画像が含まれる。
(出力部150)
出力部150は、各種情報を出力する機能構成である。例えば、出力部150は、例えば、ディスプレイ等の表示手段またはスピーカ、アンプ等の音声出力手段等に各種情報を出力することができる。なお、出力手段はこれらに限定されない。
(通信部160)
通信部160は、表示装置200を含む外部装置との各種通信を行う機能構成である。例えば、通信部160は、外部装置からメッセージ等を受信したり、射影実行部114によって生成された制御情報をメッセージとして表示装置200へ送信したりする。なお、通信部160が通信する情報および通信するケースはこれらに限定されない。また、通信部160の通信方式は特に限定されない。
(記憶部170)
記憶部170は、各種情報を記憶する機能構成である。例えば、記憶部170は、三次元空間の直交座標系における情報処理装置100、表示装置200およびその他の実物体を構成する各点の座標に関する情報、情報処理装置100が送受信するメッセージに関する情報、または、射影されるオブジェクトに関する情報等を記憶することができる。また、記憶部170は、情報処理装置100の処理に使用される各種プログラムまたは各種パラメータ等を記憶する。なお、記憶部170が記憶する情報はこれらに限定されない。
以上、情報処理装置100の機能構成例について説明した。なお、図4を用いて説明した上記の機能構成はあくまで一例であり、情報処理装置100の機能構成は係る例に限定されない。例えば、情報処理装置100は、図4に示す構成の全てを必ずしも備えなくてもよい。また、情報処理装置100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
(2.3.情報処理装置100の処理例)
上記では、情報処理装置100の機能構成例について説明した。続いて、図5を参照して、情報処理装置100の処理例について説明する。図5は、外部装置からメッセージを受信した情報処理装置100が、制御情報をメッセージとして表示装置200へ送信する際の処理例を示すフローチャートである。
ステップS1000では、情報処理装置100の通信部160が外部装置からメッセージを受信する。ステップS1004では、射影面決定部111が、ユーザが視認可能な射影面を射影対象として決定する。ステップS1008では、射影位置決定部112が射影面において射影を行う位置を決定する。ステップS1012では、射影実行部114が、射影位置決定部112から提供される射影を行う位置に関する情報等を用いて、表示装置200への射影を制御する制御情報を生成する。そして、射影実行部114が、通信部160を介して、当該制御情報をメッセージとして送信することで情報処理装置100による一連の処理が終了する。上記の処理によって、表示装置200は、当該制御情報を用いてオブジェクトを射影面に射影することができる。
なお、図5に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
(2.4.第1の変形例)
上記では、情報処理装置100の処理例について説明した。続いて、本実施例に係る第1の変形例について説明する。上記では、射影面は表示装置200の有するディスプレイであった。第1の変形例は、プロジェクタ等によってプロジェクションが行われる領域(以降、「プロジェクション領域210」)が射影面である場合に関する例である。
より具体的には、図6に示すように、プロジェクション領域210は、上記の実施例における表示装置200のディスプレイよりも大きい面積を有しており、様々なオブジェクト(静止画像または動画像等を含む)が射影され得る。なお、プロジェクション領域210の大きさおよび形状は特に限定されない。また、プロジェクション領域210は必ずしも平面に設けられる必要はなく、凹凸を有する面または曲面等に設けられてもよい。
また、プロジェクション領域210にオブジェクトを射影する装置も特に限定されない。例えば、情報処理装置100がプロジェクション領域210にオブジェクトを射影可能な機能を備えていてもよいし、情報処理装置100と通信可能なプロジェクタ等の外部装置がプロジェクション領域210にオブジェクトを射影してもよい。以降では、一例として、情報処理装置100と通信可能なプロジェクタ等の外部装置がプロジェクション領域210にオブジェクトを射影する場合について説明する。
第1の変形例においては、図6に示すように、プロジェクション領域210の中に認識領域220が形成される。認識領域220は、プロジェクション領域210の前に位置するユーザU1が認識可能な領域を指す。換言すると、プロジェクション領域210の中、かつ、認識領域220の中に射影されるオブジェクトはユーザU1に認識され得る。一方で、プロジェクション領域210の中ではあるが、認識領域220の外に射影されているオブジェクトは、ユーザU1に認識されない。
情報処理装置100は、プロジェクション領域210とユーザU1の位置関係等に基づいて認識領域220を出力する。例えば、情報処理装置100は、ユーザU1の頭の中心点から任意の半径を有する球とプロジェクション領域210とが交わる交線以内の領域を認識領域220として出力してもよい。なお、球の半径は、ユーザU1とプロジェクション領域210との離隔距離、ユーザU1の状態等(例えば、体勢、視線の方向、視力または集中力等)によって適宜変更されてもよい。
また、ユーザU1がオブジェクトを認識可能な領域が算出されれば、認識領域220の出力方法は上記に限定されない。例えば、情報処理装置100がプロジェクション領域210に射影するオブジェクトの大きさ(例えば、オブジェクト内に含まれる文字の大きさ等も含まれる)、プロジェクション領域210が形成された面の形状(例えば、凹凸の状態等)、ユーザU1とプロジェクション領域210との離隔距離、ユーザU1の状態等(例えば、体勢、視線の方向、視力または集中力等)によって、認識領域220の出力方法は適宜変更されてもよい。
第1の変形例においても、情報処理装置100は、メッセージの属性に基づいて当該射影を制御する。メッセージの属性の具体例については上記のとおりである。第1の変形例においても、上記の実施例と同様に、情報処理装置100は、ユーザU1からメッセージの送信元装置までの方向を示すような射影を実現する。
より具体的には、情報処理装置100は、三次元空間の直交座標系において、自装置、ユーザU1、プロジェクション領域210、認識領域220およびその他の実物体を構成する各点が位置する座標を認識している。そして、図6に示すように、情報処理装置100は、プロジェクション領域210を通る平行面へ、自装置の中心点P1から垂線を引きたときの交点P1´を算出する。そして、情報処理装置100は、認識領域220の中心点C1と交点P1´とを通る直線と、認識領域220の端部との交点P1_inを算出する。最後に、情報処理装置100は、交点P1_in付近(例えば、交点P1_in付近を基準に、交点P1´から交点P1_inの方向P1_in_dへ所定の距離だけ進んだ位置)に、当該メッセージをユーザU1へ通知するための任意のオブジェクトを射影する。
なお、情報処理装置100は、情報処理装置100と通信可能なプロジェクタに対して、オブジェクトの内容およびオブジェクトの射影位置に関する情報を含む制御情報を提供することで、上記の射影を実現しているとする(もちろん、情報処理装置100自身がプロジェクタの機能を備えていてもよい)。
これによって、ユーザU1は、メッセージの送信元装置である情報処理装置100までの方向を直感的に認識することができる。そのため、特に、家や施設のような限定的な空間においては、情報処理装置100と同様の機能を有している装置が複数存在する場合であっても、ユーザU1は、送信元の情報処理装置100を直感的に特定することができる。
また、ユーザが複数人になった場合であっても同様の処理が行われてよい。より具体的には、図7に示すように、ユーザU1の他にユーザU2がプロジェクション領域210を視認可能な状態で存在しており、ユーザU1の認識領域220aと、ユーザU2の認識領域220bが一部重畳するように形成されているとする。
このような状況であっても、情報処理装置100は、ユーザU1の認識領域220aと、ユーザU2の認識領域220bのそれぞれに対して、点P1_inを算出し、点P1_in付近に、メッセージを通知するための任意のオブジェクトを射影することができる。これによって、ユーザU1だけでなくユーザU2も、メッセージの送信元装置である情報処理装置100までの方向を直感的に認識することができる。なお、ユーザU1の認識領域220aとユーザU2の認識領域220bのそれぞれに対応する点P1_in同士の離隔距離が所定値以下であれば、情報処理装置100は、同一の位置(例えば、いずれかの点P1_inの位置付近、または、2つの点P1_inの中間点付近等)に共通のオブジェクトを射影してもよい。
なお、第1の変形例に係る情報処理装置100は、(ユーザが複数存在する場合においては特に)オブジェクトを射影するか否か、または、ユーザが複数存在する場合にはユーザ毎に射影可否を判断してもよい。例えば、情報処理装置100は、メッセージの属性に基づいてオブジェクトを射影するか否か、または、ユーザが複数存在する場合にはユーザ毎に射影可否を判断してもよい。より具体的には、情報処理装置100がメッセージを受信したとき、情報処理装置100は、当該メッセージの属性に基づいて、当該メッセージがユーザU1およびユーザU2のどちらに認識されても問題ないと判断したとする。この場合、図7に示したように、情報処理装置100は、ユーザU1の認識領域220aと、ユーザU2の認識領域220bのそれぞれに対してオブジェクトを射影する。
一方、情報処理装置100が、当該メッセージの属性に基づいて、当該メッセージがユーザU1に認識されると問題であると判断したとする(例えば、メッセージが成人向けのコンテンツに関するものであり、ユーザU1が未成年である場合等)。この場合、図8に示したように、情報処理装置100は、ユーザU1の認識領域220aにはオブジェクトを射影せず、ユーザU2の認識領域220bに対してのみオブジェクトを射影してもよい。
なお、オブジェクトを射影するか否か等の判断方法は上記に限定されない。例えば、情報処理装置100は、メッセージの属性以外に、例えば、メッセージの内容にも基づいてオブジェクトを射影するか否か等を判断してもよい。より具体的には、情報処理装置100は、メッセージを受信したとき、当該メッセージの内容を解析することで当該メッセージの内容を認識する。そして、情報処理装置100は、当該メッセージをユーザへの通知が適切であるか否かを判断することで、オブジェクトを射影するか否か等を判断してもよい。なお、同様の判断処理は、第1の変形例以外の実施例に適用されてもよい。
また、第1の変形例において、一人のユーザの認識領域220が複数設けられてもよい。より具体的には、ユーザが顔や眼を動かすことなく認識可能な領域が第1の認識領域220として設けられ、ユーザが顔や眼を動かせば認識可能な領域が第2の認識領域220として設けられてもよい。そして、情報処理装置100は、第1の認識領域220と第2の認識領域220へのオブジェクトの射影を制御してもよい。例えば、情報処理装置100は、より重要度が高いメッセージに関するオブジェクトについては第1の認識領域220に射影し、より重要度が低いメッセージに関するオブジェクトについては第2の認識領域220に射影してもよい。また、情報処理装置100は、オブジェクトの表示開始時点においては第1の認識領域220にオブジェクトを射影し、所定時間が経過した後には第2の認識領域220へオブジェクトを移動させてもよい。オブジェクトが常にユーザの視界に入っている状態はユーザに対して不快感を与えてしまう可能性があるところ、複数の認識領域220が設けられ、使い分けが行われることによってこのような問題が解消され得る。
ここで、図9を参照して、第1の変形例に係る情報処理装置100の機能構成例について説明する。なお、以降では、重複説明を回避するために、上記の実施例に係る情報処理装置100の機能構成例(図4参照)との差分のみについて説明する。
第1の変形例に係る射影面決定部111は、射影が行われるプロジェクション領域210を決定する機能構成である。より具体的には、射影面決定部111は、ユーザが視認可能なプロジェクション領域210を射影対象として決定する。例えば、射影面決定部111は、センサ部130から提供された各種センサ情報を解析することで、ユーザの位置、体勢または行動等を認識し、これらの情報に基づいてユーザが視認可能なプロジェクション領域210を出力する。ユーザが視認可能なプロジェクション領域210が複数存在する場合には、射影面決定部111は、最適なプロジェクション領域210を出力する。そして、射影面決定部111は、決定したプロジェクション領域210を射影位置決定部112に提供する。なお、上記の実施例と同様に、射影が行われるプロジェクション領域210の決定方法はこれに限定されない。
また、図9に示すように、第1の変形例に係る情報処理装置100は、上記の実施例に係る情報処理装置100が備えていなかった認識領域出力部115を備えている。認識領域出力部115は、プロジェクション領域210における認識領域220を出力する機能構成である。例えば、認識領域出力部115は、ユーザの頭の中心点から任意の半径を有する球とプロジェクション領域210とが交わる交線以内の領域を認識領域220として出力するが、上記のとおり、認識領域220の出力方法はこれに限定されない。認識領域出力部115は、認識領域220に関する情報を射影位置決定部112に提供する。
射影位置決定部112は、認識領域220において射影を行う位置を決定する機能構成である。より具体的には、射影位置決定部112は、図6〜図8における点P1_inを出力する。点P1_inの出力方法は上記のとおりであるため、説明を省略する。射影位置決定部112は、認識領域220において射影を行う位置に関する情報を射影実行部114に提供する。これによって、射影実行部114は、当該位置に対してオブジェクトを射影することができる。なお、その他の機能構成例は、上記の実施例に係る情報処理装置100の機能構成例(図4参照)と同様である。
なお、図9を用いて説明した上記の機能構成はあくまで一例であり、第1の変形例に係る情報処理装置100の機能構成は係る例に限定されない。例えば、第1の変形例に係る情報処理装置100は、図9に示す構成の全てを必ずしも備えなくてもよい。また、第1の変形例に係る情報処理装置100の機能構成は、仕様や運用に応じて柔軟に変形可能である。
続いて、図10を参照して、第1の変形例に係る情報処理装置100の処理例について説明する。図10は、外部装置からメッセージを受信した第1の変形例に係る情報処理装置100が、制御情報をメッセージとして表示装置200へ送信する際の処理例を示すフローチャートである。
ステップS1100では、第1の変形例に係る情報処理装置100の通信部160が外部装置からメッセージを受信する。ステップS1104では、射影面決定部111が、ユーザが視認可能なプロジェクション領域210を射影対象として決定する。ステップS1108では、認識領域出力部115がプロジェクション領域210における認識領域220を出力する。ステップS1112では、射影位置決定部112が認識領域220において射影を行う位置を決定する。ステップS1116では、射影実行部114が、射影位置決定部112から提供される射影を行う位置に関する情報等を用いて、表示装置200への射影を制御する制御情報を生成する。そして、射影実行部114が、通信部160を介して、当該制御情報をメッセージとして送信することで第1の変形例に係る情報処理装置100による一連の処理が終了する。上記の処理によって、表示装置200は、当該制御情報を用いてオブジェクトを認識領域220に射影することができる。
なお、図10に示したフローチャートにおける各ステップは、必ずしも記載された順序に沿って時系列に処理する必要はない。すなわち、フローチャートにおける各ステップは、記載された順序と異なる順序で処理されても、並列的に処理されてもよい。
(2.5.第2の変形例)
上記では、本実施例に係る第1の変形例について説明した。続いて、本実施例に係る第2の変形例について説明する。第1の変形例では、プロジェクション領域210が1つであった。一方、第2の変形例は、プロジェクション領域210が複数存在する場合に関する例である。
より具体的には、図11に示すように、プロジェクション領域210aおよびプロジェクション領域210bが存在し、それらの前にユーザU1が存在しているとする。なお、第2の変形例においても、プロジェクション領域210の大きさおよび形状は特に限定されない。また、プロジェクション領域210は必ずしも平面に設けられる必要はなく、凹凸を有する面または曲面等に設けられてもよい。また、プロジェクション領域210にオブジェクトを射影する装置も特に限定されない。以降では、一例として、情報処理装置100と通信可能なプロジェクタ等の外部装置がプロジェクション領域210にオブジェクトを射影する場合について説明する。また、第2の変形例においては、ユーザU1がプロジェクション領域210全体を認識可能であるため、プロジェクション領域210全体が認識領域220であるとする。
第2の変形例においても、情報処理装置100は、メッセージの属性に基づいて当該射影を制御する。メッセージの属性の具体例については上記のとおりである。また、第2の変形例においても、上記の実施例と同様に、情報処理装置100は、ユーザU1からメッセージの送信元装置までの方向を示すような射影を実現する。
より具体的には、情報処理装置100は、三次元空間の直交座標系において、自装置、ユーザU1、複数のプロジェクション領域210、認識領域220およびその他の実物体を構成する各点が位置する座標を認識している。
そして、情報処理装置100は、複数のプロジェクション領域210のうち、いずれのプロジェクション領域210にオブジェクトを射影するかを決定する。より具体的には、情報処理装置100は、複数のプロジェクション領域210のうち、ユーザが視認可能な(またはユーザがより視認し易い)プロジェクション領域210を射影対象として決定する。例えば、情報処理装置100は、センサ部130から提供された各種センサ情報を解析することで、ユーザの位置、体勢または行動等を認識し、これらの情報に基づいてユーザが視認可能なプロジェクション領域210を出力する。図11の例では、プロジェクション領域210bの方がプロジェクション領域210aよりもユーザU1に接近しているため、ユーザU1が視認可能な(またはユーザU1がより視認し易い)プロジェクション領域210として、プロジェクション領域210bが選択されている。
そして、情報処理装置100は、上記の第1の変形例と同様の方法で、射影対象として決定したプロジェクション領域210(厳密には、プロジェクション領域210における認識領域220)において点P1_inを算出する。最後に、情報処理装置100は、点P1_in付近にオブジェクトを射影する。
これによって、ユーザU1は、メッセージの送信元装置である情報処理装置100までの方向を直感的に認識することができる。そのため、特に、家や施設のような限定的な空間においては、情報処理装置100と同様の機能を有している装置が複数存在する場合であっても、ユーザU1は、送信元の情報処理装置100を直感的に特定することができる。
なお、図11の例において、プロジェクション領域210aは、ユーザU1からより遠い位置にあるが、ユーザU1の視線等に基づいてユーザU1が視認可能(またはユーザU1がより視認し易い)と判断されれば、プロジェクション領域210aにオブジェクトが射影されてもよい。
また、ユーザが複数人になった場合であっても同様の処理が行われてよい。より具体的には、図12に示すように、ユーザU1がプロジェクション領域210aを視認可能な状態、かつ、ユーザU2がプロジェクション領域210bを視認可能な状態で存在しているとする。なお、ユーザU1の認識領域220はプロジェクション領域210a全体であり、ユーザU2の認識領域220はプロジェクション領域210b全体であるとする。
このような状況であっても、第2の変形例に係る情報処理装置100は、プロジェクション領域210a(ユーザU1の認識領域220)と、プロジェクション領域210b(ユーザU2の認識領域220)のそれぞれに対して、点P1_inを算出し、点P1_in付近に、メッセージを通知するための任意のオブジェクトを射影することができる。これによって、ユーザU1だけでなくユーザU2も、メッセージの送信元装置である情報処理装置100までの方向を直感的に認識することができる。
なお、第1の変形例と同様に、プロジェクション領域210aおよびプロジェクション領域210bのそれぞれに対応する点P1_in同士の離隔距離が所定値以下であれば、情報処理装置100は、同一の位置に共通のオブジェクトを射影してもよい。また、情報処理装置100は、(ユーザが複数存在する場合においては特に)オブジェクトを射影するか否か等を判断してもよい。
ここで、図13を参照して、上記で説明した第2の変形例を車載システムに適用した場合の例について説明する。
図13は、車内を簡略的に表した図であり、図中にて「front」と記載された方向が自動車の前方であり、「back」と記載された方向が自動車の後方である。また、自動車の前方席側面のウィンドウ(以降、「フロントサイドウィンドウ」と呼称する)および後方席側面のウィンドウ(以降、「リアサイドウィンドウ」と呼称する)のそれぞれがプロジェクション領域210となっている(図中では、プロジェクション領域210a〜プロジェクション領域210cを記載)。また、ユーザU1〜ユーザU3のそれぞれが所有するスマートフォンが情報処理装置100a〜情報処理装置100cとして機能する。
そして、例えば、各情報処理装置100は、メッセージを外部装置から受信した場合、各ユーザのプロジェクション領域210(認識領域220)にオブジェクトを射影する。これによって、各ユーザは、情報処理装置100を取り出すことなく、情報処理装置100がメッセージを受信したことを認識することができる。また、オブジェクトが各ユーザのプロジェクション領域210(認識領域220)に射影されることによって、例えば、オブジェクトがフロントガラス等の所定位置に射影される場合に比べて、メッセージの受信者の認識が容易となる。
このとき、上記のとおり、情報処理装置100は、射影されるオブジェクトの内容を制御することができる。例えば、受信されたメッセージがプライベートなメッセージである場合(例えば、メッセージの宛先が1人のユーザのみである場合、または、メッセージの送信元が乗り合わせている他のユーザに知られていない場合等)について考える。この場合、情報処理装置100は、オブジェクトが他のユーザから認識されないと判断したときには、メッセージの内容をオブジェクトとして射影してもよい。また、情報処理装置100は、オブジェクトが他のユーザから認識される可能性があると判断したときには、メッセージの内容は射影せず、メッセージに対応するアイコン(例えば、図13のオブジェクトO1等)を射影してもよい。また、情報処理装置100は、オブジェクトが他のユーザに認識される可能性が高いと判断したときには、オブジェクトを射影しなくてもよい。
一方、受信されたメッセージが、例えば、あるグループ内で共有されるようなパブリックなメッセージである場合(例えば、グループチャットまたはグループ通話等)について考える。この場合、車内に存在する全ユーザが当該グループに所属している場合には、情報処理装置100は、全員が認識可能なプロジェクション領域210(認識領域220)に対して、メッセージの内容をオブジェクトとして射影してもよいし、メッセージの内容を音声出力してもよい。もちろん、情報処理装置100は、メッセージの内容は射影せず、メッセージに対応するアイコン(例えば、図13のオブジェクトO2−1〜オブジェクトO2−3等)を射影してもよい。また、車内に存在する全ユーザのうち一部のユーザのみが当該グループに所属している場合には、情報処理装置100は、当該一部のユーザのみが認識可能なプロジェクション領域210(認識領域220)に対して、メッセージの内容等をオブジェクトとして射影してもよいし、オブジェクトを射影しなくてもよい。
なお、グループチャット等のパブリックなメッセージであっても、情報処理装置100がメッセージを解析し、メッセージにプライベート性の高い情報が含まれることを認識した場合(例えば、特定のユーザが知らないユーザ名がメッセージに含まれる場合等)、情報処理装置100は、上記のプライベートなメッセージと同様の対応をとってもよい。
また、第2の変形例に係る情報処理装置100の機能構成例および処理例については、図9および図10を参照して説明した第1の変形例に係る情報処理装置100の機能構成例および処理例と同様であるため説明を省略する。
また、上記では、情報処理装置100は、オブジェクトの射影位置によって、ユーザからメッセージの送信元装置までの方向を示していた。しかし、射影の態様はこれに限定されない。例えば、図14のオブジェクトO3のように、情報処理装置100は、オブジェクトO3の射影位置については固定し、オブジェクトO3における矢印O3−1の方向を、メッセージの送信元装置までの方向と一致させるように射影してもよい。
これによって、例えば、射影面または認識領域220においてオブジェクトを射影可能な位置が制限されている場合であっても、情報処理装置100は、ユーザからメッセージの送信元装置までの方向を適切に示すことができる。なお、図14も、あくまで射影態様の一例であるため、その内容は適宜変更され得る。
<3.第2の実施例>
上記では、本開示に係る第1の実施例について説明した。続いて、本開示に係る第2の実施例について説明する。第2の実施例は、オブジェクトの射影制御によって、ユーザとメッセージの送信元装置との離隔距離が示される例である。
例えば、ユーザが宅配便や食事の出前の到着を待っている場合、ユーザは、ユーザと宅配業者等との離隔距離を知りたい。そこで、第2の実施例に係る情報処理装置100は、宅配業者等からメッセージを受信した場合、当該メッセージの属性に基づいて射影を制御することで、ユーザとメッセージの送信元装置との離隔距離を示すことができる。
例えば、情報処理装置100は、図15に示すように、表示装置200の射影面(または、プロジェクション領域210の認識領域220)の所定の位置に、ユーザとメッセージの送信元装置との離隔距離を示すオブジェクトO4を射影する。オブジェクトO4は、ユーザ(またはユーザの存在する家等の建物)を示すオブジェクトO4−1、宅配業者を示すオブジェクトO4−2、食事の出前業者を示すオブジェクトO4−3、および、ユーザまでの距離を示す距離ゲージO4−4を含んでいる。ユーザまでの距離の変化に応じて距離ゲージO4−4におけるオブジェクトO4−2とオブジェクトO4−3の位置が変化していくことで、ユーザは、宅配業者および食事の出前業者の相対的位置関係を直感的に認識することができる。
ここで、本実施例において、情報処理装置100がユーザと宅配業者等との離隔距離を認識する方法は特に限定されない。例えば、宅配業者等から送信されるメッセージに宅配業者等が携帯しているGNSSセンサのセンサ情報が含まれることで、情報処理装置100は、当該センサ情報を解析してユーザと宅配業者等との離隔距離を認識してもよい。また、宅配業者等のシステムが、ユーザと宅配業者等との離隔距離を算出し、当該離隔距離に関する情報をメッセージに含めることで、情報処理装置100がユーザと宅配業者等との離隔距離を認識してもよい。
なお、射影の態様は図15に限定されない。例えば、ユーザまでの距離がテキスト(例えば、数値等)、色、オブジェクトの大きさ等の任意の方法で示されてもよい。
ここで、第2の実施例に係る情報処理装置100の機能構成例について説明する。なお、以降では、重複説明を回避するために、上記の実施例に係る情報処理装置100の機能構成例(図4および図9参照)との差分のみについて説明する。
第2の実施例に係る射影位置決定部112は、オブジェクトの射影位置を決定する。より具体的には、射影位置決定部112は、受信されたメッセージを解析すること等によってユーザと宅配業者等との離隔距離を認識し、ゲージO4−4におけるオブジェクトO4−2およびオブジェクトO4−3の射影位置を決定する。換言すると、射影位置決定部112は、ユーザまでの距離の変化に応じて距離ゲージO4−4におけるオブジェクトO4−2とオブジェクトO4−3の射影位置を変化させていく。
なお、上記のように、射影の態様は図15に限定されないところ、ユーザまでの距離がオブジェクトの射影位置によって示されない場合には、射影位置決定部112の処理の内容は適宜柔軟に変更され得る。例えば、ユーザまでの距離が数値によって示される場合には、射影位置決定部112は、ユーザまでの距離を認識した上で射影される数値の内容を決定してもよい(なお、この場合、射影される数値の決定は、オブジェクト決定部113によって実現されてもよい)。
また、第2の実施例に係る情報処理装置100の処理例については、図5および図10を参照して説明した内容と同様であるため説明を省略する。なお、例えば、図5のステップS1008において、射影位置決定部112が決定する射影位置とは、図15の例では、ゲージO4−4におけるオブジェクトO4−2およびオブジェクトO4−3の位置である。
また、上記の実施例でも述べたが、情報処理装置100は、認識したコンテキストに基づいてオブジェクトの射影を制御することができる。例えば、ユーザが宅配便を待っている間に「どっちの方向から来るのかな?」等の発言をした場合、情報処理装置100は、当該発言を解析し、コンテキストを認識することで、ユーザと宅配業者との離隔距離だけでなく、ユーザから宅配業者までの方向も示されるようにオブジェクトを射影する方式(第3の実施例)へ切り替えてもよい。
<4.第3の実施例>
上記では、本開示に係る第2の実施例について説明した。続いて、本開示に係る第3の実施例について説明する。第3の実施例は、オブジェクトの射影制御によって、ユーザからメッセージの送信元装置までの方向、および、ユーザとメッセージの送信元装置との離隔距離の両方が示される例である。
例えば、ユーザが自宅付近を通る移動販売車を待っており、移動販売車が自宅付近を通りかかったときに赴き商品を購入しようと考えている場合、ユーザは、移動販売車までの方向および移動販売車までの距離の両方を知りたい。そこで、第3の実施例に係る情報処理装置100は、移動販売車からメッセージを受信した場合、当該メッセージの属性に基づいて射影を制御することで、ユーザからメッセージの送信元装置までの方向、および、ユーザとメッセージの送信元装置との離隔距離の両方を示すことができる。
例えば、情報処理装置100は、図16に示すように、表示装置200の射影面(または、プロジェクション領域210の認識領域220)の所定の位置に、ユーザからメッセージの送信元装置までの方向、および、ユーザとメッセージの送信元装置との離隔距離の両方を示すオブジェクトO5を射影する。オブジェクトO5は、ユーザ(またはユーザの存在する家等の建物)を示すオブジェクトO5−1、移動販売車を示すオブジェクトO5−2、および、移動販売車までの方向と移動販売車までの距離を示す同心円マップO5−3を含んでいる。ユーザから移動販売車までの方向の変化に応じて同心円マップO5−3におけるオブジェクトO5−2の位置が同一円上で変化することで、ユーザは、移動販売車までの方向を直感的に認識することができる。また、ユーザと移動販売車との離隔距離の変化に応じて同心円マップO5−3におけるオブジェクトO5−2の位置が、より半径の小さい円(またはより半径の大きい円)へ変化することで、ユーザは、移動販売車までの距離を直感的に認識することができる。
なお、第2の実施例と同様に、情報処理装置100が移動販売車までの方向および距離を認識する方法は特に限定されない。また、射影の態様は図16に限定されない。例えば、ユーザまでの距離がテキスト(例えば、数値等)、色、オブジェクトの大きさ等の任意の方法で示されてもよい。
ここで、第3の実施例に係る情報処理装置100の機能構成例について説明する。なお、以降では、重複説明を回避するために、上記の実施例に係る情報処理装置100の機能構成例(図4および図9参照)との差分のみについて説明する。
第3の実施例に係る射影位置決定部112は、オブジェクトの射影位置を決定する。より具体的には、射影位置決定部112は、移動販売車から送信されたメッセージを解析すること等によって移動販売車までの方向および距離を認識し、同心円マップO5−3におけるオブジェクトO5−2の射影位置を決定する。
なお、上記のように、射影の態様は図16に限定されないところ、移動販売車までの方向および距離がオブジェクトの位置によって示されない場合には、射影位置決定部112の処理の内容は適宜柔軟に変更され得る。例えば、移動販売車までの方向および距離が数値によって示される場合には、射影位置決定部112は、移動販売車までの方向および距離を認識した上で射影される数値の内容を決定してもよい(なお、この場合、射影される数値の決定は、オブジェクト決定部113によって実現されてもよい)。
また、第3の実施例に係る情報処理装置100の処理例については、図5および図10を参照して説明した内容と同様であるため説明を省略する。なお、例えば、図5のステップS1008においては、射影位置決定部112が決定する射影位置とは、図16の例では、同心円マップO5−3におけるオブジェクトO5−2の位置である。
また、上記の実施例でも述べたが、情報処理装置100は、認識したコンテキストに基づいてオブジェクトの射影を制御することができる。例えば、ユーザが移動販売車を待っている間に、食事の出前も頼んだ場合、情報処理装置100は、当該コンテキストを認識することで、移動販売車または出前業者までの方向よりも、ユーザと移動販売車または出前業者との離隔距離の方がより重要であると判断して、ユーザとこれらとの離隔距離を示すようにオブジェクトを射影する方式(第2の実施例)へ切り替えてもよい。
<5.ハードウェア構成例>
上記では、本開示に係る第3の実施例について説明した。続いて、図17を参照して、情報処理装置100のハードウェア構成例について説明する。
図17は、情報処理装置100のハードウェア構成を示す図である。情報処理装置100は、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、ホストバス904と、ブリッジ905と、外部バス906と、インタフェース907と、入力装置908と、出力装置909と、ストレージ装置(HDD)910と、ドライブ911と、通信装置912と、を備える。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置100内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。当該CPU901、ROM902およびRAM903の協働により、情報処理装置100の制御部110、センサ部130または撮像部140の各機能が実現される。
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905および外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。情報処理装置100の使用者は、該入力装置908を操作することにより、各装置に対して各種情報を入力したり処理動作を指示したりすることができる。当該入力装置908により、入力部120の機能が実現される。
出力装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。さらに、出力装置909は、スピーカおよびヘッドホンなどの音声出力装置を含む。出力装置909は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。当該出力装置909により、出力部150の機能が実現される。
ストレージ装置910は、データ格納用の装置である。ストレージ装置910は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置910は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置910は、ハードディスクを駆動し、CPU901が実行するプログラムや各種データを格納する。当該ストレージ装置910により記憶部170の各機能が実現される。
ドライブ911は、記憶媒体用リーダライタであり、情報処理装置100に内蔵、あるいは外付けされる。ドライブ911は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体913に記録されている情報を読み出して、RAM903に出力する。また、ドライブ911は、リムーバブル記憶媒体913に情報を書き込むこともできる。
通信装置912は、例えば、通信網914に接続するための通信デバイス等で構成された通信インタフェースである。当該通信装置912により通信部160の各機能が実現される。
<6.まとめ>
以上で説明してきたように、本開示に係る情報処理装置100は、メッセージの属性に基づいて、当該メッセージをユーザに通知するオブジェクトの射影を制御する。これによって、情報処理装置100は、ユーザに対して、ユーザからメッセージの送信元装置までの方向、または、ユーザとメッセージの送信元装置との離隔距離を示すことができる。また、情報処理装置100は、コンテキストにも基づいてオブジェクトの射影を制御することができる。さらに、情報処理装置100は、メッセージの属性等に応じてオブジェクトの内容を制御することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
メッセージを取得する取得部と、
前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御する制御部と、を備える、
情報処理装置。
(2)
前記制御部は、外部の射影面への前記射影を制御する、
前記(1)に記載の情報処理装置。
(3)
前記制御部は、前記射影によって、前記ユーザと前記メッセージの送信元装置との相対的位置関係を示す、
前記(2)に記載の情報処理装置。
(4)
前記制御部は、前記射影によって、前記ユーザから前記メッセージの送信元装置までの方向を示す、
前記(3)に記載の情報処理装置。
(5)
前記制御部は、前記射影面にて前記オブジェクトが射影される位置を制御する、
前記(4)に記載の情報処理装置。
(6)
前記射影面は、前記ユーザが認識可能な認識領域を有し、
前記制御部は、前記認識領域にて前記オブジェクトが射影される位置を制御する、
前記(5)に記載の情報処理装置。
(7)
前記制御部は、前記射影によって、前記ユーザと前記メッセージの送信元装置との離隔距離を示す、
前記(3)または(4)に記載の情報処理装置。
(8)
前記制御部は、前記ユーザがおかれた状況もしくは環境、または、前記ユーザの状態もしくは行動を含むコンテキストにも基づいて前記射影を制御する、
前記(1)から(7)のいずれか1項に記載の情報処理装置。
(9)
前記制御部は、前記メッセージの属性、前記メッセージの内容、前記コンテキスト、または、前記オブジェクトが他のユーザから視認される可能性に基づいて前記オブジェクトの内容を制御する、
前記(8)に記載の情報処理装置。
(10)
メッセージを取得することと、
前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御することと、を有する、
コンピュータにより実行される情報処理方法。
100 情報処理装置
110 制御部
111 射影面決定部
112 射影位置決定部
113 オブジェクト決定部
114 射影実行部
115 認識領域出力部
120 入力部
130 センサ部
140 撮像部
150 出力部
160 通信部
170 記憶部

Claims (10)

  1. メッセージを取得する取得部と、
    前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御する制御部と、を備える、
    情報処理装置。
  2. 前記制御部は、外部の射影面への前記射影を制御する、
    請求項1に記載の情報処理装置。
  3. 前記制御部は、前記射影によって、前記ユーザと前記メッセージの送信元装置との相対的位置関係を示す、
    請求項2に記載の情報処理装置。
  4. 前記制御部は、前記射影によって、前記ユーザから前記メッセージの送信元装置までの方向を示す、
    請求項3に記載の情報処理装置。
  5. 前記制御部は、前記射影面にて前記オブジェクトが射影される位置を制御する、
    請求項4に記載の情報処理装置。
  6. 前記射影面は、前記ユーザが認識可能な認識領域を有し、
    前記制御部は、前記認識領域にて前記オブジェクトが射影される位置を制御する、
    請求項5に記載の情報処理装置。
  7. 前記制御部は、前記射影によって、前記ユーザと前記メッセージの送信元装置との離隔距離を示す、
    請求項3に記載の情報処理装置。
  8. 前記制御部は、前記ユーザがおかれた状況もしくは環境、または、前記ユーザの状態もしくは行動を含むコンテキストにも基づいて前記射影を制御する、
    請求項1に記載の情報処理装置。
  9. 前記制御部は、前記メッセージの属性、前記メッセージの内容、前記コンテキスト、または、前記オブジェクトが他のユーザから視認される可能性に基づいて前記オブジェクトの内容を制御する、
    請求項8に記載の情報処理装置。
  10. メッセージを取得することと、
    前記メッセージの属性に基づいて、前記メッセージをユーザに対して通知するオブジェクトの射影を制御することと、を有する、
    コンピュータにより実行される情報処理方法。
JP2019564309A 2018-01-12 2018-10-30 情報処理装置および情報処理方法 Pending JPWO2019138661A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018003403 2018-01-12
JP2018003403 2018-01-12
PCT/JP2018/040274 WO2019138661A1 (ja) 2018-01-12 2018-10-30 情報処理装置および情報処理方法

Publications (1)

Publication Number Publication Date
JPWO2019138661A1 true JPWO2019138661A1 (ja) 2020-11-19

Family

ID=67218553

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019564309A Pending JPWO2019138661A1 (ja) 2018-01-12 2018-10-30 情報処理装置および情報処理方法

Country Status (4)

Country Link
US (1) US11030979B2 (ja)
EP (1) EP3594794A4 (ja)
JP (1) JPWO2019138661A1 (ja)
WO (1) WO2019138661A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6885402B2 (ja) * 2016-06-22 2021-06-16 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム
CN112328193A (zh) * 2020-09-09 2021-02-05 深圳Tcl新技术有限公司 多终端屏幕组合方法、装置、设备和计算机存储介质
WO2023149256A1 (ja) * 2022-02-02 2023-08-10 株式会社Nttドコモ 表示制御装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116080A (ja) * 2001-10-05 2003-04-18 Nissan Motor Co Ltd 表示装置
JP2005205974A (ja) * 2004-01-21 2005-08-04 Denso Corp ウインドシールドディスプレイ装置
JP2015229350A (ja) * 2014-06-03 2015-12-21 大日本印刷株式会社 表示装置及び表示装置が搭載された車両
JP2016024556A (ja) * 2014-07-17 2016-02-08 本田技研工業株式会社 メッセージの交換を行うプログラム、方法、及び電子機器
WO2017056401A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 制御装置、制御方法及びプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5018646B2 (ja) 2008-05-29 2012-09-05 パナソニック株式会社 光ピックアップ装置及び光ディスク装置
WO2010150323A1 (ja) * 2009-06-26 2010-12-29 富士通株式会社 移動通信装置、位置情報取得方法、及びプログラム
US20150193098A1 (en) * 2012-03-23 2015-07-09 Google Inc. Yes or No User-Interface
US10382378B2 (en) * 2014-05-31 2019-08-13 Apple Inc. Live location sharing
CN105282708B (zh) * 2014-07-17 2019-06-21 本田技研工业株式会社 互通消息的方法以及电子设备
WO2016017997A1 (en) * 2014-07-31 2016-02-04 Samsung Electronics Co., Ltd. Wearable glasses and method of providing content using the same
WO2016157658A1 (ja) * 2015-03-31 2016-10-06 ソニー株式会社 情報処理装置、制御方法、およびプログラム
US20160366269A1 (en) * 2015-06-15 2016-12-15 Mansour Hamdan MANSOUR Apparatus and method of mobile communication and content sharing
US10304247B2 (en) * 2015-12-09 2019-05-28 Microsoft Technology Licensing, Llc Third party holographic portal
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10152851B2 (en) * 2016-11-29 2018-12-11 Microsoft Technology Licensing, Llc Notification artifact display
US10788934B2 (en) * 2017-05-14 2020-09-29 Microsoft Technology Licensing, Llc Input adjustment

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003116080A (ja) * 2001-10-05 2003-04-18 Nissan Motor Co Ltd 表示装置
JP2005205974A (ja) * 2004-01-21 2005-08-04 Denso Corp ウインドシールドディスプレイ装置
JP2015229350A (ja) * 2014-06-03 2015-12-21 大日本印刷株式会社 表示装置及び表示装置が搭載された車両
JP2016024556A (ja) * 2014-07-17 2016-02-08 本田技研工業株式会社 メッセージの交換を行うプログラム、方法、及び電子機器
WO2017056401A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 制御装置、制御方法及びプログラム

Also Published As

Publication number Publication date
EP3594794A1 (en) 2020-01-15
WO2019138661A1 (ja) 2019-07-18
US11030979B2 (en) 2021-06-08
EP3594794A4 (en) 2020-04-08
US20190371280A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
CN108027649B (zh) 定位增强现实环境中的设备
CN111447074B (zh) 群组会话中的提醒方法、装置、设备及介质
WO2018113639A1 (zh) 用户终端之间的互动方法、终端、服务器、系统及存储介质
EP3430802B1 (en) Selectable interaction elements in a 360-degree video stream
CN104765444A (zh) 车载手势交互空间音频系统
KR102463806B1 (ko) 이동이 가능한 전자 장치 및 그 동작 방법
JPWO2019138661A1 (ja) 情報処理装置および情報処理方法
US11361497B2 (en) Information processing device and information processing method
US20190312917A1 (en) Resource collaboration with co-presence indicators
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
US20240187464A1 (en) Synchronization in a Multiuser Experience
US11816269B1 (en) Gesture recognition for wearable multimedia device using real-time data streams
CN112612387B (zh) 展示信息的方法、装置、设备及存储介质
US20220253195A1 (en) Integrating artificial reality and other computing devices
JPWO2020095714A1 (ja) 情報処理装置および方法、並びに、プログラム
US20200380733A1 (en) Information processing device, information processing method, and program
US10650832B2 (en) Information processing device and information processing method
WO2020179275A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN114783432A (zh) 智能眼镜的播放控制方法及智能眼镜、存储介质
US11740773B2 (en) Information processing device and method
JP2021099544A (ja) 情報処理装置及びプログラム
WO2022107447A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020202747A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
WO2019235262A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN114779924A (zh) 头戴显示设备及控制家居设备的方法、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220809

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230117