JPWO2018043115A1 - 情報処理装置、情報処理方法、並びにプログラム - Google Patents

情報処理装置、情報処理方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018043115A1
JPWO2018043115A1 JP2018537104A JP2018537104A JPWO2018043115A1 JP WO2018043115 A1 JPWO2018043115 A1 JP WO2018043115A1 JP 2018537104 A JP2018537104 A JP 2018537104A JP 2018537104 A JP2018537104 A JP 2018537104A JP WO2018043115 A1 JPWO2018043115 A1 JP WO2018043115A1
Authority
JP
Japan
Prior art keywords
user
information
blind spot
information processing
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018537104A
Other languages
English (en)
Other versions
JP6891893B2 (ja
Inventor
真里 斎藤
真里 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018043115A1 publication Critical patent/JPWO2018043115A1/ja
Application granted granted Critical
Publication of JP6891893B2 publication Critical patent/JP6891893B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231Monitoring the presence, absence or movement of users
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/325Power saving in peripheral device
    • G06F1/3265Power saving in display device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/323Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only for loudspeakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04SSTEREOPHONIC SYSTEMS 
    • H04S7/00Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30Control circuits for electronic adaptation of the sound field
    • H04S7/302Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303Tracking of listener position or orientation
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00Arrangements for display data security
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、情報を伝えたいユーザに情報を伝えるときに、他のユーザには秘匿した状態で伝えることができるようにする情報処理装置、情報処理方法、並びにプログラムに関する。複数のユーザの位置関係を検出する位置関係検出部と、複数のユーザのうちの第1のユーザの死角を検出する検出部と、検出部により検出された死角に、情報を表示するための制御を行う表示制御部とを備える。第2のユーザの視線方向を検出する視線検出部をさらに備え、表示制御部は、第2のユーザの視線方向に位置する死角に、情報を表示するための制御を行う。本技術は、情報をユーザに提示する情報処理装置に適用できる。

Description

本技術は情報処理装置、情報処理方法、並びにプログラムに関し、例えば、情報を伝えたいユーザに情報を伝えるときに、他のユーザには秘匿した状態で伝えることができるようにした情報処理装置、情報処理方法、並びにプログラム関する。
特許文献1には、表示装置を使用途中に第三者が不意に現れるような環境下において、個人使用にかかる特定データが第三者に知られることを防止することについての提案がある。
特開2014-56345号公報
特許文献1によると、第三者に情報を見られないようにするための処理により、使用者自体も情報を見られない状態となってしまう。
本技術は、このような状況に鑑みてなされたものであり、情報を伝えたいユーザに情報を伝えるときに、他のユーザには秘匿した状態で伝えることができるようにするものである。
本技術の一側面の情報処理装置は、複数のユーザの位置関係を検出する位置関係検出部と、前記複数のユーザのうちの第1のユーザの死角を検出する検出部と、前記検出部により検出された前記死角に、情報を表示するための制御を行う表示制御部とを備える。
本技術の一側面の情報処理方法は、複数のユーザの位置関係を検出し、前記複数のユーザのうちの第1のユーザの死角を検出し、検出された前記死角に、情報を表示するための制御を行うステップを含む。
本技術の一側面のプログラムは、コンピュータに、複数のユーザの位置関係を検出し、前記複数のユーザのうちの第1のユーザの死角を検出し、検出された前記死角に、情報を表示するための制御を行うステップを含む処理を実行させる。
本技術の一側面の情報処理装置、情報処理方法、並びにプログラムにおいては、複数のユーザの位置関係が検出され、複数のユーザのうちの第1のユーザの死角が検出され、検出された死角に、情報が表示される。
なお、情報処理装置は、独立した装置であっても良いし、1つの装置を構成している内部ブロックであっても良い。
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
本技術の一側面によれば、情報を伝えたいユーザに情報を伝えるときに、他のユーザには秘匿した状態で伝えることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術を適用した情報処理システムの一実施の形態の構成を示す図である。 他の情報処理システムの構成を示す図である。 情報処理システムの動作について説明するための図である。 情報取得部の構成について説明するための図である。 情報処理部の構成について説明するための図である。 表示範囲について説明するための図である。 死角について説明するための図である。 死角について説明するための図である。 死角について説明するための図である。 情報処理システムの動作について説明するためのフローチャートである。 ユーザの移動を推測した情報提示について説明するための図である。 音声での情報提示について説明するための図である。 記録媒体について説明するための図である。
以下に、本技術を実施するための形態(以下、実施の形態という)について説明する。
<システムの構成例>
図1は、本技術を適用した情報処理システムの一実施の形態の構成を示す図である。図1に示した情報処理システムは、情報取得部11、情報処理部12、音声出力部13、および表示部14を含む構成とされている。
図1に示した情報処理システムにおいては、情報取得部11、情報処理部12、音声出力部13、および表示部14は、家庭内に設置されている装置であるとして図示してあるが、図2に示す情報処理システムのように、情報処理部12は、家庭外に設置され、家庭外ネットワーク21を介して、情報取得部11とデータの授受を行う構成とされていても良い。
図1に示した情報処理システムにおいて、情報取得部11、情報処理部12、音声出力部13、および表示部14は、家庭内に設置され、家庭内に構築されたネットワーク、例えば無線または/および有線で構成されたLAN(Local Area Network)を介して接続されており、ネットワークを介して互いにデータの授受を行えるように構成されている。
図1または図2に示した情報処理システム(以下、図1に示した情報処理システムを例に挙げて説明を続ける)においては、情報取得部11により情報が取得される。取得される情報は、例えば、ユーザの視線方向や、ユーザ同士の位置関係などを特定するための情報である。
情報取得部11で取得された情報は、情報処理部12に供給され、処理される。情報処理部12は、例えば、ユーザの視線方向や、ユーザ同士の位置関係などを特定する。
音声出力部13は、例えばスピーカであり、ユーザに音声で情報を提供するときに用いられる。表示部14は、例えばディスプレイ、プロジェクタなどであり、ユーザにテキストや画像で情報を提供するときに用いられる。
<システムにおける処理例>
図1に示した情報処理システムにおける処理について、図3を参照して説明する。情報処理システムにおいては、所定のユーザに対して情報を、他のユーザに知られないように通知することができる。
図3に示した状況は、所定の部屋に、ユーザAとユーザBが居る状況である。また、ユーザAに伝えたい情報Aがあるが、その情報Aは、ユーザBには伝えたくない情報である。ここで、例えば、ユーザAが家の主人であり、ユーザBが客であり、奥様(ユーザC)がユーザAに対して、“そろそろユーザBに帰宅して欲しいこと”(=情報A)を伝えたい場合を想定する。
“ユーザBに帰宅して欲しい”という情報は、ユーザAには伝えたいが、ユーザBには伝えたくない情報(すなわち情報A)である。このようなとき、ユーザBにとって死角となる部分に、情報Aを表示し、ユーザAに伝える。
図3に示した例では、ユーザAは、表示部14側に向いている。ユーザBは、ユーザAの後側に位置している。このような位置関係の場合、ユーザBは、ユーザAにより、表示部14の一部分が見えない状態である。すなわち、表示部14の一部分は、ユーザBの死角31となっている。
この死角31となっている表示部14の部分に、情報Aを表示すれば、ユーザBは、その情報Aを視認することはできない。よって、図3に示したような状況の場合、ユーザBの死角31となる部分に、情報Aが表示される。そしてユーザAは、その表示された情報Aを確認する。なお、ユーザAに、直接情報Aを通知するようにしても良いし、情報Aがあることを知らせる通知だけが行われるようにしても良い。
このように、本技術においては、ユーザ同士の位置関係を検知し、所定のユーザの死角となる部分を検知し、その死角となる部分に情報を提示する。
<情報取得部の構成>
上記したような処理を行う情報取得部11と情報処理部12の構成について説明する。まず図4を参照し、情報取得部11の構成について説明する。
情報取得部11は、ユーザ認識情報取得部51と位置情報取得部52を備える。ユーザ認識情報取得部51は、例えば、カメラやマイクロフォンを含む構成とされ、家庭内に複数設置されている。例えば、家庭内には、リビング、ダイニング、キッチン、寝室、子供部屋、玄関などの部屋があり、これらの各部屋にマイクロフォンやカメラが設置され、ユーザの会話が収集されたり、ユーザの顔が撮像されたりする。
後段の情報処理部12が、どのような処理によりユーザを認識するかにより、ユーザ認識情報取得部51で取得される情報は異なり、その構成も異なる。例えば、音声認識によりユーザを認識する場合、ユーザ認識情報取得部51は、マイクロフォンを備え、そのマイクロフォンで取得されるユーザの音声を、ユーザを認識するための情報として取得する。
また例えば、画像認識によりユーザを認識する場合、ユーザ認識情報取得部51は、撮像部(カメラ)を備え、その撮像部で取得されるユーザの画像を、ユーザを認識するための情報として取得する。
位置情報取得部52は、例えば、部屋に居るユーザ同士の位置関係を特定するための情報や、ユーザが向いている方向(視線方向)などの情報を取得する。位置情報取得部52は、例えば、撮像部や、各種センサを含む構成とされ、家庭内に複数設置されている。ユーザ認識情報取得部51と同じく、家庭内のリビング、ダイニング、キッチン、寝室、子供部屋、玄関などの部屋毎に設置され、その部屋に居るユーザを特定するための情報や、その部屋に居るユーザの視線方向などの情報が収集される。
また位置情報取得部52は、距離センサを備え、所定の位置からのユーザが居る位置までの距離を測定することで、ユーザ同士の位置関係を取得するようにしても良い。
<情報処理部の構成>
情報取得部11で取得された情報は、情報処理部12に供給され、処理される。図5を参照して、情報処理部12の構成について説明を加える。
情報処理部12は、位置関係検出部71、視線検出部72、ユーザ認識部73、ユーザデータベース74、死角検出部75、情報提示処理部76、音声出力制御部77、および表示制御部78を含む構成とされている。
なお、図2に示したように、情報取得部11と情報処理部12が家庭外ネットワーク21を介してデータの授受を行う構成とした場合、図5に示した情報処理部12の一部は、家庭内に設置されていても良い。
すなわち、情報処理部12の一部、または全部(図1の場合)は、家庭内に設置されているように構成することができる。例えば、ユーザデータベース74は、家庭内に設置され、他の部分は、家庭外に設置されているようにしても良い。または、ユーザデータベース74は、クラウドとし、他の部分は、家庭内に設置されているようにしても良い。
情報処理部12の各部を、家庭内に設置するか、家庭外に設置するかは、適宜変更可能な構成である。
位置関係検出部71は、位置情報取得部52で取得された情報を用いて、ユーザ同士の位置関係を検出する。検出結果は、死角検出部75に供給される。
視線検出部72は、位置情報取得部52で取得された情報を用いて、ユーザの視線方向を検出する。検出結果は、死角検出部75に供給される。
ユーザ認識部73は、ユーザ認識情報取得部51から取得される情報を用いて、またユーザデータベース74を参照し、所定の部屋にいるユーザを認識する。認識結果は、死角検出部75に供給される。
ユーザデータベース74は、ユーザを認識するためのデータベースである。例えば、ユーザ名(例えば、家族の名前)、年齢などの情報や、ユーザを特定するためのユーザの顔データ、音声データなども必要に応じて記憶されている。
死角検出部75は、位置関係検出部71、視線検出部72、ユーザ認識部73のそれぞれからの検出結果を用いて、所定のユーザの死角を検出する。例えば、図3に示した例においては、まず位置関係検出部71により、ユーザAとユーザBの位置関係が検出される。また視線検出部72により、ユーザAとユーザBは、共に、表示部14の方を向いていることが検出される。
またユーザ認識部73は、ユーザAが家人であり、ユーザBがゲストであると認識する。このような検出結果と認識結果を、死角検出部75は取得する。死角検出部75は、これらの情報から、ユーザBの死角を検出する。
死角検出部75により検出された死角情報は、情報提示処理部76に供給される。情報提示処理部76は、死角に情報Aを提示するための処理を行う。具体的には、音声出力制御部77または/および表示制御部78を制御し、死角に情報Aを提示するための処理を行う。
なお、情報提示処理部76は、外部から供給される情報Aを取得する。例えば、情報Aを伝えたいユーザの端末から発信された情報Aが、情報提示処理部76に供給される。
音声出力制御部77は、各部屋に設置されている音声出力部13への音声出力を、情報提示処理部76の指示に基づき制御する。表示制御部78は、各部屋に設置されている表示部14へのテキスト、画像、映像などの表示を、情報提示処理部76の指示に基づき制御する。
例えば、図3に示した例においては、表示部14内の死角31に情報Aを表示するとの処理が、情報提示処理部76により決定され、そのような表示を行うように表示制御部78に指示が出される。表示制御部78が、その指示に基づき、表示部14を制御することで、情報Aが表示部14内の死角31に表示される。
また例えば、ユーザAに対して音声により情報Aを伝える場合、音声出力制御部77が、例えば、指向性の高いスピーカを制御し、情報Aが音声で、ユーザAに伝えられる。
<表示部の設置位置>
所定のユーザの死角に、情報を提示(表示)するために、表示部14は、例えば、図6に示すような位置に設置され、広い範囲に情報を表示できる構成とされている。
表示部14は、部屋101の天井102に設置され、部屋101の天井102、壁103、壁104、床105など、部屋101内の至る所に情報を表示することが可能な構成とされている。
図6において斜線で示した領域に、表示部14は、情報を表示することが可能な構成とされている。なお、図6において斜線で示した領域は、表示できる領域の一部を表し、基本的に、表示部14は、部屋101内の至る所に情報を表示することが可能な構成とされている。
例えば表示部14は、プロジェクタで構成され、そのプロジェクタは、部屋101内の至る所に投影することができる構成とされている。例えば、投影したい方向に、投影部を可動させることができる構成とすることで、例えば、壁103に情報を表示したり、床105に情報を表示したりすることができる構成とされている。
また図3に示したように、表示部14には、ディスプレイ(テレビジョン受像機)なども含まれる。情報提示処理部76(図5)は、所定のユーザの死角に該当する部分に情報を表示できる表示部14を判定し、その判定した表示部14で、情報の表示が行われるように表示制御部78を制御して表示を行う。
<死角の一例>
死角検出部75が検出する死角の一例をさらに説明する。図3を参照して説明したように、例えば、ユーザBにとって、ユーザAにより隠される部分は死角31となる。また、図7に示すように、ユーザBにとって、ユーザB自身の背後(視線とは逆の方向)も死角31となる。
図7を参照するに、部屋101にユーザAとユーザBが対面した状態で居る。このような状態のとき、ユーザBにとっての死角31は、図中斜線で示した領域となる。すなわち、ユーザBにとっての死角31は、ユーザBの背面側である。
このような状況のとき、ユーザAに情報を伝えたいときには、死角31内に情報が表示される。例えば、表示部14は、壁104に情報を表示する。また壁104にディスプレイ(不図示)が設置されている場合、そのディスプレイに情報が表示されるようにしても良い。
図8は、死角検出部75が検出する死角の一例を示す図である。図8に示した状況は、ユーザA、ユーザB、ユーザCの3人が、テーブル151の周りに居る状況を示している。ユーザBとユーザCにとって、ユーザAの足下は、テーブル151の影となり、視認できない部分、すなわち死角31となる。
このように、物陰で視認できない部分も死角31として検出される。図8に示した死角31に情報を表示する場合、例えば図6を参照して説明したような天井102に設置されている表示部14から投影されるようにしても良いし、テーブル151の裏面に表示部14を設け、その表示部14から投影されるようにしても良い。
図9は、死角検出部75が検出する死角の一例を示す図である。図9に示した状況は、ユーザAとユーザBの2人が、テーブル151の周りに居る状況である。ユーザBにとって、ユーザAの手元(膝上)は、テーブル151の影となり、視認できない部分、すなわち死角31となる。図8に示した状況と同じく、物陰で視認できない部分も死角31として検出される。
図示はしないが、ユーザ同士の背の高さを利用した死角31が検出されるようにしても良い。例えば、子供と親の背の高さが違う場合、子供には伝えたくない情報を表示するときには、子供が見えない高さを死角として検出し、その高さに情報が表示されるようにしても良い。
<情報の表示に関する処理>
次に、情報の表示に関する処理について、図10に示したフローチャートを参照して説明する。図10に示したフローチャートの処理は、主に情報処理部12で行われる。
ステップS11において、ユーザが検知される。ユーザ認識部73は、情報取得部11から供給される情報を監視し、所定の部屋に居るユーザを認識する。このような監視は常に行われていても良いし、何らかの情報を所定のユーザに提供するときに行われるようにしても良い。
すなわち図10に示したフローチャートに基づく処理は、何らかの情報を所定のユーザに提供するときに開始されるようにしても良いし、常に行われているようにしても良い。
ステップS12において、ユーザ認識部73は、情報取得部11から供給された情報と、ユーザデータベース74を参照して、所定の部屋に居るユーザを認識する。例えば、情報取得部11から画像データが供給された場合、その画像データに基づく画像から顔の部分が抽出される。そして、抽出された顔が、ユーザデータベース74に登録されている顔データとマッチングがとられることで、ユーザが特定される。
ユーザ認識部73は、ユーザデータベース74に登録されているユーザ以外をゲスト(客)として認識する。勿論、ユーザデータベース74にゲストとして、顔画像データなどの情報が記憶されている場合などにも、ゲストはゲストとして認識される。
ステップS13において、位置関係検出部71は、情報取得部11からの情報を用いて、ユーザの位置を特定する。例えば、撮像された画像から、ユーザが居る部分を特定することで、ユーザの位置を検出する。
ステップS14において、視線検出部72は、視線方向を検出する。例えば、撮像された画像から、ユーザの目の部分を抽出し、その目が向いている方向を特定することで、ユーザの視線方向が検出される。
ステップS15において、死角検出部75は、死角を検出する。死角検出部75は、ユーザ認識部73で認識されたユーザ情報から、情報を提示したいユーザ以外のユーザ、換言すれば、情報を提示したくないユーザ(情報を秘匿したいユーザ)を特定する。例えば、ゲストと判定されたユーザを特定する。
死角検出部75は、情報を提示したくないユーザとして特定されたユーザの視線方向以外の方向を死角領域として設定する。例えば、図7を参照して説明したような、ユーザBの背面側が死角領域として設定される。
また、情報を提示したくないユーザとして特定されたユーザの視線方向に遮蔽物がある場合、その遮蔽物がある方向を死角領域として設定する。例えば、図8や図9を参照して説明したような、テーブル151(遮蔽物)でユーザBの視線が遮蔽されるユーザAの足下や手元が、ユーザBの死角領域として設定される。
情報を提示したくないユーザが複数居る場合、それらのユーザ毎に死角領域が設定される。そして、設定された複数の死角領域が重なっている領域が、最終的な死角領域として設定される。
このようにして死角が検出されたか否かが、ステップS16において判定される。ステップS16において、死角が検出されたと判定された場合、ステップS17に処理は進められる。ステップS17において、情報提示処理部76は、死角検出部75で死角として検出された死角領域に、情報を提示するための処理を実行する。
このようにして、死角に情報が表示されるとともに、ステップS18において、ユーザの位置関係の検出や視線検出の処理は継続して実行されている。そして、処理は、ステップS15に戻され、それ以降の処理が繰り返し実行される。
ステップS15乃至S18の処理が繰り返されることで、情報を提示したくないユーザ(ユーザBとする)の視線方向や位置が変わらない限り、情報を提示したいユーザ(ユーザAとする)に対して情報が提示される。しかしながら、ユーザBの視線方向や位置が変わり、ユーザBにおける死角が変わり、提示していた情報が、ユーザBに視認可能な状態になってしまう可能性がある。
また死角が検出されず、ユーザAに情報が提示できない状況が発生する可能性もある。このような状況に対応するために、ステップS19以降の処理が実行される。
ステップS16において、死角は検出されなかったと判定された場合、ステップS19に処理が進められる。ステップS19において、表示している情報があるか否かが判定される。ステップS19において、表示している情報はないと判定された場合、ステップS20に処理が進められる。
ステップS20に処理が来るのは、死角がなく、表示している情報がない状態である。このような状態を換言すれば、ユーザAに対して情報を伝えたい状態であるが、ユーザBに対する死角がないために、情報が提示できない状態である。
ステップS20において、誘導刺激が提示される。誘導刺激とは、情報を提示したいユーザ、この場合、ユーザAに、提示したい情報があることを知らせ、ユーザBの死角となるような領域を見る、ユーザBの死角となるような場所に移動するなどの動作を行うように誘導するために、ユーザAに対して出す刺激のことである。
例えば、情報があることを示すマーク、例えば、丸や四角といったマークを、ユーザAの視線方向に表示する。このようなマークを視認したユーザAは、ユーザBの死角となる領域に視線を向けたり、ユーザBの死角となる場所に移動したりするなど、所定の動作を行う。
ステップS20の処理後、再度、ステップS15の処理が行われるため、ユーザAが、ユーザBの死角となる領域に視線を向けることで、死角が検出され、その死角に情報を表示することが可能な状態となる。
また例えば、マークを視認したユーザAが、個人端末、例えば、携帯電話機、スマートフォン、パーソナルコンピュータなどで、情報を確認するようにしても良い。このように、個人端末に誘導するための処理が、誘導刺激として提示されるようにしても良い。
また例えば、誘導刺激を音で行うようにしても良い。例えば、特定のユーザへの音(例えばユーザAに対する音)を予め設定しておき、その音が鳴ったとき、ユーザAに対して情報があることが示されるようにしても良い。
ユーザAは、自己に割り当てられている音が鳴ったとき、ユーザBの死角となる領域に視線を向けたり、ユーザBの死角となる場所に移動したりするなど、所定の動作を行うことで、情報の提示を受けることができる。
また例えば、音の音像を移動させたり、上記したマークの表示位置を移動させたりすることで、情報を提示したいユーザAを、ユーザBに情報を秘匿した状態で提示できる場所まで誘導するようにしても良い。また例えば、ユーザAの名前で、ユーザAに呼びかけてから、所定の場所に情報を表示するようにしても良い。
また例えば、ユーザによって誘導されやすい方法を学習し、その学習した方法が、誘導刺激として適用され、情報が提示されるようにしても良い。また例えば、ユーザ本来の行動を予測して、その行動を阻害しないように、誘導刺激が行われ、情報が提示されるようにしても良い。
なおこのような誘導刺激は、提示したい情報があるが、死角が検出されないときに行われる以外に、ユーザに情報が提示される前に、ユーザに情報の提示が開始されることを認識させるために行われても良い。
例えば、ステップS17において、死角に情報が表示される前に、その死角に、上記したマークを表示したり、特定の音を発したり、ユーザの名前を発したりすることで、ユーザAの注意を向けさせてから情報の提示が行われるようにしても良い。
また、ユーザの名前などで呼びかけを行うようにした場合、大人への呼びかけでは名前ではなく、言い方、例えば抑揚やテンポを変化させ、子供の場合には、名前を呼ぶなど、呼びかけの仕方を、呼びかけるユーザで異なるようにしてもよい。
また呼びかけを行うようにした場合、ユーザの視線が取れているとき、換言すれば、ユーザが死角方向を向いているときには呼びかけを行わず、視線が取れていないときだけ呼びかけを行うようにしても良い。
また、上記した学習を行うようにした場合、例えば、ユーザにより、通知タイミングや通知方法で受け入れやすい方法が異なるとき、そのユーザに適した通知タイミングや通知方法が学習されるようにしても良い。例えば朝だと反応が良い、寝る前だと反応が良いといった場合、即時性が必要ないときには、そのような反応の良いタイミングで通知するようにしても良い。
また例えば、ユーザによっては、音声だと反応が良い、所定のマークの点滅だと反応が良い、言い方(抑揚やテンポ)を変えると反応が良いなども学習対象とされ、その学習結果に基づき、誘導刺激が行われたり、情報を提示する前に情報が提示されることを認識させるための表示などが行われたりするようにすることができる。
また、例えば、ディスプレイ(表示部14)に近づいてきたユーザを認識し、認識の結果、情報を提示したいユーザであった場合、ユーザ別に定位置に誘導し、その誘導先で情報を提示するようにしても良い。例えば、ダイニングテーブルの座る位置に誘導し、情報を提示する。
図10に示したフローチャートを参照した説明に戻り、ステップS20において誘導刺激が提示されると、ステップS18に処理が進められる。すなわち、誘導刺激が提示されたことにより、ユーザAがユーザBの死角方向に視線を向けたり、部屋を移動したりするといった何らかの変化が起きた場合に、その変化を検出するために、ユーザの位置関係や視線方向が検出され、死角を検出する処理が行われる。
このような変化は、情報を提示したいユーザAの変化だけでなく、情報を秘匿したいユーザBの変化も含まれる。すなわち、ユーザBも、移動したり、視線方向を変えたりする可能性がある。
図11を参照してユーザBの変化について説明する。図3に示した状態と同じく、図11に示した状態も、ユーザAとユーザBが居る状態であり、ユーザAは、情報を提示したいユーザであり、ユーザBは、情報を秘匿したいユーザである。
ユーザBは、図中矢印方向に移動している。ユーザBが移動することで、ユーザAにより死角となる領域も異なる。よって、ある時点で、ユーザBにとっての死角はなくても、ユーザBが移動することで、死角となる部分が発生することもある。
このように、ユーザBが移動することで、死角が発生する可能性があり、そのような変化も検出対象とされる。
このようなユーザBの移動も死角検出時に考慮されるようにしても良い。例えば、ユーザBの移動速度を予測し、死角31が発生するタイミングを予測し、そのタイミングで死角31に情報が表示されるように制御が行われるようにすることができる。
また、移動しているユーザBに対して情報を秘匿したい場合、そのユーザBの移動速度により、情報の表示が制御されるようにしても良い。例えば、ユーザBの移動速度が速い場合、ユーザBが通り過ぎるのを待ってから情報が表示されるように制御することができる。また、ユーザBの移動速度が遅い場合や、滞在している(停止している)場合に、ユーザBの死角が検出されるようにし、その死角に情報が表示されるように制御することができる。
例えば、ステップS15の処理が実行される前に、ユーザBの移動速度を検出し、その移動速度により、死角を検出するか否かが判定され、死角を検出すると判定されたときには、ステップS15以降の処理が実行されるようにしても良い。
また、ユーザが移動しているか否か、移動しているときの移動速度などの情報は、位置関係検出部71が検出し、例えば、ステップS13の処理を実行するときに、位置関係を検出すると共に、移動速度なども検出されるように構成することができる。また、そのとき、移動方向の予測も行われるようにし、後段の処理で用いられるように構成することもできる。
また、情報を秘匿したいユーザBの移動方向が予測され、その予測された移動方向に、ユーザBが移動したときに、死角となる領域が検出され、その死角となる領域に、情報が表示されるようにしても良い。
また、情報を提示したいユーザAが移動している場合もある。ユーザAが移動しているときに情報を提示したい場合、ユーザAの移動速度が速いときには、呼びかけなどの上記した誘導刺激が提示され、ユーザAの注意を引くような処理が実行されるようにしても良い。また、そのような呼びかけは、提示する情報の重要度が高い場合に行われ、低い場合には行われないようにしても良い。
また、情報を提示したいユーザAの移動速度と移動方向が検知され、ユーザAが、その検知された移動速度で、検知された移動方向に移動した場合に、その移動先で、情報を秘匿したいユーザBの死角となる領域が検出され、その死角に情報が表示されるようにしても良い。
図10に示したフローチャートを参照した説明に戻り、ステップS19において、表示している情報があると判定された場合、ステップS21に処理が進められる。ステップS21に処理が来るのは死角がないと判定された場合であり、かつ表示している情報があると判定されたときである。
すなわち、死角があり、情報が表示されていた状態であったが、情報を提示したいユーザAまたは/および情報を秘匿したいユーザBに変化があり、死角がなくなった状態に変化した場合である。
このような状態は、ユーザBに情報が視認されてしまう可能性があるため、ステップS21において、表示されていた情報が消去される(表示されていた情報が、表示されない状態にされる)。この後、ステップS18に処理が進められ、それ以降の処理が繰り返される。
ステップS18以降の処理が繰り返されることで、死角が再度発生した場合、その死角に情報が表示される。
このように、ユーザの視線が変化したり、予測していたユーザの移動方向(移動軌跡)が予想通りではなかったり、ユーザが振り向いたりして、状態が変化した場合、提示されていた情報が消去されたり、または、死角がなく表示できなかった情報が表示されたりといった処理が、適切に行われる。
なお、表示された情報は、所定の時間が経過した後、消去されたり、情報を確認したユーザから、情報を確認したことを示す何らかのアクションが行われたときに消去されたりする制御が行われるようにすることもできる。
また、情報の発信者に対して、情報を提示したいユーザに、情報を提示したことをフィードバックするような仕組みを設けても良い。また情報を提示した結果、ユーザが情報を確認したことが確認できるようなときには、ユーザが情報を確認したということを発信者にフィードバックするような仕組みを設けても良い。
上述したように、ユーザの位置、視線方向、移動方向などを取得し、ユーザの死角を検出し、その検出した死角に情報が表示される。よって、情報を提示したくないユーザに、情報が提示されてしまうようなことを防ぐことができる。
また、情報の表示場所だけでなく、情報の表示のタイミングや、ユーザの動きを考慮した表示を行うことができる。
また上記した実施の形態において、情報は、所定の部屋にのみ表示するようにしても良い。例えば、キッチンや寝室など、ゲストが入らないような部屋に情報を表示するようにし、情報の提示が行われるときには、ユーザをその部屋に誘導するようにしても良い。その誘導時に、上記したような、死角を検出し、その検出した死角に、誘導するための情報を表示するように構成することもできる。
また、上記した実施の形態においては、情報を表示部14で表示することでユーザに提示する場合を例に挙げて説明したが、音により情報を提示するようにすることも可能である。
例えば、図12に示すように、指向性の高いスピーカ301から、ユーザAに情報を音声で伝えるようにしても良い。図12において、ユーザAは情報を伝えたいユーザであり、ユーザBは情報を秘匿したいユーザである。
指向性の高いスピーカ301とユーザAとの間に、ユーザBが居ない状態のときに、換言すれば、スピーカ301からの音声が届く範囲にユーザAが居て、スピーカ301からの音声が届かない範囲にユーザBが居る状態のときに、スピーカ301から音声が発せられ、ユーザAに情報が提示される。
また音声でユーザが情報を提示する場合、例えば、ユーザAがいつも居る場所に音像が定位するようにしておいても良い。
また、ユーザ毎のテーマ音楽を決めておき、そのテーマ音楽とともに情報を提示するようにしても良い。テーマ音楽は、ユーザ自身が登録した音楽や、そのユーザが好んで聴いている音楽が設定されるようにすることができる。
また、音声で情報を提示するようにした場合、情報を提示したくないユーザに対して、音楽を流し、その音楽の音量を大きくするなどのマスキングが行われるようにしても良い。
同様に、情報を表示して提示するようにした場合にも、マスキングが行われるようにしても良い。例えば、提示したい情報とともに、その情報に似た視覚情報を多数提示することでマスキングが行われるようにしても良い。
また音声だけでなく、上記した表示と合わせて情報を提示するようにすることも勿論可能である。
上記した実施の形態における情報の提示は、例えば、家庭内において、ゲストが来ているときに、家人に情報を提示するときに用いることができる。また、家庭内において、子供には知らせたくない情報を大人に提示するときに用いることができる。
また、パーティー会場などで、所定の参観者に情報を提示したいときに適用できる。また、学会のポスターセッションなどにおいて、所定の出席者にのみ情報を提示するなどのときにも適用できる。
<記録媒体について>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図13は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。例えば、情報処理部12(図5)を、コンピュータで構成することができる。
コンピュータにおいて、CPU(Central Processing Unit)501、ROM(Read Only Memory)502、RAM(Random Access Memory)503は、バス504により相互に接続されている。バス504には、さらに、入出力インタフェース505が接続されている。入出力インタフェース505には、入力部506、出力部507、記憶部508、通信部509、及びドライブ510が接続されている。
入力部506は、キーボード、マウス、マイクロフォンなどよりなる。出力部507は、ディスプレイ、スピーカなどよりなる。記憶部508は、ハードディスクや不揮発性のメモリなどよりなる。通信部509は、ネットワークインタフェースなどよりなる。ドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア511を駆動する。
以上のように構成されるコンピュータでは、CPU501が、例えば、記憶部508に記憶されているプログラムを、入出力インタフェース505及びバス504を介して、RAM503にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU501)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア511に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブルメディア511をドライブ510に装着することにより、入出力インタフェース505を介して、記憶部508にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部509で受信し、記憶部508にインストールすることができる。その他、プログラムは、ROM502や記憶部508に、予めインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また他の効果があってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
(1)
複数のユーザの位置関係を検出する位置関係検出部と、
前記複数のユーザのうちの第1のユーザの死角を検出する検出部と、
前記検出部により検出された前記死角に、情報を表示するための制御を行う表示制御部と
を備える情報処理装置。
(2)
第2のユーザの視線方向を検出する視線検出部をさらに備え、
前記表示制御部は、前記第2のユーザの視線方向に位置する前記死角に、前記情報を表示するための制御を行う
前記(1)に記載の情報処理装置。
(3)
前記第1のユーザの視線方向を検出する視線検出部をさらに備え、
前記検出部は、前記第1のユーザの視線方向ではない部分を、前記死角として検出する
前記(1)または(2)に記載の情報処理装置。
(4)
前記検出部は、前記第1のユーザの視線が遮蔽物により遮蔽される部分を、前記死角として検出する
前記(1)乃至(3)のいずれかに記載の情報処理装置。
(5)
前記検出部は、前記第1のユーザの移動速度を検知し、その検知した移動速度で前記第1のユーザが移動したときに、死角となる領域を検出する
前記(1)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記検出部が、前記第1のユーザの移動速度が速いと検知した場合、前記表示制御部は、前記第1のユーザが通り過ぎた後に、前記死角に情報が表示されるように表示を制御する
前記(5)に記載の情報処理装置。
(7)
前記検出部は、前記第1のユーザの移動方向を予測し、その予測した移動方向に前記第1のユーザが移動したときに、死角となる領域を検出する
前記(1)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記検出部は、前記第2のユーザの移動方向と移動速度を検知し、その検知された移動方向に、前記移動速度で、前記第2のユーザが移動したときに、前記第1のユーザの死角となる領域を検出する
前記(1)に記載の情報処理装置。
(9)
前記表示制御部は、前記第2のユーザに通知したい情報があることを、前記第2のユーザに認識させるための表示の制御を行う
前記(1)乃至(8)のいずれかに記載の情報処理装置。
(10)
前記表示制御部は、前記第2のユーザに通知したい情報を表示する所定の位置まで誘導するための表示の制御を行う
前記(1)乃至(9)のいずれかに記載の情報処理装置。
(11)
前記表示制御部は、前記死角に前記情報を投影して表示するための制御を行う
前記(1)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記表示制御部は、前記死角に設置されているディスプレイに前記情報を表示するための制御を行う
前記(1)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記表示制御部は、前記第2のユーザの個人端末で前記情報が表示されることを前記第2のユーザに認識させるための表示の制御を行う
前記(1)に記載の情報処理装置。
(14)
前記第2のユーザに音声により前記情報を提示するための制御を行う音声出力制御部をさらに備える
前記(1)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記音声出力制御部は、前記第2のユーザに通知したい情報があることを、前記第2のユーザに認識させるための音声の出力の制御を行う
前記(14)に記載の情報処理装置。
(16)
前記音声出力制御部は、前記第2のユーザに通知したい情報を表示する所定の位置まで誘導するための音声の出力の制御を行う
前記(14)または(15)に記載の情報処理装置。
(17)
前記音声出力制御部は、指向性の高いスピーカでの音声の出力を制御する
前記(14)乃至(16)のいずれかに記載の情報処理装置。
(18)
複数のユーザの位置関係を検出し、
前記複数のユーザのうちの第1のユーザの死角を検出し、
検出された前記死角に、情報を表示するための制御を行う
ステップを含む情報処理方法。
(19)
コンピュータに、
複数のユーザの位置関係を検出し、
前記複数のユーザのうちの第1のユーザの死角を検出し、
検出された前記死角に、情報を表示するための制御を行う
ステップを含む処理を実行させるためのプログラム。
11 情報取得部, 12 情報処理部, 13 音声出力部, 14 表示部, 31 家庭外ネットワーク, 51 ユーザ認識情報取得部, 52 位置情報取得部, 71 位置関係検出部, 72 視線検出部, 73 ユーザ認識部, 74 ユーザデータベース, 75 死角検出部, 76 情報提示処理部, 77 音声出力制御部, 78 表示制御部

Claims (19)

  1. 複数のユーザの位置関係を検出する位置関係検出部と、
    前記複数のユーザのうちの第1のユーザの死角を検出する検出部と、
    前記検出部により検出された前記死角に、情報を表示するための制御を行う表示制御部と
    を備える情報処理装置。
  2. 第2のユーザの視線方向を検出する視線検出部をさらに備え、
    前記表示制御部は、前記第2のユーザの視線方向に位置する前記死角に、前記情報を表示するための制御を行う
    請求項1に記載の情報処理装置。
  3. 前記第1のユーザの視線方向を検出する視線検出部をさらに備え、
    前記検出部は、前記第1のユーザの視線方向ではない部分を、前記死角として検出する
    請求項1に記載の情報処理装置。
  4. 前記検出部は、前記第1のユーザの視線が遮蔽物により遮蔽される部分を、前記死角として検出する
    請求項1に記載の情報処理装置。
  5. 前記検出部は、前記第1のユーザの移動速度を検知し、その検知した移動速度で前記第1のユーザが移動したときに、死角となる領域を検出する
    請求項1に記載の情報処理装置。
  6. 前記検出部が、前記第1のユーザの移動速度が速いと検知した場合、前記表示制御部は、前記第1のユーザが通り過ぎた後に、前記死角に情報が表示されるように表示を制御する
    請求項5に記載の情報処理装置。
  7. 前記検出部は、前記第1のユーザの移動方向を予測し、その予測した移動方向に前記第1のユーザが移動したときに、死角となる領域を検出する
    請求項1に記載の情報処理装置。
  8. 前記検出部は、前記第2のユーザの移動方向と移動速度を検知し、その検知された移動方向に、前記移動速度で、前記第2のユーザが移動したときに、前記第1のユーザの死角となる領域を検出する
    請求項1に記載の情報処理装置。
  9. 前記表示制御部は、前記第2のユーザに通知したい情報があることを、前記第2のユーザに認識させるための表示の制御を行う
    請求項1に記載の情報処理装置。
  10. 前記表示制御部は、前記第2のユーザに通知したい情報を表示する所定の位置まで誘導するための表示の制御を行う
    請求項1に記載の情報処理装置。
  11. 前記表示制御部は、前記死角に前記情報を投影して表示するための制御を行う
    請求項1に記載の情報処理装置。
  12. 前記表示制御部は、前記死角に設置されているディスプレイに前記情報を表示するための制御を行う
    請求項1に記載の情報処理装置。
  13. 前記表示制御部は、前記第2のユーザの個人端末で前記情報が表示されることを前記第2のユーザに認識させるための表示の制御を行う
    請求項1に記載の情報処理装置。
  14. 前記第2のユーザに音声により前記情報を提示するための制御を行う音声出力制御部をさらに備える
    請求項1に記載の情報処理装置。
  15. 前記音声出力制御部は、前記第2のユーザに通知したい情報があることを、前記第2のユーザに認識させるための音声の出力の制御を行う
    請求項14に記載の情報処理装置。
  16. 前記音声出力制御部は、前記第2のユーザに通知したい情報を表示する所定の位置まで誘導するための音声の出力の制御を行う
    請求項14に記載の情報処理装置。
  17. 前記音声出力制御部は、指向性の高いスピーカでの音声の出力を制御する
    請求項14に記載の情報処理装置。
  18. 複数のユーザの位置関係を検出し、
    前記複数のユーザのうちの第1のユーザの死角を検出し、
    検出された前記死角に、情報を表示するための制御を行う
    ステップを含む情報処理方法。
  19. コンピュータに、
    複数のユーザの位置関係を検出し、
    前記複数のユーザのうちの第1のユーザの死角を検出し、
    検出された前記死角に、情報を表示するための制御を行う
    ステップを含む処理を実行させるためのプログラム。
JP2018537104A 2016-08-29 2017-08-15 情報処理装置、情報処理方法、並びにプログラム Active JP6891893B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016166784 2016-08-29
JP2016166784 2016-08-29
PCT/JP2017/029344 WO2018043115A1 (ja) 2016-08-29 2017-08-15 情報処理装置、情報処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018043115A1 true JPWO2018043115A1 (ja) 2019-06-24
JP6891893B2 JP6891893B2 (ja) 2021-06-18

Family

ID=61305253

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018537104A Active JP6891893B2 (ja) 2016-08-29 2017-08-15 情報処理装置、情報処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US10810973B2 (ja)
EP (1) EP3506058A4 (ja)
JP (1) JP6891893B2 (ja)
WO (1) WO2018043115A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7102169B2 (ja) * 2018-02-28 2022-07-19 パナソニックホールディングス株式会社 装置、ロボット、方法、及びプログラム
JP2021170146A (ja) * 2018-06-13 2021-10-28 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
JP2022066915A (ja) * 2020-10-19 2022-05-02 株式会社リコー 表示入力装置、プログラム、及び表示入力方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306464A (ja) * 2000-04-21 2001-11-02 Mind:Kk 電子メール着信報知装置とコンピュータ機器内の指定情報報知装置
JP2006081117A (ja) * 2004-09-13 2006-03-23 Ntt Docomo Inc 超指向性スピーカシステム
JP2007266754A (ja) * 2006-03-27 2007-10-11 Denso Corp 車両用音声入出力装置および音声入出力装置用プログラム
JP2009026200A (ja) * 2007-07-23 2009-02-05 Toyota Motor Corp 自律移動装置
JP2011081615A (ja) * 2009-10-07 2011-04-21 Ntt Docomo Inc 死角場所推定装置及び死角場所推定方法
JP2011118842A (ja) * 2009-12-07 2011-06-16 Canon Inc 情報処理装置、表示制御方法及びプログラム
JP2012027641A (ja) * 2010-07-22 2012-02-09 Hitachi Omron Terminal Solutions Corp 表示画像制御ユニット、表示画像制御プログラム、および自動取引処理装置
JP2013120373A (ja) * 2011-12-09 2013-06-17 Sharp Corp 表示装置及びそれを備えた画像形成装置
JP2016024747A (ja) * 2014-07-24 2016-02-08 日立オムロンターミナルソリューションズ株式会社 自動取引装置、表示画像制御方法、および表示画像制御プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2264621A3 (en) * 2004-12-31 2011-11-23 Nokia Corp. Provision of target specific information
US20120176525A1 (en) * 2011-01-12 2012-07-12 Qualcomm Incorporated Non-map-based mobile interface
US20120182313A1 (en) * 2011-01-13 2012-07-19 Pantech Co., Ltd. Apparatus and method for providing augmented reality in window form
JP2016045623A (ja) * 2014-08-21 2016-04-04 ソニー株式会社 情報処理装置および制御方法
WO2016151950A1 (ja) * 2015-03-20 2016-09-29 日本電気株式会社 監視システム、監視方法および監視プログラム
JP6424341B2 (ja) * 2016-07-21 2018-11-21 パナソニックIpマネジメント株式会社 音響再生装置および音響再生システム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001306464A (ja) * 2000-04-21 2001-11-02 Mind:Kk 電子メール着信報知装置とコンピュータ機器内の指定情報報知装置
JP2006081117A (ja) * 2004-09-13 2006-03-23 Ntt Docomo Inc 超指向性スピーカシステム
JP2007266754A (ja) * 2006-03-27 2007-10-11 Denso Corp 車両用音声入出力装置および音声入出力装置用プログラム
JP2009026200A (ja) * 2007-07-23 2009-02-05 Toyota Motor Corp 自律移動装置
JP2011081615A (ja) * 2009-10-07 2011-04-21 Ntt Docomo Inc 死角場所推定装置及び死角場所推定方法
JP2011118842A (ja) * 2009-12-07 2011-06-16 Canon Inc 情報処理装置、表示制御方法及びプログラム
JP2012027641A (ja) * 2010-07-22 2012-02-09 Hitachi Omron Terminal Solutions Corp 表示画像制御ユニット、表示画像制御プログラム、および自動取引処理装置
JP2013120373A (ja) * 2011-12-09 2013-06-17 Sharp Corp 表示装置及びそれを備えた画像形成装置
JP2016024747A (ja) * 2014-07-24 2016-02-08 日立オムロンターミナルソリューションズ株式会社 自動取引装置、表示画像制御方法、および表示画像制御プログラム

Also Published As

Publication number Publication date
EP3506058A1 (en) 2019-07-03
WO2018043115A1 (ja) 2018-03-08
US20190189088A1 (en) 2019-06-20
US10810973B2 (en) 2020-10-20
EP3506058A4 (en) 2019-08-14
JP6891893B2 (ja) 2021-06-18

Similar Documents

Publication Publication Date Title
KR102325697B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN112166350B (zh) 智能设备中的超声感测的系统和方法
US11303955B2 (en) Video integration with home assistant
US20170199934A1 (en) Method and apparatus for audio summarization
US9918042B2 (en) Performing electronic conferencing operations using electronic portals at different locations
JP2016502192A (ja) 応答エンドポイント選択
CN112136102B (zh) 信息处理装置、信息处理方法以及信息处理系统
WO2017141530A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JPWO2018043115A1 (ja) 情報処理装置、情報処理方法、並びにプログラム
CN109804407B (zh) 关心维持系统以及服务器
US11340565B2 (en) Information processing apparatus, information processing method, and program
KR102638946B1 (ko) 정보 처리 장치 및 정보 처리 방법, 그리고 정보 처리 시스템
US11216242B2 (en) Audio output system, audio output method, and computer program product
JP7070546B2 (ja) 情報処理装置および情報処理方法
US11081128B2 (en) Signal processing apparatus and method, and program
US20210271441A1 (en) Information processor, information processing method, and program
US20240160298A1 (en) Point and gesture control of remote devices
JP2005354531A (ja) 画像表示方法、端末装置、及び双方向対話システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210302

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210408

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210427

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210510

R151 Written notification of patent or utility model registration

Ref document number: 6891893

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151