JPWO2018163637A1 - 情報処理装置、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理方法及び記録媒体 Download PDF

Info

Publication number
JPWO2018163637A1
JPWO2018163637A1 JP2019504373A JP2019504373A JPWO2018163637A1 JP WO2018163637 A1 JPWO2018163637 A1 JP WO2018163637A1 JP 2019504373 A JP2019504373 A JP 2019504373A JP 2019504373 A JP2019504373 A JP 2019504373A JP WO2018163637 A1 JPWO2018163637 A1 JP WO2018163637A1
Authority
JP
Japan
Prior art keywords
information
guidance
user
information processing
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019504373A
Other languages
English (en)
Other versions
JP7020474B2 (ja
Inventor
健太郎 井田
健太郎 井田
拓也 池田
拓也 池田
文彦 飯田
文彦 飯田
龍一 鈴木
龍一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018163637A1 publication Critical patent/JPWO2018163637A1/ja
Application granted granted Critical
Publication of JP7020474B2 publication Critical patent/JP7020474B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザを誘導することでユーザの気付きを支援する仕組みを提案する。ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、を備える情報処理装置。

Description

本開示は、情報処理装置、情報処理方法及び記録媒体に関する。
近年、テレビ受像機(以下、単にTVとも称する)及びプロジェクタ等の固定型表示機器、並びにスマートフォン及びノートPC(Personal Computer)等のモバイル型表示機器といった多様な表示機器が開発されている。例えば、下記特許文献1では、テーブルに映像を投影して、テーブルに映った画像とユーザとのインタラクションを可能にする、テーブルトップ用インタラクティブプロジェクタが開示されている。
特開2015−90524号公報
上記特許文献1等に記載されている技術は、ユーザが画面を当然に見ることが想定されている。しかし、ユーザは、常に画面を見ているとは限らない。従って、画面に表示されるユーザへの通知等の、気付くべき情報にユーザが気付かない場合がある。このことは、表示機器に限定されない。例えば、時計により表される時刻、及び探し物等は、ユーザの視界に入らなければユーザは気付かない。また、着信音等の音声通知に関しても、環境音にかき消されてしまえばユーザは気付かない。
そこで、本開示では、ユーザを誘導することでユーザの気付きを支援する仕組みを提案する。
本開示によれば、ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、を備える情報処理装置が提供される。
また、本開示によれば、ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させること、を含む情報処理方法が提供される。
また、本開示によれば、コンピュータを、ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、として機能させるためのプログラムを記録した記録媒体が提供される。
本開示によれば、ユーザを誘導場所に誘導するための誘導情報が、投影装置によりユーザがいる空間に投影される。これにより、ユーザが気付くべき情報にユーザを誘導して、ユーザの気付きを支援することが可能となる。
以上説明したように本開示によれば、ユーザを誘導することでユーザの気付きを支援する仕組みが提供される。なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態に係るシステムの概要を説明するための図である。 本実施形態に係るシステムの構成の一例を示すブロック図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにより投影される誘導情報の一例を示す図である。 本実施形態に係るシステムにおいて実行される誘導処理の流れの一例を示すシーケンス図である。 本実施形態に係るシステムにおいて実行される誘導処理の流れの一例を説明するための図である。 第1の実施例を説明するための図である。 第1の実施例を説明するための図である。 第2の実施例を説明するための図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.はじめに
1.1.システムの概要
1.2.技術的課題
2.構成例
3.処理の流れ
4.実施例
4.1.第1の実施例
4.2.第2の実施例
5.ハードウェア構成例
6.まとめ
<<1.はじめに>>
<1.1.システムの概要>
図1は、本開示の一実施形態に係るシステム1の概要を説明するための図である。図1に示すように、本実施形態に係るシステム1は、情報処理装置100、出力装置200及びセンサ装置300(300A及び300B)を含む。
センサ装置300は、様々な情報をセンシングする装置である。例えば、センサ装置300は、カメラ、及びマイクロフォン等を含み、ユーザ及びユーザがいる空間に関する情報をセンシングする。例えば、センサ装置300は、ユーザの位置、姿勢、視線、部屋の形状、家具の配置、及びキャビネットに収納されたスマートフォン20に着信が来たことをセンシングする。
出力装置200は、情報処理装置100からの様々な情報を出力する装置である。例えば、出力装置200は、いわゆるムービングプロジェクタであり、センサ装置300がセンシングする空間に含まれる壁、床、又は家具等の任意の場所(即ち、領域)を投影場所(即ち、投影面又は投影領域)として情報を投影可能である。なお、投影場所は、平面に限定されず、曲面であってもよいし、複数の面に分かれていてもよい。
情報処理装置100は、出力装置200及びセンサ装置300を制御して、ユーザの誘導処理を行う。詳しくは、情報処理装置100は、ユーザの視界の外にある、ユーザが気付くべき情報に対応する場所(以下、誘導場所とも称する)に、ユーザを誘導する。
例えば、ユーザが部屋で家事をしている最中に、キャビネットに収納されたスマートフォン20に着信が来たものとする。この場合、システム1は、センサ装置300によりセンシングされた情報に基づき、出力装置200により誘導情報を投影することで、ユーザをスマートフォン20に誘導するための誘導処理を行う。詳しくは、まず、システム1は、ユーザの視線方向の先にある壁を投影場所として誘導情報10Aを投影することで、ユーザに初期の気付きを与える。ユーザが誘導情報10Aに気付くと、システム1は、誘導情報10Bを投影してユーザの視線を誘導情報10Bに誘導する。そして、システム1は、ユーザの視線が誘導情報10Bに誘導されると誘導情報10Cを投影し、ユーザの視線が誘導情報10Cに誘導されると誘導情報10Dを投影し、ユーザの視線が誘導情報10Dに誘導されると誘導情報10Eを投影する。誘導情報10Eは、スマートフォン20が収納されたキャビネットの前面を投影場所として投影される。これにより、システム1は、ユーザをスマートフォン20に誘導して、着信に気付かせることが可能となる。
なお、出力装置200及びセンサ装置300は、単数であってもよいし複数であってもよい。
<1.2.技術的課題>
近年、テレビ受像機及びプロジェクタ等の固定型表示機器、並びにスマートフォン及びノートPC等のモバイル型表示機器といった、画像(静止画像又は動画像)を表示するための多様な表示機器が開発されている。しかし、ユーザが常に画面を見ているとは限らないので、画面に表示されるユーザへの通知等の、気付くべき情報にユーザが気付かない場合がある。例えば、ユーザがいる空間における様々な表示機器は、メール受信、スケジュール通知、及びメッセージアプリケーションによる通知等の、ユーザ操作ではない外的要因で、表示が切り替わる又は画面オフ状態からオン状態になる等する。このような外的要因に起因する表示は、ユーザに気付かれにくい。また、空間における任意の場所に投影可能な、いわゆるムービングプロジェクタに関しても、任意の場所に投影されるからこそユーザが画像に気付かない可能性がある。
その対策として、例えばスマートフォンでは着信音を鳴らす又は振動する、といったことが行われてきた。しかし、着信音は、環境音にかき消される、ユーザが別の音を聞いている(電話中又は音楽を聴いている等)、別の部屋にいる等して、気付かれない場合がある。また、振動は、ユーザがスマートフォンを身に着けていないと気付かれない場合がある。さらには、モバイル機器の場合、いつも同じ場所に必ず置いてあるとは限らず、必要な時に置いてある場所が分からない、という事態も生じていた。
そこで、本実施形態では、ユーザが気付くべき情報へユーザを誘導することでユーザの気付きを支援する仕組みを提案する。
<<2.構成例>>
図2は、本実施形態に係るシステム1の構成の一例を示すブロック図である。図2に示すように、システム1は、情報処理装置100、出力装置200及びセンサ装置300を含む。
(1)出力装置200
出力装置200は、プロジェクタ210、TV220、タブレット230、スマートフォン240、PC250、スピーカ260、及び単一指向性スピーカ270を含む。なお、システム1は、出力装置200として、これらのうち一つ又は複数を組み合わせ含んでも良いし、同一種類の装置を複数含んでも良い。
プロジェクタ210は、空間の任意の場所に画像を投影する投影装置である。プロジェクタ210は、例えば固定型の広角プロジェクタであってもよいし、Pan/Tilt駆動型等の投影方向を変更可能な可動部を備えるいわゆるムービングプロジェクタであってもよい。TV220は、テレビジョン放送の電波を受信して、画像及び音声を出力する装置である。タブレット230は、典型的にはスマートフォン240より大きな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。スマートフォン240は、典型的にはタブレット230より小さな画面を有する無線通信可能なモバイル機器であり、画像、音声及び振動等を出力可能である。PC250は、固定型のデスクトップPCであってもよいし、モバイル型のノートPCであってもよく、画像及び音声等を出力可能である。スピーカ260は、DAC(Digital Analog Converter)およびアンプを介して、音声データをアナログ信号に変換し、出力(再生)する。単一指向性スピーカ270は、単一の方向に指向性を形成可能なスピーカである。
出力装置200は、情報処理装置100による制御に基づいて情報を出力する。情報処理装置100は、出力する情報の内容に加えて、出力方法も制御可能である。例えば、情報処理装置100は、プロジェクタ210の投影方向を制御したり、単一指向性スピーカ270の指向性を制御したりすることができる。また、出力装置200は、外的要因によりユーザへの通知情報が発生したことを、情報処理装置100に報告する。
なお、出力装置200は、上述した構成要素以外の任意の出力が可能な構成要素を含んでいてもよい。例えば、出力装置200は、HMD(Head Mounted Display)、AR(Augmented Reality)グラス、及び時計型デバイス等のウェアラブルデバイスを含んでいてもよい。
(2)センサ装置300
センサ装置300は、カメラ310、デプスセンサ320及びマイクロフォン330を含む。
カメラ310は、RGBカメラ等の、レンズ系、駆動系、及び撮像素子を有し、画像(静止画像又は動画像)を撮像する撮像装置である。デプスセンサ320は、赤外線測距装置、超音波測距装置、LiDAR(Laser Imaging Detection and Ranging)又はステレオカメラ等の深度情報を取得する装置である。マイクロフォン330は、周囲の音を収音し、アンプおよびADC(Analog Digital Converter)を介してデジタル信号に変換した音声データを出力する装置である。
センサ装置300は、情報処理装置100による制御に基づいて情報をセンシングする。例えば、情報処理装置100は、カメラ310のズーム率及び撮像方向を制御することができる。
なお、センサ装置300は、上述した構成要素以外の任意のセンシングが可能な構成要素を含んでいてもよい。例えば、センサ装置300は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置を含んでいてもよい。また、センサ装置300は、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、照度センサ、及び力センサ等の各種のセンサを含み得る。
(3)情報処理装置100
情報処理装置100は、I/F(Interface)部110、誘導場所設定部120、誘導場所記憶部130、ユーザ情報検出部140、環境情報検出部150、環境情報記憶部160及び制御部170を含む。
・I/F部110
I/F部110は、情報処理装置100と他の機器とを接続するための接続装置である。I/F部110は、例えばUSB(Universal Serial Bus)コネクタ等により実現され、出力装置200及びセンサ装置300の各構成要素との間で情報の入出力を行う。
・誘導場所設定部120
誘導場所設定部120は、誘導場所を設定する。
誘導場所設定部120は、所定のトリガに応じた誘導場所を予め設定してもよい。例えば、誘導場所設定部120は、ユーザの帰宅に対応する誘導場所として、照明スイッチの場所を設定する。これにより、システム1は、ユーザが夜に帰宅した場合に、ユーザを玄関から照明のスイッチの場所まで誘導する。このように、システム1は、予め設定されたユーザが気付くべき情報を、ユーザに気付かせることが可能である。なお、誘導場所の設定は、ユーザにより行われてもよいし、システム1側により行われてもよい。
誘導場所設定部120は、ユーザに対して発生した通知情報に対応する場所を誘導場所として設定してもよい。例えば、誘導場所設定部120は、ユーザのスマートフォンに着信が入った又はメールを受信した場合に、当該スマートフォンの場所を誘導場所として設定する。これにより、システム1は、スマートフォンに着信が入った又はメールを受信したスマートフォンの場所までユーザを誘導する。また、例えば、誘導場所設定部120は、急な天気変化による降雨通知、調理タイマー通知、又はインターホン等の来客通知など、生活行動に紐付く情報が提示された場合に、かかる情報が提示された場所を誘導情報として設定する。なお、このような情報は、例えば超単焦点プロジェクタにより、常時提示される情報の一部として提示され得る。例えば、システム1は、注意すべき生活行動に紐付く情報が提示された場合、かかる提示がされた場所にユーザを誘導する。このように、システム1は、ユーザが気付くべき情報が突発的に発生した場合にも、かかる情報をユーザに気付かせることが可能である。
なお、出力装置200は、システム1による制御に基づいて情報を出力することも可能であるし、外的要因に基づいて情報を出力することも可能である。そして、外的要因に基づいて情報を出力することは、出力装置200から情報処理装置100に報告されてもよいし、センサ装置300を介して検出されてもよい。例えば、スマートフォン240は、着信が入ったこと又はメールを受信したことを情報処理装置100に通知してもよい。また、情報処理装置100は、着信音の音声認識結果又は画面の画像認識結果に基づいて、着信が入ったこと又はメールを受信したことを検出してもよい。もちろん、情報処理装置100と接続されていない機器が外的要因に基づいて情報を出力した場合、当該機器の場所が誘導場所として設定されてもよい。
・誘導場所記憶部130
誘導場所記憶部130は、誘導場所を記憶する。とりわけ、誘導場所記憶部130は、所定のトリガと対応する誘導場所との組み合わせを記憶する。
・ユーザ情報検出部140
ユーザ情報検出部140は、センサ装置300によりセンシングされた情報に基づいてユーザ情報を検出する機能を有する。ユーザ情報は、ユーザに関する情報である。
ユーザ情報は、センサ装置300によりセンシングされる空間内におけるユーザの位置を示す情報を含み得る。ユーザの位置は、サーモカメラ、RGBカメラ、赤外線センサ又は超音波センサ等により検出され得る。
ユーザ情報は、ユーザの視線を示す情報を含み得る。ユーザの視線を示す情報は、視点の位置及び視線方向を示す情報を含む。またユーザの視線を示す情報は、ユーザの顔や頭の向きを示す情報であってもよいし、さらに眼球の向きを示す情報であってもよい。ユーザの視線を示す情報は、RGBカメラ、赤外線カメラ、又はユーザに装着された接眼カメラ等により得られるユーザの目の画像を解析することで検出され得る。
ユーザ情報は、ユーザの姿勢を示す情報を含み得る。ユーザの姿勢を示す情報は、RGBカメラ又は赤外線カメラ等により得られる画像を解析することで検出され得る。
・環境情報検出部150
環境情報検出部150は、センサ装置300によりセンシングされた情報に基づいて環境情報を検出する機能を有する。環境情報は、ユーザがいる空間に関する情報である。環境情報は多様な情報を含み得る。
環境情報は、ユーザがいる空間の形状を示す情報を含み得る。空間の形状を示す情報は、例えば、壁面、天井、床、ドア、家具、及び生活用品等の、空間を形成する物体の形状を示す情報を含む。空間の形状を示す情報は、2次元情報であってもよいし、ポイントクラウド等の3次元情報であってもよい。空間の形状を示す情報は、例えば赤外線測距、超音波測距、又はステレオカメラにより得られる深度情報に基づいて検出され得る。
環境情報は、投影面の状態を示す情報を含み得る。投影面の状態は、例えば投影面の凹凸及び色を意味する。投影面の凹凸は、例えばLiDARにより得られる深度情報に基づいて検出され得る。投影面の色は、例えばRGBカメラにより撮像された画像を解析することで検出され得る。
環境情報は、投影面の明るさを示す情報を含み得る。投影面の明るさは、照度センサ又はRGBカメラにより検出され得る。
環境情報は、空間内の物体の位置を示す情報を含み得る。例えば、部屋の中のコップ、椅子、テーブル、及び電子機器等の位置は、画像認識により検出され得る。また、例えば、部屋の中のスマートフォンの位置は、スマートフォンと無線LANのアクセスポイントとの通信に係る電波強度により検出され得る。
環境情報検出部150は、検出した環境情報を、環境情報記憶部160及び制御部170に出力する。
・環境情報記憶部160
環境情報記憶部160は、環境情報検出部150により検出された環境情報を記憶する。
・制御部170
制御部170は、各種プログラムに従って情報処理装置100内の動作全般を制御する。制御部170は、表示制御部171及び音響制御部173を含む。表示制御部171は、出力装置200による表示を制御する。音響制御部173は、出力装置200による音声出力を制御する。
制御部170は、誘導場所設定部120、誘導場所記憶部130、ユーザ情報検出部140、及び環境情報検出部150又は環境情報記憶部160から得られた情報に基づいて誘導処理を制御する誘導制御部として機能する。詳しくは、制御部170は、環境情報及びユーザ情報に基づいて、ユーザを誘導場所に誘導するための誘導情報を出力装置200により出力させる。
とりわけ、本実施形態では、制御部170は、環境情報及びユーザ情報に基づいて、ユーザを誘導場所に誘導するための誘導情報をプロジェクタ210によりユーザがいる空間に投影させる。ここで、ユーザを誘導することは、ユーザの視線を誘導すること、ユーザの移動を誘導すること、及びユーザの姿勢を誘導すること等の、複数の誘導を含む。制御部170は、誘導の際に、誘導情報をスピーカ260からも出力させる等、投影に他の出力を連携させてもよい。なお、本明細書では、少なくともプロジェクタ210により誘導情報が出力される例を説明するが、誘導情報はTV220等により出力されてもよいし、HMD等によりAR表示されてもよい。
制御部170は、環境情報又はユーザ情報の少なくともいずれかに基づいて、ユーザの誘導方法を切り替える。具体的には、制御部170は、誘導経路、出力モーダルインタフェース(例えば出力装置200の方式)、又は誘導情報の内容の少なくともいずれかを切り替える。これにより、システム1は、ユーザの状態及び空間の状態に応じた適切な誘導を行うことが可能となる。
−誘導経路
制御部170は、環境情報又はユーザ情報の少なくともいずれかに基づいて、誘導情報の投影経路を決定する。投影経路とは、誘導情報の投影場所の集合である。例えば、制御部170は、ユーザの現在の視線方向の先にある面又は少なくとも視界に入ると想定される面を始点とし、誘導場所に対応する面を終点とする、投影経路を決定する。終点は、誘導場所と必ずしも一致しなくてもよく、例えば誘導場所がドアの先であればドアが終点であってもよい。例えば誘導情報が投影される場合、誘導情報は投影経路に沿って移動するように投影される。決定される投影経路の情報は、少なくとも始点位置及び終点位置の情報を含むが、そのほかに1または複数の経由点の位置の情報を含んでもよい。
制御部170は、誘導情報の投影場所として不適な領域を避けて投影経路を決定してもよい。例えば、制御部170は、ユーザがいる空間に含まれる領域(壁、床、及び家具等の、空間を形成する物体の表面。換言すると、投影場所の候補となる領域。)のうち、誘導情報の視認性の基準を満たさない領域を避けるように投影経路を決定する。詳しくは、制御部170は、環境情報検出部150により検出された空間や空間内の物体の情報に基づき、ユーザがいる空間に含まれる領域を、誘導情報の視認性の基準を満たす領域と満たさない領域とに分類する。その後、制御部170は、視認性の基準を満たす領域を投影場所として投影経路に含むように、かつ視認性の基準を満たさない領域を投影場所として投影経路に含まないように投影経路を決定する。視認性の基準とは、例えば、領域の透明度(即ち、透過率)、反射率、輝度、色、又はユーザとの位置関係等の、投影された誘導情報の視認に影響を与え得る情報の少なくともいずれかに関する基準(例えば、閾値)である。制御部170は、ユーザがいる空間に含まれる各領域の透明度、反射率、輝度、色、又はユーザとの位置関係等の少なくともいずれかに関する検出情報、並びに視認性の基準に基づいて、投影経路を決定する。視認性の基準に関して具体的に説明すると、視認性の基準を満たす領域とは、例えば誘導情報を投影した場合に、誘導情報が所定以上の輝度を確保でき、且つ透明又は黒色ではない領域である。また、視認性を満たさない領域とは、例えば誘導情報を投影した場合に、誘導情報が所定以上の輝度を確保できない、又は透明若しくは黒色である領域である。なぜなら、誘導情報の輝度が低すぎたり、投影面が透明であったり、黒色であったりする等の場合、投影された誘導情報の視認が困難になり得るためである。また、プロジェクタ210とユーザとの位置関係によっては、ユーザにより隠れる部分に誘導情報を投影することは困難である。そのため、制御部170は、例えば出力装置200のプロジェクタの位置とユーザの位置とに基づき、ユーザの背中等身体の一部やユーザの直上の天井等ユーザの死角となる領域を、誘導情報の視認性の基準を満たさない領域として決定し、かかる領域を避けるように投影経路を決定する。これにより、ユーザは、誘導情報を容易に視認して誘導を受けることが可能となる。
制御部170は、誘導情報の投影場所をユーザの視線の追従に応じて段階的に変更してもよい。まず、制御部170は、ユーザの視線方向の先にある面を投影場所として誘導情報を投影することで、ユーザに初期の気付きを与える。そして、制御部170は、ユーザの視線の追従に応じて、投影経路上で誘導情報を誘導場所に向けて移動させる、即ち投影場所を変更することにより、ユーザを誘導する。投影場所は、連続的に(換言すると、変更量が少ない)変更されてもよいし、離散的に(換言すると、変更量が多い)変更されてもよい。これにより、ユーザは、誘導情報の移動に応じて視線を移すことで、誘導場所までの誘導を受けることが可能となる。
制御部170は、誘導情報の投影場所をユーザの位置の追従に応じて段階的に変更してもよい。例えば、制御部170は、ユーザが投影場所に近づくと、現在の投影場所よりも誘導場所に近い投影経路上の場所に投影場所を変更する。これにより、システム1は、ユーザに誘導場所への移動を促すことが可能となる。
制御部170は、いわゆるムービングプロジェクタであるプロジェクタ210の投影方向を変更させることで誘導情報の投影場所を変更してもよい。これにより、システム1は、空間内の多くの場所を投影場所にすることが可能となる。
−モーダル
制御部170は、環境情報又はユーザ情報の少なくともいずれかに基づいて、誘導情報を出力させる装置、即ちモーダルを決定する。例えば、制御部170は、ユーザの顔が壁と近く、視界内に誘導情報を投影させることが困難な場合、スピーカ260により誘導情報を出力させる。このように、システム1は、様々な出力手段を介してユーザを誘導することが可能である。
−誘導情報の内容
誘導情報の内容は多様に考えられる。以下、その一例を説明する。
例えば、誘導情報は、緊急度を示す情報を含んでいてもよい。この点について、図3を参照して説明する。
図3は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図3に示した誘導情報10A〜10Kは、緊急度を示す情報を含む誘導情報の一例である。詳しくは、誘導情報10A〜10Eは、緊急度を色で表現しており、緊急度が高いほど色が濃い。誘導情報10F〜10Hは、緊急度をアニメーションで表現しており、緊急度が高いほど高速で点滅する。誘導情報10I〜10Kは、緊急度をアイコンで表現しており、緊急度が高いほど警告性が強いアイコンとなる。
例えば、誘導情報は、誘導方向を示す情報を含んでいてもよい。この点について、図4〜図6を参照して説明する。
図4は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図4に示した誘導情報10A〜10Dは、誘導方向を示す情報を含む誘導情報の一例である。詳しくは、誘導情報10Aは、流星のような尾を引く表現であり、誘導方向を流星が流れる先として表現する。誘導情報10Bは、矢印表現であり、誘導方向を矢印の方向として表現する。誘導情報10Cは、三角状の表現であり、誘導方向を三角形の最も尖った頂点の方向として表現する。誘導情報10Dは、色、明るさ、透明度又は太さを誘導方向に関して変化させるグラデーション表現であり、誘導方向をグラデーションの薄い方から濃い方への方向として表現する。
図5は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図5では、矢印表現の誘導情報を用いて誘導処理が行われる例が示されている。図5に示すように、システム1は、ユーザの視線方向の先にある壁を投影場所として誘導情報10Aを投影することで、ユーザに初期の気付きを与え、その後、ユーザの視線の追従に応じて誘導情報10B〜10Eを段階的に投影する。ここで、誘導情報10A〜10Dの各々は、次に投影される誘導情報(例えば、誘導情報10Aにとっては誘導情報10B)の投影場所の方向を矢印で示している。これにより、ユーザを、矢印の先に視線を向けさせて、次に投影される誘導情報に容易に誘導することが可能となる。また、最後に投影される誘導情報10Eは、スマートフォン20の位置を矢印で示している。これにより、ユーザを、スマートフォン20が収納されたキャビネットに容易に誘導することが可能となる。
図6は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図6では、流星のような表現の誘導情報を用いて誘導処理が行われる例が示されている。図6に示すように、システム1は、ユーザの視線方向の先にある壁を投影場所として誘導情報10Aを投影することで、ユーザに初期の気付きを与え、その後、ユーザの視線の追従に応じて誘導情報10B〜10Eを段階的に投影する。ここで、誘導情報10A〜10Dの各々は、次に投影される誘導情報(例えば、誘導情報10Aにとっては誘導情報10B)の投影場所の方向を流星の流れる方向で示している。これにより、ユーザを、流星の流れる方向の先に視線を向けさせて、次に投影される誘導情報に容易に誘導することが可能となる。また、最後に投影される誘導情報10Eは、スマートフォン20の位置を囲む表現で示している。これにより、ユーザを、スマートフォン20が収納されたキャビネットに容易に誘導することが可能となる。
例えば、誘導情報は、誘導のためにユーザに行わせる行動を示す情報を含んでいてもよい。そのために、制御部170は、環境情報又はユーザ情報の少なくともいずれかに基づいて、ユーザに行わせる行動を決定する。例えば、ユーザの視点の高さからは腰を屈めた姿勢でないと視認することが困難な場所が誘導場所である場合には、腰を屈めた姿勢にするよう促す誘導情報が決定される。また、ユーザがいる部屋とは異なる部屋に誘導場所がある場合には、異なる部屋に移動するよう促す誘導情報が決定される。このように、システム1は、ユーザの視線だけでなく、移動及び姿勢等の行動を誘導することができる。以下、誘導のためにユーザに行わせる行動を示す情報を含む誘導情報について、図7及び図8を参照して説明する。
図7は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図7では、誘導のためにユーザに行わせる行動を示す情報を含む誘導情報を用いて誘導処理が行われる例が示されている。システム1は、歩くキャラクタである誘導情報10A〜10Cを、ユーザの移動に応じて投影場所を変えながら投影することで、スマートフォン20が収納されたキャビネットの近くまでユーザを移動させる。次いで、システム1は、ユーザが姿勢を変えるべき位置まで移動してきたことを認識すると、腰を屈める動作を行うキャラクタ(アニメーション)である誘導情報10Dを投影することで、ユーザに腰を屈めるよう姿勢誘導を行う。そして、システム1は、誘導情報10Eを投影することで、誘導場所への誘導を行う。これにより、システム1は、ユーザが移動して腰を屈めないと視認することが困難な場所にユーザを誘導することが可能となる。
図8は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図8では、誘導のためにユーザに行わせる行動を示す情報を含む誘導情報を用いて誘導処理が行われる例が示されている。図8を参照すると、ユーザが今いる部屋の壁に、壁を回り込んで隣の部屋に移動するよう促す誘導情報10が投影されている。この誘導情報10は、アニメーションであってもよい。生活空間では部屋の壁等の遮蔽物が存在する可能性が高い。そのような環境下で、遮蔽物により遮蔽されてユーザの現在地からは見えない場所にユーザが気付くべき情報がある場合がある。その場合に、システム1は、図8に示すように遮蔽物を回り込むよう促す誘導情報10を投影することで、ユーザを誘導場所に誘導することが可能である。図8に示した例では、隣の部屋の壁面に、ユーザが気付くべき情報である画面21が投影されている。システム1は、ユーザが隣の部屋に移動したことをトリガとして、画面21の投影を開始してもよい。
このような、ユーザに行動を促すような誘導が行われることは、視線のみを誘導することに比べて、より幅広い誘導を可能にする。例えば、室内において物を探すユースケースにおいては、システム1は、探し物のだいたいの位置及び方向をユーザに指示し、ユーザが探し物の近くまで移動した場合にさらに姿勢を指示する。これにより、しゃがんだり覗き込んだりしなければ気付きにくい場所の物を、ユーザに気付かせることが可能である。また、例えば誘導場所の周囲が投影場所として不適な場所である場合に、ユーザの姿勢を誘導することで、不適な場所への投影を避けつつ、ユーザを誘導場所誘導することが可能となる。
例えば、誘導情報は、遮蔽物の一部を透過させた表現で誘導場所の様子を示す情報を含んでいてもよい。この点について、図9を参照して説明する。
図9は、本実施形態に係るシステム1により投影される誘導情報の一例を示す図である。図9では、誘導場所の様子を示す情報を含む誘導情報を用いて誘導処理が行われる例が示されている。ユーザがいる部屋から壁を隔てた隣の部屋にTV220があり、TV220にユーザが気付くべき情報が表示されているものとする。このような場合に、図9に示すように、誘導場所のTV220の様子を、壁を透過させた表現で示す画像である誘導情報10が投影される。これにより、ユーザは、誘導場所がTV220であること、及びTV220に何らかの表示がされていることに気付くことが可能となる。
誘導情報は、上記説明した以外にも、多様な表現が可能である。以下、その一例を説明する。
システム1は、環境全体を暗くして、誘導場所を明るく投影してもよい。これにより、ユーザは、誘導場所を容易に視認することが可能となる。
システム1は、ユーザが誘導に気付いていない行動を示した場合に、誘導情報の表現を変えてもよい。これにより、ユーザが誘導情報に気付きやすくなる。
システム1は、ユーザが気付くべき情報が無くなった場合、誘導情報を散らすような表現で消滅させてもよい。これにより、ユーザは、気付くべき情報が無くなったことを認識することが可能となる。
システム1は、ユーザの誘導キャンセル操作を受け付けてもよい。例えば、システム1は、ユーザが意図的に誘導情報から視線を逸らせた場合に、誘導情報の投影を停止してもよい。
システム1は、緊急性が高い情報に関しては、始点と終点にのみ誘導情報を投影してもよい。これにより、段階的な誘導情報の投影場所の移動のための時間が削減されるので、ユーザをより早く誘導することが可能となる。
システム1は、空間内に複数人がいる場合、複数人をまとめて誘導してもよいし、誘導場所に一番近い人を対象に誘導してもよい。一人が誘導されると、その他の人もそれにつられて誘導され得る。
システム1は、誘導情報として、投影をせずに指向性の音声を出力することで誘導してもよい。もちろん、システム1は、音声出力と投影とを組み合わせて誘導してもよい。
システム1は、誘導場所にユーザを誘導するための誘導情報を投影するよりも前に、事前の誘導情報を出力してもよい。事前の出力は、望ましい環境を形成するために出力される。例えば、掃除機をかけている最中は掃除機からの騒音でシステム1からの音声出力が聞こえないので、システム1は、まず掃除機を消すように誘導情報を出力する。これにより、誘導が困難な環境においても、環境を整えることで誘導を容易にすることが可能となる。
・変形例
本技術は、車の運転にも適用可能である。例えば、システム1は、車を運転するユーザの視線を、歩行者に誘導してもよい。この場合、例えば、出力装置200はヘッドアップディスプレイであり、ユーザ情報検出部140は、ユーザ情報に加えて、車の向き、進行方向及び車速等を含む車体情報を検出する。
情報処理装置100は、複数の空間に配置された出力装置200及びセンサ装置300とネットワークを介して接続して、別々のユーザに対して誘導処理を行ってもよい。例えば、情報処理装置100は、別々の空間にいる複数のユーザの視線を、同じ場所へ誘導してもよい。具体的には、情報処理装置100は、同一の競技場でスポーツ観戦する複数のユーザの視線を、注目すべき選手に誘導してもよい。
<<3.処理の流れ>>
続いて、図10及び図11を参照して、本実施形態に係る誘導処理の流れの一例を説明する。図10は、本実施形態に係るシステム1の情報処理装置100の各部において実行される誘導処理の流れの一例を示すシーケンス図である。図11は、本実施形態に係るシステム1において実行される誘導処理の流れの一例を説明するための図である。
図10に示すように、システム1は、まず、環境情報を検出する(ステップS102)。例えば、システム1は、図11の符号31に示すように、部屋の形状、及び壁に時計が掛けられていることを、環境情報として検出する。
次いで、システム1は、ユーザ情報を検出する(ステップS104)。例えば、システム1は、図11の符号32に示すように、部屋の中央にユーザが位置していること、及び壁が掛けられた壁とは異なる壁に視線を向けていることを、ユーザ情報として検出する。
次に、システム1は、誘導場所を設定する(ステップS106)。例えば、システム1は、図11の符号33に示すように、壁に掛けられた時計を、誘導場所として設定する。
そして、システム1は、環境情報又はユーザ情報の少なくともいずれかに基づいて誘導情報を出力する(ステップS108)。例えば、システム1は、図11の符号34Aに示すように、ユーザの視線方向の先にある壁を投影場所として誘導情報10Aを投影することで、ユーザに初期の気付きを与える。そして、システム1は、図11の符号34B〜34Dに示すように、ユーザの視線や位置の追従に応じて誘導情報10B〜10Dを投影する、即ち誘導情報を誘導場所に向けて移動させる。これにより、ユーザの視線を、壁に掛けられた時計に誘導することが可能となる。
<<4.実施例>>
<4.1.第1の実施例>
第1の実施例は、ボルダリング(詳しくは、ARボルダリング)に関する。以下、図12及び図13を参照して、本実施例について説明する。
図12及び図13は、第1の実施例を説明するための図である。図12に示すように、ボルダリング施設40に出力装置200A〜200Dが設置されたものとする。センサ装置300及び情報処理装置100に関しては図示を省略している。ユーザは、床41からクライミングウォール42を登ることができる。センサ装置300は、床41及びクライミングウォール42を含むボルダリング施設40の空間、並びにクライミングウォール42を登るユーザに関する情報をセンシングする。情報処理装置100は、センサ装置300によりセンシングされた情報に基づいて環境情報及びユーザ情報を検出して、出力装置200A〜200Dによる出力を制御する。ここでの環境情報は、例えば、床41及びクライミングウォール42の形状、輝度、色、並びにクライミングウォール42に設けられるクライミングホールドの位置及び形状等を示す情報を含む。また、ここでのユーザ情報は、例えば、クライミングウォール42を登るユーザの位置、体勢、視線、及びユーザの顔とクライミングウォール42との距離等を示す情報を含む。
本実施例では、出力装置200C及び200Dは固定の投影領域(即ち、投影場所)に投影を行う固定型プロジェクタであり、出力装置200A及び200Bは投影領域を移動可能なムービングプロジェクタである。出力装置200Cは床41に、出力装置200Dはクライミングウォール42に、それぞれ背景となる情報を投影(即ち、プロジェクションマッピング)する。例えば、クライミングウォール42にビルの壁の画像、床41にビルの壁から地面方向を見た風景の画像が投影されることで、あたかもビルの壁を登っているかのような感覚をユーザに与えることが可能である。そして、出力装置200A及び200Bは、誘導情報10A及び10Bを、床41又はクライミングウォール42、さらに床41又はクライミングウォール42以外の側面や天井に投影することができる。換言すると、出力装置200A及び200Bは、ボルダリング施設40内の空間の任意の場所に投影場所を自在に移動させながら、誘導情報を投影することが可能である。
例えば、図13に示すように、出力装置200Aは、ユーザのクライミングを支援するインストラクターの画像を、誘導情報10Aとして投影する。ここで、ユーザはクライミング中でありクライミングウォール42と顔が近接しているので、誘導情報10Aが視界に入りにくい。この場合、システム1は、誘導情報10Aの投影場所の方向からユーザに音声が到来するように音声出力装置により音声を出力することで、ユーザが誘導情報10Aに気付くようにする。例えば、図13に示すように、システム1は、ユーザにとって誘導情報10Aの方向から反射された音声が到来するように、出力装置200Aから指向性を有する音声を出力する。これにより、あたかもインストラクターがユーザに話しかけているかのような感覚をユーザに与えることが可能である。他にも、システム1は、ユーザからみて誘導情報10Aの方向にある図示しない指向性スピーカから音声を出力してもよい。
なお、図13の例ではクライミングウォール42に誘導情報10Aが投影される例を示したが、出力装置200Aは、クライミングウォール42以外の床41や、出力装置200C及び200Dの投影領域外であるクライミングウォール42の側面の壁や天井に、誘導情報10Aを投影してもよい。例えば、誘導情報10Aの投影経路の始点、経由点、終点のいずれか又はその組み合わせが、出力装置200C及び200Dの投影領域外に設定された場合、出力装置200Dの投影領域(即ち、クライミングウォール42)外へ誘導情報10Aが投影されるため、ユーザが誘導情報10Aにより気付きにくい事が想定される。このような場合でも、ムービングプロジェクタである出力装置200Aや200Bが誘導情報10Aを投影することで、視線誘導を行い、ユーザが誘導表示に気づきやすくすることができる。
また、固定型プロジェクタとムービングプロジェクタとの連携により、誘導情報10Aの引き継ぎを行ってもよい。例えば、誘導情報10Aの投影経路が固定型プロジェクタの投影領域内(例えば、床41又はクライミングウォール42)と固定型プロジェクタの投影領域外(例えば、側面の壁や天井)をまたぐように決定された場合が想定される。そのような場合、固定型プロジェクタの投影領域内に誘導情報10Aが表示される場合は出力装置200C又は200Dが誘導情報10Aを投影し、固定型プロジェクタの投影領域外に誘導情報10Aが表示される場合は出力装置200A及び200Bが誘導情報10Aを投影するように、制御部170が出力装置200A〜200Dを制御してもよい。このように制御を行うことで、ムービングプロジェクタは固定型プロジェクタが誘導情報10Aの投影を行っている間、誘導情報10A以外のコンテンツの投影を行うことができ、よりエンタテイメント性を高めることができる。
また、出力装置200Bは、ユーザのクライミングを支援するために、次に手をかけるべきホールドを示す誘導情報を投影する。例えば、出力装置200Bは、誘導情報10Aの投影場所を始点として、誘導情報10B−1〜10B−3を段階的に投影する。とりわけ、誘導情報10B−3は、次に手をかけるべきクライミングホールドを目立たせている。これにより、一旦はインストラクターに引き付けたユーザの視線を、誘導情報10Dに誘導して、次に手をかけるべきクライミングホールドにユーザを誘導することが可能となる。
<4.2.第2の実施例>
第2の実施例は、教育に関する。以下、図14を参照して、本実施例について説明する。
図14は、第2の実施例を説明するための図である。図14に示すように、教室50内で、先生が黒板51に向かって授業をしている。なお、図14では、情報処理装置100、出力装置200及びセンサ装置300の図示を省略している。図14に示すように、複数の生徒が授業を受けている。しかし、生徒の一部は窓52の方向をよそ見している場合がある。そのような場合に、システム1は、誘導情報10Aを、生徒の視線の追従に応じて黒板51の方向に移動させながら投影することで、生徒の視線を黒板51に集めることが可能である。同様に、生徒の一部が壁53の方向をよそ見している場合、システム1は、誘導情報10Bを、生徒の視線の追従に応じて黒板51の方向に移動させながら投影することで、生徒の視線を黒板51に集めることが可能である。
<<5.ハードウェア構成例>>
最後に、図15を参照して、本実施形態に係る情報処理装置のハードウェア構成について説明する。図15は、本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図15に示す情報処理装置900は、例えば、図2に示した情報処理装置100を実現し得る。本実施形態に係る情報処理装置100による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
図15に示すように、情報処理装置900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903及びホストバス904aを備える。また、情報処理装置900は、ブリッジ904、外部バス904b、インタフェース905、入力装置906、出力装置907、ストレージ装置908、ドライブ909、接続ポート911及び通信装置913を備える。情報処理装置900は、CPU901に代えて、又はこれとともに、電気回路、DSP若しくはASIC等の処理回路を有してもよい。
CPU901は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置900内の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。CPU901は、例えば、図2に示す誘導場所設定部120、誘導場所記憶部130、ユーザ情報検出部140、環境情報検出部150及び制御部170を形成し得る。
CPU901、ROM902及びRAM903は、CPUバスなどを含むホストバス904aにより相互に接続されている。ホストバス904aは、ブリッジ904を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス904bに接続されている。なお、必ずしもホストバス904a、ブリッジ904および外部バス904bを分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置906は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置906は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置900の操作に対応した携帯電話やPDA等の外部接続機器であってもよい。さらに、入力装置906は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などを含んでいてもよい。情報処理装置900のユーザは、この入力装置906を操作することにより、情報処理装置900に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置907は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置、レーザープロジェクタ、LEDプロジェクタ及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置907は、例えば、情報処理装置900が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置900が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
ストレージ装置908は、情報処理装置900の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置908は、例えば、HDD等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置908は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置908は、CPU901が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。ストレージ装置908は、例えば、図2に示す誘導場所記憶部130及び環境情報記憶部160を形成し得る。
ドライブ909は、記憶媒体用リーダライタであり、情報処理装置900に内蔵、あるいは外付けされる。ドライブ909は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、RAM903に出力する。また、ドライブ909は、リムーバブル記憶媒体に情報を書き込むこともできる。
接続ポート911は、外部機器と接続されるインタフェースであって、例えばUSB(Universal Serial Bus)などによりデータ伝送可能な外部機器との接続口である。接続ポート911は、例えば、図2に示すI/F部110を形成し得る。そして、接続ポート911は、図2に示す出力装置200及びセンサ装置300に接続される。
通信装置913は、例えば、ネットワーク920に接続するための通信デバイス等で形成された通信インタフェースである。通信装置913は、例えば、有線若しくは無線LAN(Local Area Network)、LTE(Long Term Evolution)、Bluetooth(登録商標)又はWUSB(Wireless USB)用の通信カード等である。また、通信装置913は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ又は各種通信用のモデム等であってもよい。この通信装置913は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。通信装置913は、例えば、図2に示すI/F部110を形成し得る。そして、通信装置913は、図2に示す出力装置200及びセンサ装置300と通信し得る。
なお、ネットワーク920は、ネットワーク920に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク920は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ethernet(登録商標)を含む各種のLAN(Local Area Network)、WAN(Wide Area Network)などを含んでもよい。また、ネットワーク920は、IP−VPN(Internet Protocol−Virtual Private Network)などの専用回線網を含んでもよい。
以上、本実施形態に係る情報処理装置900の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
なお、上述のような本実施形態に係る情報処理装置900の各機能を実現するためのコンピュータプログラムを作製し、PC等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
<<6.まとめ>>
以上、図1〜図15を参照して、本開示の一実施形態について詳細に説明した。上記説明したように、本実施形態に係るシステム1は、ユーザがいる空間の環境情報、及びユーザ情報に基づいて、ユーザを誘導場所に誘導するための誘導情報を投影装置によりユーザがいる空間に投影する。これにより、ユーザが気付くべき情報にユーザを誘導することで、ユーザの気付きを支援することが可能となる。具体的には、システム1は、ユーザの姿勢、位置及び/又は姿勢を誘導することで、ユーザの視界の外にあるユーザが気付くべき情報をユーザに気付かせることが可能となる。
本技術は、様々なユースケースに適用可能である。例えば、システム1は、キッチンタイマーで煮込み時間が経過した事を、別の部屋に居るユーザに知らせることが可能である。また、システム1は、ユーザがくつろいでいる時に、手元にないスマートフォンに着信があったことを知らせて、且つスマートフォンが置いてある場所に誘導することが可能である。また、システム1は、特定の電化製品の電源が入れっぱなしになっていることをユーザに知らせて、且つユーザをスイッチの場所まで誘導することが可能である。また、システム1は、ユーザが夜に帰宅した場合に、ユーザを玄関から照明のスイッチの場所まで誘導することが可能である。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、本明細書において説明した各装置は、単独の装置として実現されてもよく、一部または全部が別々の装置として実現されても良い。例えば、図2に示した情報処理装置100、出力装置200及びセンサ装置300は、単独の装置として構成されてもよい。また、例えば、図2に示した情報処理装置100が、出力装置200及びセンサ装置300とネットワーク等で接続されたサーバ装置として構成されてもよい。また、例えば、図2に示した情報処理装置100の機能構成例のうち、制御部170が、I/F部110、誘導場所設定部120、誘導場所記憶部130、ユーザ情報検出部140、環境情報検出部150及び環境情報記憶部160とネットワーク等で接続されたサーバ等の装置に備えられていても良い。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしも図示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、
を備える情報処理装置。
(2)
前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記ユーザの誘導方法を切り替える、前記(1)に記載の情報処理装置。
(3)
前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記誘導情報の投影経路を決定する、前記(2)に記載の情報処理装置。
(4)
前記誘導制御部は、前記空間に含まれる領域のうち誘導情報の視認性の基準を満たさない領域を避けるように前記投影経路を決定する、前記(3)に記載の情報処理装置。
(5)
前記誘導制御部は、前記空間に含まれる領域の輝度又は色に関する情報に基づいて、前記投影経路を決定する、前記(3)又は(4)に記載の情報処理装置。
(6)
前記誘導制御部は、前記誘導情報の投影場所をユーザの視線の追従に応じて段階的に変更する、前記(3)〜(5)のいずれか一項に記載の情報処理装置。
(7)
前記誘導制御部は、前記誘導情報の投影場所をユーザの位置の追従に応じて段階的に変更する、前記(3)〜(6)のいずれか一項に記載の情報処理装置。
(8)
前記投影装置は、投影方向を変更可能な可動部を備え、
前記誘導制御部は、前記投影装置の投影方向を変更させることで前記誘導情報の投影場所を変更する、前記(3)〜(7)のいずれか一項に記載の情報処理装置。
(9)
前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記誘導情報を出力させる装置を決定する、前記(2)〜(8)のいずれか一項に記載の情報処理装置。
(10)
前記誘導制御部は、前記誘導情報の投影場所の方向から前記ユーザに音声が到来するよう音声出力装置に前記音声を出力させる、前記(9)に記載の情報処理装置。
(11)
前記誘導情報は、誘導のために前記ユーザに行わせる行動を示す情報を含む、前記(2)〜(10)のいずれか一項に記載の情報処理装置。
(12)
前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記ユーザに行わせる行動を決定する、前記(11)に記載の情報処理装置。
(13)
前記誘導情報は、緊急度を示す情報を含む、前記(1)〜(12)のいずれか一項に記載の情報処理装置。
(14)
前記誘導情報は、誘導方向を示す情報を含む、前記(1)〜(13)のいずれか一項に記載の情報処理装置。
(15)
前記誘導情報は、遮蔽物の一部を透過させた表現で前記誘導場所の様子を示す情報を含む、前記(1)〜(14)のいずれか一項に記載の情報処理装置。
(16)
前記情報処理装置は、前記誘導場所を設定する設定部をさらに備え、
前記設定部は、所定のトリガに応じた前記誘導場所を予め設定する、前記(1)〜(15)のいずれか一項に記載の情報処理装置。
(17)
前記情報処理装置は、前記誘導場所を設定する設定部をさらに備え、
前記設定部は、前記ユーザに対して発生した通知情報に対応する場所を前記誘導場所として設定する、前記(1)〜(16)のいずれか一項に記載の情報処理装置。
(18)
前記環境情報は、前記空間を形成する物体の形状を示す情報を含む、前記(1)〜(17)のいずれか一項に記載の情報処理装置。
(19)
ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させること、
を含む情報処理方法。
(20)
コンピュータを、
ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、
として機能させるためのプログラムを記録した記録媒体。
1 システム
10 誘導情報
20 スマートフォン
100 情報処理装置
110 I/F部
120 誘導場所設定部
130 誘導場所記憶部
140 ユーザ情報検出部
150 環境情報検出部
160 環境情報記憶部
170 制御部
171 表示制御部
173 音響制御部
200 出力装置
210 プロジェクタ
230 タブレット
240 スマートフォン
260 スピーカ
270 単一指向性スピーカ
300 センサ装置
310 カメラ
320 デプスセンサ
330 マイクロフォン

Claims (20)

  1. ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、
    を備える情報処理装置。
  2. 前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記ユーザの誘導方法を切り替える、請求項1に記載の情報処理装置。
  3. 前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記誘導情報の投影経路を決定する、請求項2に記載の情報処理装置。
  4. 前記誘導制御部は、前記空間に含まれる領域のうち前記誘導情報の視認性の基準を満たさない領域を避けるように前記投影経路を決定する、請求項3に記載の情報処理装置。
  5. 前記誘導制御部は、前記空間に含まれる領域の輝度又は色に関する情報に基づいて、前記投影経路を決定する、請求項3に記載の情報処理装置。
  6. 前記誘導制御部は、前記誘導情報の投影場所を前記ユーザの視線の追従に応じて段階的に変更する、請求項3に記載の情報処理装置。
  7. 前記誘導制御部は、前記誘導情報の投影場所を前記ユーザの位置の追従に応じて段階的に変更する、請求項3に記載の情報処理装置。
  8. 前記投影装置は、投影方向を変更可能な可動部を備え、
    前記誘導制御部は、前記投影装置の投影方向を変更させることで前記誘導情報の投影場所を変更する、請求項3に記載の情報処理装置。
  9. 前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記誘導情報を出力させる装置を決定する、請求項2に記載の情報処理装置。
  10. 前記誘導制御部は、前記誘導情報の投影場所の方向から前記ユーザに音声が到来するよう音声出力装置に前記音声を出力させる、請求項9に記載の情報処理装置。
  11. 前記誘導情報は、誘導のために前記ユーザに行わせる行動を示す情報を含む、請求項2に記載の情報処理装置。
  12. 前記誘導制御部は、前記環境情報又は前記ユーザ情報に基づいて、前記ユーザに行わせる行動を決定する、請求項11に記載の情報処理装置。
  13. 前記誘導情報は、緊急度を示す情報を含む、請求項1に記載の情報処理装置。
  14. 前記誘導情報は、誘導方向を示す情報を含む、請求項1に記載の情報処理装置。
  15. 前記誘導情報は、遮蔽物の一部を透過させた表現で前記誘導場所の様子を示す情報を含む、請求項1に記載の情報処理装置。
  16. 前記情報処理装置は、前記誘導場所を設定する設定部をさらに備え、
    前記設定部は、所定のトリガに応じた前記誘導場所を予め設定する、請求項1に記載の情報処理装置。
  17. 前記情報処理装置は、前記誘導場所を設定する設定部をさらに備え、
    前記設定部は、前記ユーザに対して発生した通知情報に対応する場所を前記誘導場所として設定する、請求項1に記載の情報処理装置。
  18. 前記環境情報は、前記空間を形成する物体の形状を示す情報を含む、請求項1に記載の情報処理装置。
  19. ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させること、
    を含む情報処理方法。
  20. コンピュータを、
    ユーザがいる空間に関する環境情報、並びに前記ユーザの位置及び視線を示すユーザ情報に基づいて、前記ユーザを誘導場所に誘導するための誘導情報を投影装置により前記空間に投影させる誘導制御部、
    として機能させるためのプログラムを記録した記録媒体。
JP2019504373A 2017-03-09 2018-01-25 情報処理装置、情報処理方法及び記録媒体 Active JP7020474B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017044902 2017-03-09
JP2017044902 2017-03-09
PCT/JP2018/002182 WO2018163637A1 (ja) 2017-03-09 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2018163637A1 true JPWO2018163637A1 (ja) 2020-01-09
JP7020474B2 JP7020474B2 (ja) 2022-02-16

Family

ID=63448874

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019504373A Active JP7020474B2 (ja) 2017-03-09 2018-01-25 情報処理装置、情報処理方法及び記録媒体

Country Status (5)

Country Link
US (1) US10930249B2 (ja)
JP (1) JP7020474B2 (ja)
CN (1) CN110383214B (ja)
DE (1) DE112018001224T5 (ja)
WO (1) WO2018163637A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7161200B2 (ja) * 2019-04-26 2022-10-26 株式会社バーチャルウインドウ カラオケ演出システム
WO2021005673A1 (ja) * 2019-07-08 2021-01-14 三菱電機株式会社 ガイド装置およびガイド方法
CN110568931A (zh) * 2019-09-11 2019-12-13 百度在线网络技术(北京)有限公司 交互方法、设备、系统、电子设备及存储介质
CN111210744B (zh) * 2019-12-30 2022-07-29 青岛小帅影院科技有限公司 一种基于物联网的用户需求向导多媒体系统及其工作方法
CN111586553B (zh) * 2020-05-27 2022-06-03 京东方科技集团股份有限公司 显示装置及其工作方法
WO2022091589A1 (ja) * 2020-10-29 2022-05-05 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
JP7313583B2 (ja) * 2021-07-21 2023-07-24 三菱電機株式会社 行動支援システム
CN113888907B (zh) * 2021-09-30 2023-07-18 潍坊学院 移动投影式精品课录像视线引导系统
CN114816049A (zh) * 2022-03-30 2022-07-29 联想(北京)有限公司 一种增强现实的引导方法及装置、电子设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
JP2012226695A (ja) * 2011-04-22 2012-11-15 Saga Univ 誘導指示装置、誘導指示方法及びそのプログラム
JP2017016588A (ja) * 2015-07-06 2017-01-19 パラマウントベッド株式会社 対象者誘導システム、プログラム及び対象者誘導方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5587072B2 (ja) * 2010-07-12 2014-09-10 富士フイルム株式会社 放射線画像撮影装置
WO2013132886A1 (ja) * 2012-03-07 2013-09-12 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP5935636B2 (ja) * 2012-09-28 2016-06-15 アイシン・エィ・ダブリュ株式会社 交差点案内システム、方法およびプログラム
JP6070512B2 (ja) 2013-11-05 2017-02-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10048835B2 (en) * 2014-10-31 2018-08-14 Microsoft Technology Licensing, Llc User interface functionality for facilitating interaction between users and their environments
CN104750448A (zh) * 2015-03-23 2015-07-01 联想(北京)有限公司 一种信息处理的方法、电子设备及可穿戴设备
CN104931043A (zh) * 2015-05-28 2015-09-23 成都亿邻通科技有限公司 一种线路指引的方法
JP2017129898A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005313291A (ja) * 2004-04-30 2005-11-10 Mitsubishi Heavy Ind Ltd ロボット行動とリンクした映像表示方法とその装置
JP2012226695A (ja) * 2011-04-22 2012-11-15 Saga Univ 誘導指示装置、誘導指示方法及びそのプログラム
JP2017016588A (ja) * 2015-07-06 2017-01-19 パラマウントベッド株式会社 対象者誘導システム、プログラム及び対象者誘導方法

Also Published As

Publication number Publication date
CN110383214A (zh) 2019-10-25
US20200074960A1 (en) 2020-03-05
WO2018163637A1 (ja) 2018-09-13
CN110383214B (zh) 2022-05-10
US10930249B2 (en) 2021-02-23
DE112018001224T5 (de) 2019-11-28
JP7020474B2 (ja) 2022-02-16

Similar Documents

Publication Publication Date Title
JP7020474B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US9880619B2 (en) Virtual reality system with a finger-wearable control
JP6546603B2 (ja) 注視トラッキングの方法およびデバイスにおける視覚的な変更の非視覚的なフィードバック
WO2017221492A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7211367B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US11373650B2 (en) Information processing device and information processing method
US11107287B2 (en) Information processing apparatus and information processing method
US11284047B2 (en) Information processing device and information processing method
JPWO2018216355A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6627775B2 (ja) 情報処理装置、情報処理方法およびプログラム
WO2018139036A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11544968B2 (en) Information processing system, information processingmethod, and recording medium
US20210400329A1 (en) Changing Resource Utilization Associated with a Media Object Based on an Engagement Score
US10623724B2 (en) Adaptive display environment for dynamic applications
US20200380733A1 (en) Information processing device, information processing method, and program
US20200356244A1 (en) Information processing apparatus, information processing method, and program
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
US11768535B1 (en) Presenting computer-generated content based on extremity tracking
US20230333641A1 (en) Ambience-Driven User Experience
JP2019113928A (ja) 情報処理装置、情報処理方法、および記録媒体
WO2020209184A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US20240045579A1 (en) Systems and methods for launching and replacing applications
WO2019187501A1 (ja) 情報処理装置、情報処理方法、および、記録媒体
WO2019082520A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021144064A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220117

R151 Written notification of patent or utility model registration

Ref document number: 7020474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151