WO2020209184A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020209184A1
WO2020209184A1 PCT/JP2020/015248 JP2020015248W WO2020209184A1 WO 2020209184 A1 WO2020209184 A1 WO 2020209184A1 JP 2020015248 W JP2020015248 W JP 2020015248W WO 2020209184 A1 WO2020209184 A1 WO 2020209184A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
notification
visual field
information processing
output
Prior art date
Application number
PCT/JP2020/015248
Other languages
English (en)
French (fr)
Inventor
保乃花 尾崎
佑理 日下部
健太郎 井田
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to DE112020001852.0T priority Critical patent/DE112020001852T5/de
Priority to CN202080026987.8A priority patent/CN113646830A/zh
Priority to JP2021513608A priority patent/JPWO2020209184A1/ja
Priority to US17/442,356 priority patent/US20220180571A1/en
Publication of WO2020209184A1 publication Critical patent/WO2020209184A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/22—Cropping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部を備える、情報処理装置。

Description

情報処理装置、情報処理方法、およびプログラム
　本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
　近年、壁やスクリーンに映像を投影するプロジェクタに関し、パン・チルト駆動機構を搭載した駆動型プロジェクタが開発されている。プロジェクタを駆動させることで、任意の場所へ映像を投影することが可能となる。
　また、下記特許文献１では、プロジェクタやタッチパネルディスプレイなどの装置でコンテンツを表示しようとする際、仮想的な影効果を実空間に与える映像を生成することで、表示したコンテンツの現実感をユーザに与える技術が開示されている。
特開２０１６－１６２１４２号公報
　ここで、プロジェクタやタッチパネルディスプレイなどの装置を用いてユーザへ何らかの通知を行う場合、ユーザの注意を引く必要があるため、通知はユーザの作業に割り込んで行われるものであった。
　しかしながら、このようなユーザの作業に割り込んで行われる通知が、緊急度の低い情報であったり、ユーザにとって重要性の低い情報であったりした場合、ユーザは煩わしく感じ、ストレスが溜まることが懸念される。
　本開示によれば、撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部を備える、情報処理装置を提案する。
　本開示によれば、プロセッサが、撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御することを含む、情報処理方法を提案する。
　本開示によれば、コンピュータを、撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部として機能させるための、プログラムを提案する。
本開示の一実施形態による情報処理システムの概要について説明する図である。 本開示の実施形態に係る情報処理システムの各装置の機能構成例を示すブロック図である。 本開示の実施形態に係る視野範囲と作業領域について説明する図である。 本開示の実施形態に係る第１の実施例による動作処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る第２の実施例による動作処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る第３の実施例による動作処理の流れの一例を示すフローチャートである。 本開示の実施形態に係る第１、第２形態通知に用いるモーダルの状況に応じた組み合わせについて説明する図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　また、説明は以下の順序で行うものとする。
　１．本開示の一実施形態による情報処理システムの概要
　２．構成例
　３．各実施例
　　３－１．第１の実施例
　　３－２．第２の実施例
　　３－３．第３の実施例
　４．補足
　５．まとめ
　＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
　図１は、本開示の一実施形態による情報処理システムの概要について説明する図である。図１に示すように、本実施形態による情報処理システム１は、情報を実空間に出力する出力装置３００と、実空間の情報をセンシングするセンサ装置２００と、センサ装置２００によりセンシングされた情報に基づいてユーザへの通知情報を出力装置３００から出力するよう制御する情報処理装置１００と、を備える。
　図１に示す例では、出力装置３００の一例として、空間内の任意の場所へ映像を投影することが可能な駆動プロジェクタを想定する。駆動プロジェクタは、パン・チルト駆動機構のような、投影向きを変えることが可能な駆動機構を搭載したものであってもよいし、駆動プロジェクタ自体が左右上下等に移動することが可能な機構を搭載したものであってもよい。
　また、図１に示す例では、駆動プロジェクタにセンサ装置２００が設けられている。例えばセンサ装置２００がカメラの場合、投影方向と同じ方向を撮影することが可能である。なおセンサ装置２００は、駆動プロジェクタに設けられるものに限定されず、空間内のいずれかの場所に設けられるものであってもよい。また、出力装置３００やセンサ装置２００は複数あってもよいし、複数種別あってもよい。
　（背景）
　上述したように、通常、プロジェクタなどの装置を用いてユーザへ何らかの通知を行う場合、ユーザの注意を引く必要があるため、通知はユーザの作業に割り込んで行われるものであった。しかしながら、このようなユーザの作業に割り込んで行われる通知が、緊急度の低い情報であったり、ユーザにとって重要性の低い情報であったりした場合、ユーザは煩わしく感じ、ストレスが溜まることが懸念される。
　そこで、このような事情を鑑みて、本開示では、通知の第１段階として、実空間に配置される通知対象に導くための第１形態通知を、ユーザの周辺視野の領域に行うことで、ユーザの作業を邪魔せず、少なくともユーザに対して何らかの通知があることを、さりげなく知らせることが可能となる。
　本明細書において、「周辺視野」とは、ユーザの視野範囲のうち、中心視野領域を除く領域である。一般的に、人間の視野は約１２０度程度存在するが、かかる視野の特性は、例えば、対象物の識別レベルに応じて、「中心視」、「有効視野」、「周辺視野」に分けることができる。すなわち、「中心視」とは、物の形や色、文字などを、明瞭に識別できる範囲であって、焦点を当てている注視点から、約１度～２度程度の範囲が相当する。中心視の範囲には、一般的に「弁別視野」および「ワード識別限界」と称される範囲が含まれる。また、「有効視野」とは、中心視の周囲で、物の形状をほぼ明瞭に認識できる範囲であって、例えば注視点から約４度～２０度程度の範囲が相当する。かかる「中心視」および「有効視野」の範囲を、本実施形態では、『中心視野領域』と称する。
　また、「周辺視野」とは、中心視および有効視野（すなわち中心視野領域）以外の範囲であって、文字および物の形や色などを明瞭に識別することはできないが、画像のアニメーション表示など、動きには気が付くことが可能な範囲である。
　ユーザが作業中の場合、主に中心視野領域で対象物を視覚的に捉えているため、周辺視野に何らかの通知を行っても、ユーザの作業を明示的に割り込むことはない。ユーザは、ふと目を逸らしたときや、目の端で通知の気配を感知したときなどに、第１形態通知に視線を向けて第１形態通知を中心視野領域で捉えるため、ユーザの作業に強制的に割り込んでストレスを与えるといったことを回避することができる。
　例えば、図１に示すように、ユーザがＰＣの作業中などの場合に、ユーザに掃除を促す通知を行う場合、情報処理装置１００は、ユーザに掃除を促す第２形態通知５０（通知対象の一例）を、壁などのユーザの視野範囲に全く入らない場所に出力しつつ、ユーザの視野範囲のうち、中心視野領域６２を除く周辺視野領域６０に、第２形態通知５０にユーザを導くための第１形態通知４０を出力する。
　第１形態通知４０は、より自然な表現が望ましい。例えば、通知対象が窓（実物体であってもよいし、仮想物体（投影画像など）であってもよい）の場合は、その影（窓からの太陽光の差し込みを表現する画像）など、自然現象を再現する通知表現とすることが望ましい。これにより、不自然な表現でユーザの注意を強制的に引いたり、ユーザの集中状態を邪魔したりすることを回避することができる（すなわち、ユーザの注視点の強制的な移動を発生させにくい）。
　図１に示す例では、キャラクターが窓の外で掃除道具を持って動いている様子を示す画像が第２形態通知５０として壁に投影され、その窓の影を示す画像が、第１形態通知４０としてテーブルの上に投影されている。第２形態通知５０は、第１形態通知４０と離れた位置に出力される。
　第１形態通知４０は、ユーザの周辺視野領域６０に投影されるので、ユーザの作業を強制的に邪魔することはないという効果が生じる。ユーザは、目の端でキャラクターの影が動いていることや光が差し込んできたことを感知し、それが気になった場合は、第１形態通知４０に視線Ｖ１を向ける。第１形態通知４０を視認すると、キャラクターが何かを伝えようとしていることが分かるため、その通知内容を知りたい場合は、さらに影の元、すなわち、第２形態通知５０に視線Ｖ２を向ける。第２形態通知５０は、第１形態通知４０と離れた位置に出力されるが、人間の「結果から原因を推測する能力」を利用することで、第２形態通知５０の出力場所を、第１形態通知４０で直接的明示的に示すことなく、第２形態通知５０の方向へユーザの視線を誘導することが可能となる。人間には、環境の変化に対して原因を推測し、それを探すことができる。例えば窓の影が映ることで、窓の位置を推測できるし、風や匂いを感じる方向でその発信源の方向を認識することができるし、音がする方向でその音源の方向を認識することができる。
　ユーザは、第２形態通知５０を視認し、例えばキャラクターが掃除道具を持っていることから、掃除を促されていることが分かる。なお、例えばキャラクターが母親のアバターの場合、母親から掃除を促されていることが分かる。
　一方で、第１形態通知４０には気付いたけれども作業に集中したい場合、ユーザは、第２形態通知５０の方は見ずに、そのまま作業を続けることも可能である。
　このように、段階的な通知表現を行うことで、ユーザの作業を邪魔せずに通知を行うことが可能となる。
　なお、通知対象は、図１に示すような通知内容を示す投影画像（第２形態通知５０）に限定されず、実物体であってもよい。第１形態通知４０で実物体の存在を想起させたり、実物体の方向を暗黙的に示すことで、実物体に関するタスクをユーザに思い出させたりすることが可能となる。例えばドアの鍵がかかっていないことを検知したとき、ユーザにドアの存在を想起させて、鍵のかけ忘れを思い出させる。この場合、第１形態通知４０としては、鍵の絵を周辺視野に表示したり、鍵を開ける音を提示する。また、洗濯機の洗濯が終わったが所定時間放置されている場合は、ユーザに洗濯機の存在を想起させる。この場合、洗濯機から洗濯物を取り出して干すといったタスクを思い出させるために、洗濯機又は洗濯物の絵を周辺視野に表示したりする。
　また、第１形態通知４０は、視覚通知（投影画像などの表示）に限定されず、聴覚通知（音声の出力）や触覚通知（振動、風などの出力）、嗅覚通知（匂いの出力）の少なくともいずれかであってもよいし、複数を組み合わせてもよい。
　以上、本開示の一実施形態による情報処理システムについて説明した。続いて、本実施形態による情報処理システムに含まれる各装置の具体的な構成について図面を参照して説明する。
　＜＜２．構成例＞＞
　図２は、本開示の実施形態に係る情報処理システムの各装置の機能構成例を示すブロック図である。図２に示したように、本実施形態による情報処理システムは、情報処理装置１００と、センサ装置２００と、出力装置３００と、を有する。
　　＜２－１．情報処理装置１００の構成例＞
　情報処理装置１００は、Ｉ／Ｆ（interface）部１１０、環境認識部１２０、視野検出部１３０、ユーザ認識部１４０、データ処理部１５０、タイマ１６０、および、記憶部１７０を有する。
　（Ｉ／Ｆ部１１０）
　Ｉ／Ｆ部１１０は、情報処理装置１００と他の機器とを接続するための接続装置である。Ｉ／Ｆ部１１０は、例えばＵＳＢ（Universal　Serial　Bus）コネクタ等により実現され、センサ装置２００や出力装置３００の各構成要素との間で情報の入出力を行う。また、例えばＩ／Ｆ部１１０は、無線／有線ＬＡＮ（Local　Area　Network）、ＤＬＮＡ（登録商標）（Digital　Living　Network　Alliance）、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はその他専用線等により、センサ装置２００や出力装置３００と接続する。また、Ｉ／Ｆ部１１０は、インターネットやホームネットワークを介して他の機器と接続してもよい。
　例えばＩ／Ｆ部１１０は、センサ装置２００から、各センサによりセンシングされたデータを受信する。また、Ｉ／Ｆ部１１０は、出力装置３００に対し、駆動制御信号や映像、音声等の出力信号を送信する。
　（環境認識部１２０）
　環境認識部１２０は、ユーザの周辺の環境を推定する。例えば環境認識部１２０は、３次元空間認識や投影面算出を行う。環境認識部１２０は、各種センサにより検出されたセンシングデータ（カメラにより取得された撮像画像（可視光画像、赤外線画像）、デプスセンサにより取得されたデプス情報、マイクロフォンにより取得された音声情報、人感センサにより取得された距離情報、温度センサにより取得された温度情報、照度センサにより取得された照度情報等）に基づいて、投影環境の３次元形状や環境（明るさなど）、投影環境に存在する実物体の３次元形状および３次元位置、また、投影可能領域（所定の広さを有する平面領域など、投影面）、ユーザの３次元位置等を認識し得る。３次元空間認識結果や、投影面算出結果、ユーザの位置情報等は、データ処理部１５０に出力される。
　（視野検出部１３０）
　視野検出部１３０は、撮像画像に基づいてユーザの視野範囲を判定する。例えば視野検出部１３０は、３次元空間認識により認識したユーザの３次元位置に応じてユーザをカメラにより撮影し、撮影画像から、ユーザの位置、顔向き、姿勢等を検出し、視線方向を推定する。また、視野検出部１３０は、視線方向に存在する実物体（作業対象物に相当）と視線方向が直交する位置を、注視点と推定してもよい。また、視野検出部１３０は、ユーザの顔向き、姿勢等から視野範囲を判定し、上記推定した注視点から所定の角度程度の範囲を、中心視野領域や周辺視野領域と判定してもよい。ユーザの視野範囲の判定結果は、データ処理部１５０に出力される。
　（ユーザ認識部１４０）
　ユーザ認識部１４０は、センシングデータからユーザを認識する。例えばユーザ認識部１４０は、ユーザの顔を撮像した撮像画像に基づいて顔認識を行い、ユーザを識別する。ユーザの識別結果は、データ処理部１５０に出力される。
　（データ処理部１５０）
　データ処理部１５０は、環境認識部１２０、視野検出部１３０、ユーザ認識部１４０から出力されたデータを処理し、通知制御を行う。具体的には、データ処理部１５０は、作業領域推定部１５１および出力生成部１５２として機能する。
　作業領域推定部１５１は、視野検出部１３０により検出されたユーザの視野方向、および、環境認識部１２０により認識されたユーザ周辺の状況（ユーザ周辺に存在する実物体など）、ユーザと作業対象物との距離等に基づいて、ユーザの視野範囲内における作業領域を推定する。例えば作業領域推定部１５１は、ユーザの視線方向にあってユーザが操作しているＰＣやスマートフォンの画面、読書をしているときはユーザが見ている本、キーボードを見て操作しているときはキーボードの領域、皿洗いや料理、洗濯物の片付け等を行っている場合は手元周辺等を、作業領域と推定する。
　なお、作業領域推定部１５１による作業領域の推定や、上述した視野検出部１３０による視野検出は、環境側に設置されたカメラ等によりセンシングされたデータに基づく方法に限定されず、ユーザが着用するウェアラブルデバイスを用いて、より正確に検出することも可能である。例えばメガネ型のウェアラブルデバイスの内カメラでユーザの眼の瞳孔を検出して視線を推定し、ウェアラブルデバイスの外向きカメラにより得た撮像画像と合わせて視野範囲や作業領域を推定する方法が挙げられる。また、ユーザの位置は固定されるが、作業対象物等に設けたアイトラッカーを用いて視野範囲や作業領域を推定する方法もある。
　次いで、出力生成部１５２は、ユーザへの通知情報を生成する。ユーザへの通知は、一例として、予めユーザがタイマ設定したタスクの通知（食器洗いをする等）や、スケジューラとの連携（出掛ける時間など）、環境や状況に応じた推薦（天気が良いので布団干しを提案するなど）、お知らせ（メールの着信、ニュース等）、伝言（親から「部屋を片付けなさい」、「夕飯の時間です」等）等が想定され得る。出力生成部１５２は、一例として、通知内容を示す第２形態通知と、第２形態通知へ導く第１形態通知を生成する。第１形態通知は、物理法則に基づいた挙動、その場に則した違和感のない表現を採用することで、人間の注目対象を強制的に変更させづらい通知を実現する。例えば図１を参照して説明したように、第２形態通知には仮想的な窓を選択し、第１形態通知には窓の影という自然現象を利用した表現を採用することで、第２形態通知と自然な対応付けを行うことができると共に、その場に則した違和感のない表現を実現することができる。第２形態通知は、通知の具体的な内容を示すものである。例えば従来の方法と同様にテキストアイコンなどで示してもよいし、第１形態通知と自然な対応付けを行うことができるよう、第２形態通知には、壁に表示する仮想的な窓やドア、天井に表示する仮想的な雲、壁や天井に表示するキャラクター等を選択し、第１形態通知はそれらの仮想的な影や、仮想的な差込光といった形にしてもよい。
　ここで、下記表１に、自然な対応付けを行う場合に利用し得る自然現象の一例と、第１形態通知に用いる対応するモーダルを挙げる。
Figure JPOXMLDOC01-appb-T000001
　また、データ処理部１５０は、生成した第１形態通知を周辺視野に投影するよう制御する。データ処理部１５０は、第１形態通知を中心視野に被らないよう、さらには作業領域に被らないようにすることで、ユーザの作業の阻害を防止することができる。これにより、ユーザが作業に集中している際には通知に気付かない、若しくは気付いても容易に無視することが可能な通知を実現することができる。ここで、図３に、本実施形態による視野範囲と作業領域について説明する図を示す。第１形態通知を周辺視野に投影する際、図３左に示すように、作業領域が中心視野内に収まっていれば周辺視野のいずれに投影しても問題ないが、図３右に示すように、作業領域が周辺視野に重なっている場合は、データ処理部１５０は、周辺視野のうち作業領域が重なっている部分を避けて表示するようにし、ユーザの作業の阻害を防止する。
　ここで、下記表２に、第１形態通知を行う際における、その場に則した違和感のない表現の実現に必要な要素の一例を挙げる。
Figure JPOXMLDOC01-appb-T000002
　データ処理部１５０による第１形態通知および第２形態通知の出力タイミング等は、後述する各実施例で詳細に説明する。
　また、通知対象は、投影画像等の仮想物体（第２形態通知）に限定されず、実物体であってもよい。この場合、第１形態通知は、実物体の存在をさりげなくユーザに想起させる役割を持つ。
　データ処理部１５０は、登録するデータを記憶部１７０に出力する。例えば、環境認識部１２０による環境認識結果、ユーザ認識部１４０によるユーザ識別結果などを記憶部１７０に記録しておくようにしてもよい。
　（タイマ１６０）
　タイマ１６０は、時間を参照する際に使用される。
　（記憶部１７０）
　記憶部１７０は、環境認識部１２０の認識、視野検出部１３０の検出、ユーザ認識部１４０の認識、データ処理部１５０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）により実現される。
　以上、本実施形態による情報処理装置１００の構成について具体的に説明した。なお、環境認識部１２０、視野検出部１３０、ユーザ認識部１４０、およびデータ処理部１５０は、図示しない制御部により機能し得る。情報処理装置１００は、ハードウェア構成として制御部を有する。制御部は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１００内の動作全般を制御する。制御部は、例えばＣＰＵ（Central　Processing　Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read　Only　Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。
　また、情報処理装置１００の構成は、図２に示す例に限定されない。例えば、情報処理装置１００の少なくとも一部の構成が、サーバ等の外部装置により実現されていてもよい。
　また、情報処理装置１００は、スマートホーム端末、ＰＣ、スマートフォン、タブレット端末、ＨＭＤ、ホームサーバ、エッジサーバ、中間サーバ、またはクラウドサーバ等により実現されてもよい。
　　＜２－２．センサ装置２００の構成例＞
　センサ装置２００は、実空間をセンシングする各種センサを含み、例えば人感センサ２１０、加速度センサ２２０、デプスセンサ２３０、マイクロフォン２４０、カメラ２５０、ジャイロセンサ２６０、および、地磁気センサ２７０等が挙げられる。その他、例えばセンサ装置２００は、光センサ、照度センサ、力センサ、超音波センサ、気圧センサ、ガスセンサ（Co2）、サーモカメラ（遠赤外線カメラ）等を含んでいてもよい。センサ装置２００の各センサは、それぞれ複数あってもよいし、空間内に各々設置されていてもよい。また、図１に示すように、駆動プロジェクタに設けられていてもよい。
　　＜２－３．出力装置３００の構成例＞
　出力装置３００は、実空間に情報を出力する機能を有し、例えば、プロジェクタ３１０、スピーカ３２０、振動部３３０、風出力部３４０、および匂い出力部３５０等が挙げられる。その他、例えば出力装置３００は、ディスプレイ、ＨＭＤ（Head　Mounted　Display）、空調装置等を含んでいてもよい。出力装置３００の各出力装置は、それぞれ複数あってもよいし、空間内に各々設置されていてもよい。図１では、一例としてプロジェクタ３１０を有する出力装置３００（駆動プロジェクタ）を図示している。
　また、駆動プロジェクタには、スピーカ３２０の一例として、指向性の高い超音波スピーカを搭載するようにしてもよい。通知を音声出力（聴覚通知）にて行う場合、対象ユーザに対してのみ通知を行うことも可能となる。
　また、情報処理装置１００は、センサ装置２００や出力装置３００の位置（空間内における３次元位置）を予め把握し得る。
　＜＜３．各実施例＞＞
　続いて、本実施形態による情報処理システムについて、複数の実施例を用いて具体的に説明する。
　　＜３－１．第１の実施例＞
　図４は、本実施例による第１の実施例による動作処理の流れの一例を示すフローチャートである。図４に示すように、まず、情報処理装置１００の視野検出部１３０は、ユーザの視野範囲（中心視野領域、周辺視野）を判定する（ステップＳ１０３）。
　次に、作業領域推定部１５１は、ユーザの作業領域を推定する（ステップＳ１０６）。
　次いで、データ処理部１５０は、第１および第２形態の通知を、出力装置３００から出力する制御を行う（ステップＳ１０９）。第１形態通知は、ユーザの周辺視野（かつ作業領域以外）に出力され、第２形態通知は、ユーザの周辺ではあるがユーザの周辺視野外であって、第１形態通知と離れた場所（ユーザが顔をそちらに向ければ視界の範囲内に入る場所が望ましい）に出力される。
　次に、データ処理部１５０は、ユーザが第２形態通知に注目したか否かを判断する（ステップＳ１１２）。例えばデータ処理部１５０は、撮像画像に基づくユーザの顔向き、姿勢等から検出されたユーザの視線が、第２形態通知に向いたか否かを判断する。第２形態通知への注目は、ユーザが第１形態通知に気付いて興味を持ち、第１形態通知の表現からその原因を予測して第２形態通知に視線を向ける場合や、偶然第２形態通知に視線を向ける場合が想定される。
　次いで、第２形態通知に注目せずに一定時間が経過した場合（ステップＳ１１２／Ｎｏ、ステップＳ１１５／Ｙｅｓ）、データ処理部１５０は、第１および第２形態通知の出力を終了する（ステップＳ１１８）。第２形態通知に注目せずに一定時間が経過した場合とは、ユーザが作業に集中して第１形態通知にも全く気付かなかった場合や、第１形態通知には気付いたが作業を続けたいため無視した場合等が考え得る。いずれも、作業中のユーザに対して強制的に注視対象を動かすことなく、そのまま第１および第２形態通知の出力を終了させることで、煩わしさを感じさせないようにすることができる。
　　＜３－２．第２の実施例＞
　次に、第２の実施例について説明する。第２の実施例は、通知対象が実物体の場合である。
　図５は、本実施例による第２の実施例による動作処理の流れの一例を示すフローチャートである。図５に示すように、まず、情報処理装置１００の視野検出部１３０は、ユーザの視野範囲（中心視野領域、周辺視野）を判定する（ステップＳ２０３）。
　次に、作業領域推定部１５１は、ユーザの作業領域を推定する（ステップＳ２０６）。
　次いで、データ処理部１５０は、通知対象である実物体の位置を検出する（ステップＳ２０９）。なお実物体の位置が既知であり例えば記憶部１７０に蓄積されている場合、データ処理部１５０は、記憶部１７０から位置情報を取得する。
　次に、データ処理部１５０は、実物体の位置に応じて第１形態通知を生成し、出力する（ステップＳ２１２）。例えばデータ処理部１５０は、実物の窓、ドア、キッチン、テレビ、洗濯機等に関する通知がある場合に、これらの位置から風が吹く、音がする、振動がする、影が映る、光が差し込むといった表現の第１形態通知を生成し、出力する。例えばドアの鍵が閉まっていないことを検知した場合に、ドアが開く音やドアからの光の差し込みなどを出力することで、ユーザの目線や意識をドアに導く（ドアを想起させる）ことが可能となる。
　なお、データ処理部１５０は、実物体の位置を用いず、単に実物体の存在をユーザにさりげなく想起させる第１形態通知を生成するようにしてもよい。例えば雨が降ってきたためユーザに洗濯物を取り込むことを推薦したい場合に、雨の音や風の音、洗濯バサミがぶつかり合う音等を小さめの音量で再生することで、雨が降ってきたため洗濯物を取り込むといったことを想起させることが可能となる。
　次いで、データ処理部１５０は、ユーザが第１形態の通知に注目したか否かを判断する（ステップＳ２１５）。本実施例では、第１形態通知は実物体へユーザの視線や意識を導く通知である。
　次に、第１段階通知に注目せずに一定時間が経過した場合（ステップＳ２１５／Ｎｏ、ステップＳ２１８／Ｙｅｓ）、データ処理部１５０は、第１形態通知の出力を終了する（ステップＳ２２１）。第１形態通知に注目せずに一定時間が経過した場合とは、ユーザが作業に集中して第１形態通知にも全く気付かなかった場合や、第１形態通知には気付いたが作業を続けたいため無視した場合等が考え得る。いずれも、作業中のユーザに対して強制的に注視対象を動かすことなく、そのまま第１形態通知の出力を終了させることで、煩わしさを感じさせないようにすることができる。
　　＜３－３．第３の実施例＞
　続いて、第３の実施例について説明する。ここでは、第１、第２の形態通知の出力タイミングを調整する場合について説明する。
　図６は、本実施例による第３の実施例による動作処理の流れの一例を示すフローチャートである。図６に示すように、まず、情報処理装置１００の視野検出部１３０は、ユーザの視野範囲（中心視野領域、周辺視野）を判定する（ステップＳ３０３）。
　次に、作業領域推定部１５１は、ユーザの作業領域を推定する（ステップＳ３０６）。
　次いで、データ処理部１５０は、第２形態通知を出力する（ステップＳ３０９）。
　次に、データ処理部１５０は、ユーザが第２形態の通知に注目したか否かを判断する（ステップＳ３１２）。
　次いで、ユーザが第２形態の通知に注目しない場合（ステップＳ３１２／Ｎｏ）、データ処理部１５０は、第１形態通知の条件を満たすか否かを判断する（ステップＳ３１５）。第１形態通知の条件とは、例えば、タスク期日が近付いている場合（例えば出掛ける時間の１時間前、ユーザが登録したタスクのアラームなど）や、第２形態通知を出力してから一定時間が経過した場合等が想定される。
　次に、第１形態通知の条件を満たす場合（ステップＳ３１５／Ｙｅｓ）、データ処理部１５０は、第１形態通知を出力する（ステップＳ３１８）。
　次いで、ユーザが第１形態通知に注目した場合（ステップＳ３２１）、データ処理部１５０は、一定時間待機する（ステップＳ３２７）。これにより、ユーザが第２形態通知に視線を移動させる前に第２形態通知を消してしまうことを避ける。
　そして、一定時間待機後、または、ユーザが第１形態通知に注目せずに一定時間経過した場合（ステップＳ３２１／Ｎｏ、ステップＳ３２４／Ｙｅｓ）、データ処理部１５０は、第１形態通知の出力を終了し（ステップＳ３３０）、次いで、第２形態通知の出力を終了する（ステップＳ３３３）。第１形態通知と第２形態通知は順次出力を終了してもよいし、同時のタイミングで出力を終了してもよい。
　なお、第１形態通知の条件を満たす前に、ユーザが第２形態通知に注目した場合（ステップＳ３１２／Ｙｅｓ）、データ処理部１５０は、第２形態通知の出力を終了する（ステップＳ３３３）。
　＜＜４．補足＞＞
　本システムでは、第１形態通知と第２形態通知のモーダルは異なるものを用いてもよい。
　また、ユーザ状況に応じてモーダルを選択したり、組み合わせたりしてもよい。図７は、本実施形態に係る第１、第２形態通知に用いるモーダルの状況に応じた組み合わせについて説明する図である。図７に示すように、例えば視覚通知、聴覚通知、触覚通知がある場合に、ユーザが音楽を聴いている時は、視覚情報による提示は適さないため、聴覚情報提示または／および触覚情報提示を選択する。また、ユーザが映画を鑑賞している時は、視覚情報提示、聴覚情報提示は適さないため、触覚情報提示（例えば振動、風など）を選択する。また、ユーザが掃除機をかけている時は、騒音がしているため、聴覚情報提示は適さず、また、掃除機自体の振動が伝わるため、触覚情報提示も適さない。よって、視覚情報提示を選択する。なお図７では三種類の提示を挙げたが、必要に応じ、嗅覚通知を追加してもよい。
　また、作業領域が周辺視野内に収まらない場合、データ処理部１５０は、視覚情報提示は適さないため、聴覚情報提示や触覚情報提示などその他のモーダルを使用することが好ましい。
　また、複数のユーザを対象とした場合、各ユーザの周辺視野が重なる場所に第１形態通知を出力するようにしてもよい。また、空間内に複数のユーザがいる場合に、ある特定のユーザにだけ通知を行いたい場合、まず特定のユーザの周辺視野に第１形態通知を行い、そのユーザのみが所定の方向に視線を向けた時に（例えば後ろを振り返った時に）、第２形態通知を出力するようにしてもよい。
　また、出力装置３００としてユーザが日常的に着用する透過型ＨＭＤを適用し、仮想的な壁を表示して（ＡＲ表示）、そこに第２形態通知（仮想的な窓）を出力するようにしてもよい。
　また、本システムでは、従来の通知とは異なり、緊急度は低いが重要度が高い事例により効果的である。例えば、天気が良く湿度が低い日に、窓による視覚モーダルと風による触覚モーダルを組み合わせて、「布団干し」を提案してもよい。また、既存のスケジューラと連携し、出発時刻の１時間前から３０分前の間は、本システムで出発を促し、出発時刻の３０分前からは従来のアラームによる割り込み通知に切り替えるようにしてもよい。これにより、ユーザのストレスを軽減しつつも確実に通知を行うことができる。
　また、予めタスクを入力しておくことで、その実施をさりげなく促すことができる。例えば、「洗い物」と入力し、タイマの自動発火（例えば１時間後、２時間後など）で、本システムにより、水の音と食器の「カチャカチャ」という音により通知するようにしてもよい。
　また、複数ユーザがいる場合に、例えば、立っている人にのみ見える位置に第１形態表現を表示するようにすることで、「立ったついでに家事を行う」ことを促すことができる。
　＜＜５．まとめ＞＞
　上述したように、本開示の実施形態による情報処理システムでは、ユーザの作業を邪魔せず、少なくともユーザに対して何らかの通知があることをさりげなく知らせることが可能となる。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　例えば、上述した情報処理装置１００、センサ装置２００、または出力装置３００に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、情報処理装置１００、センサ装置２００、または出力装置３００の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部を備える、情報処理装置。
（２）
　前記視野範囲の判定情報は、実空間における前記ユーザの視野範囲および作業領域であって、
　前記制御部は、
　　前記ユーザの作業領域を除く周辺視野の領域に、前記第１形態通知を出力するよう制御する、前記（１）に記載の情報処理装置。
（３）
　前記周辺視野は、前記ユーザの視野範囲のうち、中心視野領域を除く領域である、前記（１）または（２）に記載の情報処理装置。
（４）
　前記第１形態通知は、前記通知対象の影を示す画像である、前記（１）～（３）のいずれか１項に記載の情報処理装置。
（５）
　前記通知対象は、通知内容を示す第２形態通知であり、
　前記制御部は、前記第２形態通知を前記ユーザの視野範囲外に出力するよう制御する、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（６）
　前記制御部は、
　　前記第１形態通知および前記第２形態通知を出力し、前記ユーザが前記第２形態通知に注目したか、または、前記第１、第２形態通知を出力してから一定時間が経過した場合、前記第１、第２形態通知の出力を終了するよう制御する、前記（５）に記載の情報処理装置。
（７）
　前記制御部は、
　　前記第２形態通知を出力した後に、前記第１形態通知を出力し、前記ユーザが前記第１形態通知に注目したか、または、前記第１形態通知を出力してから一定時間経過した場合、前記第１形態通知の出力を終了するよう制御する、前記（５）に記載の情報処理装置。
（８）
　前記通知対象は、実物体であり、
　前記第１形態通知は、前記実物体の存在を想起させる通知情報である、前記（１）～（４）のいずれか１項に記載の情報処理装置。
（９）
　前記制御部は、前記実物体の方向に前記ユーザの注目を向ける前記第１形態通知を出力する、前記（８）に記載の情報処理装置。
（１０）
　前記制御部は、前記ユーザの状況に応じて、前記第１形態通知を、少なくとも聴覚提示、触覚提示、または嗅覚提示により行うよう制御する、前記（１）～（８）のいずれか１項に記載の情報処理装置。
（１１）
　プロセッサが、
　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御することを含む、情報処理方法。
（１２）
　コンピュータを、
　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部として機能させるための、プログラム。
　１　情報処理システム
　４０　第１形態通知
　５０　第２形態通知
　６０　周辺視野領域
　６２　中心視野領域
　１００　情報処理装置
　１１０　I/F部
　１２０　環境認識部
　１３０　視野検出部
　１４０　ユーザ認識部
　１５０　データ処理部
　１５１　作業領域推定部
　１５２　出力生成部
　１６０　タイマ
　１７０　記憶部
　２００　センサ装置
　２１０　人感センサ
　２２０　加速度センサ
　２３０　デプスセンサ
　２４０　マイクロフォン
　２５０　カメラ
　２６０　ジャイロセンサ
　２７０　地磁気センサ
　３００　出力装置
　３１０　プロジェクタ
　３２０　スピーカ
　３３０　振動部
　３４０　風出力部
　３５０　匂い出力部

Claims (12)

  1. 　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部を備える、情報処理装置。
  2. 　前記視野範囲の判定情報は、実空間における前記ユーザの視野範囲および作業領域であって、
    　前記制御部は、
    　　前記ユーザの作業領域を除く周辺視野の領域に、前記第１形態通知を出力するよう制御する、請求項１に記載の情報処理装置。
  3. 　前記周辺視野は、前記ユーザの視野範囲のうち、中心視野領域を除く領域である、請求項１に記載の情報処理装置。
  4. 　前記第１形態通知は、前記通知対象の影を示す画像である、請求項１に記載の情報処理装置。
  5. 　前記通知対象は、通知内容を示す第２形態通知であり、
    　前記制御部は、前記第２形態通知を前記ユーザの視野範囲外に出力するよう制御する、請求項１に記載の情報処理装置。
  6. 　前記制御部は、
    　　前記第１形態通知および前記第２形態通知を出力し、前記ユーザが前記第２形態通知に注目したか、または、前記第１、第２形態通知を出力してから一定時間が経過した場合、前記第１、第２形態通知の出力を終了するよう制御する、請求項５に記載の情報処理装置。
  7. 　前記制御部は、
    　　前記第２形態通知を出力した後に、前記第１形態通知を出力し、前記ユーザが前記第１形態通知に注目したか、または、前記第１形態通知を出力してから一定時間経過した場合、前記第１形態通知の出力を終了するよう制御する、請求項５に記載の情報処理装置。
  8. 　前記通知対象は、実物体であり、
    　前記第１形態通知は、前記実物体の存在を想起させる通知情報である、請求項１に記載の情報処理装置。
  9. 　前記制御部は、前記実物体の方向に前記ユーザの注目を向ける前記第１形態通知を出力する、請求項８に記載の情報処理装置。
  10. 　前記制御部は、前記ユーザの状況に応じて、前記第１形態通知を、少なくとも聴覚提示、触覚提示、または嗅覚提示により行うよう制御する、請求項１に記載の情報処理装置。
  11. 　プロセッサが、
    　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御することを含む、情報処理方法。
  12. 　コンピュータを、
    　撮像画像に基づくユーザの視野範囲の判定情報に基づいて、実空間に配置される通知対象に前記ユーザを導くための第１形態通知を、前記ユーザの周辺視野の領域に出力するよう制御する制御部として機能させるための、プログラム。
PCT/JP2020/015248 2019-04-09 2020-04-02 情報処理装置、情報処理方法、およびプログラム WO2020209184A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112020001852.0T DE112020001852T5 (de) 2019-04-09 2020-04-02 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
CN202080026987.8A CN113646830A (zh) 2019-04-09 2020-04-02 信息处理设备、信息处理方法和程序
JP2021513608A JPWO2020209184A1 (ja) 2019-04-09 2020-04-02
US17/442,356 US20220180571A1 (en) 2019-04-09 2020-04-02 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-073994 2019-04-09
JP2019073994 2019-04-09

Publications (1)

Publication Number Publication Date
WO2020209184A1 true WO2020209184A1 (ja) 2020-10-15

Family

ID=72750628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015248 WO2020209184A1 (ja) 2019-04-09 2020-04-02 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US20220180571A1 (ja)
JP (1) JPWO2020209184A1 (ja)
CN (1) CN113646830A (ja)
DE (1) DE112020001852T5 (ja)
WO (1) WO2020209184A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139850A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
JP2018195172A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、情報処理プログラム及び情報処理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6625801B2 (ja) 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US10682953B1 (en) * 2017-09-28 2020-06-16 Evan W. Mills Device providing sensory feedback for vehicle pedal selection
JP7125713B2 (ja) * 2018-12-27 2022-08-25 スズキ株式会社 自動車の情報表示装置および情報表示方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016139850A1 (ja) * 2015-03-05 2016-09-09 ソニー株式会社 情報処理装置、制御方法、およびプログラム
JP2017068689A (ja) * 2015-09-30 2017-04-06 富士通株式会社 視野誘導方法、視野誘導プログラム、及び視野誘導装置
JP2018195172A (ja) * 2017-05-19 2018-12-06 株式会社コロプラ 情報処理方法、情報処理プログラム及び情報処理装置

Also Published As

Publication number Publication date
CN113646830A (zh) 2021-11-12
JPWO2020209184A1 (ja) 2020-10-15
US20220180571A1 (en) 2022-06-09
DE112020001852T5 (de) 2022-01-20

Similar Documents

Publication Publication Date Title
CN110383214B (zh) 信息处理装置、信息处理方法和记录介质
US11816256B2 (en) Interpreting commands in extended reality environments based on distances from physical input devices
CN114391163A (zh) 手势检测系统和方法
KR20160121287A (ko) 이벤트에 기반하여 화면을 디스플레이하는 방법 및 장치
WO2018154933A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2021096490A (ja) 情報処理装置、情報処理方法、およびプログラム
WO2019220729A1 (ja) 情報処理装置、情報処理方法、および記録媒体
US20200125398A1 (en) Information processing apparatus, method for processing information, and program
US20200228763A1 (en) Information processing device, information processing method, and program
US11373271B1 (en) Adaptive image warping based on object and distance information
CN112074804A (zh) 信息处理系统、信息处理方法和记录介质
US20190371280A1 (en) Information processing apparatus and information processing method
WO2018198503A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020209184A1 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2022546053A (ja) 仮想ミラーシステム及び方法
CN111819841B (zh) 信息处理装置、信息处理方法和存储介质
WO2018139050A1 (ja) 情報処理装置、情報処理方法およびプログラム
WO2022009826A1 (ja) ディスプレイ装置
US20210211621A1 (en) Information processing apparatus, information processing method, and program
WO2019239902A1 (ja) 情報処理装置、情報処理方法およびプログラム
Wambutt Sonic feedback cues for hand-gesture photo-taking: Designing non-visual feedback for a touch-less hand-gesture based photo-taking experience

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787879

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021513608

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20787879

Country of ref document: EP

Kind code of ref document: A1