JPWO2018084082A1 - ジェスチャ入力システム及びジェスチャ入力方法 - Google Patents

ジェスチャ入力システム及びジェスチャ入力方法 Download PDF

Info

Publication number
JPWO2018084082A1
JPWO2018084082A1 JP2018548979A JP2018548979A JPWO2018084082A1 JP WO2018084082 A1 JPWO2018084082 A1 JP WO2018084082A1 JP 2018548979 A JP2018548979 A JP 2018548979A JP 2018548979 A JP2018548979 A JP 2018548979A JP WO2018084082 A1 JPWO2018084082 A1 JP WO2018084082A1
Authority
JP
Japan
Prior art keywords
tactile sensation
area
person
user
gesture input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018548979A
Other languages
English (en)
Other versions
JP6934618B2 (ja
Inventor
大介 和久田
大介 和久田
玄 松本
玄 松本
江崎 賢一
賢一 江崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2018084082A1 publication Critical patent/JPWO2018084082A1/ja
Application granted granted Critical
Publication of JP6934618B2 publication Critical patent/JP6934618B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

ユーザの身体の一部の動きに基づくユーザ操作を受け付け、身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力システム(100)は、ユーザの身体の一部の動きを検出するセンサ(1)と、空間内に設定された基点(61)に触感を提示する触感提示装置(3)と、センサによって検出された身体の一部(50)において追跡点を設定し、追跡点と基点との相対的な位置関係の変化に基づき前記入力信号を生成する制御装置(2)と、を備える。触感提示装置(3)は、ジェスチャ入力システムがユーザ操作を受付け可能な入力可能状態にある間、基点(61)に触感を提示し続ける。

Description

本開示は、ユーザの身体の動きに応じて入力を受け付けるジェスチャ入力システム及びジェスチャ入力方法に関する。
特許文献1は、空間中のユーザの操作に応じてユーザからの入力を受け付ける入力制御装置として、例えば特許文献1に開示された仮想インタフェース制御装置がある。特許文献1の仮想インタフェース制御装置は、ユーザの空間中の操作位置を検出する位置検出手段と、位置検出手段が検出した操作位置が所定の入力受付位置である場合に、ユーザの入力を受け付ける入力受付手段と、入力受付位置に対するユーザの操作に抗する抵抗を、空気流によって与えるように空気を空間中に噴出する空気噴出装置とを有する。
特許文献1の仮想インタフェース制御装置によれば、入力受付位置に対するユーザの操作に抗する抵抗が空気流により与えられるため、ユーザはその空気流による抵抗(触感)により、操作すべき空間中の位置を把握することが可能となる。
特開2005−219938号公報
特許文献1に記載のシステムでは、操作すべき空間中の位置をユーザに把握させることはできるが、仮想的な入力デバイスに対する操作において、ユーザの手の移動方向や移動距離をユーザに知覚させるように触感を提示していない。
本開示は、ユーザ操作の方向や操作量をユーザに知覚させることが可能なジェスチャ入力システム及びジェスチャ入力方法を提供する。
本開示の第一の態様において、ユーザの身体の一部の動きに基づくユーザ操作を受け付け、身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力システムが提供される。ジェスチャ入力システムは、ユーザの身体の一部の動きを検出するセンサと、空間内に設定された基点に触感を提示する触感提示装置と、センサによって検出された身体の一部において追跡点を設定し、追跡点と基点との相対的な位置関係の変化に基づき入力信号を生成する制御装置と、を備える。触感提示装置は、ジェスチャ入力システムがユーザ操作を受付け可能な入力可能状態にある間、基点に触感を提示し続ける。
本開示の第二の態様において、ユーザの身体の一部の動きに基づくユーザ操作を受け付け、前記身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力方法が提供される。ジェスチャ入力方法によれば、センサにより、ユーザの身体の一部の動きを検出し、触感提示装置により、空間内に設定された基点に触感を提示し、制御装置により、センサによって検出された身体の一部において追跡点を設定し、制御装置により、追跡点と基点との相対的な位置関係の変化に基づき入力信号を生成する。触感提示装置は、ユーザ操作を受付け可能な入力可能状態にある間、基点に触感を提示し続ける。
本開示の第三の態様において、上記のジェスチャ入力システムを備えた、またはジェスチャ入力方法を実施する電子機器が提供される。
本開示のジェスチャ入力システム及びジェスチャ入力方法によれば、空間でジェスチャ操作する際に、ユーザはジェスチャ操作の基準位置を知覚でき、基準位置に対する移動方向および移動量を知覚できる。これによりジェスチャ操作における利便性が向上する。
本開示の実施の形態1におけるジェスチャ入力システムの構成を示すブロック図 ジェスチャ入力システムによる仮想的なトラックボールの操作を説明するための図 ジェスチャ入力システムにより設定される、基点、追跡点、触感提示エリアおよび入力可能エリアを説明した図 入力可能エリアと触感提示エリアの相対的な位置関係による、触感提示出力のオン/オフを説明した図(入力可能エリアがユーザの手のひら全体の領域に設定された場合) 入力可能エリアと触感提示エリアの相対的な位置関係による、触感提示出力のオン/オフを説明した図(入力可能エリアがユーザの手のひらの一部の領域に設定された場合) 入力可能エリアが触感提示エリアと接触していないときに触感提示出力をオフにする理由を説明するための図 実施の形態1における、ジェスチャ入力システムに対する断続的な入力操作を説明した図 実施の形態1における、ジェスチャ入力システムに対する断続的な入力操作を説明した図 ジェスチャ入力システムの感度を操作位置(高さ)に応じて変更する機能を説明するための図 実施の形態1におけるジェスチャ入力システムの動作を示すフローチャート 本開示の実施の形態2において、入力可能エリアと触感提示エリアの相対的な位置関係によらず触感提示出力をオンに維持する機能を説明した図 実施の形態2における、ジェスチャ入力システムに対する断続的な入力操作を説明した図 実施の形態2におけるジェスチャ入力システムの動作を示すフローチャート 本開示の実施の形態3に情報処理装置の構成を示すブロック図 実施の形態3における情報処理装置の動作を示すフローチャート 本開示の実施の形態4における情報伝達装置の構成を示すブロック図 実施の形態4における気配報知領域内での触感提示の方法を説明するための図 緊急度の高低に応じて変化させる触感提示の方法を説明した図 実施の形態4における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態5における情報伝達装置の構成を示すブロック図 実施の形態5における気配報知領域内での触感提示の方法を説明するための図 実施の形態5における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態6における情報伝達装置により設定される気配報知領域を説明した図 本開示の実施の形態6における情報伝達装置の構成を示すブロック図 実施の形態6における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態7における情報伝達装置により設定される気配報知領域及び進入禁止領域を説明した図 本開示の実施の形態7における情報伝達装置の構成を示すブロック図 実施の形態7における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態8における情報伝達装置の構成を示すブロック図 実施の形態8における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態9における情報伝達装置の構成を示すブロック図 実施の形態9における情報伝達装置の警告動作を示すフローチャート 本開示の実施の形態10における情報伝達装置の構成を示すブロック図 実施の形態10における情報伝達装置の警告動作を示すフローチャート
以下、添付の図面を参照し、本発明の実施形態について説明する。
(実施の形態1)
以下に説明するジェスチャ入力システムは、ユーザのジェスチャ入力を可能とする装置である。ジェスチャ入力とは、ユーザの身体の少なくとも一部(例えば、手)の動きを用いて、ユーザの操作の意思を電子機器等に伝える入力方法である。ジェスチャ入力システムは、ユーザの身体の動きに基づく操作を示す信号(操作情報)を電子機器等に出力する。電子機器等は、ジェスチャ入力システムによって検出されたユーザの身体の動きに基づく操作にしたがい、操作に関連付けられた命令を実行する。
1.ジェスチャ入力システムの構成
図1は、本開示の実施の形態1のジェスチャ入力システムの構成を示した図である。本実施の形態のジェスチャ入力システム100は、ユーザの身体の動きを検出するセンサ1と、センサ1の出力に基づいてユーザのジェスチャ入力を受け付ける入力制御装置2と、入力制御装置2による制御に応じてユーザに対して触感を提示する触感提示装置3とを含む。
センサ1は、所定範囲内において物体の動きを検出可能なセンサであって、カメラなどの視覚センサを含む。例えば、センサ1は、物体の動きを非接触で3次元的に検出することが可能な距離画像センサ(TOFセンサ)又はレーザーセンサである。センサ1は、人体の動きを検出することができるものであれば良く、例えば、超音波センサ、赤外線センサ、又は可視光センサであっても良い。
センサ1は、ユーザの身体の一部の動きを検出する。センサ1は、参照箇所の3次元の座標を参照箇所の動きに関する情報として取得する。本実施の形態では、検出対象の身体の一部は人の手(hand)とする。検出対象の部位は他の身体の部位であってもよく、人の上半身、顔、指又は指先等であってもよい。
入力制御装置2は、センサ1が検出したユーザの手の動きに基づいて、ユーザによる操作を検出し、ユーザ操作を示す情報を出力する。入力制御装置2は、ジェスチャ入力を判定する制御部21と、制御に必要な種々の情報を格納する記憶部22と、外部機器と通信を行うためのインタフェース部23とを含む。制御部21は、半導体素子などで実現可能であり、マイコン、CPU、MPU、DSP、FPGA、ASIC等で構成される。制御部21は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現してもよい。制御部21は、センサ1の出力に基づき判定したユーザ操作を示す情報を制御対象の電子機器200に出力する。電子機器200は任意の装置であり、パーソナルコンピュータや種々の電子機器である。
記憶部22は、例えば、DRAM、フラッシュメモリ、又は強誘電体メモリなどで実現できる。
インタフェース部23は、USB、HDMI(登録商標)、PCIバス等の通信規格にしたがって入力制御装置と、制御対象である電子機器200との通信を行う装置(回路)である。
触感提示装置3は、空中に触感を提示することが可能な通知装置である。「触感」とは、皮膚を通して人体が認識することのできる感覚である。皮膚を通して認識できる感覚の例として、触覚、振動覚、圧覚、温覚、冷覚、及び痛覚が挙げられる。「触感を提示する」とは、例えば、振動及び/又は圧力によって刺激を与えることであってもよく、温感及び/又は冷感を与えるものであってもよい。例えば、触感提示装置3は、振動子(例えば超音波振動子)によってユーザに振動及び/又は音響放射圧を与えてもよく、レーザーで生成したプラズマと皮膚が接触することによる衝撃を与えてもよい。または、触感提示装置3は、コンプレッサまたはファンによってユーザに空気流を与えてもよい。あるいは、触感提示装置3は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、触感提示装置3は、振動子、レーザー 、コンプレッサ、ファン、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも1つを含んでもよい。空中での触感の提示とは、人体に接触せずに、触感を人体に感じさせることである。
触感提示として超音波の音響放射圧を利用してもよい。例えば、触感提示装置3を、複数の超音波振動子を並べて構成される超音波振動子アレイで構成してもよい。超音波振動子アレイは、空中の任意の位置に超音波の焦点を作り出すことによって、人体の表面に触覚を提示することができる。超音波の焦点では、音圧の振動の他に、音響放射圧という静的な圧力が発生する。音響放射圧という静的な圧力は、空気中を伝播する超音波が空気の音響インピーダンスと異なる物体で遮られたときに発生する。音圧レベルが大きな超音波になると、超音波が身体表面で遮られることにより、人が認識できるような身体表面を押す力が発生する。これにより、非接触で身体に力を提示することができる。
「超音波」とは一般に20kHz以上の周波数を有する音波のことであり、人の耳には聞こえない。聴覚に頼らず触感を提示するためには、周波数を20kHz以上にすればよい。超音波の周波数に上限の制約はないが、空気中を伝播する超音波の減衰は、周波数が高くなるに従い大きくなるため、超音波を用いた触感提示を行う周波数は、好ましくは20kHz〜200kHz、より好ましくは20kHz〜100kHである。また、人が認識できる圧力を身体表面に提示することができる超音波の音圧レベルは、140dB以上、好ましくは150dB以上、さらに好ましくは160dB以上である。
超音波振動子を間欠的に駆動させたり、振幅変調させたりすることで、音響放射圧を時間的に変化させて、ユーザに振動として提示することができる。このとき、振動感をつかさどる皮膚感覚受容器には感度の高い振動数が存在する。音響放射圧の変調駆動を、この感度の高い振動数に合わせることで、音響放射圧が同じでもより強い触感を与えることが可能になる。この変調周波数は、好ましくは0〜300Hz、より好ましくは100Hz〜300Hzである。
または、触感提示として、空気流を利用してもよい。すなわち、触感提示装置3を、ノズルとポンプとを含み、空気流を噴射する装置で構成してもよい。
2.ジェスチャ入力システムの動作
以上のように構成されるジェスチャ入力システム100の動作を説明する。ジェスチャ入力システム100は空間中でのユーザの手50の動き(移動)をセンサ1により検出し、動き(移動)の方向及び動きの量を示す情報を操作情報(操作信号)として外部の電子機器200に送信する。これにより、図2に示すように、ユーザはあたかも空間中に仮想的なトラックボール90が存在し、その仮想的なトラックボール90に対して回転操作するような感覚で電子機器200に対する操作を行うことが可能となる。つまり、ユーザは、仮想的なトラックボール90を前後左右に回転させるように手50を操作することで、電子機器200の表示部においてカーソルを上下左右に移動させたり、画面を上下左右にスクロールしたりすることが実現される。
また、ジェスチャ入力システム100は、ユーザの手50の形状も検出し、形状を示す情報を操作情報として電子機器200に送信する。例えば、ジェスチャ入力システム100は、ユーザの手50の形状として、手50のひらを閉じた形状(グーの状態)や全開した形状(パーの状態)を検出し、その形状を示す情報を操作情報(操作信号)として電子機器200に送信する。
最初に、図3を参照し、ジェスチャ入力システム100の動作に関連したいくつかの用語について説明する。
「基点」とは、ユーザがジェスチャ入力操作を行うときの基準位置である。ジェスチャ入力システム100は、図3(A)に示すように、ユーザがジェスチャ入力操作を行う空間において基点61の座標を設定する。ユーザは、この基点61に触れながら空間中で入力操作を行う。このため、ジェスチャ入力システム100(触感提示装置3)は、空間において基点61を中心としたある範囲63に触感を提示する(図3(A)、(B)参照)。この触感が提示される範囲を「触感提示エリア」という。ユーザは、手50(身体の一部の例)が触感提示エリア63に接触している間、手に触感を感じる。基点61の座標は一旦決定されると、時間的に変化せず固定される。
「追跡点」とは、ジェスチャ入力システム100が、ユーザの手50の位置を判定する基準として設定する、ユーザの手50の領域内の位置である。本実施の形態では、図3(A)、(B)に示すように、追跡点51はユーザの手50の領域内の所定位置に設定される。ジェスチャ入力システム100は、追跡点51と基点61の相対的な位置関係の変化に基づき、ユーザによりなされたジェスチャ入力(ユーザ操作)を検出する。この追跡点は手50の動きに付随して移動する。
ジェスチャ入力システム100は、ユーザの手50のひらの全部または一部の領域に「入力可能エリア」53を設定する。入力可能エリア53のサイズは、触感提示エリア63のサイズよりも大きく、ユーザの手50のサイズ以下となる。入力可能エリア53が触感提示エリア63と接触している間、ジェスチャ入力の受付が可能となる。入力可能エリア53は手50の動きに付随して一緒に移動する。
入力可能エリア53は、例えば、図4の(B1)、(B2)に示すように、手のひら全体の領域に設定してもよいし、図5の(B1)、(B2)に示すように、手のひらの一部の領域に設定してもよい。なお、本実施の形態では、入力可能エリア53は、図4の(B1)、(B2)に示すように、手のひら全体の領域に設定されているとして以下の説明を行う。
ジェスチャ入力システム100は、動作状態として、ジェスチャ入力の受付が可能な入力受付可能状態と、ジェスチャ入力の受付を行わない入力受付不可状態とを有する。入力可能エリア53が触感提示エリア63と接触している場合、ジェスチャ入力システム100は、その動作状態をジェスチャ入力の受付が可能な入力受付可能状態に設定する。入力受付可能状態のとき、触感提示装置3は触感提示エリア63に対して触感を提示する(図4(A1)、(B1)、図5(A1)、(B1)参照)。ユーザは手のひらに触感を感じることでジェスチャ入力が可能であることを認識できる。
一方、入力可能エリア53が触感提示エリア63と接触していない場合、ジェスチャ入力システム100は、その動作状態をジェスチャ入力の受付不可状態に設定する。このとき、触感提示装置3は触感提示エリア63に対して触感を提示しない(図4(A2)、(B2)、図5(A2)(B2)参照)。このように受付不可状態において触感提示を停止する理由は、ジェスチャ入力の受付が不可の状態においてユーザが触感を感じることで、受付可能状態であると誤解することを防止するためである。例えば、図6に示すように、触感を気流66で与え、触感提示エリア63の下方に手のひら(入力可能エリア53)が位置する場合、入力可能エリア53は触感提示エリア63と接触していないため、ジェスチャ入力システム100は入力受付不可状態に設定される。このとき、触感提示出力をオフにしないと、気流66がユーザの手のひらに当たるため、ユーザは触感を感じてジェスチャ入力が可能であると誤解してしまう可能性がある。そこで、本実施の形態では、入力可能エリア53が触感提示エリア63と接触していない場合、触感提示出力をオフにすることにより、受付不可なことをユーザに認知させるようにする。
図7および図8は、ジェスチャ入力システム100において、一方向(方向A)への動き(移動)を連続して指示するための断続的なユーザ操作を説明した図である。図7は、操作を行うユーザの正面側から見たときのユーザの手の動きを説明した図である。図8は、ユーザの横側から見たときのユーザの手50と触感提示エリア63の相対的な位置関係の遷移を説明した図である。図7および図8(A)、(B)に示すように、最初ユーザは手50(すなわち入力可能エリア53)を触感提示エリア63と接触させながら一方向(方向A)へ移動させる。このとき、ジェスチャ入力システム100において、基点61と追跡点51の相対的な位置関係の変化に基づき、方向Aの方向への操作指示が入力される。これにより、例えば、電子機器200上でカーソルが方向Aに対応する方向に移動する。
ユーザが手50をさらに方向Aへ移動させると、入力可能エリア53は、触感提示エリア63の外側に移動し、触感提示エリア63と接触しなくなる(図8(C)参照)。このとき、ジェスチャ入力システム100は入力受付不可状態になる。このとき、電子機器200においてカーソルは移動しない。
そして、ユーザは、図7に示すように、入力可能エリア53と触感提示エリア63が接触しない状態を維持しつつ手50を触感提示エリア63の上方まで移動する(図8(D)参照)。さらに、ユーザは手50を下降していき(図8(E)参照)、入力可能エリア53が触感提示エリア63に接触した時点で再度一方向(方向A)に手50を移動させる(図8(A)、(B)参照)。これにより、再度、カーソルは停止位置からさらに方向Aに移動する。
上記のように、入力可能エリア53と触感提示エリア63が接触させた状態で手50を一方向へ移動させる操作と、入力可能エリア53と触感提示エリア63が接触しない状態で手50を元の位置に戻す操作と、入力可能エリア53と触感提示エリア63が接触させた状態で手50を一方向へ移動させる操作とを繰り返すことで、一方向への長い距離の移動を指示する操作が可能となる。このような断続操作により、限定された空間内での操作(手の動き)により広い仮想空間内でのカーソルの移動等を可能にする。
また、ジェスチャ入力システム100は、ユーザが操作を行う位置に応じて出力感度を変更してもよい。すなわち、ジェスチャ入力システム100は、ユーザが操作を行う位置(例えば、高さ)に応じて、実際の手の移動量に対する、移動量を示す出力値の割合(感度)を変化させてもよい。
例えば、触感提示を空気流で行い、触感提示エリアが図9に示すように円柱形の領域63bとなる場合に、領域63bの下側でジェスチャ操作を行うほど、すなわち、入力可能エリア53と触感提示エリア63bとがより下方にて接触するほど、実際の手の単位移動量に対する出力値の割合を大きくしてもよい。これにより、ユーザは、操作する位置(高さ)を変えることで、同じ手の移動量に対する、電子機器に指示する移動量を変更することができる。例えば、ユーザは、カーソルを大きく(速く)移動させたいときは、触感提示領域63bの下方側で操作し、カーソルを小さく(ゆっくり)移動させたいとき上方側で操作すればよい。このように同じ手の動きに対して電子機器に指示する移動量を変更できるため、ユーザの利便性が向上する。
また、この場合、感度の変化に合わせて、提示する触感の強度を変更してもよい。これによりユーザは直感的に感度(移動量)の大小を感じながら操作を行うことが可能となる。
図10は、ジェスチャ入力システム100におけるジェスチャ入力動作を示すフローチャートである。以下、このフローチャートを参照して、ジェスチャ入力システム100におけるジェスチャ入力動作を説明する。
ジェスチャ入力システム100において、センサ1はユーザの手50(身体の一部)の動きを検出する(S11)。センサ1により検出された結果は入力制御装置2に入力される。入力制御装置2(制御部21)は、センサ1からの情報に基づきユーザの動きを分析し(S12)、入力受付を開始するためのトリガとなる所定の動きが検出されたか否かを検出する(S13)。この所定の動きは、例えば、手50のひらを閉じた状態(グーの状態)から全開した状態(パーの状態)に変化させる動きである。
入力制御装置2の制御部21は、所定の動きを検出しない場合(S13でNO)、ステップS11に戻り、ユーザの手の動きの検出を続ける。
所定の動きを検出した場合(S13でYES)、制御部21は、ジェスチャ入力システム100の動作状態を、ジェスチャ入力の受付が可能な入力受付可能状態に設定する(S14)。さらに制御部21は、基点61の座標を設定し、触感提示装置3を制御して、基点61を含む触感提示エリア63に触感を提示させる(S15)。制御部21は、検出した手50の位置に基づき、手50のひらで触感が感じられるように基点61の位置(座標)を設定する。これによりジェスチャ入力が可能となる。なお、基点61の座標は一旦決定されると、本処理が終了するまでは、決定された座標に固定される。
その後、センサ1はユーザの手50の動き(ジェスチャ操作)を検出する(S16)。センサ1による検出結果を示す情報は制御部21に入力される。制御部21は、センサ1からの検出結果を示す情報に基づき手の動きを分析する(S17)。すなわち、制御部21は、検出した手の領域の情報に基づいて追跡点51の位置(座標)と入力可能エリア53とを検出する。なお、手のひらのどの部分を追跡点51と入力可能エリア53に設定するかは予め決められており、それを示す情報は記憶部22に格納されている。制御部21は、検出した基点61と追跡点51の相対的な位置関係の変化に基づき、ユーザ操作を検出する。具体的には、制御部21は、基点61の座標に対する追跡点51の座標の変化を求めて、前回検出時からの追跡点51の移動方向および移動量を算出する。制御部21は、算出した追跡点51の移動方向および移動量に基づきユーザ操作(操作の方向及び量)を求める。
また、制御部21は、手50の形状を検出してもよい。例えば、手50のひらを閉じた状態(グーの状態)、手50のひらを全開した状態(パーの状態)、1本指を立てた状態等を検出し、各状態に対応するユーザ操作を検出してもよい。
制御部21は、インタフェース部23を介して、分析結果に基づき検出したユーザ操作を示す操作情報を電子機器200に出力する(S18)。電子機器200は、入力制御装置2から受信した操作情報に基づくユーザ操作にしたがい動作する。例えば、電子機器200は操作情報に基づき表示画面上でカーソルを移動させる。
その後、制御部21は、ユーザの手50の領域に設定された入力可能エリア53が触感提示エリア63と接触しているか否かを判定する(S19)。
入力可能エリア53が触感提示エリア63に接触している場合(S19でNO)、制御部21は、ジェスチャ入力システム100の動作状態が入力受付不可状態であるときは入力受付可能状態に設定する(S23)。さらに、制御部21は触感提示装置3を制御して、基点61を含む触感提示エリア63に触感を提示する(S24)。その後、制御部21はステップS16に戻り、上記処理を繰り返す。
一方、入力可能エリア53が触感提示エリア63の外である場合(S19でYES)、制御部21は、ジェスチャ入力システム100の動作状態を入力受付不可状態に設定する(S20)。さらに、制御部21は、触感提示装置3を制御し、触感提示のための出力を停止させる(S21)。このように、入力可能エリア53が触感提示エリア63外になった場合には、ジェスチャ入力を受付けないように設定するとともに触感提示を停止する。
その後、制御部21は、所定時間内にセンサ1によりユーザの手の動きが検出されたか否かを判断する(S22)。所定時間内にセンサ1によりユーザの手の動きが検出された場合(S22でYES)、制御部21は、ステップS19に戻り、上記処理(S16〜S22)を繰り返す。例えば、ユーザにより図7、図8を用いて説明した断続的な操作が行われた場合、ステップS16〜S22が繰り返される。
一方、所定時間内にセンサ1によりユーザの手の動きが検出されなかった場合(S22でYES)、制御部21は、本処理を終了する。
以上のように、本実施形態のジェスチャ入力システム100は、空間においてなされたユーザのジャスチャからその操作情報を検出し、制御対象である電子機器200に対しその操作情報を入力することができる。その際、ジェスチャ入力システム100は、空間中の一点を基点61とし、その基点61の位置を中心とした領域(触感提示エリア)63に触感を提示する。ユーザは、基点61近傍に提示された触感を手のひらで感じながら操作することで、操作した方向や量を容易に認識することができる。
3.まとめ
以上のように本実施の形態のジェスチャ入力システム100は、ユーザの手50(身体の一部の一例)の動きに基づくユーザ操作を受け付け、手の動きの方向及び/または動きの量を示す入力信号を生成する。ジェスチャ入力システム100は、ユーザの手50の動きを検出するセンサ1と、空間内に設定された基点61に触感を提示する触感提示装置3と、センサ1によって検出された身体の一部において追跡点51を設定し、追跡点51と基点61との相対的な位置関係の変化に基づき入力信号を生成する入力制御装置2と、を備える。触感提示装置3は、ジェスチャ入力システム100がユーザ操作を受付け可能な入力可能状態にある間、基点61に触感を提示し続ける。このように入力可能状態にある間、触感が提示され続けることから、ユーザは触感により入力操作中であることを認識しながらジェスチャ操作を行える。
入力制御装置2は、入力可能状態でないときにセンサ1がユーザの手50の所定の動き(例えば、手を閉じた状態から開いた状態にする動き)を検出したときに、空間内に基点61を設定するとともに、ジェスチャ入力システム100を入力可能状態に設定する。基点61の位置は、再度設定されるまでは固定される。これにより、ユーザが所定の操作をしたときに空間内の基点61が設定される。また、基点61の位置が固定されることで、ユーザはジェスチャ操作の基準位置を認識することができる。
基点61はユーザの手50上に設定される。これによりユーザの手50に対して触感を提示できる。
触感提示装置3は、空間内の基点61を含む所定範囲である触感提示エリア63において触感を提示する。触感提示エリア63において触感を提示することで、ユーザはジェスチャ操作を行える空間内の範囲を認識できる。
入力制御装置2は、手50上に入力可能エリア53を設定し、入力可能エリア53の少なくとも一部が触感提示エリア63に重なっているときに、ジェスチャ入力システムを入力可能状態に設定する。入力可能エリアが触感提示エリアに重なっていないときは、ジェスチャ入力システムをユーザ操作を受付けない入力不可状態に設定する(S19−S20)。これにより、ユーザは断続的な入力操作が可能になる。
ジェスチャ入力システム100が入力不可状態にあるときは、触感提示装置3は触感の提示を停止する(S21)。これにより、ユーザは受付不可能なことを認識でき、かつ、省電力を実現できる。
入力制御装置2は、手の実際の動きに対する入力信号が示す動きの量の変化の割合(感度)を、触感提示エリア63内における追跡点51の位置に応じて変化させる。これにより、ユーザは簡単な操作で例えばカーソルの移動速度を容易に変更できる。
触感提示装置3は、音響放射圧または空気流により触感を提示する。触感提示装置3は、振動子(例えば超音波振動子)によってユーザに振動及び/又は音響放射圧を与えてもよく、レーザーで生成したプラズマと皮膚が接触することによる衝撃を与えてもよい。または、触感提示装置3は、コンプレッサまたはファンによってユーザに空気流を与えてもよい。あるいは、触感提示装置3は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、触感提示装置3は、振動子、レーザー 、コンプレッサ、ファン、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも1つを含んでもよい。
本実施の形態は、ユーザの手50(身体の一部の一例)の動きに基づくユーザ操作を受け付け、手50の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力方法を開示する。ジェスチャ入力方法によれば、センサ1により、ユーザの手50の動きを検出する(S12)。触感提示装置3により、空間内に設定された基点61を含む触感提示エリア63に触感を提示する(S15)。入力制御装置2により、センサ1によって検出された手50において追跡点51を設定し、追跡点51と基点61との相対的な位置関係の変化に基づき入力信号を生成する(S17)。触感提示装置3は、ユーザ操作を受付け可能な入力可能状態にある間、基点に触感を提示し続ける。
本開示のジェスチャ入力システム及びジェスチャ入力方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
(実施の形態2)
本実施の形態では、入力可能エリア53を手のひら全体の領域に設定することを前提とする。実施の形態1のジェスチャ入力システム100では、入力可能エリア53が触感提示エリア63の外にある場合は、入力受付不可状態に設定する(S20)ととともに、触感提示装置3からの触感提示出力を停止した(S21)。これに対して、実施の形態2のジェスチャ入力システム100では、入力可能エリア53が触感提示エリア63の外にある場合、入力受付不可状態に設定するが、触感提示装置3からの触感提示出力は継続する。それ以外の構成、動作は実施の形態1と同様である。
図11は、実施の形態2において、入力可能エリアと触感提示エリアの相対的な位置関係によらず触感提示出力をオンに維持する機能を説明した図である。入力可能エリア(手のひら全体)53が触感提示エリア63と接触している場合、ジェスチャ入力システム100は、動作状態をジェスチャ入力の受付可能状態に設定する。このとき、触感提示装置3は触感提示の出力をオンにし、触感提示エリア63に対して触感を提示する(図11(A1)、(B1)参照)。
一方、入力可能エリア53が触感提示エリア63の外にある場合、ジェスチャ入力システム100は、動作状態をジェスチャ入力の受付不可状態に設定する。このとき、触感提示装置3は触感提示の出力をオフにせず、触感提示出力を継続する(図11(A2)、(B2)参照)。
本実施の形態では、入力可能エリア53を手のひら全体の領域に設定する。このため、入力可能エリア53が触感提示エリア63の外にある場合は、手のひらの領域外に触感が提示されるため、ユーザは触感を感じることがない。このため、触感が提示され続けても、ユーザが触感により入力受付可能であると誤認するという問題は生じない。
図12は、実施の形態2におけるジェスチャ入力システムに対する断続的な入力操作(図7参照)を説明した図である。断続的な入力操作が行われた場合、図12(C)〜(E)に示すように、入力可能エリア53が触感提示エリア63の外にある場合でも、触感提示装置3により触感が提示され続ける。
図13は、実施の形態2におけるジェスチャ入力システムの動作を示すフローチャートである。図13に示すフローチャートは、図10に示すフローチャートにおいてステップS21をステップS21bに置換したものである。すなわち、本実施の形態では、入力可能エリア53が触感提示エリア63の外にある場合でも、触感提示装置3により触感が提示され続ける(S21b)。
以上のように、入力可能エリア53が触感提示エリア63の外にある場合でも、触感提示出力を継続するため、触感提示装置3において触感提示のON/OFFを頻繁に切り替える必要がなくなり、制御が容易になる。
(実施の形態3)
以下、上述の実施の形態で説明したジェスチャ入力システムを入力手段の一つとして適用した情報処理装置の構成を説明する。
図14は、上述の実施の形態で説明したジェスチャ入力システムを入力手段の一つとして適用した情報処理装置の構成を示した図である。情報処理装置は例えばパーソナルコンピュータである。
図14に示すように、情報処理装置300は、その全体動作を制御するコントローラ311と、種々の情報を表示する表示部313と、ユーザが操作を行う操作部315と、RAM316と、データやプログラムを記憶するハードディスクドライブ(HDD)317とを備える。さらに、情報処理装置300は、外部機器と通信を行うためのインタフェース部319を備える。さらに、情報処理装置300は、センサ321と、触感提示部323とを備える。
表示部313は例えば、液晶ディスプレイや有機ELディスプレイで構成される。操作部315は、キーボード、タッチパッド、タッチパネル及び/またはボタン等を含む。タッチパネルはその操作領域が表示部313の表示領域と重畳するように配置される。ボタンは、情報処理装置300に物理的に設けられたボタンや、表示部313に表示された仮想的なボタンを含む。
インタフェース部319は、HDMI、USB、LAN、Bluetooth(登録商標)、WiFi等の通信規格にしたがい外部機器と通信を行うための回路(モジュール)である。
RAM316は、例えば、DRAMやSRAM等の半導体デバイスで構成され、データを一時的に記憶するとともに、コントローラ311の作業エリアとしても機能する。
ハードディスクドライブ(HDD)317は所定の機能を実現するために必要なパラメータ、データ及び制御プログラム等を記憶する記録媒体である。ハードディスクドライブ(HDD)に代えて半導体記憶装置(SSD)のような他の記録媒体を使用してもよい。
コントローラ311はCPUやMPUであり、制御プログラム(ソフトウェア)を実行することで所定の機能を実現する。なお、本実施形態では、ハードディスクドライブ317に、ジェスチャ入力システムを機能させるためのプログラム(ドライバ)が予め実装されており、コントローラ311はこのプログラムを実行することによりジェスチャ入力システムの機能を実現する。
センサ321は、上記の実施の形態で説明したセンサ1と同様の構成、機能を有し、所定範囲内において物体の動きを検出可能なセンサである。触感提示部323も上記の実施の形態で説明した触感提示装置3と同様の構成、機能を有し、空中に触感を提示することが可能な通知装置である。
センサ321と触感提示部323はコントローラ311とともにジェスチャ入力部を構成する。ジェスチャ入力部は上記の実施の形態におけるジェスチャ入力システム100と同様のジェスチャ入力機能を有する。コントローラ311は図10または図13に示すフローチャートが示す処理にしたがいジェスチャ入力機能を実現する。
情報処理装置300は、操作部315に対するユーザの直接的な操作に加えて、ユーザの空中でのジェスチャ操作によっても入力を受け付けることができる。すなわち、情報処理装置300は、触感提示部323から基点座標に触感を提示し、センサ321により基点近傍のユーザの手の動きを検出する。コントローラ311は、検出した手の動きに基づき、表示部313に表示されるカーソルの位置や画面のスクロールを行う。
図15は、本実施の形態における情報処理装置300における、ジェスチャ入力によるカーソル移動を行ったときの一連の動作を示すフローチャートを示す図である。
コントローラ311は、センサ321から取得した情報に基づき、ユーザにより、ジェスチャ入力をONにするための所定の動き(トリガ動作)が行われたか否かを確認する(S41)。トリガ動作とはたとえば、手の指を閉じた状態から手の指を全部開いた状態に変更する動作である。トリガ動作が検出された場合(S41でYES)、ジェスチャ入力の受け付けを開始する。
コントローラ311は、検出した手の位置に基づき空間中の基点座標を決定し、触感提示部323を制御して、基点座標を中心した範囲(触感提示エリア63)に触感を提示する(S42)。このとき、ユーザは、空間中に提示された触感を手のひらに感じながらジェスチャ操作(移動方向の指示)を行う。すなわち、ユーザは、手のひらに触感を感じながら、カーソルを移動させたい方向に所望の量だけ手を移動する。センサ321はこのユーザの手の動き(ジェスチャ)を検出し、コントローラ311に伝達する(S43)。
コントローラ311は、検出されたユーザの手の動き(ジェスチャ)に基づきユーザ操作(移動方向、移動量)を検出する(S44)。具体的には、基点61の位置と手の領域上の追跡点51の位置の相対的位置関係の変化に基づき、追跡点51の移動方向及び移動量を求める。
コントローラ311は、検出したユーザ操作に基づき表示部313に表示されるカーソルの位置を変更する(S45)。
その後、ユーザは、カーソルが選択している機能(アイコン)に対して特定の処理を実行するための所定のジェスチャを行う。所定のジェスチャは、例えば、手の指を全部開いた状態(パー)から手の指を閉じた状態(グー)に変更する動作である。コントローラ311は、センサ321を介してユーザによりなされた所定のジェスチャを検出し、そのジェスチャに関連づけられた処理を実行する(S47)。
その後、コントローラ311は触感提示部323を制御して触感の提示を停止する(S48)。
以上のような構成により、情報処理装置300においてジェスチャ入力が可能となる。なお、本実施の形態では、情報処理装置としてパーソナルコンピュータを例示したが、情報処理装置はタブレット端末やスマートフォンでもよい。
また、本開示のジェスチャ入力システムは情報処理装置に限らず、他の種々の電子機器に対しても適用することができる。例えば、本開示のジェスチャ入力システムは、カーナビゲーション装置、空調装置、オーディオ装置、及びゲーム機器の入力手段としても適用できる。
(本開示1)
上記の実施形態1〜3は以下の構成を開示している。
(1)ユーザの身体の一部の動きに基づくユーザ操作を受け付け、前記身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力システムが開示される。
ジェスチャ入力システムは、ユーザの身体の一部の動きを検出するセンサと、空間内に設定した基点を含む所定領域に触感を提示する触感提示装置と、センサによって検出された身体の一部において追跡点を設定し、追跡点と基点との相対的な位置関係の変化に基づき入力信号を生成する制御装置と、を備える。触感提示装置は、ジェスチャ入力システムがユーザ操作を受付け可能な入力可能状態にある間、所定領域に触感を提示し続ける。
これにより、入力可能状態にある間、基点に触感が提示され続けることから、ユーザは触感により入力操作中であることを認識しながらジェスチャ操作を行える。
(2)(1)において、制御部は、入力可能状態でないときにセンサがユーザの身体の一部の所定の動きを検出したときに、空間内に基点を設定するとともに、ジェスチャ入力システムを入力可能状態に設定してもよい。その後、基点の位置は、再度設定されるまでは固定されてもよい。これにより、ユーザが所定の操作をしたときに空間内の基点が設定される。また、基点の位置が固定されることで、ユーザはジェスチャ操作の基準位置を認識できる。
(3)(2)において、基点はユーザの身体の一部上に設定されてもよい。これにより、ユーザによる所定の操作をトリガとして空間内の基点が設定され、触感提示が開始される。
(4)(1)において、触感提示装置は、空間内の基点を含む所定範囲である触感提示エリアにおいて触感を提示してもよい。触感提示エリアを設定することで、ユーザはジェスチャ操作を行える空間内の範囲を認識できる。
(5)(4)において、制御装置は、身体の一部に入力可能エリアを設定し、入力可能エリアの少なくとも一部が触感提示エリアに重なっているときに、ジェスチャ入力システムを入力可能状態に設定し、入力可能エリアが触感提示エリアに重なっていないときは、ジェスチャ入力システムをユーザ操作を受付けない入力不可状態に設定してもよい。これにより、ユーザは断続的な入力操作が可能になる。
(6)(5)において、ジェスチャ入力システムが入力不可状態にあるときは、触感提示装置は触感の提示を停止する。これにより、ユーザは受付不可能なことを認識でき、かつ、省電力が実現できる。
(7)(5)において、制御装置は、身体の一部の実際の動きに対する入力信号が示す動きの量の変化の割合を、触感提示エリア内における追跡点の位置に応じて変化させてもよい。これにより、例えば、カーソルの移動速度を簡単な操作で変更できる。
(8)(1)において、触感提示装置は、音響放射圧または空気流により触感を提示してもよい。
(9)ユーザの身体の一部の動きに基づくユーザ操作を受け付け、前記身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力方法が開示されている。ジェスチャ入力方法によれば、
センサにより、ユーザの身体の一部の動きを検出し、
触感提示装置により、空間内に設定された基点に触感を提示し、
制御装置により、センサによって検出された身体の一部において追跡点を設定し、
制御装置により、追跡点と基点との相対的な位置関係の変化に基づき入力信号を生成し、
触感提示装置はユーザ操作を受付け可能な入力可能状態にある間、基点に触感を提示し続ける。
(10)(1)〜(8)のいずれかのジェスチャ入力システムを備えた又は(9)のジェスチャ入力方法を実施する電子機器(パーソナルコンピュータ、ナビゲーション装置、空調装置、オーディオ装置、及びゲーム機器、等)が開示されている。
本開示に記載のジェスチャ入力システム及びジェスチャ入力方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。
(実施の形態4)
近年、マシン(ロボット)の技術が発達し、工場やオフィスのような生産の場だけでなく、道路や家などでも人とマシンが共存する場が増加してきている。そこで、光や音でなく、触覚で人にマシンの危険を報知する警告装置が種々提案されている(例えば、特開2008−018896号公報、特開2014−148027号公報参照)。
従来の警告装置では、人が車両やロボットに近い位置にあることを人に報知するだけであり、車両やロボットからの回避の方向や車両やロボットに対する接近の度合いまでも人に通知するものではなかった。
以下の実施の形態4〜10では、人に対して、所定の物体や領域(例えば、人の接近が安全上好ましくない装置や領域)へ接近していることのみならず、所定の物体や領域への人の接近の状況をも報知することができる情報伝達装置を説明する。
1.構成
図16は、本開示の実施の形態4の情報伝達装置の構成を示した図である。本実施の形態では、人が近づくことが好ましくない対象261を含む所定の領域を気配報知領域R1(警告領域の一例)として設定している。ここで、人が近づくことが好ましくない対象261とは、静止した機械の近傍領域、車両(自動車)やドローン、搬送ロボット等の移動体の近傍の領域、または、危険な場所(例えば、階段、曲がり角)、高価な展示物が展示されている場所である。気配報知領域とは、人に対して、対象261の気配を報知する領域である。すなわち、情報伝達装置10は、気配報知領域R1に人250が進入したことを検知したときに、その人250に対して触感により、対象261に近づいていることを示す警告を伝達する。換言すれば、情報伝達装置10は、触感により、近づくことが好ましくない対象261の気配を人250に対して提示する。
情報伝達装置10は、所定の検知範囲R0内の物体を検出するセンサ11と、人に対して触感を提示する触感提示部13と、センサ11の出力に基づいて人への触感の提示を制御する制御部15とを含む。
センサ11は、所定の検知範囲R0内において、人やマシンのような物体の存在及びそれらの動きを検出可能なセンサである。例えば、センサ11は、物体の動きを非接触で3次元的に検出することが可能な距離画像センサ(TOFセンサ)又はレーザーセンサである。センサ11は、人体の動きを検出することができるものであれば良く、カメラであっても良い。センサ11は、検知した結果を示す検出信号を制御部15に出力する。
触感提示部13は、人(目標物の一例)に対して触感を提示することが可能な装置である。「触感」とは、皮膚を通して人体が認識することのできる感覚である。皮膚を通して認識できる感覚の例として、触覚、振動覚、圧覚、温覚、冷覚、及び痛覚が挙げられる。「触感を提示する」とは、例えば、振動及び/又は圧力によって刺激を与えることであってもよく、温感及び/又は冷感を与えるものであってもよい。例えば、触感提示部13は、振動子(例えば超音波振動子)によってユーザに振動及び/又は音響放射圧を与えてもよく、レーザーで生成したプラズマと皮膚が接触することによる衝撃を与えてもよい。または、触感提示部13は、ノズルとポンプとを含み、ユーザに空気流を与えてもよい。あるいは、触感提示部13は、赤外線源によってユーザに温感を与えてもよく、ペルチェ素子によってユーザに冷感を与えてもよい。言い換えると、触感提示部13は、振動子、レーザー 、コンプレッサ、ファン、ペルチェ素子、及び、赤外線源からなる群から選択される少なくとも1つを含んでもよい。空中での触感の提示とは、人体に接触せずに、触感を人体に感じさせることである。または、触感提示部13はノズルとポンプとを含み、空気流を噴射する装置(気流発生装置)でもよい。
触感提示として超音波の音響放射圧を利用してもよい。例えば、触感提示部13を、複数の超音波振動子を並べて構成される超音波振動子アレイで構成してもよい。超音波振動子アレイは、空中の任意の位置に超音波の焦点を作り出すことによって、人体の表面に触覚を提示することができる。超音波の焦点では、音圧の振動の他に、音響放射圧という静的な圧力が発生する。音響放射圧という静的な圧力は、空気中を伝播する超音波が空気の音響インピーダンスと異なる物体で遮られたときに発生する。音圧レベルが大きな超音波になると、超音波が身体表面で遮られることにより、人が認識できるような身体表面を押す力が発生する。これにより、非接触で身体に力を提示することができる。
「超音波」とは一般に20kHz以上の周波数を有する音波のことであり、人の耳には聞こえない。聴覚に頼らず触感を提示するためには、周波数を20kHz以上にすればよい。超音波の周波数に上限の制約はないが、空気中を伝播する超音波の減衰は、周波数が高くなるに従い大きくなるため、超音波を用いた触感提示を行う周波数は、好ましくは20kHz〜200kHz、より好ましくは20kHz〜100kHである。また、人が認識できる圧力を身体表面に提示することができる超音波の音圧レベルは、140dB以上、好ましくは150dB以上、さらに好ましくは160dB以上である。
超音波振動子を間欠的に駆動させたり、振幅変調させたりすることで、音響放射圧を時間的に変化させることで、より感じやすい触感をユーザに提示することができる。このとき、振動感をつかさどる皮膚感覚受容器には感度の高い振動数が存在する。音響放射圧の変調駆動を、この感度の高い振動数に合わせることで、音響放射圧が同じでもより強い触感を与えることが可能になる。この変調周波数は、好ましくは0〜300Hz、より好ましくは100Hz〜300Hzである。例えば数Hzで振幅変調したものではユーザに振動の触感を、200Hzで振幅変調したものでは静的な圧力のような触感をユーザに常時感じさせることができる。
さらに、ユーザに触感を与える場合、前述の200Hzで振幅変調することでユーザに与えられる静的な圧力を、2重に振幅変調することが効果的である。例えば数Hzの振動やスイッチを押した振動、物体を叩いた振動などで2重に変調することで、より感じやすい触感をユーザに提示することができる。
制御部15は、センサ11が検出した情報に基づいて、触感提示部13を制御して人に対して触感を提示する。制御部15は、半導体素子などで実現可能であり、マイコン、CPU、MPU、DSP、FPGA、ASIC等で構成される。制御部15は、ハードウェアとソフトウェアとを組み合わせることにより実現してもよいし、ハードウェアのみで構成してもよい。
2.動作
以上のような構成を有する情報伝達装置10による警告動作を説明する。前述のように、情報伝達装置10において、人が接近することが好ましくない対象261(例えば、ロボット、車両、曲り角、階段のような危険な場所)を含む所定の範囲が気配報知領域R1として設定される。センサ11は、センサ11の検知範囲R0が気配報知領域R1を包含するように配置される。
情報伝達装置10は、センサ11により気配報知領域R1に人250が進入したことを検出したときに、その人250に対して触感を提示する。これにより、人250に対して対象261の気配を与える。特に、情報伝達装置10は、触感による警告を行う際に、気配報知領域R1内での人250の行動(移動方向、移動速度)に基づき触感の提示方法を変化させる。以下、図17を参照して、気配報知領域R1内での人250の行動に基づき異なる触感の提示方法について説明する。
図17は、情報伝達装置10による、気配報知領域R1内に人250が進入したときの触感提示方法の変化を説明するための図である。情報伝達装置10は、人250が気配報知領域R1の外から気配報知領域R1内に進入したことを検出すると、その人250への触感の提示を開始する(状態A)。
その際、気配報知領域R1内において人250が気配報知領域R1の外周から遠ざかる方向へ移動している(すなわち、人250が危険な対象261に近づいている)場合、情報伝達装置10は、緊急度が高いと判断し、高い緊急度に対する触感提示方法で人250に触感を提示する。例えば、強い触感を提示する(状態B)。一方、気配報知領域R1内において人250が気配報知領域R1の外周に向かって移動している(すなわち、人250が危険な対象261から遠ざかっている)場合、情報伝達装置10は、緊急度が低いと判断し、低い緊急度に対する触感提示方法で人250に触感を提示する。例えば、弱い触感を提示する(状態C)。
その後、人250が気配報知領域R1の内から気配報知領域R1外に出たことを検出すると、情報伝達装置10は人250への触感の提示を停止する(状態D)。
以上のように、人250が気配報知領域R1内に進入したときに、人250の移動方向に応じて人250に提示する触感の提示方法を変化させている。これにより、人250は、気配報知領域R1内に進入したときに、自身が危険な対象261に近づいていること又は遠ざかっていることを、提示された触感から直感的に把握でき、気配報知領域R1の外側へ確実に移動できる。
図18は、緊急度に応じて変化させる触感提示方法の例を説明した図である。図18の例では、緊急度を高/低の二段階に分けて、緊急度に応じて触感提示方法を異ならせている。図18に示すように、緊急度に応じて、触感の強度以外に、周波数及び触感を提示する人体の部位を変更してもよい。または、緊急度に応じて、触感(例えば、風)の温度の高低を変更してもよい。例えば、緊急度が低い場合、低い周波数の触感を提示し、緊急度が高い場合、高い周波数の触感を提示してもよい。また、緊急度が低い場合、胴体や手に触感を提示し、緊急度が高い場合、人の頭や顔等の、人がより感じやすい部位に触感を提示してもよい。また、緊急度が低い場合、人の身体に温感(温かい風)を提示し、緊急度が高い場合、冷感(冷たい風)を提示してもよい。また、緊急度が低い場合、弱い風で提示し、緊急度が高い場合、強い風で提示してもよい。緊急度に応じて、触感の強度、触感の周波数及び触感の提示位置、もしくは温感/冷感や風の強度のいずれかを変更するようにしてもよいし、それらを適宜組み合わせて変更するようにしてもよい。
図19は、実施の形態4における情報伝達装置10の警告動作を示すフローチャートである。以下、図19のフローチャートを参照し、情報伝達装置10の動作を説明する。
情報伝達装置10において、センサ11が検知範囲R0内に人250が進入したことを検知すると(S211でYES)、制御部15は危険な対象261を含む所定の範囲を気配報知領域R1に設定する(S212)。
制御部15は、センサ11からの検出信号を受信し、検出信号に基づいて人250の位置、動きを分析する(S213)。分析した結果、検知範囲R0内に人250が検知されていないときは(S214でNO)、本処理を終了する。分析した結果、検知範囲R0内に人250が検知されている場合(S214でYES)、制御部15は気配報知領域R1内に人250が検知されているか否かを判断する(S215)。
気配報知領域R1内に人250が検知されていない場合(S215でNO)、制御部15はステップS213に戻り、上記の処理を行う。
気配報知領域R1内に人が検知されている場合(S215でYES)、制御部15は、人250が気配報知領域R1の外周に向かって移動しているか否かを判断する(S16)。人250が気配報知領域R1の外周に向かって移動している場合(S216でYES)、制御部15は、低い緊急度に対する触感を提示する(S17)。人250が気配報知領域R1の外周に向かって移動していない場合(S26でYES)、制御部15は、高い緊急度に対する触感を提示する(S18)。
その後、制御部15はステップS213に戻り、センサ11からの検出信号に基づき上記の処理を行う。
以上のように、本実施の形態の情報伝達装置10は、センサの検知範囲R0(所定領域の一例)内に進入した人250(物体の一例)の位置および速度を検出可能なセンサ11と、目標物に対して非接触で触感を提示する触感提示部13と、センサ11により検知範囲R0内に設定された気配報知領域R1(警告領域の一例)内に人250が検出された場合に、検出した人に対して触感を提示するように触感提示部13を制御する制御部15と、を備える。制御部15は、触感提示部が提示する触感の種類、強度および/または位置を、気配報知領域R1内での人の行動(移動方向、移動速度)に基づき決定する。
すなわち、情報伝達装置10は、人が気配報知領域R1に進入したときに、気配報知領域R1内での人の動きに基づいて触感の提示方法を変化させながら、人に対して触感を提示する。これにより、気配報知領域R1に進入した人は、触感を受けることで、危険な対象261の気配、すなわち、対象261に近づいたこと及び対象261の方向を感覚的に認識でき、対象261に対する適切な回避行動をとることができる。
(実施の形態5)
図20は、本開示の実施の形態5における情報伝達装置10bの構成を示すブロック図である。実施の形態5では、警告領域として、気配報知領域R1に加えてさらに進入禁止領域R2を設定する。進入禁止領域R2は気配報知領域R1内に設定される。進入禁止領域R2には、人が近づくことが安全上好ましくないマシン262が配置(固定)されている。
本実施の形態の情報伝達装置10bは、実施の形態4の情報伝達装置10の構成においてさらにマシン262と通信を行うための通信部16を備えている。情報伝達装置10bは、この通信部16を介して、進入禁止領域R2内に設置されているマシン262に対して、マシン262を停止させるための緊急停止命令を送信することができる。
図21は、本実施の形態の情報伝達装置10bによる触感提示方法を説明するための図である。情報伝達装置10bは、人250が気配報知領域R1の外から気配報知領域R1内に進入したことを検出すると、その人250への触感の提示を開始する(状態A)。その際、気配報知領域R1内において人250が進入禁止領域R2に近づいている場合、情報伝達装置10は、緊急度が高いと判断し、高い緊急度に対する触感提示方法で人250に触感を提示する(状態B)。一方、気配報知領域R1内において人250が進入禁止領域R2から遠ざかっている場合、情報伝達装置10bは、緊急度が低いと判断し、低い緊急度に対する触感提示方法で人250に触感を提示する(状態C)。触感提示方法の変化のさせ方は実施の形態4で説明したとおりである。
図22は、実施の形態5における情報伝達装置10bの動作を示すフローチャートである。以下、図22のフローチャートを参照し、情報伝達装置10bの動作を説明する。
情報伝達装置10bにおいて、センサ11が検知範囲R0内に人250が進入したことを検知すると(S221でYES)、制御部15は気配報知領域R1と進入禁止領域R2を設定する(S222)。すなわち、制御部15は、マシン262の近傍において、人250が進入することが安全上好ましくないマシン262を含む所定の範囲を進入禁止領域R2として設定する。さらに、制御部15は、進入禁止領域R2の外側の所定の範囲を気配報知領域R1に設定する。
制御部15は、センサ11からの検出信号を受信し、検出信号に基づいて人250の位置、動きを分析する(S223)。分析した結果、検知範囲R0内に人250が検知されていないときは(S224でNO)、本処理を終了する。分析した結果、検知範囲R0内に人250が検知されている場合(S224でYES)、制御部15は気配報知領域R1内に人250が検知されているか否かを判断する(S225)。
気配報知領域R1内に人が検知されていない場合(S225でNO)、制御部15はステップS223に戻り、センサ11からの検出信号に基づき上記の処理を行う。
気配報知領域R1内に人が検知されている場合(S225でYES)、制御部15は、人250が進入禁止領域R2内に進入しているか否かを判断する(S226)。人250が進入禁止領域R2内に進入していることが検知された場合(S226でYES)、制御部15はマシン262を停止させる(S230)。このため、制御部15は通信部16を介して緊急停止命令をマシン262に送信する。マシン262は緊急停止命令を受信すると、その動作を停止する。
人250が進入禁止領域R2内に進入していることが検知されなかった場合(S226でNO)、制御部215は、人250が進入禁止領域R2に近づいているか否かを判断する(S227)。人250が進入禁止領域R2に近づいている場合(S227でYES)、制御部15は、高い緊急度に対する触感を提示する(S29)。人250が進入禁止領域R2に近づいていない場合(S227でNO)、制御部15は、低い緊急度に対する触感を提示する(S228)。
その後、制御部15はステップS223に戻り、センサ11からの検出信号に基づき上記の処理を繰り返す。
以上のように、本実施の形態では、情報伝達装置10bは、気配報知領域R1内で人が進入禁止領域R2に近づいているか否かに基づき触感提示方法を変化させる。これにより、気配報知領域R1に進入した人250は、触感を受けることで、進入禁止領域R2に近づいていること及び進入禁止領域R2の方向を感覚的に認識でき、進入禁止領域R2に対する回避行動を適切にとることができる。また、人250が進入禁止領域R2に進入したときに、進入禁止領域R2内に設置されたマシン262に対して緊急停止命令が送信される。これにより、進入禁止領域R2内に設置されたマシン262を緊急停止させることができ、安全性を確保できる。
(実施の形態6)
実施の形態4では、気配報知領域R1内の危険な対象261は移動しないものであったが、本実施の形態では、車両やドローン、搬送ロボットのような移動するマシンの位置に基づいて気配報知領域R1を設定する例を説明する。
図23は、本実施の形態において、情報伝達装置により設定される気配報知領域R1を説明した図である。図24は、本実施の形態の情報伝達装置10cの構成を示すブロック図である。図24に示すように本実施の形態の情報伝達装置10cは実施の形態4の情報伝達装置10と同様の構成を有する。
図23、24に示すように、本実施の形態では、気配報知領域R1は車両263(移動するマシンの一例)の近傍に設定される。より具体的には、車両263の前方の所定領域において気配報知領域R1が設定される。車両263は移動するため、気配報知領域R1も車両263の移動にともなって移動する。すなわち、気配報知領域R1は、車両263の位置、速度及び進行方向のうちの少なくともいずれか一つに基づいて動的に設定される。人250が気配報知領域R1内に進入した場合、人250に対して警告のための触感が提示される。
図25は、実施の形態6における情報伝達装置10cの動作を示すフローチャートである。以下、図25のフローチャートを参照し、情報伝達装置10cの動作を説明する。
情報伝達装置10cにおいて、センサ11が検知範囲R0内に人250及び車両263が進入したことを検知すると(S31でYES)、制御部15は気配報知領域R1を設定する(S32)。制御部15は、センサ11からの検出信号に基づき車両263の位置、移動方向を認識し、車両263に近接して車両263の前方の所定領域に気配報知領域R1を設定する。
制御部15は、センサ11からの検出信号を受信し、検出信号に基づいて人250及び車両263の位置、動きを分析する(S33)。分析した結果、検知範囲R0内に人250および車両263が検知されていないときは(S34でNO)、本処理を終了する。分析した結果、検知範囲R0内に人250および車両263が検知された場合(S34でYES)、制御部15は気配報知領域R1内に人250が検知されているか否かを判断する(S35)。
気配報知領域R1内に人250が検知されていない場合(S35でNO)、制御部15はステップS33に戻り、センサ11からの出力に基づき上記の処理を行う。
気配報知領域R1内に人250が検知されている場合(S35でYES)、制御部15は、人250と車両263が互いに近づいているか否かを判断する(S36)。人250と車両263が互いに近づいている場合(S36でYES)、制御部15は高い緊急度に対する触感を提示する(S38)。この場合、人250と車両263が接触する危険性が高いため、高い緊急度に対する触感を提示する。人250と車両263が互いに近づいていない場合(S36でNO)、制御部15は低い緊急度に対する触感を提示する(S37)。
その後、制御部15はステップS33に戻り、センサ11からの検出信号に基づき上記の処理を行う。
以上のように、本実施の形態においては、移動車両263(移動するマシン)の動きに応じて気配報知領域R1を設定するため、人250が車両263に近づき過ぎないように人250に対して警告することができる。その際、人250及び車両263の相対的な位置関係に基づいて触感の提示方法を変化させる。これにより、人250は車両263の気配を感じることができ、車両263が近づいていること及び車両263の方向を感覚的に認識でき、車両263に対する適切な回避行動をとることができる。
なお、本実施の形態では、移動するマシンの一例として車両を用いて説明したが、移動するマシンは他の装置でもよく、例えば、ドローンや地上または空中で物を運搬する搬送ロボットでもよい。
(実施の形態7)
実施の形態6では、移動する車両263に近接して気配報知領域R1を設定した。本実施の形態6では、移動する車両263の動きに応じて気配報知領域R1と進入禁止領域R2を設定する。図26は、実施の形態7における情報伝達装置により設定される気配報知領域R1及び進入禁止領域R2を説明した図である。図27は、本実施の形態における情報伝達装置の構成を示すブロック図である。本実施の形態の情報伝達装置10dは、実施の形態4の情報伝達装置10と同様の構成を有する。
図26、図27に示すように、進入禁止領域R2は車両263の進行方向の前方に近接して設定される。気配報知領域R1は進入禁止領域R2のさらに前方に設定される。進入禁止領域R2の大きさは車両263の制動距離に応じて動的に設定されてもよい。
前述の実施の形態と同様に、人250が気配報知領域R1内に進入したときに、人250に対して触感が提示される。
図28のフローチャートを参照し、情報伝達装置210dの動作を説明する。
情報伝達装置10dにおいて、センサ11が検知範囲R0内に人250及び車両263が進入したことを検知すると(S241でYES)、制御部15は気配報知領域R1と進入禁止領域R2を設定する(S242)。すなわち、制御部15は、車両263の進行方向の前方の所定の範囲を進入禁止領域R2として設定する。さらに、制御部15は、進入禁止領域R2の前方(車両263の進行方向における前方)の所定の範囲を気配報知領域R1に設定する。
制御部15は、センサ11からの検出信号を受信し、検出信号に基づいて人250及び車両263の位置、動きを分析する(S243)。分析した結果、検知範囲R0内に人250および車両263が検知されていないときは(S244でNO)、本処理を終了する。分析した結果、検知範囲R0内に人250および車両263が検知された場合(S244でYES)、制御部15は気配報知領域R1内に人250が検知されているか否かを判断する(S245)。
気配報知領域R1内に人250が検知されていない場合(S245でNO)、制御部15はステップS243に戻り、センサ11からの出力に基づき上記の処理を行う。
気配報知領域R1内に人250が検知されている場合(S245でYES)、制御部15は、人250と進入禁止領域R2が互いに近づいているか否かを判断する(S246)。すなわち、制御部15は、人250と進入禁止領域R2の間の距離が減少しているか否かを判断する。
人250と進入禁止領域R2が互いに近づいている場合(S246でYES)、制御部15は高い緊急度に対する触感を提示する(S248)。この場合、人250と車両263が接触する危険性が高いため、高い緊急度に対する触感を提示する。人250と車両263が互いに近づいていない場合(S246でNO)、制御部15は低い緊急度に対する触感を提示する(S247)。
その後、制御部15はステップS243に戻り、センサ11からの検出信号に基づき上記の処理を行う。
以上のように、本実施の形態においては、移動車両(移動するマシン)の近傍に進入禁止領域R2を設定し、人250が進入禁止領域R2に近づき過ぎないように人250に対して警告することができる。その際、人250及び進入禁止領域R2の相対的な位置関係に基づいて触感の提示方法を変化させる。これにより、人250は、進入禁止領域R2が近づいていること及び進入禁止領域R2の方向を感覚的に認識でき、進入禁止領域R2に対する適切な回避行動をとることができる。
なお、本実施の形態において、車両263は情報伝達装置10dと通信を行うための通信装置を備え、情報伝達装置10dは車両263と通信を行うための通信部を備えてもよい。そして、実施の形態5と同様に、情報伝達装置10dは、進入禁止領域R2に人250が進入したことが検知された場合に、車両263に対して、車両263を停止させるための緊急停止命令を送信するようにしてもよい。また、車両263に替えて、ドローンのような空中を飛行する移動体に対しても本実施の形態の思想を適用できる。この場合、飛行する移動体の周囲に気配報知領域R1及び進入禁止領域R2を設定する。飛行する移動体(例えば、ドローン)及び情報伝達装置10dは互いに通信を行うための通信装置を備える。ドローンのような飛行する移動体が飛行中に緊急停止命令により動作を停止すると、落下する危険性がある。よって、このような飛行する移動体に対して進入禁止領域R2に人250が進入したことが検知された場合、情報伝達装置10dは人を回避して飛行するように緊急回避命令(浮上もしくは旋回)を送信するようにしてもよい。
(実施の形態8)
前述の実施の形態では、1つのセンサ11及び1つの触感提示部13を備えた情報提示装置の構成、動作を説明した。本実施の形態では、複数のセンサ11及び複数の触感提示部13を備えた情報提示装置の構成、動作を説明する。
図29は、実施の形態8における情報伝達装置10eの構成を示すブロック図である。情報伝達装置10eは、複数のセンサユニット21a〜21cと、複数の触感提示ユニット23a〜23cと、制御ユニット25とを含む。本例では、情報伝達装置10eはセンサユニットと触感提示ユニットを3個ずつ有するが、それらのユニットの数は3に限定されるものではない。
センサユニット21a〜21cはセンサ11と通信部17とを含む。センサ11は上記の実施の形態で説明したものと同様の構成、機能を有する。通信部17は、IEEE802.3、WiFiやBluetooth(登録商標)等の通信規格にしたがい通信を行う通信モジュールを含む。通信部17は、センサ11からの検出信号を制御ユニット25に送信する。
触感提示ユニット23a〜23cは触感提示部13と通信部18とを含む。触感提示部13は、上記の実施の形態で説明したものと同様の構成、機能を有する。通信部18は、IEEE802.3、WiFiやBluetooth等の通信規格にしたがい通信を行う通信モジュールを含む。通信部17は、触感提示部13に対する制御信号を制御ユニット25から受信する。
制御ユニット25は、制御部15と通信部19とを含む。制御部15は上記の実施の形態で説明したものと同様の構成を有する。通信部19は、IEEE802.3、WiFiやBluetooth等の通信規格にしたがい通信を行う通信モジュールを含む。制御ユニット25は、センサユニット21a〜21cと無線または有線で通信を行い、各センサユニット21a〜21cのセンサ11から検出信号を受信する。また、制御ユニット25は、触感提示ユニット23a〜23cと無線または有線で通信を行い、各触感提示ユニット23a〜23cの触感提示部13に対して制御信号を送信する。
センサユニット21a、21b、21c、触感提示ユニット23a、23b、23c、制御ユニット25はそれぞれ独立して設けられており、それぞれ独立して任意の場所に配置することができる。例えば、センサユニット21a、21b、21c、触感提示ユニット23a、23b、23cは、施設の駐車場内の種々の位置に配置される。
図30は、実施の形態8における情報伝達装置の動作を示すフローチャートである。図30のフローチャートを参照し、情報伝達装置10eの動作を説明する。
情報伝達装置10eにおいて、センサユニット21a〜21cのいずれかのセンサ11が検知範囲R0内に人250及び車両263が進入したことを検知すると(S51でYES)、制御部15は気配報知領域R1を設定する(S52)。制御部15は、センサ11からの検出信号に基づき車両263の位置、移動方向を認識し、車両263に近接して車両263の前方の所定領域に気配報知領域R1を設定する。
制御部15は、センサ11からの検出信号を受信し、検出信号に基づいて人250及び車両263の位置、動きを分析する(S53)。分析した結果、検知範囲R0内に人250および車両263が検知されていないときは(S54でNO)、本処理を終了する。分析した結果、検知範囲R0内に人250および車両263が検知された場合(S54でYES)、制御部15は気配報知領域R1内に人250が検知されているか否かを判断する(S55)。
気配報知領域R1内に人250が検知されていない場合(S55でNO)、制御部15はステップS53に戻り、センサ11からの出力に基づき上記の処理を行う。
気配報知領域R1内に人250が検知されている場合(S55でYES)、複数の触感提示ユニット23a〜23cの中で、検知した人250に最も近くに配置された触感提示ユニット(触感提示部13)を特定する(S56)。
その後、制御部15は、人250と車両263が互いに近づいているか否かを判断する(S57)。人250と車両263が互いに近づいている場合(S57でYES)、制御部15は高い緊急度に対する触感を提示する(S59)。この場合、人250と車両263が接触する危険性が高いため、高い緊急度に対する触感を提示する。人250と車両263が互いに近づいていない場合(S57でNO)、制御部15は低い緊急度に対する触感を提示する(S58)。
その後、制御部15はステップS53に戻り、センサ11からの検出信号に基づく上記の処理を繰り返す。
以上のように、本実施の形態の情報伝達装置10eによれば、複数の領域で、人に対して危険性を報知することが可能である。このため、本実施の形態の情報伝達装置10eは、広い領域での安全性を確保する場合に有用である。
なお、本実施の形態では、警告領域として気配報知領域R1のみを設定したが、実施の形態2や4と同様に気配報知領域R1に加えて進入禁止領域R2を設定し、同様の動作を行ってもよい。
(実施の形態9)
本実施の形態では、車両やドローン、搬送ロボットのような移動マシンに搭載される情報伝達装置の構成、動作について説明する。車両やドローン、搬送ロボットのような移動マシンは前進や後進が可能である。そのため、移動マシンの前後の領域において人と移動マシンとが接触する可能性がある。以下では、そのような接触の危険性を低減する情報伝達装置を説明する。
図31は、実施の形態9における情報伝達装置10fの構成を示すブロック図である。情報伝達装置10fは車両263(移動マシンの一例)に搭載されている。情報伝達装置10fは、車両263の前方部分に設置されたセンサ11fと触感提示部13fと、車両263の後方部分に設置されたセンサ11rと触感提示部13rと、制御部15とを備える。
車両263の前方部分に設置されたセンサ11fは車両263の前方側にセンサ検知範囲を有する。車両263の後方部分に設置されたセンサ11rは車両263の後方側にセンサ検知範囲を有する。車両263の前方部分に設置された触感提示部13fは車両263の前方にある物体に触感を提示する。車両263の後方部分に設置された触感提示部13rは車両263の後方にある物体に触感を提示する。
図32は、実施の形態9における情報伝達装置10fの動作を示すフローチャートである。図32のフローチャートを参照し、情報伝達装置10fの動作を説明する。
情報伝達装置10fにおいて、センサ11f、11rの少なくともいずれかが検知範囲R0内に人250が進入したことを検知すると(S61でYES)、制御部15は、気配報知領域R1f、R1rを設定する(S62)。制御部15は、車両263の近傍領域であって人を検知した側の所定の範囲に、気配報知領域R1f、Rirを設定する。このとき、制御部15は、人を検知したセンサ11f、11rからの検出信号が示す人の位置、速度と、車両263の速度とに応じて気配報知領域R1f、Rirを設定する。
制御部15は、人を検知したセンサ11f、11rからの検出信号を受信し、検出信号に基づいて人250の位置、動きを分析する(S63)。分析した結果、センサ11f、11rの検知範囲内に人250が検知されていないときは(S64でNO)、本処理を終了する。一方、分析した結果、検知範囲R0内に人250が検知された場合(S64でYES)、制御部15は、設定した気配報知領域R1f、R1r内に人250が検知されているか否かを判断する(S65)。
設定した気配報知領域R1f、R1r内に人250が検知されていない場合(S65でNO)、制御部15はステップS63に戻り、センサ11からの出力に基づき上記の処理を繰り返す。
設定した気配報知領域R1f、R1r内に人250が検知されている場合(S65でYES)、2つの触感提示部13f、13rの中で、検知した人250に最も近くに配置された触感提示部を特定する(S66)。
その後、制御部15は、人250と車両263が互いに近づいているか否かを判断する(S67)。人250と車両263が互いに近づいている場合(S67でYES)、制御部15は、特定した触感提示部から、高い緊急度に対する触感を提示する(S69)。この場合、人250と車両263が接触する危険性が高いため、高い緊急度に対する触感を提示する。人250と車両263が互いに近づいていない場合(S67でNO)、制御部15は、特定した触感提示部から、低い緊急度に対する触感を提示する(S58)。
その後、制御部15はステップS63に戻り、センサ11からの検出信号に基づく上記の処理を繰り返す。
以上のように、本実施の形態の情報伝達装置10fによれば、車両263の前後の範囲で、人に対して危険性を報知することが可能である。また、例えばドローンや搬送ロボットに関していえば、前後だけでなく左右に気配報知領域を設定し、前後左右の範囲で人に対して危険性を報知することが可能である。
なお、本実施の形態では、警告領域として気配報知領域R1のみを設定したが、実施の形態4と同様に気配報知領域R1に加えて進入禁止領域R2を設定し、同様の報知動作を行ってもよい。
(実施の形態10)
一般に、車両の速度や天候などに応じて車両の制動距離が変化する。例えば、車両速度が速いほど、制動距離は長くなり、晴天の場合よりも路面が濡れている雨天の方が制動距離は長くなる。制動距離の変化にともない車両周囲にある危険な範囲(すなわち、人が近づくことが好ましくない範囲)も変化する。そこで、本実施の形態では、車両、搬送ロボット、ドローンのような移動マシンの動作及び周辺環境の情報に応じて、気配報知領域R1及び/または進入禁止領域R2を変化させる情報伝達装置を説明する。
図33は、実施の形態10における情報伝達装置10gの構成を示すブロック図である。なお、本実施の形態では、移動マシンの一例として車両を用いて説明する。情報伝達装置10gは車両263に搭載されている。情報伝達装置10gは、実施の形態9における情報伝達装置10fの構成においてさらに情報取得部31を有する。
情報取得部31は、車両263の動作に関する車両情報(OBD2データ等)や、天候、道路状況のような周辺環境の情報を取得する。情報取得部31には、例えば、車両の種々の動作情報を取得するセンサやテレメータユニット、インターネットから情報を取得するための通信モジュールやインタフェースモジュールが含まれる。
情報取得部31は例えば下記の情報を取得する。
・移動マシンの速度、加速度
・天候、風速・風向(ワイパーの動き、天候情報)
・道路の勾配(カーナビ情報、交通情報等)
・事故多発エリア(カーナビ情報、交通情報等)
制御部15は、これらの情報に基づいて、気配報知領域R1及び/または進入禁止領域R2を設定する。すなわち、事前に上記の各情報が示す条件と制動距離及び注意レベルを取得し、その制動距離及び注意レベルに応じた気配報知領域R1及び/または進入禁止領域R2を設定しておく。これにより、制御部15は、上記の各情報が示す条件に好適な、気配報知領域R1及び/または進入禁止領域R2を設定することができる。例えば、車両速度が速いほど、制動距離は長くなる。よって、図33に示すように、車両速度がX km/hのときの制動距離と、車両速度がY km/hのときの制動距離とを予め測定し、それぞれの速度に適した気配報知領域R1x、R1yを予め設定しておく。制御部15は、車両速度がY km/hの場合(比較的遅い場合)は、車両263に比較的近い範囲をカバーするように狭い気配報知領域R1yを設定する。一方、車両速度がX km/hの場合(比較的速い場合)、制御部15は、車両263から比較的遠い範囲までもカバーできるように広い気配報知領域R1xを設定する。
図34は、実施の形態10における情報伝達装置10gの動作を示すフローチャートである。図34のフローチャートを参照し、情報伝達装置10gの動作を説明する。
情報伝達装置10gにおいて、センサ11f、11rの少なくともいずれかが検知範囲R0内に人250が進入したことを検知すると(S71でYES)、制御部15は、気配報知領域R1を設定する(S72)。制御部15は、車両263の近傍領域であって人を検知した側の所定の範囲に、気配報知領域R1を設定する。特に、制御部15は、人を検知したセンサ11f、11rからの検出信号が示す人の位置、速度と、情報取得部31により取得された情報(車両速度、天候、道路情報等)とに応じて、気配報知領域R1を設定する。
制御部15は、人を検知したセンサ11f、11rからの検出信号を受信し、検出信号に基づいて人250の位置、動きを分析する(S73)。分析した結果、センサ11f、11rの検知範囲内に人250が検知されていないときは(S74でNO)、本処理を終了する。一方、分析した結果、検知範囲R0内に人250が検知された場合(S74でYES)、制御部15は、設定した気配報知領域R1内に人250が検知されているか否かを判断する(S75)。
設定した気配報知領域R1内に人250が検知されていない場合(S75でNO)、制御部15はステップS73に戻り、センサ11からの出力に基づき上記の処理を繰り返す。
設定した気配報知領域R1内に人250が検知されている場合(S75でYES)、2つの触感提示部13f、13rの中で、検知した人250に最も近くに配置された触感提示部を特定する(S76)。
その後、制御部15は、人250と車両263が互いに近づいているか否かを判断する(S77)。人250と車両263が互いに近づいている場合(S77でYES)、制御部15は、特定した触感提示部から、高い緊急度に対する触感を提示する(S79)。この場合、人250と車両263が接触する危険性が高いため、高い緊急度に対する触感を提示する。人250と車両263が互いに近づいていない場合(S77でNO)、制御部15は、特定した触感提示部から、低い緊急度に対する触感を提示する(S78)。
その後、制御部15はステップS73に戻り、センサ11からの検出信号に基づく上記の処理を繰り返す。
以上のように、本実施の形態の情報伝達装置10gによれば、移動マシンの動作や周辺環境の情報に応じて警告領域を変化させるので、移動マシンの動作や周辺環境により変動する制動距離に応じた好適な範囲で、人に対して危険性を報知することが可能となる。
なお、本実施の形態では、警告領域として気配報知領域R1のみを設定したが、実施の形態4と同様に気配報知領域R1に加えて進入禁止領域R2を設定し、同様の報知動作を行ってもよい。
上記の実施の形態4〜10では、緊急度を高/低の二段階で判定したが、より多くの段数(または連続的に)に設定してもよい。例えば、気配報知領域R1の外周または進入禁止領域R2から人250までの距離に応じて、より細かく緊急度を設定してもよい。その場合、触感の強度、触感の周波数及び/または触感の提示位置を、緊急度に応じて細かく変化させるようにすればよい。
また、上記の実施の形態4〜10では、緊急度を人の移動方向に基づき判定したが、人の移動方向に加えて、またはそれに代えて、人の移動速度を考慮して緊急度を判定してもよい。例えば、実施の形態1において、気配報知領域R1内において人250が気配報知領域R1の外周から遠ざかる方向へ移動すること(すなわち、危険な対象261に近づいていること)を検出した場合、移動速度がより速いほど、緊急度がより高いと判定し、緊急度に応じたより強い触感を提示するようにしてもよい。また、気配報知領域R1内において人250が気配報知領域R1の外周に向かって移動しているときに(人250が危険な対象261から遠ざかっていること)を検出した場合、移動速度がより速いほど、緊急度がより低いと判定し、緊急度に応じたより弱い触感を提示するようにしてもよい。触感の強度のみならず、触感の周波数および触感の提示位置も、移動速度に基づき変化させてもよい。
また、上記の実施の形態4〜10において、触感の提示方法の変化として触感の種類を変化させてもよい。例えば、緊急度が低いときは、超音波による触感を提示し、緊急度が高いときは空気流による触感を提示するようにしてもよい。
(本開示2)
実施の形態4〜10は以下の技術思想を開示する。
(1)上記の実施形態は、所定領域(R0)内に進入した物体(人、車両等)の位置および速度を検出可能なセンサ(11)と、目標物(人等)に対して非接触で触感を提示する触感提示部(13)と、センサ(11)により、所定領域内に設定された警告領域(R1、R2)内に人が検出された場合に、検出した人に対して触感を提示するように触感提示部(13)を制御する制御部(15)と、を備える情報提示装置(10〜10g)を開示している。制御部(15)は、触感提示部(13)が提示する触感の提示方法を警告領域内での人の行動(移動方向、移動速度等)に基づき決定する。
(2)(1)において、制御部は、触感の提示方法の変化として、触感の種類、強度、周波数、温度及び触感を提示する人の身体の部位のうちの少なくとも1つを変化させてもよい。
(3)(1)において、制御部(15)は、警告領域の外周に対するセンサ(11)により検出された人の相対的な距離及び/または人の速度に基づき、警告領域内での人の行動を検知してもよい。
(4)(1)において、情報伝達装置(10b)は外部装置(262)と通信する通信部(16)をさらに備えてもよい。警告領域は、第1の領域(R1)と第2の領域(R2)とを含んでもよい。制御部(15)は、センサ(11)が第1の領域(R1)内に人を検出した場合、人に対して触感を提示し、センサ(11)が第2の領域(R2)内に人を検出した場合、外部装置を緊急停止させるための制御命令を、通信部(16)を介して外部装置に送信してもよい。
(5)(1)において、センサ(11)は、所定領域(R0)内において、人(250)に加えて、装置(262)の位置および速度を検出してもよい。センサ(11)により所定領域(R0)内に人及び装置が検出され、さらに、警告領域(R1)内に人が検出された場合に、制御部(15)は、検出した人に対して触感を提示するように触感提示部(13)を制御してもよい。制御部(15)は、警告領域(R1)内で検出した人の行動と、装置(262)の行動とに基づき触感の提示方法を変化させてもよい。
(6)(5)において、制御部(15)は、人(250)の行動と装置(262)の行動とを、センサ(11)により検出された人に対する装置の相対的な距離及び/または相対的な速度に基づき検知してもよい。
(7)(5)において、装置(262)と通信する通信部(16)をさらに備えてもよい。警告領域は、第1の領域(R1)と第2の領域(R2)とを含んでもよい。制御部(15)は、センサ(11)が第1の領域(R1)内に人を検出した場合、人に対して触感を提示し、センサ(11)が第2の領域(R2)内に人を検出した場合、装置(62)を緊急停止させる制御命令を、通信部を介して装置に送信してもよい(S30)。
(8)(4)または(7)において、制御部(15)は、人の行動を、検出した人と第2の領域(R2)との間の距離に基づき検知してもよい。
(9)(4)または(7)において、制御部(15)は、人が第2の領域(R2)に近づくほど、人に提示する触感の強度及び/または触感の変化の周波数を大きく設定してもよい。
(10)(1)において、情報伝達装置(10e)はセンサ(11)および触感提示部(13)を複数備えてもよい。制御部(15)は、検出した人に最も近い触感提示部から触感を提示するように触感提示部(13)を制御してもよい。
(11)(1)において、情報伝達装置(10g)は、所定の情報を取得する情報取得部(31)をさらに備えてもよい。制御部(15)は、情報取得部(31)から取得した情報に基づき警告領域(第1の領域(R1)及び/または第2の領域(R2))の範囲を設定してもよい。
(12)(10)において、所定の情報は、移動する装置(車両、搬送ロボット、ドローン等)の速度、天候、交通情報の少なくともいずれかを含んでもよい。
(13)(1)〜(12)のいずれかにおいて、触感提示部(13)は、音響放射圧または空気流により触感を提示してもよい。
(14)(13)において、制御部(15)は、警告領域内での人の行動に基づき、音響放射圧または空気流の強度、周波数及び/または温度を変化させてもよい。
(15)さらに、上記の実施の形態は、情報伝達方法を開示する。情報伝達方法は、センサ(11)により警告領域(R1、R2)内に人が進入したか否かを検知するステップと、センサ(11)により警告領域内に人が検出された場合に、検出した人に対して触感提示部(13)により触感を提示するステップと、触感提示部が提示する触感の種類および/または位置を警告領域内での人の行動(移動方向、移動速度等)に基づき変化させるステップとを含む。
本開示のジェスチャ入力システムによれば、ジェスチャ操作における利便性を向上できるため、種々の電子機器の入力手段として有用である。例えば、パーソナルコンピュータ、カーナビゲーション装置、空調装置、オーディオ装置、及びゲーム機器の入力手段として有用である。
本開示の情報伝達装置によれば、人を近づけない又は人の進入を防止したい領域や装置に人が接近または進入した場合に、その人に対して触感による警告を提示することができる。よって、本開示の情報伝達装置は、所定の領域に進入した人に対して警告を提示する装置に有用である。
1、 センサ
2 入力制御装置
3 触感提示装置
21 制御部
22 記憶部
50 ユーザの手
51 追跡点
53 入力可能エリア
61 基点
63 触感提示エリア
100 ジェスチャ入力システム
200 電子機器(制御対象)
300 情報処理装置
311 コントローラ
313 表示部
323 触感提示部
特開2005−292976号公報

Claims (10)

  1. ユーザの身体の一部の動きに基づくユーザ操作を受け付け、前記身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力システムであって、
    ユーザの身体の一部の動きを検出するセンサと、
    空間内に設定された基点に触感を提示する触感提示装置と、
    前記センサによって検出された身体の一部において追跡点を設定し、前記追跡点と前記基点との相対的な位置関係の変化に基づき前記入力信号を生成する制御装置と、を備え、
    前記触感提示装置は、前記ジェスチャ入力システムが前記ユーザ操作を受付け可能な入力可能状態にある間、前記基点に触感を提示し続ける、
    ジェスチャ入力システム。
  2. 前記制御装置は、前記入力可能状態でないときに前記センサがユーザの身体の一部の所定の動きを検出したときに、空間内に前記基点を設定するとともに、前記ジェスチャ入力システムを前記入力可能状態に設定し、その後、前記基点の位置を再度設定されるまで固定する、
    請求項1記載のジェスチャ入力システム。
  3. 前記基点は前記ユーザの身体の一部上に設定される、請求項2記載のジェスチャ入力システム。
  4. 前記触感提示装置は、空間内の前記基点を含む所定範囲である触感提示エリアにおいて触感を提示する、請求項1記載のジェスチャ入力システム。
  5. 前記制御装置は、前記身体の一部に入力可能エリアを設定し、前記入力可能エリアの少なくとも一部が前記触感提示エリアに重なっているときに、前記ジェスチャ入力システムを前記入力可能状態に設定し、
    前記入力可能エリアが前記触感提示エリアに重なっていないときは、前記ジェスチャ入力システムを前記ユーザ操作を受付けない入力不可状態に設定する、
    請求項4記載のジェスチャ入力システム。
  6. 前記ジェスチャ入力システムが前記入力不可状態にあるときは、前記触感提示装置は触感の提示を停止する、請求項5記載のジェスチャ入力システム。
  7. 前記制御装置は、前記身体の一部の実際の動きに対する前記入力信号が示す動きの量の変化の割合を、前記触感提示エリア内における前記追跡点の位置に応じて変化させる、
    請求項5記載のジェスチャ入力システム。
  8. 前記触感提示装置は、音響放射圧または空気流により触感を提示する、請求項1記載のジェスチャ入力システム。
  9. 請求項1ないし8のいずれかに記載のジェスチャ入力システムを備えた電子機器。
  10. ユーザの身体の一部の動きに基づくユーザ操作を受け付け、前記身体の一部の動きの方向及び/または動きの量を示す入力信号を生成するジェスチャ入力方法であって、
    センサにより、ユーザの身体の一部の動きを検出し、
    触感提示装置により、空間内に設定された基点に触感を提示し、
    制御装置により、前記センサによって検出された身体の一部において追跡点を設定し、
    前記制御装置により、前記追跡点と前記基点との相対的な位置関係の変化に基づき前記入力信号を生成し、
    前記触感提示装置は、前記ユーザ操作を受付け可能な入力可能状態にある間、前記基点に触感を提示し続ける、
    ジェスチャ入力方法。
JP2018548979A 2016-11-02 2017-10-27 ジェスチャ入力システム及びジェスチャ入力方法 Active JP6934618B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016215518 2016-11-02
JP2016215518 2016-11-02
JP2016220946 2016-11-11
JP2016220946 2016-11-11
PCT/JP2017/038908 WO2018084082A1 (ja) 2016-11-02 2017-10-27 ジェスチャ入力システム及びジェスチャ入力方法

Publications (2)

Publication Number Publication Date
JPWO2018084082A1 true JPWO2018084082A1 (ja) 2019-09-19
JP6934618B2 JP6934618B2 (ja) 2021-09-15

Family

ID=62076937

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018548979A Active JP6934618B2 (ja) 2016-11-02 2017-10-27 ジェスチャ入力システム及びジェスチャ入力方法

Country Status (4)

Country Link
US (1) US10747324B2 (ja)
JP (1) JP6934618B2 (ja)
CN (1) CN109906423B (ja)
WO (1) WO2018084082A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109948542B (zh) * 2019-03-19 2022-09-23 北京百度网讯科技有限公司 手势识别方法、装置、电子设备和存储介质
JP7333185B2 (ja) * 2019-03-27 2023-08-24 株式会社Subaru 車両の接近警報装置
JP7127592B2 (ja) * 2019-03-27 2022-08-30 オムロン株式会社 報知システム
CN110807898A (zh) * 2019-11-04 2020-02-18 中国第一汽车股份有限公司 一种防疲劳驾驶方法及系统
JP7266199B2 (ja) * 2019-11-26 2023-04-28 パナソニックIpマネジメント株式会社 載置物検出装置および車両制御システム
JP7247901B2 (ja) * 2020-01-07 2023-03-29 トヨタ自動車株式会社 移動体制御装置、移動体制御方法、およびプログラム
JPWO2021157049A1 (ja) * 2020-02-07 2021-08-12
US11537701B2 (en) * 2020-04-01 2022-12-27 Toyota Motor North America, Inc. Transport related n-factor authentication
GB2597492B (en) * 2020-07-23 2022-08-03 Nissan Motor Mfg Uk Ltd Gesture recognition system
US20230116341A1 (en) * 2021-09-30 2023-04-13 Futian ZHANG Methods and apparatuses for hand gesture-based control of selection focus
CN114639205B (zh) * 2022-03-30 2024-07-30 中国工商银行股份有限公司 基于喷气感应的密码输入装置、方法和自助设备
WO2023228919A1 (ja) * 2022-05-27 2023-11-30 京セラ株式会社 表示装置および空中像表示装置
US20240061514A1 (en) * 2022-08-18 2024-02-22 Meta Platforms Technologies, Llc Navigating a user interface using in-air gestures detected via neuromuscular-signal sensors of a wearable device, and systems and methods of use thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086919A2 (fr) * 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel
JP2017207795A (ja) * 2016-05-16 2017-11-24 小島プレス工業株式会社 ジェスチャー操作装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4347112B2 (ja) * 2004-03-31 2009-10-21 アルパイン株式会社 仮想インタフェース制御装置
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP2008018896A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 歩行者警告装置
DE112008001396B4 (de) * 2007-06-05 2015-12-31 Mitsubishi Electric Corp. Fahrzeugbedienungsvorrichtung
CN103797440B (zh) * 2011-09-15 2016-12-21 皇家飞利浦有限公司 具有用户反馈的基于姿势的用户界面
US20130100008A1 (en) * 2011-10-19 2013-04-25 Stefan J. Marti Haptic Response Module
JP2013250637A (ja) * 2012-05-30 2013-12-12 Toshiba Corp 認識装置
US9541997B2 (en) * 2012-07-27 2017-01-10 Nec Solution Innovators, Ltd. Three-dimensional user interface apparatus and three-dimensional operation method
CN104508600B (zh) * 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
WO2014058909A2 (en) * 2012-10-08 2014-04-17 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US9223403B2 (en) * 2012-12-19 2015-12-29 Panasonic Intellectual Property Management Co., Ltd. Tactile input and output device
JP6008123B2 (ja) 2013-02-04 2016-10-19 セイコーエプソン株式会社 警報装置
JP2014219938A (ja) 2013-05-10 2014-11-20 株式会社ゲッシュ 入力支援装置、入力支援方法、および、プログラム
JP2015090547A (ja) * 2013-11-05 2015-05-11 ソニー株式会社 情報入力装置及び情報入力方法、並びにコンピューター・プログラム
US10210629B2 (en) * 2014-02-14 2019-02-19 Sony Interactive Entertainment Inc. Information processor and information processing method
US20160232713A1 (en) * 2015-02-10 2016-08-11 Fangwei Lee Virtual reality and augmented reality control with mobile devices
EP3101511A1 (en) * 2015-06-03 2016-12-07 Nokia Technologies Oy Monitoring
EP3115926A1 (en) * 2015-07-08 2017-01-11 Nokia Technologies Oy Method for control using recognition of two-hand gestures
JP6615541B2 (ja) * 2015-09-02 2019-12-04 株式会社バンダイナムコアミューズメント 投影システム
JP2017068569A (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP6240135B2 (ja) * 2015-10-26 2017-11-29 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
CN107179826B (zh) * 2016-03-11 2021-08-31 松下知识产权经营株式会社 姿势输入系统和姿势输入方法
CN105912110B (zh) * 2016-04-06 2019-09-06 北京锤子数码科技有限公司 一种在虚拟现实空间中进行目标选择的方法、装置及系统
KR20170143384A (ko) * 2016-06-21 2017-12-29 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN110622219B (zh) * 2017-03-10 2024-01-19 杰创科增强现实有限公司 交互式增强现实
WO2018198909A1 (ja) * 2017-04-28 2018-11-01 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法及びプログラム
US10967255B2 (en) * 2017-05-26 2021-04-06 Brandon Rosado Virtual reality system for facilitating participation in events

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015086919A2 (fr) * 2013-12-11 2015-06-18 Dav Dispositif de commande à retour sensoriel
JP2017207795A (ja) * 2016-05-16 2017-11-24 小島プレス工業株式会社 ジェスチャー操作装置

Also Published As

Publication number Publication date
US10747324B2 (en) 2020-08-18
US20190243451A1 (en) 2019-08-08
CN109906423A (zh) 2019-06-18
WO2018084082A1 (ja) 2018-05-11
JP6934618B2 (ja) 2021-09-15
CN109906423B (zh) 2022-05-06

Similar Documents

Publication Publication Date Title
JP6934618B2 (ja) ジェスチャ入力システム及びジェスチャ入力方法
CN109476318B (zh) 用于车辆的触觉通知系统
US10232773B2 (en) Systems and methods for awareness in vehicles using haptic effects
KR101561917B1 (ko) 차량 제어 장치 및 그 제어 방법
JP6541945B2 (ja) 触覚効果の知覚正規化のためのシステム及び方法
US11678155B2 (en) Systems and methods for locating mobile devices within a vehicle
EP3179340A1 (en) Systems and methods for position-based haptic effects
EP3088996A1 (en) Systems and methods for tactile guidance
KR102582863B1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
JP2021531133A (ja) 仮想世界中の仮想車両ドリフト方法、装置及びコンピュータプログラム
EP3037926A1 (en) Systems and methods for haptically-enabled holders
CN110740896B (zh) 用于运输工具的用户界面以及具有用户界面的运输工具
CN104750247A (zh) 使用单个控制器和支持触觉的用户接口控制多个显示器的系统和方法
EP3598273A1 (en) Adaptive haptic effect rendering based on dynamic system identification
CN109474863A (zh) 用非音频数据在耳机上渲染触觉
US11568640B2 (en) Techniques for providing vibrations at headset
JP2014225245A (ja) 交通情報呈示システム、交通情報呈示方法および電子デバイス
EP4137915A1 (en) Control method and electronic device
KR102336982B1 (ko) 이동 단말기 및 그 제어 방법
KR20210056158A (ko) 탈 것을 위한 전후방주의 안전장치
CN111292493A (zh) 一种振动提醒方法、装置、电子设备及系统
US20160379416A1 (en) Apparatus and method for controlling object movement
JP6284648B2 (ja) 触感制御システムおよび触感制御方法
CN114506383B (zh) 方向盘回正的控制方法、装置、终端、存储介质及产品
TWM647248U (zh) 具備光學雷達功能的電動輪椅系統

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210720

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210803

R151 Written notification of patent or utility model registration

Ref document number: 6934618

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350