JPWO2015001875A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JPWO2015001875A1
JPWO2015001875A1 JP2015525096A JP2015525096A JPWO2015001875A1 JP WO2015001875 A1 JPWO2015001875 A1 JP WO2015001875A1 JP 2015525096 A JP2015525096 A JP 2015525096A JP 2015525096 A JP2015525096 A JP 2015525096A JP WO2015001875 A1 JPWO2015001875 A1 JP WO2015001875A1
Authority
JP
Japan
Prior art keywords
menu
user
icon
unit
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015525096A
Other languages
English (en)
Other versions
JP6113281B2 (ja
Inventor
晋太郎 高田
晋太郎 高田
孝志 松原
孝志 松原
森　直樹
直樹 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Publication of JPWO2015001875A1 publication Critical patent/JPWO2015001875A1/ja
Application granted granted Critical
Publication of JP6113281B2 publication Critical patent/JP6113281B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • B60K2360/11—
    • B60K2360/113—
    • B60K2360/115—
    • B60K2360/141—
    • B60K2360/146—
    • B60K2360/1464—

Abstract

情報処理装置であって、車載装置全体の動作を制御する車載装置制御部と、物体との距離の測定及びジェスチャーの検出ができるセンシング部と、映像・画像を表示する表示部と、から構成される。センシング部は常時、表示部の前方に物体がどの距離に存在するかを監視しており、ドライバーの手が表示部の前方の特定の領域１に侵入したことを検知した場合、表示部に表示された特定のアイコンをドライバー側に移動する。さらにスピーカーを備えた場合、アイコンの移動とともに効果音や音声をスピーカーから出力する。ドライバーの手が領域１よりも表示部に近い領域２に侵入したことを検知した場合、アイコンの下層に存在するメニューを展開するように扇状に広がって表示し、効果音をスピーカーから出力する。さらに表示したメニューを一定時間表示するよう動作し、この状態において、一定時間が経過するか、ドライバーが身振りなどのジェスチャーを行うか、スイッチ入力部に入力が受け付けられるかするまで表示し続ける。

Description

参照による取り込み
本出願は、２０１３年７月５日に出願された日本特許出願第２０１３−１４１３０４号の優先権を主張し、その内容を参照することにより本出願に取り込む。
本発明は、情報処理装置に関する。
特開２０１１−１７０５９８(特許文献１)には、タッチパネルのレイアウトを左手指と右手指の操作に適したものに変更することで、ユーザがタッチパネルでの操作をしやすくする効果が期待できるタッチパネル入力装置について記載されている。
特開２０１１−１７０５９８
しかしながら前述した技術及び従来の技術では、画面に表示されたボタンをタッチするために、ユーザは手を伸ばしてタッチしなくてはならない。また、画面に表示されたボタンを注視しながらタッチするためユーザの視線は操作する対象に奪われてしまう。さらに、階層化されたメニューを表示するためにユーザは何回もタッチの操作が必要となり、操作回数や操作時間が増える。また、ジェスチャーによる操作の場合、規定の動作を行う必要があり、ユーザが動作を覚えなくてはならない。
本発明の課題は、ユーザが大きく手を伸ばす必要がなく、また、視線を長い間奪うことがなく、かつ、操作に要する操作回数ができるだけ少なく、所望の操作ができる情報処理装置を提供することである。
本発明による情報処理装置の一例である車載装置に関して、ドライバーのディストラクション（ｄｉｓｔｒａｃｔｉｏｎ:運転操作以外の作業で運転から注意を逸らすこと）を低減して所望の操作を実現できる車載装置であり、車載装置全体の動作を制御する車載装置制御部と、物体との距離の測定及びジェスチャーの検出ができるセンシング部と、タッチによる入力が可能なタッチ入力部と、映像・画像を表示する表示部と、音を出力するスピーカーとから構成される。
センシング部は、表示部の前方にある物体の距離を監視しており、ドライバーの手が表示部の前方の特定の領域１に侵入したことを検知した場合、車載装置制御部は表示部に表示された特定のボタンやアイコンをドライバー側に移動させるとともに、効果音をスピーカーから出力するよう制御する。センシング部が、ドライバーの手が領域１よりも表示部に近い領域２に侵入したことを検知した場合、車載装置制御部はアイコンの下層に存在するメニューを展開して表示し、効果音をスピーカーから出力するよう制御する。そして表示したメニューを一定時間表示するよう制御する。この状態になった後、一定時間が経過するか、ドライバーが身振りなどのジェスチャーを行うか、表示されたメニューがタッチされるかするまで、メニューを表示し続ける。
本発明によれば、ユーザが大きく手を伸ばす必要がなく、また、視線を長い間奪われることがなく、かつ、操作に要する操作の回数ができるだけ少なく、所望の操作を行うことができる。
本発明の他の目的、特徴及び利点は添付図面に関する以下の本発明の実施例の記載から明らかになるであろう。
本発明の第一実施例における車載装置の構成図である。 本発明の第一実施例におけるセンシング部の設置例である。 本発明の第一実施例における車載装置の動作フローである。 表示部１１２の表示内容とユーザの手の検出領域の図である。 表示部１１２の表示内容とユーザの手の検出領域の図である。 表示部１１２の表示内容とユーザの手の検出領域の図である。 表示部１１２の表示内容とユーザの手の検出領域の図である。 表示部１１２の表示内容の図である。 表示部１１２の表示内容の図である。 本発明の第二実施例における車載装置の動作フローである。 表示部１１２の表示内容とユーザの手の検出領域の図である。 本発明の第三実施例におけるセンシング部の設置例である。 本発明の第三実施例における車載装置の動作フローである。 表示部１１２の表示内容とユーザの手の検出領域の図である。 表示部１１２の表示内容とユーザの手の検出領域の図である。 ユーザの手の検出領域の図である。
以下、本発明の実施の形態を、図面を参照して詳細に説明する。
１．第一実施例
図１は本実施例における車載装置１０１のブロック図である。尚、本実施例における車載装置１０１は、進行方向に向かって右側にハンドルが配設された車両に搭載されるものとする。
車載装置制御部１０２は、ＣＰＵ及びこれにより実行されるソフトウェアにより構成され、車載装置１０１の動作全体を制御する部分であり、距離検出部１０４と位置検出部１０５とジェスチャー検出部１０６を有する。具体的には、基本的なカーナビゲーションシステムとしての動作を制御するとともに、各種入力情報に基づいて、出力する内容を制御する。
距離検出部１０４は、後述するセンシング部１０３から出力された電圧に基づいて、センシング部１０３からユーザの手までの距離を算出する。位置検出部１０５は、センシング部１０３から出力された電圧に基づいて、ユーザの手がどの位置に存在するのかを特定する。更に、ジェスチャー検出部１０６はセンシング部１０３から出力された電圧に基づいて、ユーザが所定の動作（以下、「ジェスチャ」）を行ったかどうかを判定する。
センシング部１０３は、赤外線を照射する投光器と、近距離（例えば、５ｃｍ以内）にある物体により反射された赤外線を受光する受光器と、を有する赤外線距離センサにより構成される。センシング部１０３は、受光器が受光した光量に応じた電圧を車載装置制御部１０２に出力する。
図２は、センシング部１０３を含む表示部１１２の具体例を示す。センシング部１０３は、複数の赤外線距離センサ１０３Ａ〜１０３Ｃを有し、赤外線センサ１０３Ａ〜１０３Ｃは、表示部１１２の右端に、縦に並んで配置される。赤外線センサ１０３Ａ〜１０３Ｃは、夫々独立して、受光器が受光した光量に応じた電圧を車載装置制御部１０２に出力する。ドライバーであるユーザが表示部１１２の前面に手を差し出している間、センシング部１０３の前方にユーザの手や腕があることになる。
このとき、何れの赤外線センサ１０３Ａ〜１０３Ｃがユーザの手などを検出しているのかを特定することにより、車載装置制御部１０２は、ユーザの手が、表示部１１２の上側、中側及び下側の何れにあるのかを検出することができる。また、車載装置制御部１０２は、センシング部１０３により出力された電圧の高さにより、例えば、ユーザの指とセンシング部１０３との距離を知ることができる。
尚、図２に示されるように、本実施例では、センシング部１０３から第一の距離（例えば、５ｃｍ）までの表示部１１２前方の空間を領域１とし、センシング部１０３から第二の距離（例えば、２．５ｃｍ）までの表示部１１２前方の空間であって、表示部１１２の上側半分を領域２と定義し、更に、センシング部１０３から第二の距離（例えば、２．５ｃｍ）までの表示部１１２前方の空間であって、表示部１１２の下側半分を領域３と定義している。
車載装置制御部１０２は、これらの各距離と、センシング部１０３から出力される電圧値と、ユーザの手などを検出した赤外線距離センサの種別と、の関係を定めたデータテーブルを記憶し、このデータテーブルと、実際にセンシング部１０３から出力された電圧とに応じて、ユーザの手などが、領域１〜３の何れに存在するのかを特定する。
なお、センシング部１０３を構成する赤外線距離センサの数及び設置位置は、本実施例に限られるものではない。図２のセンシング部１０３は、右ハンドル車の場合、ドライバーの手が右側から来ると考えられるため表示部１１２の右側に設置する例を表している。左ハンドル車の場合は、ドライバーの手が左側から来ることが考えられるため表示部１１２の左側に設置するようにしてもよい。また、パーソナルコンピュータやデジタルサイネージなどに適用する場合、利き手側にセンシング部１０３を設置するようにしてもよい。センシング部１０３を用いて車載装置制御部１０２が特定する領域の数も、本実施例に限られない。
また、センシング部１０３を構成するものとしては、赤外線距離センサに限られず、例えば、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、又はイメージセンサなどのセンサ、並びに、データ処理を行うマイコン及びマイコン上で動作するソフトウェアで構成しても良い。
再び、図１に戻り、音声認識部１０８は、マイクロホン１０７から得られた音データを基に、音声認識を行い、入力された音声を文字情報や車載装置１０１への操作を示す信号に変換する。
スイッチ入力部１０９は、車載装置１０１に設置されたスイッチが押下されたかどうかを車載装置制御部１０２に伝達する。
タッチ入力部１１０は、タッチされた座標を車載装置制御部１０２に伝達する。
走行状態入力部１１１は、車載装置１０１が設置された車両の状態に関する情報を入力する部分であり、車速、アクセル、各種ブレーキの状態、などの情報を車載装置制御部１０２に伝達する。
表示部１１２は、ユーザに映像情報を提示する装置であり、例えば、ＬＣＤ（Liquid Crystal Display）、などのディスプレイ装置と、映像コンテンツやＧＵＩ（Graphical User Interface）などの表示処理に必要な演算処理装置やメモリを有する装置である。尚、本実施例における表示部１１２は、タッチ入力部１１０と一体化されたタッチパネルが適用される。スピーカー１１３は、音を外部に出力する手段である。
触覚インターフェイス部１１４は、ユーザが接触するデバイスに設置されており、例えば、ハンドルや着座シートなどに設置される。車載装置制御部１０２から命令されたタイミングで振動や微弱な電流を流すなどし、触覚を介してユーザに情報を伝える。
図３のフローチャートを用いて、車載装置制御部１０２の動作を説明する。本フローチャートは車両のエンジンが始動すると車載装置１０１の動作が開始する。なお、図４に示すように表示部１１２には、地図や時刻などのナビゲーションに関する情報と各種アイコンが表示される。本実施例では、NAVIアイコンとAVアイコンが表示されている。本実施例では、ユーザが項目を選択するための項目選択画面が階層化されて車載装置制御部１０２により記憶されている。
車載装置制御部１０２は、センシング部１０３を起動させる（Ｓ３０１：「センシング部起動」）。そして図４に示すような領域１の中にユーザの手が検出されるかどうかを監視し、図５に示すように、領域１の中にユーザの手を検出した場合（Ｓ３０２：「領域１に手を検出？」Yes）、車載装置制御部１０２は、第一の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３０３：「スピーカーから効果音を出力」）。ここでの効果音は、例えば手が領域１に入ったことを示すような「ポンッ」などの音や、物体が移動するような「シュルッ」などの音である。
車載装置制御部１０２は、例えば図５におけるNAVIボタンのように、表示部１１２により表示されている所定のアイコンを右側、即ちドライバー側に移動するように表示部１１２を制御する（Ｓ３０４：「所定のアイコンを所定の位置に移動」）。ここで、NAVIボタンは「NAVI」という文字を図形の中に表示しているが、図形の中に表示せず、「NAVI」という文字だけを表示して、領域１の中にユーザの手が検出されたとき、「NAVI」という文字だけが所定位置に移動するようにしても良い。その後、センシング部１０３が領域１の中にユーザの手を検知しなくなれば（Ｓ３０５：「領域１内に手が存在？」No）、車載装置制御部１０２は、第二の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３０６：「スピーカーから効果音を出力」）。
ここでの効果音は、例えば手が領域から出たことを示すような「ポンッ」などの音や、物体が移動するような「シュルッ」などの音である。そして、車載装置制御部１０２は、移動したアイコンを図４に示す初期の表示位置に戻すよう表示部１１２を制御する（Ｓ３０７：「アイコンを初期位置に戻す」）。
センシング部１０３が、領域１の中にユーザの手が存在し（Ｓ３０５：「領域１内に手が存在？」Yes）、かつ図６における領域２の中でユーザの手を検知した場合（Ｓ３０８：「領域２か領域３内に手が存在？」領域２）、車載装置制御部１０２は、図６に示すように、NAVIアイコンの下層にあたるメニューを、扇状に広がって表示するよう表示部１１２を制御する（Ｓ３０９：「所定のアイコンのメニューを展開」）。本実施例では、NAVIアイコンの下層にあたるメニューである「目的地」、「周辺検索」、「地点登録」および「自宅」のメニューがそれぞれ表示される。
同様に、ユーザの手が図７における領域３に、センシング部１０３が検知した場合は（Ｓ３０８：「領域２か領域３内に手が存在？」領域３）、車載装置制御部１０２は、図７に示すようにAVアイコンの下層にあたるメニューを扇状に広がって表示するよう表示部１１２を制御する（Ｓ３１０：「所定のアイコンのメニューを展開」）。本実施例では、「AV」アイコンの下層にあたるメニューである「ＦＭ/ＡＭ」、「リスト」、「曲送り」および「曲戻し」がそれぞれ表示される。
車載装置制御部１０２は、画面上の動きに合わせた第三の効果音や音声を出力するようスピーカー１１３を制御する（Ｓ３１１：「スピーカーから効果音を出力」）。ここでの効果音は、例えば物が拡散するような「シャッ」などの音を出力する。また、メニューが展開するように表示された状態を知らせるよう「カチッ」などの効果音を用いてもよい。
その後、車載装置制御部１０２は、扇状に広がって展開したように表示したメニューを一定時間表示し続ける（Ｓ３１２：「メニューの展開を固定」）。ジェスチャー検出部１０６が、例えばセンシング部１０３の前方でユーザがバイバイの動作をするなどのジェスチャーを検出した場合（Ｓ３１３：「所定のジェスチャーを検出？」Yes）、車載装置制御部１０２は、扇状に広がって展開したように表示したメニューの表示をやめ（Ｓ３１４：「展開されたメニューを閉じる」）、Ｓ３０６、Ｓ３０７のステップに移る。
ジェスチャー検出部１０６がユーザのジェスチャーを検出せず（Ｓ３１３：「所定のジェスチャーを検出？」No）、一定時間、例えばメニューが表示されてから10秒間が経過した場合（Ｓ３１５：「所定の時間が経過？」Yes）、車載装置制御部１０２は、Ｓ３１４のステップの処理を実行する。表示されたメニューがタッチされるなどして、ユーザの入力操作を受け付けると、タッチにより選択したメニューが、それまで表示されていたアイコンの場所にアイコンとして表示され、選択したメニューの下層にあるメニューが扇状に広がって表示される。例えば、「目的地」をタッチにより選択した場合、「目的地」がNAVIアイコンを表示していた場所にアイコンとして表示され、「目的地」の下層にあるメニューが扇状に広がって表示される。メニューを選択して最下層まで進み、所望の項目を選択すると（Ｓ３１６：「ユーザの入力操作が終了？」Yes）、車載装置制御部１０２は、アイコンをメニューの最上位にして初期の表示位置に戻し（Ｓ３１７：「アイコンを初期位置に戻す」）、Ｓ３０２のステップの処理を実行する。
メニューが表示されると、Ｓ３１３、Ｓ３１５、Ｓ３１６の条件判定を繰り返し行う。なお、図３における動作フローにおいて、一度、領域２か３のどちらかでユーザの手を検知し、Ｓ３１２の処理でメニューが表示されても、その後、別の領域で手が検知された場合は、新たに検知した領域に対応したメニューの表示（Ｓ３０９かＳ３１０）を行うような構成としても良い。これによって、ユーザがタッチすることなくメニューが表示されるため、タッチ操作の回数を減らし、操作時間を減らすことができる。
なお、Ｓ３１３においては所定のジェスチャーを検出したかどうかを判定するが、音声認識部１０８において所定の発話を検知したかどうかを判定するような構成としてもよい。所定の発話とは例えば、「キャンセル」や「ホーム」、「戻る」などの言葉を適用可能である。これによって、ユーザがセンシング部１０３の前に手をかざさずに、展開するように扇状に表示されたメニューの表示をやめることができるため、ユーザの注意を車両の運転から逸らしてしまう可能性をより低減することが期待できる。また、ハードスイッチやステアリングコントローラなどのボタン押下で展開するように表示されていたメニューの表示をやめてアイコンを初期の表示位置に戻すようにしても良い。
また、スピーカー１１３から効果音や音声を出力する構成を、スピーカー１１３の効果音の出力の代わり、もしくはスピーカー１１３の効果音の出力と同時に、触覚ＩＦ部１１４を作動させるような構成としてもよい。これによって、周囲の騒音が大きくスピーカー１１３からの音がユーザに聞こえないような場合でも、ユーザの触感を通して情報を伝達することができるため、ユーザに適切に操作の状況を伝えることができる。
以上の通り、本実施例によれば、ドライバーが表示部１１２に手をかざすだけで、所定のアイコンがドライバー側に移動して表示部１１２に表示されるため、ドライバーは運転の姿勢を大きく崩すことなくそのアイコンの下層にあたるメニューのタッチ操作を行うことができる。
また、目的のアイコンをタッチすることなく手を側に近づけるだけで、アイコンの下層にあたるメニューが表示されるため、タッチ操作の手間、回数または時間を減らすことができ、操作に伴ってドライバーが車両の運転から注意を逸らしてしまう可能性を低減することができる。
さらに、一度メニューを表示した状態が一定時間継続されることで、ドライバーが一旦手をハンドルに戻しても、再度操作する際、メニューが表示された状態で操作を再開できるため、メニューを表示しなおす時間等を削減できる。また、メニューの表示をやめる際には、一定時間の経過や、ジェスチャー、又は音声認識など簡単な操作で実現可能なため、車両の運転から注意を逸らしてしまう可能性を減らすことができる。
なお、Ｓ３０９もしくはＳ３１０にて、メニューを表示する際に、走行状態入力部１１１からの情報を基に、操作可能なメニューを制限するような構成としてもよい。具体的には、走行状態入力部１１１の入力から走行状態を判断し、車両が走行状態ではない場合は、全てのメニューについて操作が可能とし、車両が走行状態の場合は、一部のメニューの操作を規制する。
本実施例では、図８のように、「目的地」と「周辺検索」のメニューを走行中は操作できないようグレーアウトしタッチ操作不可とする。これによって、走行中にドライバーが複雑な操作を行うことを未然に防ぐため、安全運転に寄与することができる。また、領域１の中に手が検知されない状態で、初期の表示位置に表示されているアイコンをタッチした場合は、図９に示すように、走行状態に関わらず全てのメニューの操作が可能なようにする。これによって、運転をしないドライバー以外の人物、例えば助手席の人物であれば走行中でも複雑な操作が可能となる。
なお、図２におけるセンサ素子の設置について、センサ数がより少ない場合、例えば、１０３Ｂのみを用いた構成の場合は、本実施例で説明した動作について、二つの領域のどちらかに手が入ったかを区別しないで、図４における領域１に手が入ったかどうかの判定動作を行う。具体的には、領域１にて手が検知されたら、ドライバーから遠いアイコンをドライバーに近づけ、さらに手が近づいたことが検知された場合は、そのアイコンの下層にあたるメニューを展開するように扇状に広がって表示させる。その後の動作については図３のフローと同様である。
２．第二実施例
本実施例における装置の構成は図１に記載の車載装置１０１と同様である。図１０の動作フローを用いて、本実施例における車載装置１０１の動作について詳細を説明する。なお、図３と同様の動作を行うステップにおいては、図１０中に図３と同じ通し番号を付し、説明を省略する。
車載装置制御部１０２は、センシング部１０２の情報に基づいてユーザの手が領域１の中に存在すると検知すると、車載装置制御部１０２は、表示部１１２に表示されている所定のアイコン（NAVIボタン）を移動するよう表示部１１２を制御し（Ｓ３０２からＳ３０４）、移動したアイコンの下層にあたるメニューを図１１に示すように表示部１１２に展開するように表示するよう、制御する（Ｓ１００１：「メニューを展開」）。
その後、車載装置制御部１０２は、センシング部１０２の情報に基づいて図６に示されているような領域２の中にユーザ手が存在すると検知すると（Ｓ１００２：「領域２か３内に手が存在？」領域２）、スピーカー１１３から第三の効果音を出力するよう制御する（Ｓ１００４：「スピーカーから効果音を出力」）。
一方、車載装置制御部１０２は、図７に示されているような領域３の中にユーザの手が存在すると検知した場合は（Ｓ１００２：「領域２か３内に手が存在？」領域３）、既に表示部１１２に表示されているNAVIアイコンの下層のメニューの表示をやめ、もう一方のアイコン（AVアイコン）の下層のメニューを扇状に広がって表示するよう制御する（Ｓ１００３：「メニューの展開を閉じ、所定のアイコンのメニューを展開」）。
また、Ｓ３０６の処理を実行した後は、車載装置制御部１０２は、NAVIアイコンまたはAVアイコンの下層にあたるメニューの表示をやめるよう表示部１１２を制御する処理（Ｓ１００５「展開されたメニューを閉じる」）が追加される。
なお、Ｓ１００１において、表示される下層のメニューは、NAVIアイコンに限らず、AVアイコンであっても良い。さらに、これらの表示の設定に関しては、ユーザが事前に決定しておけるような構成としても良い。これによって、ユーザの嗜好に沿ったメニューの表示ができ、所望の操作を実現するまでの手間、操作数をより低減することができる。
以上の動作を行う車載装置１０１によって、ドライバーは手を伸ばすだけで、表示部１１２に表示されているアイコンがドライバー側に移動し、表示されているアイコンの下層のメニューボタンが表示されるため、ドライバーは運転の姿勢を大きく崩すことなく車載装置の操作を行うことができ、タッチ操作の手間、回数または時間を減らすことができるため、車両の運転から注意を逸らしてしまう可能性を低減することができる。
３．第三実施例
本実施例においては、装置の構成は図１に記載の車載装置１０１と同様である。また、ドライバー側のユーザの手の動きに対する動作に関しては前述の実施例と同様である。以下では、本実施例の特徴である、助手席側のユーザの手の検知を行う動作について説明する。
図１２は本実施例におけるセンシング部１０３の設置例である。表示部１１２に対して、右ハンドル車両におけるドライバー側に縦に配置されており、１０３Ａ、１０３Ｂ、１０３Ｃの３箇所にセンサ素子を設置している。さらに、表示部１１２の横方向にも１０３Ｄと１０３Ｅの２個の素子を設置する。これによって、実施例１または実施例２で説明したようにドライバー側の手を検知するとともに、図１２下図に示すように助手席側のユーザの手の位置と距離を検出することが可能となる。
図１３の動作フローを用いて、本実施例における車載装置１０１の動作について詳細を説明する。
まず車両のエンジンが始動するなどして、車載装置１０１の動作が開始する。図１４に示すように車載装置制御部は、表示部１１２に、地図や時刻などのナビゲーションに関する情報と各種アイコンが表示されるように制御する。
本実施例は、表示部１１２にNAVIアイコンとAVアイコンが表示される。センシング部１０３は図１４に示すような領域４（センシング部１０３から第一の距離にある表示部１１２の前方、左半分の領域）の中に、助手席のユーザの手が検出されるかどうかを監視し、図１５に示すように、センシング部１０３が領域４にユーザの手が存在すると検出した場合（Ｓ１３０２「領域４に手を検出？」：Yes）、車載装置制御部１０２は、スピーカー１１３から第四の効果音や音声を出力するよう制御する（Ｓ１３０３：「スピーカーから効果音を出力」）。効果音は物体が移動するような音、例えば「シュルッ」などのような音を出力する。
そして車載制御装置１０２は、表示部１１２に表示されているアイコン（図１５におけるNAVIアイコン）を助手席側に移動する（Ｓ１３０４：「所定のアイコンを所定の位置に移動」）ように制御する。その後、センシング部１０３が領域４にユーザの手を検知しなくなると、（Ｓ１３０５：「領域４内に手が存在？」No）、車載装置制御部１０２は、スピーカー１１３から効果音や音声を出力するよう制御する（Ｓ１３０６：「スピーカーから効果音を出力」）。
効果音は物体が移動するような音、例えば「シュルッ」などのような音を出力する。また、車載装置制御部１０２は、助手席側へ移動したアイコンを初期の表示位置に戻すよう表示部１１２を制御する（Ｓ１３０７：「アイコンを初期位置に戻す」）。
車載装置制御部１０２は、センシング部１０３が領域４にユーザの手を検知し（Ｓ１３０５：「領域４内に手が存在？」Yes）、かつ図１６における領域５（センシング部１０３から第二の距離にある表示部１１２の前方、左半分の領域）でもユーザの手を検知した場合（Ｓ１３０８：「領域５か領域６内に手が存在？」領域５）、NAVIアイコンの下層にあたるメニューを展開するように表示する（Ｓ１３０９：「所定のアイコンのメニューを展開」）よう、表示部１１２を制御する。
本実施例では、NAVIアイコンの下層にあたるメニュー「目的地」、「周辺検索」、「地点登録」、「自宅」がそれぞれ表示される。同様に、センシング部１０３が図１６における領域６（センシング部１０３から第二の距離にある表示部１１２の前方、右半分の領域）にユーザの手を検知すると（Ｓ１３０８：「領域５か領域６内に手が存在？」領域６）、車載装置制御部１０２はAVアイコンの下層にあたるメニューを表示するよう表示部１１２を制御する（Ｓ１３１０）。
本実施例では、AVアイコンの下層にあたるメニュー「ＦＭ/ＡＭ」、「リスト」、「曲送り」、「曲戻し」がそれぞれ表示される。
Ｓ１３０９もしくはＳ１３１０の処理を行うときに、車載装置制御部１０２は、表示部１１２の処理に合わせた効果音や音声をスピーカー１１３から出力するよう制御する（Ｓ１３１１：「スピーカーから効果音を出力」）。例えば物が拡散するような「シャッ」などのような音を出力する。
その後、そのメニューを表示する（Ｓ１３１２：「メニューの展開を固定」）。ユーザがジェスチャー（例えば、センシング部１０３の前方でバイバイの動作をする、など）を行ったことを、センシング部１０２が検出した場合（Ｓ１３１３：「所定のジェスチャーを検出？」Yes）、表示していたメニューの表示をやめ（Ｓ１３１４：「展開されたメニューを閉じる」）、Ｓ１３０６、Ｓ１３０７の処理をする。ジェスチャーは検出されず（Ｓ１３１３：所定のジェスチャーを検出？」No）、所定の時間、例えばメニューが表示されてから10秒間が経過した場合（Ｓ１３１５：「所定の時間が経過？」Yes）、Ｓ１３１４へ進み、展開するように表示しているメニューの表示をやめる。
また、表示されているメニューをタッチするなどして、ユーザの入力操作を受け付けると、タッチにより選択したメニューが、それまで表示されていたアイコンの場所にアイコンとして表示され、選択したメニューの下層にあるメニューが扇状に広がって表示される。例えば、「目的地」をタッチにより選択した場合、「目的地」がNAVIアイコンを表示していた場所にアイコンとして表示され、「目的地」の下層にあるメニューが扇状に広がって表示される。メニューを選択して最下層まで進み、所望の項目を選択すると（Ｓ１３１６：「ユーザの入力操作が終了？」Yes）、車載装置制御部１０２は、アイコンをメニューの最上位にしてドライバー側に移動したアイコンを初期の表示位置に戻すよう表示部１１２を制御し（Ｓ１３１７：「アイコンを初期位置に戻す」）、Ｓ１３０２の処理を行う。
アイコンの下層にあたるメニューが表示された後は、Ｓ１３１３、Ｓ１３１５、Ｓ１３１６の処理を繰り返し行う。なお、図１３における動作フローにおいて、領域５か６のどちらかでユーザの手を検知し、Ｓ１３１２の処理でメニューが表示されつづけても、その後、別の領域で手が検知された場合は、新たに検知した領域に対応したメニューの表示（Ｓ１３０９かＳ１３１０）を行うような構成としても良い。
これによって、ユーザがスムーズにメニューの表示を切り替えることができるため、所望のメニューが探索しやすくなる。また、Ｓ１３１３においては所定のジェスチャーを検出したかどうかを判定するが、音声認識部１０８において所定の発話が検知された場合を判定するような構成としてもよい。所定の発話とは例えば、「キャンセル」や「ホーム」、「戻る」などの任意の言葉を設定する。これによって、ユーザがセンシング部１０３の前に手をかざさずに、メニューの表示をやめてアイコンを初期の表示位置に戻すことができる。また、ハードスイッチやステアリングコントローラなどのボタン押下で展開するように表示されていたメニューの表示をやめて、アイコンを初期の表示位置に戻すようにしても良い。
以上のような動作フローに基づいて車載装置を動作させることで、ドライバーのみならず助手席の人が手をかざすだけで、メニューが助手席側に表示される。また、所望の操作を行う際に、目的のアイコンをタッチすることなく手を側に近づけるだけで、アイコンの下層にあたるメニューが表示されるため、タッチ操作の手間、回数を減らすことができる。また、メニューの表示をやめる場合には、一定時間の経過や、ジェスチャー、音声認識で解除が可能なため、助手席側の人物のディストラクションはほとんど生じない。
なお、全ての実施例において車載装置を例に説明したが、本発明はこれに限るものではなく、パーソナルコンピュータやデジタルサイネージなどのディスプレイ部と入力手段を有するものにおいて適用することができる。
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
１０１ 車載装置
１０２ 車載装置制御部
１０３ センシング部
１０４ 距離検出部
１０５ 位置検出部
１０６ ジェスチャー検出部
１０７ マイクロホン
１０８ 音声認識部
１０９ スイッチ入力部
１１０ タッチ入力部
１１１ 走行状態入力部
１１２ 表示部
１１３ スピーカー
１１４ 触覚ＩＦ部

Claims (12)

  1. ユーザの手の距離と位置を検知するセンシング部と、
    画像または映像を表示する表示部と、
    装置全体の動作を制御する装置制御部と、を備え、
    前記装置制御部は、
    前記センシング部において、ユーザの手が所定の領域の中で検知されると、
    前記表示部に表示されたアイコンの表示位置を移動すること
    を特徴とした情報処理装置。
  2. 前記装置制御部は、
    前記センシング部において、前記所定の領域よりも前記表示部に近い領域で前記ユーザの手が検知されると、前記アイコンの下層にあたるメニューを表示すること
    を特徴とする請求項１に記載の情報処理装置。
  3. 前記装置制御部は、
    前記メニューを一定時間表示すること
    を特徴とした請求項２に記載の情報処理装置。
  4. ユーザのジェスチャーを検知するジェスチャー検出部を備え、
    前記装置制御部は、
    前記メニューを表示しているときに
    前記ジェスチャー検出部にてユーザの動作を検出した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
    を特徴とした請求項３に記載の情報処理装置。
  5. ユーザの発話を認識する音声認識部を備え、
    前記装置制御部は、
    前記メニューが表示されているときに、
    前記音声認識部にてユーザの発話を認識した場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと
    を特徴とした請求項３に記載の情報処理装置。
  6. ユーザの入力を受け付けるスイッチ部を備え、
    前記装置制御部は、
    前記メニューが表示されているときに、
    前記スイッチ部にてユーザの入力を受け付けた場合に、前記メニューの表示をやめて、前記アイコンを初期の表示位置に戻すこと、
    を特徴とした請求項３に記載の情報処理装置。
  7. スピーカー部を備え、
    前記装置制御部は、
    前記センシング部がユーザの手を所定の領域内で検知したときに、
    前記スピーカー部から所定の音声を出力すること、
    を特徴とした請求項１記載の情報処理装置。
  8. 前記装置制御部は、
    前記アイコンを移動させたあと、
    所定時間経過後に、前記アイコンを初期の表示位置に戻すこと
    を特徴とした請求項１記載の情報処理装置。
  9. 触覚インターフェイス部を備え、
    前記装置制御部は、
    前記、センシング部がユーザの手を所定の領域で検知した際に、
    前記触覚インターフェイス部にて、所定の触覚情報をユーザに提示すること、
    を特徴とした請求項１に記載の情報処理装置。
  10. スピーカー部または接触インターフェイス部を備え、
    前記装置制御部は、
    前記メニューが表示されるときに、音声または触覚情報を出力すること、
    を特徴とした請求項２に記載の情報処理装置。
  11. スピーカー部または接触インターフェイス部を備え、
    前記装置制御部は、
    前記アイコンが初期の表示位置に戻るときに、音声または触覚情報を出力すること
    を特徴とした請求項８に記載の情報処理装置。
  12. 車両の走行状態を受け付ける走行状態入力部を備え、
    前記装置制御部は、
    前記走行状態入力部から得られた走行状態に応じて、
    所定の前記メニューについて表示の形態を変えること、
    を特徴とした請求項１に記載の情報処理装置。
JP2015525096A 2013-07-05 2014-05-28 情報処理装置 Active JP6113281B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013141304 2013-07-05
JP2013141304 2013-07-05
PCT/JP2014/064099 WO2015001875A1 (ja) 2013-07-05 2014-05-28 情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2015001875A1 true JPWO2015001875A1 (ja) 2017-02-23
JP6113281B2 JP6113281B2 (ja) 2017-04-12

Family

ID=52143466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015525096A Active JP6113281B2 (ja) 2013-07-05 2014-05-28 情報処理装置

Country Status (5)

Country Link
US (2) US20160004322A1 (ja)
EP (1) EP3018568A4 (ja)
JP (1) JP6113281B2 (ja)
CN (1) CN105027062A (ja)
WO (1) WO2015001875A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2013171898A1 (ja) * 2012-05-18 2016-01-07 トヨタ自動車株式会社 車両の情報表示装置
US10503357B2 (en) * 2014-04-03 2019-12-10 Oath Inc. Systems and methods for delivering task-oriented content using a desktop widget
JP5899251B2 (ja) * 2014-01-29 2016-04-06 本田技研工業株式会社 車両用入力装置
JP6642424B2 (ja) * 2014-06-03 2020-02-05 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
GB201414781D0 (en) * 2014-08-20 2014-10-01 Jaguar Land Rover Ltd Improvements related to user interfaces
JP6426025B2 (ja) * 2015-02-20 2018-11-21 クラリオン株式会社 情報処理装置
CN107735761B (zh) * 2015-07-17 2022-03-04 克朗设备公司 用于工业车辆的具有图形用户界面的处理设备
CN105005385A (zh) * 2015-07-20 2015-10-28 深圳前海智云谷科技有限公司 一种具有红外手势识别的车载电子装置及交互方法
US9886086B2 (en) * 2015-08-21 2018-02-06 Verizon Patent And Licensing Inc. Gesture-based reorientation and navigation of a virtual reality (VR) interface
CN106933462B (zh) * 2015-12-30 2020-05-08 阿里巴巴集团控股有限公司 一种移动终端的操作栏排布方法和装置
CN105609564B (zh) * 2016-03-14 2018-12-25 京东方科技集团股份有限公司 一种薄膜晶体管制造方法及薄膜晶体管
GB2539329A (en) * 2016-06-03 2016-12-14 Daimler Ag Method for operating a vehicle, in particular a passenger vehicle
EP3372435B1 (de) * 2017-03-06 2019-08-07 Volkswagen Aktiengesellschaft Verfahren und bediensystem zum bereitstellen einer bedienschnittstelle
DE102017216527A1 (de) * 2017-09-19 2019-03-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Anzeigen von Informationspunkten auf einer digitalen Landkarte
CN107659637B (zh) * 2017-09-21 2020-08-04 广州酷狗计算机科技有限公司 音效设置方法、装置、存储介质以及终端
CN108983967A (zh) * 2018-06-20 2018-12-11 网易（杭州）网络有限公司 Vr场景中的信息处理方法、装置、存储介质及电子设备
WO2020003914A1 (ja) * 2018-06-26 2020-01-02 京セラ株式会社 電子機器、移動体、プログラムおよび制御方法
WO2020018592A1 (en) 2018-07-17 2020-01-23 Methodical Mind, Llc. Graphical user interface system
DE102018214784A1 (de) * 2018-08-30 2020-03-05 Audi Ag Verfahren zum Darstellen mindestens eines Zusatzanzeigeinhalts
FR3086420B1 (fr) * 2018-09-21 2020-12-04 Psa Automobiles Sa Procede de commande d’un systeme embarque
JP2020055348A (ja) * 2018-09-28 2020-04-09 本田技研工業株式会社 エージェント装置、エージェント制御方法、およびプログラム
JP7252866B2 (ja) * 2019-09-10 2023-04-05 株式会社東海理化電機製作所 制御装置、制御方法、及びプログラム
CN111651108B (zh) * 2019-11-05 2022-03-18 摩登汽车有限公司 终端显示屏Dock栏的控制系统、方法及汽车
US20210278962A1 (en) * 2020-03-05 2021-09-09 Kabushiki Kaisha Tokai Rika Denki Seisakusho Operation input device, control device, non-transitory storage medium
WO2022147158A1 (en) * 2020-12-31 2022-07-07 Snap Inc. Communication interface with haptic feedback response
US20220317773A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Real-time communication interface with haptic and audio feedback response
US20220317774A1 (en) * 2021-03-31 2022-10-06 Snap Inc. Real-time communication interface with haptic and audio feedback response
KR20230109201A (ko) * 2022-01-12 2023-07-20 현대모비스 주식회사 적어도 하나의 센서를 이용하여 사용자 위치를 인식하는 방법 및 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156257A (ja) * 2003-11-21 2005-06-16 Calsonic Kansei Corp 車両用入力装置
JP2008040596A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2010127784A (ja) * 2008-11-27 2010-06-10 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよび記録媒体
WO2010064387A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2012009009A (ja) * 2010-05-28 2012-01-12 Panasonic Corp 情報端末、画面部品表示方法、プログラム、及び記録媒体
WO2012128361A1 (ja) * 2011-03-23 2012-09-27 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
JP2013093021A (ja) * 2011-10-03 2013-05-16 Kyocera Corp 装置、方法、及びプログラム
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7643917B2 (en) * 2004-08-26 2010-01-05 Harman Becker Automotive Systems Gmbh Vehicle multimedia system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8432372B2 (en) * 2007-11-30 2013-04-30 Microsoft Corporation User input using proximity sensing
US8266550B1 (en) * 2008-05-28 2012-09-11 Google Inc. Parallax panning of mobile device desktop
KR101613555B1 (ko) * 2009-10-26 2016-04-19 엘지전자 주식회사 이동 단말기
JP5702540B2 (ja) 2010-02-18 2015-04-15 ローム株式会社 タッチパネル入力装置
US20130154959A1 (en) * 2011-12-20 2013-06-20 Research In Motion Limited System and method for controlling an electronic device
US9141259B2 (en) * 2013-01-21 2015-09-22 International Business Machines Corporation Pressure navigation on a touch sensitive user interface

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005156257A (ja) * 2003-11-21 2005-06-16 Calsonic Kansei Corp 車両用入力装置
JP2008040596A (ja) * 2006-08-02 2008-02-21 Mazda Motor Corp 車両用情報表示装置
JP2010127784A (ja) * 2008-11-27 2010-06-10 Pioneer Electronic Corp 表示装置、表示方法、表示プログラムおよび記録媒体
WO2010064387A1 (ja) * 2008-12-04 2010-06-10 三菱電機株式会社 表示入力装置
JP2011198210A (ja) * 2010-03-23 2011-10-06 Aisin Aw Co Ltd 表示装置、表示方法、及び表示プログラム
JP2012009009A (ja) * 2010-05-28 2012-01-12 Panasonic Corp 情報端末、画面部品表示方法、プログラム、及び記録媒体
WO2012128361A1 (ja) * 2011-03-23 2012-09-27 京セラ株式会社 電子機器、操作制御方法および操作制御プログラム
JP2013093021A (ja) * 2011-10-03 2013-05-16 Kyocera Corp 装置、方法、及びプログラム
JP2013096736A (ja) * 2011-10-28 2013-05-20 Denso Corp 車両用表示装置

Also Published As

Publication number Publication date
WO2015001875A1 (ja) 2015-01-08
CN105027062A (zh) 2015-11-04
EP3018568A4 (en) 2017-04-19
EP3018568A1 (en) 2016-05-11
US20180232057A1 (en) 2018-08-16
JP6113281B2 (ja) 2017-04-12
US20160004322A1 (en) 2016-01-07

Similar Documents

Publication Publication Date Title
JP6113281B2 (ja) 情報処理装置
US10579252B2 (en) Automotive touchscreen with simulated texture for the visually impaired
US9103691B2 (en) Multimode user interface of a driver assistance system for inputting and presentation of information
KR101561917B1 (ko) 차량 제어 장치 및 그 제어 방법
JP6315456B2 (ja) タッチパネル式の車両用情報表示装置
US10466800B2 (en) Vehicle information processing device
US9703472B2 (en) Method and system for operating console with touch screen
EP3299951A2 (en) Light-based touch controls on a steering wheel and dashboard
US11625145B2 (en) Automotive touchscreen with simulated texture for the visually impaired
WO2009128148A1 (ja) 遠隔操作装置
CN106687905B (zh) 触感控制系统及触感控制方法
JP2007042029A (ja) 表示装置およびプログラム
JP6177660B2 (ja) 入力装置
WO2016038677A1 (ja) 触感制御システムおよび触感制御方法
JP2008129689A (ja) タッチパネルを備えた入力装置、その入力受付方法
US20170010804A1 (en) Vehicle and control method for the vehicle
JP6009583B2 (ja) 電子機器
US10052955B2 (en) Method for providing an operating device in a vehicle and operating device
KR101422060B1 (ko) 터치패드를 이용한 차량용 정보 표시 장치 및 방법, 그 정보 입력 모듈
JP2014182808A (ja) タッチスクリーンユーザインターフェースのナビゲーション制御
KR101875626B1 (ko) 차량 제어 안내 장치 및 방법
JP7094175B2 (ja) 入力装置
Osswald Natural Interaction with automotive HMI

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20160830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161129

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20161205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170314

R150 Certificate of patent or registration of utility model

Ref document number: 6113281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250