JP4805279B2 - 移動体用入力装置、及び方法 - Google Patents

移動体用入力装置、及び方法 Download PDF

Info

Publication number
JP4805279B2
JP4805279B2 JP2007550167A JP2007550167A JP4805279B2 JP 4805279 B2 JP4805279 B2 JP 4805279B2 JP 2007550167 A JP2007550167 A JP 2007550167A JP 2007550167 A JP2007550167 A JP 2007550167A JP 4805279 B2 JP4805279 B2 JP 4805279B2
Authority
JP
Japan
Prior art keywords
item
voice
input
execution
display content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007550167A
Other languages
English (en)
Other versions
JPWO2007069573A1 (ja
Inventor
卓哉 平井
敦士 山下
智裕 寺田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2007550167A priority Critical patent/JP4805279B2/ja
Publication of JPWO2007069573A1 publication Critical patent/JPWO2007069573A1/ja
Application granted granted Critical
Publication of JP4805279B2 publication Critical patent/JP4805279B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B60R16/0373—Voice control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3611—Destination input or retrieval using character input or menus, e.g. menus of POIs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895—Guidance during keyboard input operation, e.g. prompting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/195—Blocking or enabling display functions

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、移動体に設置された機器の入力操作に関し、より特定的には、ユーザによるメニュー各項目の選択により、所定の動作を実行する移動体用入力装置、及び方法に関する。
移動体に設置される機器は、特に、運転の安全性の面から、走行中であるか停車中であるかにより操作項目を制限している場合がある。例えば、車両に搭載されるカーナビゲーション装置においては、自車を目的地まで誘導するナビゲーション機能のみでなく、ＣＤ、ＤＶＤ、ＨＤＤ等の様々なメディアを用いた音楽ファイルの再生等の多機能化が進んでいるため、様々な機能がひとつの機器に集約されている。
これらの機能のメニューは、階層化して表示されることが一般的であり、その多機能性からメニューの階層も深く、複雑になってきている。図１９に示すような表示によって、ユーザはメニュー階層をリモコンやタッチパネル等の入力部を用いて、各ボタンを押しながら階層を辿ることで機器を操作するのが一例である。この操作を運転中に行うことは、ハンドル操作がおろそかになる等の安全性の面から一部の機能のみが利用可能な構成となっている。
図２０に示すように、ほとんどの機能は、ボタンをトーンダウン表示することで操作ができない旨をユーザに提示し、入力をしても機能が実行できないように制限されている。例えば、赤信号によって車が停止している状態でメニュー階層をたどっていた場合、青信号になって自車を走行させたときには、次に停車するときまで続きが入力できないようになっている。また、カーナビゲーションという機器の特徴から、走行中と判定するとメニュー操作画面を終了後、地図画面に遷移してしまい、次に停車したときには、メニュー操作を最初から要求する場合もある。
従来の移動体用入力装置は、メニュー階層をたどっている途中に走行判定部によって走行中と判定された場合、所定の操作をすることによって、自車がある決まった速度と判定されたときに、前回のメニュー操作の続きが前回の操作履歴を残しつつ入力できるものがある。（例えば、特許文献１参照）。他には、走行中でも機器操作が可能な音声入力部を備えたものがある。これは、音声認識用の辞書に登録された専用コマンドをユーザが発話することで、機能を実行するというものである。この方法を用いることで、ユーザはハンドルから手を離すことなく安全に操作ができるようになる。しかし、音声認識の専用コマンドは数百にもわたり、それら全てをユーザが記憶するというのは不可能であり、その都度、取扱説明書を開いて専用コマンドを探すのは現実的ではない。また、音声認識用のヘルプ画面を表示する事で、一部の専用コマンドをユーザが知ることもできるが、必ずしもユーザが所望している機能を実行できるとは限らない。さらに、メニュー階層をリモコンやタッチパネル等を使ってたどり、最終的にコマンドを実行する際に、音声認識用の専用コマンド名をユーザに報知することで、音声入力の利用促進をはかったものもある。（例えば、特許文献２参照）
特開２００５−４９１１０号公報 特開２００１−２１６１２９号公報
上記特許文献１では、メニュー階層をたどるという操作を、前回停車時に操作していたメニューの上位階層を提示することで、次に停車した場合においても継続して操作ができるように表示するものであるが、ある決まった速度まで落とさない限り走行中と判定され、当該走行中においては前回停車したときの続きを入力することができなかった。つまり、基本的には、走行中に入力操作をすることはできず、根本的な解決はなされていない。
また、上記特許文献２では、リモコン、タッチパネル等を用いてメニュー階層をたどり、コマンドを実行する際に、ユーザに音声認識用の専用コマンド名を報知することで利用促進を図っている。しかし、ユーザがよく利用するコマンドで、数が少なければ記憶することもができるが、ユーザが実行したいコマンドを全て記憶するのは難しく、またユーザの知りたい音声認識用の専用コマンドを探す手間が掛かるという問題がある。
本発明は、上記問題に鑑みてなされた。すなわち、走行中であるか停車中であるかの区別なく、安全にメニュー階層等をたどることができ、簡易に機器が操作できる移動体用入力装置を提供することを目的とする。
本発明の第１の局面は、移動体入力装置に向けられている。本発明は、手操作、及び音声による入力を受け付ける入力部と、移動体の走行状態を判定する走行状態判定部と、走行状態判定部により判定された走行状態において、前記入力部が受け付ける入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定部と、項目実行可否判定部による判定に従い、手操作による実行可否、及び音声による実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成部と、表示内容作成部により作成された表示態様で項目それぞれを表示する表示部とを備える。
また、入力部が受け付けた入力の実行可否を決定する実行項目決定部を更に備え、表示内容作成部は、前記実行項目決定部により決定された内容に従い、入力部による入力操作の操作結果を作成し、表示部は、表示内容作成部により作成された操作結果を表示することが好ましい。
また、項目実行可否判定部は、項目が機能的に実行不可能なときは、手操作、又は音声入力かにかかわらず実行不可能であると判定することが好ましい。
また、表示内容作成部は、音声による操作のみが可能な項目と手操作、及び音声による操作が可能な項目とが区別可能な表示態様を作成することが好ましい。
また、表示内容作成部は、音声操作により項目が実行可能であることを、前記項目の文字部分を強調する表示態様で表示内容を作成することが好ましい。
また、表示内容作成部は手操作、音声操作により項目が実行可能であることを、各操作のシンボルマークを使って表示内容を作成することが好ましい。
また、表示内容作成部は音声操作により項目が実行可能であることを項目名称のふりがなを使って表示態様を作成することが好ましい。
また、表示内容作成部は、項目が音声による操作のみが可能である場合、及び手操作と音声双方による操作が可能である場合と、手操作と音声による操作の両方が不可能である場合とを区別可能な表示態様を作成することが好ましい。
また、表示内容作成部は、手操作と音声操作双方による項目選択が可能である場合は立体的に項目を表示する表示態様を、又は音声操作のみ項目選択が可能である場合は２次元的に表示する表示態様を、又は手操作と音声操作の両方とも項目選択が不可能である場合はトーンダウン、且つ２次元的に表示する表示態様を作成することが好ましい。
また、表示内容作成部は、音声操作による選択のみ項目選択が可能な項目を手操作により選択された場合、前記項目が音声による操作のみ可能であることを示す表示内容を強調表示する表示態様で作成することが好ましい。
また、表示内容作成部は、前記項目が音声による操作のみ可能であることを、前記項目の項目名称を強調表示、又は発話語彙若しくは項目名称を含むポップアップで表示する表示態様で作成することが好ましい。
また、実行項目決定部は、音声操作による項目選択が不可能であった場合、音声操作用辞書内の前記項目に対応する語彙を音声認識処理の検索対象外とすることが好ましい。
また、表示内容作成部は、音声操作で使用された語彙、及び／又は手操作にて選択された項目の語彙を履歴として表示する表示内容を作成することが好ましい。
本発明の第２の局面は、移動体入力方法に向けられている。本発明は、手操作、及び音声による入力を受け付ける入力ステップと、移動体の走行状態を判定する走行状態判定ステップと、前記走行状態判定ステップにより判定された走行状態において、前記入力ステップで受け付けた入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定ステップと、項目実行可否判定ステップによる判定に従い、手操作による実行可否、及び音声による項目操作の実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成ステップと、表示内容作成ステップにより作成された表示態様でそれぞれの項目を表示する表示ステップとを備える。
以上説明したように、本発明の各局面によれば、走行中であるか停車中であるかに関わらず、操作できる項目が音声操作であるか手操作であるかを予めユーザに提示することで、現在の状況で操作可能な項目と操作方法が何であるかが分かり、音声操作と手操作を区別することなく入力操作をすることが可能な移動体用入力装置を提供することができる。
以下に、図面を参照して、本発明の実施の形態に係る移動体用入力装置について説明する。なお、各図面においては視認性を考慮して、本発明の実施に特に重要でない要素は割愛されている。
図１は本発明の移動体用入力装置の概略構成を示すブロック図である。本入力装置は、入力部１００と走行状態取得部２００と制御部３００と表示部４００と実行部５００で構成される。
入力部１００は、例えば、走行中でも操作が可能な代表例としての音声による入力操作を受け付けるマイクロフォン、及び走行中は操作不可能な代表例としての手の接触による入力操作を受け付けるタッチパネルである。なお、本実施の形態では、手による入力操作に関しては、特に２次元座標を入力するタッチパネルでの入力を想定しているが、リモコン等による入力でもよい。
走行状態取得部２００は本発明の装置が搭載されている移動体（本実施の形態においては自動車とし、自車と呼ぶ）が走行状態にあることを制御部３００に入力するためのものである。その方法としては、車速パルス情報が入力されてもよいし、ＧＰステップＳ信号が入力されてもよい。また、停車状態ではないことを知らせるためにサイドブレーキが引かれている状態、もしくはギアがパーキング状態になっているかどうかが入力されてもよい。
表示部４００は、カーナビゲーションやオーディオ等の状態を表示する装置であって、液晶ディスプレイ、有機ＥＬ、ＣＲＴモニター、プロジェクターから投影された映像を表示する、例えば、スクリーン、ヘッドアップディスプレイである。
制御部３００は走行状態判定部６００と機能論理判定部７００と項目実行可否判定部８００と実行項目決定部９００と表示内容作成部１０００とからなる。各々の詳細を次に説明する。
走行状態判定部６００は、走行状態取得部２００より、信号を受け取り、自車が走行状態にあるかどうかを判断する。走行状態取得部２００からの信号が車速パルスであった場合、その車速パルスがある基準値を境に、基準値以上であれば走行状態を「走行中」と判定し、基準値未満であれば走行状態を「停車中」と判定する。その結果を項目実行可否判定部８００に出力する。
機能論理判定部７００は、メニューを構成する項目が、機能的に実行可能かどうかを判定する処理を行う。例えば、カーナビゲーションにおいて、目的地までの経路案内をしていない場合、機能論理判定部７００は、「案内中止」という項目を機能的に実行不可能状態と判定し、機能論理判定フラグを「実行不可能」と立てる。このような機能論理判定フラグを各項目に対して立て、項目実行可否判定部８００に出力する。
項目実行可否判定部８００は、走行状態判定部６００から走行状態が付与された項目を受け取り、機能論理判定部７００から機能論理判定フラグが付与された項目を受け取る。これらから、各項目が実行可能であるか、不可能であるかを示す項目実行可否フラグを全ての項目に対して付与する処理を行う。
実行項目決定部９００は、入力部１００からの信号と、項目実行可否判定部８００から項目実行可否フラグを受け取り、これら受け取った情報を元に、最終的に項目の実行可否を判定し、実行部５００と表示内容作成部１０００に情報を出力する。
表示内容作成部１０００は、メニューを構成する項目が実行可能か不可能かをユーザに提示する内容を作成するもので、作成した内容を表示部４００に出力する。表示内容の作成は、入力部１００からの信号によって表示内容を作成する場合と、入力部１００からの信号に関係なく、項目実行可否判定部８００からの情報から作成する場合がある。詳しくは、後述する。
次に、図２を用いて、項目実行可否判定部８００の処理の流れを示す。まず、項目実行可否判定部８００は、機能論理判定部７００から受け取った機能論理判定フラグを確認する（ステップＳ８０１）。
ステップＳ８０１において、項目実行可否判定部８００は、「実行不可能」とフラグが立っていた場合、いかなる入力に対しても項目実行は不可能であるという意味で、その項目に対しては、項目実行可否フラグに「項目実行不可」というフラグを立てる処理を行う（ステップＳ８１２）。一方、ステップＳ８０１において、項目実行可否判定部８００は、「実行可能」フラグを機能論理判定部７００から受け取った場合、対象の項目に対して、走行強制フラグを保持しているかを判定する（ステップＳ８０２）。走行強制フラグとは、停車中か走行中かによって項目実行が可能か不可能かを決定する項目に付与している。例えば、カーナビゲーションにおいては、「自宅に帰る」という項目はワンボタンで実行可能なため、走行中であるか停車中であるかに関係なく実行できる。このような項目の場合、走行強制フラグが付与されていない。
ステップＳ８０２において、項目実行可否判定部８００は、走行強制フラグが立っていない場合、項目実行可否フラグを、いかなる入力に対しても実行可能であるという意味で、その項目に対しては「項目実行可」というフラグを立てる処理を行う（ステップＳ８１０）。一方、ステップＳ８０２において、項目実行可否判定部８００は、走行強制フラグが立っている場合、走行状態を確認する（ステップＳ８０３）。
ステップＳ８０３において、項目実行可否判定部８００は、走行状態判定部６００から受け取った走行状態を参照し、「停車中」であれば、ステップＳ８１０に処理を進める。一方、ステップＳ８０３において、項目実行可否判定部８００は、走行状態判定部６００から受け取った走行状態を参照し、走行状態が「走行中」であれば、項目実行は音声のみ実行可能であるという意味で、項目実行可否フラグに「音声のみ項目実行可」と立てる処理を行う（ステップＳ８１１）。
ステップＳ８１０、ステップＳ８１１、ステップＳ８１２にて項目実行可否フラグが立てられたら、項目実行可否判定部８００は、全ての項目について項目実行可否フラグが付与されたかどうかを判定する（ステップＳ８２０）。
ステップＳ８２０において、付与されていないと判定された場合、項目実行可否判定部８００は、ステップＳ８０１に処理を戻し、付与されたと判定された場合処理を終了する。この項目実行可否フラグを実行項目決定部９００と表示内容作成部１０００に出力する。
ここで、本実施の形態の説明の便宜上、図１を図３と図４に分けて説明する。図３は、図１の項目実行可否判定部８００が直接、表示内容作成部１０００に出力しない場合のブロック図であり、入力部１００からの入力が実行項目決定部９００に入り、主に入力部１００からの信号によって表示内容作成部１０００が作成する表示内容を説明するための図である。図４は図１の入力部１００と実行項目決定部９００と実行部５００を除いたものであり、入力部１００からの信号に関係なく、表示内容作成部１０００が作成する表示内容を説明するためのブロック図である。
まず、図３について説明する。実行項目決定部９００は、入力部１００からの信号と、項目実行可否判定部８００から項目実行可否フラグを受け取る。また、入力部１００からの信号は、手操作による入力であれば、タッチパネルの接触位置座標が入力され、音声操作による入力であれば音声信号が入力される。また本実施の形態では手操作の対象機器としてタッチパネルを想定しているが、リモコンや機器周辺に付属しているエスカッションスイッチとしても、それらのスイッチが押下されたことによって、どの項目を選択したかを入力部１００からの出力として実行項目決定部９００に渡してもよい。受け取った情報を元に、最終実行項目可否フラグを立て、この情報を実行部５００に出力し、表示内容作成部１０００には項目可否判定フラグと選択された項目の情報を出力する。
入力部１００からの入力が手操作による場合についての実行項目決定部９００の処理の流れについて、図５ａを用いて説明する。
ステップＳ９０１ａで入力された接触位置の座標から、実行項目決定部９００は、接触位置座標に対応した項目を抽出する。ステップＳ９０２ａで抽出された項目に対して、実行項目決定部９００は、項目実行可否フラグの３種類（「項目実行可」、「項目実行不可」、「音声のみ項目実行可」）のうち、どのフラグかを判定する。接触位置が「項目実行不可」「音声のみ項目実行可」のフラグが立っている項目に対応する位置だった場合、実行項目決定部９００は、その項目は実行しない。この場合、実行項目決定部９００は、最終実行項目可否フラグを「項目実行不能」とし（ステップＳ９０４ａ）、処理を終了する（ステップＳ９０５ａ）。また、接触位置が「項目実行可」のフラグが立っている項目に対応する位置だった場合、実行項目決定部９００は、最終実行項目可否フラグを「項目実行」とし（ステップＳ９０３ａ）、処理を終了する（ステップＳ９０５ａ）。実行部５００は、最終実行項目可否フラグに基づいて、入力部１００によって選択された項目を実行処理する。表示内容作成部１０００は、入力部１００によって選択された項目と、その接触位置と、項目実行可否フラグが入力され、表示内容を作成し、表示部４００に出力する。
表示内容作成部１０００について、項目実行可否フラグとして「項目実行可」が入力された場合を説明する。この場合、選択された項目を実行するため、選択された項目をトーンアップして、次の階層画面に遷移するか、最終的な機能を実行するための画面に遷移する。最終的な機能というのは、メニュー階層の末端にある項目のことを指し、所定の機能を実行する項目である。例えば、カーナビゲーションの場合、「行き先」→「周辺検索」→「コンビニ」→「経由地設定」という階層メニューのとき、「経由地設定」というのはコマンドとなり、機能としては、現在地周辺のコンビニを検索し、経由地として設定する機能である。
表示内容作成部１０００が、項目実行可否フラグとして「項目実行不可」を入力された場合について説明する。この場合、選択された項目は機能的に実行できないため、その旨をユーザにフィードバックする表示内容を作成する。ここで、図６を参照する。例えば、経路案内をしていないときに、”案内中止“という項目１０３０が選択されたとする。その場合、「項目実行不可」というフラグが”案内中止“という項目１０３０に付加されているため、経路を案内しているときに使用する旨をポップアップ１０３１（新しく表示領域を作成し、その中に注意喚起等の内容を表示させるもの）を用いてフィードバックする表示をする。なお、入力待機状態等のＣＰＵが処理中でいかなる入力も一時的に受け付けない場合も同様に、その旨をユーザにフィードバックする表示をする。これにより、ユーザは間違った項目を選択したこと、又は、入力待機状態であることに気付く。またこのときに、接触位置を考慮して、選択した項目から吹き出しの表示形状を作成して、選択項目を明示してもよい。さらに、輝度や色調、フォント、文字の大きさを変更して、選択された項目１０３０を強調表示してもよい。
項目実行可否フラグが「音声操作のみ実行可能」の場合について説明する。この場合、音声操作による入力しか受け付けないため、項目を実行できない。つまり、音声入力であれば項目を実行することができるため、その旨をユーザにフィードバックする表示内容を作成する。図７を参照して、さらに説明する。例えば、ユーザが走行中に経由地を設定するために、「経由地」という項目１０３３を選択したとする。この場合、「経由地」という項目１０３３は音声操作による入力のみを受け付けるので、手操作を禁止していることを吹き出し１０３４を用いて伝え、さらに音声による入力を促す。このときに、音声入力の発話語彙を伝える。これにより、ユーザはどのように項目を音声で入力してよいかが分かり、音声操作に簡単に切り替えられる。また、発話語彙の部分だけフォントを大きくしたり、カギ括弧で発話語彙をくくったり、ふりがなをふったりすることで、他の文字列に埋もれることなく、視認性よく発話語彙だけを見つけることができる。また、接触位置を考慮して、選択された項目から吹き出しているような表示形状を作成することで、どの項目をユーザが選択したかを再確認できる。図８に示す例は、吹き出しではなく、選択された項目１０３５自体が強調表示される例である。選択された項目が発話による入力のみを受け付けることを示すアイコン１０２１を表示作成する。これにより、発話語彙以外の文字列を表示しないため、運転中のユーザに多くの文字を読ませることなく安全に操作でき、かつ、アイコンを表示することで、発話による入力しか項目を選択できない旨をユーザにフィードバックすることができる。また、「経由地」という文字列を項目１０３５に記載されている文字列と項目の色との差をはっきりさせることで読みやすくなる。また、ふりがなをふることで強調表示し、ユーザに発話による入力を誘導するようにしてもよい。
入力部１００からの入力が音声操作による場合の実行項目決定部９００の処理について、基本的な処理の流れを図５ｂを用いて説明する。実行項目決定部９００は、ステップＳ９０１ｂで入力された発話語彙について音声認識処理を行い、あらかじめ用意されている辞書内のどの語彙に該当するかの処理を行う。ここでの音声認識処理には、現在一般に普及している確率統計モデルを用いた隠れマルコフモデル（ＨＭＭ）等を適用する。また、音声認識処理には、複数の発話語彙を認識し、それらを区別して音声認識が可能になる連続音声認識処理を適用してもよい。この連続認識処理技術も既に公知の技術を用いることとする。次に、実行項目決定部９００は、該当した発話語彙がどの項目を指すかを抽出する（ステップＳ９０２ｂ）。
ステップＳ９０１ｂの音声認識処理とステップＳ９０２ｂの項目抽出の部分のブロック図を示した図１８を用いてさらに詳しく説明する。音声認識部９１０は、入力部１００から発話語彙を受け取る。受け取った発話語彙は発話語彙決定部９１１に渡され、辞書格納部９１２内に格納されている語彙とのマッチングを行い、一番もっともらしい語彙を発話語彙及び項目間関連抽出部９２０に出力する。次に、発話語彙及び項目決定部９２１は、入力された発話語彙がどの項目に対応するかを、発話語彙及び項目間関連度格納部９２２を参照し、発話語彙が指す項目を決定し、処理を終了する。該当する項目を抽出したら、その項目の項目実行可否フラグを参照し、「項目実行可」もしくは「音声のみ項目実行可」であれば、最終項目実行可否フラグを「項目実行」とし、「項目実行不可」であれば最終項目実行可否フラグを「項目実行不能」とし、処理を終了する。また、図５ｃに示すように、先に各項目に対して、項目実行可否フラグを抽出しておき、「項目実行不可」の項目に対応する語彙をステップＳ９０２ｃで、マッチング対象から外すために、認識対象外フラグを立てる処理を入れる。
これにより、発話語彙決定部９１１が辞書格納部９１２に格納されている語彙と発話語彙とのマッチングをする前に、認識対象外フラグが立っているかどうかを確認して、フラグが立っていない辞書格納部９１２に格納されている語彙に対して、マッチングを行う処理が追加される。こうすることで、マッチングする際に、音声認識の対象となる語彙が減少することや、認識語彙の音素パターンが近い語彙どうしが共存していた場合等で、片方が削除された場合、もう一方の語彙の認識率が向上する等の効果がある。実行部５００は実行項目決定部９００から選択された項目の最終項目実行可否フラグに基づいて、実行処理をする。
次に、項目実行可否フラグが「項目実行可」と「音声のみ項目実行可」であった場合について図９ａおよび図９ｂを用いて画面表示に関して詳しく説明する。表示内容作成部１０００は選択された項目と、項目実行可否フラグを受け取り、表示内容を作成し、表示部４００に作成した内容を出力する。図９ａは音声入力前の画面表示である。あらかじめ、発話した語彙が文字として表示される発話語彙表示部１０１０を設けておく。ユーザによって発話された場合、発話語彙表示部１０１０に音声認識処理をした結果を表示する。ここで、「周辺施設」と発話された場合、発話語彙表示部１０１０に「周辺施設」と表示し、次の画面に遷移する。なお、次の画面に遷移したときに発話語彙表示部１０１０に「周辺施設」と初めて表示してもよい。また図９ｂに示すように、項目が選択された時点で、その項目を強調表示し、選択されたことをユーザに提示することで、ユーザは実行項目を確認することができる。次に、図１０に示すように、「周辺施設」以下の階層に画面遷移し、続いて「ガソリンスタンド」と発話し、音声認識処理にて認識された語彙が「ガソリンスタンド」となった場合、発話語彙表示部１０１０には、「ガソリンスタンド」を表示する。この際、図１１に示すように、ユーザが今まで発話した語彙を履歴として残しつつ、「ガソリンスタンド」を表示してもよい。履歴を残すことで、ユーザが今まで辿ってきた階層を確認することができる。これに
より、ユーザが操作途中で運転に集中する場合が生じたときに、後で操作するような場合、続きの操作がスムーズに行える。
次に、項目実行可否フラグが「項目実行不可」の場合について説明する。この場合、機能的に項目実行が不可能であるため、手操作による入力の場合と同様とする。ただし、接触位置座標については、音声操作の場合はないため、代替として項目の情報としてあらかじめ保持している、項目ごとの座標情報を使用する。
ここで、図４を用いて、項目実行可否判定部８００から項目実行可否フラグが付いた項目を情報として受け取り、表示内容作成部１０００で作成する表示内容について説明する。図１２、図１３、図１４、図１５、図１６、図１７はそれぞれ、項目可否判定フラグが「項目実行可」、「項目実行不可」、「音声のみ項目実行可」の項目が全て入っている場合であり、”自宅”という項目１００１は「項目実行可」、”経由地”、”電話番号”、”周辺施設”、”登録地点”という項目１００２、項目１００３、項目１００４、項目１００５は「音声のみ項目実行可」、”案内中止”という項目１００６は「項目実行不可」のフラグが立っている。
図１２は、音声操作による項目実行が可能である項目１００１、１００２、１００３、１００４、１００５の項目名をカギ括弧でくくることで示し、手操作による項目実行が不可能である項目１００２、１００３、１００４、１００５をトーンダウンした状態で表した場合である。項目名をカギ括弧でくくることによって発話可能状態を示しているので、煩雑な表示をしなくても音声による可能な状態をユーザに提示することができ、かつ、表示されている文字列を発話することで項目を選択できるというヒントを与えることができる。
図１３は、音声操作と手操作による項目実行が可能である旨を、シンボルマーク１０２０、１０２１で示した場合である。項目実行が不可能である場合は、シンボルマーク上にバツ印を追加したシンボルマーク１０２２、１０２３を表示した例である。この場合、項目自体の意匠を変えずに項目より小さいシンボルマークを追加するだけでよい。この場合、項目の色調処理をトーンダウンする色調処理した場合に比べ、バツ印を加えた方が処理も軽く、別途トーンダウンした項目と変更する場合に比べても、項目よりシンボルマークのほうが小さいため、データ容量も小さくできる。また、ユーザはバツが付いているシンボルマークに対しては、入力無効であることが直感的にわかりやすい。なお、シンボルマークにバツ印を付ける以外に、シンボルマーク自体を表示しない場合や、シンボルマークをトーンダウンするといった場合も想定できる。
図１４は、音声操作による項目実行が可能であることを項目１００１、１００２、１００３、１００４、１００５の項目名にふりがなをふることで示し、手操作による項目実行が不可能である旨を、項目をトーンダウンした状態で表した場合である。この場合、解像度の低い表示装置を使用していた場合、画数の多い漢字で項目名を表記した場合、視認性が悪くなる。そこで、発話可能であるという旨を伝えると同時に、項目名が読みやすくなるという効果が考えられる。
図１５は、音声操作のみ操作可能である項目１００２、１００３、１００４、１００５は、手操作による項目実行が不可能なである旨をトーンダウンで示し、発話可能である項目名周辺をトーンダウンせずに表示した例である。これにより、発話可能な項目名だけトーンダウンしていないため、ユーザは項目名が読みやすくなり、項目名を読んで発話するユーザにとっても、なんら入力を妨げない。また、音声操作及び手操作による項目実行が不可能な項目１００６に対しては、項目名もトーンダウンすることで、項目名が読みにくくなり、心理的にも発話しにくい状態にしている。
図１６は、音声操作及び手操作による項目実行が可能である項目１００１と、音声操作のみ項目実行が可能な項目１００２、１００３、１００４、１００５と、項目実行不可能な項目１００６に対して、それぞれ固有の色を割り当てた場合を表した例である。この場合、ユーザは視認性よく各項目の状態を確認することができる。
図１７は、音声操作及び手操作による項目実行が可能である項目１００１は、立体的に項目を表示し、音声操作のみ操作可能である項目１００２、１００３、１００４、１００５は、２次元的に項目を表示し、項目実行不可能な項目１００６に対しては、２次元的に表示しながらトーンダウンして表示する。これにより、手操作による項目実行が不可能である項目が分かりやすく、かつ項目実行が不可能であることも、トーンダウンしているため全く項目が実行できないことが、更に分かりやすくなっている。なお、図１２から図１７で示した例を組み合わせて表示してもよい。
上記実施の形態で説明した構成は、単に具体例を示すものであり、本願発明の技術的範囲を制限するものではない。本願の効果を奏する範囲において、任意の構成を採用することが可能である。
以上のように、本発明に係る移動体用入力装置は、走行中であるか停車中であるかによって操作できる項目が、音声操作であるか手操作であるかをあらかじめユーザに提示することができるので、特に移動体に搭載され、階層的に構成されるメニューにおいて、入力操作する機器等に有用である。
本発明の実施形態の構成を示すブロック図 メニュー内の項目が操作可能かどうかを判断する流れをあらわすフローチャート 本発明一実施の形態の入力部が関与した場合の構成を示すブロック図 本発明の実施形態の入力部が関与していない場合の構成を示すブロック図 手による操作によって、項目選択がなされた場合、項目実行が可能かどうかをあらわす動作フローチャート 音声による操作によって、項目選択がなされた場合、項目実行が可能かどうかをあらわす動作フローチャート 音声による操作によって、項目実行が不可能な場合、先に音声認識用辞書から項目に関連する語彙をはずす処理をあらわす動作フローチャート 項目実行不可であるときの表示内容の一例を示した図 音声による操作でのみ項目選択が可能である項目を、手による操作で項目選択を行った場合の一例を示した図 音声による操作でのみ項目選択が可能である項目を、手による操作で項目選択を行った場合の一例を示した図 音声による操作入力前の画面の一例を示した図 音声による操作で項目が選択された場合に、項目が強調表示された一例を示した図 音声による操作で、発話された語彙が表示された場合の一例を示した図 音声による操作で、発話された語彙が表示された場合の一例を示した図 音声による操作で項目選択可能な項目の表示内容の一例を示した図 音声による操作と手による操作によって、項目選択が可能かどうかの表示内容の一例を示した図 音声による操作と手による操作によって、項目選択が可能かどうかの表示内容の一例を示した図 音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図 音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図 音声による操作で項目選択が可能で、手による操作で項目選択が不可能である場合と、音声と手による操作で項目選択が不可能である場合の表示内容の一例を示した図 音声による操作が、項目を選択するための構成を示すブロック図 従来の停車中の表示内容の一例を示した図 従来の走行中の表示内容の一例を示した図
符号の説明
１００ 入力部
２００ 走行状態取得部
３００ 制御部
４００ 表示部
５００ 実行部
６００ 走行状態判定部
７００ 機能論理判定部
８００ 項目実行可否判定部
９００ 実行項目決定部
９１０ 音声認識部
９１１ 発話語彙決定部
９１２ 辞書格納部
９２０ 発話語彙及び項目間関連抽出部
９２１ 発話語彙及び項目決定部
９２２ 発話語彙及び項目間関連度格納部
１０００ 表示内容作成部
１００１ 手操作と音声操作の両方とも項目実行可能な項目
１００２、１００３、１００４、１００５ 手操作のみ項目実行可能な項目
１００６ 手操作と音声操作の両方とも項目実行不可能な項目
１０１０ 発話語彙表示部
１０３０ 音声操作と手操作で実行できない項目
１０３１ 項目実行できないことを伝える吹き出し
１０３３ 音声でのみ操作可能な項目

Claims (14)

  1. 手操作、及び音声による入力を受け付ける入力部と、
    移動体の走行状態を判定する走行状態判定部と、
    前記走行状態判定部により判定された走行状態において、前記入力部が受け付ける入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定部と、
    前記項目実行可否判定部による判定に従い、手操作による実行可否、及び音声による実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成部と、
    前記表示内容作成部により作成された表示態様で項目それぞれを表示する表示部とを備える、移動体用入力装置。
  2. 前記入力部が受け付けた入力の実行可否を決定する実行項目決定部を更に備え、
    前記表示内容作成部は、前記実行項目決定部により決定された内容に従い、前記入力部による入力操作の操作結果を作成し、前記表示部は、前記表示内容作成部により作成された前記操作結果を表示することを特徴とする、請求項１に記載の移動体用入力装置。
  3. 前記項目実行可否判定部は、項目が機能的に実行不可能なときは、手操作、又は音声入力かにかかわらず実行不可能であると判定することを特徴とする、請求項１に記載の移動体用入力装置。
  4. 前記表示内容作成部は、音声による操作のみが可能な項目と手操作、及び音声による操作が可能な項目とが区別可能な表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
  5. 前記表示内容作成部は、音声操作により項目が実行可能であることを、前記項目の文字部分を強調する表示態様で表示内容を作成することを特徴とする、請求項４に記載の移動体用入力装置。
  6. 前記表示内容作成部は手操作、音声操作により項目が実行可能であることを、各操作のシンボルマークを使って表示内容を作成することを特徴とする、請求項４に記載の移動体用入力装置。
  7. 前記表示内容作成部は音声操作により項目が実行可能であることを項目名称のふりがなを使って表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
  8. 前記表示内容作成部は、項目が音声による操作のみが可能である場合、及び手操作と音声による操作が可能である場合と、手操作と音声による操作の両方が不可能である場合とを区別可能な表示態様を作成することを特徴とする、請求項１に記載の移動体用入力装置。
  9. 前記表示内容作成部は、手操作と音声操作双方による項目選択が可能である場合は立体的に項目を表示する表示態様を、音声操作のみ項目選択が可能である場合は２次元的に表示する表示態様を、手操作と音声操作の両方とも項目選択が不可能である場合はトーンダウンかつ２次元的に表示する表示態様を作成することを特徴とする、請求項８に記載の移動体用入力装置。
  10. 前記表示内容作成部は、音声操作による選択のみ項目選択が可能な項目を手操作により選択された場合、前記項目が音声による操作のみ可能であることを示す表示内容を強調表示する表示態様で作成することを特徴とする、請求項１に記載の移動体用入力装置。
  11. 前記表示内容作成部は、前記項目が音声による操作のみ可能であることを、前記項目の項目名称を強調表示、又は発話語彙若しくは項目名称を含むポップアップで表示する表示態様で作成することを特徴とする、請求項１０に記載の移動体用入力装置。
  12. 前記実行項目決定部は、音声操作による項目選択が不可能であった場合、音声操作用辞書内の前記項目に対応する語彙を音声認識処理の検索対象外とすることを特徴とする、請求項２に記載の移動体用入力装置。
  13. 前記表示内容作成部は、音声操作で使用された語彙、及び／又は手操作にて選択された項目の語彙を履歴として表示する表示内容を作成することを特徴とする、請求項２に記載の移動体用入力装置。
  14. 手操作、及び音声による入力を受け付ける入力ステップと、
    移動体の走行状態を判定する走行状態判定ステップと、
    前記走行状態判定ステップにより判定された走行状態において、前記入力ステップで受け付けた入力により操作する機能を示す項目それぞれの、手操作による実行可否、及び音声による実行可否を判定する項目実行可否判定ステップと、
    前記項目実行可否判定ステップによる判定に従い、手操作による実行可否、及び音声による項目操作の実行可否を区別可能に、項目それぞれの表示態様を作成する表示内容作成ステップと、
    前記表示内容作成ステップにより作成された表示態様でそれぞれの項目を表示する表示ステップとを備える、移動体用入力方法。
JP2007550167A 2005-12-16 2006-12-11 移動体用入力装置、及び方法 Expired - Fee Related JP4805279B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007550167A JP4805279B2 (ja) 2005-12-16 2006-12-11 移動体用入力装置、及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005363013 2005-12-16
JP2005363013 2005-12-16
PCT/JP2006/324692 WO2007069573A1 (ja) 2005-12-16 2006-12-11 移動体用入力装置、及び方法
JP2007550167A JP4805279B2 (ja) 2005-12-16 2006-12-11 移動体用入力装置、及び方法

Publications (2)

Publication Number Publication Date
JPWO2007069573A1 JPWO2007069573A1 (ja) 2009-05-21
JP4805279B2 true JP4805279B2 (ja) 2011-11-02

Family

ID=38162881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007550167A Expired - Fee Related JP4805279B2 (ja) 2005-12-16 2006-12-11 移動体用入力装置、及び方法

Country Status (5)

Country Link
US (1) US8280742B2 (ja)
EP (1) EP1961619B1 (ja)
JP (1) JP4805279B2 (ja)
CN (1) CN101331036B (ja)
WO (1) WO2007069573A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013256189A (ja) * 2012-06-12 2013-12-26 Denso Corp 車載端末
JP5602830B2 (ja) * 2010-03-04 2014-10-08 パナソニック株式会社 情報表示システムおよび情報表示装置
JP2014202857A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0615283A2 (pt) 2005-08-29 2011-05-17 Evryx Technologies Inc interatividade por meio de reconhecimento de imagem móvel
JP4811287B2 (ja) * 2007-01-31 2011-11-09 ブラザー工業株式会社 階層構造表示装置および階層構造表示プログラム
JP5219705B2 (ja) * 2008-09-12 2013-06-26 富士通テン株式会社 情報処理装置および情報処理方法
JP5032424B2 (ja) * 2008-09-16 2012-09-26 本田技研工業株式会社 車両運転支援装置
US8340870B2 (en) 2008-09-16 2012-12-25 Honda Motor Co., Ltd. Vehicle maneuver assistance device
DE112009002284T5 (de) * 2008-10-20 2012-01-19 Mitsubishi Electric Corp. Vorrichtung und System zum Unterstützen bei der Verwendung von Ausrüstung
JP5463922B2 (ja) 2010-01-12 2014-04-09 株式会社デンソー 車載機
US9232043B2 (en) * 2010-03-03 2016-01-05 Lg Electronics Inc. Mobile terminal and control method thereof
DE112010005944T5 (de) * 2010-10-19 2013-08-14 Mitsubishi Electric Corporation Stereoskopische Dreidimensionen-Anzeigevorichtung
FR2970356B1 (fr) * 2011-01-10 2013-07-26 Bouygues Telecom Sa Procede de regulation de l'acces a un ensemble d'applications et systeme pour la mise en oeuvre de ce procede
US9292112B2 (en) 2011-07-28 2016-03-22 Hewlett-Packard Development Company, L.P. Multimodal interface
WO2013022218A2 (en) * 2011-08-05 2013-02-14 Samsung Electronics Co., Ltd. Electronic apparatus and method for providing user interface thereof
EP3754997B1 (en) 2011-08-05 2023-08-30 Samsung Electronics Co., Ltd. Method for controlling electronic apparatus based on voice recognition and motion recognition, and electronic apparatus applying the same
DE112011105833B4 (de) * 2011-11-10 2019-07-04 Mitsubishi Electric Corp. Navigationsvorrichtung, Navigationsverfahren und Navigationsprogramm
WO2013111185A1 (ja) * 2012-01-25 2013-08-01 三菱電機株式会社 移動体用情報機器
KR102019719B1 (ko) * 2013-01-17 2019-09-09 삼성전자 주식회사 영상처리장치 및 그 제어방법, 영상처리 시스템
US20140267035A1 (en) * 2013-03-15 2014-09-18 Sirius Xm Connected Vehicle Services Inc. Multimodal User Interface Design
US9719797B2 (en) * 2013-03-15 2017-08-01 Apple Inc. Voice and touch user interface
US10310702B2 (en) * 2013-09-27 2019-06-04 Lg Electronics Inc. Image display apparatus for controlling an object displayed on a screen and method for operating image display apparatus
CN108469937B (zh) * 2014-03-26 2020-11-20 联想(北京)有限公司 一种信息处理方法及电子设备
JP5955486B2 (ja) * 2014-04-22 2016-07-20 三菱電機株式会社 ユーザインターフェースシステム、ユーザインターフェース制御装置、ユーザインターフェース制御方法およびユーザインターフェース制御プログラム
CN105303643A (zh) * 2014-06-08 2016-02-03 苗码信息科技(上海)股份有限公司 汉语文本现场自动导航并驾驶汽车的方法
JP6282549B2 (ja) * 2014-07-18 2018-02-21 アルパイン株式会社 操作メニュー表示制御装置および操作メニュー表示制御方法
JP6432233B2 (ja) * 2014-09-15 2018-12-05 株式会社デンソー 車両用機器制御装置、制御内容検索方法
CN104298429B (zh) * 2014-09-25 2018-05-04 北京搜狗科技发展有限公司 一种基于输入的信息展示方法和输入法系统
US10306047B2 (en) 2015-02-23 2019-05-28 Apple Inc. Mechanism for providing user-programmable button
USD874519S1 (en) 2015-07-13 2020-02-04 Solidus Ventures Gmbh Display panel or portion thereof with a graphical user interface
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US10248119B2 (en) * 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
CN108153427B (zh) * 2016-12-02 2021-04-20 上海博泰悦臻电子设备制造有限公司 一种键盘布局方法、系统及一种车机
JP7200664B2 (ja) * 2018-12-26 2023-01-10 日本精機株式会社 車両用計器
JP7275795B2 (ja) * 2019-04-15 2023-05-18 コニカミノルタ株式会社 操作受付装置、制御方法、画像形成システム、及び、プログラム
JP7377043B2 (ja) * 2019-09-26 2023-11-09 Ｇｏ株式会社 操作受付装置及びプログラム
JP7152043B2 (ja) * 2020-09-08 2022-10-12 株式会社ユピテル 装置及びプログラム
US11740864B2 (en) * 2020-09-30 2023-08-29 Honeywell International Inc. Method and systems for providing contextual visual and aural feedback and awareness to flight crews using a voice activated flight deck
US20220415321A1 (en) * 2021-06-25 2022-12-29 Samsung Electronics Co., Ltd. Electronic device mounted in vehicle, and method of operating the same

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230465A (ja) * 1994-02-15 1995-08-29 Kano Densan Hongkong Yugenkoshi 電子辞書
JPH0916891A (ja) * 1995-07-03 1997-01-17 Aqueous Res:Kk 車載用情報入力装置
JPH1089982A (ja) * 1996-09-17 1998-04-10 Mazda Motor Corp ナビゲーション装置
JP2000352993A (ja) * 1999-06-14 2000-12-19 Oki Electric Ind Co Ltd 音声認識システム及びヒドン・マルコフ・モデルの学習方法
JP2005121563A (ja) * 2003-10-20 2005-05-12 Alpine Electronics Inc 車載用ナビゲーション装置およびその装置への入力方法
JP2005335554A (ja) * 2004-05-27 2005-12-08 Nissan Motor Co Ltd 車載機器制御装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5266922A (en) * 1991-03-21 1993-11-30 Sony Electronics, Inc. Mobile communication apparatus
DE69426011T2 (de) * 1993-12-27 2001-02-15 Aisin Aw Co., Ltd. Fahrzeuginformationsanzeigesystem
JPH07319383A (ja) * 1994-05-25 1995-12-08 Sony Corp 地図表示装置
JP3363283B2 (ja) * 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
US6009355A (en) * 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US6535615B1 (en) * 1999-03-31 2003-03-18 Acuson Corp. Method and system for facilitating interaction between image and non-image sections displayed on an image review station such as an ultrasound image review station
JP2000346651A (ja) * 1999-06-07 2000-12-15 Tokai Rika Co Ltd ディスプレイシステム
JP2001216129A (ja) 2000-02-02 2001-08-10 Denso Corp コマンド入力装置
GB0029573D0 (en) * 2000-12-02 2001-01-17 Hewlett Packard Co Activation of voice-controlled apparatus
US6415224B1 (en) * 2001-02-06 2002-07-02 Alpine Electronics, Inc. Display method and apparatus for navigation system
US6353778B1 (en) * 2001-03-15 2002-03-05 International Business Machines Corporation Automobile computer control system for limiting the usage of wireless telephones on moving automobiles
US20020141600A1 (en) * 2001-03-29 2002-10-03 Eastman Kodak Company System for controlling information received in a moving vehicle
US6717287B2 (en) * 2001-05-22 2004-04-06 Visteon Global Technologies, Inc. Input/output device for mounting in vehicle
US6904362B2 (en) * 2001-08-09 2005-06-07 Aisin Aw Co., Ltd. Route guidance system, information delivery center, and vehicular route guidance apparatus
US6791529B2 (en) * 2001-12-13 2004-09-14 Koninklijke Philips Electronics N.V. UI with graphics-assisted voice control system
US6897861B2 (en) * 2002-01-09 2005-05-24 Nissan Motor Co., Ltd. Map image display device, map image display method and map image display program
JP2003244343A (ja) * 2002-02-21 2003-08-29 Toyota Motor Corp 表示装置、携帯端末及び情報表示システム
EP1408303B1 (en) 2002-03-15 2011-12-21 Mitsubishi Denki Kabushiki Kaisha Vehicular navigation device
JP4225029B2 (ja) * 2002-10-18 2009-02-18 日産自動車株式会社 地図画像表示装置及び地図画像表示プログラム
US6845317B2 (en) * 2002-11-04 2005-01-18 Dean A. Craine Navigational-based speed limit recording and warning system
US6941224B2 (en) * 2002-11-07 2005-09-06 Denso Corporation Method and apparatus for recording voice and location information
US7461352B2 (en) * 2003-02-10 2008-12-02 Ronald Mark Katsuranis Voice activated system and methods to enable a computer user working in a first graphical application window to display and control on-screen help, internet, and other information content in a second graphical application window
JP2005049110A (ja) 2003-07-29 2005-02-24 Hcx:Kk ナビゲーション装置
ATE397198T1 (de) * 2003-10-29 2008-06-15 Harman Becker Automotive Sys Navigationssystem mit verbesserter sprachausgabekontrolle
JP2005208798A (ja) * 2004-01-21 2005-08-04 Nissan Motor Co Ltd 情報提供端末、および情報提供方法
US20060041345A1 (en) * 2004-08-09 2006-02-23 Darrell Metcalf System for safely disabling and re-enabling the manual vehicle control input of aircraft and other vehicles
US7295904B2 (en) * 2004-08-31 2007-11-13 International Business Machines Corporation Touch gesture based interface for motor vehicle
US7519469B2 (en) * 2005-04-28 2009-04-14 Alpine Electronics, Inc. Display method and apparatus for navigation system
US7826945B2 (en) * 2005-07-01 2010-11-02 You Zhang Automobile speech-recognition interface
JP2007040971A (ja) * 2005-07-08 2007-02-15 Nissan Motor Co Ltd 画面表示装置および画面表示方法
US8532678B2 (en) * 2006-03-08 2013-09-10 Tomtom International B.V. Portable GPS navigation device
US8370755B2 (en) * 2007-12-27 2013-02-05 Core Wireless Licensing S.A.R.L. User interface controlled by environmental cues

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07230465A (ja) * 1994-02-15 1995-08-29 Kano Densan Hongkong Yugenkoshi 電子辞書
JPH0916891A (ja) * 1995-07-03 1997-01-17 Aqueous Res:Kk 車載用情報入力装置
JPH1089982A (ja) * 1996-09-17 1998-04-10 Mazda Motor Corp ナビゲーション装置
JP2000352993A (ja) * 1999-06-14 2000-12-19 Oki Electric Ind Co Ltd 音声認識システム及びヒドン・マルコフ・モデルの学習方法
JP2005121563A (ja) * 2003-10-20 2005-05-12 Alpine Electronics Inc 車載用ナビゲーション装置およびその装置への入力方法
JP2005335554A (ja) * 2004-05-27 2005-12-08 Nissan Motor Co Ltd 車載機器制御装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5602830B2 (ja) * 2010-03-04 2014-10-08 パナソニック株式会社 情報表示システムおよび情報表示装置
JP2013256189A (ja) * 2012-06-12 2013-12-26 Denso Corp 車載端末
JP2014202857A (ja) * 2013-04-03 2014-10-27 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム

Also Published As

Publication number Publication date
CN101331036A (zh) 2008-12-24
EP1961619A1 (en) 2008-08-27
CN101331036B (zh) 2011-04-06
US20100153111A1 (en) 2010-06-17
WO2007069573A1 (ja) 2007-06-21
EP1961619A4 (en) 2010-12-01
US8280742B2 (en) 2012-10-02
EP1961619B1 (en) 2012-03-14
JPWO2007069573A1 (ja) 2009-05-21

Similar Documents

Publication Publication Date Title
JP4805279B2 (ja) 移動体用入力装置、及び方法
US9103691B2 (en) Multimode user interface of a driver assistance system for inputting and presentation of information
JP5463922B2 (ja) 車載機
WO2008004486A1 (fr) Dispositif d'entrée vocale
JP4736982B2 (ja) 作動制御装置、プログラム
WO2015128960A1 (ja) 車載制御装置および車載制御方法
WO2013069060A1 (ja) ナビゲーション装置および方法
JP2005292970A (ja) 施設検索装置、プログラム、ナビゲーション装置、及び施設検索方法
JP2007279637A (ja) ナビゲーション装置
JP2009251388A (ja) 母国語発話装置
JP2010139826A (ja) 音声認識システム
JP2007145106A (ja) 車載情報端末
JP3731499B2 (ja) 音声認識制御装置、及び車載用情報処理装置
JP2010039099A (ja) 音声認識および車載装置
JP5233431B2 (ja) 車載表示システム
JP2007240688A (ja) 音声認識装置及びそれを用いたナビゲーション装置、音声認証装置、方法及びプログラム
JP2008164809A (ja) 音声認識装置
US10158745B2 (en) Vehicle and communication control method for determining communication data connection for the vehicle
JP2005208798A (ja) 情報提供端末、および情報提供方法
JP2009250779A (ja) ナビゲーション装置、プログラム、及びナビゲーション方法
KR100677711B1 (ko) 음성 인식 장치, 기억 매체 및 네비게이션 장치
JP2006178898A (ja) 地点検索装置
JP4787677B2 (ja) 電子機器
JP2008233009A (ja) カーナビゲーション装置及びカーナビゲーション装置用プログラム
JP2009300696A (ja) 音声認識装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110810

R150 Certificate of patent or registration of utility model

Ref document number: 4805279

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140819

Year of fee payment: 3

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110826

LAPS Cancellation because of no payment of annual fees