JPWO2007145003A1 - 車載情報装置 - Google Patents

車載情報装置 Download PDF

Info

Publication number
JPWO2007145003A1
JPWO2007145003A1 JP2008521107A JP2008521107A JPWO2007145003A1 JP WO2007145003 A1 JPWO2007145003 A1 JP WO2007145003A1 JP 2008521107 A JP2008521107 A JP 2008521107A JP 2008521107 A JP2008521107 A JP 2008521107A JP WO2007145003 A1 JPWO2007145003 A1 JP WO2007145003A1
Authority
JP
Japan
Prior art keywords
finger
information
sound
unit
key
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008521107A
Other languages
English (en)
Other versions
JP4554707B2 (ja
Inventor
友紀 古本
友紀 古本
佐藤 史尚
史尚 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2007145003A1 publication Critical patent/JPWO2007145003A1/ja
Application granted granted Critical
Publication of JP4554707B2 publication Critical patent/JP4554707B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/141Activation of instrument input devices by approaching fingers or pens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148Instrument input by voice
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Navigation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)

Abstract

入力を行うためのキーを備えた入力操作部15と、入力操作部のキーに指が接近したことを検出する指位置検出部31と、トークバック音声を発生するための音情報をキーに対応させて格納した音情報格納部41と、指位置検出部によって指の接近が検出された場合に、音情報格納部に格納されている音情報の中から、指位置検出部によって指の接近が検出されたキーに対応する音情報を選択する音出力制御部32と、音出力制御部によって選択された音情報に基づきトークバック音声を出力する音声出力部20を備えている。

Description

この発明は、キー操作により所望の機能を行わせる車載情報装置に関し、特にキー操作を簡単且つ安全に行う技術に関する。
カーナビゲーション装置、カーオーディオ機器、AV(Audio Visual)機器またはETC(Electronic Toll Collection)機器などといった車載情報装置は、押釦またはタッチパネル(以下、「キー」と総称する)から成る入力操作部を備えている。ユーザは、これら入力操作部に備えられたキーを操作することにより車載情報機器に各種の指示を与える。
キー操作に関連する技術として、特許文献1は、リモコンの多機能化がもたらすキー操作の複雑化、誤操作を防ぎ、音声案内による簡単で確実な操作が可能なリモコン装置を開示している。このリモコン装置は、操作キーの任意のキーを操作すると、2段階キー入力検出部で、操作されたキーと、その操作量が検出される。操作量は、キーを半分まで押した/完全に押したといった2段階で検出される。送信部は、キーが完全に押された場合に、操作されたキーに対応するリモコン信号を出力し、テレビやビデオなど被制御装置に向けて送信する。音声生成制御部では、キー操作量が1段階目にある場合、即ち、キーを半分押した状態で、操作されたキーに対応する音声データを、音声データ記憶部より読み出して、伸長、復号して、音声出力部から音声信号として出力する。音声データとしては、例えばキーの機能を説明する案内音声などが用いられる。
特開平10−56676号公報
ところで、従来の車載情報装置においては、走行中に押釦を操作する必要が生じた際、操作すべき押釦の位置を目視するか、押釦の形状を手探りで判別する必要がある。また、タッチパネルで操作する場合は、形状による判別ができないため、釦が表示されている位置を目視で確認する必要がある。さらに、走行中にキーを押下しようとする場合に振動が発生すると、別のキーを押下してしまうなどの想定外の操作をしてしまい、訂正操作が必要になるなど、さらに余計な操作が必要になる。このような状況になると、脇見運転につながるおそれがあり、安全が阻害されるという問題がある。
この発明は、上述した問題を解消するためになされたものであり、その課題は、走行中であっても安全を阻害することなくキー操作を行うことができる車載情報装置を提供することにある。
この発明に係る車載情報装置は、上記課題を解決するために、入力を行うためのキーを備えた入力操作部と、入力操作部のキーに指が接近したことを検出する指位置検出部と、トークバック音声を発生するための音情報をキーに対応させて格納した音情報格納部と、指位置検出部によって指の接近が検出された場合に、音情報格納部に格納されている音情報の中から、指位置検出部によって指の接近が検出されたキーに対応する音情報を選択する音出力制御部と、音出力制御部によって選択された音情報に基づきトークバック音声を出力する音声出力部を備えている。
この発明に係る車載情報装置によれば、指がキーに触れなくても接近しただけで、そのキーに対応するトークバック音声、例えばビープ音、キー名称またはキー機能を説明する音声が発生される。したがって、従来の車載情報装置に搭載されているタッチパネルのように触れるだけで操作する必要があり手探りではキー位置を判別できない場合であっても、ユーザは、キー位置を目視で確認することなく、操作したいキーの位置または機能を知ることができる。その結果、走行中であっても安全を阻害することなくキー操作を行うことができる。
この発明の実施の形態1に係る車載情報装置の構成を示すブロック図である。 この発明の実施の形態1に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態1に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態2に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態2に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態3に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態3に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態4に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態4に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態5に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態5に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態6に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態6に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態7に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態7に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態8に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態8に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態7の第3変形例に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態8の第3変形例に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態9に係る車載情報装置に含まれる制御部の機能的な構成を機能ブロック図である。 この発明の実施の形態9に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態10に係る車載情報装置において実行されるキー操作処理を示すフローチャートである。 この発明の実施の形態11に係る車載情報装置の構成を示す図である。
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態1.
図1は、この発明の車載情報装置の構成を示すブロック図である。なお、以下では、車載情報装置の一例として、カーナビゲーション装置を例に挙げて説明するが、この発明が適用される車載情報装置としてはカーナビゲーション装置に限らず、他の車載情報機器、例えばカーオーディオ機器、AV機器、ETC機器、その他の種々の機器を用いることができる。
この発明の実施の形態1に係る車載情報装置としてのカーナビゲーション装置は、GPS(Global Positioning System)受信機11、ジャイロセンサ12、車速センサ13、データ記録部14、入力操作部15、音声入力部16、位置検出センサ17、指情報取得部18、表示部19、音声出力部20および制御部21から構成されている。
GPS受信機11は、衛星軌道上にある複数のGPS衛星から送信されるGPS信号を受信して車両の現在位置(緯度、経度および高度)を求め、現在位置データとして制御部21に送る。ジャイロセンサ12は、車両の回転角速度を検出し、方位データとして制御部21に送る。車速センサ13は、車両の移動速度を検出し、車速データとして制御部21に送る。なお、この車速センサ13は、一般に、車両側に備えられているものであるが、ここでは、便宜上、カーナビゲーション装置の構成要素の1つとしている。
データ記録部14は、ハードディスクまたはPCカードといった記録メディアから構成されており、地図情報および施設情報を記憶する他に、入力操作用の情報を記憶している。この入力操作用の情報を記憶するために、データ記録部14には、詳細は後述するが、音情報格納部41、音声情報格納部42、画像情報格納部43および指情報格納部44が設けられている。このデータ記録部14に記録されている情報は、制御部25によって読み出される。
入力操作部15は、押釦またはタッチパネルから成るキーを備えており、ユーザによる操作を受け付ける。この入力操作部15が操作されることにより発生された操作データは制御部21に送られる。音声入力部16は、例えばマイクロフォンから構成されており、音声認識およびハンズフリー電話の音声入力などに使用される。この音声入力部16から入力された音声は、電気信号に変換され、音声データとして制御部21に送られる。
位置検出センサ17は、入力操作部15に設けられているキーの近傍(入力操作部15が押釦で構成される場合は、押釦の内部または近傍、入力操作部15がタッチパネルで構成される場合は、タッチパネルが載置されたモニタ周り「上下/左右」の近傍)に取り付けられており、光または電波を送受することにより、キーから指までの距離を表す信号を出力する。この位置検出センサ17から出力される信号は、制御部21に送られる。なお、位置検出センサ17としては、例えば低消費電力測距センサを用いる。
指情報取得部18は、例えば、表示部19の近傍に設置された指紋読取装置から構成されており、ユーザが近づけた指の指紋を読み取り、指画像として制御部21に送る。この指情報取得部18で読み取られた指の指紋は、制御部21において、ユーザを判別するとともに、そのユーザの指の種類(親指、人差し指、中指、薬指および小指の別)を判別するために使用される。
表示部19は、例えば液晶ディスプレイ装置から構成されており、制御部21から送られてくる表示データに基づいて、ナビゲーションを行うための地図、自車の位置および方位の他に、例えばキーの変更またはキーの機能に関する情報を表示する。音声出力部20は、例えばスピーカから構成されており、制御部21から送られてくる音声出力データにしたがって、ナビゲーションの状態を音声により出力する他、トークバック音声(詳細は後述する)を出力する。
制御部21は、例えばマイクロコンピュータから構成されており、カーナビゲーション装置の全体を制御する。例えば、制御部21は、ナビゲーション機能を実現するために、GPS受信機11から送られてくる現在位置データ、ジャイロセンサ12から送られてくる方位データおよび車速センサ13から送られてくる車速データに基づき自車の位置および方位を検出し、データ記録部14に格納されている地図データに基づき、表示部19に表示させる表示データおよび音声出力部20から音声を出力させるための音声出力データを生成する。また、制御部21は、この発明の特徴であるキー操作に関する制御を行う。この制御部21の詳細は後述する。
図2は、実施の形態1に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。なお、図2は、キー操作に関する制御を行う部分のみを示している。この制御部21は、指位置検出部31と音出力制御部32とから構成されている。また、データ記録部14の内部には、音情報格納部41が設けられている。音情報格納部41は、入力操作部15に備えられたキーに対応させて、トークバック音声の音情報を格納している。トークバック音声としては、ビープ音、キー名称またはキー機能を説明する音声等が用いられる。この音情報格納部41に格納されている内容は、音出力制御部32によって読み出される。
指位置検出部31は、位置検出センサ17から送られてくる信号に基づき、指がキーに接近した(キーから指までの距離が所定値以下になった)かどうかを検出する。この指位置検出部31による検出結果は、音出力制御部32に送られる。音出力制御部32は、音情報格納部41に格納されている音情報の中から、指位置検出部31から送られてくる検出結果によって示される、指の接近が検出されたキーに対応する音情報を選択し、音声出力部20に送る。これにより、音声出力部20から音情報に従った音声が再生される。
次に、上記のように構成される、この発明の実施の形態1に係る車載情報装置の動作を説明する。図3は、この発明の実施の形態1に係る車載情報装置で行われるキー操作処理を示すフローチャートである。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。すなわち、ユーザがキーに指を近づけると、指位置検出部31は、位置検出センサ17から送られてくる信号に基づき、キーから指までの距離が所定値以下になったかどうかを調べる。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。
一方、ステップST11において、指がキーに接近したことが判断されると、次いで、音情報の選択が行われる(ステップST12)。すなわち、音出力制御部32は、音情報格納部41に格納されている音情報の中から、指位置検出部31から送られてくる検出結果によって示される、指の接近が検出されたキーに対応する音情報を選択する。次いで、トークバック音声が出力される(ステップST13)。すなわち、音出力制御部32は、ステップST12で選択された音情報を、音声出力部20に送る。これにより、音声出力部20から、トークバック音声が出力される。
以上説明したように、この発明の実施の形態1に係る車載情報装置によれば、指がキーに触れなくても接近しただけで、そのキーに対応するトークバック音声が発生されるので、従来の車載情報装置に搭載されているタッチパネルのように、触れるだけで操作する必要があり手探りではキー位置を判別できない場合であっても、キー位置を目視で確認することなく、操作したいキーの位置または機能を知ることができる。その結果、走行中であっても安全を阻害することなくキー操作を行うことができる。
実施の形態2.
この発明の実施の形態2に係る車載情報装置は、キーの近傍で指の移動を所定時間だけ停止させた場合に、指をキーに接近させた時に発生されるトークバック音声と異なるトークバック音声を出力するようにしたものである。この実施の形態2に係る車載情報装置は、制御部21の構成および動作のみが実施の形態1に係る車載情報装置と異なる。したがって、以下では、実施の形態1に係る車載情報装置と異なる部分を中心に説明する。
図4は、実施の形態2に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。なお、この機能ブロック図は、キー操作に関する制御を行う部分のみを示しており、以下で説明する各実施の形態においても同じである。この制御部21は、実施の形態1の構成に、経過時間検出部33が追加されて構成されている。経過時間検出部33は、指がキーに接近した、つまり指位置検出部31から指の接近が検出された旨の信号が送られてきた(キーから指までの距離が所定値以下になった)時点から計測を開始し、計測した時間が所定時間になった場合に、その旨を音出力制御部32に通知する。
次に、上記のように構成される、この発明の実施の形態2に係る車載情報装置の動作を説明する。図5は、この発明の実施の形態2に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、実施の形態1に係る車載情報装置と同一または相当する処理を行うステップには、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、音情報の選択が行われ(ステップST12)、その後、トークバック音声が出力される(ステップST13)。このステップST13で、出力されるトークバック音声は、例えばキー名称やキー機能の説明である。
次いで、所定時間が経過したかどうかが調べられる(ステップST14)。すなわち、経過時間検出部33は、指位置検出部31から指の接近が検出された旨の信号を受け取った時点から計測を開始し、時間が所定時間になった場合に、その旨を音出力制御部32に通知するので、音出力制御部32は、経過時間検出部33から、所定時間が経過した旨の通知があったかどうかを調べる。
このステップST14において、所定時間が経過していないことが判断されると、次いで、指が接近した状態が継続しているかどうかが調べられる(ステップST15)。このステップST15の処理は、ステップST11の処理と同じである。このステップST15において、指が接近した状態が継続していると判断されると、シーケンスはステップST14に戻り、以下、所定時間が経過するまで、ステップST14およびST15の処理が繰り返される。この繰り返しの途中で、ステップST15において、指が接近した状態が解除されたことが判断されると、所定時間が経過する前に指がキーから離されたものと判断され、キー操作処理は終了する。
一方、上記ステップST14およびST15の処理の繰り返しの途中で、ステップST14において、所定時間が経過したことが判断されると、次いで、他の音情報の選択が行われる(ステップST16)。すなわち、音出力制御部32は、音情報格納部41に格納されている音情報の中から、指位置検出部31から送られてくる検出結果によって示される、指の接近が検出されたキーに対応する他の音情報(ステップST12で選択した音情報とは異なる音情報)を選択する。
次いで、他のトークバック音声の出力またはキー決定操作が行われる(ステップST17)。すなわち、音出力制御部32は、ステップST16で選択された音情報を、音声出力部20に送る処理、または指位置検出部31によって指の接近が検出されたキーが押下されたとみなす決定操作を実現するための処理を実行する。これにより、音声出力部20から、他のトークバック音声(ステップST13で発生されるトークバック音声とは異なる音声)が出力され、または、指位置検出部31によって指の接近が検出されたキーが押下されたとみなされる。
このステップST17で、出力されるトークバック音声は、ステップST13で出力されるトークバック音声に関するさらに詳細な情報とすることができる。例えば、キーに指を近づけた際に、ステップST13においては「現在地」とキー名称をトークバックし、指を近づけた状態のまま所定時間が経過した時点で、さらに、「押下すると、現在地画面に戻ります」とキー機能の説明をトークバックするように構成することができる。
以上説明したように、この発明の実施の形態2に係る車載情報装置によれば、キーに触れる(キー押下)などの操作を行う際に、走行中の振動によって隣のキーを操作してしまうなど、想定外のキー操作を行うことがなくなり、音によってキー位置を確認した後は、指を意識的に動かすことなく一定時間だけ指の位置を保持するだけで、さらに詳細な情報を得たり、操作したりすることができる。
実施の形態3.
この発明の実施の形態3に係る車載情報装置は、音声による指示により、指をキーに接近させたと同時に発生されるトークバック音声と異なるトークバック音声を出力するようにしたものである。この実施の形態3に係る車載情報装置は、制御部21の構成および動作のみが実施の形態1に係る車載情報装置と異なる。したがって、以下では、実施の形態1に係る車載情報装置と異なる部分を中心に説明する。
図6は、実施の形態3に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態1の構成に、音声認識部34が追加されるとともに、データ記録部14に、音声情報格納部42が追加されて構成されている。音声情報格納部42は、音声認識に使用する音声のパターンデータ(音声認識辞書)を格納している。この音声情報格納部42に格納されている音声認識辞書は、音声認識部34によって読み出される。
音声認識部34は、音声入力部16から入力された音声データに対して、音声情報格納部42に格納されている音声認識辞書を参照して、音声認識処理を実行し、ユーザが発話した語を認識する。この音声認識部34で認識された語は、音出力制御部32に送られる。
次に、上記のように構成される、この発明の実施の形態3に係る車載情報装置の動作を説明する。図7は、この発明の実施の形態3に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、音情報の選択が行われ(ステップST12)、その後、トークバック音声が出力される(ステップST13)。このステップST13で、出力されるトークバック音声は、例えばキー名称やキー機能の説明である。
次いで、音声入力が行われる(ステップST21)。すなわち、ユーザが発話した音声が音声入力部16に入力されて音声信号に変換され、音声データとして音声認識部34に送られる。次いで、音声認識が行われる(ステップST22)。すなわち、音声認識部34は、音声入力部16から送られてくる音声データに対して、音声情報格納部42に格納されている音声認識辞書を参照して、音声認識処理を行うことにより、ユーザが発話した語を認識し、この認識した語を音出力制御部32に送る。
次いで、他の音情報の選択が行われる(ステップST16)。すなわち、音出力制御部32は、音情報格納部41に格納されている音情報の中から、音声認識部34から送られてくる語によって示される指令に応じて、指の接近が検出されたキーに対応する音情報を選択する。次いで、他のトークバック音声の出力またはキー決定操作が行われる(ステップST17)。
このステップST17で、出力されるトークバック音声は、ステップST13で出力されるトークバック音声に関するさらに詳細な情報とすることができる。例えば、キーに指を近づけた際に、ステップST13においては「現在地」とキー名称をトークバックし、さらに、ユーザが「ヘルプ」と発話したことに応答して、「押下すると、現在地画面に戻ります」とキー機能の説明をトークバックするように構成できる。
以上説明したように、この発明の実施の形態3に係る車載情報装置によれば、キーに触れる(キー押下)などの操作を行う際に、走行中の振動によって想定外のキー操作を行うことがなくなり、音によってキー位置を確認した後は、指を意識的に動かすことなく、また、実施の形態2に係る車載情報装置のように一定時間だけ指の位置を保持しなくても、指令を発話することにより、さらに詳細な情報を得たり、操作したりすることができる。
実施の形態4.
この発明の実施の形態4に係る車載情報装置は、キーから指までの距離に応じて、異なるトークバック音声を出力するようにしたものである。この実施の形態4に係る車載情報装置は、制御部21の構成および動作のみが実施の形態1に係る車載情報装置と異なる。したがって、以下では、実施の形態1に係る車載情報装置と異なる部分を中心に説明する。
図8は、実施の形態4に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態1の構成に、距離検出部35が追加されて構成されている。距離検出部35は、指位置検出部31から指の接近が検出された旨の信号が送られてきた場合に、キーから指までの距離を検出する。この距離検出部35で検出された距離は、音出力制御部32に送られる。
次に、上記のように構成される、この発明の実施の形態4に係る車載情報装置の動作を説明する。図9は、この発明の実施の形態4に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、キーから指までの距離が「D2≧距離>D1」であるかどうかが調べられる(ステップST31)。このステップST31において、キーから指までの距離が「D2≧距離>D1」であることが判断されると、音情報の選択が行われる(ステップST12)。ここで、D1が0cm、D2が1cmと仮定すると、音出力制御部32は、距離検出部35から送られてくるキーから指までの距離が0cmより大きく(接触していない状態)、且つ1cm以下でれば、所定の音情報を選択する。次いで、トークバック音声の出力が行われる(ステップST13)。
上記ステップST31において、キーから指までの距離が「D2≧距離>D1」でない、つまり1cmより大きいと、他の音情報の選択が行われる(ステップST16)。すなわち、音出力制御部32は、距離検出部35から送られてくるキーから指までの距離が1cmより大きい(指位置検出部31がキーから指までの距離が2cm以下になった場合に指が接近した旨を検出するものとすると、キーから指までの距離が1cmより大きく、2cm以下)と、他の音情報を選択する。その後、他のトークバック音声が出力される(ステップST18)。
上述した処理により、例えば、キーから指までの距離が0cm<距離≦1cmになると「現在地」とキー名称をトークバックし、1cm<距離≦2cmになると「押下すると、現在地画面に戻ります」とキー機能の説明をトークバックするという機能が実現されている。
以上説明したように、この発明の実施の形態4に係る車載情報装置によれば、同一キーであっても、キーから指までの距離を変えるだけで、ユーザは、追加情報などの複数の異なる情報を得ることができる。
なお、上述した実施の形態4に係る車載情報装置では、キーから指までの距離を、D2≧距離>D1と、それ以外といった2つの距離に分けて、2つの異なるトークバック音声を発生するように構成したが、3つ以上の距離に分けて、3つ以上の異なるトークバック音声を発生させるように構成することもできる。
実施の形態5.
この発明の実施の形態5に係る車載情報装置は、キーから指までの距離により、入力操作部15に備えられているキーの機能を変更するようにしたものである。この実施の形態5に係る車載情報装置は、制御部21の構成および動作のみが実施の形態4に係る車載情報装置と異なる。したがって、以下では、実施の形態4に係る車載情報装置と異なる部分を中心に説明する。
図10は、実施の形態5に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態4の構成に、カーナビゲーション装置を制御する車載情報機器制御部36が追加されて構成されている。この車載情報機器制御部36は、距離検出部35から送られてくるキーから指までの距離に基づき、キーに割り当てられているキー機能を変更する。
次に、上記のように構成される、この発明の実施の形態5に係る車載情報装置の動作を説明する。図11は、この発明の実施の形態5に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、キーから指までの距離が「D2≧距離>D1」であるかどうかが調べられる(ステップST31)。ここで、D1およびD2は、実施の形態4に係る車載情報装置と同じとすることができる。
上記ステップST31において、キーから指までの距離が「D2≧距離>D1」であることが判断されると、キーの機能を第1機能に変更する処理が行われる(ステップST32)。すなわち、車載情報機器制御部36は、指位置検出部31によって指の接近が検出されたキーに割り当てられている機能を第1機能に変更し、この第1機能に対応した処理を実行する。一方、ステップST31において、キーから指までの距離が「D2≧距離>D1」でないことが判断されると、キーの機能を第2機能に変更する処理が行われる(ステップST33)。すなわち、車載情報機器制御部36は、指位置検出部31によって指の接近が検出されたキーに割り当てられている機能を第2機能に変更し、この第2機能に対応する処理を実行する。
上述した処理により、例えば、キーから指までの距離が、0cm<距離≦1cmになると「現在地キー」に変更されて現在地キーが押された場合の機能が実現され、1cm<距離≦2cmになると「ヘルプキー」に変更され、ヘルプキーが押された場合の機能が実現される。
以上説明したように、この発明の実施の形態5に係る車載情報装置によれば、同一キーであっても、キーから指までの距離を変えることにより、1つのキーに別の機能を持たせることができるので、少ないキーで様々な操作を行うことができる。
なお、上述した実施の形態5に係る車載情報装置では、キーから指までの距離を、D2≧距離>D1と、それ以外といった2つの距離に分けて、2つの異なる機能を1つのキーに割り当てるように構成したが、3つ以上の距離に分けて、3つ以上の異なる機能を1つのキーに割り当てるように構成することもできる。
実施の形態6.
この発明の実施の形態6に係る車載情報装置は、キーに指が接近した場合およびキーの機能が変更された場合に、トークバック音声を出力する他に、画像を表示するようにしたものである。この実施の形態6に係る車載情報装置は、制御部21の構成および動作のみが実施の形態5に係る車載情報装置と異なる。したがって、以下では、実施の形態5に係る車載情報装置と異なる部分を中心に説明する。
図12は、実施の形態6に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態5の構成に、画面表示制御部37が追加されるとともに、データ記録部14に、画像情報格納部43が追加されて構成されている。画面情報格納部43は、入力操作部15に備えられたキーに対応させて、キーに指が接近した場合およびキーの機能が変更された場合に表示すべき画像の画像情報を格納している。この画像情報格納部43に格納されている画像情報は、画面表示制御部37によって読み出される。
画面表示制御部37は、距離検出部35から送られてくるキーから指までの距離および車載情報機器制御部36から送られてくるキーの機能を変更した旨の通知に応答して、画像情報格納部43に格納されている画像情報の中から、1つの画像情報を選択し、表示部19に送る。これにより、画像情報に従った画像が表示部19の画面に表示される。
次に、上記のように構成される、この発明の実施の形態6に係る車載情報装置の動作を説明する。図13は、この発明の実施の形態6に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、キーから指までの距離が「D2≧距離>D1」であるかどうかが調べられる(ステップST31)。ここで、D1およびD2は、実施の形態4に係る車載情報装置と同じとすることができる。
上記ステップST31において、キーから指までの距離が「D2≧距離>D1」であることが判断されると、キーの機能を第1機能に変更する処理が行われる(ステップST32)。次いで、音情報の選択が行われ(ステップST12)、トークバック音声が出力される(ステップST13)。次いで、画面表示が行われる(ステップST41)。すなわち、画面表示制御部37は、距離検出部35から送られてくる距離および車載情報機器制御部36から送られてくるキーの機能を変更した旨の通知に応答して、画像情報格納部43に格納されている画像情報の中から、1つの画像情報を選択し、表示部19に送る。これにより、画像情報に従った画像が表示部19の画面に表示される。
上記ステップST31において、キーから指までの距離が「D2≧距離>D1」でないことが判断されると、キーの機能を第2機能に変更する処理が行われる(ステップST33)。次いで、他の音情報の選択が行われ(ステップST16)、他のトークバック音声の出力またはキー決定操作が行われる(ステップST17)。その後、他の画面表示が行われる(ステップST42)。すなわち、画面表示制御部37は、距離検出部35から送られてくる距離および車載情報機器制御部36から送られてくるキーの機能を変更した旨の通知に応答して、画像情報格納部43に格納されている画像情報の中から、上述した画像とは異なる他の1つの画像情報を選択し、表示部19に送る。これにより、画像情報に従った他の画像が表示部19の画面に表示される。
上述した処理により、例えば、キーから指までの距離が0cm<距離≦1cmになると、そのキーの機能が「現在地キー」に変更されるとともに、その旨が表示部19の画面に表示され、一方、1cm<距離≦2cmになると、そのキーの機能が「ヘルプキー」に変更されるとともに、その旨が表示部19の画面に表示されるという機能が実現される。
以上説明したように、この発明の実施の形態6に係る車載情報装置によれば、ユーザは、キーから指までの距離などに応じて変化した画面表示やトークバック音声などから、キーの機能が変化したタイミングを知ることができる。
実施の形態7.
この発明の実施の形態7に係る車載情報装置は、キーに接近する指の種類を判定し、判定結果に応じて異なるトークバック音声を出力するようにしたものである。この実施の形態7に係る車載情報装置は、制御部21の構成および動作のみが実施の形態1に係る車載情報装置と異なる。したがって、以下では、実施の形態1に係る車載情報装置と異なる部分を中心に説明する。
図14は、実施の形態7に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態1の構成に、指情報判定部38が追加されるとともに、データ記録部14に指情報格納部44が追加されて構成されている。指情報格納部44は、ユーザの各指の指紋情報を格納している。この指情報格納部44に格納されている指紋情報は、指情報判定部38によって読み出される。
指情報判定部38は、指情報取得部18から送られてくる指画像と、指情報格納部44から読み出した指紋情報とを照合することによりユーザの指の種類を判別する。この指情報判定部38における判定結果は、音出力制御部32に送られる。
次に、上記のように構成される、この発明の実施の形態7に係る車載情報装置の動作を説明する。図15は、この発明の実施の形態7に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、指情報の取得が行われる(ステップST51)。すなわち、指情報判定部38は、指情報取得部18から指画像を取得する。
次いで、指判定が行われる(ステップST52)。すなわち、指情報判定部38は、ステップST51において指情報取得部18から取得した指画像と、指情報格納部44から読み出した指紋情報とを照合することにより指の種類を判別し、判定結果として音出力制御部32に送る。次いで、指の種類に応じた音情報が選択される(ステップST53)。すなわち、音出力制御部32は、音情報格納部41に格納されている音情報の中から、指位置検出部31から送られてくる検出結果によって示される、指の接近が検出されたキーに対応する音情報であって、且つ、指情報判定部38から送られてくる判定結果によって示される指の種類に対応する音情報を選択する。次いで、トークバック音声が出力される(ステップST13)。
以上の構成により、例えば、あらかじめ指情報と指に関連する音情報を登録しておけば、人差し指をキーに近づけると「現在地」とトークバックし、中指をキーに近づけると「押下すると、現在地画面に戻ります」とトークバックするといった機能を実現できる。
以上説明したように、この発明の実施の形態7に係る車載情報装置によれば、キーに近づける指を変えるだけで、複数の異なる情報を簡単に得ることができる。
なお、この実施の形態7に係る車載情報装置は、次のように変形できる(第1変形例)。すなわち、指情報格納部44は、複数のユーザの各指の指紋情報を格納しておく。また、指情報判定部38は、指情報取得部18から送られてくる指画像と、指情報格納部44から読み出した指紋情報とを照合することによりユーザ(主体)およびそのユーザの指の種類を判別する。そして、音出力制御部32は、図15のステップST53において、指情報判定部38により判定されたユーザおよびそのユーザの指の種類に応じて、音情報格納部41に格納されている音情報の中からトークバック音声の音情報を選択する。
この実施の形態7の第1変形例によれば、誰がどの指をキーに近づけたのかによって、キーのトークバック内容を変えることができるので、ユーザの切換などを行わなくても、簡単に各ユーザ向けの情報を得ることができる。例えば、ユーザAはドライバ、ユーザBは常に助手席に座るユーザというように、ユーザ毎に使用する機能が異なるが、あらかじめ指情報と指に関連する音情報を登録しておけば、通常運転するユーザAがキーを操作した場合はナビゲーション操作のトークバック音声を、助手席に座るユーザBがキーを操作した場合はAV操作のトークバック音声を発生させるといった利用が可能である。
具体的には、例えば、ユーザAが人差し指をキーに近づけると「現在地」とトークバックし、中指をキーに近づけると「押下すると、現在地画面に戻ります」とトークバックし、ユーザBが人差し指をキーに近づけると「ミュージック」とトークバックし、中指をキーに近づけると「押下すると、音楽を再生します」とトークバックするといった機能を実現できる。
また、この実施の形態7に係る車載情報装置は、次のように変形できる(第2変形例)。すなわち、指情報格納部44は、複数のユーザの各指の指紋情報を格納する。また、指情報判定部38は、指情報取得部18から送られてくる指画像と、指情報格納部44から読み出した指紋情報とを照合することによりユーザ(主体)およびそのユーザの複数の指の種類を判別する。そして、音出力制御部32は、図15のステップST53において、指情報判定部38により判定されたユーザおよびそのユーザの複数の指の種類の組み合わせに応じて、音情報格納部41に格納されている音情報の中からトークバック音声の音情報を選択する。
この実施の形態7の第2変形例によれば、キーに近づける指の組み合わせを変えるだけで、複数の異なる情報を簡単に得ることができる。例えば、ユーザAはドライバ、ユーザBは常に助手席に座るユーザというように、ユーザ毎に使用する機能が異なるが、あらかじめ指情報と指に関連する音情報を登録しておけば、例えば、ユーザAが人差し指をキーに近づけると「現在地」とトークバックし、中指と薬指をキーに近づけると「押下すると、現在地画面に戻ります」とトークバックし、ユーザBが人差し指をキーに近づけると「ミュージック」とトークバックし、中指と薬指をキーに近づけると「押下すると、音楽を再生します」とトークバックするといった機能を実現できる。
また、この実施の形態7に係る車載情報装置は、次のように変形できる(第3変形例)。すなわち、この第3変形例は、上述した第2変形例において、指情報判定部38で判定された複数の指の種類および指が検出された順番に応じて、異なるトークバック音声を出力するようにしたものである。図18は、この発明の実施の形態7の第3変形例に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、指情報の取得が行われる(ステップST51)。次いで、指判定が行われる(ステップST52)。
次いで、次の指が検出されたかどうかが調べられる(ステップST61)。すなわち、指位置検出部31は、位置検出センサ17から送られてくる信号に基づき、キーから指までの距離が所定値以下を保っているかどうかを調べる。このステップST61において、次の指が検出されたことが判断されると、シーケンスはステップST51に戻り、上述した処理が繰り返される。
一方、ステップST61において、次の指が検出されなかったことが判断されると、指の種類および指が検出された順番に応じて、音情報の選択が行われる(ステップST62)。すなわち、音出力制御部32は、音情報格納部41に格納されている音情報の中から、指位置検出部31から送られてくる検出結果によって示される、指の接近が検出されたキーに対応する音情報であって、且つ、指情報判定部38から送られてくる判定結果によって示される指の種類および指の検出順番に対応する音情報を選択する。次いで、トークバック音声が出力される(ステップST13)。
この実施の形態7の第3変形例によれば、キーに近づける指の順番を変えるだけで、複数の異なる情報を簡単に得ることができる。例えば、ユーザAが人差し指、中指および人差し指の順番でキーに近づけると「現在地」とトークバックし、中指および人差し指の順番でキーに近づけると「押下すると、現在地画面に戻ります」とトークバックし、ユーザBが人差し指、中指および人差し指の順番でキーに近づけると「ミュージック」とトークバックし、中指および人差し指の順番でキーに近づけると「押下すると、音楽を再生します」とトークバックするといった機能を実現できる。
実施の形態8.
この発明の実施の形態8に係る車載情報装置は、キーに接近する指の種類を判定し、判定結果に応じてキーの機能を変更するようにしたものである。この実施の形態8に係る車載情報装置は、制御部21の構成および動作のみが実施の形態7に係る車載情報装置と異なる。したがって、以下では、実施の形態7に係る車載情報装置と異なる部分を中心に説明する。
図16は、実施の形態8に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態7の構成に、車載情報機器制御部36が追加されて構成されている。車載情報機器制御部36は、指情報判定部38から送られてくる判定結果に基づき、キーに割り当てられている機能を変更する。
次に、上記のように構成される、この発明の実施の形態8に係る車載情報装置の動作を説明する。図17は、この発明の実施の形態8に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、指情報の取得が行われる(ステップST51)。次いで、指判定が行われる(ステップST52)。次いで、指の種類に応じたキーの機能が選択される(ステップST54)。すなわち、車載情報機器制御部36は、指情報判定部38から送られてくる判定結果に基づき、指位置検出部31によって指の接近が検出されたキーに割り当てられている機能を変更し、この機能に対応した処理を実行する。
以上の構成により、例えば、あらかじめ指情報と指に関連する音情報を登録しておけば、人差し指をキーに近づけると「現在地キー」となり、中指をキーに近づけると「縮尺切換キー」となるといった機能を実現できる。
以上説明したように、この発明の実施の形態8に係る車載情報装置によれば、1つのキーに複数(各指毎など)の機能を持たせることができるので、1つのキーで様々な操作が可能になる。
なお、この実施の形態8に係る車載情報装置は、次のように変形できる(第1変形例)。すなわち、指情報格納部44は、複数のユーザの各指の指紋情報を格納しておく。また、指情報判定部38は、指情報取得部18から送られてくる指画像と、指情報格納部44から読み出した指紋情報とを照合することによりユーザ(主体)およびそのユーザの指の種類を判別する。そして、音出力制御部32は、図17のステップST54において、指情報判定部38により判定されたユーザおよびそのユーザの指の種類に応じて、音情報格納部41に格納されている音情報の中からトークバック音声の音情報を選択する。
この実施の形態8の第1変形例によれば、誰がどの指をキーに近づけたのかによって、キーの機能を変えることができるので、ユーザの切換などを行わなくても、簡単に各ユーザ向けのキー機能に設定できる。例えば、ユーザAはドライバ、ユーザBは常に助手席に座るユーザというように、ユーザ毎に使用する機能が異なるが、あらかじめ指情報と指に関連する音情報を登録しておけば、通常運転するユーザAがキーを操作した場合はナビゲーション操作の機能を、助手席に座るユーザBがキーを操作した場合はAV操作の機能を行わせるといった利用が可能である。
具体的には、例えば、ユーザAが人差し指をあるキーに近づけると、そのキーは「現在地キー」となり、中指と薬指をあるキーに近づけると、そのキーは「縮尺切換キー」となり、ユーザBが人差し指をあるキーに近づけると、そのキーは「ミュージックキー」となり、中指と薬指をあるキーに近づけると、そのキーは「テレビキー」になるというように、キー機能を変更することができる。
さらに、この実施の形態8に係る車載情報装置は、次のように変形できる(第2変形例)。すなわち、指情報格納部44は、複数のユーザの各指の指紋情報を格納する。また、指情報判定部38は、指情報取得部18から送られてくる指画像と、指情報格納部44から読み出した指紋情報とを照合することによりユーザ(主体)およびそのユーザの複数の指の種類を判別する。そして、音出力制御部32は、図15のステップST53において、指情報判定部38により判定されたユーザおよびそのユーザの複数の指の種類の組み合わせに応じて、音情報格納部41に格納されている音情報の中からトークバック音声の音情報を選択する。
この実施の形態8の第2変形例によれば、キーに近づける指の組み合わせを変えるだけで、複数の異なる情報を簡単に得ることができる。例えば、ユーザAが人差し指をあるキーに近づけると、そのキーは「現在地キー」となり、中指と薬指をあるキーに近づけると、そのキーは「縮尺切換キー」となり、ユーザBが人差し指をあるキーに近づけると、そのキーは「ミュージックキー」となり、中指と薬指をあるキーに近づけると、そのキーは「テレビキー」になるというように、キー機能を変更することができる。
また、この実施の形態8に係る車載情報装置は、次のように変形できる(第3変形例)。すなわち、この第3変形例は、上述した第2変形例において、指情報判定部38で判定された複数の指の種類および指が検出された順番に応じて、キーの機能を変更するようにしたものである。図19は、この発明の実施の形態8の第3変形例に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、指情報の取得が行われる(ステップST51)。次いで、指判定が行われる(ステップST52)。
次いで、次の指が検出されたかどうかが調べられる(ステップST61)。このステップST61において、次の指が検出されたことが判断されると、シーケンスはステップST51に戻り、上述した処理が繰り返される。一方、ステップST61において、次の指が検出されなかったことが判断されると、指の種類および指が検出された順番に応じて、キー機能の変更が行われる(ステップST63)。すなわち、すなわち、車載情報機器制御部36は、指情報判定部38から送られてくる判定結果に基づき、指位置検出部31によって指の接近が検出されたキーに割り当てられている機能を変更し、この機能に対応した処理を実行する。
この実施の形態8の第3変形例によれば、キーに近づける指の組み合わせとその順番を変えるだけで、1つのキーに複数の機能を持たせることができ、様々な操作が可能になる。例えば、ユーザAが人差し指、中指および人差し指の順番でキーに近づけると「現在地キー」となり、中指および人差し指の順番でキーに近づけると「縮尺切換キー」になり、ユーザBが人差し指、中指および人差し指の順番でキーに近づけると「ミュージックキー」になり、中指および人差し指の順番でキーに近づけると「テレビキー」になるといった機能を実現できる。
実施の形態9.
この発明の実施の形態9に係る車載情報装置は、指がキーに近づく速度に応じて、トークバック音声の長さまたは速度を変更して出力するようにしたものである。この実施の形態9に係る車載情報装置は、データ記録部14に記録される情報、ならびに、制御部21の構成および動作が実施の形態1に係る車載情報装置と異なる。したがって、以下では、実施の形態1に係る車載情報装置と異なる部分を中心に説明する。
図20は、実施の形態9に係る車載情報装置の制御部21の機能的な構成を示す機能ブロック図である。この制御部21は、実施の形態1の構成に、速度検出部39が追加されるとともに、データ記録部14に、速度情報格納部45が追加されて構成されている。
速度検出部39は、置検出センサ17から送られてくる信号に基づき、指がキーに接近する速度、より具体的には、指からキーまでの距離が所定値以下になるまでの指の移動速度を検出する。この速度検出部39により検出された速度は、音出力制御部32に送られる。
速度情報格納部45は、速度検出部39で検出される速度と、音情報に基づき出力される音の長さまたは速度を規定する速度情報との対応関係を格納している。速度情報の具体例としては、ビープ音の長さ、または、キー名称またはキー機能を説明するトークバック音声の速度を指定する情報などを挙げることができる。この速度情報格納部45に格納されている速度情報は、音出力制御部32によって読み出される。
次に、上記のように構成される、この発明の実施の形態9に係る車載情報装置の動作を説明する。図21は、この発明の実施の形態9に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、音情報の選択が行われる(ステップST12)。次いで、速度判定が行われる(ステップST71)。すなわち、速度検出部39は、置検出センサ17から送られてくる信号に基づき、指がキーに接近する速度を検出し、音出力制御部32に送る。
次いで、音声出力速度が決定される(ステップST72)。すなわち、音出力制御部32は、速度検出部39から受け取った速度に対応する速度情報を速度情報格納部45から取得する。次いで、トークバック音声が出力される(ステップST13)。すなわち、音出力制御部32は、ステップST12で選択された音情報を、ステップST72で取得した速度情報にしたがって変更し、音声出力部20に送る。これにより、音声出力部20から、指がキーに近づく速度に応じて、長さまたは速度が変更されたトークバック音声が出力される。
以上説明したように、この発明の実施の形態9に係る車載情報装置によれば、指がキーに近づく速度に応じて長さまたは速度が変更されたトークバック音声を出力するように構成したので、ユーザに好適なビープ音またはトークバック音声を提供することができる。例えば、指が素早くキーに近づけられる場合は、ユーザがせっかちまたは操作に慣れていると判断し、ビープ音を短くしたり、トークバック音声を早口で出力する。その結果、ユーザは、素早い操作を行うことができる。一方、指がゆっくりとキーに近づけられる場合は、ユーザがゆっくりした操作を望んでいる、または操作に慣れていないと判断し、ビープ音を長くしたり、トークバック音声をゆっくり出力する。その結果、ユーザは、落ち着いて操作を行うことができる。
実施の形態10.
この発明の実施の形態10に係る車載情報装置は、指がキーに近づく速度に応じて、トークバック音声の音色、音高または内容を変更して出力するようにしたものである。この実施の形態10に係る車載情報装置は、データ記録部14の速度情報格納部45に格納される速度情報が実施の形態9に係る車載情報装置と異なる。したがって、以下では、実施の形態9に係る車載情報装置と異なる部分を中心に説明する。
速度情報格納部42は、速度検出部39で検出された速度と、音情報に基づき出力される音の音色、音高または内容を規定する速度情報との対応関係を格納している。速度情報の具体例としては、ビープ音の音色および音高、キー名称またはキー機能を説明するトークバックの内容などを挙げることができる。この速度情報格納部45に格納されている速度情報は、音出力制御部32によって読み出される。
次に、上記のように構成される、この発明の実施の形態10に係る車載情報装置の動作を説明する。図22は、この発明の実施の形態10に係る車載情報装置で行われるキー操作処理を示すフローチャートである。なお、上述した各実施の形態に係る車載情報装置と同一または相当する処理を行うステップには、それらで使用した符号と同一の符号を付して説明を省略または簡略化する。
キー操作処理では、まず、指が接近したかどうかが調べられる(ステップST11)。このステップST11において、指が接近していないことが判断されると、このステップST11を繰り返し実行しながら待機する。一方、ステップST11において、指がキーに接近したことが判断されると、次いで、音情報の選択が行われる(ステップST12)。次いで、速度判定が行われる(ステップST71)。
次いで、音声出力内容が決定される(ステップST81)。すなわち、音出力制御部32は、速度検出部39から受け取った速度に対応する速度情報を速度情報格納部45から取得する。次いで、トークバック音声が出力される(ステップST13)。すなわち、音出力制御部32は、ステップST12で選択された音情報を、ステップST81で取得した速度情報にしたがって変更し、音声出力部20に送る。これにより、音声出力部20から、指がキーに近づく速度に応じて、音色、音高または内容が変更されたトークバック音声が出力される。
以上説明したように、この発明の実施の形態10に係る車載情報装置によれば、指がキーに近づく速度に応じて音色、音高または内容が変更されたトークバック音声を出力するように構成したので、ユーザに好適なビープ音またはトークバック音声を提供することができる。例えば、指が素早くキーに近づけられる場合は、ユーザがせっかちまたは操作に慣れていると判断し、トークバックを短縮して出力するように構成できる。その結果、ユーザは、素早い操作を行うことができる。一方、指がゆっくりとキーに近づけられる場合は、ユーザがゆっくりした操作を望んでいる、または操作に慣れていないと判断し、ユーザが焦らないような音色でビープ音を出力したり、説明を付加した長いトークバックを出力するように構成できる。その結果、ユーザは、ゆっくり操作を行うことができる。
実施の形態11.
この発明の実施の形態11に係る車載情報装置は、実施の形態2〜実施の形態10に係る車載情報装置において、当該車載情報装置の筐体の一部に、入力操作部15に備えられたキーに対する指の位置を測ることができるように、ユーザの手または腕の一部を置くための位置決め部を設けたものである。実施の形態11に係る車載情報装置の電気的な構成は、上述した実施の形態1〜実施の形態10のいずれかに係る車載情報装置と同じ構成にすることができる。
図23は、実施の形態11に係る車載情報装置の構成を示す図である。この図23は、表示部19として液晶ディスプレイ装置が使用され、入力操作部15として液晶ディスプレイの画面上に載置されたタッチパネルが使用されている例を示している。タッチパネル上には、画面に図形を表示することによってキーが形成される。
また、表示部19の画面を支持する枠51には、位置決め部52が形成されている。位置決め部52は、ユーザが手の一部、例えば1つの指を置くことにより、他の指で入力操作部15のキーの位置を測ることができる位置に設けられている。位置決め部52は、枠51に凸部または凹部などを設けることにより形成することができる。なお、位置決め部51は、腕の一部、例えば手首を置くように、筐体の一部に設けることもできる。
以上説明したように、この発明の実施の形態11に係る車載情報装置によれば、振動などにより指をキーに上手に近づけることが難しい場合であっても、指または手首などを位置決め部51に固定することにより、指をキーに容易に近づけることができる。その結果、確実なキー操作を行うことができる。
なお、上述した実施の形態2〜実施の形態10に係る車載情報装置の各々は、実施の形態1に係る車載情報装置に新たな構成要件を付加して構成したものであるが、実施の形態1に係る車載情報装置に、実施の形態2〜実施の形態10に係る車載情報装置のうちの少なくとも2つ以上を組み合わせて構成することができる。この場合、組み合わせに係る車載情報装置による効果を併せた効果が得られる。
以上のように、この発明に係る車載情報装置は、指がキーに触れなくても接近しただけで、そのキーに対応するトークバック音声(例えば、ビープ音、キー名称またはキー機能を説明する音声)が発生され、走行中であっても安全を阻害することなくキー操作を行うことができるようにしたので、カーナビゲーション装置、カーオーディオ機器、AV機器、ETC機器などに用いるのに適している。
この発明に係る車載情報装置は、上記課題を解決するために、入力を行うためのキーを備えた入力操作部と、入力操作部のキーに指が接近したことを検出する指位置検出部と、トークバック音声を発生するための音情報をキーに対応させて格納した音情報格納部と、指位置検出部によって指の接近が検出された場合に、音情報格納部に格納されている音情報の中から、指位置検出部によって指の接近が検出されたキーに対応する音情報を選択する音出力制御部と、音出力制御部によって選択された音情報に基づきトークバック音声を出力する音声出力部と、指位置検出部によって指の接近が検出されてからの経過時間を検出する経過時間検出部と、音声を入力する音声入力部と、音声入力部から入力された音声を認識する音声認識部と、指位置検出部によって指の接近が検出された場合に、キーから指までの距離を検出する距離検出部を備え、音出力制御部は、経過時間検出部で所定時間の経過が検出された場合に、音情報格納部に格納されている音情報の中から、指位置検出部によって指の接近が検出されたキーに対応する他の音情報を選択し、または、前記指位置検出部によって指の接近が検出されたキーが押下されたとみなす決定操作を行い、音出力制御部は、音情報格納部に格納されている音情報の中から、指位置検出部によって指の接近が検出されたキーに対応する音声情報であって、音声認識部で認識された音声による指示に応じて音情報を選択し、または、指位置検出部によって指の接近が検出されたキーが押下されたとみなす決定操作を行い、音出力制御部は、音情報格納部に格納されている音情報の中から、距離検出部で検出された距離に応じた音情報を選択する

Claims (17)

  1. 入力を行うためのキーを備えた入力操作部と、
    前記入力操作部のキーに指が接近したことを検出する指位置検出部と、
    トークバック音声を発生するための音情報を前記キーに対応させて格納した音情報格納部と、
    前記指位置検出部によって指の接近が検出された場合に、前記音情報格納部に格納されている音情報の中から、前記指位置検出部によって指の接近が検出されたキーに対応する音情報を選択する音出力制御部と、
    前記音出力制御部によって選択された音情報に基づきトークバック音声を出力する音声出力部とを備えた車載情報装置。
  2. 指位置検出部によって指の接近が検出されてからの経過時間を検出する経過時間検出部を備え、
    音出力制御部は、前記経過時間検出部で所定時間の経過が検出された場合に、前記音情報格納部に格納されている音情報の中から、前記指位置検出部によって指の接近が検出されたキーに対応する他の音情報を選択し、または、前記指位置検出部によって指の接近が検出されたキーが押下されたとみなす決定操作を行う
    ことを特徴とする請求項1記載の車載情報装置。
  3. 音声を入力する音声入力部と、
    前記音声入力部から入力された音声を認識する音声認識部とを備え、
    音出力制御部は、前記音情報格納部に格納されている音情報の中から、前記指位置検出部によって指の接近が検出されたキーに対応する音声情報であって、前記音声認識部で認識された音声による指示に応じて音情報を選択し、または、前記指位置検出部によって指の接近が検出されたキーが押下されたとみなす決定操作を行う
    ことを特徴とする請求項1記載の車載情報装置。
  4. 指位置検出部によって指の接近が検出された場合に、キーから指までの距離を検出する距離検出部を備え、
    音出力制御部は、前記音情報格納部に格納されている音情報の中から、前記距離検出部で検出された距離に応じた音情報を選択する
    ことを特徴とする請求項1記載の車載情報装置。
  5. 入力操作部のキーの操作に応じて車載情報機器を制御する車載情報機器制御部とを備え、
    車載情報機器制御部は、前記距離検出部で検出された距離に応じて、キーの機能を変更する
    ことを特徴とする請求項4記載の車載情報装置。
  6. 画像を表示するための画像情報を格納した画像情報格納部と、
    指位置検出部によって指の接近が検出された場合または車載情報機器制御部によってキーの機能が変更された場合に、前記画像情報格納部に格納されている画像情報の中から、表示すべき画像の画像情報を選択する画面表示制御部と、
    前記画面表示制御部によって選択された画像情報に基づき画像を表示する表示部とを備えたことを特徴とする請求項5記載の車載情報装置。
  7. 指位置検出部で検出された接近する指の種類を判定する指情報判定部を備え、
    音出力制御部は、前記指情報判定部により判定された指の種類に応じて、音情報格納部に格納されている音情報の中からトークバック音声の音情報を選択する
    ことを特徴とする請求項1記載の車載情報装置。
  8. 車載情報機器を制御する車載情報機器制御部を備え、
    前記車載情報機器制御部は、前記指情報判定部で判定された指の種類に応じて、キーの機能を変更する
    ことを特徴とする請求項7記載の車載情報装置。
  9. 指情報判定部は、さらに、指位置検出部で検出された接近する指の主体を判定し、
    音出力制御部は、前記指情報判定部により判定された指の種類および指の主体に応じて、音情報格納部に格納されている音情報の中からトークバック音声の音情報を選択する
    ことを特徴とする請求項7記載の車載情報装置。
  10. 指情報判定部は、さらに、指位置検出部で検出された接近する指の主体を判定し、
    前記車載情報機器制御部は、前記指情報判定部で判定された指の種類および指の主体に応じて、キーの機能を変更する
    ことを特徴とする請求項8記載の車載情報装置。
  11. 指情報判定部は、さらに、指位置検出部で検出された接近する複数の指の種類を判定し、
    音出力制御部は、前記指情報判定部により判定された複数の指の種類の組み合わせに応じて、音情報格納部に格納されている音情報の中からトークバック音声の音情報を選択する
    ことを特徴とする請求項7記載の車載情報装置。
  12. 指情報判定部は、指位置検出部で検出された接近する複数の指の種類を判定し、
    前記車載情報機器制御部は、前記指情報判定部で判定された複数の指の種類の組み合わせに応じて、キーの機能を変更する
    ことを特徴とする請求項8記載の車載情報装置。
  13. 指情報判定部は、指位置検出部で検出された接近する複数の指の種類および検出された順番を判定し、
    音出力制御部は、前記指情報判定部により判定された複数の指の種類および検出された順番に応じて、音情報格納部に格納されている音情報の中からトークバック音声の音情報を選択する
    ことを特徴とする請求項7記載の車載情報装置。
  14. 指情報判定部は、指位置検出部で検出された接近する複数の指の種類および検出された順番を判定し、
    前記車載情報機器制御部は、前記指情報判定部で判定された複数の指の種類および検出された順番に応じて、キーの機能を変更する
    ことを特徴とする請求項8記載の車載情報装置。
  15. 入力操作部のキーに指が接近する速度を検出する速度検出部と、
    前記速度検出部で検出された速度と音情報に基づき出力される音の長さまたは速度を規定する速度情報との対応関係を格納した速度情報格納部とを備え、
    音出力制御部は、指位置検出部によって指の接近が検出された場合に、音情報格納部に格納されている音情報の中から、前記指位置検出部によって指の接近が検出されたキーに対応する音情報を選択し、前記速度検出部で検出された速度に対応する速度情報を前記速度情報格納部から読み出し、前記選択した音情報を、該読み出した速度情報に応じて変更して出力する
    ことを特徴とする請求項1記載の車載情報装置。
  16. 入力操作部のキーに指が接近する速度を検出する速度検出部と、
    前記速度検出部で検出された速度と音情報に基づき出力される音の音色、音高または内容を規定する速度情報との対応関係を格納した速度情報格納部とを備え、
    音出力制御部は、指位置検出部によって指の接近が検出された場合に、音情報格納部に格納されている音情報の中から、前記指位置検出部によって指の接近が検出されたキーに対応する音情報を選択し、前記速度検出部で検出された速度に対応する速度情報を前記速度情報格納部から読み出し、前記選択した音情報を、該読み出した速度情報に応じて変更してい出力する
    ことを特徴とする請求項1記載の車載情報装置。
  17. 入力操作部に備えられたキーに対する指の位置を測ることができるように、手または腕の一部を置くための位置決め部
    を備えたことを特徴とする請求項1記載の車載情報装置。
JP2008521107A 2006-06-14 2007-03-08 車載情報装置 Expired - Fee Related JP4554707B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006165114 2006-06-14
JP2006165114 2006-06-14
PCT/JP2007/054571 WO2007145003A1 (ja) 2006-06-14 2007-03-08 車載情報装置

Publications (2)

Publication Number Publication Date
JPWO2007145003A1 true JPWO2007145003A1 (ja) 2009-10-29
JP4554707B2 JP4554707B2 (ja) 2010-09-29

Family

ID=38831525

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008521107A Expired - Fee Related JP4554707B2 (ja) 2006-06-14 2007-03-08 車載情報装置

Country Status (2)

Country Link
JP (1) JP4554707B2 (ja)
WO (1) WO2007145003A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4650559B2 (ja) * 2008-11-25 2011-03-16 ソニー株式会社 情報処理装置、情報処理方法、情報処理システムおよび情報処理用プログラム
US20100302175A1 (en) * 2009-05-29 2010-12-02 Agere Systems Inc. User interface apparatus and method for an electronic device touchscreen
JP2012073042A (ja) * 2010-09-27 2012-04-12 Jvc Kenwood Corp 操作信号生成装置、および、操作信号生成方法
JP5690184B2 (ja) * 2011-03-28 2015-03-25 株式会社デンソーアイティーラボラトリ 車載機器操作支援装置
KR102270574B1 (ko) * 2014-11-28 2021-06-29 현대모비스 주식회사 차량 키 음성 알림 시스템 및 방법
JP6708095B2 (ja) 2016-10-24 2020-06-10 カシオ計算機株式会社 バーコード読取装置及びプログラム
US11093554B2 (en) 2017-09-15 2021-08-17 Kohler Co. Feedback for water consuming appliance
US10887125B2 (en) 2017-09-15 2021-01-05 Kohler Co. Bathroom speaker
US10448762B2 (en) 2017-09-15 2019-10-22 Kohler Co. Mirror
US11314214B2 (en) 2017-09-15 2022-04-26 Kohler Co. Geographic analysis of water conditions
US11099540B2 (en) 2017-09-15 2021-08-24 Kohler Co. User identity in household appliances
JP2021149759A (ja) * 2020-03-23 2021-09-27 ヤマハ株式会社 情報処理方法、情報処理システムおよびプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04355815A (ja) * 1991-06-03 1992-12-09 Pfu Ltd タッチスクリーン
JPH05150925A (ja) * 1991-05-31 1993-06-18 Philips Gloeilampenfab:Nv 人間−マシンインタフエースを具えた装置
JPH07121294A (ja) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JPH0895688A (ja) * 1994-09-28 1996-04-12 Matsushita Electric Ind Co Ltd インタフェース装置
JPH0981364A (ja) * 1995-09-08 1997-03-28 Nippon Telegr & Teleph Corp <Ntt> マルチモーダル情報入力方法及び装置
JP2001296576A (ja) * 2000-04-14 2001-10-26 Olympus Optical Co Ltd 操作装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05150925A (ja) * 1991-05-31 1993-06-18 Philips Gloeilampenfab:Nv 人間−マシンインタフエースを具えた装置
JPH04355815A (ja) * 1991-06-03 1992-12-09 Pfu Ltd タッチスクリーン
JPH07121294A (ja) * 1993-08-31 1995-05-12 Nippon Telegr & Teleph Corp <Ntt> 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
JPH0895688A (ja) * 1994-09-28 1996-04-12 Matsushita Electric Ind Co Ltd インタフェース装置
JPH0981364A (ja) * 1995-09-08 1997-03-28 Nippon Telegr & Teleph Corp <Ntt> マルチモーダル情報入力方法及び装置
JP2001296576A (ja) * 2000-04-14 2001-10-26 Olympus Optical Co Ltd 操作装置

Also Published As

Publication number Publication date
JP4554707B2 (ja) 2010-09-29
WO2007145003A1 (ja) 2007-12-21

Similar Documents

Publication Publication Date Title
JP4554707B2 (ja) 車載情報装置
JP4292646B2 (ja) ユーザインタフェース装置、ナビゲーションシステム、情報処理装置及び記録媒体
JP4804052B2 (ja) 音声認識装置、音声認識装置を備えたナビゲーション装置及び音声認識装置の音声認識方法
JP5355591B2 (ja) ナビゲーション装置
EP1450349B1 (en) Vehicle-mounted control apparatus and program that causes computer to execute method of providing guidance on the operation of the vehicle-mounted control apparatus
EP1908639B1 (en) Infotainment system
US9881605B2 (en) In-vehicle control apparatus and in-vehicle control method
WO2014109017A1 (ja) 音声認識装置および表示方法
US20080215240A1 (en) Integrating User Interfaces
JP2011511935A (ja) 自動音声認識用の動的なユーザーインターフェース
RU2425329C2 (ru) Навигационное устройство и способ для приема и воспроизведения звуковых образцов
JP2013140269A (ja) 音声認識装置
US7027565B2 (en) Voice control system notifying execution result including uttered speech content
WO2016174955A1 (ja) 情報処理装置、及び、情報処理方法
JP4290828B2 (ja) インタフェース装置
JP2002340580A (ja) 情報記録装置
TW410321B (en) Customized voice navigation device
JP2001042891A (ja) 音声認識装置、音声認識搭載装置、音声認識搭載システム、音声認識方法、及び記憶媒体
JP3818352B2 (ja) ナビゲーション装置及び記憶媒体
JP4093394B2 (ja) 音声認識装置
JP2009025753A (ja) 音声認識装置及び音声認識方法
JP2000305596A (ja) 音声認識装置及びナビゲーション装置
JP2006284677A (ja) 音声案内装置、音声案内装置の制御方法及び制御プログラム
JP2008003371A (ja) 車載用音声認識装置及び音声コマンド登録方法
EP0716405B1 (en) Device for displaying map information, device for displaying path of traveling vehicle, and speech outputting device for route guiding device

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100706

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100714

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4554707

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees