JP4700904B2 - 情報処理装置及び走行情報音声案内方法 - Google Patents

情報処理装置及び走行情報音声案内方法 Download PDF

Info

Publication number
JP4700904B2
JP4700904B2 JP2003408726A JP2003408726A JP4700904B2 JP 4700904 B2 JP4700904 B2 JP 4700904B2 JP 2003408726 A JP2003408726 A JP 2003408726A JP 2003408726 A JP2003408726 A JP 2003408726A JP 4700904 B2 JP4700904 B2 JP 4700904B2
Authority
JP
Japan
Prior art keywords
music
audio signal
output
information
voice guidance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003408726A
Other languages
English (en)
Other versions
JP2005172450A (ja
Inventor
智 小田川
真一 莪山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2003408726A priority Critical patent/JP4700904B2/ja
Priority to US11/003,329 priority patent/US7228229B2/en
Priority to EP04028957A priority patent/EP1542193B1/en
Priority to DE602004008196T priority patent/DE602004008196T2/de
Publication of JP2005172450A publication Critical patent/JP2005172450A/ja
Application granted granted Critical
Publication of JP4700904B2 publication Critical patent/JP4700904B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Navigation (AREA)

Description

本発明は、楽曲再生装置を備え、移動体の走行情報を音声案内する情報処理装置及び走行情報音声案内方法に関する。
車両の運転者や同乗者に対して走行中の自車の位置や目的地までの経路を案内する装置としては、車載ナビゲーション装置が知られている。そのナビゲーション装置は、例えば、GPS(グローバルポジショニングシステム)を利用しており、人工衛星から送信された電波を受信し、受信信号に基づいて現在の自車位置及び進行方位を含む自車位置情報を演算して検出し、自車位置における目的地への経路を地図データから検索し、表示器上に地図と共に自車位置を表示し、それに併せて目的地までの経路又は進路方向を表示するものである。
また、車載ナビゲーション装置には、音声で目的地までの経路等の走行情報を運転者に与える音声案内機能を備えたものも既に知られている。例えば、目的地までの経路上の交差点に接近すると、「次の交差点を右折してください」の如き走行情報が音声にて出力される。
音声案内機能を備えた車載ナビゲーション装置は、一般に、車載オーディオ装置と連動するように構成されている。すなわち、車載オーディオ装置で音楽再生中に、車載ナビゲーション装置が音声案内を行う状態になると、車載ナビゲーション装置のコントローラがオーディオ装置を制御して音楽再生を一時的に停止させたり、音楽再生音の出力レベルを減少させることにより、車載ナビゲーション装置の音声案内が運転者等のユーザに聞き取り易くなるようにしている。
しかしながら、音楽聴取中のユーザにとって、車載ナビゲーション装置が音声案内を行う度に音楽再生音レベルが変動したり音楽再生自体が停められてしまう故に、音楽を十分に楽しむことができないという欠点があった。
このことは、車両に搭載されたナビゲーション装置等の情報処理装置に限らず、他の移動体において楽曲再生装置を備え、走行情報を音声案内する情報処理装置についても同様である。
本発明が解決しようとする課題には、上記の欠点が一例として挙げられ、音楽再生中に音楽聴取の妨げとなることをできるだけ避けつつ走行情報の音声案内を確実に行うことができる移動体用の情報処理装置及び走行情報音声案内方法を提供することが本発明の目的である。
請求項1に係る発明の情報処理装置は、移動体の走行情報を音声案内する情報処理装置であって、楽曲音を示す楽曲オーディオ信号を出力する楽曲再生手段と、前記走行情報を生成する走行情報生成手段と、前記走行情報生成手段によって前記走行情報が生成されたときに前記楽曲再生手段が前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別手段と、前記楽曲再生判別手段によって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力手段と、を備え、前記音声案内出力手段は、前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲再生手段を制御することを特徴としている。
請求項に係る発明の走行情報音声案内方法は、移動体の走行情報を音声案内する情報処理装置における走行情報音声案内方法であって、楽曲音を示す楽曲オーディオ信号を出力する楽曲再生ステップと、前記走行情報を生成する走行情報生成ステップと、前記走行情報生成ステップにて前記走行情報が生成されたときに前記楽曲再生ステップが前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別ステップと、前記楽曲再生判別ステップによって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力ステップと、前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲オーディオ信号の出力を制御するステップと、を備えたことを特徴としている。
請求項に係る発明のプログラムは、移動体の走行情報を音声案内する走行情報音声案内方法をコンピュータに実行させる走行情報音声案内プログラムであって、前記走行情報音声案内方法は、楽曲音を示す楽曲オーディオ信号を出力する楽曲再生ステップと、前記走行情報を生成する走行情報生成ステップと、前記走行情報生成ステップにて前記走行情報が生成されたときに前記楽曲再生ステップが前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別ステップと、前記楽曲再生判別ステップによって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力ステップと、前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲オーディオ信号の出力を制御するステップと、を備えたことを特徴としている。
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
図1は本発明を適用した音声案内付き車載ナビゲーション装置を示している。このナビゲーション装置は、GPS(グローバルポジショニングシステム)部1、音声生成部2、オーディオ再生部3、音声切替出力部4、コントローラ5、センサ部6、表示部7、操作部8、音楽ソース蓄積部9、楽曲情報蓄積部10及びスピーカ11を備えている。GPS部1、音声生成部2、オーディオ再生部3、音声切替出力部4、センサ部6、表示部7、操作部8、音楽ソース蓄積部9及び楽曲情報蓄積部10はコントローラ5に接続されている。
GPS部1は、GPS用のアンテナ1aにて人工衛星から送信された電波を受信し、その受信信号に基づいて現在の自車位置及び進行方位を含むGPS自車位置データを演算して検出する。
センサ部6は、車両の走行距離を検出する距離センサ6aと、時間を計測するカウンタ6bとを少なくとも有している。距離センサ6a及びカウンタ6b各々の出力はコントローラ5に接続されている。センサ部6には、車両の車速、エンジン回転数、進行方位等の他の運転状態を検出するセンサを備えても良い。更には、他の車両や情報発信センタ(情報提供用のサーバ)から走行情報を得るために無線通信装置を備えても良い。
コントローラ5は、GPS部1、音声生成部2、オーディオ再生部3、音声切替出力部4、表示部7、音楽ソース蓄積部9、及び楽曲情報蓄積部10を制御する。
また、コントローラ5は、記録媒体(図示せず)に予め記録された地図データを用いて現在位置から目的地までの経路を演算する。また、その記録媒体に予め記録された地図データ等の表示データを読み出して表示部7に供給する。更に、現在の自車位置が交差点等のポイントに接近すると、運転者に対する走行情報(ディジタル信号)を生成する。例えば、目的地までの経路において次の交差点で右折の必要がある場合には、次の交差点で右折するというアナウンス内容を示す走行情報を生成する。走行情報はディジタルオーディオ信号或いはその圧縮信号でも良く、更には、オーディオ信号成分を含まないでアナウンスの内容に対応したデータでも良い。また、走行情報には、その内容についての緊急度が少なくとも高低で示されている。例えば、走行情報が、「次の交差点を右折してください」を示す場合には緊急度は高とされ、「○km先に渋滞が発生しています」や「日が暮れました。ライトの確認を」を示す場合には緊急度は低とされている。
音声生成部2は、コントローラ5から供給される走行情報をアナログのオーディオ信号に変換して音声切替出力部4に供給する。
オーディオ再生部3は楽曲を再生する装置であって、音楽ソース蓄積部9から楽曲音データが供給され、その楽曲音データに応じて演奏音を示すアナログのオーディオ信号を出力する。オーディオ再生部3はディスクプレーヤ或いはメモリプレーヤであっても良い。
音声切替出力部4は音声生成部2からのオーディオ信号(音声案内オーディオ信号)とオーディオ再生部3からのオーディオ信号(楽曲オーディオ信号)とをコントローラ5の指令に応じて選択的に増幅して出力する。音声切替出力部4は初期状態ではオーディオ再生部3からのオーディオ信号を増幅して出力する。
表示部7は、コントローラ5から供給される表示データに応じた航行情報表示及びコントローラ5から供給される指令に応じた動作状態表示を行う。
操作部8は、本ナビゲーション装置の動作を指令するための操作を行う。操作部8の操作内容はデータとしてコントローラ5に供給される。
音楽ソース蓄積部9には、上記したように複数の楽曲各々の楽曲音データが保存されている。楽曲音データは、楽曲音を示すディジタルオーディオ信号或いはそのオーディオ信号を圧縮した信号である。音楽ソース蓄積部9に保存された複数の楽曲の楽曲音データはコントローラ5の指令に応じて選択され、選択された楽曲の楽曲音データが音楽ソース蓄積部9からオーディオ再生部3に供給される。
楽曲情報蓄積部10には、音楽ソース蓄積部9に楽曲音データとして保存された複数の楽曲各々の楽曲構成が楽曲情報が保存されている。楽曲情報は、楽曲中の楽句の種類、すなわち、楽曲中のイントロ、ボーカル部、間奏、エンディング及びサビ部の各フレーズ(楽句)に当たる部分の開始及び終了時間を示す。例えば、図2(a)に示すような楽曲構造を有する楽曲の場合には、楽曲情報には、図2(b)に示すように、イントロ:0'00”〜0'30”、ボーカル部1:0'30”〜1'50”、間奏1:1'50”〜2'20”、ボーカル部2:2'20”〜3'30”、間奏2:3'30”〜3'50”、ボーカル部3:3'50”〜4'40”、エンディング:4'40”〜5'10”、サビ部1:1'20”〜1'50”、サビ部2:3'00”〜3'30”、サビ部3:4'10”〜4'40”の如く示される。また、楽曲情報としては、楽曲名、歌手名、ジャンル、演奏時間等の情報が保存されても良い。また、音楽ソース蓄積部9の複数の楽曲各々の楽曲音データと楽曲情報蓄積部10の楽曲情報とは関連付けが行われている。
スピーカ11は音声切替出力部4の出力に接続され、音声切替出力部4の出力信号に応じて駆動される。
次に、上記の構成の本発明によるナビゲーション装置の動作について図3に示したコントローラ5の動作を示すフローチャートに従って説明する。
コントローラ5は、図3に示すように、音声案内として出力すべき走行情報が生成されたか否かを判別する(ステップS1)。コントローラ5は、例えば、目的地への経路走行時に交差点等のポイントに接近すると、割り込み動作によって走行情報を生成するための動作を行う。走行情報が生成されると、コントローラ5は楽曲再生中であるか否かを判別する(ステップS2)。オーディオ再生部3の楽曲再生中には、オーディオ再生部3からオーディオ信号が出力され、そのオーディオ信号は音声切替出力部4で増幅された後、スピーカ11に供給される。スピーカ11からは楽曲音が出力される。また、楽曲再生中には、オーディオ再生部3から楽曲再生中を示すフラグ等の動作状態データが供給されるので、コントローラ5はその動作状態データに応じて楽曲再生中であるか否かを判別する。動作状態データには楽曲識別子及び再生経過時間が含まれる。
コントローラ5は、オーディオ再生部3が楽曲再生中であることを判別した場合には、生成された走行情報の緊急度は高低のいずれかであるかを判別する(ステップS3)。上記したように、走行情報には、その情報内容についての緊急度の高低が示されているので、生成された走行情報に応じて緊急度の高低が判別される。
コントローラ5は、ステップS3で低緊急度と判別した場合には再生されている楽曲の現再生部分はボーカル部(サビ部を含む)か否かを判別する(ステップS4)。この判別は、オーディオ再生部3から供給されている動作状態データ中の再生経過時間と、楽曲情報蓄積部10に保存されている楽曲情報とに応じて行われる。楽曲情報蓄積部10から現再生中の楽曲の楽曲情報が読み出され、その楽曲情報に示された楽曲構造によって現再生部分が再生経過時間に対応してボーカル部であるかか否かは判別される。例えば、図2(b)に示した楽曲構造を有する楽曲の再生中であれば、再生経過時間が2分の時点ではボーカル部であり。再生経過時間が3分の時点ではボーカル部ではなく間奏である。
コントローラ5は、ステップS2で楽曲再生中ではないと判別した場合、ステップS3で走行情報の緊急度が高と判別した場合、或いはステップS4で再生中の楽曲の現再生部分はボーカル部以外と判別した場合には、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号のレベルを減少させる指令を発生する(ステップS5)。音声切替出力部4はこの指令に応じて増幅利得を低下させることによりオーディオ再生部3からのオーディオ信号のレベルを低下させる。よって、音声生成部2からの音声案内オーディオ信号、すなわち走行情報の音声案内オーディオ信号が音声切替出力部4を介して出力可能状態となる。なお、音声切替出力部4は増幅利得を低下させることにより、オーディオ再生部3からのオーディオ信号を完全に遮断しても良いし、音声案内オーディオ信号に比べて十分に小さいレベルにしても良い。
コントローラ5は、生成した走行情報を音声生成部2に供給して音声生成部2によって出力されるアナウンス音声信号(音声案内オーディオ信号)を音声切替出力部4に供給させる(ステップS6)。音声生成部2は走行情報が供給されると、その走行情報をアナログのオーディオ信号に変換して音声切替出力部4に供給する。よって、走行情報の音声案内オーディオ信号の出力可能状態となっている音声切替出力部4では、音声案内オーディオ信号を増幅してスピーカ11に供給する。スピーカ11からは走行情報のアナウンス音声が出力される。すなわち、楽曲の再生中に生成された走行情報の緊急度が高い場合、或いは楽曲のボーカル部の再生中に生成された走行情報の緊急度が低い場合に、直ちに楽曲再生音のレベルが減少される一方、走行情報の内容がアナウンス音声によって出力される。
コントローラ5は、ステップS6の実行後、すなわち、走行情報が音声案内された後、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号のレベルを元に戻す指令を発生する(ステップS7)。音声切替出力部4はこの指令に応じてオーディオ再生部3からのオーディオ信号に対する増幅利得をステップS5の実行直前の利得まで上昇させる。これにより、オーディオ再生部3からのオーディオ信号が音声切替出力部4で増幅された後、スピーカ11に供給され、スピーカ11からは楽曲音が出力される。
コントローラ5は、ステップS4で再生中の楽曲の現再生部分がボーカル部と判別した場合には、走行情報出力を待機させることになり、距離センサ6a及びカウンタ6bを各々リセットして走行距離及び時間を計測させる(ステップS8)。そして、再生されている楽曲の現再生部分はボーカル部か否かを再度判別する(ステップS9)。ステップS9は現再生部分がボーカル部以外となるまで繰り返し実行される。ステップS9で再生中の楽曲の現再生部分がボーカル部以外と判別した場合には、距離センサ6a及びカウンタ6bによって測定された走行情報出力待機中の走行距離及び時間を読み取って、その走行距離又は時間によって走行情報を修正する(ステップS10)。すなわち、走行情報中に距離を示す部分がある場合にはその距離を、読み取った走行距離だけ短くするように修正する。また、走行情報中に時間を示す部分がある場合にはその時間を、読み取った走行時間だけ短くするように修正する。例えば、生成した本来の走行情報が「3km先に渋滞が発生しています」という内容であれば、走行情報出力待機中に1kmだけ走行した場合には、「2km先に渋滞が発生しています」のように走行情報を修正することが行われる。走行情報中の走行距離及び走行時間に対する部分は数値とkmや分のような単位との組み合わせによって、或いは特定の識別子によって区別可能にされている。
コントローラ5は、ステップS10の実行後は、上記のステップS5〜S7を実行する。よって、修正後の走行情報がコントローラ5から音声生成部2に供給され、音声生成部2ではその修正後の走行情報がアナウンス音声を示すオーディオ信号に変換され、更に音声切替出力部4を介してスピーカ11に供給される。これにより、再生中の楽曲のボーカル部が終了した直後においてスピーカ11からは時間又は距離が修正された走行情報についてのアナウンス音声が出力される。
すなわち、楽曲のボーカル部の再生中に生成された走行情報の緊急度が低い場合に、その楽曲のボーカル部が終了するまではそのまま楽曲再生音が出力され、ボーカル部の終了後、楽曲再生音のレベルが減少される一方、時間又は距離が修正された走行情報を示すアナウンス音声が出力される。
なお、走行情報中に時間又は距離に関する部分がない場合には上記の如き修正は行われない。
図4は本発明の他の実施例としてコントローラ5の動作を示すフローチャートを示している。この実施例においては、走行情報の緊急度は高中低で示されている。
コントローラ5は、オーディオ再生部3が楽曲再生中であることを判別した場合には、生成された走行情報の緊急度は高中低のいずれかであるかを判別する(ステップS11)。緊急度が低の場合には、ステップS4の実行に移行し、緊急度が高の場合には、ステップS5の実行に移行することは図3の実施例の場合と同一である。
コントローラ5は、図4に示すように、ステップS11で中緊急度と判別した場合には再生されている楽曲の現再生部分はサビ部か否かを判別する(ステップS12)。この判別は、ステップS4における楽曲の現再生部分がボーカル部か否かの判別方法と同様である。なお、図2(a)に示すように、ボーカル部の一部がサビ部となっている場合にはサビ部が優先される。
コントローラ5は、ステップS12で再生中の楽曲の現再生部分がサビ部と判別した場合には、走行情報出力を待機させることになり、距離センサ6a及びカウンタ6bを各々リセットして走行距離及び時間を計測させる(ステップS13)。そして、再生されている楽曲の現再生部分はサビ部か否かを再度判別する(ステップS14)。ステップS14は現再生部分がサビ部以外となるまで繰り返し実行される。ステップS14で再生中の楽曲の現再生部分がサビ部以外と判別した場合には、距離センサ6a及びカウンタ6bによって測定された走行情報出力待機中の走行距離及び時間を読み取って、その走行距離及び時間によって走行情報を修正する(ステップS15)。ステップS15はステップS9における走行情報修正と同様に行われる。
コントローラ5は、ステップS15の実行後は、上記のステップS5〜S7を実行する。よって、修正後の走行情報がコントローラ5から音声生成部2に供給され、音声生成部2ではその修正後の走行情報がアナウンス音声を示すアナログオーディオ信号に変換され、更に音声切替出力部4を介してスピーカ11に供給される。この結果、再生中の楽曲のサビ部が終了した直後にスピーカ11からは時間又は距離が修正された走行情報を示すアナウンス音声が出力される。
すなわち、楽曲のサビ部の再生中に生成された走行情報の緊急度が中である場合に、その楽曲のサビ部が終了するまではそのまま楽曲再生音が出力され、サビ部の終了後、楽曲再生音のレベルが減少される一方、時間又は距離が修正された走行情報についてのアナウンス音声が出力される。
また、楽曲のボーカル部の再生中に生成された走行情報の緊急度が低である場合に、その楽曲のボーカル部が終了するまではそのまま楽曲再生音が出力され、ボーカル部の終了後、楽曲再生音のレベルが減少される一方、時間又は距離が修正された走行情報についてのアナウンス音声が出力される。
図5は本発明の他の実施例としてコントローラ5の動作を示すフローチャートを示している。この実施例においては、走行情報の緊急度は高低で示されている。
コントローラ5によるステップS1〜S7の動作は、図3の実施例と同一である。コントローラ5はステップS4で再生中の楽曲の現再生部分がボーカル部と判別した場合には、走行情報出力を待機させることになり、距離センサ6a及びカウンタ6bを各々リセットして走行距離及び時間を計測させる(ステップS8)。そして、待機可能時間及び待機可能距離を設定する(ステップS21)。待機可能時間は車両が走行を続けるこにより生成された走行情報の緊急度が低から高に変化する間での時間であり、待機可能距離は同様に緊急度が低から高に変化する間での時間である。
再生されている楽曲の現再生部分はボーカル部か否かを再度判別する(ステップS22)。ステップS22で現再生部分がボーカル部であると判別した場合には、距離センサ6a及びカウンタ6bによって測定された走行情報出力待機中の走行距離及び時間を読み取り、走行距離が待機可能距離を越えたか或いは走行時間が待機可能時間を越えたか否かを判別する(ステップS23)。
ステップS23の判別の結果、走行距離が待機可能距離を越えておらず、走行時間も待機可能時間を越えていないならば、ステップS22に戻る。一方、走行距離が待機可能距離を越えておらず、走行時間も待機可能時間を越えていないならば、待機可能距離又は待機可能時間によって走行情報を修正する(ステップS24)。すなわち、走行情報中に距離を示す部分がある場合にはその距離を待機可能距離だけ短くするように修正する。また、走行情報中に時間を示す部分がある場合にはその時間を測定した走行時間だけ短くするように修正する。
待機状態となった低緊急度の走行情報であっても、出力待ちしている間に緊急度が上がる場合がある。走行情報が例えば、「○km先に渋滞が発生しています」を示すときに、当初、低緊急度であったが、出力待ちしている間に車両が走行して渋滞地点に接近してしまった場合は、その走行情報をユーザに通知しないと安全に関わるため、高緊急度に変化することが起き得る。このように低緊急度の走行情報が出力待ちしている間に緊急度が上がった場合は、高緊急度としてその時点で無条件に楽曲のボーカル部の再生音のレベルを減少させて(消音状態を含む)、時間又は距離が修正された走行情報についてのアナウンス音声を出力させることが行われる。
図6及び図7は本発明の他の実施例としてコントローラ5の動作を示すフローチャートを示している。この実施例においては、走行情報の緊急度は高中低で示されている。
コントローラ5は、図6及び図7に示すように、ステップS11で中緊急度と判別した場合には再生されている楽曲の現再生部分はサビ部か否かを判別する(ステップS12)。この判別は、ステップS4における楽曲の現再生部分がボーカル部か否かの判別方法と同様である。
コントローラ5は、ステップS12で再生中の楽曲の現再生部分がサビ部と判別した場合には、走行情報出力を待機させることになり、距離センサ6a及びカウンタ6bを各々リセットして走行距離及び時間を計測させる(ステップS13)。そして、待機可能時間及び待機可能距離を設定し(ステップS26)、再生されている楽曲の現再生部分はサビ部か否かを再度判別する(ステップS27)。ステップS27で現再生部分がサビ部であると判別した場合には、距離センサ6a及びカウンタ6bによって測定された走行情報出力待機中の走行距離及び時間を読み取り、走行距離が待機可能距離を越えたか或いは走行時間が待機可能時間を越えたか否かを判別する(ステップS28)。
ステップS28の判別の結果、走行距離が待機可能距離を越えておらず、走行時間も待機可能時間を越えていないならば、ステップS27に戻る。一方、走行距離が待機可能距離を越えておらず、走行時間も待機可能時間を越えていないならば、待機可能距離又は待機可能時間によって走行情報を修正する(ステップS29)。すなわち、走行情報中に距離を示す部分がある場合にはその距離を待機可能距離だけ短くするように修正する。また、走行情報中に時間を示す部分がある場合にはその時間を測定した走行時間だけ短くするように修正する。
待機状態となった中緊急度の走行情報であっても、出力待ちしている間に緊急度が上がる場合がある。走行情報が例えば、「○百m先××交差点を左折です」であるとき、当初、中緊急度であったが、出力待ちしている間に車両が走行して渋滞地点に接近してしまった場合は、その走行情報をユーザに通知しないと安全に関わるため、高緊急度に変化することが起き得る。このように中緊急度の走行情報が出力待ちしている間に緊急度が上がった場合は、高緊急度としてその時点で無条件に楽曲のサビ部再生音のレベルを減少させて(消音状態を含む)、時間又は距離が修正された走行情報についてのアナウンス音声を出力させることが行われる。
図6及び図7のフローチャート中のその他のステップは図4及び図5のフローチャートにおける同一番号のステップの動作と同一である。
図8は本発明の他の実施例としてコントローラ5の動作を示すフローチャートを示している。この実施例においては、走行情報の緊急度は高低で示されている。
コントローラ5は、図8に示すように、ステップS4で再生中の楽曲の現再生部分はボーカル部以外と判別した場合には、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号のレベルを低下させる指令を発生し(ステップS31)、生成した走行情報を音声生成部2に供給して音声生成部2によって出力されるアナウンス音声信号を音声切替出力部4に供給させる(ステップS32)。ステップS31及びS32は図3のステップS5及びS6の動作と同一である。
コントローラ5は、ステップS32の実行後、現在再生されている楽曲の現再生部分はボーカル部か否かを判別する(ステップS33)。ボーカル部の再生中ならば、オーディオ再生部3に対してそのボーカル部の先頭に戻って再生を再開させる(ステップS34)。ステップS34では、コントローラ5は楽曲情報蓄積部10に保存されている楽曲情報に応じてボーカル部の開始時間を得ることができるので、そのボーカル部の開始時間からの再生をオーディオ再生部3に対して指示する。オーディオ再生部3はその指示に応じて再生箇所を楽曲のボーカル部の途中からその先頭に戻してそこから再生を再び行う。コントローラ5は、ステップS34の実行後、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号の増幅利得を元に戻す指令を発生する(ステップS35)。ステップS35は図3のステップS7の動作と同一である。
ステップS33においてボーカル部の再生中ではないならば、直ちにステップS35に進んでスピーカ11から楽曲音を出力させる。
このような低緊急度の走行情報が生成されたときに楽曲がボーカル部に入ってしまう場合は、音声出力が終了した段階で楽曲再生をボーカル部先頭に戻してから楽曲再生レベルを上げて再生が再開となる。これによりユーザが楽曲のボーカル部を十分に楽しめるようにすることができる。
図9及び図10は本発明の他の実施例としてコントローラ5の動作を示すフローチャートを示している。この実施例においては、走行情報の緊急度は高中低で示されている。
図9及び図10において、図6〜図8のフローチャート中のステップと同一部分は同一ステップ番号を用いて示している。なお、ステップS16〜S18の動作はステップS5〜S7と同一である。
コントローラ5は、図9及び図10に示すように、ステップS12で再生中の楽曲の現再生部分はサビ部以外と判別した場合には、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号の増幅利得を低下させる指令を発生し(ステップS41)、生成した走行情報を音声生成部2に供給して音声生成部2によって出力されるアナウンス音声信号を音声切替出力部4に供給させる(ステップS42)。ステップS41及びS42の動作は図3のステップS5及びS6と同一である。
コントローラ5は、ステップS42の実行後、現在再生されている楽曲の現再生部分はサビ部か否かを判別する(ステップS43)。サビ部の再生中ならば、オーディオ再生部3に対してそのサビ部の先頭に戻って再生を再開させる(ステップS44)。ステップS44では、コントローラ5は楽曲情報蓄積部10に保存されている楽曲情報に応じてサビ部の開始時間を得ることができるので、そのサビ部の開始時間からの再生をオーディオ再生部3に対して指示する。オーディオ再生部3はその指示に応じて再生箇所を楽曲のサビ部の途中からその先頭に戻してそこから再生を再び行う。コントローラ5は、ステップS44の実行後、音声切替出力部4に対してオーディオ再生部3からのオーディオ信号の増幅利得を元に戻す指令を発生する(ステップS45)。ステップS45は図3のステップS7の動作と同一である。
ステップS43においてサビ部の再生中ではないならば、直ちにステップS45に進んでスピーカ11から楽曲音を出力させる。
このような低緊急度の走行情報が生成されたときに楽曲がサビ部に入ってしまう場合は、音声出力が終了した段階で楽曲再生をサビ部先頭に戻してから楽曲再生レベルを上げて再生が再開となる。これによりユーザが楽曲のサビ部を十分に楽しめるようにすることができる。
以上のように、ナビゲーション装置が音声出力する情報を緊急度によってレベル分けし、緊急度が高ければ直ちに音楽レベルを下げてでも運転者等のユーザに音声告知するが、緊急度が低ければボーカル部以外の部分(イントロ,間奏,エンディング)まで待ってから出力するので、ユーザは直ちに知る必要のない音声案内によって音楽聴取を妨げられずに十分音楽を楽しむことができる。一方、緊急度が高く、直ちに知る必要のある重要な情報は、再生音レベルを減少させて音声告知してくれるため、ユーザはドライブ情報を十分に得ることができる。
上記した各実施例においては、走行情報と楽曲中の楽句(フレーズ)との優先順位は予め定められている。すなわち、図3に示した動作例では、高緊急度の走行情報、ボーカル部、低緊急度の走行情報、ボーカル部以外のフレーズの順位である。また、図4に示した動作例では、高緊急度の走行情報、サビ部、中緊急度の走行情報、ボーカル部、低緊急度の走行情報、ボーカル部以外のフレーズの順位である。この優先順位をユーザの操作に応じて変更するようにしても良い。図11はユーザの操作に応じて優先順位の変更を行う優先順位変更動作を示すフローチャートを示している。この優先順位変更動作では、複数の優先順位パターンがデータとして予め作成されてコントローラ5内の図示しないメモリに保存されている。複数の優先順位パターンの各々は走行情報の緊急度(高低又は高中低)と楽曲中の楽句の種類各々とについての順位を示し、優先順位パターン毎に異なる順位とされている。
優先順位変更動作では、コントローラ5は、図11に示すように、ユーザによる操作部8の操作に応じて優先順位変更モードになったか否かを判別する(ステップS51)。コントローラ5は、優先順位変更モードとなったならば、複数の優先順位パターンの選択映像を表示部7に表示させる(ステップS52)。表示部7に表示される複数の優先順位パターンの選択映像には、例えば、パターン毎の走行情報の緊急度と楽曲中の楽句の種類との優先順位が示されている。よって、ユーザは複数の優先順位パターンの中から任意の1パターンを操作部8の操作に応じて選択することができる。ステップS52の実行後、コントローラ5は、選択操作があったか否かを判別する(ステップS53)。選択操作があった場合にはその選択の優先順位パターンに示された優先順位を本装置で上記のステップS3及びS4、又はステップS11、S12及びS4で使用するように優先順位変更を行う(ステップS54)。
優先順位パターンの選択を自動的に行うこともできる。例えば、図12は、優先順位パターンとして、初期状態の優先順位パターン、夜間用の優先順位パターン及び遠方用の優先順位パターンのうちから1パターンを自動選択する優先順位パターン自動選択動作を示している。
この優先順位パターン自動選択動作では、コントローラ5は、GPS部1から現在の時刻情報を取得し(ステップS61)、現在の時刻が夜間であるか否かを判別する(ステップS62)。夜間である場合には、夜間用の優先順位パターンに示された優先順位を本装置で使用するようにを設定する(ステップS63)。現在の時刻が夜間ではない場合には、自宅からの距離を算出し(ステップS64)、算出した距離が所定距離より長いか、すなわち現在の自車位置が自宅から遠方であるか否かを判別する(ステップS65)。現在の自車位置が自宅から遠方である場合には、遠方用の優先順位パターンに示された優先順位を本装置で使用するように設定する(ステップS66)。現在の自車位置が自宅から遠方ではない場合には、初期状態の優先順位パターンに示された優先順位を本装置で使用するように設定する(ステップS67)。この優先順位パターン自動選択動作は繰り返し実行される。
例えば、旅行先において道路事情に不案内なため音声案内を優先したいような場合には、システムが自車位置と登録されている自宅位置との距離を計算し、一定以上の距離がある場合には音声案内を優先するような優先順位パターンを自動的に選択して使用することができる。
図13は、優先順位パターンの自動選択としては、楽曲の再生中の楽曲内容に応じて1の優先順位パターンを自動選択する動作を示している。この図13の優先順位パターン自動選択動作において、コントローラ5は、再生中の楽曲は好みの楽曲であるか否かを判別する(ステップS71)。好みの楽曲ではない場合には、再生中の楽曲は好みのジャンルの楽曲か否かを判別する(ステップS72)。音楽ソース蓄積部9に楽曲音データとして保存された複数の楽曲各々について好みの楽曲か否かがユーザによって予め選択され、その選択結果がデータとして音楽ソース蓄積部9には保存されている。また、音楽のジャンルについても、ユーザによって予め選択され、そのデータが保存されている。ステップS71及びS72の判別ではそれらの保存データが用いられる。
ステップS71にて再生中の楽曲は好みの楽曲であると判別した場合、ステップS72にて再生中の楽曲が好みのジャンルの楽曲であると判別した場合には、楽曲再生優先用の優先順位パターンを選択し(ステップS73,S74)、楽曲再生優先用の優先順位パターンに示された優先順位を装置では使用する。一方、好みの楽曲でもジャンルの楽曲の再生中ではないと判別した場合には、初期状態の優先順位パターンを選択し(ステップS75)、その初期状態の優先順位パターンに示された優先順位を装置では使用する。この結果、好みの楽曲や好みのジャンルの楽曲再生中に、走行情報が生成されても、楽曲再生の優先度が初期状態よりも高くなり、直ちに楽曲再生音から走行案内の音声に切り替わることを回避できる。
なお、図13の優先順位パターン自動選択動作は、少なくとも再生楽曲が変わる毎に1回実行されれば良い。
上記の図11〜図13の動作では、予め用意された複数の優先順位設定パターンのうちの1のパターンを選択することが行われるが、1の優先順位パターンに示された優先順位をユーザの操作に応じて変更するようにしても良い。例えば、図14に示すように、コントローラ5は、ユーザによる操作部8の操作に応じて優先順位変更モードになったか否かを判別する(ステップS81)。コントローラ5は、優先順位変更モードとなったならば、走行情報の緊急度と楽曲中の楽句の種類各々についての現在の優先順位を表示部7に表示させる(ステップS82)。表示部7に表示される現在の優先順位はユーザによる操作部8の操作に応じて変更可能にされている。よって、ユーザは変更したい走行情報の緊急度を任意のレベル(例えば、高中低のいずれか1)に変更することができる。ステップS82の実行後、コントローラ5は、変更操作があったか否かを判別する(ステップS83)。変更操作があった場合には、その変更操作による優先順位を本装置で使用するように設定する(ステップS84)。
また、上記した各実施例においては、走行情報の緊急度が低い場合にはその走行情報についてのアナウンス音声が走行情報の生成時より遅れて出力されることになる。これに対処するために、図15に示すように、ステップS4の判別結果によって待機状態となった場合には、走行情報の内容を表示部7に表示させ(ステップS91)、その後、ステップS8に進むようにしても良い。或いは、図16に示すように、ステップS4の判別結果によって待機状態となった場合には、生成した走行情報を音声生成部2に供給し、音声生成部2によって出力される音声案内オーディオ信号をレベル減少させて出力させ(ステップS92)、その後、ステップS8に進むようにしても良い。このように、待機状態において走行情報の内容を表示或いは低い音響レベルで音声案内を出力することにより、ユーザはその走行情報を遅れることなく知ることができる。
上記した実施例では、走行情報はナビゲーション装置によって得られる目的地までの経路案内、車両の速度やライト確認等の運転状態(作動状態)についての情報であるが、外部から受信して得た交通情報や天気予報等の走行上必要な情報にも適用することができる。例えば、ビーコン(光,電波)から交通情報がナビゲーション装置に向けて送信されるが、その情報をナビゲーション装置が受信した時点において直ちにユーザに音声によって提供するのではなく、ナビゲーション装置自身において生成された走行情報と同様に扱うことができる。すなわち、楽曲再生中には楽曲聴取を妨げないように、ビーコンからの情報を一時保存しておいて、楽曲聴取を妨げない適切なタイミングで音声出力させることができる。また、ビーコンに限らず、ホットスポットにおける無線LAN、放送電波、或いは携帯電話を使った情報受信の場合も同様である。
図17は走行情報の例を緊急度の高中低各々について示している。また、ナビゲーション装置に限らず、ビーコン、無線LAN信号及び放送電波を受信して得られる走行情報の例も示している。
上記した実施例においては、ナビゲーション装置内にオーディオ再生部3が備えられているが、ナビゲーション装置とオーディオ再生部とが個別に設けられた車載システムであっても本発明を適用することができる。
また、上記した実施例においては、ナビゲーション装置の音声案内音と楽曲の再生音とが同一のスピーカ11かに出力されるように構成されているが、音声案内音と楽曲の再生音とが個別のスピーカから出力される構成でも良い。
更に、上記した実施例においては、複数の楽曲各々の楽曲中の楽句であるイントロ、ボーカル部、間奏、エンディング及びサビ部に当たる部分の開始及び終了時間を示す楽曲情報は、予め作成されてから楽曲情報蓄積部10に保存されるが、音楽ソース蓄積部9に保存された楽曲音データに応じて複数の楽曲各々の楽曲情報を作成しても良い。
また、上記した実施例においては、車載ナビゲーションの例について示したが、これに限らず、同様の機能を有する車載情報処理装置或いは携帯端末装置などにも適用することができる。更に、車両に限らず、船舶等の他の移動体用の情報処理装置にも適用することができる。
図18は楽曲情報を作成する楽曲情報作成装置を示している。この楽曲情報作成装置は、楽曲入力装置21、楽曲ID入力装置22、ボーカル検出部23、楽曲構造検出部24、楽曲特徴量保存装置25、楽曲重要度レベル演算部26、楽曲情報作成部27及び楽曲情報保存装置28を備えている。
楽曲入力装置21は、楽曲情報作成対象の楽曲のディジタルオーディオ信号(例えば、PCMデータ)を入力又は再生する装置であり、例えば、CDプレーヤである。楽曲入力装置21の出力はボーカル検出部23及び楽曲構造検出部24に接続されている。楽曲ID入力装置22は、楽曲情報作成対象の楽曲を識別するための曲名、或いはファイル名等の識別データを入力する。楽曲ID入力装置22の出力は楽曲情報作成部27に接続されている。
ボーカル検出部23は、楽曲情報作成対象の楽曲のボーカル部の有無を検出する。楽曲構造検出部24は、楽曲情報作成対象の楽曲の繰り返し構造を検出する。ボーカル検出部23及び楽曲構造検出部24の各検出出力は楽曲特徴量保存装置25に接続されている。
楽曲特徴量保存装置25は、ボーカル検出部23及び楽曲構造検出部24による検出結果を楽曲特徴量として一時的に保存する。
楽曲重要度レベル演算部26は、楽曲特徴量保存装置25に保存された楽曲特徴量を用いて、楽曲情報作成対象の楽曲の構造上の各部について、高中低の重要度を決定する。楽曲重要度レベル演算部26の演算結果は楽曲情報作成部27に供給される。
楽曲情報作成部27は、楽曲重要度レベル演算部26で決定した各重要度に属する楽曲情報作成対象の楽曲の各部について、開始終了時刻と、楽曲ID入力装置22から入力された楽曲IDを付加して楽曲情報を作成する。
楽曲情報保存装置28は、楽曲情報作成部27において作成された楽曲情報を保存する。
かかる構成の楽曲情報作成装置においては、ボーカル部検出処理、楽曲構造検出処理、並びに楽曲情報の作成及び保存処理が行われる。
楽曲音を示すオーディオ信号に基づいてボーカル部のみを検出する方法としては、特許文献1に示された中央定位信号を強調する方法を用いると、ボーカル部を効果的に検出することができる。以下に、その方法を用いたを用いたボーカル部検出処理を説明する。
特開2002−247699号公報
ボーカル部検出処理においては、図19に示すように、楽曲入力装置21から楽曲情報作成対象の楽曲オーディオ信号(ステレオ信号)が入力され(ステップS101)、ボーカル検出部23においてステレオ信号の中央定位信号を抽出する処理と、それと同時に、ステレオ信号を加算してモノラル原音信号とする処理とが行われる(ステップS102)。次に、ステップS102で演算した中央定位信号及びモノラル原音信号の平均振幅X及びYが演算される(ステップS103)。
そして、モノラル原音信号の平均振幅Yに対する中央定位信号の平均振幅Xの音圧比20log(X/Y)が演算され、その音圧比が所定値αより大であるか否かが判別される(ステップS104)。演算音圧比がαより大きければ値1が楽曲特徴量保存装置25に保存され(ステップS105a)、演算音圧比がα以下であれば値0が楽曲特徴量保存装置25に保存される(ステップS105b)。αの値は−30〜−20程度の値である。次いで、入力オーディオ信号が終了したか否かが判定され(ステップS106)、終了していなければ、ステップS101〜ステップS106が繰り返される。楽曲特徴量保存装置25に保存された値がボーカル部検出結果である。
図20はボーカル部を含む楽曲に対するボーカル部の検出結果例を示しており、図21はボーカル部を含まない楽曲に対するボーカル部の検出結果例を示している。
次に、入力オーディオ信号に応じて楽曲構造を検出する方法としては、本出願人によって出願された特許文献2に示された「楽曲構造検出装置及び方法」、すなわち、楽曲の和音進行に基づいて楽曲の繰り返し構造を自動検出する方法を用いることができる。
特願2002−352865号
楽曲構造検出処理においては、図22に示すように、楽曲入力装置21から楽曲情報作成対象の楽曲オーディオ信号が入力され(ステップS111)、そのオーディオ信号に応じて和音進行が検出される(ステップS112)。入力オーディオ信号が終了したか否かが判定され(ステップS113)、終了していなければ、ステップS111〜S113が繰り返される。
次に、和音進行の類似度を用いて楽曲中の繰り返し構造の検出処理が行われる(ステップS114)。その結果、得られた繰り返し構造に応じて、最多繰り返しフレーズ、繰り返しフレーズ及び非繰り返しフレーズが検出され、それらのフレーズが楽曲特徴量として楽曲特徴量保存装置25に保存される(ステップS115)。楽曲特徴量保存装置25に保存された各フレーズが楽曲構造の検出結果である。
図23は楽曲構造の検出結果例を示し、図24は楽曲特徴量保存装置25への楽曲特徴量の保存形式例を楽曲構造の検出結果と対応させて示している。
楽曲情報の作成及び保存処理においては、図25に示すように、楽曲特徴量保存装置25からボーカル検出結果が読み出され(ステップS121)、更に、楽曲構造検出結果が読み出される(ステップS122)。次に、その読み出しボーカル検出結果に応じて楽曲情報作成対象の楽曲がボーカル部を含んでいるか否かが判定される(ステップS123)。ボーカル部を含む場合には、楽曲構造検出結果の全てのフレーズのうちのから1のフレーズが選択され、その1のフレーズがボーカル部か否かが判定され(ステップS124)、ボーカル部でなければ、重要度が低と設定される(ステップS125)。ボーカル部である場合には、当該1のフレーズが最多繰り返しフレーズであるか否かが判定され(ステップS126)、最多繰り返しフレーズである場合には重要度が高と設定され(ステップS127)、それ以外であれば重要度が中と設定される(ステップS128)。その後、楽曲構造検出結果の全てのフレーズの選択が終了したか否かが判別され(ステップS129)、終了してない場合にはステップS124に戻って次の1のフレーズについての重要度が設定される。
楽曲構造検出結果の全てのフレーズの選択が終了した場合には、楽曲情報作成部27において、楽曲ID入力装置22から得られる楽曲IDと、各重要度に属するフレーズとその開始終了時刻とが関連付けられて楽曲情報保存装置28に保存される(ステップS130)。
図26はボーカル部を含む楽曲についての重要度設定例を示し、図27はその重要度設定結果に応じた楽曲情報の作成例を示している。
一方、ステップS123の判別結果がボーカル部を含まない場合には、楽曲構造検出結果の全てのフレーズのうちのから1のフレーズが選択され、その1のフレーズが繰り返しフレーズか否かが判定される(ステップS131)。繰り返しフレーズではない場合には、重要度が低と設定される(ステップS132)。繰り返しフレーズである場合には、当該1のフレーズが最多繰り返しフレーズであるか否かが判定され(ステップS133)、最多繰り返しフレーズである場合には重要度が高と設定され(ステップS134)、それ以外であれば重要度が中と設定される(ステップS135)。その後、楽曲構造検出結果の全てのフレーズの選択が終了したか否かが判別され(ステップS136)、終了してない場合にはステップS131に戻って次の1のフレーズについての重要度が設定される。
楽曲構造検出結果の全てのフレーズの選択が終了した場合には、楽曲情報作成部27において、楽曲ID入力装置22から得られる楽曲IDと、各重要度に属するフレーズとその開始終了時刻とが関連付けられて楽曲情報保存装置28に保存される(ステップS130)。
楽曲構造検出結果の全てのフレーズの選択が終了した場合には、楽曲情報作成部27において、楽曲ID入力装置22から得られる楽曲IDと、各重要度に属するフレーズとその開始終了時刻とが関連付けられて楽曲情報保存装置28に保存される(ステップS137)。
図28はボーカル部を含まない楽曲についての重要度設定例を示し、図29はその重要度設定結果に応じた楽曲情報の作成例を示している。
このように作成された楽曲情報が上記の楽曲情報蓄積部10に保存される。
楽曲情報の作成及び保存処理において設定されたフレーズの重要度は、上記した走行情報の緊急度と比較して走行情報と楽曲中のフレーズとの優先順位を決定するために用いることかできる。
以上のように、本発明によれば、楽曲音を示す楽曲オーディオ信号を出力する楽曲再生手段と、走行情報を生成する走行情報生成手段と、走行情報が生成されたときに楽曲再生手段が楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別手段と、楽曲オーディオ信号の出力中であると判別された場合に、生成された走行情報の緊急度と楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類とのうちの少なくとも一方に応じて走行情報を示す音声案内オーディオ信号を楽曲オーディオ信号に優先して出力する音声案内出力手段と、を備えているので、音楽再生中に音楽聴取の妨げとなることをできるだけ避けつつ走行情報の音声案内を確実に行うことができる。
本発明の実施例を示すブロック図である。 楽曲構造及び楽曲情報を示す図である。 コントローラの動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 図6のコントローラの動作の続き部分を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 図9のコントローラの動作の続き部分を示すフローチャートである。 優先順位変更動作を示すフローチャートである。 優先順位パターン自動選択動作を示すフローチャートである。 優先順位パターン自動選択動作を示すフローチャートである。 優先順位変更動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 本発明の他の実施例としてコントローラの動作を示すフローチャートである。 走行情報の例を緊急度が高中低各々について示す図である。 楽曲情報作成装置の構成を示すブロック図である。 ボーカル部検出処理を示すフローチャートである。 ボーカル部を含む楽曲に対するボーカル部の検出結果例を示す図である。 ボーカル部を含まない楽曲に対するボーカル部の検出結果例を示す図である。 楽曲構造検出処理を示すフローチャートである。 楽曲構造の検出結果例を示すである。 楽曲構造の検出結果と対応させて楽曲特徴量保存装置への楽曲特徴量の保存形式例を示す図である。 楽曲情報の作成及び保存処理を示すフローチャートである。 ボーカル部を含む楽曲についての重要度設定例を示す図である。 重要度設定結果に応じた楽曲情報の作成例を示す図である。 ボーカル部を含まない楽曲についての重要度設定例を示す図である。 重要度設定結果に応じた楽曲情報の作成例を示す図である。
符号の説明
1 GPS部
2 音声生成部
3 オーディオ再生部
4 音声切替出力部
5 コントローラ
6 センサ部
9 音楽ソース蓄積部
10 楽曲情報蓄積部
21 楽曲入力装置
22 楽曲ID入力装置
23 ボーカル検出部
24 楽曲構造検出部
25 楽曲特徴量保存装置
26 楽曲重要度レベル演算部
27 楽曲情報作成部
28 楽曲情報保存装置

Claims (6)

  1. 移動体の走行情報を音声案内する情報処理装置であって、
    楽曲音を示す楽曲オーディオ信号を出力する楽曲再生手段と、
    前記走行情報を生成する走行情報生成手段と、
    前記走行情報生成手段によって前記走行情報が生成されたときに前記楽曲再生手段が前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別手段と、
    前記楽曲再生判別手段によって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力手段と、を備え、
    前記音声案内出力手段は、前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲再生手段を制御することを特徴とする情報処理装置。
  2. 前記音声案内出力手段は、前記楽曲再生判別手段によって前記楽曲オーディオ信号の出力中にあると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部であるときには、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外に変化するまで待機してから前記楽曲オーディオ信号の信号レベルを減少させるとともに当該楽曲オーディオ信号および前記音声案内オーディオ信号を出力することを特徴とする請求項1記載の情報処理装置。
  3. 前記音声案内出力手段は、前記音声案内オーディオ信号の出力待機期間の時間又は前記移動体の走行距離を測定する測定手段と、
    前記出力待機期間終了後において前記測定手段による測定結果に応じて前記走行情報の内容を修正する修正手段と、を備え、
    前記修正手段による修正後の前記走行情報を示す音声案内オーディオ信号を出力することを特徴とする請求項2記載の情報処理装置。
  4. 前記音声案内出力手段は、前記音声案内オーディオ信号の出力待機中に前記測定手段の測定内容に応じて待機可能時間又は待機可能走行距離を越えたか否かを判別する待機超過判別手段を含み、
    前記待機超過判別手段によって出力待機期間の超過と判別されたときには、前記出力待機期間終了として前記修正手段による修正後の前記走行情報を示す音声案内オーディオ信号を出力することを特徴とする請求項記載の情報処理装置。
  5. 移動体の走行情報を音声案内する情報処理装置における走行情報音声案内方法であって、
    楽曲音を示す楽曲オーディオ信号を出力する楽曲再生ステップと、
    前記走行情報を生成する走行情報生成ステップと、
    前記走行情報生成ステップにて前記走行情報が生成されたときに前記楽曲再生ステップが前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別ステップと、
    前記楽曲再生判別ステップによって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力ステップと、
    前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲オーディオ信号の出力を制御するステップと、を備えたことを特徴とするたことを特徴とする走行情報音声案内方法。
  6. 移動体の走行情報を音声案内する走行情報音声案内方法をコンピュータに実行させる走行情報音声案内プログラムであって、
    前記走行情報音声案内方法は、
    楽曲音を示す楽曲オーディオ信号を出力する楽曲再生ステップと、
    前記走行情報を生成する走行情報生成ステップと、
    前記走行情報生成ステップにて前記走行情報が生成されたときに前記楽曲再生ステップが前記楽曲オーディオ信号の出力中であるか否かを判別する楽曲再生判別ステップと、
    前記楽曲再生判別ステップによって前記楽曲オーディオ信号の出力中であると判別された場合に、前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部以外であるときには、信号レベルを減少させた前記楽曲オーディオ信号とともに前記走行情報を示す音声案内オーディオ信号を出力する音声案内出力ステップと、
    前記音声案内オーディオ信号の出力後、前記楽曲オーディオ信号の信号レベルを元に戻すときに前記楽曲オーディオ信号の現出力時点における楽曲中の楽句の種類がボーカル部である場合には、そのボーカル部の開始信号位置から前記楽曲オーディオ信号を出力するように前記楽曲オーディオ信号の出力を制御するステップと、を備えたことを特徴とする走行情報音声案内プログラム。
JP2003408726A 2003-12-08 2003-12-08 情報処理装置及び走行情報音声案内方法 Expired - Fee Related JP4700904B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2003408726A JP4700904B2 (ja) 2003-12-08 2003-12-08 情報処理装置及び走行情報音声案内方法
US11/003,329 US7228229B2 (en) 2003-12-08 2004-12-06 Information processing device and travel information voice guidance method
EP04028957A EP1542193B1 (en) 2003-12-08 2004-12-07 Information processing device and method for providing travel information through voice guidance
DE602004008196T DE602004008196T2 (de) 2003-12-08 2004-12-07 Informationsverarbeitungvorrichtung und Verfahren zur Bereitstellung von Reiseinformationen mittels Sprachführung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003408726A JP4700904B2 (ja) 2003-12-08 2003-12-08 情報処理装置及び走行情報音声案内方法

Publications (2)

Publication Number Publication Date
JP2005172450A JP2005172450A (ja) 2005-06-30
JP4700904B2 true JP4700904B2 (ja) 2011-06-15

Family

ID=34510461

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003408726A Expired - Fee Related JP4700904B2 (ja) 2003-12-08 2003-12-08 情報処理装置及び走行情報音声案内方法

Country Status (4)

Country Link
US (1) US7228229B2 (ja)
EP (1) EP1542193B1 (ja)
JP (1) JP4700904B2 (ja)
DE (1) DE602004008196T2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9291473B2 (en) 2012-03-07 2016-03-22 Mitsubishi Electric Corporation Navigation device

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8374879B2 (en) * 2002-02-04 2013-02-12 Microsoft Corporation Systems and methods for managing interactions from multiple speech-enabled applications
JP2006155269A (ja) * 2004-11-30 2006-06-15 Fuji Xerox Co Ltd 音声ガイドシステムおよびその音声ガイド方法
TW200625210A (en) * 2005-01-07 2006-07-16 Mitac Int Corp Voice navigation apparatus and method
KR20060109040A (ko) * 2005-04-15 2006-10-19 주식회사 현대오토넷 오디오 신호 끊김 방지 기능을 구비하는 네비게이션 시스템일체형 에이브이시스템 및 그 제어방법
JP2007072076A (ja) * 2005-09-06 2007-03-22 Matsushita Electric Ind Co Ltd オーディオ連携ナビゲーション装置
JP2007102406A (ja) * 2005-10-03 2007-04-19 Mitsubishi Electric Corp 車載情報端末
JP4764711B2 (ja) * 2005-12-07 2011-09-07 クラリオン株式会社 音声データ再生方法およびプログラム
EP1854674A1 (de) * 2006-05-13 2007-11-14 GM Global Technology Operations, Inc. Kraftfahrzeug mit einer Audioanlage
US7730414B2 (en) * 2006-06-30 2010-06-01 Sony Ericsson Mobile Communications Ab Graphical display
JP4747052B2 (ja) * 2006-08-08 2011-08-10 クラリオン株式会社 ナビゲーション装置
JP4177394B2 (ja) * 2006-08-16 2008-11-05 本田技研工業株式会社 ナビ装置、ナビサーバおよびナビシステム
US20080086310A1 (en) * 2006-10-09 2008-04-10 Kent Campbell Automated Contextually Specific Audio File Generator
JP2008197199A (ja) * 2007-02-09 2008-08-28 Matsushita Electric Ind Co Ltd オーディオ符号化装置及びオーディオ復号化装置
US20160040997A1 (en) * 2007-03-22 2016-02-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Vehicle navigation playback method
EP2140341B1 (en) * 2007-04-26 2012-04-25 Ford Global Technologies, LLC Emotive advisory system and method
US20090055088A1 (en) * 2007-08-23 2009-02-26 Motorola, Inc. System and method of prioritizing telephony and navigation functions
JP5151385B2 (ja) * 2007-10-12 2013-02-27 株式会社Jvcケンウッド 車載器及び発話優先方法
JP5134337B2 (ja) * 2007-11-01 2013-01-30 矢崎エナジーシステム株式会社 音声出力集約装置、及び、音声連動システム
US20090233590A1 (en) * 2008-03-13 2009-09-17 Nokia Corporation Methods and devices for controlling receivers
JPWO2009139022A1 (ja) * 2008-05-15 2011-09-08 パイオニア株式会社 音声出力装置およびプログラム
US8990848B2 (en) 2008-07-22 2015-03-24 At&T Intellectual Property I, L.P. System and method for temporally adaptive media playback
US7996422B2 (en) * 2008-07-22 2011-08-09 At&T Intellectual Property L.L.P. System and method for adaptive media playback based on destination
JP5593608B2 (ja) * 2008-12-05 2014-09-24 ソニー株式会社 情報処理装置、メロディーライン抽出方法、ベースライン抽出方法、及びプログラム
WO2010138098A1 (en) * 2009-05-28 2010-12-02 Thomson Licensing Gps receiver having reduced voice
JP2011043710A (ja) 2009-08-21 2011-03-03 Sony Corp 音声処理装置、音声処理方法及びプログラム
WO2011142129A1 (ja) * 2010-05-14 2011-11-17 パナソニック株式会社 デジタル放送受信装置及びデジタル放送受信方法
JP5403822B2 (ja) * 2010-05-24 2014-01-29 本田技研工業株式会社 情報提供装置および情報提供方法
US8493822B2 (en) * 2010-07-14 2013-07-23 Adidas Ag Methods, systems, and program products for controlling the playback of music
JP5587119B2 (ja) * 2010-09-30 2014-09-10 キヤノン株式会社 文字入力装置、その制御方法、及びプログラム
JP2012088402A (ja) * 2010-10-15 2012-05-10 Sony Corp 情報処理装置、情報処理方法及びプログラム
US9032042B2 (en) * 2011-06-27 2015-05-12 Microsoft Technology Licensing, Llc Audio presentation of condensed spatial contextual information
JP2013068532A (ja) * 2011-09-22 2013-04-18 Clarion Co Ltd 情報端末、サーバー装置、検索システムおよびその検索方法
US8958569B2 (en) 2011-12-17 2015-02-17 Microsoft Technology Licensing, Llc Selective spatial audio communication
EP2626846B1 (de) * 2012-02-08 2014-05-14 Skobbler GmbH System und Verfahren zum Warnen eines Fahrzeugführers vor verkehrstechnischen Besonderheiten
JP6083013B2 (ja) * 2012-03-16 2017-02-22 株式会社ユピテル 制御システム及びプログラム
JP6042109B2 (ja) * 2012-06-21 2016-12-14 株式会社ナビタイムジャパン 携帯端末装置、情報処理システム、情報処理方法、および、情報処理プログラム
JP6020189B2 (ja) 2013-01-18 2016-11-02 株式会社デンソー 音声出力制御装置
JP6107206B2 (ja) * 2013-02-18 2017-04-05 沖電気工業株式会社 構内交換機、及びコールセンタシステム
DE102013004444A1 (de) 2013-03-16 2014-09-18 Rainer Schader Navigationssystem
JP6037026B2 (ja) * 2013-09-11 2016-11-30 株式会社デンソー 音声出力制御装置、プログラムおよび記録媒体
US20150112585A1 (en) * 2013-10-22 2015-04-23 Quicken Loans, Inc. Communication System
US9691429B2 (en) * 2015-05-11 2017-06-27 Mibblio, Inc. Systems and methods for creating music videos synchronized with an audio track
US10681408B2 (en) 2015-05-11 2020-06-09 David Leiberman Systems and methods for creating composite videos
US20170292853A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Tailored voice navigation analysis system
JP6402304B2 (ja) * 2016-12-27 2018-10-10 株式会社ユピテル 制御システム及びプログラム
JP6341438B2 (ja) * 2017-01-24 2018-06-13 株式会社ユピテル 車載用電子機器及びプログラム
JP7131550B2 (ja) * 2017-05-16 2022-09-06 ソニーグループ株式会社 情報処理装置および情報処理方法
JP2019117324A (ja) * 2017-12-27 2019-07-18 トヨタ自動車株式会社 音声出力装置、音声出力方法、及び音声出力プログラム
JP2021018323A (ja) * 2019-07-19 2021-02-15 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
KR20240023830A (ko) * 2022-08-16 2024-02-23 엘지전자 주식회사 이동 가능한 tv 및 그 제어 방법

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278158A (ja) * 1995-04-04 1996-10-22 Aisin Aw Co Ltd 車両用ナビゲーション装置
JPH10104010A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JPH10274542A (ja) * 1997-03-31 1998-10-13 Sony Corp 車載用音響装置
JP2000161977A (ja) * 1998-11-30 2000-06-16 Alpine Electronics Inc オーディオ装置
JP2000266558A (ja) * 1999-03-16 2000-09-29 Denso Corp 車載用マルチメディアシステム
JP2001116581A (ja) * 1999-10-20 2001-04-27 Alpine Electronics Inc ナビゲーションシステム
JP2002311986A (ja) * 2001-04-17 2002-10-25 Alpine Electronics Inc ナビゲーション装置
JP2003046969A (ja) * 2001-07-30 2003-02-14 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2003271274A (ja) * 2002-03-13 2003-09-26 Nissan Motor Co Ltd 情報提示方法、情報提示システム及び情報提示装置
JP2004108908A (ja) * 2002-09-18 2004-04-08 Denso Corp オーディオ連携ナビゲーション装置
JP2004117176A (ja) * 2002-09-26 2004-04-15 Denso Corp ナビゲーション装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3904344A1 (de) 1989-02-14 1990-08-16 Bosch Gmbh Robert Verfahren zum lesen von navigationsdaten einer compact-disc
JPH0786738B2 (ja) 1989-12-13 1995-09-20 パイオニア株式会社 車載ナビゲーション装置
US5177685A (en) * 1990-08-09 1993-01-05 Massachusetts Institute Of Technology Automobile navigation system using real time spoken driving instructions
US6208932B1 (en) * 1996-09-30 2001-03-27 Mazda Motor Corporation Navigation apparatus
US6266614B1 (en) * 1997-12-24 2001-07-24 Wendell Alumbaugh Travel guide
DE19946022A1 (de) 1999-09-25 2001-04-26 Bosch Gmbh Robert Steuerungsvorrichtung und -verfahren zur Festlegung einer Informationsausgabe-Rangfolge mehrerer Informationsquellen, insbesondere Audioquellen
JP2001143191A (ja) * 1999-11-12 2001-05-25 Yazaki Corp 車両用情報処理方法、及びその装置、並びに車両
DE10003615A1 (de) 2000-01-28 2001-12-06 Volkswagen Ag Verfahren und Vorrichtung zur Steuerung der Sprachausgabe in einem Kraftfahrzeug
JP3755739B2 (ja) 2001-02-15 2006-03-15 日本電信電話株式会社 ステレオ音響信号処理方法及び装置並びにプログラム及び記録媒体
JP4537617B2 (ja) 2001-05-29 2010-09-01 株式会社Gsユアサ 鉛蓄電池の寿命判定方法および寿命判定装置
JP4271550B2 (ja) * 2003-10-27 2009-06-03 アルパイン株式会社 オーディオシステム、オーディオ装置及び音声信号出力処理方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08278158A (ja) * 1995-04-04 1996-10-22 Aisin Aw Co Ltd 車両用ナビゲーション装置
JPH10104010A (ja) * 1996-09-30 1998-04-24 Mazda Motor Corp ナビゲーション装置
JPH10274542A (ja) * 1997-03-31 1998-10-13 Sony Corp 車載用音響装置
JP2000161977A (ja) * 1998-11-30 2000-06-16 Alpine Electronics Inc オーディオ装置
JP2000266558A (ja) * 1999-03-16 2000-09-29 Denso Corp 車載用マルチメディアシステム
JP2001116581A (ja) * 1999-10-20 2001-04-27 Alpine Electronics Inc ナビゲーションシステム
JP2002311986A (ja) * 2001-04-17 2002-10-25 Alpine Electronics Inc ナビゲーション装置
JP2003046969A (ja) * 2001-07-30 2003-02-14 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP2003271274A (ja) * 2002-03-13 2003-09-26 Nissan Motor Co Ltd 情報提示方法、情報提示システム及び情報提示装置
JP2004108908A (ja) * 2002-09-18 2004-04-08 Denso Corp オーディオ連携ナビゲーション装置
JP2004117176A (ja) * 2002-09-26 2004-04-15 Denso Corp ナビゲーション装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9291473B2 (en) 2012-03-07 2016-03-22 Mitsubishi Electric Corporation Navigation device

Also Published As

Publication number Publication date
JP2005172450A (ja) 2005-06-30
DE602004008196T2 (de) 2008-02-14
EP1542193B1 (en) 2007-08-15
DE602004008196D1 (de) 2007-09-27
EP1542193A1 (en) 2005-06-15
US20050143915A1 (en) 2005-06-30
US7228229B2 (en) 2007-06-05

Similar Documents

Publication Publication Date Title
JP4700904B2 (ja) 情報処理装置及び走行情報音声案内方法
US6516269B2 (en) Navigation apparatus for and navigation method of associating traveling of movable body
US7616540B2 (en) Apparatus for and method of recording and reproducing information
JP2002365061A (ja) 移動体用電子システムの制御装置及び制御方法、移動体用電子システム並びにコンピュータプログラム
JP3946917B2 (ja) ナビゲーションシステム
JP2002365062A (ja) 移動体用電子システムの制御装置及び制御方法、移動体用電子システム並びにコンピュータプログラム
KR100922458B1 (ko) 차량용 악음 발생 장치, 악음 발생 방법 및 프로그램을기록한 컴퓨터로 판독가능한 기록 매체
CN100483390C (zh) 音频设备控制器
JP2000161977A (ja) オーディオ装置
JP2010112762A (ja) ナビゲーション装置およびナビゲーション装置の音楽再生方法
JP2007315797A (ja) 音声案内装置
JP2000242888A (ja) 車両制御装置及びそのプログラムを記録した記録媒体
JP2004108908A (ja) オーディオ連携ナビゲーション装置
JP2013072759A (ja) 音楽再生装置及び音楽再生方法
JP2008122495A (ja) オーディオ連携経路案内システム及びオーディオ連携経路案内方法
JP5011856B2 (ja) コンテンツ提案装置、コンテンツ提案方法及びプログラム
JP2006129223A (ja) コンテンツ再生音量設定装置及び車載用コンテンツ再生システム
JP4221658B2 (ja) ナビゲーション装置及びナビゲーション装置におけるガイド方法
JPH0863946A (ja) カーナビゲーション装置とカーステレオ装置とを一体化したシステム
JPH11304506A (ja) ナビゲーション装置
JP4793243B2 (ja) 楽曲再生装置、楽曲再生方法、及びプログラム
JP4042622B2 (ja) 経路探索装置
JP2006266807A (ja) 情報処理装置、情報処理装置の制御方法および制御プログラム
JP4277662B2 (ja) 車載用オーディオ装置
JP2008143218A (ja) 車両用楽音発生装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110307

LAPS Cancellation because of no payment of annual fees