JP4764711B2 - 音声データ再生方法およびプログラム - Google Patents

音声データ再生方法およびプログラム Download PDF

Info

Publication number
JP4764711B2
JP4764711B2 JP2005353625A JP2005353625A JP4764711B2 JP 4764711 B2 JP4764711 B2 JP 4764711B2 JP 2005353625 A JP2005353625 A JP 2005353625A JP 2005353625 A JP2005353625 A JP 2005353625A JP 4764711 B2 JP4764711 B2 JP 4764711B2
Authority
JP
Japan
Prior art keywords
audio data
reproduction
time
speed
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005353625A
Other languages
English (en)
Other versions
JP2007157284A (ja
Inventor
泰子 横山
正樹 中野
義章 森本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Faurecia Clarion Electronics Co Ltd
Original Assignee
Clarion Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Clarion Co Ltd filed Critical Clarion Co Ltd
Priority to JP2005353625A priority Critical patent/JP4764711B2/ja
Priority to CN2006101645771A priority patent/CN1983427B/zh
Priority to US11/634,961 priority patent/US8116891B2/en
Publication of JP2007157284A publication Critical patent/JP2007157284A/ja
Application granted granted Critical
Publication of JP4764711B2 publication Critical patent/JP4764711B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3629Guidance using speech or audio output, e.g. text-to-speech
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3655Timing of guidance instructions
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005Reproducing at a different information rate from the information rate of recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B2020/10935Digital recording or reproducing wherein a time constraint must be met
    • G11B2020/10953Concurrent recording or playback of different streams or files
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/20Disc-shaped record carriers
    • G11B2220/25Disc-shaped record carriers characterised in that the disc is based on a specific recording technology
    • G11B2220/2508Magnetic discs
    • G11B2220/2516Hard disks

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Navigation (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、音声データ再生方法およびプログラムに関する。
従来の車載端末における運転者がナビゲーションの音声を聞き逃さないようにする工夫として、ナビゲーション以外のアプリケーションプログラムの音声出力について音量を下げたりミュートしたりすることが行われている。また、特許文献1には、運転者専用のスピーカにナビゲーションの音声を優先的に出力する仕組みが示されている。
一方、特許文献2には、ハードディスクレコーダーなどに録画されているコンテンツの既録画部分を視聴開始した場合に、既録画部分の再生時間の短縮制御を行うことにより、既録画部分の再生終了をリアルタイムに放送中のコンテンツの終了時刻に合わせるような技術が開示されている。
特開2004−016711号公報 特開2004−180331号公報
従来のように、ナビゲーション以外のアプリケーションプログラムからの音量を下げり、スピーカ出力を切り替えたりしても、そのアプリケーションプログラムから出力される音声が人の話し声であった場合には、ナビゲーションの音声出力がまぎれてしまう可能性がある。一方、音声出力をミュートした場合には、ユーザが聞きたい情報を聞き逃してしまう可能性がある。また、特許文献2に示されるハードディスクレコーダーなどに使用されている技術を車載端末に応用した場合には、アプリケーションプログラムからの音声出力が短縮再生によって高速に再生されることになるが、音声の出力が突然高速になると、聴取者はその音声を聞き取りにくい。
本発明は、このような背景を鑑みてなされたものであり、同時に再生される2つの音声データを聴取者に聞き取りやすく出力することのできる、音声データ再生方法及びプログラムを提供することを目的とする。
上記課題を解決するための本発明の主たる発明は、第1及び第2の音声データの再生方法であって、記憶装置を有するコンピュータが、前記第2の音声データの再生開始時点が到来するまで、前記第1の音声データを当該第1の音声データの再生速度として予定されている速度である通常の速度で再生し、前記再生開始時点が到来すると、前記第2の音声データのみを再生するとともに、前記第1の音声データの前記記憶装置への記録を開始し、前記第2の音声データの再生終了後、前記記憶装置に記録した前記第1の音声データについて前記通常の速度以上での再生を開始し、前記第1の音声データの再生速度を時間の経過とともに増加させ、前記第1の音声データの再生速度が所定の再生速度に達した後、時間の経過とともに前記第1の音声データの再生速度を前記通常の速度まで減少させ、前記第2の音声データの再生終了後に再生すべき第3の音声データの再生開始時刻を計画し、前記第2の音声データの再生終了時刻を算出し、前記第2の音声データの前記再生終了時刻から前記第3の音声データの前記再生開始時刻までの時間である間隙時間を算出し前記記憶装置に記録した前記第1の音声データの前記再生を開始した時刻から前記再生が終了するまでに要する再生時間を算出し、算出した前記再生時間が前記間隙時間以下であるか否かを判定し、前記再生時間が前記間隙時間以下である場合にのみ、前記記憶装置に記録した前記第1の音声データの前記再生速度を時間の経過とともに増加させることとする。
本発明によれば、同時に再生される2つの音声データを聴取者に聞き取りやすく出力することができる。
以下、本実施形態に係る車載端末10について説明する。本実施形態の車載端末10は、いわゆるカーナビゲーションシステムを想定している。車載端末10は音声を出力可能であり、カーナビゲーションを行うアプリケーションプログラム(以下、ナビアプリケーションという。)や、その他音声を出力するアプリケーションプログラム(以下、音声アプリケーションという。)が車載端末10上で動作する。音声アプリケーションとしては、例えばチャットアプリケーション、テレビ放送の受信アプリケーション、渋滞情報などの車両付近情報の提供アプリケーションなどがある。
本実施形態では、ナビアプリケーションの音声(以下、ナビ音声と略記する。)の聴取を確実にするために、ナビ音声の出力中は、他の音声アプリケーションの音声(以下、アプリ音声という。)は出力しないようにするとともに、他の音声アプリケーションのアプリ音声は録音しておく。さらに、録音したアプリ音声を、ナビ音声の再生終了後に短縮再生して、後続のアプリ音声の出力をリアルタイム行うことができるようにしている。
==装置構成==
図1に本実施形態に係る車載端末10の全体構成を示す。図1に示すように、車載端末10は、CPU101、メモリ102、記憶装置103、位置情報取得装置104、入力装置105、表示装置106、スピーカ107、無線通信装置108を備えている。
記憶装置103は、プログラムやデータを記憶する、例えば、ハードディスクドライブやCD−ROMドライブ、DVD−ROMドライブなどである。CPU101は、記憶装置103に記憶されているプログラムをメモリ102に読み出して実行することにより、各種の機能を実現する。位置情報取得装置104は、車載端末10が設置されている車両などの移動体の現在位置を取得するための装置である。位置情報取得装置104としては、例えばGPS(Global Positioning System)レシーバある。入力装置105は、情報を入力する、例えば、タッチパネルやリモートコントローラ、マイクロフォン、キーボード、マウスなどである。表示装置106は、情報を表示するディスプレイなどである。無線通信装置108は、他の通信装置との間で無線通信を行う装置である。なお、車載端末10は、入力装置105と表示装置106とが一体となったタッチパネルディスプレイを備えるようにしてもよい。
==ソフトウェア==
図2は車載端末10の機能ブロック図である。同図に示すように車載端末10は、ナビアプリケーション211、音声アプリケーション212、現在位置取得部213、走行経路情報取得部214、ナビ情報取得部221、録音部222、情報有効性確認部223、再生可能期間決定部224、短縮再生部225、音声データ記憶部250を備えている。なお、ナビアプリケーション211、音声アプリケーション212、現在位置取得部213、走行経路情報取得部214、ナビ情報取得部221、録音部222、情報有効性確認部223、再生可能期間決定部224、短縮再生部225は、車載端末10のCPU101が記憶装置103に記憶されているプログラムをメモリ102に読み出して実行することにより実現される。また、音声データ記憶部250は、車載端末10のメモリ102や記憶装置103が提供する記憶領域として実現される。
音声データ記憶部250は、ナビアプリケーション211や音声アプリケーション212から出力される音声データを記憶する。録音部222は、音声アプリケーション212から出力される音声データを音声データ記憶部250に記録することによりアプリ音声を録音する。なお、音声データには、音声アプリケーション212から出力された時刻が付帯されるものとする。また、アプリ音声には、そのアプリ音声に関する位置(以下、情報位置という。)が付帯することがある。例えば、街道沿いの店舗から送信される広告情報を無線通信によって受信し、受信した広告情報を地図上に表示するような音声アプリケーション212から出力されるアプリ音声の音声データには、その店舗の位置が付帯される。このような情報位置は音声データに付帯されたまま音声データ記憶部250に記録される。なお、録音部222による録音処理の詳細については後述する。
ナビ情報取得部221は、ナビアプリケーションからナビゲーションに関する情報(以下、ナビ情報という。)を取得する。ナビ情報としては、例えば、次にナビ音声を開始する地図上の位置や、ナビ音声の再生時間などがある。後述するように、録音部222は、ナビ情報取得部221が取得するナビ情報に基づいて、次にナビ音声が開始されるまでにアプリ音声を再生することができるかどうかを判断して、アプリ音声を再生することができない場合にはアプリ音声の音声データを音声データ記憶部250に記録する。
現在位置取得部213は、位置情報取得装置104から移動体の現在位置を取得する。
情報有効性確認部223は、音声データ記憶部250に記録されている音声データに位置が付帯されている場合には、その位置と現在位置との間の距離が所定距離よりも離れている場合には、その音声データを音声データ記憶部250から削除する。なお、情報有効性確認部223の処理の詳細については後述する。
走行経路情報取得部214は、移動体の移動に関する情報(以下、走行経路情報という。)を取得する。走行経路情報には移動体の移動速度などがある。また、走行経路情報取得部214は、取得した走行経路情報に基づく集計処理などを行い、移動体の平均移動速度などを算出する。走行経路情報取得部214は、例えば、位置情報取得装置104から定期的に移動体の現在位置を取得して移動体の移動速度や移動方向などを求めるようにすることができる。また、走行経路情報取得部214は、移動体に備え付けられたジャイロセンサなどから速度情報を取得するようにしてもよい。なお、本実施形態では走行経路情報は移動体の移動速度に関する情報とするが、これに限らず、例えば、渋滞情報や信号機の状態(赤信号の残り時間など)、緊急車両が接近しているかどうかなどの情報を含むようにしてもよい。この場合、走行経路情報取得部214は、例えば、環境情報を無線通信装置108を介して他の通信装置から走行経路情報を受信するようにすることができる。
再生可能期間決定部224は、音声データ記憶部250に記録されている音声データを再生可能な期間(以下、再生可能期間という。)を決定する。再生可能期間決定部224は、ナビアプリケーション211からナビ音声の出力が計画されている時刻を取得し、各ナビ音声の間の時間が所定の閾値以上であるかどうかにより音声データを再生可能かどうかを判断するようにしている。なお、再生可能期間決定部224による再生可能期間の決定方法の詳細については後述する。
短縮再生部225は、音声データ記憶部250に記録されている音声データを短縮再生する。短縮再生部225は、徐々に再生速度が早くなるようにし、所定の再生速度に達した後は、徐々に再生速度が遅くなるようにして音声データを再生する。なお、短縮再生部225による音声データの短縮再生処理の詳細については後述する。
==音声出力処理の概要==
以下、本実施形態の車載端末10における音声出力処理について説明する。上述したように、本実施形態の車載端末10では、ナビ音声を優先的にスピーカから出力する一方で、他のアプリケーションプログラムからアプリ音声はスピーカから出力せずに録音し、ナビ音声の出力後、録音しておいたアプリ音声を短縮再生する。
図3は、本実施形態の車載端末10による音声出力の状況を説明する図である。図3では、音声アプリケーションからアプリ音声301が連続的に出力されており、時点302から時点303までの間にナビ音声304が出力される状況が示されている。
ナビ音声304の出力が開始される時点302までは、アプリ音声301がそのままスピーカから再生されるが(S311)、時点302からはナビ音声304のみが再生される(S312)。その間アプリ音声301は録音される。ナビ音声304の出力が終了した時点303からは、アプリ音声301の録音は継続しつつ、すでに録音済みのアプリ音声301を再生速度を上げて短縮再生する(S313)。短縮再生によって、録音されたアプリ音声301がすべて再生された時点305からは、音声アプリケーションから出力されるアプリ音声301をそのまま再生する(S314)。
ナビアプリケーションの性質上、1回の音声出力が長時間続くことはほとんどなく、また出力が頻繁に起こる状態が続くということもほとんどない。つまりナビ音声は、出力されているより出力されていない時間の方が長いことが多い。そのため、ナビ音声が出力されている間に録音されたアプリ音声についての短縮再生は比較的短い時間行われるだけで済むことになる。
さらに、本実施形態の車載端末10では、ナビ音声304の再生が終了した後に行われる録音済みのアプリ音声301の短縮再生(S313)において、図4に示すように再生開始後徐々に再生速度を上げて(時間の経過とともに再生速度を増加させて)、アプリ音声301の再生終了前には徐々に再生速度が下がる(時間の経過とともに再生速度を減少させる)ようにしている。アプリ音声310を突然再生速度を上げて再生開始すると、聴取者は耳が慣れるまでアプリ音声を聞き取りにくい。しかし、上記のように徐々に再生速度を上げて行くことで、聞き始めを聞き取りやすくすることができる。また、短縮再生の終了前に徐々に再生速度を下げて通常の速度に近づけていくことで、聴取者がよりスムーズに通常のアプリ音声の出力を聞き取るようにすることができる。
なお、徐々に再生速度を上げる(又は下げる)こととは、最終的に所定の再生速度に達するように再生速度を増加(又は減少)させることをいうものとする。本実施形態では、簡単のため、徐々に再生速度を上げることとは、再生速度を単調増加させることをいうものとし、この場合、第1の時点における再生速度v1と、第1の時点以降の第2の時点における再生速度v2とが、「v1≦v2」の関係にあることをいうものとする。また、徐々に再生速度を下げることとは、再生速度を単調減少させることをいうものとし、この場合、上記再生速度v1及びv2が「v1≧v2」の関係にあることをいうものとする。
以下、本実施形態の車載端末10による音声出力処理の詳細について説明する。
==起動処理==
図5は車載端末10の起動処理の流れを示す図である。同図に示すように、車載端末10は、記憶装置103に記憶されているプログラムを実行して、後述の録音処理を開始し(S501)、短縮再生処理を開始する(S502)。なお、これらの処理は車載端末10において同時並行的に行われる。
==録音処理==
図6に録音処理の流れを示す。車載端末10の録音部222は、録音時間を「0(ゼロ)」に初期化し(S601)、ユーザから終了指示を受けるまで以下の処理を行う。
車載端末10のナビ情報取得部221は、図7に示すナビ音声の出力期間取得処理を行う(S602)。
図7に示すように、ナビ情報取得部221は、次にナビ音声が出力される予定の移動体の位置(以下、ナビ開始予定位置という。)をナビアプリケーション211から取得する(S701)。現在位置取得部213は、位置情報取得装置104から移動体の現在位置を取得する(S702)。走行経路情報取得部214は、移動体の平均移動速度を取得する(S703)。ナビ情報取得部221は、移動体の現在位置及び平均移動速度並びにナビ開始予定位置に基づいて、ナビ音声の出力が開始される予定の時刻(以下、ナビ開始予定時刻という。)を算出する(S704)。ナビ情報取得部221は、ナビアプリケーション211から次回のナビ音声の再生予定時間を取得し(S705)、上記算出したナビ開始予定時刻に再生予定時間を加算してナビ終了予定時刻を算出する(S706)。
上記のようにして、ナビ情報取得部221は、ナビアプリケーション211から次回に行われるナビ音声の出力期間を取得する。
次に、録音部222は、ナビ開始予定時刻と現在時刻との差を算出し、その差があらかじめ定められた規定値以上であれば(図6:S603:YES)、ナビ終了予定時刻までの間、音声アプリケーションが作成するアプリ音声の音声データを再生することなく(ミュートして)音声データ記憶部250に記録(録音)する(S604)。録音部222は、上記の記録に要した時間を測定し、測定した時間を録音時間に加算する(S605)。
==短縮再生処理==
図8に録音されたアプリ音声の短縮再生処理の流れを示す。
上記のようにして録音部222が更新している録音時間が「0」より大きい場合(S801:YES)、車載端末10の再生可能期間決定部224は、図9に示すアプリ音声の再生可能期間の決定処理により、再生可能期間を決定する(S802)。
図9に示すように、再生可能期間決定部224は、現在時刻をTとして(S901)、時刻T以降で最初にナビ音声が終了する予定の時刻を算出してT1とする(S902)。ナビ音声の終了予定時刻は、上記図7の処理と同様に、移動体の現在位置、平均移動速度、ナビ開始予定位置、及びナビ音声の再生時間に基づいて算出することができる。次に再生可能期間決定部224は、時刻T1以降で最初にナビ音声が開始される予定の時刻を算出してT2とする(S903)。ナビ音声の開始予定時刻についても、上記図7の処理と同様に、移動体の現在位置、平均移動速度、ナビ開始予定位置に基づいて算出する。再生可能期間決定部224は、時刻T2から時刻T1を引いて求められる期間(以下、間隙期間という。)の長さが規定値よりも小さい場合、すなわち、2つのナビ音声が短いインターバルを挟んで連続して出力される予定である場合(S904)には、間隙期間の長さが所定の規定値以上になるまで、T2をTとして(S905)、(S902)〜(S903)の処理を行う。
一方間隙期間の長さが規定値以上である場合には(S904:NO)、時刻T1を再生開始可能時刻とし、T2を再生終了時刻とし、間隙期間の長さを再生可能時間とする(S906)。
上記のようにして、2つのナビ音声の間隙の期間が所定の時間よりも大きいかどうかによって、その期間において録音されている音声データの再生を行うかどうかを決定している。図10は2つのナビ音声が出力される状況を説明するための図である。図10では、時刻1001〜時刻1002までの期間に出力されるナビ音声1003と、時刻1004〜時刻1005までの期間に出力されるナビ音声1006とが予定されている。時刻1002〜時刻1004の間隙期間が規定値以上であれば、図10(1)に示すように、時刻1001〜時刻1007に出力される予定であったアプリ音声1008について短縮再生が行われる。一方、上記の間隙期間が規定値よりも短ければ、時刻1002〜時刻1004の間隙期間においてもアプリ音声は出力されず、図10(2)に示すように、2番目のナビ音声の出力が終了した時刻1005から、録音されているアプリ音声1009の短縮再生が行われることになる。
上記のようにして決定した再生開始可能時刻が現在時刻に所定の時間(例えば1分など)を加算した時刻よりも先である場合(S803:YES)、情報有効性確認部223は、図11に示す情報有効性確認処理を行う(S804)。
情報有効性確認部223は、再生開始可能時刻における移動体の予測位置を算出する(S1101)。予測位置は、例えば、現在位置取得部213が取得した現在位置と、走行経路情報取得部214が取得した移動体の平均移動速度とに基づいて算出することができる。情報有効性確認部223は、音声データ記憶部250に記録されている音声データのそれぞれについて以下の処理を行う。
情報有効性確認部223は、記録されている音声データに位置(以下、情報位置という。)が付帯されている場合(S1102:YES)、付帯されている情報位置と、上記の予測位置との間の距離を算出し(S1103)、算出した距離が所定の距離より大きい場合には(S1104:YES)、その音声データを音声データ記憶部250から削除する(S1105)。なお、ここで算出する距離は直線距離でもよいし、ナビゲーションシステムに用いられている手法を使って、移動体の経路に沿った移動距離としてもよい。
上記のようにして、音声データを再生可能な時刻における移動体の位置と、その音声データに付帯されている位置が所定の距離以上である場合には、その音声データは出力されないようになる。これにより、例えば沿道の店舗の広告情報など、移動体の位置に関係が深く、移動体が移動することにより再生する価値が下がるような音声データについては出力しないようにすることができる。図12は移動体が移動する状況を説明する図である。図12は、道路1201上を車両が走行する状況を示している。ここで車載端末10では車両付近の店舗情報を音声で知らせるような音声アプリケーション212が動作しているものとする。車両が位置1202に到達した時点に、位置1202から所定距離内の範囲1204に位置する店舗1206〜1209についての店舗情報を知らせるための音声データ(以下、店舗音声データという。)が音声アプリケーション212から出力され、そのときナビ音声が出力中であった場合には、これらの店舗音声データは店舗の位置とともに音声データ記憶部250に記録される。ナビ音声の出力が終了した時点で、車両が位置503に到達していたとすると、上記の情報有効性確認処理により、位置503から所定距離内の範囲1205の外に位置する店舗1206、1207、及び1209についての音声データは音声データ記憶部250から削除される。これによって、音声データを再生するのに要する時間を短縮することできる。なお、車両が移動することにより車両の位置からは遠くなってしまった店舗の音声データは有用でない場合が多いと考えられるため、音声データを削除することによる聴取者への不利益は少ない。
一方、図8において再生開始可能時刻が現在時刻に所定の時間を加算した時刻以前である場合(S803:NO)、短縮再生部225は、録音部222により更新されている録音時間が再生可能時間より大きいかどうかを判断する(S805:YES)。録音時間が再生可能時間より大きい場合には、録音時間をPとして、録音時間に「0」を設定し(S806)、録音時間が再生可能時間以下である場合には(S805:NO)、再生可能時間を所定の短縮率で割った商を短縮再生処理の対象となる音声データのデータ長Pとし、録音時間からPを減じる(S807)。ここで、所定の短縮率とは、後述する音声データの短縮再生を行った場合に要する時間の通常の再生に要する時間に対する割合である。例えば、通常の再生の半分の時間で短縮再生が行われる場合には、規定短縮率は「0.5」になる。したがって、再生可能時間において、「0.5」の規定短縮率で短縮再生する場合にはPは「2」となり、通常の「2」倍の長さの音声データが短縮再生される。
上記のようにして決定したPの長さの音声データについて、短縮再生部225は、再生速度を変化させた短縮再生処理を行う(S808)。
==再生速度を変化させた短縮再生処理==
図13は再生速度を変化させた短縮再生処理の流れを示す図である。なお、本実施形態では、2段階で再生速度を変化させるものとする。また、本実施形態において短縮再生部225は、上述した図4のように、音声データは、処理開始時刻から所定時間は、通常の速度から1段階速くした再生速度(以下、微短縮再生速度という。)で再生し、次に微短縮再生速度からさらに1段階速くした再生速度(以下、短縮再生速度という。)で再生し、次に終了時刻まで微短縮再生速度で再生する。なお、以下の説明において、通常の速度(リアルタイム)で音声データを再生した場合にかかる時間に対する、微短縮速度で音声データを再生した場合にかかる時間の割合を微短縮率という。
短縮再生部225は、音声データ記憶部250に記憶されている音声データの先頭からデータ長P分のデータ(以下、再生対象データという。)を読み出し、読み出した再生対象データに無音区間が含まれているかどうかを調べる(S1301)。本実施形態では、再生対象データに含まれている無音区間はスキップして再生しないようにする。図14は再生対象データに無音区間が含まれている状態を説明する図である。同図に示すように、録音されたアプリ音声の音声データに無音区間1401が含まれている場合には、短縮再生部225は、無音区間1401を再生しないようにする。これによって、より短い期間で録音されたアプリ音声を再生するようにすることができる。
再生対象データに無音区間が含まれている場合(S1301:YES)、短縮再生部225は、再生しない無音区間の長さをPから減算する(S1302)。
短縮再生部225は、再生可能時間をRとして(S1303)、再生対象データの長さが再生可能時間より少ない、すなわち、PがR以下である場合には(S1304:YES)、短縮再生速度を「1」とし、微短縮再生速度を「0」とする(S1305)。
一方、PがRより大きい場合には(S1304:NO)、短縮再生部225は、RをPで割った商を短縮率nとする(S1306)。短縮再生部225は、nが微短縮率Q以上である場合(S1307:YES)、1をQで割った商を微短縮再生速度とし、微短縮速度で再生する長さの音声データ全体の長さに対する割合(以下、微短縮割合という。)をSとすると、「1÷(P×(1−S)÷(R−P×Q×2))」より短縮再生速度を算出する(S1308)。短縮再生部225は、nがQ以上である場合には(S1307:NO)、1をnで割った商を短縮再生速度とし、微短縮再生速度は「0」とする(S1309)。
上記のようにして算出した微短縮再生速度が「0」である場合(S1310:YES)、短縮再生部225は、微短縮再生速度での短縮再生を行わずに、時間Rの間、短縮再生速度で短縮再生を行う(S1311)。
一方、微短縮再生速度が「0」でなければ(S1310:NO)、短縮再生部225は、微短縮再生速度で再生する時間(以下、微短縮再生時間という。)D1を、「P×S×S÷2」より算出し(S1312)、再生対象データを、微短縮再生時間の間、微短縮再生速度で再生し(S1313)、(R−D1×2)で算出した時間の間、短縮再生速度で再生し(S1314)、微短縮再生時間の間、微短縮再生速度で再生する(S1315)。なお、上記(S1311)並びに(S1313)〜(S1315)において、短縮再生部225は、再生対象データに含まれている無音区間はスキップして再生しないようにする。
上記のようにして、本実施形態の車載端末10は、ナビ音声とその他の音声アプリケーション212からのアプリ音声が重なる場合において、ナビ音声の出力中はナビ音声以外のアプリ音声をミュートして、ナビ音声のみを出力することができる。したがって、聴取者がナビ音声を聞き取りやすい状況をつくることができる。よって、聴取者はナビ音声を確実に聴取することができる。また、ナビアプリケーション211にとっては、聴取者への情報の伝達を確実に行うことができる。
また、アプリ音声の音声データは、アプリ音声のミュート中(ナビ音声の出力中)は音声データ記憶部250に記録され、記録された音声データは、ナビ音声の再生終了後に再生される。したがって、ナビ音声の出力中にアプリ音声がミュートされることにより流失するアプリ音声からの情報伝達をナビ音声の出力後に行い、聴取者に対して提供される情報の喪失を防ぐことができる。これにより、例えば、チャットなどの会話内容を聞き逃して話の流れを見失うなどの状況の発生を防ぎ、聴取者の利便性を高めることができる。また、アプリ音声は再生速度を上げて短縮再生されるため、アプリ音声が出力されるべきタイミングがリアルタイムになるように迅速に復帰することができる。
また、本実施形態の車載端末10は、再生速度を段階的に変えながら短縮再生を行うため、滑らかな再生速度変化により聞き取りやすさを確保することができる。また、アプリ音声が突然高速に再生されるときに聴取者が感じうる違和感を軽減することができる。
また、アプリ音声の短縮再生の終了時には徐々に再生速度を落として通常の再生速度に近づけていくため、短縮再生からリアルタイムでのアプリ音声の再生への切り替わりユーザに意識させずにスムーズに行うことができる。これにより、聴取者の快適性の低下を抑制することができる。
また、本実施形態の車載端末10は、音声データに付帯する位置と移動体の現在位置との間の距離が所定値以上になった場合には、その音声データを削除する。したがって、例えば、沿道の店舗の情報など、距離が離れるほどに情報価値が低下するような状況においては、無駄な情報の提供を省略することにより、その他のアプリ音声をより迅速に再生開始することが可能となる。また、本実施形態の車載端末10では、録音されている音声データの情報量(時間)が少ないほど再生速度の上昇を抑えることができるため、情報価値の低い音声データを削除することで、情報価値の高い音声データについては、より聞き取りやすく短縮再生を行うことができる。
また、本実施形態の車載端末10は、ナビ音声の再生終了後、次のナビ音声の再生開始までの間隙時間が短い場合には、アプリ音声を再生しないようにしている。したがって、あまり短い時間にアプリ音声の断片を再生することによりアプリ音声が無闇に途切れてしまうような状況を回避することができる。
==変形例==
なお、本実施形態では、再生速度を2段階に変化させるものとしたが、これに限らず、3段階以上の複数段階で変化させるようにしてもよいし、単純増加するようになだらかに変化させるようにしてもよい。また、再生開始時点から再生速度を増加させる場合と、短縮再生速度から通常の速度まで再生速度を減少させる場合とでは、変化の度合いを変えるようにしてもよい。
また、車載端末10は、ナビ開始予定時刻の算出時において、赤信号の残り時間や、緊急車両の接近から通過までの時間などの走行経路情報を取得し、取得した走行経路情報から車両の停止時間を算出し、算出した停止時間を組み込むようにしてもよい。この場合、ナビ開始予定時刻は、本実施形態で説明した処理によって算出する値よりも遅くなることが多い。したがって、アプリ音声の再生に使える時間をより多く確保した予測を行うことができる。また、本実施形態で説明した処理においては、アプリ音声の再生速度は再生可能時間が長いほどゆっくりと変化するようになるため、上記のような走行経路情報を用いて再生可能時間を算出することにより、再生速度の変化をゆっくりとすることで、アプリ音声の切り替わりの違和感を軽減することができる。
また、本実施形態では、再生対象データに含まれている無音区間はスキップするようにしたが、無音区間を所定の時間(例えば0.5秒など)に短縮するようにしてもよい。これにより、無音区間が連続したアプリ音声の区切りを示しているような場合に、アプリ音声の区切りを表現することができる。なお、この場合には、上述の図13の処理の(S1302)において、Pから無音区間の長さの総計を減算した後、無音区間の数に上記所定の時間を乗じた値を加算するようにする。
また、車載端末10は、音声データ記憶部250に記憶されている音声データのそれぞれについて、その音声データが音楽のデータであるかどうかを判断し、音楽の音声データは他の音声データよりも音量を下げて再生するようにしてもよい。この場合、音楽以外の音声データの聞き取りやすさを高めることができる。また、音楽と判断された音声データについては、再生しないようにしてもよい。なお、音楽のデータであるかどうかの判断は、例えば、音声データのヘッダ情報を参照して行うようにしてもよいし、音声アプリケーション212から音楽のデータであるかどうかを示す情報を取得するようにしてもよい。
また、本実施形態の各機能部は、ナビアプリケーション211の機能として組み込むようにしてもよい。
また、本実施形態では、再生速度の変化による音声の音程変化については触れなかったが、違和感のない再生を実現するためには適宜適用が必要である。
また、本実施形態では、徐々に再生速度を上げることとは、再生速度を単調増加させるものとしたが、これに限らず、最終的に所定の再生速度に達するように再生速度を増加させれば、途中に再生速度が減少することがあってもよい。同様に、徐々に再生速度を下げる場合に、途中に再生速度が増加することがあってもよい。
以上、本実施形態について説明したが、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。
本実施形態に係る車載端末10の全体構成を示す図である。 車載端末10の機能ブロック図である。 本実施形態の車載端末10による音声出力の状況を説明する図である。 録音済みのアプリ音声301の短縮再生の状況を説明する図である。 車載端末10の起動処理の流れを示す図である。 録音処理の流れを示す図である。 ナビ音声の出力期間取得処理の流れを示す図である。 録音されたアプリ音声の短縮再生処理の流れを示す図である。 アプリ音声の再生可能期間の決定処理の流れを示す図である。 2つのナビ音声が出力される状況を説明するための図である。 情報有効性確認処理の流れを示す図である。 移動体が移動する状況を説明する図である。 再生速度を変化させた短縮再生処理の流れを示す図である。 再生対象データに無音区間が含まれている状態を説明する図である。
符号の説明
10 車載端末
101 CPU
102 メモリ
103 記憶装置
104 位置情報取得装置
105 入力装置
106 表示装置
107 スピーカ
108 無線通信装置
211 ナビアプリケーション
212 音声アプリケーション
213 現在位置取得部
214 走行経路情報取得部
221 ナビ情報取得部
222 録音部
223 情報有効性確認部
224 再生可能期間決定部
225 短縮再生部
250 音声データ記憶部

Claims (6)

  1. 第1及び第2の音声データの再生方法であって、
    記憶装置を有するコンピュータが、
    前記第2の音声データの再生開始時点が到来するまで、前記第1の音声データを当該第1の音声データの再生速度として予定されている速度である通常の速度で再生し、
    前記再生開始時点が到来すると、前記第2の音声データのみを再生するとともに、前記第1の音声データの前記記憶装置への記録を開始し、
    前記第2の音声データの再生終了後、前記記憶装置に記録した前記第1の音声データについて前記通常の速度以上での再生を開始し、
    前記第1の音声データの再生速度を時間の経過とともに増加させ、
    前記第1の音声データの再生速度が所定の再生速度に達した後、時間の経過とともに前記第1の音声データの再生速度を前記通常の速度まで減少させ
    前記第2の音声データの再生終了後に再生すべき第3の音声データの再生開始時刻を計画し、
    前記第2の音声データの再生終了時刻を算出し、
    前記第2の音声データの前記再生終了時刻から前記第3の音声データの前記再生開始時刻までの時間である間隙時間を算出し
    前記記憶装置に記録した前記第1の音声データの前記再生を開始した時刻から前記再生が終了するまでに要する再生時間を算出し、
    算出した前記再生時間が前記間隙時間以下であるか否かを判定し、
    前記再生時間が前記間隙時間以下である場合にのみ、前記記憶装置に記録した前記第1の音声データの前記再生速度を時間の経過とともに増加させる
    ことを特徴とする音声データ再生方法。
  2. 請求項1に記載の音声データ再生方法であって、
    前記コンピュータは、
    前記再生時間が前記間隙時間を超えない範囲で最も長くなるように前記再生速度を増加させる
    ことを特徴とする音声データ再生方法。
  3. 第1及び第2の音声データの再生方法であって、
    移動体に搭載され、前記移動体の現在位置を取得する現在位置取得装置と記憶装置とを有するコンピュータが、
    前記第2の音声データの再生開始時点が到来するまで、前記第1の音声データを当該第1の音声データの再生速度として予定されている速度である通常の速度で再生し、
    前記再生開始時点が到来すると、前記第2の音声データのみを再生するとともに、前記第1の音声データの前記記憶装置への記録を開始し、
    前記第2の音声データの再生終了後、前記記憶装置に記録した前記第1の音声データについて前記通常の速度以上での再生を開始し、
    前記第1の音声データの再生速度を時間の経過とともに増加させ、
    前記第1の音声データの再生速度が所定の再生速度に達した後、時間の経過とともに前記第1の音声データの再生速度を前記通常の速度まで減少させ、
    前記第1の音声データには、前記第1の音声データに関連する位置が付帯されており、
    前記コンピュータが、
    前記現在位置取得装置から前記移動体の前記現在位置を取得し、
    取得した前記現在位置と前記第1の音声データに付帯されている前記位置との間の距離を算出し、
    算出した前記距離が所定値以下である場合にのみ、前記記憶装置に記録した前記第1の音声データの前記再生速度を時間の経過とともに増加させる
    ことを特徴とする音声データ再生方法。
  4. 第1及び第2の音声データの再生方法であって、
    移動体に搭載され、前記移動体の現在位置を取得する現在位置取得装置と記憶装置と前記移動体の移動方向及び移動速度を取得する移動情報取得装置とを有するコンピュータが、
    前記第2の音声データの再生開始時点が到来するまで、前記第1の音声データを当該第1の音声データの再生速度として予定されている速度である通常の速度で再生し、
    前記再生開始時点が到来すると、前記第2の音声データのみを再生するとともに、前記第1の音声データの前記記憶装置への記録を開始し、
    前記第2の音声データの再生終了後、前記記憶装置に記録した前記第1の音声データについて前記通常の速度以上での再生を開始し、
    前記第1の音声データの再生速度を時間の経過とともに増加させ、
    前記第1の音声データの再生速度が所定の再生速度に達した後、時間の経過とともに前記第1の音声データの再生速度を前記通常の速度まで減少させ、
    前記第1の音声データには、前記第1の音声データに関連する位置が付帯されており、
    前記コンピュータが、
    前記現在位置取得装置から前記移動体の現在位置を取得し、
    前記移動情報取得装置から前記移動方向及び前記移動速度を取得し、
    前記現在位置、前記移動方向及び前記移動速度に基づいて、前記第2の音声データの再生終了時における前記移動体の位置である予測位置を算出し、
    算出した前記予測位置と前記第1の音声データに付帯されている前記位置との間の距離を算出し、
    算出した前記距離が所定値以下である場合にのみ、前記記憶装置に記録した前記第1の音声データの前記再生速度を時間の経過とともに増加させる
    ことを特徴とする音声データ再生方法。
  5. 請求項1に記載の音声データ再生方法であって、
    前記コンピュータが、
    複数の前記第1の音声データを同時に再生する場合に、
    前記第1の音声データのそれぞれについて、前記第1の音声データが音楽のデータであるかどうかを判定し、
    音楽のデータと判定した前記第1の音声データの音量が他の前記第1の音声データの音量よりも小さくなるように前記第1の音声データを再生すること、
    を特徴とする音声データ再生方法。
  6. 第1及び第2の音声データを再生する機能を実現するプログラムであって、
    記憶装置を有するコンピュータに、
    前記第2の音声データの再生開始時点が到来するまでは前記第1の音声データを当該第1の音声データの再生速度として予定されている速度である通常の速度で再生する機能と、
    前記再生開始時点が到来すると、前記第1の音声データの前記記憶装置への記録を開始するとともに、前記第2の音声データのみを再生する機能と、
    前記第2の音声データの再生終了後、前記記憶装置に記録した前記第1の音声データの前記通常の速度以上の速度での再生を開始する機能と、
    前記第1の音声データの前記再生速度を時間の経過とともに増加させる機能と、
    前記第1の音声データの再生速度が所定の再生速度に達した後、時間の経過とともに前記第1の音声データの再生速度を前記通常の速度まで減少させる機能と
    前記第2の音声データの再生終了後に再生すべき第3の音声データの再生開始時刻を計画する機能と、
    前記第2の音声データの再生終了時刻を算出する機能と、
    前記第2の音声データの前記再生終了時刻から前記第3の音声データの前記再生開始時刻までの時間である間隙時間を算出する機能と
    前記記憶装置に記録した前記第1の音声データの前記再生を開始した時刻から前記再生が終了するまでに要する再生時間を算出する機能と、
    算出した前記再生時間が前記間隙時間以下であるか否かを判定する機能と、
    前記再生時間が前記間隙時間以下である場合にのみ、前記記憶装置に記録した前記第1の音声データの前記再生速度を時間の経過とともに増加させる機能と
    を実現するためのプログラム。
JP2005353625A 2005-12-07 2005-12-07 音声データ再生方法およびプログラム Expired - Fee Related JP4764711B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005353625A JP4764711B2 (ja) 2005-12-07 2005-12-07 音声データ再生方法およびプログラム
CN2006101645771A CN1983427B (zh) 2005-12-07 2006-12-07 音频数据的再现方法
US11/634,961 US8116891B2 (en) 2005-12-07 2006-12-07 Audio data reproducing method and program therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005353625A JP4764711B2 (ja) 2005-12-07 2005-12-07 音声データ再生方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2007157284A JP2007157284A (ja) 2007-06-21
JP4764711B2 true JP4764711B2 (ja) 2011-09-07

Family

ID=38165898

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005353625A Expired - Fee Related JP4764711B2 (ja) 2005-12-07 2005-12-07 音声データ再生方法およびプログラム

Country Status (3)

Country Link
US (1) US8116891B2 (ja)
JP (1) JP4764711B2 (ja)
CN (1) CN1983427B (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1933300A1 (de) * 2006-12-13 2008-06-18 F.Hoffmann-La Roche Ag Sprachausgabegerät und Verfahren zur Sprechtextgenerierung
US20110060990A1 (en) * 2009-09-09 2011-03-10 Gross Roy D Method and System for Storytelling
JP2013171312A (ja) * 2012-02-17 2013-09-02 Denso Corp 映像音声制御装置
US9042579B2 (en) * 2012-05-15 2015-05-26 GM Global Technology Operations LLC Mitigating the effects of audio interruptions via adaptive automated fast audio playback
JP5999839B2 (ja) * 2012-09-10 2016-09-28 ルネサスエレクトロニクス株式会社 音声案内システム及び電子機器
JP5940230B2 (ja) * 2014-02-04 2016-06-29 三菱電機株式会社 コンテンツ再生装置
US20170292853A1 (en) * 2016-04-06 2017-10-12 International Business Machines Corporation Tailored voice navigation analysis system
US10462281B2 (en) * 2017-06-30 2019-10-29 Intel Corporation Technologies for user notification suppression
US10740064B1 (en) * 2019-01-14 2020-08-11 Amazon Technologies, Inc. Techniques for dynamic synthesis of media content
WO2023073948A1 (ja) * 2021-10-29 2023-05-04 パイオニア株式会社 音声出力装置、音声出力方法、プログラム及び記憶媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05344214A (ja) 1992-06-08 1993-12-24 Nippon Telegr & Teleph Corp <Ntt> ガイダンス出力装置
JPH08147794A (ja) * 1994-11-25 1996-06-07 Sanyo Electric Co Ltd 情報再生装置
JPH09160582A (ja) * 1995-12-06 1997-06-20 Fujitsu Ltd 音声合成装置
JP3661177B2 (ja) * 1996-09-30 2005-06-15 マツダ株式会社 ナビゲーション装置
US6233389B1 (en) * 1998-07-30 2001-05-15 Tivo, Inc. Multimedia time warping system
JP3846095B2 (ja) * 1999-03-16 2006-11-15 株式会社デンソー 車載用マルチメディアシステム
CA2438998C (en) * 2001-02-20 2011-08-23 Caron S. Ellis Multiple radio signal processing and storing method and apparatus
JP4421789B2 (ja) * 2001-06-11 2010-02-24 パイオニア株式会社 移動体用電子システムの制御装置及び制御方法、移動体用電子システム並びにコンピュータプログラム
JP2004016711A (ja) 2002-06-20 2004-01-22 Takanichi Kk スピーカ内蔵ヘッドレスト
JP2004320582A (ja) * 2003-04-18 2004-11-11 Toyota Motor Corp 車載用割込信号出力装置
JP2005032408A (ja) * 2003-06-20 2005-02-03 Matsushita Electric Ind Co Ltd 記録再生装置
JP4700904B2 (ja) * 2003-12-08 2011-06-15 パイオニア株式会社 情報処理装置及び走行情報音声案内方法
JP4031443B2 (ja) 2004-01-14 2008-01-09 株式会社リコー 録画視聴システム

Also Published As

Publication number Publication date
JP2007157284A (ja) 2007-06-21
US20070171788A1 (en) 2007-07-26
US8116891B2 (en) 2012-02-14
CN1983427A (zh) 2007-06-20
CN1983427B (zh) 2010-05-19

Similar Documents

Publication Publication Date Title
JP4764711B2 (ja) 音声データ再生方法およびプログラム
JP4866359B2 (ja) 記録再生装置、記録再生方法、記録再生プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009048676A (ja) 再生装置および方法
US11849190B2 (en) Media program having selectable content depth
JP2008071058A (ja) 音声再生装置、音声再生方法、プログラム
JP2007335006A (ja) 車両用コンテンツ再生装置
JP4829184B2 (ja) 車載装置および音声認識方法
JP2006293697A5 (ja)
JP4922462B1 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2012098100A (ja) 誘導経路音声案内出力オーディオ制御装置
JP4221658B2 (ja) ナビゲーション装置及びナビゲーション装置におけるガイド方法
JP4618163B2 (ja) 車載オーディオ装置
JP2006090988A (ja) ナビゲーション装置
JP4042622B2 (ja) 経路探索装置
JP2005265460A (ja) カーナビゲーション装置
JP4135021B2 (ja) 記録再生装置及びプログラム
JP6810527B2 (ja) 再生制御装置、再生制御システム、並びに再生制御方法、プログラム及び記録媒体
JP3905018B2 (ja) 車載用映像表示装置
JP2019153933A (ja) コンテンツ再生装置、コンテンツ再生方法
WO2024090309A1 (ja) 音出力装置、音出力方法及びプログラム
JP2021039386A (ja) 再生制御装置、再生制御システム、並びに再生制御方法、プログラム及び記録媒体
JP6151898B2 (ja) 音声再生装置および音声再生方法
WO2016098326A1 (ja) 音声再生装置、音声再生方法
JP2005153659A (ja) 車載用オーディオ装置
JP2005311518A (ja) 移動体用音楽再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080606

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100212

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100825

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20101130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20110217

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20110314

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110517

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110613

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees