JP7119939B2 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
JP7119939B2
JP7119939B2 JP2018216668A JP2018216668A JP7119939B2 JP 7119939 B2 JP7119939 B2 JP 7119939B2 JP 2018216668 A JP2018216668 A JP 2018216668A JP 2018216668 A JP2018216668 A JP 2018216668A JP 7119939 B2 JP7119939 B2 JP 7119939B2
Authority
JP
Japan
Prior art keywords
reproduction
audio data
unit
text data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018216668A
Other languages
English (en)
Other versions
JP2020086003A (ja
Inventor
淳 塚本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018216668A priority Critical patent/JP7119939B2/ja
Priority to CN201910858944.5A priority patent/CN111277976B/zh
Priority to US16/567,628 priority patent/US11195508B2/en
Publication of JP2020086003A publication Critical patent/JP2020086003A/ja
Priority to US17/383,991 priority patent/US11837218B2/en
Application granted granted Critical
Publication of JP7119939B2 publication Critical patent/JP7119939B2/ja
Priority to US18/382,162 priority patent/US20240046917A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/02Methods for producing synthetic speech; Speech synthesisers
    • G10L13/04Details of speech synthesis systems, e.g. synthesiser structure or memory management
    • G10L13/047Architecture of speech synthesisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • G10L13/08Text analysis or generation of parameters for speech synthesis out of text, e.g. grapheme to phoneme translation, prosody generation or stress or intonation determination
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80Responding to QoS

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。
従来、音声コンテンツ(以下、「コンテンツ」と称する)を配信する配信サーバが、無線LAN(Local Area Network)などの通信ネットワークを介して、コンテンツを配信する技術が知られている。
例えば、特許文献1には、ストリーミング型コンテンツの再生と並行してダウンロード型コンテンツをダウンロードし、ダウンロード完了後に、ストリーミング型コンテンツの再生からダウンロード型コンテンツの再生へと切り替える技術が開示されている。
特開2006-41721号公報
一般に、コンテンツのデータ量あるいは通信速度によっては、コンテンツのダウンロードが完了するまでに長時間を要することがある。そのため、特許文献1に記載されている技術では、コンテンツのダウンロードが完了する前であって、ストリーミング再生中に、クライアントが基地局のカバーエリア外に移動すると、コンテンツの再生を行うことができない。また、特許文献1に記載されている技術では、コンテンツの再生開始時に、ストリーミング再生に必要なだけのコンテンツを受信するまでは、コンテンツの再生を行うことができない。このように、従来技術では、コンテンツの再生を行うことができない可能性がある。
上記のような問題点に鑑みてなされた本発明の目的は、サーバから配信されるコンテンツの再生を行うことができない可能性を低減することができる情報処理装置、情報処理方法およびプログラムを提供することにある。
本発明の一実施形態に係る情報処理装置は、コンテンツの音声データおよび前記音声データに対応するテキストデータを受信する通信部と、
前記音声データの再生を行う音声データ再生部と、
前記テキストデータの音声合成による再生を行うテキストデータ再生部と、
前記音声データまたは前記テキストデータの再生を制御する制御部と、を備え、
前記制御部は、前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせる。
本発明の一実施形態に係る情報処理方法は、コンテンツの音声データの再生を行う音声データ再生部および前記音声データに対応するテキストデータの音声合成による再生を行うテキストデータ再生部を備える情報処理装置における情報処理方法であって、
前記音声データおよび前記テキストデータを受信するステップと、
前記音声データまたは前記テキストデータの再生を制御するステップと、を含み、
前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせる。
本発明の一実施形態に係るプログラムは、コンテンツの音声データの再生を行う音声データ再生部および前記音声データに対応するテキストデータの音声合成による再生を行うテキストデータ再生部を備える情報処理装置に、
前記音声データおよび前記テキストデータを受信するステップと、
前記音声データまたは前記テキストデータの再生を制御するステップと、を実行させ、
前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせる。
本発明の一実施形態に係る情報処理装置、情報処理方法およびプログラムによれば、サーバから配信されるコンテンツの再生を行うことができない可能性を低減することができる。
本発明の一実施形態に係る情報処理装置を含む情報処理システムの構成例を示す図である。 図1に示す情報処理装置の動作の一例を示すフローチャートである。 図1に示す情報処理装置の動作の他の一例を示すフローチャートである。
以下、本発明を実施するための形態について、図面を参照しながら説明する。各図中、同一符号は、同一または同等の構成要素を示している。
図1は、本発明の一実施形態に係る情報処理装置10を含む情報処理システム1の構成例を示す図である。
図1に示す情報処理システム1は、配信サーバ2と、情報処理装置10とを備える。
配信サーバ2は、ニュースの読み上げ、あるいは、ユーザとの間で音声による対話を行う対話システムにおけるユーザへの応答などの音声コンテンツ(コンテンツ)を配信する。具体的には、配信サーバ2は、コンテンツの音声データ、および、音声データに対応するテキストデータを配信する。音声データに対応するテキストデータとは、音声データと同じ内容をテキストで表現したデータである。音声データに対応するテキストデータは、例えば、音声データの音声をテキストに書き下したデータ、あるいは、音声データの音声を書き下したテキストに対する読み、アクセントおよび韻律などの言語解析により生成される中間言語と呼ばれる発音記号列からなるデータなどである。
情報処理装置10は、配信サーバ2から配信されたコンテンツの音声データおよびテキストデータを取得(受信)し、コンテンツを再生する。情報処理装置10は、例えば、車両3に搭載されたカーナビゲーション装置である。車両3には、ネットワーク4を介して配信サーバ2と通信可能な通信装置20が搭載されている。ネットワーク4は、例えば、移動体通信網およびインターネットなどのネットワークを含むが、任意の通信網を含んでもよい。
車両3は、例えば、自動車であるが、これに限られず、人間が搭乗可能な任意の車両であってもよい。車両3は、ユーザによって運転される車両であるが、これに限られず、例えば、自動運転を行う車両であってもよい。自動運転は、例えば、SAE(Society of Automotive Engineers)において、定義されるレベル1ないし5を含むが、これらに限られず、任意に定義されてもよい。配信サーバ2は、1つまたは互いに通信可能な複数のサーバ装置を含む。本実施形態では、説明の簡便のため、配信サーバ2が1つのサーバ装置であるものとして説明する。
通信装置20は、ネットワーク4を構成する基地局との無線通信を行う。通信装置20は、例えば、DCM(Data Communication Module)などの車載通信機であってもよい。通信装置20は、ネットワーク4に接続するために、4Gおよび5Gなどの移動体通信規格に対応する通信モジュールを含んでよい。
情報処理装置10が車両3に搭載される場合、情報処理装置10は、通信装置20を介して、ネットワーク4経由で、コンテンツの音声データおよびテキストデータを取得する。情報処理装置10は、携帯電話、スマートフォンおよびタブレット端末などの無線通信機能を備えた通信装置であってもよい。この場合、情報処理装置10は、通信装置20を介さず、ネットワーク4に直接アクセスして、配信サーバ2からコンテンツの音声データおよびテキストデータを取得してもよい。以下では、情報処理装置10は、車両3に搭載され、通信装置20を介して、ネットワーク4経由で、コンテンツの音声データおよびテキストデータを取得するものとして説明する。
次に、情報処理装置10の構成について説明する。なお、配信サーバ2は、コンテンツの音声データとテキストデータとを対応付けて保持し、これらのデータをネットワーク4を介して配信(ストリーミング配信あるいはダウンロード配信)する機能を備えていれば任意の構成とすることができる。したがって、配信サーバ2の構成については説明を省略する。
図1に示す情報処理装置10は、入力部11と、通信部12と、記憶部13と、音声データ再生部14と、テキストデータ再生部15と、制御部16とを備える。
入力部11は、ユーザによる操作入力を受け付け、入力された操作に応じた信号を制御部16に出力する。入力部11は、例えば、ボタン、スイッチ、ダイヤルノブなどで構成される。また、入力部11は、情報処理装置10が表示部を備える場合には、表示部の表示面上にタッチセンサのタッチ面を配置したタッチパネルとして構成されてもよい。また、入力部11は、音声入力を受け付けるマイクとして構成されてもよい。
通信部12は、制御部16の制御に従い、通信装置20を介して、配信サーバ2から配信されたコンテンツの音声データおよびテキストデータを受信する。また、通信部12は、制御部16の制御に従い、種々の要求を、通信装置20を介して、配信サーバ2に送信してもよい。
記憶部13は、1つ以上のメモリを含む。本実施形態において、「メモリ」は、例えば、半導体メモリ、磁気メモリまたは光メモリなどであるが、これらに限られない。記憶部13に含まれる各メモリは、例えば、主記憶装置、補助記憶装置またはキャッシュメモリとして機能してもよい。記憶部13は、情報処理装置10の動作に用いられる任意の情報を記憶する。例えば、記憶部13は、システムプログラム、アプリケーションプログラムを記憶してもよい。また、記憶部13は、通信部12が受信したコンテンツの音声データおよびテキストデータを記憶してもよい。
音声データ再生部14は、制御部16の制御に従い、通信部12が受信した音声データの再生を行う。音声データ再生部14は、音声データの受信と並行して、その音声データの再生を行うストリーミング再生、または、音声データの受信が完了した後に、受信された音声データの再生を行うダウンロード再生が可能である。
テキストデータ再生部15は、制御部16の制御に伴い、通信部12が受信したテキストデータの音声合成による再生(音声合成再生)を行う。
なお、音声データ再生部14およびテキストデータ再生部15は、例えば、情報処理装置10がスピーカを備える車両に搭載される場合には、車両に備えられたスピーカを介して、コンテンツを再生する。また、音声データ再生部14およびテキストデータ再生部15は、例えば、情報処理装置10自体がスピーカを備える場合には、情報処理装置10が備えるスピーカを介して、コンテンツを再生する。
ストリーミング再生では、再生されるコンテンツの音質は良いが、通信環境が悪化すると再生が途絶する。また、ダウンロード再生では、再生されるコンテンツの音質は良いが、データ量が大きな音声データのダウンロードが完了するまで再生を開始できない。また、音声合成再生では、再生に必要なテキストデータのデータ量は非常に小さいが、ストリーミング再生およびダウンロード再生と比べて、再生されるコンテンツの音質は悪い。このように、コンテンツ再生、ダウンロード再生および音声合成再生にはそれぞれ、長所と短所とがある。本実施形態においては、情報処理装置10は、詳細は後述するが、これらの再生方法を組み合わせることで、配信サーバ2から配信されるコンテンツの再生を行うことができない可能性を低減することができる。
制御部16は、1つ以上のプロセッサを含む。制御部16は、情報処理装置10全体の動作を制御する。例えば、制御部16は、通信部12が受信した音声データおよびテキストデータの再生を制御する。具体的には、制御部16は、音声データ再生部14が音声データの再生を行うことができない場合、テキストデータ再生部15にテキストデータの再生を行わせる。一般に、テキストデータは、音声データと比べて、データ量が小さく、短時間でのダウンロードが可能である。そのため、音声データの再生を行うことができない場合でも、テキストデータのダウンロードは完了し、テキストデータの音声合成再生は可能である可能性が高い。したがって、音声データの再生を行うことができない場合に、テキストデータの再生を行うことで、配信サーバ2から配信されるコンテンツの再生を行うことができない可能性を低減することができる。
次に、本実施形態に係る情報処理装置10の動作について説明する。上述したように、本実施形態に係る情報処理装置10は、音声データ再生部14が音声データの再生を行うことができない場合、テキストデータ再生部15にテキストデータの再生を行わせる。音声データを再生することができない状況は、例えば、音声データの再生の開始時、また、ストリーミング再生中などに生じうる。以下では、これら2つの場合を例として、情報処理装置10の動作について説明する。
まず、音声データの再生開始時の情報処理装置10の動作について、制御部16の動作を中心に、図2に示すフローチャートを参照して説明する。
ステップS101:制御部16は、例えば、入力部11を介して、コンテンツの再生を要求する操作が入力されると、そのコンテンツの再生を要求する再生要求を、通信部12に配信サーバ2へ送信させる。配信サーバ2は、情報処理装置10から送信されてきた再生要求を受信すると、再生が要求されたコンテンツのテキストデータの配信を開始する。
ステップS102:通信部12は、配信サーバ2からコンテンツのテキストデータの配信が開始されると、そのテキストデータをダウンロードする。
ステップS103:テキストデータのダウンロードが完了すると、制御部16は、コンテンツのストリーミング再生またはダウンロード再生の開始要求を、通信部12に配信サーバ2へ送信させる。配信サーバ2は、情報処理装置10から送信されてきた開始要求を受信すると、その開始要求に応じて、コンテンツのストリーミング再生あるいはダウンロード再生のための音声データの配信を開始する。
ステップS104:制御部16は、ストリーミング再生またはダウンロード再生を速やかに(例えば、所定時間以内に)開始できる見込みがあるか否かを判定する。制御部16は、例えば、配信サーバ2から配信される音声データの受信速度に基づき、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがあるか否かを判定する。すなわち、制御部16は、音声データの受信速度が所定基準よりも速い場合、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがあると判定する。制御部16は、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがあると判定した場合には(ステップS104:Yes)、ステップS105の処理に進む。制御部16は、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがないと判定した場合には(ステップS104:No)、ステップS107の処理に進む。制御部16は、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがないと判定した場合にも、音声データの受信を通信部12に継続させる。
ステップS105:制御部16は、ストリーミング再生またはダウンロード再生が可能であるか否かを判定する。すなわち、制御部16は、ストリーミング再生の場合には、ストリーミング再生を開始するのに必要なだけの音声データの受信が完了したか否かを判定する。また、制御部16は、ダウンロード再生の場合には、コンテンツの音声データのダウンロードが完了したか否かを判定する。制御部16は、ストリーミング再生またはダウンロード再生が可能でないと判定した場合には(ステップS105:No)、ステップS105の処理を繰り返す。制御部16は、ストリーミング再生またはダウンロード再生が可能であると判定した場合には(ステップS105:Yes)、ステップS106の処理に進む。
ステップS106:制御部16は、ストリーミング再生またはダウンロード再生が可能となると、受信した音声データのストリーミング再生またはダウンロード再生を音声データ再生部14に開始させる。
ステップS107:制御部16は、ストリーミング再生またはダウンロード再生を速やかに開始できる見込みがない場合、受信したテキストデータの音声合成による再生をテキストデータ再生部15に行わせる。
ステップS108:制御部16は、テキストデータの再生中、ストリーミング再生またはダウンロード再生が可能になったか否かを判定する。すなわち、制御部16は、ストリーミング再生の場合には、ストリーミング再生を開始するのに必要なだけの音声データの受信が完了したか否かを判定する。また、制御部16は、ダウンロード再生の場合には、コンテンツの音声データのダウンロードが完了したか否かを判定する。制御部16は、ストリーミング再生またはダウンロード再生が可能になっていない判定した場合には(ステップS108:No)、ステップS107の処理に戻る。制御部16は、ストリーミング再生またはダウンロード再生が可能になったと判定した場合には(ステップS108:Yes)、ステップS109の処理に進む。
ステップS109:制御部16は、テキストデータ再生部15が再生したテキストデータの文字数およびテキストデータの再生速度から、テキストデータ再生部15によるコンテンツの再生位置を推定する。テキストデータ再生部15によるコンテンツの再生位置の推定の詳細については後述する。
ステップS110:制御部16は、コンテンツの再生を、テキストデータ再生部15によるテキストデータの再生から音声データ再生部14による音声データの再生(ストリーミング再生またはダウンロード再生)に切り替え、推定した再生位置から、音声データの再生を音声データ再生部14に行わせる。
ステップS106またはステップS110の処理により、制御部16は、ダウンロード再生を音声データ再生部14に開始させた場合、例えば、コンテンツの再生が終了したか否かを判定し、コンテンツの再生が終了したと判定すると、処理を終了する。また、制御部16は、ストリーミング再生を音声データ再生部14に開始させた場合、例えば、後述する図3に示すフローに移行する。
次に、ストリーミング再生中の情報処理装置10の動作について、制御部16の動作を中心に、図3に示すフローチャートを参照して説明する。
ステップS201:制御部16は、ストリーミング再生に必要な音声データが受信されると、受信された音声データのストリーミング再生を音声データ再生部14に行わせる。
ステップS202:制御部16は、ストリーミング再生が途絶したか否かを判定する。制御部16は、例えば、配信サーバ2から音声データを受信できない、すなわち、配信サーバ2との通信が途絶した場合に、ストリーミング再生が途絶したと判定する。制御部16は、ストリーミング再生が途絶していないと判定した場合(ステップS202:No)、ステップS203の処理に進む。制御部16は、ストリーミング再生が途絶したと判定した場合(ステップS202:Yes)、ステップS204の処理に進む。
こうすることで、音質の良い音声データによるコンテンツのストリーミング再生を可能な限り継続した後、テキストデータの再生に切り替えることができる。
ステップS203:制御部16は、コンテンツの再生(ストリーミング再生によるコンテンツの再生)が終了したか否かを判定する。制御部16は、コンテンツの再生が終了したと判定した場合(ステップS203:Yes)、処理を終了する。制御部16は、コンテンツの再生が終了していないと判定した場合には(ステップS203:No)、ステップS202の処理に戻る。
ステップS204:制御部16は、ストリーミング再生が途絶したと判定すると、ストリーミング再生の再生時間および再生速度から、音声データ再生部14によるコンテンツの再生位置を推定する。音声データ再生部14によるコンテンツの再生位置の推定の詳細については後述する。
ステップS205:制御部16は、コンテンツの再生を、音声データ再生部14によるストリーミング再生からテキストデータ再生部15によるテキストデータの再生に切り替え、推定した音声データ再生部14によるコンテンツの再生位置から、テキストデータの再生をテキストデータ再生部15に開始させる。
なお、制御部16は、通信部12による音声データの受信速度が、音声データ再生部14によるストリーミング再生に十分な受信速度である場合、再生前の音声データを記憶部13に一時的にバッファしてもよい。この場合、制御部16は、ストリーミング再生が途絶すると、音声データ再生部14に記憶部13にバッファされている未再生の音声データの再生を行わせた後、音声データ再生部14によるコンテンツの再生位置から、テキストデータ再生部15にテキストデータの再生を行わせてもよい。
ステップS206:制御部16は、ストリーミング再生への復帰が可能となったか否かを判定する。制御部16は、例えば、配信サーバ2との通信が復帰し、ストリーミング再生に必要な音声データが受信されたか否かにより、ストリーミング再生への復帰が可能となったか否かを判定する。制御部16は、ストリーミング再生への復帰が可能となっていないと判定した場合(ステップS206:No)、ステップS207の処理に進む。制御部16は、ストリーミング再生への復帰が可能となったと判定した場合(ステップS206:Yes)、ステップS209の処理に進む。
ステップS207:制御部16は、ストリーミング再生への復帰が可能となっていないため、テキストデータ再生部15によるテキストデータの再生を継続する。
ステップS208:制御部16は、コンテンツの再生(テキストデータの再生によるコンテンツの再生)が終了したか否かを判定する。制御部16は、コンテンツの再生が終了したと判定した場合(ステップS208:Yes)、処理を終了する。制御部16は、コンテンツの再生が終了していないと判定した場合には(ステップS208:No)、ステップS206の処理に戻る。
ステップS209:制御部16は、ストリーミング再生に復帰するために、テキストデータ再生部15によるテキストデータの再生文字数および再生速度から、テキストデータ再生部15によるコンテンツの再生位置を推定する。テキストデータ再生部15によるコンテンツの再生位置の推定の詳細については後述する。
ステップS210:制御部16は、コンテンツの再生を、テキストデータ再生部15によるテキストデータの再生から音声データ再生部14によるストリーミング再生に切り替え、推定したテキストデータ再生部15によるコンテンツの再生位置から、ストリーミング再生を音声データ再生部14に開始させる。その後、制御部16は、ステップS203の処理に進む。
次に、音声データ再生部14およびテキストデータ再生部15によるコンテンツの再生位置の推定方法について説明する。まず、テキストデータ再生部15によるコンテンツの再生位置の推定方法について説明する。
上述したように、制御部16は、テキストデータ再生部15が再生したテキストデータの文字数およびコンテンツの再生速度から、テキストデータ再生部15によるコンテンツの再生位置を推定する。具体的には、制御部16は、テキストデータ再生部15が再生したテキストデータの文字数にテキストデータの再生速度を乗算して、テキストデータ再生部15によるテキストデータの再生時間を推定する。そして、制御部16は、テキストデータ再生部15が再生を開始したコンテンツの位置から、推定した再生時間だけ進めた位置を、音声データにおけるコンテンツの再生位置と推定する。
例えば、「こんにちは。いいてんきですね。」というテキストデータを、0.3秒/文字の再生速度でテキストデータ再生部15が再生したとする。ただし、句点「。」は1秒の間をとるものとする。この場合、制御部16は、テキストデータ再生部15によるコンテンツの再生時間を、13文字(こんにちはいいてんきですね)×0.3秒/文字+2秒(句点「。」×2個)=5.9秒と推定する。そして、制御部16は、テキストデータ再生部15が再生を開始したコンテンツの位置から、推定した再生時間(5.9秒)だけ進めた位置を、テキストデータ再生部15によるコンテンツの再生位置と推定する。
ただし、テキストデータの実際の再生速度は、コンテンツの文章によって変動する。したがって、制御部16は、上述した演算により推定したコンテンツ再生位置よりも所定時間分だけ前の位置から音声データ再生部14に音声データの再生を開始させてもよい。すなわち、制御部16は、再生した文字×再生速度-誤差補正(再生時間を補正する補正時間)という式に従い、コンテンツの再生時間を推定してもよい。こうすることで、切り替え時に、コンテンツの一部の内容が重複して再生される可能性はあるが、コンテンツの内容が欠落する読み飛ばしの発生可能性を低減することができる。
なお、一般に、テキストデータ再生部15により再生されたテキストデータの文字数が多いほど、誤差が大きくなる可能性がある。そこで、制御部16は、テキストデータ再生部15により再生されたテキストデータの文字数が多いほど、上述した誤差補正の値を大きくしてもよい。
また、一般に、コンテンツのジャンルに応じて、テキストデータの再生速度が異なることがある。そこで、制御部16は、コンテンツのテキストデータの再生速度を、そのコンテンツのジャンルに基づき変更してもよい。こうすることで、コンテンツのジャンルに応じて適切な再生位置を推定することができる。コンテンツのジャンルは、例えば、コンテンツのテキストデータに、そのコンテンツのジャンルを示す識別子などを付加することで、判別が可能である。
次に、音声データ再生部14によるコンテンツの再生位置の推定方法について説明する。
上述したように、制御部16は、音声データ再生部14による音声データの再生時間および再生速度から、音声データ再生部14によるコンテンツの再生位置を推定する。具体的には、制御部16は、音声データ再生部14による音声データの再生時間を音声データの再生速度で除算して、音声データ再生部14によるコンテンツの再生文字数を推定する。そして、制御部16は、音声データ再生部14が再生を開始したコンテンツの位置から、推定した再生文字数だけ進めた位置を、音声データ再生部14によるコンテンツの再生位置と推定する。
例えば、「こんにちは。いいてんきですね。」という音声データに対して、音声データ再生部14が3秒間再生したとする。ここで、音声データ再生部14によるコンテンツの再生速度は0.3秒/文字とする。ただし、句点「。」は3文字分であるとする。この場合、制御部16は、音声データ再生部14による音声データの再生文字数を、3秒÷0.3秒+3文字(句点「。」1つ分)=13文字と推定する。したがって、制御部16は、音声データ再生部14が再生を開始したコンテンツの位置から、推定した再生文字数(13文字)だけ進めた位置(14文字目)を、音声データ再生部14によるコンテンツの再生位置と推定する。
ただし、音声データの実際の再生速度は、コンテンツの文章によって変動する。したがって、制御部16は、上述した演算により推定したコンテンツの再生位置よりも所定時間分だけ前の位置からテキストデータ再生部15にテキストデータの再生を開始させてもよい。すなわち、制御部16は、推定した再生位置-誤差補正(再生時間を補正する補正時間)という式に従い、コンテンツの再生時間を推定してもよい。
例えば、上述した「こんにちは。いいてんきですね。」という音声データのうち、「こんにちは。いいて」までが音声データ再生部14により再生されたとする。この場合、言葉「てんき」の途中からテキストデータ再生部15によるテキストデータの再生に切り替えても、ユーザがコンテンツの内容を把握しづらい。そこで、制御部16は、例えば、ひとつ前の句読点の後から(上述した例では、「いいてんき」から)、テキストデータ再生部15にテキストデータの再生を行わせてもよい。
なお、一般に、音声データ再生部14による音声データの再生時間が長いほど、誤差が大きくなる可能性がある。そこで、制御部16は、音声データ再生部14による音声データの再生時間が長いほど、上述した誤差補正の値を大きくしてもよい。
また、コンテンツの再生位置の推定は、上述した方法に限られるものではない。例えば、情報処理装置10が搭載された車両3に周辺の音声を収集するマイクが搭載されている場合、あるいは、情報処理装置10自体がマイクを備えている場合には、制御部16は、コンテンツの再生中にマイクが収集した音声を解析することで、コンテンツの再生位置を推定してもよい。また、マイクが無い場合、音声データ再生部14からスピーカへ出力される音声信号を制御部16に分岐して入力させることで、制御部16は、音声データ再生部14によるコンテンツの再生位置を推定してもよい。
また、コンテンツの再生位置の推定について、コンテンツが日本語である場合を例として説明したが、本発明はこれに限られるものではない。例えば、コンテンツが英語である場合、再生速度を「n秒/文字」から「n秒/単語」に置き換え、「再生文字数」を「再生単語数」に置き換えるなどすることで、制御部16は、コンテンツの再生位置を推定してもよい。
このように本実施形態においては、情報処理装置10は、コンテンツの音声データおよび音声データに対応するテキストデータを受信する通信部12と、音声データの再生を行う音声データ再生部14と、テキストデータの音声合成による再生を行うテキストデータ再生部15と、音声データまたはテキストデータの再生を制御する制御部16と、を備える。制御部16は、音声データ再生部14が音声データの再生を行うことができない場合、テキストデータ再生部15にテキストデータの再生を行わせる。
一般に、音声データと比べて、その音声データに対応するテキストデータはデータ量が小さく、短時間で受信が完了する。したがって、音声データの再生が可能となる前、あるいは、通信の途絶などにより音声データの再生(ストリーミング再生)ができない場合にも、テキストデータの受信は完了している可能性が高い。したがって、音声データの再生ができない場合に、テキストデータの再生を行うことで、配信サーバ2から配信されるコンテンツの再生ができない可能性を低減することができる。
以上、情報処理装置10について説明したが、情報処理装置10として機能させるために、コンピュータを用いることも可能である。そのようなコンピュータは、情報処理装置10の各機能を実現する処理内容を記述したプログラムを、該コンピュータの記憶部に格納しておき、該コンピュータのCPUによってこのプログラムを読み出して実行させることで実現することができる。
また、プログラムは、コンピュータが読取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、CD-ROMおよびDVD-ROMなどの記録媒体であってもよい。
上述の実施形態は代表的な例として説明したが、本開示の趣旨および範囲内で、多くの変更および置換が可能であることは当業者に明らかである。したがって、本開示は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形および変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを1つに組み合わせたり、あるいは1つの構成ブロックを分割したりすることが可能である。
1 情報処理システム
2 配信サーバ
3 車両
4 ネットワーク
10 情報処理装置
11 入力部
12 通信部
13 記憶部
14 音声データ再生部
15 テキストデータ再生部
16 制御部
20 通信装置

Claims (8)

  1. コンテンツの音声データおよび前記音声データに対応するテキストデータを受信する通信部と、
    前記音声データの再生を行う音声データ再生部と、
    前記テキストデータの音声合成による再生を行うテキストデータ再生部と、
    前記音声データまたは前記テキストデータの再生を制御する制御部と、を備え、
    前記制御部は、前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせ
    前記音声データ再生部は、前記通信部による音声データの受信と並行して、該受信された音声データの再生を行うストリーミング再生が可能であり、
    前記制御部は、前記音声データ再生部によるストリーミング再生が途絶すると、前記音声データ再生部によるストリーミング再生の再生時間および再生速度から前記音声データ再生部による前記コンテンツの再生位置を推定し、前記推定した再生位置よりも所定時間分だけ前の位置から、前記テキストデータ再生部に前記テキストデータの再生を行わせる、情報処理装置。
  2. 請求項に記載の情報処理装置において、
    前記通信部が受信した音声データをバッファする記憶部をさらに備え、
    前記制御部は、前記音声データ再生部によるストリーミング再生が途絶すると、前記音声データ再生部に前記記憶部にバッファされた未再生の音声データの再生を行わせた後、前記音声データ再生部による前記コンテンツの再生位置から、前記テキストデータ再生部に前記テキストデータの再生を行わせる、情報処理装置。
  3. 請求項1または2に記載の情報処理装置において、
    前記制御部は、前記テキストデータ再生部による前記テキストデータの再生中に、前記音声データ再生部によるストリーミング再生が可能になると、前記テキストデータ再生部による前記テキストデータの再生から前記音声データ再生部によるストリーミング再生に切り替える、情報処理装置。
  4. 請求項1に記載の情報処理装置において、
    前記音声データ再生部は、前記通信部による音声データの受信と並行して、該受信された音声データの再生を行うストリーミング再生、または、前記コンテンツの音声データの受信が完了した後に、該受信された音声データの再生を行うダウンロード再生が可能であり、
    前記制御部は、
    前記通信部に前記テキストデータを受信させた後に、前記音声データを受信させ、前記テキストデータの受信が完了すると、前記テキストデータ再生部に前記テキストデータの再生を開始させ、
    前記音声データ再生部による前記ストリーミング再生または前記ダウンロード再生が可能になると、前記テキストデータ再生部による前記テキストデータの再生から前記音声データ再生部による前記音声データの再生に切り替える、情報処理装置。
  5. 請求項またはに記載の情報処理装置において、
    前記制御部は、前記テキストデータ再生部による前記テキストデータの再生文字数および再生速度から前記テキストデータの再生時間を推定し、該推定した再生時間に基づき、前記テキストデータ再生部による前記コンテンツの再生位置を推定し、該推定した再生位置から前記音声データ再生部に前記音声データの再生を行わせる、情報処理装置。
  6. 請求項に記載の情報処理装置において、
    前記制御部は、前記推定した再生位置よりも所定時間分だけ前の位置から、前記音声データ再生部に前記音声データの再生を行わせる、情報処理装置。
  7. コンテンツの音声データの再生を行う音声データ再生部および前記音声データに対応するテキストデータの音声合成による再生を行うテキストデータ再生部を備える情報処理装置における情報処理方法であって、
    前記音声データおよび前記テキストデータを受信するステップと、
    前記音声データまたは前記テキストデータの再生を制御するステップと、を含み、
    前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせ
    前記音声データ再生部は、前記音声データの受信と並行して、該受信された音声データの再生を行うストリーミング再生が可能であり、
    前記音声データ再生部によるストリーミング再生が途絶すると、前記音声データ再生部によるストリーミング再生の再生時間および再生速度から前記音声データ再生部による前記コンテンツの再生位置を推定し、前記推定した再生位置よりも所定時間分だけ前の位置から、前記テキストデータ再生部に前記テキストデータの再生を行わせる、情報処理方法。
  8. コンテンツの音声データの再生を行う音声データ再生部および前記音声データに対応するテキストデータの音声合成による再生を行うテキストデータ再生部を備える情報処理装置に、
    前記音声データおよび前記テキストデータを受信するステップと、
    前記音声データまたは前記テキストデータの再生を制御するステップと、を実行させ、
    前記音声データ再生部が前記音声データの再生を行うことができない場合、前記テキストデータ再生部に前記テキストデータの再生を行わせ
    前記音声データ再生部は、前記音声データの受信と並行して、該受信された音声データの再生を行うストリーミング再生が可能であり、
    前記音声データ再生部によるストリーミング再生が途絶すると、前記音声データ再生部によるストリーミング再生の再生時間および再生速度から前記音声データ再生部による前記コンテンツの再生位置を推定し、前記推定した再生位置よりも所定時間分だけ前の位置から、前記テキストデータ再生部に前記テキストデータの再生を行わせる、プログラム。
JP2018216668A 2018-11-19 2018-11-19 情報処理装置、情報処理方法およびプログラム Active JP7119939B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018216668A JP7119939B2 (ja) 2018-11-19 2018-11-19 情報処理装置、情報処理方法およびプログラム
CN201910858944.5A CN111277976B (zh) 2018-11-19 2019-09-11 信息处理设备、信息处理方法和程序
US16/567,628 US11195508B2 (en) 2018-11-19 2019-09-11 Information processing device, information processing method, and program for generating synthesized audio content from text when audio content is not reproducible
US17/383,991 US11837218B2 (en) 2018-11-19 2021-07-23 Information processing device, information processing method, and program for generating synthesized audio content from text when audio content is not reproducible
US18/382,162 US20240046917A1 (en) 2018-11-19 2023-10-20 Information processing device, information processing method, and program for generating synthesized audio content from text when audio content is not reproducible

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018216668A JP7119939B2 (ja) 2018-11-19 2018-11-19 情報処理装置、情報処理方法およびプログラム

Publications (2)

Publication Number Publication Date
JP2020086003A JP2020086003A (ja) 2020-06-04
JP7119939B2 true JP7119939B2 (ja) 2022-08-17

Family

ID=70728074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018216668A Active JP7119939B2 (ja) 2018-11-19 2018-11-19 情報処理装置、情報処理方法およびプログラム

Country Status (3)

Country Link
US (3) US11195508B2 (ja)
JP (1) JP7119939B2 (ja)
CN (1) CN111277976B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229414A (ja) 2004-02-13 2005-08-25 Daikin Ind Ltd 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム
JP2009544247A (ja) 2006-07-14 2009-12-10 クゥアルコム・インコーポレイテッド オーデイオ情報を配信するための改良された方法及び装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6023678A (en) * 1998-03-27 2000-02-08 International Business Machines Corporation Using TTS to fill in for missing dictation audio
US6151576A (en) * 1998-08-11 2000-11-21 Adobe Systems Incorporated Mixing digitized speech and text using reliability indices
JP2002221980A (ja) * 2001-01-25 2002-08-09 Oki Electric Ind Co Ltd テキスト音声変換装置
DE10321097A1 (de) * 2003-05-09 2004-11-25 Dictanet Software Ag Verfahren und Computervorrichtung zum automatischen Wiedergeben von digitalen Audiodaten
JP4059214B2 (ja) * 2004-03-04 2008-03-12 ソニー株式会社 情報再生システムの制御方法、情報再生システム、情報提供装置、および情報提供プログラム
JP2006041721A (ja) 2004-07-23 2006-02-09 Ntt Docomo Inc コンテンツ配信システム、コンテンツ受信クライアント、コンテンツ配信サーバ、及び、コンテンツ再生方法
JP5032408B2 (ja) * 2008-07-25 2012-09-26 パナソニック株式会社 簡易レジューム再生装置及び簡易レジューム再生方法
JP2012243337A (ja) * 2011-05-17 2012-12-10 Sony Corp 再生装置、ストリームファイルの再生方法、及びプログラム
KR101977072B1 (ko) * 2012-05-07 2019-05-10 엘지전자 주식회사 음성 파일과 관련된 텍스트의 표시 방법 및 이를 구현한 전자기기
US8996377B2 (en) * 2012-07-12 2015-03-31 Microsoft Technology Licensing, Llc Blending recorded speech with text-to-speech output for specific domains
JP6852478B2 (ja) * 2017-03-14 2021-03-31 株式会社リコー 通信端末、通信プログラム及び通信方法
US10347238B2 (en) * 2017-10-27 2019-07-09 Adobe Inc. Text-based insertion and replacement in audio narration
US11114085B2 (en) * 2018-12-28 2021-09-07 Spotify Ab Text-to-speech from media content item snippets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005229414A (ja) 2004-02-13 2005-08-25 Daikin Ind Ltd 情報処理装置および情報処理方法、プログラム、並びに、情報処理システム
JP2009544247A (ja) 2006-07-14 2009-12-10 クゥアルコム・インコーポレイテッド オーデイオ情報を配信するための改良された方法及び装置

Also Published As

Publication number Publication date
US20240046917A1 (en) 2024-02-08
US20210350787A1 (en) 2021-11-11
CN111277976B (zh) 2023-10-27
US11195508B2 (en) 2021-12-07
JP2020086003A (ja) 2020-06-04
US20200160834A1 (en) 2020-05-21
US11837218B2 (en) 2023-12-05
CN111277976A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
KR100597670B1 (ko) 멀티미디어 콘텐츠의 갱신 및 재생이 가능한이동통신단말기 및 그 재생방법
US11670339B2 (en) Video acquisition method and device, terminal and medium
JP6052610B2 (ja) 情報通信端末、およびその対話方法
CN104205038A (zh) 信息处理设备,信息处理方法,信息处理程序和终端设备
KR20020069952A (ko) 이동통신단말기에서 데이터의 다운로드 및 재생 시 진행시간 표시 방법
CN113613068A (zh) 视频的处理方法、装置、电子设备和存储介质
KR20210041553A (ko) 오디오 스트림 믹싱 시스템 및 방법
JP5300276B2 (ja) データ処理装置及び論理ドライブのマウント方法
JP2014219617A (ja) 音声案内システム及び音声案内方法
JP7119939B2 (ja) 情報処理装置、情報処理方法およびプログラム
CN113934397A (zh) 电子设备中播音控制方法及电子设备
CN113421564A (zh) 语音交互方法、语音交互系统、服务器和存储介质
KR101366325B1 (ko) 단말기의 미디어 재생 방법 및 미디어 재생 기능을 갖는단말기
EP3240263B1 (en) Voice information correction system and voice information correction method
CN106572140B (zh) 媒体文件播放的方法和终端设备
JP2019117324A (ja) 音声出力装置、音声出力方法、及び音声出力プログラム
JP2013250132A (ja) 車載装置、車載情報システム
JP2007094751A (ja) エージェントシステム、情報提供装置、及び端末装置
WO2005104125A1 (ja) 記録再生装置、同時記録再生制御方法、および同時記録再生制御プログラム
CN112530472B (zh) 音频与文本的同步方法、装置、可读介质和电子设备
JP2009284004A (ja) 再生装置、再生方法およびプログラム
JP7243764B2 (ja) 車載装置、携帯端末装置、情報処理システム、車載装置の制御方法およびプログラム
JP2018182638A (ja) ストリーミング再生装置、及びストリーミング再生方法
JP6908169B2 (ja) 端末装置
JP2008182319A (ja) ストリームデータ再生システム、携帯端末機およびストリームデータ再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220718

R151 Written notification of patent or utility model registration

Ref document number: 7119939

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151