JP4167347B2 - ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 - Google Patents
ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 Download PDFInfo
- Publication number
- JP4167347B2 JP4167347B2 JP14761599A JP14761599A JP4167347B2 JP 4167347 B2 JP4167347 B2 JP 4167347B2 JP 14761599 A JP14761599 A JP 14761599A JP 14761599 A JP14761599 A JP 14761599A JP 4167347 B2 JP4167347 B2 JP 4167347B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- audio
- phoneme
- phonological
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Facsimiles In General (AREA)
- Television Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル放送において、放送された音声を受信側で様々に処理するにあたり、その音声の構成内容を取得するための方法等に関する。
【０００２】
【従来の技術】
従来、テレビジョン放送により放送される番組の音声については、受信側で音量調節が可能なくらいであったが、最近では、視聴者のニーズの多様性から、種々の調節を行う提案がなされている。例えば、受信した音声のうち人が発する言葉について、話を理解し易くするため話速を遅くする話速変換や、言葉がはっきり聴こえるように子音を強調する子音強調などの調節を行うことが挙げられる。
これらの調節を行うためには、放送される音声を分析して、該音声の情報を正確に取得する必要がある。すなわち、まず、放送される音声が言葉であるか否かを見分け、言葉であれば、言葉が続けて発せられている区間と切れ目の区間を把握することによって、切れ目の区間分だけその前に発せられた言葉の話速を遅くすることができ、言葉の一つ一つの子音まで把握して、子音強調を行うことができる。
【０００３】
ここで、ディジタル放送において放送される音声などは、ディジタルデータであるため、アナログ放送による音声などと比べ、自由自在に処理して利用できる要素を有している。そこで、上記話速変換や子音強調などの調節に限らず、放送される音声を様々に処理して利用することが期待される。この場合にも、上述のように、放送される音声を分析して、該音声の情報を正確に取得することが必要不可欠である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記分析がリアルタイムで行われなければ、放送される音声をリアルタイムで処理して、放送される映像とともに出力することができないが、リアルタイムで音声の音韻を正確に把握することは、不可能に近い。
ここで、ディジタル放送においては、番組の映像および音声だけでなく、該映像および音声を受信側で選択するなどのための付加情報が伝送されている。
そこで、送出側で、放送する音声をあらかじめ分析した結果を付加情報として、音声とともに伝送することが考えられる。
【０００５】
本発明は、かかる問題点を解消するためになされたもので、放送されたディジタル音声を受信側で様々に処理するために、その音声の構成内容を示す音韻情報を送受信して利用するディジタル放送用音韻情報送受信方法およびそれに用いる受信装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明（請求項１）のディジタル放送用音韻情報送受信方法は、送信側から番組の映像および音声を含むデータをそれぞれパケット化して多重化した放送信号を伝送し、受信側で該放送信号を受信して番組を表示するディジタル放送において、送信側は、上記音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化して、該音韻情報の種類を示す付加情報を加えて多重化した放送信号を伝送し、受信側は、該付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものである。
【０００７】
また、本発明（請求項２）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものであるものである。
【０００８】
また、本発明（請求項３）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものであるものである。
【０００９】
また、本発明（請求項４）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものであるものである。
【００１０】
また、本発明（請求項５）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記付加情報は、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものであるものである。
【００１１】
また、本発明（請求項６）のディジタル放送用音韻情報送受信方法は、請求項３に記載のディジタル放送用音韻情報送受信方法において、上記音声処理は、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示することを含むものであるものである。
【００１２】
また、本発明（請求項７）の受信装置は、番組の映像および音声，該音声の構成内容を示す音韻情報，該音韻情報の種類を示す付加情報が多重化されて伝送されたディジタル放送信号を受信する受信装置であって、ディジタル放送信号を受信する受信手段と、受信したディジタル放送信号から、映像信号，音声信号，音韻情報の信号，及び付加情報の信号をそれぞれフィルタリングして分離する信号分離手段と、分離された付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付ける付加情報処理手段と、分離された音韻情報のうち、外部入力によって選択された番組の音声の構成内容を示す音韻情報を抽出し、抽出した音韻情報に基づいて選択された音声処理のための指示を出力する音韻情報処理手段と、上記付加情報処理手段で作成された画面を表示させたり、分離された映像信号から再生された映像を表示させる映像合成手段と、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力する音声処理手段とを備えたものである。
【００１３】
また、本発明（請求項８）の受信装置は、請求項７に記載の受信装置において、上記音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、上記付加情報処理手段は、音声処理として、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する処理を選択し、上記音韻情報処理手段は、上記付加情報処理手段で上記処理を受け付けたとき、抽出した音韻情報に基づいて、音声を構成する音韻を表示した字幕映像を作成する手段を含み、上記映像合成手段は、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させる手段を含むものであるものである。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら詳細に説明する。
（実施の形態１）
本発明の実施の形態１においては、受信側で、送信側からディジタル放送によって伝送された音声を処理して利用するために、送信側から該音声とともに当該音声の構成内容を示す音韻情報を伝送する。なお、本実施の形態１において受信側で処理する音声は、送信側から伝送される音声信号のうちの人が発する音（いわゆる音声であって音韻で構成される）であるものとする。
【００１５】
このとき、受信側で音声を処理するために要求される音韻情報は、受信側での処理に応じて異なる。例えば、受信側で話速変換処理を施す場合、音声が発せられている区間（音声区間）の情報を要し、子音強調処理を施す場合には、音声中、子音がどこにあるかの情報や、より厳密な子音強調処理には、該子音が「か」や「と」などのいずれの音韻の子音であるかの情報をも要する。
【００１６】
したがって、音韻情報としては、音声が発せられている区間（音声区間）の放送開始時刻および終了時刻の情報、音声を構成する各音韻の放送時刻および当該各音韻が何であるかの情報、音声を構成する各音韻の子音あるいは母音部分の放送時刻および当該各部分が子音あるいは母音のいずれであるかの情報などがそれぞれ伝送される。
該音韻情報は、送信側において伝送する音声を公知の方法で分析することによって作成する。
【００１７】
例えば、伝送する音声の音声区間は、音響信号が存在するところを音声区間と仮定して音響信号を音響パワーによって判定，パワースペクトルを計算して音声に特有の周波数帯域のパワーの有無によって音声であるか否かを判定，あるいは，ケプストラム分析によって判定し、判定した音声区間の放送開始時刻および終了時刻を認識して、音韻情報とする。また、伝送する音声を構成する音韻は、公知の音声認識手法において用いられる音声波形や周波数スペクトルを分析することによって決定し、各音韻の放送時刻を認識して音韻情報とする。このとき、伝送する音声のセリフが分かれば、そのセリフを参照することによって音韻を正確に把握することができる。なお、音韻の放送時刻として、音韻の放送開始時刻および終了時刻があればより好ましいが、放送開始時刻だけであってもよい。同じ音声区間内にあって次に放送される音韻の開始時刻を該音韻の前の音韻の終了時刻と判断でき、音声区間の最後の音韻の終了時刻については、音韻の放送時間は約７０〜８０ｍｓｅｃであるため、該最後の音韻の開始時刻から例えば７５ｍｓｅｃを終了時刻として、各音韻の終了時刻を判断できるからである。
【００１８】
図１は本実施の形態１において音韻情報が伝送されるパケットのデータ構造の一例を示す図である。
ここで、該音韻情報が伝送されるパケットは、当該音韻情報が特定する音声が伝送されるパケット，及び該音声に対応する映像が伝送されるパケットと多重化して１本のトランスポートストリームとする。
図において、１１はＰＥＳ（Packetized Elementary Stream）パケットであり、ＭＰＥＧ２によって規定され、該ＰＥＳパケットによってオーディオ（音声）データ，ビデオ（映像）データなども伝送される。１２はヘッダ情報であり、当該ＰＥＳパケットで伝送されるデータのパケット長，ＰＴＳ（Presentation Time Stamp ，再生出力の時刻管理情報）などが含まれる。該ＰＴＳは、当該ＰＥＳパケットのデータに対応するオーディオのＰＥＳパケットのデータをいつ再生出力すべきかを示す。１３は音韻データであり、当該ＰＥＳパケットのストリームとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）を構成する各音韻が何であるかの情報を記述している。
【００１９】
したがって、図１に示したパケットは、ＰＴＳおよび音韻データ１３の記述によって、音韻情報である，音声を構成する各音韻の放送開始時刻および当該各音韻が何であるかの情報を伝送する。
また、音韻データ１３に、当該音韻の放送終了時刻の情報を追加すれば、音韻情報として、各音韻の放送終了時刻の情報を含むものを伝送することができる。
さらに、音韻データ１３に記述された音韻が子音部分を含む場合、該音韻データ１３に、当該音韻の放送終了時刻の情報に加え、当該子音部分の放送終了時刻，及び当該音韻の母音部分の放送開始時刻の情報を追加すれば、音韻情報として、音声を構成する各音韻の子音または母音部分のそれぞれの放送開始時刻および終了時刻の情報を含む情報を伝送することができる。
【００２０】
図２は本実施の形態１において音韻情報が伝送されるパケットのデータ構造のその他の例を示す図である。
図において、図１と同一符号は同一または相当部分である。また、（ａ）に示す１４は音韻部分データであり、当該ＰＥＳパケットとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）を構成する各音韻の子音あるいは母音のいずれの部分であるかの情報が記述されている。該情報には、各子音が何の音韻の子音であるかや、各母音が何であるかなどの情報は含まない。（ｂ）に示す１５は音声区間データであり、当該ＰＥＳパケットとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）の一部分の音声区間であるという情報，及び当該音声区間の終了時刻の情報が記述されている。ちなみに、（ａ）のＰＥＳパケットのヘッダ情報のＰＴＳには、当該ＰＥＳパケットの子音あるいは母音部分に対応するオーディオのＰＥＳパケットのデータ（音声）の部分を再生出力すべき時刻が記述され、（ｂ）のＰＥＳパケットのＰＴＳには、当該ＰＥＳパケットの音声区間に対応するオーディオのＰＥＳパケットのデータ（音声）の部分を再生出力すべき時刻が記述される。
【００２１】
したがって、図２の（ａ）に示したパケットは、ＰＴＳおよび音韻部分データ１４の記述によって、音韻情報である，音声を構成する各音韻の子音または母音部分の放送開始時刻および当該各部分が子音あるいは母音のいずれであるかの情報を伝送する。また、図２の（ｂ）に示したパケットは、ＰＴＳおよび音声区間データ１５の記述によって、音韻情報である，音声区間の放送開始時刻および終了時刻の情報を伝送する。
【００２２】
図３は本発明の実施の形態１によるディジタル放送用音韻情報送受信方法において用いる送信装置の構成例を示すブロック図である。
図において、２１は映像用符号器であり、番組の映像をディジタル映像信号に変換する。２２は音声用符号器であり、番組の音声をディジタル音声信号に変換する。２３は音韻情報用符号器であり、番組の音声の音韻情報をディジタル信号に変換する。２４は付加情報用符号器であり、付加情報，すなわちＡＲＩＢ（電波産業会）規格のＳＩ（Service Ｉnformation，番組配列情報）をディジタル信号に変換する。２５は多重化部であり、複数の番組（４〜８つの番組）の，ディジタル映像信号，ディジタル音声信号，及び音韻情報のディジタル信号、並びに付加情報のディジタル信号を多重化して１本のトランスポートストリームとする。２６はディジタル変調器であり、多重化部２５で多重化されたディジタル信号を搬送波に乗せて変調する。２７はアップコンバータであり、ディジタル変調器２６で変調された低周波数の信号を衛星用高周波数の信号に変換する。
ここで、上記付加情報は、受信側で音韻情報を利用する際、音韻情報が用意された音声か否かを判断し，用意されている場合には、その音韻情報の種類を判断するための情報を含む。すなわち、音韻情報は、当該音韻情報が示す音声のＰＥＳパケットとは独立のＰＥＳパケットで伝送するため、音韻情報のＰＥＳパケットが含まれていることを、ＳＩのＰＭＴ（Program Map Table ）中のstream＿type（ストリーム形式識別）の記述によって示す。例えば、ＭＰＥＧ１の音声，ＭＰＥＧ２の音声，及び音韻情報が別個に含まれているＰＥＳパケットを、それぞれ０ｘ０３，０ｘ０４，及び０ｘ０５とする。また、音韻情報には、図１，図２（ａ），及び図２（ｂ）に示したもののように、種々の内容のものがあるため、これらを該ＰＭＴ中のcomponent ＿descriptor（コンポーネント記述子）の記述によって区別する（図４参照）。該付加情報によって、受信側では音韻情報の種類に応じた音声処理を選択するための番組表などを提示することができる。
【００２３】
なお、図には１つの多重化部および該多重化部に対応するディジタル変調器からの信号をアップコンバータで変換するように示したが、実際には、６〜８つの多重化部および対応するディジタル変調器からの信号を変換する。すなわち、４〜８本のトランスポートストリームで、最大６４番組が同時に伝送される。
【００２４】
次に、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法における送信側での動作について、図１〜４により説明する。
まず、ディジタル放送のための番組が製作、すなわち、番組の映像および音声が作成される。そして、該音声について分析をおこなって、音韻情報を作成する。
また、上記番組と同じトランスポートストリームで伝送される他の番組や、該トランスポートストリームと同時に別のトランスポートストリームで伝送される番組も製作される。
【００２５】
次いで、各トランスポートストリームごとに多重化する付加情報であるＳＩを用意する。
次いで、映像用符号器２１および音声用符号器２２は、それぞれ作成された映像および音声をディジタル信号に変換してＰＥＳパケットのストリームとして出力する。また、音韻情報用符号器２３は、作成された音韻情報をディジタル信号に変換して図１および２に示したようなＰＥＳパケットのストリームとして出力する。さらに、付加情報用符号器２３は、用意したＳＩデータをディジタル信号に変換してパケットストリームとして出力する。
【００２６】
次いで、多重化部２５は、複数の番組に対応する，映像用符号器２１，音声用符号器２２，及び音韻情報用符号器２３からの各ＰＥＳパケットのストリームと、付加情報用符号器２４からのパケットストリームを多重化して１本のトランスポートストリームにして出力する。このとき、音声のＰＥＳパケットのデータに対応する音韻情報のＰＥＳパケットは、当該音声のＰＥＳパケットより先に伝送するように多重化する。すなわち、音声のＰＥＳパケットのＰＴＳに記述された時刻と同一の時刻がＰＴＳに記述された音韻情報のＰＥＳパケットが、その時刻より前の時刻がＰＴＳに記述された音声のＰＥＳパケットと多重化する。これにより、受信側では、先に伝送される音韻情報を取得して音声処理の準備をした後、当該音韻情報によって処理する音声が伝送され、該音声を確実に処理することが可能となる。
【００２７】
次いで、ディジタル変調器２６は、多重化部２５で多重化されたディジタル信号を搬送波に乗せて変調して出力する。
また、上記トランスポートストリームと同時に別の複数のトランスポートストリームで伝送される番組の映像および音声，並びに付加情報も、図示しない別の複数の多重化部で、それぞれ多重化されて各トランスポートストリームとして出力され、図示しない別の複数の対応するディジタル変調器で変調して出力される。
次いで、アップコンバータ２７は、ディジタル変調器２６および図示しない別の複数のディジタル変調器でそれぞれ変調された低周波数の信号を衛星用高周波数の信号に変換して出力し、該信号を送出アンテナから衛星に向けて放射する。
【００２８】
図５は本発明の実施の形態１による受信装置の構成例を示すブロック図である。
図において、３１は受信手段であり、アンテナから送り込まれる電波に重畳されたディジタル放送信号の複数のトランスポンダのうち１本を指定して復調する。３２は信号分離手段であり、復調したトランスポートストリームから、付加情報であるＳＩデータのストリームを抽出したり、外部入力により選択された番組の映像および音声や、該音声の音韻情報がそれぞれ含まれるストリームを抽出する。３３は付加情報処理手段であり、信号分離手段３２からのＳＩデータに基づいて、あらかじめ用意された番組表作成プログラムによって、通常の番組選択に加え、選択した番組の音声についてする音声処理なども選択するための番組表などを作成する。３４はリモコン手段であり、外部より視聴者が所望の番組や音声処理などを選択するための入力手段である。３５は音韻情報処理手段であり、信号分離手段３２からの音韻情報のストリームから、選択された番組の音声の音韻情報を抽出して、選択された音声処理を施すための指示を出す。３６は音声信号再生手段であり、信号分離手段３２から出力されるオーディオストリームから外部入力によって選択された番組の音声信号を再生する。３７は映像信号再生手段であり、信号分離手段３２から出力されるビデオストリームから外部入力によって選択された番組の映像信号を再生する。３８は音声処理手段であり、音韻情報処理手段３５からの指示に従って、あらかじめ用意された音声処理プログラムによって、再生された音声信号に特定の音声処理を施す。３９は映像合成手段であり、再生された映像信号の映像や、付加情報処理手段３３で作成された番組表を表示させる。
【００２９】
次に、本発明の実施の形態１による受信装置の動作について、図１，２，４，及び５により説明する。
まず、衛星を介して放出される電波をアンテナで受けて、受信手段３１で該電波に重畳されたディジタル放送信号の複数のトランスポンダのうち１本を指定して復調する。
次いで、信号分離手段３２は、復調されたトランスポートストリームのＳＩを抽出して出力する。
ここで、視聴者がリモコン手段３４を用いて番組表表示を選択する。
次いで、リモコン手段３４は、番組表表示を指示する入力があった旨を付加情報処理手段３３に出力する。
次いで、付加情報処理手段３３は、信号分離手段３２からの付加情報に基づいて、あらかじめ用意された番組表作成プログラムによって、番組表を作成する。該番組表は、通常の番組選択のための番組表であるとともに、選択した番組の音声について、音声処理などを選択するための番組表でもある。
【００３０】
より具体的には、付加情報であるＳＩのＰＭＴ中のcomponent＿descriptor（コンポーネント記述子）より、各番組の音声とともに伝送される音韻情報の種類を判断して、番組表作成プログラムによって、該音韻情報の種類に応じて施せる音声処理を番組表中に示す。
【００３１】
例えば、付加情報より、Ａ番組，Ｂ番組，及びＣ番組の音声とともにそれぞれ伝送される音韻情報が、それぞれ上記図１，図２（ａ），及び図２（ｂ）に示したものであることが分かると、番組表作成プログラムによって、各音韻情報に応じて施せる音声処理を示した番組表を作成する。すなわち、図１に示した音韻情報によれば、話速変換処理，厳密な子音強調処理などを施すことが可能であるが、図２および図３の音韻情報では、それぞれ厳密な子音強調処理および子音強調処理は行うことができないので、該音声処理は示されない。
【００３２】
次いで、映像合成手段３９は、音韻情報処理手段３５を介した付加情報処理手段３３からの番組表をディスプレイに表示させる。
ここで、視聴者はリモコン手段３４を用いて表示された番組表上で任意の番組を選択し、該番組の音声について可能な音声処理を選択する。
次いで、リモコン手段３４は、入力内容を出力する。
次いで、付加情報処理手段３３は、リモコン手段３４からの入力内容を受けて、選択された番組の情報を信号分離手段３２，音声信号再生手段３６，及び映像信号再生手段３７に出力するとともに、選択された番組およびその音声について選択された音声処理を音韻情報処理手段３５に出力する。
【００３３】
次いで、音韻情報処理手段３５は、付加情報処理手段３３からの選択内容に従って、信号分離手段３２からの音韻情報のうち、選択された番組の音声についてのものを抽出し、抽出した音韻情報に基づいて選択された音声処理を施すための指示を音声処理手段に出力する。
次いで、受信手段３１は、選択された番組が伝送されるトランスポンダを指定し直して復調して出力する。
次いで、信号分離手段３２は、復調されたトランスポートストリームから選択された番組の音声および映像がそれぞれ含まれるオーディオストリームおよびビデオストリームを、それぞれ音声信号再生手段３６および映像信号再生手段３７に出力する。
【００３４】
次いで、音声信号再生手段３７は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのオーディオストリームから選択された番組の音声信号を再生して出力する。
同時に、映像信号再生手段３7は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのビデオストリームから選択された番組の映像信号を再生して出力する。
次いで、映像合成手段３９は、再生された映像信号の映像をディスプレイに表示させる。
同時に、音声処理手段３８は、音韻情報処理手段３５からの指示に従って、あらかじめ用意された音声処理プログラムによって、再生された音声信号について特定の音声処理を施し、処理した音声をスピーカから出力する。
【００３５】
このように、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法は、送信側から、番組の音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化し、該音韻情報を識別するための付加情報を加えて多重化して伝送し、受信側では、該付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものとしたから、受信側で容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる。
【００３６】
また、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、音声区間を把握することができ、これを把握することによって施すことのできる話速変換などの音声処理を、当該番組の音声に施すことができる。
【００３７】
また、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻が放送される時刻を把握することができ、これらを把握することによって施すことのできる種々の音声処理を、当該番組の音声に施すことができる。
【００３８】
また、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻の子音および母音部分が放送される時刻まで把握することができ、これらを把握することによって施すことのできる子音強調などの種々の音声処理を、当該番組の音声に施すことができる。
【００３９】
また、上記付加情報を、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものとしたから、既存の規格に準じて上記付加情報を伝送でき、受信側でも既存の処理を応用して上記付加情報を利用することができる。
【００４０】
また、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法に用いる受信装置は、付加情報処理手段において、信号分離手段で分離された付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、外部入力によって選択された番組の音声の構成内容を示す音韻情報に基づいて、選択された音声処理のための指示を出力し、音声処理手段で、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力するものとしたから、容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる。
【００４１】
（実施の形態２）
本実施の形態２による受信装置は、上記実施の形態１による受信装置と同様、送信側から伝送される音韻情報を利用するが、音声を処理するかわりに字幕映像を作成して表示させるものである。
作成される字幕映像は、外国語音声で放送される映画などの画面に表示される字幕スーパー部分の映像のようなものであり、放送される番組の音声に合わせて表示されなければならない。
そのための音韻情報として、本実施の形態２においては、少なくとも音声を構成する各音韻の放送開始時刻および当該各音韻が何であるかの情報を含むものが伝送されなければならない。例えば、図１に示したＰＥＳパケットで伝送される音韻情報であればよいが、図２の（ａ）および（ｂ）に示したＰＥＳパケットで伝送される音韻情報では、字幕映像を作成することはできない。
【００４２】
次に、本実施の形態２による受信装置における動作について説明するが、当該受信装置の構成は、実施の形態１による受信装置とほぼ同様であるため、図４を参照して説明する。
ただし、本実施の形態２において、付加情報処理手段３３にあらかじめ用意される番組表作成プログラムによっては、通常の番組選択に加え、選択した番組の音声に対応する字幕映像の表示を選択するための番組表などが作成される。また、音韻情報処理手段３５は抽出した音韻情報に基づいて字幕映像を作成し、音声処理手段３８は特に使用せず、映像合成手段３９では、音韻情報処理手段３５で作成された字幕映像を再生された映像に合成して表示させる。
まず、受信手段３１，信号分離手段３２，リモコン手段３４，付加情報処理手段３３，及び映像合成手段３９において、上記実施の形態１と全く同様に動作して、番組表を表示させる。
【００４３】
次に、視聴者はリモコン手段３４を用いて表示された番組表上で任意の番組を選択し、該番組の音声に対応する字幕映像の表示を選択する。
次いで、リモコン手段３４は、入力内容を出力する。
次いで、付加情報処理手段３３は、リモコン手段３４からの入力内容を受けて、選択された番組の情報を信号分離手段３２，音声信号再生手段３６，及び映像信号再生手段３７に出力するとともに、選択された番組およびその音声に対応する字幕映像の表示が選択された旨を音韻情報処理手段３５に出力する。
次いで、音韻情報処理手段３５は、付加情報処理手段３３からの選択内容に従って、信号分離手段３２からの音韻情報のうち、選択された番組の音声についてのものを抽出し、抽出した音韻情報に基づいて字幕映像を作成して出力する。
【００４４】
一方、受信手段３１は、選択された番組が伝送されるトランスポンダを指定し直して復調して出力する。
次いで、信号分離手段３２は、復調されたトランスポートストリームから選択された番組の音声および映像がそれぞれ含まれるオーディオストリームおよびビデオストリームを、それぞれ音声信号再生手段３６および映像信号再生手段３７に出力する。
【００４５】
次いで、映像信号再生手段３８は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのビデオストリームから選択された番組の映像信号を再生して出力する。
同時に、音声信号再生手段３７は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのオーディオストリームから選択された番組の音声信号を再生し、再生した音声をスピーカから出力する。
次いで、映像合成手段３９は、映像信号再生手段３７からの再生された映像信号の映像に、音韻情報処理手段３５で作成された字幕映像を合成して、該字幕映像に対応する音声がスピーカから出力されるタイミングに合わせてディスプレイに表示させる。
【００４６】
このように、本発明の実施の形態２よるディジタル放送用音韻情報送受信方法は、送信側から、番組の音声の構成内容を示す音韻情報であって、音声を構成する音韻および各音韻の放送開始時刻を含むものを、当該音声とは別個にパケット化し、該音韻情報を識別するための付加情報を加えて多重化して伝送し、受信側では、該付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に対して施すことのできる音声処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する処理を含む音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、上記処理が選択されたとき、該音韻情報に従って、当該音韻情報が示す音声の放送に合わせて、当該音声を構成する音韻を表示した字幕映像を画面表示するものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる。
【００４７】
また、本発明の実施の形態２によるディジタル放送用音韻情報送受信方法に用いる受信装置は、付加情報処理手段において、音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、信号分離手段で分離された付加情報に基づいて、該音韻情報によって施すことのできる処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、抽出した音韻情報に基づいて、字幕映像を作成し、映像合成手段で、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させるものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる。
【００４８】
【発明の効果】
以上のように、本発明（請求項１）のディジタル放送用音韻情報送受信方法によれば、送信側から、上記音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化して、該音韻情報の種類を示す付加情報を加えて多重化した放送信号を伝送し、受信側では、該付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものとしたから、受信側で容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる効果がある。
【００４９】
また、本発明（請求項２）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、音声区間を把握することができ、これを把握することによって施すことのできる話速変換などの音声処理を、当該番組の音声に施すことができる効果がある。
【００５０】
また、本発明（請求項３）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻が放送される時刻を把握することができ、これらを把握することによって施すことのできる種々の音声処理を、当該番組の音声に施すことができる効果がある。
【００５１】
また、本発明（請求項４）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻の子音および母音部分が放送される時刻まで把握することができ、これらを把握することによって施すことのできる子音強調などの種々の音声処理を、当該番組の音声に施すことができる効果がある。
【００５２】
また、本発明（請求項５）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記付加情報を、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものとしたから、既存の規格に準じて上記付加情報を伝送でき、受信側でも既存の処理を応用して上記付加情報を利用することができる。
【００５３】
また、本発明（請求項６）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音声処理は、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示することを含むものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる効果がある。
【００５４】
また、本発明（請求項７）の受信装置によれば、付加情報処理手段において、信号分離手段で分離された付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、外部入力によって選択された番組の音声の構成内容を示す音韻情報に基づいて、選択された音声処理のための指示を出力し、音声処理手段で、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力するものとしたから、容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる効果がある。
【００５５】
また、本発明（請求項８）の受信装置によれば、請求項７に記載の受信装置において、付加情報処理手段において、音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、信号分離手段で分離された付加情報に基づいて、該音韻情報によって施すことのできる処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する音声処理を選択し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、抽出した音韻情報に基づいて、字幕映像を作成し、映像合成手段で、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させるものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる効果がある。
【図面の簡単な説明】
【図１】実施の形態１において音韻情報が伝送されるパケットのデータ構造の一例を示す図である。
【図２】実施の形態１において音韻情報が伝送されるパケットのデータ構造のその他の例を示す図である。
【図３】実施の形態１において用いる送信装置の構成例を示すブロック図である。
【図４】実施の形態１および２において用いるコンポーネント記述子の記述例を示す図である。
【図５】実施の形態１および２において用いる受信装置の構成例を示すブロック図である。
【符号の説明】
１１ ＰＥＳパケット
１２ ヘッダ情報
１３ 音韻データ
１４ 音韻部分データ
１５ 音声区間データ
２１ 映像用符号器
２２ 音声用符号器
２３ 音韻情報用符号器
２４ 付加情報用符号器
２５ 多重化部
２６ ディジタル変調器
２７ アップコンバータ
３１ 受信手段
３２ 信号分離手段
３３ 付加情報処理手段
３４ リモコン手段
３５ 音韻情報処理手段
３６ 音声信号再生手段
３７ 映像信号再生手段
３８ 音声処理手段
３９ 映像合成手段
【発明の属する技術分野】
本発明は、ディジタル放送において、放送された音声を受信側で様々に処理するにあたり、その音声の構成内容を取得するための方法等に関する。
【０００２】
【従来の技術】
従来、テレビジョン放送により放送される番組の音声については、受信側で音量調節が可能なくらいであったが、最近では、視聴者のニーズの多様性から、種々の調節を行う提案がなされている。例えば、受信した音声のうち人が発する言葉について、話を理解し易くするため話速を遅くする話速変換や、言葉がはっきり聴こえるように子音を強調する子音強調などの調節を行うことが挙げられる。
これらの調節を行うためには、放送される音声を分析して、該音声の情報を正確に取得する必要がある。すなわち、まず、放送される音声が言葉であるか否かを見分け、言葉であれば、言葉が続けて発せられている区間と切れ目の区間を把握することによって、切れ目の区間分だけその前に発せられた言葉の話速を遅くすることができ、言葉の一つ一つの子音まで把握して、子音強調を行うことができる。
【０００３】
ここで、ディジタル放送において放送される音声などは、ディジタルデータであるため、アナログ放送による音声などと比べ、自由自在に処理して利用できる要素を有している。そこで、上記話速変換や子音強調などの調節に限らず、放送される音声を様々に処理して利用することが期待される。この場合にも、上述のように、放送される音声を分析して、該音声の情報を正確に取得することが必要不可欠である。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記分析がリアルタイムで行われなければ、放送される音声をリアルタイムで処理して、放送される映像とともに出力することができないが、リアルタイムで音声の音韻を正確に把握することは、不可能に近い。
ここで、ディジタル放送においては、番組の映像および音声だけでなく、該映像および音声を受信側で選択するなどのための付加情報が伝送されている。
そこで、送出側で、放送する音声をあらかじめ分析した結果を付加情報として、音声とともに伝送することが考えられる。
【０００５】
本発明は、かかる問題点を解消するためになされたもので、放送されたディジタル音声を受信側で様々に処理するために、その音声の構成内容を示す音韻情報を送受信して利用するディジタル放送用音韻情報送受信方法およびそれに用いる受信装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明（請求項１）のディジタル放送用音韻情報送受信方法は、送信側から番組の映像および音声を含むデータをそれぞれパケット化して多重化した放送信号を伝送し、受信側で該放送信号を受信して番組を表示するディジタル放送において、送信側は、上記音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化して、該音韻情報の種類を示す付加情報を加えて多重化した放送信号を伝送し、受信側は、該付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものである。
【０００７】
また、本発明（請求項２）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものであるものである。
【０００８】
また、本発明（請求項３）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものであるものである。
【０００９】
また、本発明（請求項４）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものであるものである。
【００１０】
また、本発明（請求項５）のディジタル放送用音韻情報送受信方法は、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記付加情報は、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものであるものである。
【００１１】
また、本発明（請求項６）のディジタル放送用音韻情報送受信方法は、請求項３に記載のディジタル放送用音韻情報送受信方法において、上記音声処理は、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示することを含むものであるものである。
【００１２】
また、本発明（請求項７）の受信装置は、番組の映像および音声，該音声の構成内容を示す音韻情報，該音韻情報の種類を示す付加情報が多重化されて伝送されたディジタル放送信号を受信する受信装置であって、ディジタル放送信号を受信する受信手段と、受信したディジタル放送信号から、映像信号，音声信号，音韻情報の信号，及び付加情報の信号をそれぞれフィルタリングして分離する信号分離手段と、分離された付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付ける付加情報処理手段と、分離された音韻情報のうち、外部入力によって選択された番組の音声の構成内容を示す音韻情報を抽出し、抽出した音韻情報に基づいて選択された音声処理のための指示を出力する音韻情報処理手段と、上記付加情報処理手段で作成された画面を表示させたり、分離された映像信号から再生された映像を表示させる映像合成手段と、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力する音声処理手段とを備えたものである。
【００１３】
また、本発明（請求項８）の受信装置は、請求項７に記載の受信装置において、上記音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、上記付加情報処理手段は、音声処理として、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する処理を選択し、上記音韻情報処理手段は、上記付加情報処理手段で上記処理を受け付けたとき、抽出した音韻情報に基づいて、音声を構成する音韻を表示した字幕映像を作成する手段を含み、上記映像合成手段は、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させる手段を含むものであるものである。
【００１４】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら詳細に説明する。
（実施の形態１）
本発明の実施の形態１においては、受信側で、送信側からディジタル放送によって伝送された音声を処理して利用するために、送信側から該音声とともに当該音声の構成内容を示す音韻情報を伝送する。なお、本実施の形態１において受信側で処理する音声は、送信側から伝送される音声信号のうちの人が発する音（いわゆる音声であって音韻で構成される）であるものとする。
【００１５】
このとき、受信側で音声を処理するために要求される音韻情報は、受信側での処理に応じて異なる。例えば、受信側で話速変換処理を施す場合、音声が発せられている区間（音声区間）の情報を要し、子音強調処理を施す場合には、音声中、子音がどこにあるかの情報や、より厳密な子音強調処理には、該子音が「か」や「と」などのいずれの音韻の子音であるかの情報をも要する。
【００１６】
したがって、音韻情報としては、音声が発せられている区間（音声区間）の放送開始時刻および終了時刻の情報、音声を構成する各音韻の放送時刻および当該各音韻が何であるかの情報、音声を構成する各音韻の子音あるいは母音部分の放送時刻および当該各部分が子音あるいは母音のいずれであるかの情報などがそれぞれ伝送される。
該音韻情報は、送信側において伝送する音声を公知の方法で分析することによって作成する。
【００１７】
例えば、伝送する音声の音声区間は、音響信号が存在するところを音声区間と仮定して音響信号を音響パワーによって判定，パワースペクトルを計算して音声に特有の周波数帯域のパワーの有無によって音声であるか否かを判定，あるいは，ケプストラム分析によって判定し、判定した音声区間の放送開始時刻および終了時刻を認識して、音韻情報とする。また、伝送する音声を構成する音韻は、公知の音声認識手法において用いられる音声波形や周波数スペクトルを分析することによって決定し、各音韻の放送時刻を認識して音韻情報とする。このとき、伝送する音声のセリフが分かれば、そのセリフを参照することによって音韻を正確に把握することができる。なお、音韻の放送時刻として、音韻の放送開始時刻および終了時刻があればより好ましいが、放送開始時刻だけであってもよい。同じ音声区間内にあって次に放送される音韻の開始時刻を該音韻の前の音韻の終了時刻と判断でき、音声区間の最後の音韻の終了時刻については、音韻の放送時間は約７０〜８０ｍｓｅｃであるため、該最後の音韻の開始時刻から例えば７５ｍｓｅｃを終了時刻として、各音韻の終了時刻を判断できるからである。
【００１８】
図１は本実施の形態１において音韻情報が伝送されるパケットのデータ構造の一例を示す図である。
ここで、該音韻情報が伝送されるパケットは、当該音韻情報が特定する音声が伝送されるパケット，及び該音声に対応する映像が伝送されるパケットと多重化して１本のトランスポートストリームとする。
図において、１１はＰＥＳ（Packetized Elementary Stream）パケットであり、ＭＰＥＧ２によって規定され、該ＰＥＳパケットによってオーディオ（音声）データ，ビデオ（映像）データなども伝送される。１２はヘッダ情報であり、当該ＰＥＳパケットで伝送されるデータのパケット長，ＰＴＳ（Presentation Time Stamp ，再生出力の時刻管理情報）などが含まれる。該ＰＴＳは、当該ＰＥＳパケットのデータに対応するオーディオのＰＥＳパケットのデータをいつ再生出力すべきかを示す。１３は音韻データであり、当該ＰＥＳパケットのストリームとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）を構成する各音韻が何であるかの情報を記述している。
【００１９】
したがって、図１に示したパケットは、ＰＴＳおよび音韻データ１３の記述によって、音韻情報である，音声を構成する各音韻の放送開始時刻および当該各音韻が何であるかの情報を伝送する。
また、音韻データ１３に、当該音韻の放送終了時刻の情報を追加すれば、音韻情報として、各音韻の放送終了時刻の情報を含むものを伝送することができる。
さらに、音韻データ１３に記述された音韻が子音部分を含む場合、該音韻データ１３に、当該音韻の放送終了時刻の情報に加え、当該子音部分の放送終了時刻，及び当該音韻の母音部分の放送開始時刻の情報を追加すれば、音韻情報として、音声を構成する各音韻の子音または母音部分のそれぞれの放送開始時刻および終了時刻の情報を含む情報を伝送することができる。
【００２０】
図２は本実施の形態１において音韻情報が伝送されるパケットのデータ構造のその他の例を示す図である。
図において、図１と同一符号は同一または相当部分である。また、（ａ）に示す１４は音韻部分データであり、当該ＰＥＳパケットとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）を構成する各音韻の子音あるいは母音のいずれの部分であるかの情報が記述されている。該情報には、各子音が何の音韻の子音であるかや、各母音が何であるかなどの情報は含まない。（ｂ）に示す１５は音声区間データであり、当該ＰＥＳパケットとともに多重化されて伝送されるオーディオのＰＥＳパケットのデータ（音声）の一部分の音声区間であるという情報，及び当該音声区間の終了時刻の情報が記述されている。ちなみに、（ａ）のＰＥＳパケットのヘッダ情報のＰＴＳには、当該ＰＥＳパケットの子音あるいは母音部分に対応するオーディオのＰＥＳパケットのデータ（音声）の部分を再生出力すべき時刻が記述され、（ｂ）のＰＥＳパケットのＰＴＳには、当該ＰＥＳパケットの音声区間に対応するオーディオのＰＥＳパケットのデータ（音声）の部分を再生出力すべき時刻が記述される。
【００２１】
したがって、図２の（ａ）に示したパケットは、ＰＴＳおよび音韻部分データ１４の記述によって、音韻情報である，音声を構成する各音韻の子音または母音部分の放送開始時刻および当該各部分が子音あるいは母音のいずれであるかの情報を伝送する。また、図２の（ｂ）に示したパケットは、ＰＴＳおよび音声区間データ１５の記述によって、音韻情報である，音声区間の放送開始時刻および終了時刻の情報を伝送する。
【００２２】
図３は本発明の実施の形態１によるディジタル放送用音韻情報送受信方法において用いる送信装置の構成例を示すブロック図である。
図において、２１は映像用符号器であり、番組の映像をディジタル映像信号に変換する。２２は音声用符号器であり、番組の音声をディジタル音声信号に変換する。２３は音韻情報用符号器であり、番組の音声の音韻情報をディジタル信号に変換する。２４は付加情報用符号器であり、付加情報，すなわちＡＲＩＢ（電波産業会）規格のＳＩ（Service Ｉnformation，番組配列情報）をディジタル信号に変換する。２５は多重化部であり、複数の番組（４〜８つの番組）の，ディジタル映像信号，ディジタル音声信号，及び音韻情報のディジタル信号、並びに付加情報のディジタル信号を多重化して１本のトランスポートストリームとする。２６はディジタル変調器であり、多重化部２５で多重化されたディジタル信号を搬送波に乗せて変調する。２７はアップコンバータであり、ディジタル変調器２６で変調された低周波数の信号を衛星用高周波数の信号に変換する。
ここで、上記付加情報は、受信側で音韻情報を利用する際、音韻情報が用意された音声か否かを判断し，用意されている場合には、その音韻情報の種類を判断するための情報を含む。すなわち、音韻情報は、当該音韻情報が示す音声のＰＥＳパケットとは独立のＰＥＳパケットで伝送するため、音韻情報のＰＥＳパケットが含まれていることを、ＳＩのＰＭＴ（Program Map Table ）中のstream＿type（ストリーム形式識別）の記述によって示す。例えば、ＭＰＥＧ１の音声，ＭＰＥＧ２の音声，及び音韻情報が別個に含まれているＰＥＳパケットを、それぞれ０ｘ０３，０ｘ０４，及び０ｘ０５とする。また、音韻情報には、図１，図２（ａ），及び図２（ｂ）に示したもののように、種々の内容のものがあるため、これらを該ＰＭＴ中のcomponent ＿descriptor（コンポーネント記述子）の記述によって区別する（図４参照）。該付加情報によって、受信側では音韻情報の種類に応じた音声処理を選択するための番組表などを提示することができる。
【００２３】
なお、図には１つの多重化部および該多重化部に対応するディジタル変調器からの信号をアップコンバータで変換するように示したが、実際には、６〜８つの多重化部および対応するディジタル変調器からの信号を変換する。すなわち、４〜８本のトランスポートストリームで、最大６４番組が同時に伝送される。
【００２４】
次に、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法における送信側での動作について、図１〜４により説明する。
まず、ディジタル放送のための番組が製作、すなわち、番組の映像および音声が作成される。そして、該音声について分析をおこなって、音韻情報を作成する。
また、上記番組と同じトランスポートストリームで伝送される他の番組や、該トランスポートストリームと同時に別のトランスポートストリームで伝送される番組も製作される。
【００２５】
次いで、各トランスポートストリームごとに多重化する付加情報であるＳＩを用意する。
次いで、映像用符号器２１および音声用符号器２２は、それぞれ作成された映像および音声をディジタル信号に変換してＰＥＳパケットのストリームとして出力する。また、音韻情報用符号器２３は、作成された音韻情報をディジタル信号に変換して図１および２に示したようなＰＥＳパケットのストリームとして出力する。さらに、付加情報用符号器２３は、用意したＳＩデータをディジタル信号に変換してパケットストリームとして出力する。
【００２６】
次いで、多重化部２５は、複数の番組に対応する，映像用符号器２１，音声用符号器２２，及び音韻情報用符号器２３からの各ＰＥＳパケットのストリームと、付加情報用符号器２４からのパケットストリームを多重化して１本のトランスポートストリームにして出力する。このとき、音声のＰＥＳパケットのデータに対応する音韻情報のＰＥＳパケットは、当該音声のＰＥＳパケットより先に伝送するように多重化する。すなわち、音声のＰＥＳパケットのＰＴＳに記述された時刻と同一の時刻がＰＴＳに記述された音韻情報のＰＥＳパケットが、その時刻より前の時刻がＰＴＳに記述された音声のＰＥＳパケットと多重化する。これにより、受信側では、先に伝送される音韻情報を取得して音声処理の準備をした後、当該音韻情報によって処理する音声が伝送され、該音声を確実に処理することが可能となる。
【００２７】
次いで、ディジタル変調器２６は、多重化部２５で多重化されたディジタル信号を搬送波に乗せて変調して出力する。
また、上記トランスポートストリームと同時に別の複数のトランスポートストリームで伝送される番組の映像および音声，並びに付加情報も、図示しない別の複数の多重化部で、それぞれ多重化されて各トランスポートストリームとして出力され、図示しない別の複数の対応するディジタル変調器で変調して出力される。
次いで、アップコンバータ２７は、ディジタル変調器２６および図示しない別の複数のディジタル変調器でそれぞれ変調された低周波数の信号を衛星用高周波数の信号に変換して出力し、該信号を送出アンテナから衛星に向けて放射する。
【００２８】
図５は本発明の実施の形態１による受信装置の構成例を示すブロック図である。
図において、３１は受信手段であり、アンテナから送り込まれる電波に重畳されたディジタル放送信号の複数のトランスポンダのうち１本を指定して復調する。３２は信号分離手段であり、復調したトランスポートストリームから、付加情報であるＳＩデータのストリームを抽出したり、外部入力により選択された番組の映像および音声や、該音声の音韻情報がそれぞれ含まれるストリームを抽出する。３３は付加情報処理手段であり、信号分離手段３２からのＳＩデータに基づいて、あらかじめ用意された番組表作成プログラムによって、通常の番組選択に加え、選択した番組の音声についてする音声処理なども選択するための番組表などを作成する。３４はリモコン手段であり、外部より視聴者が所望の番組や音声処理などを選択するための入力手段である。３５は音韻情報処理手段であり、信号分離手段３２からの音韻情報のストリームから、選択された番組の音声の音韻情報を抽出して、選択された音声処理を施すための指示を出す。３６は音声信号再生手段であり、信号分離手段３２から出力されるオーディオストリームから外部入力によって選択された番組の音声信号を再生する。３７は映像信号再生手段であり、信号分離手段３２から出力されるビデオストリームから外部入力によって選択された番組の映像信号を再生する。３８は音声処理手段であり、音韻情報処理手段３５からの指示に従って、あらかじめ用意された音声処理プログラムによって、再生された音声信号に特定の音声処理を施す。３９は映像合成手段であり、再生された映像信号の映像や、付加情報処理手段３３で作成された番組表を表示させる。
【００２９】
次に、本発明の実施の形態１による受信装置の動作について、図１，２，４，及び５により説明する。
まず、衛星を介して放出される電波をアンテナで受けて、受信手段３１で該電波に重畳されたディジタル放送信号の複数のトランスポンダのうち１本を指定して復調する。
次いで、信号分離手段３２は、復調されたトランスポートストリームのＳＩを抽出して出力する。
ここで、視聴者がリモコン手段３４を用いて番組表表示を選択する。
次いで、リモコン手段３４は、番組表表示を指示する入力があった旨を付加情報処理手段３３に出力する。
次いで、付加情報処理手段３３は、信号分離手段３２からの付加情報に基づいて、あらかじめ用意された番組表作成プログラムによって、番組表を作成する。該番組表は、通常の番組選択のための番組表であるとともに、選択した番組の音声について、音声処理などを選択するための番組表でもある。
【００３０】
より具体的には、付加情報であるＳＩのＰＭＴ中のcomponent＿descriptor（コンポーネント記述子）より、各番組の音声とともに伝送される音韻情報の種類を判断して、番組表作成プログラムによって、該音韻情報の種類に応じて施せる音声処理を番組表中に示す。
【００３１】
例えば、付加情報より、Ａ番組，Ｂ番組，及びＣ番組の音声とともにそれぞれ伝送される音韻情報が、それぞれ上記図１，図２（ａ），及び図２（ｂ）に示したものであることが分かると、番組表作成プログラムによって、各音韻情報に応じて施せる音声処理を示した番組表を作成する。すなわち、図１に示した音韻情報によれば、話速変換処理，厳密な子音強調処理などを施すことが可能であるが、図２および図３の音韻情報では、それぞれ厳密な子音強調処理および子音強調処理は行うことができないので、該音声処理は示されない。
【００３２】
次いで、映像合成手段３９は、音韻情報処理手段３５を介した付加情報処理手段３３からの番組表をディスプレイに表示させる。
ここで、視聴者はリモコン手段３４を用いて表示された番組表上で任意の番組を選択し、該番組の音声について可能な音声処理を選択する。
次いで、リモコン手段３４は、入力内容を出力する。
次いで、付加情報処理手段３３は、リモコン手段３４からの入力内容を受けて、選択された番組の情報を信号分離手段３２，音声信号再生手段３６，及び映像信号再生手段３７に出力するとともに、選択された番組およびその音声について選択された音声処理を音韻情報処理手段３５に出力する。
【００３３】
次いで、音韻情報処理手段３５は、付加情報処理手段３３からの選択内容に従って、信号分離手段３２からの音韻情報のうち、選択された番組の音声についてのものを抽出し、抽出した音韻情報に基づいて選択された音声処理を施すための指示を音声処理手段に出力する。
次いで、受信手段３１は、選択された番組が伝送されるトランスポンダを指定し直して復調して出力する。
次いで、信号分離手段３２は、復調されたトランスポートストリームから選択された番組の音声および映像がそれぞれ含まれるオーディオストリームおよびビデオストリームを、それぞれ音声信号再生手段３６および映像信号再生手段３７に出力する。
【００３４】
次いで、音声信号再生手段３７は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのオーディオストリームから選択された番組の音声信号を再生して出力する。
同時に、映像信号再生手段３7は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのビデオストリームから選択された番組の映像信号を再生して出力する。
次いで、映像合成手段３９は、再生された映像信号の映像をディスプレイに表示させる。
同時に、音声処理手段３８は、音韻情報処理手段３５からの指示に従って、あらかじめ用意された音声処理プログラムによって、再生された音声信号について特定の音声処理を施し、処理した音声をスピーカから出力する。
【００３５】
このように、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法は、送信側から、番組の音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化し、該音韻情報を識別するための付加情報を加えて多重化して伝送し、受信側では、該付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものとしたから、受信側で容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる。
【００３６】
また、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、音声区間を把握することができ、これを把握することによって施すことのできる話速変換などの音声処理を、当該番組の音声に施すことができる。
【００３７】
また、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻が放送される時刻を把握することができ、これらを把握することによって施すことのできる種々の音声処理を、当該番組の音声に施すことができる。
【００３８】
また、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻の子音および母音部分が放送される時刻まで把握することができ、これらを把握することによって施すことのできる子音強調などの種々の音声処理を、当該番組の音声に施すことができる。
【００３９】
また、上記付加情報を、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものとしたから、既存の規格に準じて上記付加情報を伝送でき、受信側でも既存の処理を応用して上記付加情報を利用することができる。
【００４０】
また、本発明の実施の形態１によるディジタル放送用音韻情報送受信方法に用いる受信装置は、付加情報処理手段において、信号分離手段で分離された付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、外部入力によって選択された番組の音声の構成内容を示す音韻情報に基づいて、選択された音声処理のための指示を出力し、音声処理手段で、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力するものとしたから、容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる。
【００４１】
（実施の形態２）
本実施の形態２による受信装置は、上記実施の形態１による受信装置と同様、送信側から伝送される音韻情報を利用するが、音声を処理するかわりに字幕映像を作成して表示させるものである。
作成される字幕映像は、外国語音声で放送される映画などの画面に表示される字幕スーパー部分の映像のようなものであり、放送される番組の音声に合わせて表示されなければならない。
そのための音韻情報として、本実施の形態２においては、少なくとも音声を構成する各音韻の放送開始時刻および当該各音韻が何であるかの情報を含むものが伝送されなければならない。例えば、図１に示したＰＥＳパケットで伝送される音韻情報であればよいが、図２の（ａ）および（ｂ）に示したＰＥＳパケットで伝送される音韻情報では、字幕映像を作成することはできない。
【００４２】
次に、本実施の形態２による受信装置における動作について説明するが、当該受信装置の構成は、実施の形態１による受信装置とほぼ同様であるため、図４を参照して説明する。
ただし、本実施の形態２において、付加情報処理手段３３にあらかじめ用意される番組表作成プログラムによっては、通常の番組選択に加え、選択した番組の音声に対応する字幕映像の表示を選択するための番組表などが作成される。また、音韻情報処理手段３５は抽出した音韻情報に基づいて字幕映像を作成し、音声処理手段３８は特に使用せず、映像合成手段３９では、音韻情報処理手段３５で作成された字幕映像を再生された映像に合成して表示させる。
まず、受信手段３１，信号分離手段３２，リモコン手段３４，付加情報処理手段３３，及び映像合成手段３９において、上記実施の形態１と全く同様に動作して、番組表を表示させる。
【００４３】
次に、視聴者はリモコン手段３４を用いて表示された番組表上で任意の番組を選択し、該番組の音声に対応する字幕映像の表示を選択する。
次いで、リモコン手段３４は、入力内容を出力する。
次いで、付加情報処理手段３３は、リモコン手段３４からの入力内容を受けて、選択された番組の情報を信号分離手段３２，音声信号再生手段３６，及び映像信号再生手段３７に出力するとともに、選択された番組およびその音声に対応する字幕映像の表示が選択された旨を音韻情報処理手段３５に出力する。
次いで、音韻情報処理手段３５は、付加情報処理手段３３からの選択内容に従って、信号分離手段３２からの音韻情報のうち、選択された番組の音声についてのものを抽出し、抽出した音韻情報に基づいて字幕映像を作成して出力する。
【００４４】
一方、受信手段３１は、選択された番組が伝送されるトランスポンダを指定し直して復調して出力する。
次いで、信号分離手段３２は、復調されたトランスポートストリームから選択された番組の音声および映像がそれぞれ含まれるオーディオストリームおよびビデオストリームを、それぞれ音声信号再生手段３６および映像信号再生手段３７に出力する。
【００４５】
次いで、映像信号再生手段３８は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのビデオストリームから選択された番組の映像信号を再生して出力する。
同時に、音声信号再生手段３７は、付加情報処理手段３３からの情報に基づいて、信号分離手段３２からのオーディオストリームから選択された番組の音声信号を再生し、再生した音声をスピーカから出力する。
次いで、映像合成手段３９は、映像信号再生手段３７からの再生された映像信号の映像に、音韻情報処理手段３５で作成された字幕映像を合成して、該字幕映像に対応する音声がスピーカから出力されるタイミングに合わせてディスプレイに表示させる。
【００４６】
このように、本発明の実施の形態２よるディジタル放送用音韻情報送受信方法は、送信側から、番組の音声の構成内容を示す音韻情報であって、音声を構成する音韻および各音韻の放送開始時刻を含むものを、当該音声とは別個にパケット化し、該音韻情報を識別するための付加情報を加えて多重化して伝送し、受信側では、該付加情報に基づいて、音韻情報によって当該音韻情報が示す音声に対して施すことのできる音声処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する処理を含む音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、上記処理が選択されたとき、該音韻情報に従って、当該音韻情報が示す音声の放送に合わせて、当該音声を構成する音韻を表示した字幕映像を画面表示するものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる。
【００４７】
また、本発明の実施の形態２によるディジタル放送用音韻情報送受信方法に用いる受信装置は、付加情報処理手段において、音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、信号分離手段で分離された付加情報に基づいて、該音韻情報によって施すことのできる処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、抽出した音韻情報に基づいて、字幕映像を作成し、映像合成手段で、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させるものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる。
【００４８】
【発明の効果】
以上のように、本発明（請求項１）のディジタル放送用音韻情報送受信方法によれば、送信側から、上記音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化して、該音韻情報の種類を示す付加情報を加えて多重化した放送信号を伝送し、受信側では、該付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力するものとしたから、受信側で容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる効果がある。
【００４９】
また、本発明（請求項２）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、音声区間を把握することができ、これを把握することによって施すことのできる話速変換などの音声処理を、当該番組の音声に施すことができる効果がある。
【００５０】
また、本発明（請求項３）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻が放送される時刻を把握することができ、これらを把握することによって施すことのできる種々の音声処理を、当該番組の音声に施すことができる効果がある。
【００５１】
また、本発明（請求項４）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものとしたから、受信側では、視聴者が選択した番組の音声について、構成する各音韻，及び該各音韻の子音および母音部分が放送される時刻まで把握することができ、これらを把握することによって施すことのできる子音強調などの種々の音声処理を、当該番組の音声に施すことができる効果がある。
【００５２】
また、本発明（請求項５）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記付加情報を、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものとしたから、既存の規格に準じて上記付加情報を伝送でき、受信側でも既存の処理を応用して上記付加情報を利用することができる。
【００５３】
また、本発明（請求項６）のディジタル放送用音韻情報送受信方法によれば、請求項１に記載のディジタル放送用音韻情報送受信方法において、上記音声処理は、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示することを含むものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる効果がある。
【００５４】
また、本発明（請求項７）の受信装置によれば、付加情報処理手段において、信号分離手段で分離された付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、外部入力によって選択された番組の音声の構成内容を示す音韻情報に基づいて、選択された音声処理のための指示を出力し、音声処理手段で、分離された音声信号から再生された音声に対して、選択された音声処理を施して出力するものとしたから、容易に音声処理を施して、聴力低下のある視聴者などに聴覚補償処理を施した音声を提供することができ、視聴者は、表示画面から、選択した番組の音声に対して施せる音声処理を視覚的に容易に把握して、該音声処理から任意の音声処理を選択して、選択した音声処理を施した音声を聴くことができる効果がある。
【００５５】
また、本発明（請求項８）の受信装置によれば、請求項７に記載の受信装置において、付加情報処理手段において、音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、信号分離手段で分離された付加情報に基づいて、該音韻情報によって施すことのできる処理であって、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する音声処理を選択し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付け、音韻情報処理手段では、抽出した音韻情報に基づいて、字幕映像を作成し、映像合成手段で、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させるものとしたから、音声を字幕映像で補完するサービスを提供でき、聴力のない視聴者でも、該サービスを表示画面から視覚的に容易に把握して選択し、番組の音声の放送に合わせて画面表示される字幕映像を視て、番組を観ることができる効果がある。
【図面の簡単な説明】
【図１】実施の形態１において音韻情報が伝送されるパケットのデータ構造の一例を示す図である。
【図２】実施の形態１において音韻情報が伝送されるパケットのデータ構造のその他の例を示す図である。
【図３】実施の形態１において用いる送信装置の構成例を示すブロック図である。
【図４】実施の形態１および２において用いるコンポーネント記述子の記述例を示す図である。
【図５】実施の形態１および２において用いる受信装置の構成例を示すブロック図である。
【符号の説明】
１１ ＰＥＳパケット
１２ ヘッダ情報
１３ 音韻データ
１４ 音韻部分データ
１５ 音声区間データ
２１ 映像用符号器
２２ 音声用符号器
２３ 音韻情報用符号器
２４ 付加情報用符号器
２５ 多重化部
２６ ディジタル変調器
２７ アップコンバータ
３１ 受信手段
３２ 信号分離手段
３３ 付加情報処理手段
３４ リモコン手段
３５ 音韻情報処理手段
３６ 音声信号再生手段
３７ 映像信号再生手段
３８ 音声処理手段
３９ 映像合成手段
Claims (8)
- 送信側から番組の映像および音声を含むデータをそれぞれパケット化して多重化した放送信号を伝送し、受信側で該放送信号を受信して番組を表示するディジタル放送において、
送信側は、上記音声の構成内容を示す音韻情報を、当該音声とは別個にパケット化して、該音韻情報の種類を示す付加情報を加えて多重化した放送信号を伝送し、
受信側は、該付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を表示し、該音韻情報に従って当該音韻情報が示す音声に対して、外部入力により任意に選択された音声処理を施して出力することを特徴とするディジタル放送用音韻情報送受信方法。 - 請求項１に記載のディジタル放送用音韻情報送受信方法において、
上記音韻情報は、音声の音声区間の開始時刻および終了時刻を含むものであることを特徴とするディジタル放送用音韻情報送受信方法。 - 請求項１に記載のディジタル放送用音韻情報送受信方法において、
上記音韻情報は、音声を構成する音韻および各音韻の放送開始時刻を含むものであることを特徴とするディジタル放送用音韻情報送受信方法。 - 請求項１に記載のディジタル放送用音韻情報送受信方法において、
上記音韻情報は、音声を構成する音韻，各音韻の放送開始時刻および終了時刻，並びに子音部分を含む音韻における該子音部分の放送終了時刻および当該音韻の母音部分の放送開始時刻を含むものであることを特徴とするディジタル放送用音韻情報送受信方法。 - 請求項１に記載のディジタル放送用音韻情報送受信方法において、
上記付加情報は、ＡＲＩＢ（社団法人電波産業会）規格による番組配列情報のコンポーネント記述子に記述するものであることを特徴とするディジタル放送用音韻情報送受信方法。 - 請求項３に記載のディジタル放送用音韻情報送受信方法において、
上記音声処理は、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示することを含むものであることを特徴とするディジタル放送用音韻情報送受信方法。 - 番組の映像および音声，該音声の構成内容を示す音韻情報，該音韻情報の種類を示す付加情報が多重化されて伝送されたディジタル放送信号を受信する受信装置であって、
ディジタル放送信号を受信する受信手段と、
受信したディジタル放送信号から、映像信号，音声信号，音韻情報の信号，及び付加情報の信号をそれぞれフィルタリングして分離する信号分離手段と、
分離された付加情報が示す音韻情報の種類に応じて、当該音韻情報が示す音声に施すことのできる音声処理を判断し、該音声処理から任意の音声処理を選択するための画面を作成し、外部入力によって選択される番組および当該番組の音声に対して施す音声処理を受け付ける付加情報処理手段と、
分離された音韻情報のうち、外部入力によって選択された番組の音声の構成内容を示す音韻情報を抽出し、抽出した音韻情報に基づいて選択された音声処理のための指示を出力する音韻情報処理手段と、
上記付加情報処理手段で作成された画面を表示させたり、分離された映像信号から再生された映像を表示させる映像合成手段と、
分離された音声信号から再生された音声に対して、選択された音声処理を施して出力する音声処理手段とを備えたことを特徴とする受信装置。 - 請求項７に記載の受信装置において、
上記音韻情報が、音声を構成する音韻および各音韻の放送開始時刻を含むものであるとき、
上記付加情報処理手段は、音声処理として、音声を構成する音韻を表示した字幕映像を当該音声の放送に合わせて画面表示する処理を選択し、
上記音韻情報処理手段は、上記付加情報処理手段で上記処理を受け付けたとき、抽出した音韻情報に基づいて、音声を構成する音韻を表示した字幕映像を作成する手段を含み、
上記映像合成手段は、作成された字幕映像を、分離された映像信号から再生された映像に合成して表示させる手段を含むことを特徴とする受信装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14761599A JP4167347B2 (ja) | 1999-05-27 | 1999-05-27 | ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14761599A JP4167347B2 (ja) | 1999-05-27 | 1999-05-27 | ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000341653A JP2000341653A (ja) | 2000-12-08 |
| JP4167347B2 true JP4167347B2 (ja) | 2008-10-15 |
Family
ID=15434339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14761599A Expired - Fee Related JP4167347B2 (ja) | 1999-05-27 | 1999-05-27 | ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4167347B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5124768B2 (ja) * | 2006-09-27 | 2013-01-23 | 国立大学法人九州大学 | 放送装置 |
-
1999
- 1999-05-27 JP JP14761599A patent/JP4167347B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000341653A (ja) | 2000-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3844431B2 (ja) | 発話認識に基づいたキャプションシステム | |
| US5677739A (en) | System and method for providing described television services | |
| US5900908A (en) | System and method for providing described television services | |
| US20130204605A1 (en) | System for translating spoken language into sign language for the deaf | |
| US20030046075A1 (en) | Apparatus and methods for providing television speech in a selected language | |
| KR20150021258A (ko) | 디스플레이장치 및 그 제어방법 | |
| JP2011091619A (ja) | 送信装置、送信方法、受信装置、受信方法、プログラム、および放送システム | |
| US20060106597A1 (en) | System and method for low bit-rate compression of combined speech and music | |
| US8515771B2 (en) | Identifying an encoding format of an encoded voice signal | |
| JP2538921B2 (ja) | 音楽演奏情報伝送方法および送信装置と受信装置 | |
| US7518656B2 (en) | Signal processing apparatus, signal processing method, signal processing program, program reproducing apparatus, image display apparatus and image display method | |
| JP2000138877A (ja) | デジタル放送送信装置および受信装置 | |
| JP2000322077A (ja) | テレビジョン装置 | |
| JP4167347B2 (ja) | ディジタル放送用音韻情報送受信方法およびそれに用いる受信装置 | |
| JP2005176107A (ja) | デジタル放送受信装置およびその制御方法、デジタル放送送信装置、ならびにデジタル放送受信システム | |
| JP4167346B2 (ja) | ディジタル放送用聴覚補償方法およびそれに用いる受信装置 | |
| WO2011077627A1 (ja) | 放送受信装置及び放送受信装置における番組情報音声出力方法 | |
| US20020021760A1 (en) | Process for associating and delivering data with visual media | |
| JP2004172864A (ja) | 字幕表示制御装置 | |
| JP2009260685A (ja) | 放送受信装置 | |
| JP2002010138A (ja) | 情報処理方法及び情報処理装置 | |
| JP2008294722A (ja) | 動画再生装置および動画再生方法 | |
| JP2001078117A (ja) | ディジタル放送用受信装置 | |
| JP2005057638A (ja) | デジタル放送装置およびデジタル放送対応受信端末装置 | |
| US11438397B2 (en) | Broadcast system, terminal apparatus, method for operating terminal apparatus, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060216 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080416 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080616 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080801 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110808 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |