JP5162489B2 - 非表示情報を含む字幕放送用の字幕情報処理装置、字幕情報処理プログラム、および字幕情報処理システム - Google Patents

Description

本発明は、非表示情報を含む字幕放送用の字幕情報処理装置および字幕情報処理システムに関し、特に非表示情報を含む字幕情報を処理して、付加的なサービスまたは情報を提供する字幕情報処理装置、字幕情報処理プログラム、および字幕情報処理システムに関する。

従来、字幕放送において、放送局は、字幕として表示する文字列を表す文字列符号と、座標、色、背景色など、表示する文字列の表示制御を行うための制御符号とからなる字幕情報を、字幕放送データとして放送する放送データに重畳して放送波によって放送し、視聴者側の受信装置は、このようにして生成された放送波を受信して復調し、字幕放送データを分離し、制御符号にしたがって文字列の座標、色、背景色などを決定し、字幕情報の文字列符号が表す文字列に基づいて字幕を表示していた。

デジタル放送で字幕を表示する場合も、字幕として表示する文字列を表す文字列符号と、表示する文字列の座標、色、背景色など、表示する文字列の表示制御を行うための制御符号とからなる字幕情報とともに、提供されている言語に関する情報や、表示を行うか表示を行わないかという情報を、放送する字幕放送データに重畳して放送波によって放送し、視聴者側の受信装置は、このようにして生成された放送波から、視聴者の要求にしたがって情報を処理し、必要な場合は、言語情報を取得して、字幕を表示するようになっている（非特許文献１〜５参照）。

近年、Ｊａｖａ（登録商標）技術を用いたプログラムがデジタル放送に用いられており、今後期待されている（特に非特許文献４、５参照）。従来のプログラミング言語の多くはＣＰＵなどのプラットフォームに依存したネイティブなコードにコンパイルすることを前提として設計されていたが、Ｊａｖａ技術はプラットフォームに対する非依存と、バージョン間の互換性に注意して開発が進められてきた。したがって、Ｊａｖａ技術のプログラムは従来の多くのプログラミング言語と異なり、中間言語であるバイトコードにコンパイルされ、Ｊａｖａ仮想マシン（Ｊａｖａ ＶＭ）で実行されるよう設計されている。

この技術によれば、放送局はＪａｖａ仮想マシンとしてのデジタル放送受信機に字幕データ、プログラム等を送信することによって、視聴者側のデジタル放送受信機はＪａｖａアプリケーション・プログラミング・インタフェース（以後、「Ｊａｖａ ＡＰＩ」と呼ぶ）を用いて、受信した字幕、プログラム等に対して所定の処理を実施できる。デジタル放送を受信可能なデジタル放送受信機をＪａｖａ仮想マシンとして動作させる技術については公知の技術を用いることができるので詳細な説明を省略する。

ＩＳＯ／ＩＥＣ １３８１８−１：２００７，「コンポーネントの同期（ＰＴＳ、ＤＴＳ）」"Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｇｅｎｅｒｉｃ ｃｏｄｉｎｇ ｏｆ ｍｏｖｉｎｇ ｐｉｃｔｕｒｅｓ ａｎｄ ａｓｓｏｃｉａｔｅｄ ａｕｄｉｏ ｉｎｆｏｒｍａｔｉｏｎ： Ｓｙｓｔｅｍｓ" 社団法人電波産業会、「デジタル放送におけるデータ放送符号化方式と伝送方式」、ＡＲＩＢ ＳＴＤ−Ｂ２４ ５．２版「第一編：文字符号化［８単位符号］[字幕・文字スーパーの符号化]（字幕）、第二編：ＢＭＬ（マルチメディアコンテンツのレイアウト）、第三編：データカルーセル（放送ダウンロード）」２００８年６月６日 ＥＢＵ／ＥＴＳＩ，ＥＴＳＩ ＴＳ １０２ ８２２−３−１ ｖ１．４．１（２００７−１１）、「放送コンテンツ用メタデータ（メタデータ同期方式）」，"Ｂｒｏａｄｃａｓｔ ａｎｄ Ｏｎ−ｌｉｎｅ Ｓｅｒｖｉｃｅｓ： Ｓｅａｒｃｈ， ｓｅｌｅｃｔ， ａｎｄ ｒｉｇｈｔｆｕｌ ｕｓｅ ｏｆ ｃｏｎｔｅｎｔ ｏｎ ｐｅｒｓｏｎａｌ ｓｔｏｒａｇｅ ｓｙｓｔｅｍｓ （"ＴＶ−Ａｎｙｔｉｍｅ"）；Ｐａｒｔ ３： Ｍｅｔａｄａｔａ；Ｓｕｂ−ｐａｒｔ １： Ｐｈａｓｅ １ − Ｍｅｔａｄａｔａ ｓｃｈｅｍａｓ" 社団法人電波産業会、「デジタル放送におけるアプリケーション実行環境」、ＡＲＩＢ ＳＴＤ−Ｂ２３ １．１版、「Ｊａｖａデータ放送（アプリ連動ネイティブコードのＡＩＴ部、Ｘｌｅｔ非同期起動、字幕文字符号変換）」、２００４年２月５日 ＪＩＳ Ｘ ０２２１：２００７ 「Ｊａｖａが使用する文字符号化（字幕文字符号）」、ＪＩＳ Ｘ ０２２１：２００７ 「国際符号化文字集合（ＵＣＳ）− Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ −− Ｕｎｉｖｅｒｓａｌ Ｍｕｌｔｉｐｌｅ−Ｏｃｔｅｔ Ｃｏｄｅｄ Ｃｈａｒａｃｔｅｒ Ｓｅｔ （ＵＣＳ）」

しかしながら、字幕放送データには、字幕を表示するための字幕情報の他、提供されている言語に関する情報や、表示を行うか表示を行わないか、という情報しか含まれておらず、従来の文字列の座標、色、背景色の調整などの字幕の表示以外の処理を行うことを想定したものではない。このため、字幕放送をデジタル放送受信機で視聴する視聴者に対して、放送される字幕やコンテンツに対する関心を高める、または理解を容易にするなど、視聴者の必要性に合わせて、デジタル放送に付随する様々な付加的なサービスまたは情報を提供することができないという課題があった。

具体的には、字幕放送で放送される放送波は、字幕の文字列と、文字列の表示制御に必要な情報（以後、「表示情報」と呼ぶ）は含むものの、デジタル放送コンテンツとして視聴者の要求に応えるサービスまたは情報を提供するために必要な情報（以後、「非表示情報」と呼ぶ）が欠けていた。このため、デジタル放送受信機において、字幕放送用の字幕情報を利用して、字幕の表示以外の処理、例えば、字幕の内容、字幕で表示されるセリフを発話する話者を特定するなどの付加的な処理を視聴者の受信装置に行わせることはできなかった。

字幕放送はタイミングが極めて重要である。例えば、字幕を表示するタイミングが映像と合わなくなると、番組を視聴する視聴者が内容を理解することを妨げてしまう可能性もある。このため、字幕放送用の字幕情報を用いながら、字幕情報以外の非表示情報を別のファイルで伝送するというデータ放送の放送方式は考えられるものの、同期の確保が困難になることなどから、積極的に利用されてこなかった。例えば、非表示情報を字幕情報との同期を確保して放送データに重畳して放送しようとしても、ニュース番組等の生放送番組において、随時字幕情報を重畳した字幕放送データを生成するという状況の下では、非表示情報を適切なタイミングで同期させることは、装置の構成が複雑となり、コストもかかり、困難であった。

データ放送も、デジタル放送が主流となり、さらには、次世代衛星放送として、高度ＢＳデジタル放送などが計画されている今日、ＣＰＵなど、視聴者のデジタル放送受信機のプラットフォームに可能な限り非依存の方式で、様々な情報やサービスを付加的に提供することができる高機能なデータ放送が検討されている。

本発明は、上述の課題を鑑みてなされたものであり、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ち、表示情報を用いて字幕を表示しつつも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる字幕情報処理装置、字幕情報処理プログラム、および字幕情報処理システムを提供することを目的とする。

本発明の第１の態様によると、放送波を介して非表示情報を含む字幕放送データを受信する放送受信部と、前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、前記字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した非表示情報を前記非表示情報処理部に送出し、前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれることを特徴とする、字幕情報処理装置を提供する。

この構成により、本発明の字幕情報処理装置は、放送波を介して非表示情報を含む字幕放送データを受信する放送受信部と、放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、字幕情報選択抽出部は、字幕情報から選択的に抽出した表示情報を表示情報処理部に送出し、字幕情報から選択的に抽出した非表示情報を非表示情報処理部に送出し、表示情報と非表示情報は、字幕情報を構成する符号列である字幕情報符号の一部に含まれるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ち、表示情報を用いて字幕を表示しながらも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

さらに、本発明の字幕情報処理装置において、字幕情報符号に含まれる、非表示情報を表す符号は、字幕情報符号の中で、所定の符号によって開始位置と終了位置が特定された部分の符号により構成され、非表示情報処理部は、前記所定の符号に基づいて、非表示情報を表す符号を識別して、非表示情報を抽出するようにしてもよい。

この構成により、本発明の字幕情報処理装置は、上述の特徴に加え、字幕情報符号に含まれる、非表示情報を表す符号を、字幕情報符号の中で、所定の符号によって開始位置と終了位置が特定された部分の符号により構成し、非表示情報処理部は、前記所定の符号に基づいて、非表示情報を表す符号を識別して、非表示情報を抽出できるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちながらも、非表示情報を特定して抽出できる。

さらに、本発明の字幕情報処理装置において、前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、前記非表示情報処理部はさらに、前記表示情報と同期して前記非表示情報に従って所与のＪａｖａプログラムを実行するようにしてもよい。

この構成により、本発明の字幕情報処理装置は、上述の特徴に加え、さらに、非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、非表示情報処理部はさらに、表示情報と同期して非表示情報に従って所与のＪａｖａプログラムを実行することができるので、簡単な構成で、字幕情報に含まれる表示情報と非表示情報との同期関係を容易に保ち、表示情報を用いて字幕を表示しながらも、しかも、ＣＰＵなどの、視聴者のデジタル放送受信機のプラットフォームに可能な限り非依存の方式で、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

さらに、本発明の字幕情報処理装置において、前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した非表示情報とともに、前記非表示情報に関連する、前記表示情報の一部または全てを前記非表示情報処理部に送出し、前記非表示情報処理部は、さらに、前記非表示情報に関連する前記表示情報の一部または全てを処理して、付加サービスを提供するための処理を行うようにしてもよい。

この構成により、本発明の字幕情報処理装置は、上述の特徴に加えて、字幕情報選択抽出部が、字幕情報から選択的に抽出した非表示情報とともに、非表示情報に関連する、表示情報の一部または全てを非表示情報処理部に送出し、非表示情報処理部は、さらに、非表示情報に関連する表示情報の一部または全てを処理して、付加サービスを提供するための処理を行うので、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報のみならず、必要に応じて非表示情報に関連する表示情報の一部または全てを用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

さらに、本発明の字幕情報処理装置において、前記字幕情報符号に含まれる、前記表示情報を表す符号であるが、前記非表示情報に関連する符号は、前記字幕情報符号の中で、第２の所定の符号によって開始位置と終了位置が特定された部分の符号によって構成され、前記非表示情報処理部は、前記第２の所定の符号に基づいて、前記表示情報を表す符号であるが、前記非表示情報に関連する符号を識別して、前記非表示情報に関連する前記表示情報を抽出するようにしてもよい。

この構成により、本発明の字幕情報処理装置は、字幕情報符号に含まれる、表示情報を表す符号であるが、非表示情報に関連する符号は、字幕情報符号の中で、第２の所定の符号によって開始位置と終了位置が特定された部分の符号によって構成され、非表示情報処理部は、第２の所定の符号に基づいて、表示情報を表す符号であるが、非表示情報に関連する符号を識別して、非表示情報に関連する表示情報を抽出できるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちながらも、非表示情報に関連する表示情報を特定して抽出できる。

さらに、本発明の字幕情報処理装置において、前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、前記非表示情報処理部はさらに、前記表示情報を表す符号であるが、処理対象とする表示情報を識別して、前記非表示情報が処理対象とする表示情報に従って所与のＪａｖａプログラムを実行するようにしてもよい。

この構成により、本発明の字幕情報処理装置は、上述の特徴に加え、非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、非表示情報処理部はさらに、表示情報を表す符号であるが、処理対象とする表示情報を識別して、非表示情報が処理対象とする表示情報に従って所与のＪａｖａプログラムを実行することができるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ち、表示情報を用いて字幕を表示しながらも、しかも、ＣＰＵなどの、視聴者のデジタル放送受信機のプラットフォームに可能な限り非依存の方式で、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

本発明の第２の態様によると、放送波を介して非表示情報を含む字幕放送データを放送する放送局と、前記字幕放送データを受信して字幕情報を処理する字幕情報処理装置と、を含む字幕情報処理システムであって、前記放送局は、表示情報と非表示情報とからなる字幕情報を前記字幕放送データに重畳して放送し、前記字幕情報処理装置は、前記放送波から前記字幕情報を受信する放送受信部と、前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、前記字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した非表示情報を前記非表示情報処理部に送出し、前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれることを特徴とする、字幕情報処理システムを提供する。

この構成により、本発明の字幕情報処理システムは、放送波を介して非表示情報を含む字幕放送データを放送する放送局と、字幕放送データを受信して字幕情報を処理する字幕情報処理装置と、を含む字幕情報処理システムであって、放送局は、表示情報と非表示情報とからなる字幕情報を字幕放送データに重畳して放送し、字幕情報処理装置は、放送波から字幕情報を受信する放送受信部と、放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、字幕情報選択抽出部は、字幕情報から選択的に抽出した表示情報を表示情報処理部に送出し、字幕情報から選択的に抽出した非表示情報を非表示情報処理部に送出し、表示情報と非表示情報は、字幕情報を構成する符号列である字幕情報符号の一部に含まれるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

さらに、本発明の字幕情報処理システムにおいて、前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、前記表示情報と同期して前記非表示情報に従って所与のＪａｖａプログラムを実行することを特徴とするようにしてもよい。所与のＪａｖａプログラムは、例えば、データ放送番組として放送局が併せて放送する、Ｊａｖａで作成されたプログラムであってもよい。

この構成により、本発明の字幕情報処理システムは、非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、表示情報と同期して非表示情報に従って所与のＪａｖａプログラムを実行することができるので、簡単な構成で、字幕情報に含まれる表示情報と非表示情報との同期関係を容易に保ち、表示情報を用いて字幕を表示しながらも、しかも、ＣＰＵなどの、視聴者のデジタル放送受信機のプラットフォームに可能な限り非依存の方式で、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

本発明の第３の態様によると、字幕情報処理を実行させるための字幕情報処理プログラムであって、放送波を介して非表示情報を含む字幕放送データを受信する放送受信部と、前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、前記字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した非表示情報を前記非表示情報処理部に送出するコンピュータをデジタル放送受信機として機能させ、前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれることにより、デジタル放送受信システムとしてコンピュータを機能させることを特徴とする、字幕情報処理プログラムを提供する。

この構成により、本発明の字幕情報処理プログラムは、字幕情報処理を実行させるための字幕情報処理プログラムであって、放送波を介して非表示情報を含む字幕放送データを受信する放送受信部と、前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、前記字幕情報抽出部が抽出した字幕情報から表示情報と非表示情報を選択的に抽出する字幕情報選択抽出部と、表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した非表示情報を前記非表示情報処理部に送出するコンピュータをデジタル放送受信機として機能させ、前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれることにより、デジタル放送受信システムとしてコンピュータを機能させるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

従来、字幕放送で用いられる字幕データは字幕の表示に関するデータのみを扱うことができ、字幕によって与えられる文字列に対する付加的な意味情報等の表示に関係のないデータを扱うことができなかった。以上説明したとおり、本発明によれば、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。さらに、ＣＰＵなどの、視聴者のデジタル放送受信機のプラットフォームに可能な限り非依存の方式で、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することも可能である。

本発明の第１の実施の形態の非表示情報を含む字幕放送用の字幕情報処理システムを構成する放送局側の字幕放送用放送装置における、字幕放送データを生成する主要部の概略構成図である。 本発明の第１の実施の形態の字幕情報処理システムにおいて用いられる字幕データのデータ構造の一例を示す図である。 本発明の第１の実施の形態の字幕情報処理システムを構成する視聴者側のデジタル放送受信機における、字幕放送データを処理する主要部である字幕情報処理装置の概略構成図である 図３の字幕情報処理装置が実行する動作を説明するフローチャートである。 本発明の第２の実施の形態の字幕情報処理システムにおいて用いられる字幕データのデータ構造の一例を示す図である。 本発明の第３の実施の形態の字幕情報処理システムを構成する字幕情報処理装置のアプリケーション処理部２５の構成図。

以下、図面に基づいて本発明に係る実施の形態を説明する。
［第１の実施の形態］

図１は、第１の実施の形態の字幕情報処理システムを構成する放送局側の字幕放送用放送装置における、字幕放送データを生成する主要部の概略構成図である。

図１に示すように、放送装置１０の字幕放送データを生成する主要部は、放送データを入力する放送データ入力部１１と、字幕データを入力する字幕データ入力部１２と、放送データ入力部１１に入力された放送データと字幕データ入力部１２に入力された字幕データを多重化する多重化部１４と、多重化部１４によって字幕データを付加された文字放送データに変調などの処理を行った後、例えば、アンテナ（図示していない）を用いて放送波として放送する送信部１５と、を備える。

放送データ入力部１１に入力する放送データは、映像データ、音声データなどを含んでもよい。本実施の形態では、字幕データ入力部１２に入力される字幕データは、従来の字幕放送で用いられる、字幕として表示する文字列を表す文字列符号と、座標、色、背景色など、表示する文字列の表示制御を行うための制御符号とからなる字幕情報の他に、字幕放送に付随する様々な付加的なサービスまたは情報を提供するための情報を含むようになっている。

本実施の形態において、字幕データ入力部１２に入力される字幕データのデータ構造の一例を図２に示す。

図２に示すように、字幕情報を構成する字幕データは、文字列の座標と色を指定する、字幕として表示する文字列の表示制御を行うための制御情報１０１と、字幕として表示する文字列を表す文字情報１０２とからなる表示情報１０３と、非表示情報の開始を示す非表示情報開始符号［Ａ」１０４、非表示付加情報１０５、非表示情報の終了を示す非表示情報終了符号［／Ａ」１０６とからなる非表示情報１１０を含む。ここで、非表示情報開始符号［Ａ」１０４と、非表示付加情報１０５と、非表示情報終了符号［／Ａ」１０６を含む非表示情報１１０は表示の対象として解釈されず、後述する選択抽出部２３によって表示情報処理部２４に送出されることはない。

図２の例では、非表示情報開始符号［Ａ」１０４および非表示情報終了符号［／Ａ」１０６により、「五十音あ行」という非表示付加情報１０５が埋め込まれている。

図３は、本実施の形態の字幕情報処理システムを構成する視聴者側のデジタル放送受信機における、字幕放送データを処理する主要部である字幕情報処理装置の概略構成図である。

図３に示すように、字幕情報処理装置２０は、放送局から放送された放送波を、例えば、アンテナ（図示していない）を用いて受信して変調などの処理を行う受信部２１と、受信部２１によって受信されて復調された放送データを多重分離して字幕情報を有する字幕データを抽出する多重分離部２２と、多重分離部２２によって、抽出された字幕データから、表示情報と非表示情報を選択的に抽出する選択抽出部２３と、ディスプレイ２６と接続し、選択抽出部２３によって抽出された表示情報に基づいて、ディスプレイ２６に字幕を表示するための処理を行う表示情報処理部２４と選択抽出部２３によって抽出された非表示情報に基づいて付加サービスまたは付加情報を提供するための処理を行うアプリケーション処理部２５と、を含む。表示情報処理部２４は、例えば、字幕デコーダを含み、字幕データの表示情報をデコードして、後段のディスプレイ２６で表示可能となるように処理してもよい。なお、説明を容易にするため、受信部２１、多重分離部２２についても説明したが、本発明によると、受信部２１、多重分離部２２は字幕情報処理装置２０に必須ではなく、選択抽出部２３と、表示情報処理部２４、アプリケーション処理部２５があればよく、選択抽出部２３が入力する文字データは、受信部２１、多重分離部２２以外の如何なる方法によって取得してもよい。

図４は、このように構成された字幕情報処理装置２０が実行する動作を説明するフローチャートである。図４を参照して、字幕情報処理装置２０の動作について説明する。以下の処理は、字幕情報処理装置２０に含まれる、図示されていない、ＣＰＵの制御によって実行される。

まず、字幕情報処理装置２０の受信部２１は、例えば、アンテナを用いて放送データを受信して、変調などの処理を行う。多重分離部２２は、受信部２１が処理した放送データを多重分離して、字幕データを抽出する（ステップＳ１０１）。

次に、選択抽出部２３は、多重分離部２２によって抽出された字幕データを処理して、表示情報と非表示情報とを選択的に抽出し、表示情報を表示情報処理部２４に、非表示情報をアプリケーション処理部２５に送出する。

より詳細には、選択抽出部２３は、まず、多重分離部２２から入力した字幕データを表示情報として表示情報処理部２４に送出する（ステップＳ１０２）。選択抽出部２３は、常時、非表示情報開始符号［Ａ」１０４が検出されたか否か判定し（Ｓ１０３）、非表示情報開始符号［Ａ」１０４が検出されたと判定されるまで、入力した字幕データを表示情報として表示情報処理部２４に送出する。

選択抽出部２３が、非表示情報開始符号［Ａ」１０４が検出されたと判定すると、以後、多重分離部２２から入力される字幕データを非表示情報としてアプリケーション処理部２５に送出する（Ｓ１０４）。選択抽出部２３は、常時、非表示情報終了符号［／Ａ」１０６が検出されたか否か判定し（Ｓ１０３）、非表示情報終了符号［／Ａ」１０６が検出されたと判定されるまで、入力した字幕データを非表示情報としてアプリケーション処理部２５に送出する。

選択抽出部２３が、非表示情報終了符号［／Ａ」１０６が検出されたと判定すると、ステップＳ１０１に戻り、再び、多重分離部２２から入力される字幕データを表示情報として表示情報処理部２４に送出する（Ｓ１０１）。

このように本実施の形態の字幕情報処理装置２０は、字幕データを含む放送データを受信部２１が受信すると、多重分離部２２によって字幕データが抽出され、選択抽出部２３によって、字幕データに含まれる表示情報が、表示情報処理部２４に引き渡され、非表示情報が、アプリケーション処理部２５に引き渡される。アプリケーション処理部２５は、非表示情報処理部を構成する。

本例では、アプリケーション処理部２５は、こうして選択抽出部２３から「五十音あ行」という非表示情報を受け取る。表示情報処理部２４は、表示情報を復号して、例えば、受信機が解読する字幕伝送プロトコルによって与えられる表示時刻がきたら、復号した表示情報をディスプレイ２６に出力して、字幕を表示させるようにしてもよい。アプリケーション処理部２５は、このタイミングで、例えば、所定のプログラムを実行して、「五十音あ行」という非表示情報に基づいて、字幕の内容が「五十音あ行」であるということを、例えば、映像または音声など、様々な手法で視聴者に認識させる、付加サービスまたは情報を、映像または音声など、様々な手法で提供するようにしてもよい。非表示情報は、プログラムを含んでもよいし、また、所与のプログラムを起動する情報を含んでもよい。

このように、本発明の字幕情報処理装置２０は、放送波を介して情報を受信する受信部２１と、受信部２１が受信した放送波から字幕データを抽出する多重分離部２２と、多重分離部２２が抽出した字幕データから表示情報と非表示情報を選択的に抽出する選択抽出部２３と、選択抽出部２３によって抽出された表示情報を処理して、字幕として表示する表示情報処理部２４と、選択抽出部２３によって抽出された非表示情報に基づいて付加サービスを提供するための処理を行うアプリケーション処理部２５と、を備え、表示情報と非表示情報は、字幕データを構成する符号列である字幕情報符号の一部に含まれるので、簡単な構成で、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報を用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

上述の実施の形態では、選択抽出部２３は、多重分離部２２が抽出した字幕データから表示情報と非表示情報を選択的に抽出し、表示情報を表示情報処理部２４に非表示情報をアプリケーション処理部２５に送出し、アプリケーション処理部２５は、非表示情報を処理するものとして説明したが、本発明はこれに限定されない。視聴者の希望するサービスまたは情報を提供するために、例えば、アプリケーション処理部２５が、非表示情報の他に、関連する表示情報を必要とすることも想定される。本発明はそのような場合にも適用可能である。次の実施の形態で、選択抽出部２３が、非表示情報のみならず、必要に応じて非表示情報に関連する表示情報の一部または全てをアプリケーション処理部２５に送出する場合について説明する。

［第２の実施の形態］
第２の実施の形態の字幕情報処理システムは、放送局側の放送装置から放送される字幕データのデータ構造と、選択抽出部２３が、非表示情報のみならず、必要に応じて非表示情報に関連する表示情報の一部または全てをアプリケーション処理部２５に送出する点を除くと第１の実施の形態の字幕情報処理システムとほぼ同様である。前述の実施の形態と略同様の構成には同様の参照番号を付して、詳細な説明を省略する。

本実施の形態において、放送装置１０の字幕データ入力部１２に入力される字幕データのデータ構造の一例を図５に示す。

図５に示すように、字幕情報を構成する字幕データは、表示する文字列の座標と色を指定して表示する文字列の表示制御を行うための制御情報１０１と、表示する文字列を表す文字情報１０２とからなる表示情報と、非表示情報の開始を示す非表示情報開始符号［Ａ」１０４、非表示付加情報１０５、非表示情報の終了を示す非表示情報終了符号［／Ａ」１０６からなる非表示情報の他に、非表示情報と関連する表示情報の開始を示す関連表示情報開始符号［Ｂ」１０７、非表示情報と関連する表示情報の終了を示す関連表示情報終了符号［／Ｂ」１０８も非表示情報として含む。非表示情報開始符号［Ａ」１０４と、非表示付加情報１０５と、非表示情報終了符号［／Ａ」１０６とともに、関連表示情報開始符号［Ｂ」１０７と関連表示情報終了符号［／Ｂ」１０８を含む非表示情報は表示の対象として解釈されず、表示情報処理部２４で処理されることはない。

図５の例では、非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］とにより、「話者１」という非表示付加情報１０５が埋め込まれている。さらに、関連表示情報開始符号［Ｂ］および関連表示情報終了符号［／Ｂ］によって非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］とにより指定される「話者１」という非表示付加情報１０５が表示される字幕データのどの部分に対しての情報であるかが指定されている。本例では、関連表示情報開始符号［Ｂ］と関連表示情報終了符号［／Ｂ］によって表示情報の中の対象領域が指定され、それに続いて非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］によって非表示情報が指定されていることによってその関係が明確になっている。

表示情報処理部２４に含まれる字幕デコーダは、字幕デコーダは、関連表示情報開始符号［Ｂ］、関連表示情報終了符号［／Ｂ］、非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］そのもの、および非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］で指定されている非表示付加情報１０５は表示の対象として解釈せず、ディスプレイ２６に表示されることはない。一方、非表示情報が渡されたアプリケーション処理部２５は所定のプログラムを実行して、非表示情報開始符号［Ａ］と非表示情報終了符号［／Ａ］で指定されている「話者１」という非表示付加情報１０５を処理して、「お腹が空いた私はもっと食べたい」という表示情報の中から、関連表示情報開始符号［Ｂ］と関連表示情報終了符号［／Ｂ］によって、指定されている「私はもっと食べたい」という表示情報に関連する情報であることを認識させる、付加サービスまたは付加情報を提供するようにしてもよい。

このように、本実施の形態の字幕情報処理装置は、第１の実施の形態の字幕情報装置の特徴に加え、放送局側の放送装置から放送される字幕データが、字幕情報符号に含まれる、表示情報を表す符号であるが、非表示情報に関連する符号は、字幕情報符号の中で、第２の所定の符号によって開始位置と終了位置が特定された部分の符号によって構成されており、字幕情報処理装置２０の選択抽出部２３が、この第２の所定の符号を参照して、非表示情報のみならず、必要に応じて非表示情報に関連する表示情報の一部または全てをアプリケーション処理部２５に送出するので、表示情報と非表示情報との同期関係を容易に保ちつつ、表示情報を用いて字幕を表示しながらも、非表示情報のみならず、必要に応じて非表示情報に関連する表示情報の一部または全てを用いて視聴者の要求に応えるサービスまたは情報を提供することができる。

本発明によると、非表示情報は、非表示データを利用して様々な処理を行う情報またはプログラムのひとつとして、Ｊａｖａプログラムを含んでもよいし、また、所与のＪａｖａプログラムを起動するようにしてもよい。次の実施の形態で、非表示情報が、Ｊａｖａプログラムを含む、あるいは、所与のＪａｖａプログラムを起動する情報を含む場合について説明する。
［第３の実施の形態］

第３の実施の形態の字幕情報処理システムは、放送局側と視聴者側のデジタル放送受信機の間でＪａｖａ技術を用いた字幕放送データを送受信し、アプリケーション処理部がＪａｖａ仮想マシンによってアプリケーションプログラムを実行する点を除くと第１の実施の形態の字幕情報処理システムまたは第２の実施の形態の字幕情報処理システムとほぼ同様である。前述の実施の形態と略同様の構成には同様の参照番号を付して、詳細な説明を省略する。

本実施の形態では、アプリケーション処理部２５が実行するＪａｖａプログラムは、Ｊａｖａ仮想マシンによって、視聴者が操作するデジタル放送受信機のプラットフォームに対して非依存で実行される。図６に、字幕情報処理装置のアプリケーション処理部２５のソフトウェア構成の一例を示す。

図６に示すように、アプリケーション処理部は、ＪａｖａデータアプリケーションＡ１と、ＪａｖａクラスライブラリＡ２と、Ｊａｖａ仮想マシンＡ３と、ネイティブコードＡ４と、ドライバＡ５と、ＯＳＡ６と、ハードウェアＡ７とから構成されている。これに限定されないが、ＪａｖａデータアプリケーションＡ１として、例えば、Ｘｌｅｔアプリケーションを用いてもよい。

ＪａｖａクラスライブラリＡ２は、アプリケーションの管理に関するプログラムを集めたアプリケーション管理部と、トランスポートストリーム（以後、「ＴＳ」と呼ぶ）の取得、転送制御に関するプログラムを集めたＴＳ取得、転送制御部、画像音声の再生制御に関するプログラムを集めたＡＶ（Ａｕｄｉｏ Ｖｉｓｕａｌ）再生制御部、またはＪＭＦ（Ｊａｖａ Ｍｅｄｉａ Ｆｒａｍｅｗｏｒｋ）部、ＩＳＯ／ＩＥＣ １３８１８−６デジタルインタラクティブサービスにおけるファイルやストリームに対するアクセスの制御に関するプログラムを集めたＤＳＭ−ＣＣ（Ｄｉｇｉｔａｌ Ｓｔｏｒａｇｅ Ｍｅｄｉａ−Ｃｏｍｍａｎｄ ａｎｄ Ｃｏｎｔｒｏｌ）制御部、その他のＭＨＰ（Ｍｕｌｔｉｍｅｄｉａ Ｈｏｍｅ Ｐｌａｔｆｏｒｍ）に関連するプログラムを集めたＭＨＰライブラリ、拡張ライブラリ、例えば、ＰＢＰ（Ｐｅｒｓｏｎａｌ Ｂａｓｉｓ Ｐｒｏｆｉｌｅ）０．１などに関するプログラムを集めたＪａｖａライブラリを含む。

ネイティブコードＡ４は、ＤＴＶ（Ｄｉｇｉｔａｌ Ｔｅｌｅｖｉｓｉｏｎ）ミドルウェア、システム管理部、システム共通ライブラリ、Ｉ／Ｏ（入出力）制御部、グラフィックス制御部を含む。ハードウェアＡ７が動作するＯＳＡ６として、例えば、Ｌｉｎｕｘを用いてもよい。ＪａｖａクラスライブラリＡ２とネイティブコードＡ４との間は、Ｊａｖａ Ｎａｉｔｉｖｅ Ｉｎｔｅｒｆａｃｅ（ＪＮＩ）で連結している。ＪＮＩは、Ｊａｖａのプログラムから他の言語（例えば、Ｃ言語やＣ＋＋言語など）で開発されたネイティブコードのプログラムを利用するためのＪａｖａ ＡＰＩ、すなわち、Ｊａｖａ言語で開発されたプログラムから、他の言語で開発されたネイティブコードのプログラム（特定のプラットフォームでそのまま実行可能なプログラム）を利用するためのＡＰＩである。このネイティブコードＡ４が受信機のごとに異なる動作環境を吸収してＪａｖａ仮想マシンを動作させる。したがって、Ｊａｖａ字幕放送データを用いた簡単な構成で、視聴者のデジタル放送受信機のプラットフォームに非依存の方式で、様々なサービスを提供することできる。

以上、様々な実施の形態の字幕情報処理装置および字幕情報処理システムについて説明した。本発明の字幕情報処理装置は、ＣＰＵとメモリを含む、一般的なコンピュータを上述した各手段として機能させる字幕情報処理プログラムによって動作させることができる。字幕情報処理装置プログラムは、通信回線を介して配布することも可能であるし、ＣＤ−ＲＯＭ等の記録媒体に書き込んで配布することも可能である。

１０ 放送装置
１１ 放送データ入力部
１２ 字幕データ入力部
１４ 多重化部
２０ 字幕情報処理装置
２１ 受信部（放送受信部）
２２ 多重分離部（字幕情報抽出部）
２３ 選択抽出部（字幕情報選択抽出部）
２４ 表示処理部（表示情報処理部）
２５ アプリケーション処理部（非表示情報処理部）
２６ ディスプレイ
１０１ 制御情報
１０２ 文字情報
１０３ 表示情報
１０４ 非表示情報開始符号（所定の符号、開始符号）
１０５ 非表示付加情報
１０６ 非表示情報終了符号（所定の符号、終了符号）
１０７ 関連表示情報開始部（第２の所定の符号）
１０８ 関連表示情報終了部（第２の所定の符号）
１１０ 非表示情報

Claims (9)

1. 放送波を介して、字幕を表示するための表示情報と、サービスまたは情報を提供するために必要な情報である非表示情報とを含む字幕放送データを受信する放送受信部と、
   前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、
   前記字幕情報抽出部が抽出した字幕情報から前記表示情報と前記非表示情報を選択的に抽出する字幕情報選択抽出部と、
   前記表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、
   前記非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、
   前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した前記表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した前記非表示情報を前記非表示情報処理部に送出し、
   前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれ、
   前記非表示情報処理部は、前記表示情報処理部が前記表示情報に基づいて字幕を表示するための処理を行うタイミングで、前記表示情報とともに埋め込まれている前記非表示情報に基づいて付加サービスを提供するための処理を行う、
   ことを特徴とする、字幕情報処理装置。
2. 前記字幕情報符号に含まれる、前記非表示情報を表す符号は、前記字幕情報符号の中で、所定の符号によって開始位置と終了位置が特定された部分の符号により構成され、
   前記非表示情報処理部は、前記所定の符号に基づいて、前記非表示情報を表す符号を識別して、前記非表示情報を抽出することを特徴とする、請求項１記載の字幕情報処理装置。
3. 前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、
   前記非表示情報処理部はさらに、前記表示情報と同期して前記非表示情報に従って所与のＪａｖａプログラムを実行することを特徴とする、請求項１記載の字幕情報処理装置。
4. 前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した非表示情報とともに、前記非表示情報に関連する、前記表示情報の一部または全てを前記非表示情報処理部に送出し、
   前記非表示情報処理部は、さらに、前記非表示情報に関連する前記表示情報の一部または全てを処理して、付加サービスを提供するための処理を行う、請求項１記載の字幕情報処理装置。
5. 前記字幕情報符号に含まれる、前記表示情報を表す符号であるが、前記非表示情報に関連する符号は、前記字幕情報符号の中で、第２の所定の符号によって開始位置と終了位置が特定された部分の符号によって構成され、
   前記非表示情報処理部は、前記第２の所定の符号に基づいて、前記表示情報を表す符号であるが、前記非表示情報に関連する符号を識別して、前記非表示情報に関連する前記表示情報を抽出することを特徴とする、請求項４記載の字幕情報処理装置。
6. 前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、
   前記非表示情報処理部はさらに、前記表示情報を表す符号であるが、処理対象とする表示情報を識別して、前記非表示情報が処理対象とする表示情報に従って所与のＪａｖａプログラムを実行することを特徴とする、請求項５記載の字幕情報処理装置。
7. 放送波を介して、字幕を表示するための表示情報と、サービスまたは情報を提供するために必要な情報である非表示情報とを含む字幕放送データを放送する放送局と、前記字幕放送データを受信して字幕情報を処理する字幕情報処理装置と、を含む字幕情報処理システムであって、
   前記放送局は、前記表示情報と前記非表示情報とからなる字幕情報を前記字幕放送データに重畳して放送し、
   前記字幕情報処理装置は、
   前記放送波から前記字幕情報を受信する放送受信部と、
   前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、
   前記字幕情報抽出部が抽出した字幕情報から前記表示情報と前記非表示情報を選択的に抽出する字幕情報選択抽出部と、
   前記表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、
   前記非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備え、
   前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した前記表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した前記非表示情報を前記非表示情報処理部に送出し、
   前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれ、
   前記非表示情報処理部は、前記表示情報処理部が前記表示情報に基づいて字幕を表示するための処理を行うタイミングで、前記表示情報とともに埋め込まれている前記非表示情報に基づいて付加サービスを提供するための処理を行う、
   ことを特徴とする、字幕放送システム。
8. 前記非表示情報処理部は、Ｊａｖａ ＡＰＩ（Ｊａｖａアプリケーション・プログラミング・インタフェース）とＪａｖａ仮想マシンを有し、
   前記表示情報と同期して前記非表示情報に従って所与のＪａｖａプログラムを実行することを特徴とする、請求項７記載の字幕情報処理システム
9. 字幕情報処理を実行させるための字幕情報処理プログラムであって、
   放送波を介して、字幕を表示するための表示情報と、サービスまたは情報を提供するために必要な情報である非表示情報とを含む字幕放送データを受信する放送受信部と、
   前記放送受信部が受信した放送波から字幕情報を抽出する字幕情報抽出部と、
   前記字幕情報抽出部が抽出した字幕情報から前記表示情報と前記非表示情報を選択的に抽出する字幕情報選択抽出部と、
   前記表示情報に基づいて字幕を表示するための処理を行う表示情報処理部と、
   前記非表示情報に基づいて付加サービスを提供するための処理を行う非表示情報処理部と、を備えるコンピュータを、
   前記字幕情報選択抽出部は、前記字幕情報から選択的に抽出した前記表示情報を前記表示情報処理部に送出し、前記字幕情報から選択的に抽出した前記非表示情報を前記非表示情報処理部に送出し、
   前記表示情報と前記非表示情報は、前記字幕情報を構成する符号列である字幕情報符号の一部に含まれ、
   前記非表示情報処理部は、前記表示情報処理部が前記表示情報に基づいて字幕を表示するための処理を行うタイミングで、前記表示情報とともに埋め込まれている前記非表示情報に基づいて付加サービスを提供するための処理を行う、ように機能させることを特徴とする、字幕情報処理プログラム。

Images