JP5201692B2 - クローズド・キャプションをつけるシステムおよび方法 - Google Patents

Description

本発明は、マルチメディア番組に関連する補助情報を記憶および表示する装置および方法に関し、特に、キャプション（字幕）情報（例えばクローズド・キャプション（ＣＣ：Ｃｌｏｓｅｄ Ｃａｐｔｉｏｎ）を記録し、ユーザの好みに応じてカスタマイズされた方法で当該キャプションを表示する装置および方法に関する。

視聴覚表示装置での使用のために伝送される番組（例えばテレビジョン番組）は、一般に、「クローズド・キャプション」と呼ばれるテキスト情報が伝送信号に埋め込まれている。クローズド・キャプションは、番組の映像部分と一緒に表示して、音声部分を利用できない、または利用したくない人を補助することができる。例えば、クローズド・キャプションとしては、聴覚に障害のある視聴者、騒々しい環境にいる視聴者、および語学学習中の視聴者が使用する、テレビジョン番組の音声部分の字幕などがある。

キャプション情報の表示は、放送会社や番組制作者など視聴者以外の当事者によって主に制御される。例えば、ほとんどの番組のクローズド・キャプションは、表示画面の２行または３行を用いて表示され、所定の大きさで所定の時間だけ画面上に現れ、一度画面から消えてしまうと容易には再表示できない。

表示パラメータは予め決められていることが多いので、クローズド・キャプションはいわゆる「フリーサイズ」であることが多く、従って、視聴者によっては不満足なものとなることもある。例えば、読む速度の遅い視聴者なら、キャプションがもっとゆっくり切り替われば良いのにと思うかもしれない。あるいは、気が散りやすい環境、またはいわゆる「マルチタスク」環境にいる視聴者なら、キャプションがもっと長い間画面に表示されていれば、ちらちらと注意を向けるだけで内容を把握することができるのにと思うかもしれない。さらに、視力の弱い視聴者なら、キャプション（字幕）がもっと大きなテキスト・サイズで表示されれば良いのにと思うかもしれない。

さらに、クローズド・キャプションの「フリーサイズ」方式は、個々の番組または番組の部分にとっても不満足なものであることが多い。例えば、登場人物の会話は勢いよく交わされることが多く、キャプション情報がそれと同じように勢いよく表示されると、その会話を理解するのに苦労することになる恐れがある。さらに、科学番組や教育番組のユーザは、複雑または重要な部分のキャプションを理解するために番組の特定の部分をゆっくり表示したいと思うかもしれない。

従って、個々のユーザの希望に応じてキャプション情報の提示をカスタマイズするシステムおよび方法が必要とされている。この所望のシステムおよび方法は、サイズや提示速度などの表示パラメータをユーザ自身が決定できるようにするものであり、番組の特定の部分でキャプション・テキストをカスタマイズできるようにするものである。

本発明は、マルチメディア番組に関連する補助情報を表示する装置および方法に関する。具体的には、本発明の方法は、番組信号を受信し、該番組信号に関連する補助情報（例えばキャプション・テキスト）を取得し、時間情報を該補助情報と関連付け、該補助情報を番組コンテンツと関連付けられたファイルに記憶し、該補助情報ファイルおよび番組コンテンツを使用して該補助情報のカスタマイズを行う候補となる番組の部分を決定し、カスタマイズした補助情報を番組コンテンツとともに表示することに関する。ユーザは、テキストの行数、テキスト・サイズ、画面表示時間など、補助情報の表示に関する１つまたは複数の好みを入力することができる。

一実施例では、補助情報のカスタマイズ表示は、キャプション・テキストの表示開始時点を早め、終了時点を遅らせることによるキャプション・テキストの「時間拡張（ｔｉｍｅ ｓｐｒｅａｄｉｎｇ）」を行うなど、補助情報と番組の間の表示時間関係を調節することを含むこともできる。別の実施例では、補助情報のカスタマイズ表示は、キャプション・テキストが現れる画面上の表示領域の大きさを統計的または動的に変化させる、キャプション・テキストのサイズまたはフォントを変化させる、一度に表示されるキャプション・テキストの行数を変化させる、テキストが画面上に残る時間の長さを変化させるなど、キャプション・データの「領域変化（ａｒｅａ ｖａｒｉａｔｉｏｎ）」を行うことを含むこともできる。別の実施例では、補助情報のカスタマイズ表示は、ユーザの好みまたは再生中のユーザとの対話に応じて番組の一部についてキャプション・テキストおよび番組コンテンツが表示される速度をわずかに下げる、または上げるなど、「再生再同期（ｐｌａｙｂａｃｋ ｒｅｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ）」を行うことを含むこともできる。

別の実施例では、本発明の装置は、マルチメディア番組に関連するカスタマイズされた補助情報を表示するシステムに関する。具体的には、このシステムは、番組信号のソースに接続された受信機と、番組信号を受信し、番組に関連付けられたログ・ファイルに補助情報を記憶するように接続された記憶装置と、補助情報（例えばキャプション・テキスト）のカスタマイズ提示のための命令を実施するように構成されたプロセッサと、ユーザの好みまたは選択を入力するためのユーザ入力装置と、ユーザの好みに応じてカスタマイズされた補助情報および番組コンテンツを表示する表示装置とを含む。様々な実施例で、このシステムは、様々な放送およびコンテンツ配信機構とともに使用されるインタフェースと、揮発性および不揮発性記憶装置と、１つまたは複数の入出力バスと、圧縮および／または符号化されたコンテンツのためのエンコーダおよびデコーダと、音声／映像提示装置の制御装置と、ソフトウェア命令および／またはファームウェア命令を実施する追加のプロセッサとを含む。これらのソフトウェア命令および／またはファームウェア命令は、カスタマイズされた補助情報を、プロセッサ命令および／またはユーザの好みに応じて、様々な言語、フォーマットおよびスタイルで表示するための命令を含むことができる。

本発明の一実施例による、カスタマイズされた補助情報を処理および表示する例示的な方法を示す簡略流れ図である。 本発明の一実施例による、補助情報の「時間拡張」を行う例示的な方法を示す簡略流れ図である。 本発明の一実施例による、補助情報の「領域変化」を行う例示的な方法を示す簡略流れ図である。 本発明の一実施例による、「再生再同期」を行う例示的な方法を示す簡略流れ図である。 本発明の別の実施例による、補助情報のカスタマイズ表示を行う例示的なテレビジョン受信システムを示す簡略ブロック図である。

以下の説明では、例えば補助情報を記憶するためには、それ以前に当該補助情報を取得していなければならないなど、論理的観点から前のステップの結果が必要となるものを除けば、記載する方法の各ステップを実行するのに特定の順序は必要ない。その他については、以下に挙げる各ステップは例示的な順序で挙げたものであり、その順序は変更することができる。例えば、補助情報を記憶するステップや番組コンテンツを記憶するステップなどは、並べ替えてもよいし、または同時に実行してもよい。

以下はテレビジョン番組に関連した説明であるが、本発明はテレビジョン番組に限定されるわけではなく、マルチメディア・サーバまたはその他の記憶システムに記憶された、または記憶される予定になっている様々なマルチメディア・コンテンツに適用することができることを理解されたい。同様に、本発明のシステムおよび方法について、放送コンテンツ（例えばケーブル、衛星、無線（ＯＴＡ）などのテレビジョン放送）との関連で説明しているが、本発明は放送コンテンツに限定されるわけではなく、外部または内部の媒体または装置に記憶されたコンテンツ、外部ソースからアップロード、ダウンロードまたはコピーされたコンテンツ、内部で作成されたコンテンツ、およびその他の記憶することが可能なほぼすべてのコンテンツとともに使用することができることを理解されたい。

本発明の特定の特徴および利点を説明するために、図１を参照して、本発明の特徴による例示的な方法について説明する。図１は、全体を１００で示す、カスタマイズされた補助情報を処理および表示する方法を示す流れ図である。方法１００は、取得ステップ１０４と、関連付けステップ１０６と、記憶ステップ１０８と、決定ステップ１１０と、表示ステップ１１２とを含む。

方法１００は、ステップ１０２で開始され、取得ステップ１０４に進む。このステップで、番組信号を介して伝送されるテレビジョン番組に関連するクローズド・キャプション・テキストなどの補助情報が埋め込まれた番組信号を受信する。補助情報は、米国のＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）標準やヨーロッパのＰＡＬ（Ｐｈａｓｅ Ａｌｔｅｒｎａｔｉｎｇ Ｌｉｎｅ）標準など標準的なテレビジョン信号用の復調器と連動して動作するデコーダ装置を用いて、番組信号から取得することができる。

例えば、クローズド・キャプションの形態の補助情報は、一般に、テレビジョン信号の垂直帰線消去区間（ＶＢＩ）のライン２１データ領域に含まれる。ＶＢＩは、テレビジョン信号の「フレーム間」の部分、すなわち前のフレームの後であり且つ次のフレームの前の信号部分である。ＶＢＩはいくつかの情報「ライン」から構成され、米国では、２１番目のラインが、映像フレームあたり２文字の情報を含むことができる。各映像フレームは、２つの「フィールド」を含み、それぞれのフィールドに、文字、位置情報、改行命令などのキャプション情報を記憶することができる。

デコーダ装置を利用して、クローズド・キャプションの形態の補助情報を抽出することができる。デコーダ装置は、テレビジョン表示装置（例えばテレビジョン受像機）に内蔵することもできるし、またはセット・トップ・ボックス（ＳＴＢ）やパーソナル・ビデオ・レコーダ（ＰＶＲ）、ディジタル・ビデオ・レコーダ（ＤＶＲ）、ディジタル・ビデオ・ディスク（ＤＶＤ）再生装置、独立型クローズド・キャプション・デコーダ（ＣＣデコーダ）などの別個の機器に内蔵することもできる。本発明の趣旨および範囲を逸脱することなく、独立型のものも他の装置に内蔵されるものも含めてその他の様々な電子機器を使用して、番組信号から補助情報を抽出することができることを理解されたい。

抽出された補助情報は、ＡＳＣＩＩテキストなどの１文字または複数文字のテキストを含むことも、あるいは音符や強調表示、色変化などの特殊な文字、記号または機能を含むこともできる。当業者なら、本発明による補助情報には、任意の言語で話し言葉を伝えるデータや、可聴音および可聴信号を搬送するデータ、可聴事象または不可聴事象の記述、ならびに／あるいはその他の放送会社、番組制作者、ユーザなどが搬送または受信することが望ましい補助的情報など、様々なデータが含まれる可能性があることを理解するであろう。

図示の方法１００では、補助情報は、取得ステップ１０４で番組信号から抽出され、関連付けステップ１０６でタイム・スタンプまたはその他の順序付け情報と関連付けられる。番組コンテンツに正しく対応するように補助情報を表示するためには、所与の時間になるまで、または対応する映像情報が提示されるまで後続の補助情報単位を表示しないようにして、例えば表示中の番組内でサスペンス性のある要素を出すのを回避することなどが必要になることがある。これを実現するために、抽出された補助情報は、各単位ごと、または複数単位からなるグループごとに、タイミング・コード（例えばタイム・スタンプ）あるいはその他のＶＢＩ時間またはその他の番組コンテンツに対応する情報と関連付けられる。このようにして、図示の方法１００では、抽出された補助情報の各単位の元の表示時間および表示順序を番組信号から抽出する。もちろん、タイム・スタンプを使用するかどうかは任意選択であり、当業者なら、上記で例示したタイム・スタンプに加えて、またはその代わりに、その他のシーケンスおよび／または経時的情報を関連付けステップ１０６で使用することができることを理解するであろう。

再度図１を参照すると、図示の方法１００は、記憶ステップ１０８に進み、このステップでは、補助情報およびそれと関連付けられたタイム・スタンプ情報を、ログ・ファイルまたはその他の論理データ構造に、当該構造を対応する番組と関連付けるように記憶する。対応する番組コンテンツは、記憶ステップ１０８で記憶してもよいし、あるいは、予め記憶した番組コンテンツを記憶ステップ１０８の間に記憶された補助情報と関連付けてもよい。記憶ステップ１０８は、例えばハード・ディスクまたはその他の不揮発性記憶技術を用いた装置、複数のハード・ディスク、記録可能光ディスク、あるいは例えばサーバ構成で連結されたその他の記憶装置を使用して実施することができる。もちろん、不揮発性記憶が必須というわけではなく、図示の方法１００は、揮発性記憶技術（例えばランダム・アクセス・メモリ（ＲＡＭ））などを用いて、またはこの目的に適った当業者に既知のその他の記憶技術を用いて実施することもできる。本発明の特徴の１つは、ログ・ファイルまたはその他の論理データ構造が、わずかな記憶容量しか使用しないので、記憶資源が少ない状況でも妥当なコストで本発明を実施することができることである。

次いで、図示の方法は、決定ステップ１１０に進む。このステップでは、補助情報とその他の番組情報および番組コンテンツを分析して、補助情報のカスタマイズ表示のための候補部分を決定することができる。補助情報のカスタマイズ表示は、番組または番組の一部において補助情報の表示が不満足であるときに望ましいことがある。例えば、キャプション・テキストが、望ましい時間より短い時間しか表示されず、ユーザの理解を妨げることがある。別の例では、キャプション・テキストが、小さなテキスト・サイズ、読みにくいフォント、または少ない行数で表示される、あるいはそれ以外のかたちで画面の特定領域に限定されることもある。さらに別の例では、キャプション・テキストと番組内事象の進行が速すぎて、それらの事象やキャプション・テキストを満足に理解できないこともある。

上記の各例では、決定ステップ１１０は、各単位またはグループの補助情報、ならびにそれより前、それと同時、およびそれより後の番組コンテンツを分析して、補助情報の表示をユーザの好みに応じて変更することができるか、または変更する必要があるかどうかを判定することを含むことができる。例えば、判定ステップ１１０は、図２を参照して後述するように、各会話バーストの新たな開始時間および終了時間、または「時間拡張」の決定も含めて、クローズド・キャプションの表示時間を調節することを含むことができる。別の例では、判定ステップ１１０は、図３を参照して後述するように、大量の会話が行われる番組中の複数の部分において追加のキャプション・テキスト行を表示するための画面の拡張領域を決定することを含むことができる。別の例では、判定ステップ１１０は、図４を参照して後述するように、事象および会話が速すぎて理解できない番組中の複数の部分についての再生速度の変更を決定することを含むことができる。もちろん、本発明は、図２〜図４を参照して説明する実施例に限定されるわけではなく、例えば、本発明の趣旨または範囲を逸脱することなく、これらの実施例を組合せ形態または変形形態を実施することもできる。

判定ステップ１１０、ならびに取得ステップ１０４、関連付けステップ１０６および記憶ステップ１０８は、「オフライン」で、すなわち、例えば後で視聴する番組を記録（すなわち「ビデオ録画」）している間またはその後など、番組コンテンツおよび補助情報が表示されていないときに行うことができる。あるいは、判定ステップ１１０、ならびに取得ステップ１０４、関連付けステップ１０６および記憶ステップ１０８は、「オンライン」で、すなわち、番組コンテンツおよび補助情報の表示とほぼ同時に行うこともできる。例えば、番組を記録して表示するＰＶＲ型装置の表示と同様に、分析および決定を番組の放送中に行い、カスタマイズした補助情報の表示はユーザには容易にわからない程度にわずかに遅れて行うこともできる。

図示の方法１００は、次いで、表示ステップ１１２に進む。このステップでは、決定ステップ１１０で決定されたカスタマイズした補助情報も含めて、補助情報および番組コンテンツを表示する。決定ステップ１１０においてカスタマイズ候補部分として識別された部分は、カスタマイズされたかたちでの補助情報の表示を含むことができる。例えば、番組中で音楽が流れている間には、大きなサイズのテキストを表示することもできる。ユーザの好みまたは選択に基づいて、一部の候補部分および／または番組の残りのコンテンツは、補助変更を変更せずに表示することを含むこともできる。ユーザの好みまたは選択は、図示の方法１００の実施中、いつでも送信または受信することができる。あるいは、ユーザの選択がない場合には、デフォルトの好みを決定ステップ１１０で利用し、表示ステップ１１２に判定させることもできる。

表示ステップ１１２の後、図示の方法１００は、ステップ１１４で終了する。その後、将来の何れかの時点で、手作業でまたは自動的にプログラムされた事象またはユーザ入力に従って、方法１００を再開することができる。

補助情報の表示をカスタマイズする例示的な方法について、図２を参照して説明する。図２は、全体を２００で示す、補助情報の「時間拡張」を行う例示的な方法を示す簡略流れ図である。図示の方法２００は、受信／抽出ステップ２０４と、番組記憶ステップ２０６と、補助情報記憶ステップ２０８と、ユーザ選択ステップ２１０と、分析ステップ２１２と、決定ステップ２１４と、表示ステップ２１６とを含む。

図示の方法２００は、ステップ２０２で開始され、受信／抽出ステップ２０４に進む。このステップで、番組信号を介して伝送されたテレビジョン番組に関連するクローズド・キャプション・テキストなどの補助情報が埋め込まれた番組信号を受信する。補助情報は、図１およびそれに付随する取得ステップ１０４に関する説明において上述したように、番組信号から抽出される。

図示の方法２００は、次いで、番組記憶ステップ２０６および補助情報記憶ステップ２０８に進む。記憶ステップ２０６、２０８は、ほぼ同時に進行してもよいし、または任意の順序で進行してもよい。番組記憶ステップ２０６では、映像および／または音声部分を含む番組コンテンツを、番組信号から復号および／または抽出し、例えばハード・ディスクやその他の不揮発性記憶装置などの好都合な記憶媒体に記憶する。補助情報記憶ステップ２０８では、例えばクローズド・キャプション情報などを含む補助情報を番組信号から復号および／または抽出し、例えばサーバ・アレイまたはその他の不揮発性記憶装置内の同じまたは別のハード・ディスクなど、同じまたは関連する記憶媒体に記憶する。その他の点については、記憶ステップ２０６、２０８は、図１ならびにそれに付随する関連付けステップ１０６および記憶ステップ１０８に関する説明において上述したのと同じように進行する。

図示の方法２００は、選択または好みをユーザから受信するユーザ選択ステップ２１０を含む。「時間拡張」では、１単位または１グループの補助情報（例えばキャプション・テキスト）が表示される時間を延長して、例えばユーザが当該キャプション・テキストを読み、理解するための時間を増加させることができる。この例では、所与の会話バーストの開始時間Ｔ１を繰り上げる、または「リード・タイム」と呼ばれる時間Ｓだけ早い時間に変更することができる。同様に、所与の会話バーストの終了時間Ｔ２を先送りする、または「ラグ・タイム」と呼ばれる時間Ｌだけ後の時間に変更することもできる。ユーザの好みの例としては、「時間拡張」をトリガすることができる会話のしきい値量、リード・タイムＳおよびラグ・タイムＬのデフォルト値、ならびに／またはその他の「時間拡張」パラメータを決定するために使用することもできるユーザが選択する最大読取り速度が含まれる。もちろん、ユーザは、本発明により、同様にして補助情報を表示する時間を短縮することを選ぶこともできることを理解されたい。

ユーザは、補助情報の「時間拡張」カスタマイズに関するいくつかの既定のユーザ選択肢から選択することができる。あるいは、ユーザは、例えば最大リード・タイムＳまたは最大ラグ・タイムＬを入力するなど、「時間拡張」に関する特定のパラメータを入力することもできる。

ユーザは、リモート・コントローラ、キーボード、「マウス」、ゲームパッド、ジョイスティック、携帯情報端末（ＰＤＡ）、携帯電話、タブレット・コンピュータ、およびその他の当技術分野で既知のユーザ入力装置など様々な入力装置を用いて、局所的なまたは遠隔の位置から選択または好みを送信することができる。ユーザの好みまたは選択は、図示の方法２００を実施している間、いつでも送信または受信することができる。ユーザ選択が明示されない場合には、ユーザ選択ステップ２１０においてデフォルトのユーザの好みが暗黙に指定される。

図示の方法２００は、次いで分析ステップ２１２に進み、このステップでは、番組コンテンツ、補助情報およびユーザ選択を分析して、補助情報表示の「時間拡張」カスタマイズの候補となる番組の部分があれば、それがどの部分であるかを決定する。分析ステップ２１２は、補助情報を、例えば番組コンテンツの映像部分および／または音声部分のシーンまたは会話バーストに対応する個々の単位またはグループに分離することを含む。個々の単位またはグループの補助情報を分析して、受信したユーザ選択に照らして「時間拡張」が適当であるか否かを判定し、適当である場合には、補助情報を表示する開始時間および終了時間にどのような変更を加えることができるかを判定する。

例えば、各単位またはグループの補助情報ごとに、元の開始時間Ｔ１、元の終了時間Ｔ２、および表示する補助情報（例えばキャプション・テキスト）の量を決定することができる。単位時間あたりに表示される補助情報の量がユーザ選択ステップ２１０で決定されたしきい値を超える場合には、リード・タイムＳおよびラグ・タイムＬを計算することができる。リード・タイムＳおよびラグ・タイムＬは、表示に利用できる最大時間に応じて決定することができる。例えば、ＳおよびＬは、当該単位またはグループの補助情報が隣接するシーンまたは会話バーストと重なり合うことなく表示される時間の長さを最大にするように設定することができる。あるいは、リード・タイムＳおよびラグ・タイムＬは、重なり合いについては構わずに、ユーザ選択ステップ２１０で決定されたしきい値情報に応じて決定することもできる。「時間拡張」がトリガされると、補助情報を表示する時間を、期間（Ｔ２−Ｔ１）から新たな期間（Ｔ２＋Ｌ−（Ｔ１−Ｓ））に変更することができる。

分析ステップ２１２に続いて、図示の方法２００は、決定ステップ２１４に進み、このステップでは、分析ステップ２１２で決定された「時間拡張」パラメータを使用して、決定ステップ２１２で決定されたしきい値に合う、各単位またはグループの補助情報の新たな開始時間（Ｔ１−Ｓ）および新たな終了時間（Ｔ２＋Ｌ）を計算する。もちろん、例えばサスペンス性のある要素を損なうことを防止するためなど、番組コンテンツの制約、ユーザ選択またはその他の要因が変更を妨げている、または変更しない方がよいと示唆している場合には、新たな開始時間および新たな終了時間の一方または両方を、しきい値とは関係なく元の開始時間および／または終了時間から変更せず、そのまま残すこともできる。もちろん、ユーザは、本発明によれば、ユーザは、特定の単位またはグループの補助情報を表示する時間の長さを延長することも短縮することもできる。当業者なら、「時間拡張」を効果的に実施するためには、ユーザ、放送会社および／またはその他が、対話またはオリエンテーションを事前に行っておくことが必要となることもあることを理解されたい。例えば、リード・タイムＳおよびラグ・タイムＬのデフォルト値を、ユーザの選択および「時間拡張」を適用できる番組に応じて変更することもある。

図示の方法２００は、次いで表示ステップ２１６に進み、このステップでは、分析ステップ２１２および決定ステップ２１４で決定された個々の単位またはグループの補助情報の「時間拡張」も含めて、カスタマイズされた補助情報および番組コンテンツを表示する。ユーザの選択は、番組を表示する前、表示している間、および／または表示した後に行うことができ、それによって番組コンテンツの現在または後のユーザの補助情報のカスタマイズ表示が変わることもあることを理解されたい。このようにして、本発明は、番組内事象の全体的なペースはほぼ維持しながら、特定の会話の一節またはバーストに対応する補助情報（例えばキャプション・テキスト）の提示を円滑にすることができる。

表示ステップ２１６の後、図示の方法２００は、ステップ２１８で終了する。その後、将来の何れかの時点で、手作業でまたは自動的にプログラムされた事象またはユーザ入力に従って、方法２００を再開することができる。

補助情報の表示をカスタマイズする別の例示的な方法について、図３を参照して説明する。図３は、全体を３００で示す、補助情報のカスタマイズ表示のための「領域変化」を行う例示的な方法を示す簡略流れ図である。図示の方法３００は、受信／抽出ステップ３０４と、番組記憶ステップ３０６と、補助情報記憶ステップ３０８と、ユーザ選択ステップ３１０と、分析ステップ３１２と、決定ステップ３１４と、表示ステップ３１６とを含む。

図示の方法３００は、ステップ３０２で開始され、受信／抽出ステップ３０４に進む。このステップでは、番組信号を介して伝送されるテレビジョン番組に関連するクローズド・キャプション・テキストなどの補助情報が埋め込まれた番組信号を受信する。方法３００の受信／抽出ステップ３０４、番組記憶ステップ３０６、および補助情報記憶ステップ３０８は、図２ならびにそれに付随する受信／抽出ステップ２０４、番組記憶ステップ２０６および補助情報記憶ステップ２０８に関する説明においてそれぞれ上述したのと同じように進行する。

図示の方法３００は、ユーザ選択ステップ３１０を含み、このステップで、ユーザから選択または好みを受信する。「領域変化」では、１単位または１グループの補助情報（例えばキャプション・テキスト）が表示される画面上の領域を拡大して、例えばテキスト・サイズの拡大、フォントおよび／またはテキスト・スタイルの多様化、キャプション・テキストの行数の増加、ならびに／あるいはさらに表示時間の延長に対応することができる。ユーザの好みの例としては、「領域変化」をトリガすることができる会話のしきい値量、補助情報の表示に割り当てられる公称領域および拡張領域のデフォルト値、ならびに／またはその他の「領域変化」パラメータを決定するために使用することもできる、ユーザによって選択される最大読取り速度などが挙げられる。

ユーザは、補助情報の表示における「領域変化」に関するいくつかの既定のユーザ選択肢から選択することができる。あるいは、ユーザは、例えばキャプション・テキストの最大行数または最小テキスト・サイズを入力するなど、「領域変化」に関する特定のパラメータを入力することもできる。

前述の実施例と同様に、ユーザは、様々な入力装置を用いて、局所的なまたは遠隔の位置から選択または好みを送信することができる。ユーザ選択が明示されない場合には、ユーザ選択ステップ３１０においてデフォルトのユーザの好みが暗黙に指定される。

図示の方法３００は、次いで分析ステップ３１２に進み、このステップでは、番組コンテンツ、補助情報およびユーザ選択を分析して、補助情報表示の「領域変化」の候補となる番組の部分があれば、それがどの部分であるかを決定する。分析ステップ３１２は、補助情報を、例えば番組コンテンツの映像部分および／または音声部分のシーンまたは会話バーストに対応する個々の単位またはグループに分離することを含む。個々の単位またはグループの補助情報を分析して、受信したユーザ選択に照らして「領域変化」が適当であるか否かを判定し、適当である場合には、補助情報を表示するための画面上領域の量にどのような変更を加えることができるかを判定する。

例えば、各単位またはグループの補助情報ごとに、元のキャプション表示領域、およびユーザが選択した「領域変化」パラメータ（例えばテキスト・サイズ、フォント、行数、表示時間）を利用してキャプション・テキストを表示するのに必要な変更後の表示領域を決定することができる。変更後の表示領域が、例えばユーザ選択ステップ３１０において放送会社またはユーザが決定した最大値を超える場合には、番組コンテンツを用いて、隣接するシーンまたは会話バーストと重なり合わずにユーザの好みに最もよく合致するように代替の「領域変化」パラメータを決定すればよい。あるいは、重なり合いについては構わずに、ユーザ選択ステップ３１０において決定されたユーザが選択した「領域変化」パラメータを使用することもできる。

分析ステップ３１２に続いて、図示の方法３００は、決定ステップ３１４に進み、このステップでは、分析ステップ３１２で決定された「領域変化」パラメータを使用して、「領域変化」が適当であると考えられる各単位またはグループの補助情報ごとに新たな表示構成を定義する。もちろん、例えば重要な映像的内容が見えにくくなることを防止するためなど、番組コンテンツの制約、ユーザ選択またはその他の要因が変更を妨げている、または変更しない方がよいと示唆している場合には、１つまたは複数の「領域変化」パラメータを元の値から変更せず、そのまま残すこともできる。当業者なら、「領域変化」を効果的に実施するためには、ユーザ、放送会社および／またはその他が、対話またはオリエンテーションを事前に行っておくことが必要となることもあることを理解されたい。例えば、テキスト・サイズおよび表示時間のデフォルト値を、ユーザの選択および「領域変化」を適用できる番組に応じて変更することもある。

図示の方法３００は、次いで表示ステップ３１６に進み、このステップでは、分析ステップ３１２および決定ステップ３１４で決定された個々の単位またはグループの補助情報の「領域変化」も含めて、カスタマイズされた補助情報および番組コンテンツを表示する。従って、「領域変化」は、例えば、より大量のテキストを同時に画面上に表示することを可能にし、ユーザがより長い時間をかけて複雑なテキスト情報を理解できるようにし、且つ／またはユーザが少しの間画面から目を離しても会話を見逃さずに済むようにすることができる。もちろん、「領域変化」は、上述したのと同様に、補助情報の表示に許される領域を縮小することも含むことができる。ユーザの選択は、番組を表示する前、表示している間、および／または表示した後に行うことができ、それによって番組コンテンツの現在または後のユーザの補助情報のカスタマイズ表示が変わることもあることを理解されたい。このようにして、本発明は、番組内事象の全体的なペースはほぼ維持しながら、目の不自由なユーザにはより大きなサイズのテキストまたは様々なフォントを表示し、より複雑に状況を理解したいユーザにはテキストの行数を増やして表示し、且つ／あるいは「スクロール」を用いて、または用いずに、表示時間を延長してキャプション・テキストを表示することができる。

表示ステップ３１６の後、図示の方法３００は、ステップ３１８で終了する。その後、将来の何れかの時点で、手作業でまたは自動的にプログラムされた事象またはユーザ入力に従って、方法３００を再開することができる。

補助情報の表示をカスタマイズする別の例示的な方法について、図４を参照して説明する。図４は、全体を４００で示す、補助情報のカスタマイズ表示のための「再生再同期」を行う例示的な方法を示す簡略流れ図である。図示の方法４００は、受信／抽出ステップ４０４と、番組記憶ステップ４０６と、補助情報記憶ステップ４０８と、ユーザ選択ステップ４１０と、分析ステップ４１２と、決定ステップ４１４と、表示ステップ４１６とを含む。

図示の方法４００は、ステップ４０２で開始され、受信／抽出ステップ４０４に進む。このステップでは、番組信号を介して伝送されるテレビジョン番組に関連するクローズド・キャプション・テキストなどの補助情報が埋め込まれた番組信号を受信する。方法４００の受信／抽出ステップ４０４、番組記憶ステップ４０６、および補助情報記憶ステップ４０８は、図２ならびにそれに付随する受信／抽出ステップ２０４、番組記憶ステップ２０６および補助情報記憶ステップ２０８に関する説明においてそれぞれ上述したのと同じように進行する。

図示の方法４００は、ユーザ選択ステップ４１０を含み、このステップで、ユーザから選択または好みを受信する。「再生再同期」では、補助情報および番組内事象を表示する速度を変更して、例えばクローズド・キャプションの提示速度をわずかに遅くすることができる。ユーザの好みの例としては、「再生再同期」をトリガすることができる会話のしきい値量、再生速度のデフォルト値、および／またはその他の「再生再同期」パラメータを決定するために使用することもできる、ユーザによって選択される最大読取り速度などが挙げられる。

ユーザは、補助情報の「再生再同期」に関するいくつかの既定のユーザ選択肢から選択することができる。あるいは、ユーザは、例えば単位時間あたりに表示される文字または言葉の最大数を入力するなど、「再生再同期」に関する特定のパラメータを入力することもできる。

前述の実施例と同様に、ユーザは、様々な入力装置を用いて、局所的なまたは遠隔の位置から選択または好みを送信することができる。ユーザ選択が明示されない場合には、ユーザ選択ステップ４１０においてデフォルトのユーザの好みが暗黙に指定される。「再生再同期」では、ユーザが、番組視聴中に番組コンテンツおよび補助情報の再生の速度を上げる、または下げることをユーザが望む可能性があると予想されている。本発明の一実施例では、早送り、巻き戻し、再生、一時停止、スロー送り、スロー巻き戻しなど、補助情報の再生を細かく制御するための「ＶＣＲ的な」トランスポート・キーを備えたユーザ入力装置を含む。

図示の方法４００は、次いで分析ステップ４１２に進み、このステップでは、番組コンテンツ、補助情報およびユーザ選択を分析して、「再生再同期」の候補となる番組の部分があれば、それがどの部分であるかを決定する。分析ステップ４１２は、補助情報を、例えば番組コンテンツの映像部分および／または音声部分のシーンまたは会話バーストに対応する個々の単位またはグループに分離することを含む。個々の単位またはグループの補助情報を分析して、受信したユーザ選択に照らして「再生再同期」が適当であるか否かを判定し、適当である場合には、再生速度にどのような変更を加えることができるかを判定する。

例えば、各単位またはグループの補助情報ごとに、元のキャプション表示速度、およびユーザが選択した「再生再同期」パラメータ（例えば単位時間あたりの文字または言葉の最大数）を利用してキャプション・テキストを表示するのに必要な変更後の表示速度を決定することができる。元の表示速度が例えばユーザ選択ステップ４１０においてユーザが決定した最大値を超える場合には、変更後の表示速度は、番組コンテンツを用いて、シーンまたは会話を過度に混乱させずにユーザの好みに最もよく合致するように計算すればよい。あるいは、混乱については構わずに、ユーザ選択ステップ４１０において決定されたユーザが選択した「再生再同期」パラメータを使用することもできる。

分析ステップ４１２に続いて、図示の方法４００は、決定ステップ４１４に進み、このステップでは、分析ステップ４１２で決定された「再生再同期」パラメータを使用して、「再生再同期」が適当であると考えられる各単位またはグループの補助情報ごとに新たな表示再生速度を定義する。もちろん、例えば付随する音声コンテンツの過度の歪みを防止するためなど、番組コンテンツの制約、ユーザ選択またはその他の要因が変更を妨げている、または変更しない方がよいと示唆している場合には、１つまたは複数の「再生再同期」パラメータを元の値から変更せず、そのまま残すこともできる。当業者なら、「再生再同期」を効果的に実施するためには、ユーザ、放送会社および／またはその他が、対話またはオリエンテーションを事前に行っておくことが必要となることもあることを理解されたい。例えば、再生速度のデフォルト値を、ユーザの選択および「再生再同期」を適用できる番組に応じて変更することもある。

図示の方法４００は、次いで表示ステップ４１６に進み、このステップでは、分析ステップ４１２および決定ステップ４１４で決定された個々の単位またはグループの補助情報の「再生再同期」も含めて、カスタマイズされた補助情報および番組コンテンツを表示する。ユーザの選択は、番組を表示する前、表示している間、および／または表示した後に行うことができ、それによって番組コンテンツの現在または後のユーザの補助情報のカスタマイズ表示が変わることもあることを理解されたい。このようにして、本発明は、番組内事象の全体的なペースはほぼ維持しながら、読取りの遅いユーザには再生速度を落として、または読取りの速いユーザには速度を上げて、補助情報を表示することができる。

表示ステップ４１６の後、図示の方法４００は、ステップ４１８で終了する。その後、将来の何れかの時点で、手作業でまたは自動的にプログラムされた事象またはユーザ入力に従って、方法４００を再開することができる。

本発明の一特徴による補助情報のカスタマイズ表示を行うテレビジョン受信システムを、図５に示す。テレビジョン受信システム５００は、テレビジョン信号源５０８と、ユーザ入力装置５１２と、受信／処理装置５０２と、音声／映像表示装置５２４とを含む。テレビジョン信号源５０８は、例えば、地上波または無線（ＯＴＡ）テレビジョン信号を受信するように構成された従来のアンテナ、航空機に搭載された、または宇宙空間を運ばれる装置から送信または反射されるテレビジョン信号を受信するように構成された衛星送受信機、ケーブル・テレビジョン信号を伝達するように構成された送信ケーブル、ならびに例えばインターネットを介して複数の異なるプロトコルを用いてデータを伝送するなど、公衆ネットワークまたは私設ネットワークを介して情報を受信および伝達するように構成されたネットワーク接続のうちの１つまたは複数を含むことができる。テレビジョン信号源５０８は、増幅器、前置増幅器、またはその他の当技術分野で周知のテレビジョン受信用の構成要素を含むことができる。テレビジョン信号源５０８は、同軸ケーブル、光ファイバ・ケーブル、リボン・ケーブル、高速データ伝送線、またはその他の当技術分野で既知の信号伝送媒体を介して受信／処理装置５０２に接続することができる。

図示の受信／処理装置５０２は、チューナ／受信機５０６と、補助情報デコーダ５１０（例えばクローズド・キャプション・デコーダ）と、プロセッサ５１６と、ランダム・アクセス・メモリ（ＲＡＭ）５１８と、ハード・ディスク記憶装置５２０と、少なくとも１つのユーザ入出力装置５１４と、例えばデータ・バスなどのバス５０４と、音声／映像表示装置５２４に接続された表示制御装置５２２とを含む。あるいは、様々な実施例において、受信／処理装置５２０は、その他の当技術分野で周知の記録装置、大容量記憶装置、再生装置、表示装置、提示装置またはネットワーク装置に接続することもできる。

受信／処理装置５０２は、本発明による補助情報表示方式を実施するソフトウェア命令および／またはファームウェア命令を含む。例えば、受信／処理装置５０２は、図１を参照して上述した方法１００を実施するように構成することもできる。あるいは、処理装置５０２は、図２〜図４を参照して上述した方法２００、３００、４００の１つまたは複数を実施するように構成することもできる。動作に際しては、ユーザは、受信／処理装置５０２を、テレビジョン信号源５０８、ユーザ入力装置５１２、音声／映像表示装置５２４と連動して使用して、番組コンテンツと関連する補助情報（例えばクローズド・キャプション）をカスタマイズされた方法で記憶および表示することができる。

現在の時点で既知の好ましい実施例と関連付けて本発明について詳細に説明したが、本発明がこれらの開示した実施例に限定されないことは容易に理解されるであろう。逆に、本発明は、上記では説明していないが本発明の趣旨および範囲に含まれる任意数の変更、改変、置換または等価な構成を含むように修正することができる。従って、本発明は、上記の説明によって制限されるとみなすべきではなく、添付の特許請求の範囲によってのみ制限される。

Claims (15)

1. 映像番組に関連する補助情報を処理する方法であって、
   前記映像番組を表す番組信号を受信し、記憶するステップと、
   前記映像番組に関連する補助情報を受信し、記憶するステップであって、該補助情報の複数の部分が該映像番組との間にそれぞれの表示タイミング関係を有する、該ステップと、
   前記映像番組のユーザ選択に応答して、前記記憶された番組信号を処理して第１の出力信号を供給するステップと、
   前記補助情報を表示することを求めるユーザ要求に応答して、該補助情報を処理して第２の出力信号を供給するステップと、
   ユーザからユーザ選択の前記表示タイミング関係を受信するステップと、
   前記補助情報の部分が前記映像番組との間に前記ユーザ選択の表示タイミング関係を有するかどうかを判定するステップと、
   前記判定ステップに応答して前記補助情報の前記部分と前記映像番組との間の表示タイミング関係を調節するステップであって、該表示タイミング関係の調節は、前記補助情報の前記部分の表示開始時間を繰り上げることである、該ステップと、
   前記第１の出力信号と前記第２の出力信号を結合して、表示するための結合出力信号を生成するステップと、
   を含む、前記方法。
2. 前記映像番組がテレビジョン番組を含み、前記補助情報がクローズド・キャプション情報を含む、請求項１に記載の方法。
3. 前記記憶された補助情報が、番組信号間のそれぞれの表示タイミング関係を示す１つまたは複数オンタイム・スタンプを含む、請求項２に記載の方法。
4. 前記判定ステップが、前記映像番組の特定の期間に単位時間あたりに表示される補助情報の量を決定することを含む、請求項１に記載の方法。
5. 前記所定のタイミング関係が、しきい値レベルを超える単位時間あたりに表示される補助情報の量に対応する、請求項４に記載の方法。
6. 前記しきい値レベルをユーザが選択することができる、請求項５に記載の方法。
7. 前記判定ステップが、前記番組信号を受信し、記憶する前記ステップ、および補助情報を受信し、記憶する前記ステップに応答して実行される、請求項１に記載の方法。
8. 前記調節ステップが、前記第２の出力信号を制御して、前記補助情報の前記複数の部分の少なくとも１つについての開始時間および終了時間の１つまたは複数を変更することを含む、請求項１に記載の方法。
9. 前記結合出力信号生成ステップが、前記補助情報の表示に割り当てられる領域を拡大することを含む、請求項８に記載の方法。
10. 前記結合出力信号生成ステップが、前記補助情報の前記複数の部分の少なくとも１つについての前記結合出力信号の再生速度を低下させることを含む、請求項１に記載の方法。
11. 信号源と、
    映像番組信号、および該映像番組信号に関連する補助情報を受信する、前記信号源に接続された処理装置であって、該補助情報の複数の部分が前記映像番組信号との間にそれぞれの表示タイミング関係を有する、該処理装置と、
    ユーザからの入力を受信するように接続されたユーザ入出力装置と、
    前記受信した映像番組信号および補助情報を記憶する、前記処理装置に接続された記憶装置と、
    前記処理装置と前記ユーザ入出力装置と前記記憶装置とに接続された制御装置と、
    を備え、
    前記ユーザ入出力装置が、ユーザから前記表示タイミングを調整するためのユーザ選択の表示タイミングを受信し、
    前記処理装置が、前記補助情報の複数の部分が前記映像番組信号との間に前記ユーザ選択の表示タイミング関係を有するかどうかを判定し、前記判定に応答して前記補助情報の部分の表示タイミングを調節し、前記補助情報の部分の表示タイミングの調整は、前記補助情報の部分の表示開始時間を繰り上げることである、前記装置。
12. 前記処理装置が、前記補助情報の前記複数の部分の少なくとも１つを表示する開始時間および終了時間の１つまたは複数を変更するように構成される、請求項１１に記載の装置。
13. 前記処理装置が、少なくとも１つの番組表示装置上の前記補助情報の表示に割り当てられる領域を拡大するように構成される、請求項１１に記載の装置。
14. 前記処理装置が、前記補助情報の前記複数の部分の少なくとも１つについての結合出力信号の再生速度を低下させるように構成される、請求項１１に記載の装置。
15. 前記少なくとも１つのテレビジョン信号源が、無線アンテナ、衛星送受信機、ケーブル・テレビジョン・ケーブル、およびネットワーク接続の１つまたは複数を含む、請求項１１に記載の装置。