JP4711676B2 - ビデオ信号に含まれる補助情報を処理する方法及びデータにより表される文字の歪みを補正する装置 - Google Patents

Description

本発明は、ビデオ信号処理システムにおける、字幕スーパーの文字情報のような補助情報の処理に関し、より詳細には、一方の文字のイタリック体のような属性又は形式から生じる別の文字のレンダリングに関する歪みの防止及び／又は補正のためのシステムに関する。

本出願は、２００２年５月１５日にＤａｖｉｄ Ｊ． Ｌｙｎｃｈにより米国特許商標庁に提出された米国特許仮出願シリアル番号６０／３８０，６３５号から取得される全ての利益に対する優先権を主張するものである。

たとえば、ハンドヘルド装置向けのＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標） Ｃｏｍｐａｃｔ Ｅｄｉｔｉｏｎ （Ｗｉｎ ＣＥ）といったＭｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）３２ビットプラットフォームアーキテクチャに基づいたユーザインタフェース（ＵＩ）システムは、文字列をプリント出力するために設計されるフォントシステム及びテキスト描画ルーチンを実現する。このタイプの文字生成機能を必要とするシステムの例は、ビデオ信号処理システムであり、このシステムは、ＥＩＡ−６０８及びＥＩＡ−７０８規格に従い補助情報を処理するような、たとえば文字放送システム及び／又は字幕スーパーシステムといった補助情報処理機能を含んでいる。ＥＩＡ−６０８規格は、ＮＴＳＣ （Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄ Ｃｏｍｍｉｔｔｅｅ）により設定される規格に従って構築されたテレビジョンにおいて使用されるブロードキャストビデオフォーマットであり、このＮＴＳＣは、４：３のアスペクト比を有するビデオスクリーンを定義している。ＥＩＡ−７０８規格は、デジタルテレビジョン（ＤＴＶ）の字幕のための規格である。ＤＴＶは、劇的により高い品質の画像を提供し、たとえば、映画シアターで見られるような、より広い１６：９のアスペクト比のフォーマットでの表示を提供する。ＥＩＡは、Ｅｌｅｃｔｒｏｎｉｃｓ Ｉｎｄｕｓｔｒｉｅｓ Ａｌｌｉａｎｃｅを意味し、米国電子産業の貿易機構連合である。

先に引用された規格に従う字幕スーパーは、重ね合わせされたビデオ画像、又はビデオ画像のトップに重ね合わせされるように見える表示のための文字を提供する。文字は、たとえば、聴覚障害者のユーザを支援するため、ビデオプログラムのオーディオ部分に対応するテキストの内容を提供するものである。米国における標準のテレビジョン信号である、ＮＴＳＣのようなアナログテレビジョン信号について、テキストデータの文字列は、垂直ブランキング期間に存在する。そのデータは、ビデオデータが処理されるのと同時にスクリーンに表示するために抽出され、文字データに変換される。デジタルテレビジョン信号では、字幕データは、デジタルデータパケットの特定のグループ又はストリームとして含まれる場合がある。

信号のタイプ又はデータ伝達手段に関わらず、字幕データは、前景及び後景の色を有する字幕の文字を生成するために使用される。色特性に加えて、文字は、様式化することができるか、イタリック体であるような属性又は特定の形式を有している。イタリック体は、文字をフォーマットする特定のやり方である。たとえば、文字が右に傾斜される。字幕の文字は、たとえば、Ｗｉｎｄｏｗｓ ｔｅｘｔ ｄｒａｗｉｎｇ ｒｏｕｔｉｎｅｓといったオペレーティングシステムのグラフィックディスプレイ機能を使用して一度に一つずつ表示するため、一度に一つずつ受信される。字幕システムは、文字列のアセンブリが必要とされないので、増加されるパフォーマンスを提供するため一度に一つずつ文字を処理する。連続する文字は、ディスプレイで一度に一つずつ表示される。

先に説明されたシステムが表示のためにイタリック体又は斜体の文字を生成するとき、イタリック体の属性又はフォーマットを通常の文字に加えることは、イタリック体の文字を幅においてシフト又は増加させ、１文字の表示のために割り当てられるよりも多くの表示エリアを占有させる。すなわち、イタリック体にされたとき、文字は、隣り合う文字に割り当てられたスペースすなわちセルに延びてオーバラップする。このように、１つの文字の属性又は形式は、たとえば隣り合う文字である別の文字のレンダリングに干渉し、他の文字のレンダリングに歪又は破壊する可能性がある。たとえば、文字は一度に一つずつ描画されるかレンダリングされるので、適切な後景で次の文字を描画することは、前の文字のセル又はスペースにおける文字の少なくとも１部をカットオフすなわちクリップされる。結果として、文字表示が歪んでいるように見える。

本発明は、記載された問題点を部分的に認識し、記載された問題点を解決するためのシステム及び方法を部分的に提供することを含んでいる。本発明の態様は、ビデオ信号に含まれる補助情報を処理する方法を含んでおり、本方法は、第一の文字と第二の文字を表すデータを備える文字データを生成するために補助情報を処理するステップ、該文字データに応答して第一の文字と第二の文字をレンダリングするステップと、第一の文字が予め決定された形式を示すかを判定するステップ、及び予め決定された形式を示す第一の文字に応答して第一の文字と第二の文字のうちの一方の一部を再レンダリングするステップを備えている。本発明の別の態様は、システム及び方法を含んでおり、表示されるべき次の文字の前景及び後景の色を示す信号を提供するステップ、及び隣り合う前の文字の前景の色のみを提供するステップを備えている。このことは、前の隣り合う文字がイタリック体の形式でレンダリングされるかを判定することに応じて実行される。本発明の別の態様は、予めレンダリングされた文字を置き換えるためのシステム及び方法を含んでいる。第一に、本発明は、置き換えられるべき文字の後にレンダリングされる隣り合う文字の前景及び後景の色を示す信号を生成し、該前景及び後景の色を再レンダリングする。好ましくは、隣り合う文字の隣の部分のみが再レンダリングされる。次いで、新たな文字の後景及び前景の色を示す信号が生成され、新たな文字の前景及び後景の色は、置き換えられるべき文字が前に表示されたディスプレイスクリーン上の位置でレンダリングされる。新たに置き換えられた文字の直前のイタリック体の文字がはっきりしない場合、テキストを補正するため、歪を補正するための前の方法が利用される。

本発明が更に完全に理解されるため、添付図面を参照して例を経由して説明される。

本発明のシステムは、表示のための補助データ信号を受けることができる文字レンダリング装置で実現される。装置は、セットトップボックス、メインフレーム及びパーソナルコンピュータ（ＰＣ）からデジタル電話に及ぶコンピュータ、たとえばＰａｌｍ Ｐｉｌｏｔ（登録商標）といったハンドヘルド装置、及びテレビ信号処理システム（たとえば、ディスプレイ装置（たとえば、ＴＶセット）を含むテレビ信号受像機、又はディスプレイ装置（たとえば、セットトップボックス、ＶＣＲ等）を含まないテレビ信号受像機）といった如何なる構成をもとる場合がある。この出願は、字幕データを処理する本発明のシステム及び方法の使用を含む例示的な実施の形態を開示する。しかし、本システム及び方法は、装置により受信された文字データを含む如何なる補助情報についても適用できる。かかる補助情報の他の例は、文字放送データ、Ｇｅｍｓｔａｒデータ等を含んでいる。さらに、本システムは、ディスプレイ装置を含み、ディスプレイ装置に供給される場合がある信号を生成する場合がある。

図１は、ボーダーライン１２により示されるセルエリアを有する文字セル１４内に位置される字幕文字１０ａにおける歪みを補正するためのシステム及び方法に関する進展を示している。図では、文字１０ａ〜１０ｃ及びセルエリア１６の後景は、黒及び白で示されているが、Ｗｉｎ３２グラフィック及びフォントは、他のグラフィック及び処理ソフトウェアプログラムと同様に、前景及び後景の両者を様々な他の色でレンダリングする場合がある。文字１０ａの背後のセルエリア１６は、後景の色により典型的に満たされる。文字１０ａが図１０ｂとして示されるイタリック体の形式でレンダリングされるとき、文字の前景の色の少なくとも一部１３、すなわち文字１０ｂは、セルエリア１４を越えて隣のセルエリア１５に延びる。すなわち、第一の文字の形式、すなわち参照符号１０ｂのイタリック体は、第一の文字に第二のキャラクタ１０ｃにより占有されるスペースと相互作用すなわち干渉させる。結果として、第一の文字のレンダリングに後続する第二のキャラクタのレンダリングは、第一の文字の腐敗又は破壊を生じさせる。本明細書に記載されるように、この破壊は、たとえば第一の文字がイタリック体である予め決定されたフォーマットを有するかを判定することに応答して、たとえば前景の一部である第一の文字の一部に関する再レンダリングにより除かれる。実際に、多くのイタリック体の文字は、該文字を隣り合うセルエリア１５に延ばすか、曲げるグラフィックを生成する。

本明細書の開示は、ある文字の右への傾斜を示すイタリック体の文字を照会する。なお、本発明は、印刷された文字を処理することで文字がそのセルエリアを越えて隣り合う文字のセルエリアの部分を占有することにより生じる歪みを補正することに向けられることを理解されたい。傾きの方向は、重要ではなく、文字をイタリック体として照会することは重要なことではない。

文字は一度に一つずつレンダリング又は表示されるので、第二の文字１０ｃのレンダリングにより、文字１０ｂの延長１３に関することなしに、第二の文字１０ｃの後景及び／又は前景の色に覆わせ、これにより第二の文字１０ｃのセルエリア１５に延出又は突き出ている第一の文字１０ｂの突出部分１３を切り取らせる。

イタリック体の文字１０ｂが割り当てられたセルエリア１４を越えて第二の文字のセルエリア１５に延びると仮定すると、第二すなわち次の文字１０ｃがセルエリア１５において後景の色１７を有してレンダリングされるとき、文字１０ｃの後景の色１７は、前のイタリック体の文字１０ｂの突出部分１３を上書きする。さらに、後景の色１７が使用されない状況では、割り当てられたセルエリア１４の外に突き出るイタリック体又は傾斜された文字１０ｂが通常の傾斜されない文字１０ｄにより後続されるとき、文字１０ｂの突出部分１３の難読化が生じる場合がある。

イタリック体の文字１０ｂを補正又は適切に表示するため、リアルタイムのオンラインシステムにとって全てのテキストを再レンダリングすることは、実際的ではない。これは、文字が受信されて表示されるリアルタイムの要件のためである。リアルタイムシステムでは、全ての表示されたテキストのエラー、ミスプリント、又は歪みを固定するために十分な時間が単に存在しない。このように、本発明の実施の形態のシステム及び方法は、図１に示される結果を生じるために、次の隣り合う文字１０ｃの前景及び後景のレンダリングの後、イタリック体の文字１０ｂの前景のみを表す信号を生成し、該前景のみを再レンダリングすることを備えている。

［後景を置き換えることのない文字の再レンダリング］
先に説明された問題を解決するための例示的な実施の形態のシステム及び方法は、図１、図２及び図３を参照してこれより説明される。図１は、本発明のシステム及び方法に従う文字の歪みを補正するための進展を例示している。図２は、本発明のシステム及び方法に係る補正ルーチン３０に関するフローチャートである。図３は、図２の方法に従いシステムにより補正されるイタリック体により生じる歪みを有する２つの隣り合うテキスト文字を例示している。テキストが表示されるとき、第一の文字２０の前景及び後景を表す信号は、図３を参照して示されるように、及びステップＳ３０で説明されるように、ディスプレイでのレンダリングのために生成される。ステップＳ３２では、その前景及び後景の色を含む次又は第二の文字２２を示す信号は、第一の文字２０隣のレンダリングのために生成される。ステップＳ３４では、第二の文字２２の直前の前の又は第一の文字２０がイタリック体であるかが判定される。前の文字２０の位置は、テキストがたとえば左から右に、右から左へ、上から下へ等とレンダリングされる方向に基づいている。

第一の文字２０がイタリック体で印刷された場合、現在の文字の後景の色をレンダリングすることで、次の文字２２のセルエリア２４に突き出る第一の文字２０の部分２５が生じることが予想される。次の文字２２のセルエリア２４のエッジは、第一の文字２２の突出する部分に交差する。ステップＳ３６では、かかる難読性は、ディスプレイのその後景２６を再レンダリングすることなしに、第一の文字２０の前景を示す信号を生成することで補正される。第一の文字２０の前景を示す生成された信号は、再レンダリングのために供給される。なお、判定ステップＳ３２は、前の文字がイタリック体で印刷されていないと判定した場合、補正の動作行われる必要がないことを理解されたい。次いで、本方法は、ディスプレイ上のレンダリングのためにその後の隣り合う文字の前景と後景を示す信号の発生により継続する。その後、次の文字２２は、第一の文字２０として扱われ、この処理は、全てのテキストが表示されるまで継続する。

より詳細には、図３で例示される例に関して、システムは、“Ｗ”の文字２０がイタリック体で印刷されていることを検出し、したがって、文字の右上部分２３は、表示されたときにその後の隣の“Ｍ”の文字２２により不正確にされる。補正ルーチン３０は、“Ｍ”の文字２２のレンダリングを制御し、次いで、“Ｗ”の文字２０に関連されるセルエリア２６の後景の色を再レンダリングすることなしに、前景の“Ｗ”の文字２０を再レンダリングする。本発明の補正ルーチン３０により、１文字を一度に一つずつ分析して表示することが可能であり、隣の文字のセルエリアに突き出るイタリック体で印刷されているか又は傾斜された文字のグラフィックなレンダリングに関する腐敗又は難読性が防止される。

［文字の置き換え］
本発明の代替的な実施の形態は、ディスプレイ上で文字を置き換えることを含む。ＥＩＡ−６０８及び／又はＥＩＡ−７０８規格であるディスプレイでレンダリングされる文字は、修正することができる。文字は、文字の誤ったレンダリング、ミススペルの訂正等のような如何なる様々な理由のために修正される場合がある。文字の置き換えは、既存のシステムにおいて既にレンダリングされる文字を置き換えることを必要としている。たとえば、図４に示されるように、前にレンダリングされたイタリック体で印刷された文字“Ｍ”４２をイタリック体以外で印刷された文字“Ｍ”４２で置き換える進展４０が示される。

この図からわかるように、はじめに、文字“Ｍ”４２がイタリック体で印刷されているかが判定される。この文字がイタリック体で印刷されていると判定された場合、直後の文字、この例では“Ｊ”文字４４がイタリック体で印刷された文字“Ｍ”４２により生じた“Ｊ”文字４４の後景４６に残されている場合がある歪みを除くために再レンダリングされる必要がある。本発明のソリューションは、“Ｊ”文字４４の後景４６及び前景の色を表す信号を生成し、“Ｊ”文字４４の後景４６及び前景を再レンダリングすることにある。

本発明は、置き換えられる文字、この例ではイタリック体の文字“Ｍ”４２の右に隣り合うセルの左半分の前景及び後景の再レンダリングを生じさせることで時間を節約する。例示的に、隣接するセルの再レンダリングは、破線の左に定義される“Ｊ”文字４４の２分の１の幅の部分４８を再レンダリングする。代替的に、隣接するセルの如何なる部分が再レンダリングされる場合がある。隣接するセルの再レンダリングは、２分の１のセルの幅に限定されない。さらに、右から左に読まれるＨｅｂｒｅｗのような他の言語について、セルのレンダリング及び再レンダリングは、本明細書で説明された反対の方向に実行される。

隣接するセルの半分のみを更新することで、隣接するセルに後続する文字にとって必要とされる連鎖作用の固定が防止される。連鎖作用は、文字４２全体の再レンダリングがオーバフローし、文字４２がイタリック体で印刷された場合に後続する文字を不正確にするときに生じる。このことは、文字４２に後続する文字４４が固定されることを必要とする。

置き換えられる文字４２に続く文字４４の補正の後、新たな文字５０がレンダリングされ、新たな文字５０に先行する文字５２は、イタリック体で印刷されているかを判定するためにチェックされる。先に説明されたように、前のイタリック体で印刷された文字は、後続する文字がレンダリングされるとき、不正確にされる場合があり、したがって新たな文字が不正確にしないことを保証するため、図示されるようにその前景すなわち文字が再レンダリングされる。

図５は、図４で先に説明したように、文字の置き換えを実行する本発明の補正ルーチン６０を例示している。ステップＳ６２では、文字が置き換えられるべきか判定が行われる。文字が置き換えられるべきではない場合、文字の表示は、実現される表示プロセスに従って継続する。文字、たとえば図４に例示される置換の文字４２が置き換えられるべきであると判定された場合、ステップＳ６４で文字がイタリック体で印刷されているかが判定される。ステップＳ６４で文字がイタリック体で印刷されるべきであると判定された場合、置換の文字４２に続くセルの隣接する半分の後景及び前景を表す信号が生成され、ステップＳ６６で説明されるように再レンダリングされる。ステップＳ６４で置き換えられるべき文字がイタリック体で印刷されていないと判定された場合、たとえば、図４に示される文字５０である置換の文字の後景及び前景を表す信号が生成され、ステップＳ６８に述べられるようにスクリーンにレンダリングされる。

ステップＳ７０では、再レンダリングされた文字５０の左への文字５２がイタリック体で印刷されているかに関する判定が行われる。判定が肯定的である場合、その文字の前景を表す信号が生成され、ステップＳ７２で図３を参照して説明されたやり方と同様なやり方で再レンダリングされる。

図６に示される１つの例示的な実施の形態では、本発明のシステム１００は、ビデオ信号７８を受信するための受信機８０を含んでいる。受信されたビデオ信号７８は、信号プロセッサ８２に送出される。受信されたビデオ信号７８は、画像信号及び補助のデータ信号を含んでいる。補助のデータ信号は、ビデオ信号に重ね合わせされるべき字幕データのようなデータを含んでいる場合がある。

シグナルプロセッサ８２は、補助のデータ信号を抽出し、ビデオ信号を処理する。次いで、ビデオ信号はビデオスーパーインポーズ装置８６に通過される。シグナルプロセッサ８２がビデオ信号にエンコードされる補助のデータを検出した場合、補助データ８４は、ビデオ信号から分離され、補助データプロセッサ８４に送出される。補助データプロセッサ８４は、補助データ信号８３のコンポーネントをデコードする。補助データ信号のコンポーネントは、表示のための文字又はビデオ信号に重ね合わせされる文字、文字がビデオ信号に重ね合わせされる位置、並びに文字のフォント及びフォントスタイルを少なくとも含んでいる。補助データ信号のデコードされたコンポーネントは、次いで、コンポジット信号を形成するため、ビデオ信号と補助データ信号とを結合するためにビデオスーパーインポーズ装置８６に供給される。スーパーインポーズ装置８６は、コンポジット信号の表示のため、図示されるようにビデオスクリーン８８に接続される場合がある。

字幕の文字は、補助データ信号により定義されるディスプレイスクリーン８８上の如何なる位置で表示することができる。それぞれのデータの文字は、後景としてのブラックボックスの内側にある白の前景の色、たとえば文字の色で一般に表示される。しかし、如何なる所望の前景及び後景の色は表示するために使用される場合がある。

ディスプレイスクリーンに文字を表示するとき、スーパーインポーズ装置８６は、文字がイタリック体で印刷されているかを判定し、次いで図１〜図５を参照して本明細書で前に説明された方法に従って文字の表示を補正する。

ビデオスクリーン８８は、テレビジョンセットにおけるように本発明のシステムと組み合わされる場合がある。代替的に、本システムは、補助データを含むコンポジット信号の表示のために個別のディスプレイ装置に信号を供給するために補助データ信号を処理するセットトップボックスとして動作することができる。

先の記載より、本発明のシステムは、文字を置き換え、たとえば字幕システムといった補助情報処理システムにおいてレンダリングされたテキストの表示をレンダリングするシステム及び方法を提供することで、従来技術の問題点を克服することができることがわかる。この場合、イタリック体で印刷された文字がビデオ表示装置で連続的に表示するために生成される。本発明の方法は、次の文字の後景及び前景の色を示す信号を生成し、次いで、隣の前の文字の前景の色のみを再レンダリングする。かかる点は、前の隣の文字がイタリック体で印刷される形式でレンダリングされているかを判定することに応じて実行される。

本発明は、前にレンダリングされた文字の置き換えを実行することができる。はじめに、本発明は、隣の文字の後景及び前景の色を示す信号を生成し、置き換えられるべき文字の後にレンダリングされる隣接する文字の前景及び後景の色を再レンダリングする。好ましくは、その後の隣接する文字の隣り合う部分のみが再レンダリングされる。次いで、新たな文字の前景及び後景の色を示す信号が生成され、置き換えられるべき文字を上書きするためにレンダリングされる。置き換えられた文字の直前のイタリック体で印刷された文字が不明確である場合、前の文字の前景のみが再レンダリングされてテキストを補正する。

なお、先に説明されたエレメントのそれぞれ、又は２つ以上のエレメントは、先に説明されたタイプとは異なる他のタイプの方法において有効なアプリケーションを見出す場合もある。

本発明の所定の斬新な特徴が図示及び記載され、添付された特許請求の範囲に指摘されているが、先の詳細に限定されることは意図されていない。これは、構成における各種の省略、変更、置換及び変形、例示される装置及びその動作における詳細は、本発明の精神から逸脱することなしに当業者により行われる。

本発明のシステム及び方法を使用したイタリック体の文字をレンダリングすることで生じる字幕テキストの表示に関する歪を補正に関する進展を示すブロック図である。 本発明のシステム及び方法に係るイタリック体の文字により生じた字幕テキストにおける歪を補正するためのステップを説明するフローチャートである。 本発明のシステム及び方法を使用して補正されたイタリック体の文字のレンダリングにより生じた歪を有する２つの隣り合うテキスト文字を例示する図である。 本発明のシステム及び方法の代替的な実施の形態に係る字幕テキストにおけるイタリック体の置き換えにより生じた歪、及び該歪の補正を示すブロック図である。 本発明のシステム及び方法に係る字幕テキストにおけるイタリック体の文字の置き換えステップを説明するフローチャートである。 字幕テキストの一部として表示されたイタリック体の文字により生じた歪を補正するために使用される本発明のシステムを示すブロック図である。

Claims (3)

1. ビデオ信号に含まれる補助情報を処理する方法であって、
   前記ビデオ信号を処理して、第一の文字と前記第一の文字に後続する隣り合う第二の文字とを表すデータを含む文字データを生成するステップと、前記文字データは、前記補助情報に含まれており、前記第一の文字と前記第二の文字は、前景領域と後景領域をそれぞれ有しており、
   前記文字データに応答して前記第一の文字と前記第二の文字をレンダリングするステップと、
   前記第一の文字がイタリック体の形式を示すかを判定するステップと、
   前記第二の文字がレンダリングされた後に、イタリック体の形式を示す第一の文字に応答して、当該第一の文字の前景を再レンダリングするステップと、
   前記第一の文字をイタリック体以外の形式の文字に置き換えた後に、イタリック体の形式を示す当該第一の文字に応答して、第二の文字の少なくとも一部を再レンダリングするステップと、
   を含むことを特徴とする方法。
2. 前記第一の文字及び前記第二の文字は、前記第一の文字と前記第二の文字のレンダリングに応答して生成された画像において隣り合う、
   請求項１記載の方法。
3. データにより表される文字の歪みを補正する装置であって、
   文字データを有する補助情報を含む信号を受信する手段と、
   前記信号から前記補助情報と文字データとを抽出する手段と、
   前記文字データを処理する手段とを備え、
   前記文字データは、後景の色と前景の色により表現される複数の文字を含み、前記処理手段は、前記複数の文字のそれぞれがイタリック体で印刷されているかを判定し、前記複数の文字のそれぞれの前景の色を示す信号を生成し、前記複数の文字のうちの後続する隣り合う１つのレンダリングの後、イタリック体で印刷されていると判定された前記複数の文字のそれぞれの前景の色を再レンダリングする、
   ことを特徴とする装置。

Images