JP3025176B2 - 複数のメディア成分を有する情報伝達フレーム列の圧縮方法及びその装置 - Google Patents

複数のメディア成分を有する情報伝達フレーム列の圧縮方法及びその装置

Info

Publication number
JP3025176B2
JP3025176B2 JP7149746A JP14974695A JP3025176B2 JP 3025176 B2 JP3025176 B2 JP 3025176B2 JP 7149746 A JP7149746 A JP 7149746A JP 14974695 A JP14974695 A JP 14974695A JP 3025176 B2 JP3025176 B2 JP 3025176B2
Authority
JP
Japan
Prior art keywords
closed caption
frames
component
representative
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP7149746A
Other languages
English (en)
Other versions
JPH0851369A (ja
Inventor
クロフォード ギボン ディヴィット
シャーラレイ ベザド
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of JPH0851369A publication Critical patent/JPH0851369A/ja
Application granted granted Critical
Publication of JP3025176B2 publication Critical patent/JP3025176B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/025—Systems for the transmission of digital non-picture data, e.g. of text during the active part of a television frame
    • H04N7/035—Circuits for the digital non-picture data signal, e.g. for slicing of the data signal, for regeneration of the data-clock signal, for error detection or correction of the data signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73—Querying
    • G06F16/738—Presentation of query results
    • G06F16/739—Presentation of query results in form of a video summary, e.g. the video summary being a video sequence, a composite still image or having synthesized frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41—Bandwidth or redundancy reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/87—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving scene cut or scene change detection in combination with video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/08—Systems for the simultaneous or sequential transmission of more than one television signal, e.g. additional information signals, the signals occupying wholly or partially the same frequency band, e.g. by time division

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、情報を伝達するフレ
ーム列の圧縮方法に関し、特に、たとえばビデオプログ
ラム等の、複数のメディア（媒体）成分を有する情報を
伝達するフレーム列の圧縮方法に関する。
【０００２】
【従来の技術】ビデオプログラム等のマルチメディア情
報源は、二つ以上の異なるメディア成分からなるマルチ
メディアデータの一つの形態である。たとえば、ビデオ
プログラムは、フルモーションのビデオ（画像）成分と
音声成分とからなる。ビデオプログラムのビデオ成分の
大きな記憶容量及び大きな伝送容量を削減する種々の方
法が知られている。
【０００３】たとえば、ある種の圧縮方法（たとえばＪ
ＰＥＧ）では、一つのビデオフレームを表すのに必要な
バイト数の削減を図るために、各ビデオフレーム内に存
在する空間的冗長性を利用する。さらに、連続するフレ
ームの間に存在する時間的な冗長性を利用することによ
って圧縮を行うこともできる。この方法は、ＭＰＥＧ等
で利用されている圧縮方法である。これらの周知の圧縮
方法は、そのビデオプログラム内に保有されている動画
情報を保持するために、単位時間あたり一定数のフレー
ムを生成する。
【０００４】上述の圧縮方法とは別に、連続フレーム列
全体からいくつかのフレームを代表フレームとして選択
することによりビデオプログラムを圧縮する方法もあ
る。たとえば、そのビデオプログラムのある場面に収め
られた視覚情報を代表するのに、一つのフレームを使用
することがある。一つの場面とは、たとえば視覚的内容
が著しくは変化しない、ビデオプログラムのセグメント
（部分）として定義される。
【０００５】このようにして、あまり重大な情報損失を
伴わずに、その場面全体を代表するものとして、その場
面から選択された一つのフレームを使用することが可能
である。そのビデオプログラム内のすべての場面から抽
出されたそのような代表的フレームの列により、許容可
能な程度の情報損失を伴って、そのビデオプログラム全
体を相当程度正確に代表させることができる。
【０００６】このような圧縮方法は、実際上、そのビデ
オプログラムの内容に基づくサンプリングを行うものと
いえる。前述の時間的または空間的圧縮方法では各フレ
ームが時間的に等間隔で隔てられているのに対して、内
容に基づくサンプリング方法では、そのビデオプログラ
ムの一群の代表フレームを生成するにあたり、時間的に
不等間隔のサンプリングを行う。たとえば、一つの代表
フレームは、（たとえば一人の人が長時間にわたり位置
をあまり変えずに話をする場合等では）ビデオプログラ
ムの長いセグメント（長時間部分）を代表する場合もあ
り、ビデオプログラムのごく短いセグメント（たとえば
ビデオプログラムのうちのわずか数秒間現れるだけの場
面）を代表する場合もある。
【０００７】ビデオプログラムから代表的イメージを自
動的に生成する複数の方法が知られている。これらの方
法は、たとえば、連続するショット同士の間の境界を検
出するもので、さらには、各ショットの中で起きる場面
の変化を検出するものでもよい。複数ショット間の急激
なまたは緩慢な推移の位置を特定する方法の例として
は、米国特許出願No.08/171,136号"Method and Apparat
us for Detecting Abrupt and Gradual Scene Changes
In Image Sequences"（出願日1993年12月21日）に記載
されている。各ショットの中で起きる場面の変化を検出
する方法は、米国特許出願No.08/191,234号"Camera-Mot
ion Induced Scene Change Detection Method and Syst
em"（出願日1994年2月4日）に記載されている。
【０００８】
【発明が解決しようとする課題】内容に基づくサンプリ
ング方法は通常、指標を与える(indexing)目的で採用さ
れる。そのような方法により生成されるフレームは、一
つのビデオプログラム内に含まれている視覚情報を効率
よく搬送できるからである。しかしこれらの方法では、
ビデオ等のマルチメディア形態に含まれている有用な情
報のすべてを伝送することはできない。これらの方法
は、一つのメディア成分（すなわち、ビデオの場合で
は、ビデオ成分）だけを圧縮し、その他のメディア成分
（たとえば音声）を除外するからである。本発明は、少
なくとも第１と第２の情報伝達メディア成分を有する一
連の複数フレームを圧縮し、またこれを復元することを
目的とする。
【０００９】
【課題を解決するための手段】本発明は、上記課題を解
決するものである。一連の複数フレームの例としては、
第１の情報伝達成分がビデオ成分、第２の情報伝達成分
がクローズドキャプション成分であるようなビデオプロ
グラムがある。この発明によれば、まず、一連のフレー
ムから複数の代表フレームが選択される。代表フレーム
は、第１の情報伝達メディア成分内に収容される情報を
代表する。
【００１０】次に、各代表フレームと第２の情報伝達メ
ディア成分の複数のセグメントのうちの一つとの間の対
応関係が形成される。代表フレームと、第２の情報伝達
メディア成分の複数のセグメントと、これらの間の対応
関係は、後に読み出すことができるように記憶される。
【００１１】本発明の一つの実施例では、代表フレーム
は、一連のフレームから内容に基づいてサンプリングす
ることにより選択する。たとえば、第１の情報伝達メデ
ィア成分が複数の場面からなるビデオ成分である場合、
各場面から代表フレームを一つずつ選択すればよい。さ
らに、第２の情報伝達メディア成分がクローズドキャプ
ション成分である場合、代表フレームのプリントされた
文字列(renditioun)及びクローズドキャプション成分が
提供される。
【００１２】このプリントされた文字列は、絵入り写本
(pictorial transcript)を構成し、その中で、各代表フ
レームが、それに関連するクローズドキャプションテキ
ストを含む字幕とともにプリントされる。オリジナルの
形態（たとえばビデオプログラム）の情報を理解するに
は通常、追加の機器（たとえばビデオテープレコーダと
モニタ）を必要とするのに対し、この実施例によれば、
プリントされた絵入り写本の形の情報は、追加の処理ま
たは機器無しにそれ自体で直接的に理解できる。
【００１３】本発明の他の実施例では、少なくとも第１
及び第２の情報伝達メディア成分を有する一連の複数フ
レームの圧縮された文字列を表示する方法を提供する。
この方法によれば、第１の情報伝達メディア成分に収容
された情報を代表する複数の代表フレームが受信され
る。さらに、各代表フレームと第２の情報伝達メディア
成分の一つのセグメントとの間の対応関係を形成する情
報を有する一つの信号を受信する。最後に、代表フレー
ムと、第２の情報伝達メディア成分のセグメントが、そ
れらの対応関係に基づいて表示される。
【００１４】
【作用】上記手段によれば、第１と第２の情報伝達メデ
ィア成分を有する一連の複数フレームを圧縮し、またこ
れを復元することができる。
【００１５】
【実施例】テレビジョン放送等のビデオプログラムには
しばしば、ビデオの各フレームの一部としてクローズド
キャプション(closed-caption,字幕)成分が含まれてい
る。復号化されたとき、各フレームのクローズドキャプ
ション成分は、最大２個の英数字すなわち制御文字が含
まれている。これらの文字が数個またはそれ以上のフレ
ームにわたって連続することにより、単語および文が形
成される。
【００１６】このテキスト（文字列）は、典型的には専
用クローズドキャプション復号器によって回復され、ビ
デオスクリーン上に表示されるフレームに重ね合わされ
る。テキストは、そのプログラムの音声部分に対応する
対話その他の情報を含んでいる。クローズドキャプショ
ン情報をビデオ源に加える技術の詳細ついては、たとえ
ば、Public Broadcasting ServiceによるReport No.E-7
709-C "Television Captionin For the Deaf:Signal an
d Display Specifications"（1980年5月、JohnLentzら
著）に記載されている。
【００１７】この発明は、クローズドキャプション・ビ
デオプログラムの圧縮方法に関するもので、この方法で
は、プログラム内の各場面からの代表フレームが、その
ビデオプログラムのクローズドキャプション成分を復号
化することによって生成されたテキストと結合される。
ここでいう「ビデオ」は、特定のビデオ標準に限られる
ものではなく、少なくとも二つの情報伝達メディア成分
をもち、そのうちの一つが視覚情報成分であるような複
数フレームの連続を意味する。
【００１８】複数フレームは、いかなる形態で記録され
てもよく、たとえば、フィルム、従来型ビデオや、コン
ピュータメモリ等の種々の電子形態がある。また、ここ
で「フレーム」とは、特定の形態と関係するすべてのメ
ディア成分のための記録情報の原子的要素を意味する。
【００１９】本発明について、ここではクローズドキャ
プション成分をもつビデオプログラムの圧縮方法につい
て記述するが、この方法は、二つ以上のメディア成分を
有するマルチメディア情報のいかなるソースに対しても
同様に適応できる。たとえば、この方法はビデオ成分と
音声成分とを有するビデオプログラムを圧縮するのに利
用できる。音声成分は、スピーチ（話声）及びその他の
音情報（たとえば音楽）を含むことができる。必要によ
り、音声成分は、以下に述べるような絵入り写本を生成
できるように、スピーチからテキストへの変換を行って
もよい。
【００２０】図１は、本発明によるマルチメディアデー
タ圧縮のための装置２の実施例のブロック図である。こ
の実施例では、装置２は、ビデオ入力源１からビデオ入
力を受信する。ビデオ入力源１は、たとえば、アンテナ
またはケーブルテレビに接続されたビデオチューナ、ビ
デオテープレコーダまたは、ビデオとクローズドキャプ
ション情報を提供できるその他のソースである。
【００２１】装置２は、場面切り替え検出部４、クロー
ズドキャプション復号部５、デジタルコンピュータ８か
らなる。場面切り替え検出部４は、入力源１からビデオ
信号を受信するとすぐに作動してそのビデオ信号内の各
場面ごとに一つの代表フレームを生成する。代表フレー
ムを選択する場面切り替え検出部は公知であって、その
例は前出の文献にも記載されている。それぞれの代表フ
レームは、一つの場面全体の視覚情報内容を代表する視
覚情報を含んでいる。デジタル入力源の替わりにアナロ
グ入力源が使われる場合は、そのアナログ入力をデジタ
ル化するイメージデジタイザを場面切り替え検出部４に
含めてもよい。
【００２２】場面切り替え検出部４によって抽出された
代表フレームは、デジタルコンピュータ８に伝送され
る。入力源１からのビデオ信号はクローズドキャプショ
ン復号部５でも受信され、クローズドキャプション復号
部５はそのビデオ信号からクローズドキャプション文字
を抽出して、それを復号化した形態でデジタルコンピュ
ータ８に伝達する。デジタルコンピュータ８は、代表フ
レーム及びクローズドキャプション情報を、たとえば主
メモリ９またはハードディスク１０内に取り出し可能な
形態で記憶する。
【００２３】以下に詳述するように、デジタルコンピュ
ータ８は、対応表を作ることによって、各代表フレーム
とクローズドキャプション情報の一つのセグメントとの
間の対応関係を確立する。代表フレームとクローズドキ
ャプション成分は、後に読み出され、プリンタ１２また
は表示器１３に送られ、または通信ネットワーク１４を
通じて伝送される。
【００２４】内容に基づく圧縮方法では、たとえば一つ
のビデオプログラム内のＮ個の場面のそれぞれに一つず
つの代表フレームを生成し、Ｎ個の代表フレームＩ1〜
ＩNが保持される。そのような圧縮方法の例は、前出の
文献に記載されている。各代表フレームはそれぞれ一つ
の場面内に含まれる視覚情報を代表するものであるか
ら、各代表フレームは、そのフレームが選択された場面
の長さに等しい時間間隔に対応している。
【００２５】たとえば、フレームＩiに対応する時間間
隔は、ｉ番目の場面境界の検出によって始まり、（ｉ＋
１）番目の場面境界の検出の１フレーム前で終了する。
代表フレームＩiが選択された場面を構成する一連のフ
レームをＶＳiと表す。このとき、Ｎ個の代表フレーム
Ｉ1〜ＩNは、そのビデオプログラムを、Ｎ個の互いに重
ならない視覚セグメントＶＳ1〜ＶＳNに分割する。各代
表フレームＩiは視覚セグメントＶＳiに対応する。
【００２６】そのビデオプログラムの各フレームはクロ
ーズドキャプション成分の一部分に対応するので、一つ
の視覚セグメントＶＳiを構成する一連の複数フレーム
のそれぞれは、一つのクローズドキャプションセグメン
ト（これをＴＳiと表す）に対応する。したがって、こ
の発明の方法がそのビデオプログラムをＮ個の視覚セグ
メントＶＳ1〜ＶＳN（各セグメントは一つの代表フレー
ムによって特徴付けられる）に分割するとき、そのクロ
ーズドキャプション成分もＮ個のセグメントに分割され
る。
【００２７】クローズドキャプション成分の分割は、た
とえば、新しい視覚セグメントが場面切り替え検出部４
によって検出されるごとに、クローズドキャプション成
分がデジタルコンピュータ８によって読み出され、その
ときにその成分を時間で区切ることによって、行う。Ｎ
個のクローズドキャプションセグメントＴＳiは、Ｎ個
の視覚セグメントＶＳiと１対１に対応する。この、各
視覚セグメントＶＳiの代表フレームとＮ個のクローズ
ドキャプションセグメントＴＳiとの間の対応関係は、
たとえば図２に示す対応表によって確立される。
【００２８】対応表２１は、デジタルコンピュータ８内
に収容されたフレームメモリ２２とテキストメモリ２３
を採用する。フレームメモリ２２は、場面切り替え検出
部４によって作成された代表フレームＩ1〜ＩNを記憶
し、テキストメモリ２３は、クローズドキャプションセ
グメントＴＳ1〜ＴＳNを記憶する。対応表２１は、少な
くとも２個の欄と、Ｎ個の代表フレームについてＮ行を
有する。対応表２１の第１欄２６は、代表フレームＩ1
〜ＩNを指し示す情報を含んでいる。この情報は、たと
えば、ポインタ（図２でフレームポインタＰＩ1〜ＰＩN
として示されている）の形態であって、フレームメモリ
２２に記憶されている代表フレームの位置を指し示して
いる。
【００２９】たとえば、ポインタＰＩ1は第１欄の代表
フレームＩ1を指し示している。この情報は、もしその
フレームが固定サイズであるならば、フレームメモリ２
２内のそのフレームの初めと終わりの位置を決定するの
に十分である。そのフレームのサイズが変動する場合
は、複数のフレームが、連続するメモリ位置に順番に記
憶されているものと仮定することにより、ポインタＰＩ
(i+1)によってフレームＩiの終了を決定できる。
【００３０】対応表２１の第２欄２７は、クローズドキ
ャプションセグメントＴＳ1〜ＴＳNを指し示す情報を含
んでいる。この表の第１欄と同様に、フレームＩiに関
する情報は、第２欄２７の第ｉ行に含まれている。この
情報もポインタの形態でよく、たとえば、クローズドキ
ャプションセグメントＴＳiの位置を指し示すクローズ
ドキャプションポインタＰＴiである。フレームＩiに対
応するクローズドキャプションセグメントＴＳiの終わ
りは、ポインタＰＴ(i+1)によって位置を表すことがで
きる。
【００３１】図２には、採用してもよい二つの追加ポイ
ンタが示されている。すなわち、イメージ終了ポインタ
２６とテキスト終了ポインタ２７である。これらは、そ
れぞれ、Ｎ番目の代表フレーム及びＮ番目のクローズド
キャプションセグメントの終了を示す。
【００３２】対応表の構成は上述の例に限られない。対
応表は、各代表フレームが、対応するクローズドキャプ
ション部分と適当に対応づけられて双方の成分がすぐに
読み出せるようになっているのもであれば、どのような
ものでもよい。たとえば、対応表は種々の情報を記憶す
る追加の欄を有してもよい。すなわち、代表フレームと
クローズドキャプションセグメントのサイズ、各視覚セ
グメントの初めと終わりを示すフレーム番号、各場面の
長さ、クローズドキャプションセグメント内の文字の個
数等の情報である。
【００３３】または、各代表フレーム及びそれに関連す
るクローズドキャプションセグメントを別個のファイル
として記憶してもよい。この構成においては、この対応
表への入力は各ファイルの位置または名称を特定する。
【００３４】オリジナルのビデオプログラムと、容易さ
れた対応表とから、圧縮されたビデオプログラムを構成
する代表フレーム及びクローズドキャプションセグメン
トが抽出された後に、そのデータは、後に取り出せるよ
うに、適当な方法で記録しておけばよい。その後、デー
タは、必要な形態で、プリントされ、表示され、または
伝送される。
【００３５】たとえば、データは、連続する代表フレー
ムのそれぞれが、クローズドキャプション・テキストの
キャプションを与えられるような絵入り写本(pictorial
transcript)の形態で、プリントされ、表示され、また
は伝送される。絵入り写本の形態の一例として、テレビ
ニュース番組の一部分について図３に示す。写本(trans
cript)は、テキスト（文字列）に絵を具合よく挿入する
ことのできるコマーシャルテキスト処理パッケージとと
もにプリントしてもよい。
【００３６】絵入り写本のプリントに先立って、そのク
ローズドキャプション信号内に含まれる、プリントでき
ない制御文字（表示機能を制御するために使用される）
を取り除くのが必要なこともある。これらの文字は、た
とえば、表示される文字の色、フォント、表示スクリー
ン上のテキスト列の位置等を制御する。
【００３７】制御文字は、プリントできないということ
に加えて、クローズドキャプション成分を個々の場面に
基づいて上述の方法で適当に分割する上で悪い影響を及
ぼすことがある。たとえば、制御文字が、クローズドキ
ャプション成分内に収容されたテキストを文の中間で分
割することがありうる。このような、クローズドキャプ
ション成分の不適当な分割は、他の理由によっても起こ
りうる。たとえば、ビデオ成分とクローズドキャプショ
ン成分の不適当な同期によっても起こる。不適当な同期
は、場面境界の検出遅れ、または、クローズドキャプシ
ョン成分のデジタルコンピュータへの伝送遅れ等によっ
て起こる。
【００３８】不適当な分割の理由のいかんにかかわら
ず、生のテキストを処理して制御文字を削除し、また、
互いに隣接するクローズドキャプションセグメントの境
界を移動させて、一つの単語や一つの文が途中で分割さ
れている部分を結合させて完全な単語や完全な文とする
ことが望ましい。英単語が途中で分割された状態は、ス
ペース等の適当な符号（キャラクタ）で分割されていな
いクローズドキャプション・ポインタの反対側にくるキ
ャラクタの位置を探すことにより簡単に特定できる。次
に、これらのキャラクタを結合して完全な単語とすれば
よい。
【００３９】同様に、文が分割された状態は、クローズ
ドキャプションのポインタの反対側が疑問符、感嘆符ま
たは終止符のようなキャラクタで仕切られていない単語
の位置を見いだすことによって特定できる。それから、
文の各部を結合させて一つの文にすればよい。それか
ら、一つの代表イメージに対応してクローズドキャプシ
ョンポインタが完全な単語及び文を含むように調整され
る。
【００４０】制御文字を取り除く代わりに、制御文字
を、テキスト処理段階等の、次の段階で、適当に解釈で
きる他の文字で置き換えることもできる。たとえば、ク
ローズドキャプション表示窓でフォントまたは色を変え
るのに使用される制御文字は、採用されるテキスト処理
パッケージにおいて使用される対応のフォント変更コマ
ンドによって置き換えることができる。
【００４１】一つのビデオプログラムのクローズドキャ
プション成分に伝達される文字は、典型的には、すべて
大文字で伝送される。したがって、絵入り写本をプリン
トする前に制御文字を取り除くか置き換えることに加え
て、クローズドキャプション成分から抽出された生のテ
キストをまず処理して、通常のプリントされたテキスト
と整合をとるように、大文字のいくつかを小文字に変換
するのが望ましい。
【００４２】この処理はいろいろな方法で実現できる。
たとえば、大文字を、初めにすべて小文字に変換しても
よい。つぎに、終止符または疑問符等の区切りの符号
（文字）の次の文字は大文字にする。最後に、頭文字を
大文字で書くべき多数の固有名詞を電子的に記憶された
辞書に納めればよい。図３に示された絵入り文字は、こ
のようにして部分的に処理されたものである。文字はす
べて、上のケースから下のケースへ変換され、終止符の
次の文字を大文字とした。図からわかるように、固有名
詞は大文字になっていない。
【００４３】
【発明の効果】本発明によれば、第１と第２の情報伝達
メディア成分を有する一連の複数フレームを圧縮し、ま
たこれを復元することができる。
【図面の簡単な説明】
【図１】本発明によりマルチメディアデータを圧縮する
装置の一実施例のブロック図。
【図２】一つのクローズドキャプション・ビデオプログ
ラムの代表フレームとクローズドキャプション成分の位
置を特定するための対応表の例を示す図。
【図３】本発明方法によるテレビニュースプログラムか
ら作られプリントされた絵入り写本の１ページの例。
【符号の説明】
１ 入力源 ２ 装置 ４ 場面切り替え検出部 ５ クローズドキャプション復号部 ８ デジタルコンピュータ ９ 主メモリ １０ ハードディスク １１ プロセッサ １２ プリンタ １３ 表示器 １４ 通信ネットワーク ２１ 対応表 ２２ フレームメモリ ２３ テキストメモリ ２６ 対応表の第１欄（イメージエンドポインタ） ２７ 対応表の第２欄（テキストエンドポインタ）
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ベザド シャーラレイ アメリカ合衆国、07728 ニュージャー ジー、 フリーホールド、シェアウッド ドライブ 194 (56)参考文献 特開 昭51−147109（ＪＰ，Ａ) 特開 昭57−62676（ＪＰ，Ａ) 特開 昭60−223275（ＪＰ，Ａ) 特開 平１−175452（ＪＰ，Ａ) 特開 平４−47879（ＪＰ，Ａ) 特開 平４−355584（ＪＰ，Ａ) 特開 平５−62349（ＪＰ，Ａ) 特表 平９−501808（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H03M 7/30

Claims (16)

    (57)【特許請求の範囲】
  1. 【請求項１】 視覚情報を伝達する複数のフレームの連
    続を圧縮する方法であって、各フレームがテキスト情報
    を表すクローズドキャプション成分を有するものにおい
    て、 （Ａ）前記複数のフレームの連続とクローズドキャプシ
    ョン成分の連続を複数のセグメントに分割するステップ
    と、 （Ｂ）各セグメントそれぞれから代表フレームのみを維
    持するステップと、 （Ｃ）クローズドキャプション成分に含まれるプリント
    できない制御文字を除去して、各セグメントのクローズ
    ドキャプション成分を維持するステップと、 （Ｄ）各セグメントにつき、代表フレームとクローズド
    キャプション成分を記憶するステップと、 を有することを特徴とする複数フレームの連続を圧縮す
    る方法。
  2. 【請求項２】 請求項１に記載の方法において、 前記（Ａ）分割するステップは、前記代表フレームを選
    択するように、内容に基づいて前記フレームの連続のサ
    ンプリングを行うステップを有することを特徴とする方
    法。
  3. 【請求項３】 請求項１に記載の方法において、各セグ
    メントは、単一の場面を構成することを特徴とする方
    法。
  4. 【請求項４】 請求項２に記載の方法において、各セグ
    メントは、単一の場面を構成することを特徴とする方
    法。
  5. 【請求項５】 請求項４に記載の方法において、前記ク
    ローズドキャプション成分を復号化するステップをさら
    に有することを特徴とする方法。
  6. 【請求項６】 請求項５に記載の方法において、前記ク
    ローズドキャプション成分のセグメントを各代表フレー
    ムに関連付けて配置するための対応表を生成して記憶す
    るステップをさらに有することを特徴とする方法。
  7. 【請求項７】 請求項６に記載の方法において、プリン
    トされた絵入り写本を提供するために、各場面それぞれ
    について、前記代表フレーム及びクローズドキャプショ
    ン成分のプリントされた表現を生成するステップをさら
    に有することを特徴とする方法。
  8. 【請求項８】 請求項６に記載の方法において、絵入り
    写本を提供するために、各場面それぞれについて、前記
    代表フレーム及びクローズドキャプション成分を表示す
    るステップをさらに有することを特徴とする方法。
  9. 【請求項９】 視覚情報を伝達する複数のフレームの連
    続を圧縮する方法であって、各フレームがこれに対応す
    る音声成分を有するものにおいて、 （Ａ）前記複数のフレームの連続とこれに対応する音声
    成分を複数のセグメントに分割するステップと、 （Ｂ）各セグメントそれぞれから代表フレームのみを維
    持するステップと、 （Ｃ）各セグメントの前記音声成分を維持するステップ
    と、 （Ｄ）代表フレームそれぞれと、これに関連する音声成
    分とを記憶するステップと、 を有することを特徴とする複数のフレームの連続を圧縮
    する方法。
  10. 【請求項１０】 請求項９に記載の方法において、 前記（Ａ）分割するステップは、前記代表フレームを選
    択するように、内容に基づいて前記フレームの連続のサ
    ンプリングを行うステップを有することを特徴とする方
    法。
  11. 【請求項１１】 請求項９に記載の方法において、各セ
    グメントは、単一の場面を構成することを特徴とする方
    法。
  12. 【請求項１２】 請求項１０に記載の方法において、各
    セグメントは、単一の場面を構成することを特徴とする
    方法。
  13. 【請求項１３】 請求項１２に記載の方法において、前
    記音声成分セグメントを各代表フレームに関連付けて配
    置するための対応表を生成して記憶するステップをさら
    に有することを特徴とする方法。
  14. 【請求項１４】 請求項１３に記載の方法において、 前記音声成分は音声言語成分を含み、 当該方法はその音声言語成分をテキスト成分に変換する
    ステップをさらに有することを特徴とする方法。
  15. 【請求項１５】 請求項１４に記載の方法において、各
    場面についてプリントされた絵入り写本を提供するため
    に、前記代表フレーム及びテキスト成分のプリントされ
    た表現を生成するステップをさらに有することを特徴と
    する方法。
  16. 【請求項１６】 少なくとも第１と第２の情報伝達メデ
    ィア成分を有する複数のフレームの連続の圧縮された表
    現を表示する方法において、 （Ａ）第１の情報伝達メディア成分内に収容された情報
    を代表する複数の代表フレームを受信するステップと、 （Ｂ）前記複数の代表フレームのそれぞれと第２の情報
    伝達メディア成分のセグメントとの間の対応関係を形成
    する情報を有する信号を受信するステップと、 （Ｃ）前記対応関係に基づいて、前記代表フレームと第
    ２の情報伝達メディア成分とを表示するステップと、 を有することを特徴とする連続の圧縮された表現を表示
    する方法。
JP7149746A 1994-06-02 1995-05-25 複数のメディア成分を有する情報伝達フレーム列の圧縮方法及びその装置 Expired - Lifetime JP3025176B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US252861 1988-09-30
US08/252,861 US6271892B1 (en) 1994-06-02 1994-06-02 Method and apparatus for compressing a sequence of information-bearing frames having at least two media

Publications (2)

Publication Number Publication Date
JPH0851369A JPH0851369A (ja) 1996-02-20
JP3025176B2 true JP3025176B2 (ja) 2000-03-27

Family

ID=22957862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7149746A Expired - Lifetime JP3025176B2 (ja) 1994-06-02 1995-05-25 複数のメディア成分を有する情報伝達フレーム列の圧縮方法及びその装置

Country Status (8)

Country Link
US (1) US6271892B1 (ja)
EP (1) EP0685823B1 (ja)
JP (1) JP3025176B2 (ja)
KR (1) KR100340373B1 (ja)
CA (1) CA2146050C (ja)
DE (1) DE69520171T2 (ja)
HK (1) HK1004496A1 (ja)
SG (1) SG63521A1 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2311678B (en) * 1996-03-27 2000-06-28 Sony Uk Ltd Script editor
US6169789B1 (en) * 1996-12-16 2001-01-02 Sanjay K. Rao Intelligent keyboard system
US6209028B1 (en) 1997-03-21 2001-03-27 Walker Digital, Llc System and method for supplying supplemental audio information for broadcast television programs
US6473778B1 (en) * 1998-12-24 2002-10-29 At&T Corporation Generating hypermedia documents from transcriptions of television programs using parallel text alignment
US6647535B1 (en) * 1999-03-18 2003-11-11 Xerox Corporation Methods and systems for real-time storyboarding with a web page and graphical user interface for automatic video parsing and browsing
KR100634671B1 (ko) * 1999-08-13 2006-10-13 주식회사 케이티 고정밀도의 실시간 점진적 장면경계 검출기 및 그 방법
US7412643B1 (en) 1999-11-23 2008-08-12 International Business Machines Corporation Method and apparatus for linking representation and realization data
US7050109B2 (en) * 2001-03-02 2006-05-23 General Instrument Corporation Methods and apparatus for the provision of user selected advanced close captions
US8479238B2 (en) * 2001-05-14 2013-07-02 At&T Intellectual Property Ii, L.P. Method for content-based non-linear control of multimedia playback
US6938047B2 (en) * 2003-02-19 2005-08-30 Maui X-Stream, Inc. Methods, data structures, and systems for processing media data streams
US7496676B2 (en) * 2003-02-19 2009-02-24 Maui X-Stream, Inc. Methods, data structures, and systems for processing media data streams
US6874160B1 (en) * 2003-05-01 2005-03-29 Nvidia Corporation Digital video recorder and method of operating the same
US7664292B2 (en) * 2003-12-03 2010-02-16 Safehouse International, Inc. Monitoring an output from a camera
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
US7818444B2 (en) 2004-04-30 2010-10-19 Move Networks, Inc. Apparatus, system, and method for multi-bitrate content streaming
WO2007053112A1 (en) * 2005-11-07 2007-05-10 Agency For Science, Technology And Research Repeat clip identification in video data
JP5444611B2 (ja) * 2007-12-18 2014-03-19 ソニー株式会社 信号処理装置、信号処理方法及びプログラム
US8497939B2 (en) * 2008-12-08 2013-07-30 Home Box Office, Inc. Method and process for text-based assistive program descriptions for television
US20100188573A1 (en) * 2009-01-29 2010-07-29 Usva Kuusiholma Media metadata transportation
US20110125758A1 (en) * 2009-11-23 2011-05-26 At&T Intellectual Property I, L.P. Collaborative Automated Structured Tagging
JP2015026913A (ja) * 2013-07-24 2015-02-05 シャープ株式会社 印刷データ生成装置、画像形成装置、印刷データ生成方法、プログラムおよび記録媒体
KR101924634B1 (ko) * 2017-06-07 2018-12-04 네이버 주식회사 콘텐츠 제공 서버, 콘텐츠 제공 단말 및 콘텐츠 제공 방법

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60143330A (ja) 1983-12-29 1985-07-29 Matsushita Electric Ind Co Ltd 撮影装置
US4823184A (en) 1984-04-09 1989-04-18 Corporate Communications Consultants, Inc. Color correction system and method with scene-change detection
KR920008063B1 (ko) 1988-11-22 1992-09-22 마쯔시다덴기산교 가부시기가이샤 텔레비젼신호수신장치
JPH02177684A (ja) * 1988-12-27 1990-07-10 Matsushita Electric Ind Co Ltd テレビジョン信号のフレーム間符号化装置
JP2977829B2 (ja) 1989-01-11 1999-11-15 株式会社東芝 動画像再生装置および動画像再生方法
US5134472A (en) 1989-02-08 1992-07-28 Kabushiki Kaisha Toshiba Moving object detection apparatus and method
DE69032361T2 (de) * 1989-03-16 1998-10-29 Fujitsu Ltd Video/audiomultiplexübertragungssystem
GB2231745B (en) 1989-04-27 1993-07-07 Sony Corp Motion dependent video signal processing
JP2861249B2 (ja) 1989-05-11 1999-02-24 日本電気株式会社 画像変化検出方法および画像変化検出装置
JPH0335676A (ja) * 1989-07-03 1991-02-15 Hitachi Ltd 動画像符号化方式とそれを用いた動画像符号化装置
US5099322A (en) 1990-02-27 1992-03-24 Texas Instruments Incorporated Scene change detection system and method
JP2711172B2 (ja) 1990-06-15 1998-02-10 アイワ株式会社 ディジタル信号の記録再生方式
US5172281A (en) * 1990-12-17 1992-12-15 Ardis Patrick M Video transcript retriever
US5192964A (en) 1991-03-04 1993-03-09 Ricoh Company, Ltd. Camera having blurring movement correction mechanism
JP2677312B2 (ja) 1991-03-11 1997-11-17 工業技術院長 カメラワーク検出方法
JP3103897B2 (ja) 1991-03-19 2000-10-30 ソニー株式会社 手振れ補正装置および手振れ補正方法
AU657510B2 (en) * 1991-05-24 1995-03-16 Apple Inc. Improved image encoding/decoding method and apparatus
US5265180A (en) 1991-06-13 1993-11-23 Intel Corporation Method of encoding a sequence of images of a digital motion video signal
US5235419A (en) 1991-10-24 1993-08-10 General Instrument Corporation Adaptive motion compensation using a plurality of motion compensators
JPH0756652B2 (ja) * 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション 動画像のフレーム列の検索
GB2280778B (en) * 1992-04-10 1996-12-04 Avid Technology Inc Digital audio workstation providing digital storage and display of video information
US5471576A (en) * 1992-11-16 1995-11-28 International Business Machines Corporation Audio/video synchronization for application programs
US5440336A (en) * 1993-07-23 1995-08-08 Electronic Data Systems Corporation System and method for storing and forwarding audio and/or visual information on demand
US5481296A (en) * 1993-08-06 1996-01-02 International Business Machines Corporation Apparatus and method for selectively viewing video information
US6055025A (en) 1993-12-21 2000-04-25 Lucent Technologies, Inc. Method and apparatus for detecting abrupt and gradual scene changes in image sequences
US6211912B1 (en) 1994-02-04 2001-04-03 Lucent Technologies Inc. Method for detecting camera-motion induced scene changes

Also Published As

Publication number Publication date
DE69520171D1 (de) 2001-04-05
EP0685823A3 (en) 1996-05-01
CA2146050A1 (en) 1995-12-03
JPH0851369A (ja) 1996-02-20
KR100340373B1 (ko) 2002-11-30
EP0685823A2 (en) 1995-12-06
KR960003446A (ko) 1996-01-26
US6271892B1 (en) 2001-08-07
CA2146050C (en) 2000-10-24
EP0685823B1 (en) 2001-02-28
HK1004496A1 (en) 1998-11-27
DE69520171T2 (de) 2001-07-19
SG63521A1 (en) 1999-03-30

Similar Documents

Publication Publication Date Title
JP3025176B2 (ja) 複数のメディア成分を有する情報伝達フレーム列の圧縮方法及びその装置
US6952236B2 (en) System and method for conversion of text embedded in a video stream
US6430357B1 (en) Text data extraction system for interleaved video data streams
EP1614108B1 (en) Recording medium having a data structure for managing reproduction of text subtitle data and methods and apparatuses of recording and reproducing
KR101058054B1 (ko) 비디오 추출
US8838594B2 (en) Automatic method to synchronize the time-line of video with audio feature quantity
Shahraray et al. Automatic generation of pictorial transcripts of video programs
Jensema et al. Closed-captioned television presentation speed and vocabulary
CN100367786C (zh) 在视频特技模式期间的闭路字幕信息显示
JP4905103B2 (ja) 動画再生装置
EP1727368A2 (en) Apparatus and method for providing additional information using extension subtitles file
US20030065503A1 (en) Multi-lingual transcription system
WO2000041175A1 (en) Caption mp3 player having a caption display function, caption mp3 data format and method of reproducing caption mp3 data
US20170188084A1 (en) Automatic synchronization of subtitles based on audio fingerprinting
MXPA03002790A (es) Mecanismo de sincronizacion para subtitulacion multimedia y descripcion de audio.
EP1672919B1 (en) Apparatus for processing texts in digital broadcast receiver and method thereof
JP2009016910A (ja) 映像再生装置及び映像再生方法
JPH08241068A (ja) 情報記録媒体およびビットマップデータ復号化装置とビットマップデータ復号化方法
JP3998187B2 (ja) コンテンツ解説データ生成装置、その方法及びそのプログラム、並びに、コンテンツ解説データ提示装置、その方法及びそのプログラム
KR20010101929A (ko) 영상기록장치, 영상기록방법 및 영상레이트 조정장치
JP2007519321A (ja) 視聴覚データストリームのマルチメディア要約を作成する方法及び回路
KR100404322B1 (ko) 멀티모달 특징 기반의 뉴스 비디오 요약 방법
JP4206445B2 (ja) 字幕番組制作方法、及び字幕番組制作システム
JP4500957B2 (ja) 字幕制作システム
KR100426326B1 (ko) 디지털 만화 서비스 시스템 및 디지털 만화 재생 시스템

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140121

Year of fee payment: 14

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term