JPH11178007A - テロップ文字表示フレーム検出方法、装置およびにテロップ文字表示フレーム検出プログラムを記録した記録媒体 - Google Patents

テロップ文字表示フレーム検出方法、装置およびにテロップ文字表示フレーム検出プログラムを記録した記録媒体

Info

Publication number
JPH11178007A
JPH11178007A JP9343293A JP34329397A JPH11178007A JP H11178007 A JPH11178007 A JP H11178007A JP 9343293 A JP9343293 A JP 9343293A JP 34329397 A JP34329397 A JP 34329397A JP H11178007 A JPH11178007 A JP H11178007A
Authority
JP
Japan
Prior art keywords
edge
frame
telop
character display
telop character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9343293A
Other languages
English (en)
Other versions
JP3479592B2 (ja
Inventor
Hidekatsu Kuwano
秀豪 桑野
Masaharu Kurakake
正治 倉掛
Hiroyuki Arai
啓之 新井
Kenji Ogura
健司 小倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP34329397A priority Critical patent/JP3479592B2/ja
Priority to US09/204,957 priority patent/US6366699B1/en
Publication of JPH11178007A publication Critical patent/JPH11178007A/ja
Priority to US09/967,431 priority patent/US6501856B2/en
Application granted granted Critical
Publication of JP3479592B2 publication Critical patent/JP3479592B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 映像中からテロップ文字が表示されているフ
レームを高精度に検出する。 【解決手段】 動画像入力記憶部1は動画像をフレーム
単位で入力し、記憶する。テロップ文字表示フレーム検
出部2は動画像入力記憶部1から動画像を入力し、テロ
ップ文字が表示されているフレームを検出する。過剰検
出フレーム削除部3は、テロップ文字表示フレーム検出
部2で検出されたテロップ文字が表示されているフレー
ムの中に、同一のテロップ文字が表示されたフレームが
複数存在する場合、その内の1つのフレームをテロップ
文字蓄積部4に蓄積し、残りのフレームは削除する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像を構成する
複数のフレームの中からテロップ文字が表示されている
フレームを検出する技術に関する。
【0002】
【従来の技術】動画像を構成する複数のフレームの中か
ら文字が含まれるフレームを検出する技術に関しては、
近年多くの研究が行われており、フレーム間の輝度差分
に基づいた方法が多く提案されている。これは、テロッ
プ文字の出現時の最初のフレームを検出することには適
している。
【0003】
【発明が解決しようとする課題】映像中にはテロップ文
字が動きを伴いながら表示される場合(例えば、トーク
番組中で、人物の略歴情報が画面下部に左から右に流れ
る場合)がある。この場合、一度テロップ文字列が画面
に表示されてからのフレーム間の輝度差分は変化が少な
く、従来法では動きを伴うテロップ文字が表示されてい
るフレームを検出することは困難になるという問題点が
あった。
【0004】さらに、同一文字が表示されている間に文
字周囲の背景部の輝度が急激に変化する場合に、同一テ
ロップ文字が表示されているフレームを複数枚過剰に検
出するという問題もあった。
【0005】また、従来法[1]で提案されているエッ
ジペア特徴は、隣接している2つのエッジの勾配方向だ
けしか考慮しておらず、エッジ間の輝度値の変化を考慮
していないため、エッジ間の輝度変化の大きいフレーム
を文字が表示されていない場合でも誤って検出すること
も問題であった。
【0006】[1]桑野、新井、倉掛、小倉:“エッジ
密集度によるテロップ文字フレーム検出誤り抑制法”、
信学秋大、D12−12−12,pp.214、(19
97−09) 本発明の目的は、画像特徴の不安定性によるテロップ文
字が表示されていないフレームを誤って検出すること、
および同一テロップ文字表示に関してフレームを過剰に
検出することを減少させるテロップ文字表示フレーム検
出方法、装置およびテロップ文字表示フレーム検出プロ
グラムを記録した記録謀体を提供することにある。
【0007】
【課題を解決するための手段】本発明のテロップ文字表
示検出方法は、動画像をフレーム単位に入力し、各フレ
ーム毎にテロップ文字の表示の有無を判断し、テロップ
文字が表示されていると判断されたフレームを検出し、
テロップ文字が表示されていないと判断されたフレーム
を削除するものである。
【0008】すなわち、本発明のテロップ文字表示フレ
ーム検出方法は、動画像をフレーム単位に入力し、記憶
する動画像入力記憶段階と、入力されたフレームの中か
ら、テロップ文字が表示されているフレームを検出する
テロップ文字表示フレーム検出段階と、テロップ文字が
表示されているフレームの中に、ある同一のテロップ文
字が表示されているフレームが複数存在する場合、1つ
のフレームだけ残し、他のフレームを削除する過剰検出
フレーム削除段階と、残った1つのフレームを蓄積する
テロップ文字表示フレーム蓄積段階を有する。
【0009】また、本発明のテロップ文字表示フレーム
検出装置は、動画像をフレーム単位に入力し、記憶する
動画像入力記憶手段と、入力されたフレームの中から、
テロップ文字が表示されているフレームを検出するテロ
ップ文字表示フレーム検出手段と、テロップ文字が表示
されているフレームの中に、ある同一のテロップ文字が
表示されているフレームが複数存在する場合、1つのフ
レームだけ残し、他のフレームを削除する過剰検出フレ
ーム削除手段と、残った1つのフレームを蓄積するテロ
ップ文字表示フレーム蓄積手段を有する。
【0010】テロップ文字表示フレーム検出手段におい
て、画像中の部分ブロック内の隣接エッジ画素の勾配方
向を判断した後、エッジ画素間の輝度変化が少ない場合
をエッジペアとして数える。通常、テロップ文字の内部
色は単一色であるため、この構成によりエッジ間の輝度
変化の大きいフレームの誤検出を軽減できる。
【0011】テロップ文字表示フレーム検出手段に対
し、従来法のように複数フレーム単位で入力し、フレー
ム間の輝度差分特徴を用いるのではなく、入力するフレ
ームを1枚づつとし、1枚の情報だけを使ってテロップ
文字が表示されているかどうか判断する。これにより、
動きを伴うテロップ文字が表示されているフレームの検
出が可能になる。
【0012】過剰検出フレーム削除手段を設け、テロッ
プ文字表示フレーム検出手段から入力された時間的に隣
接する2枚のフレームに対し、部分ブロック内で、前時
刻のフレーム中のエッジ画素と両フレームに共通して存
在するエッジ画素の数を比較する。前記の数と後者の数
が大きく異なる場合に、2枚のフレームが類似していな
いものとみなし、2枚のフレームのうち時間的に前のフ
レームをテロップ文字表示フレームとして検出する。こ
の構成により同一テロップ文字が表示されているフレー
ムが複数検出された場合、これらを1枚だけに検出し、
残りの過剰検出結果は削除することができる。
【0013】動画像をフレーム単位に入力し、本発明の
テロップ文字表示フレーム検出プログラムを記録した記
録謀体は、記憶装置に記憶する動画像入力記憶処理と、
入力されたフレームの中から、テロップ文字が表示され
ているフレームを検出するテロップ文字表示フレーム検
出処理と、テロップ文字が表示されているフレームの中
に、ある同一の文字が表示されているフレームが複数存
在する場合、1つのフレームだけを残し、他のフレーム
を削除する過剰検出フレーム削除処理と、残った1つの
フレームを記憶装置に蓄積するテロップ文字表示フレー
ム蓄積処理を記録している。
【0014】
【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。
【0015】図1を参照すると、本発明の一実施形態の
テロップ文字表示フレーム検出装置は、動画像をフレー
ム単位で検出する動画像入力記憶部1と、テロップ文字
が表示されているフレームを検出するテロップ文字表示
フレーム検出部2と、同一のテロップ文字が表示された
フレームが複数枚入力された場合、1枚に限定し、残り
のフレームを削除する過剰検出フレーム削除部3と、残
った1枚のテロップ文字表示フレームを蓄積するテロッ
プ文字表示フレーム蓄積部4で構成されている。
【0016】図2を参照すると、テロップ文字表示フレ
ーム検出部2は部分ブロック分割部11と未処理部分ブ
ロック判断部12とエッジ検出部13とスキャン制御部
14とエッジ勾配方向判断部15とエッジ間輝度変化算
出部16とエッジペアカウント部17とエッジペア総数
算出部18とエッジペア数判断部19とフラグ情報設定
部20とプラグ情報判段部21で構成されている。
【0017】部分ブロック分割部11は、入力フレーム
を部分ブロックに分割する。図6は入力フレームを8個
の部分ブロックに分割する例を示している。
【0018】未処理部分ブロック判断部12は、分割さ
れた部分ブロックのうち注目部分ブロックについて、フ
ラグ情報設定の処理が済んだかどうか判断する。
【0019】エッジ検出部13は、予め決められた方法
を用いて、画像を構成する複数の画素のうち輝度の値が
局所的に不連続に変化する部分の画素であるエッジ画素
の方向情報も伴ったエッジ検出処理を行う。
【0020】スキャン制御部14は、エッジペアを算出
する走査線を指定する(図7参照)。
【0021】エッジ勾配方向判断部15は、検出したエ
ッジ画素の走査線方向の勾配方向(上り、下り)を判断
する(図8)。
【0022】エッジ間輝度変化算出部16は、隣接する
エッジ画素の間の輝度値の変化を図9のように計算す
る。
【0023】エッジペアカウント部17は、隣接するエ
ッジの勾配方向が逆(上り、下りの順かあるいは下り、
上りの順)であり、かつエッジ間の輝度変化が小さい場
合、該エッジをエッジペアとしてカウントする。図8の
例ではエッジペアの数は13である。また、図10の例
では水平方向スキャン、垂直方向スキャンのエッジペア
の数はそれぞれ25,12である。
【0024】エッジペア総数算出部18は、走査方向別
に算出したエッジペアの合計を計算する。
【0025】エッジペア数判断部19は、エッジペアの
合計と予め設定した値を比較する。
【0026】フラグ情報設定部20は、エッジペア数と
予め設定した値の比較結果により該部分ブロックにフラ
グ情報を設定する。
【0027】フラグ情報判断部21は、全ブロックのフ
ラグ情報より該フレームをテロップ文字表示フレームと
して出力する。
【0028】図3を参照すると、過剰検出フレーム削除
部3は、2フレーム画像入力部31と部分ブロック分割
部32と2フレームANDエッジ画素個数カウント部3
3と前フレーム画像中エッジ画素個数カウント部34と
エッジ画素個数判断部35で構成されている。
【0029】2フレーム画像入力部31はテロップ文字
表示フレーム検出部3よりテロップ文字表示フレームと
して検出され、時間的に隣接する2つのフレームを入力
する。
【0030】部分ブロック分割部32は、入力された時
間的に隣接する2つのフレームを部分ブロックに分割す
る(図6参照)。
【0031】2フレームANDエッジ画素個数カウント
部33は、時間的に隣接する2フレームの対応する2つ
の画素が共にエッジ画素である画素(ANDエッジ画
素)の個数を数える。
【0032】前フレーム画像中エッジ画素個数カウント
部34は、入力された2枚のフレームのうち時間的に前
のフレーム中のエッジ画素の総数を数える。
【0033】エッジ画素個数判断部35は、ANDエッ
ジ画素の総数が前フレーム中のエッジ画素の総数に対し
て占める割合を算出する。図11の例では、ANDエッ
ジ画像「ABH」のエッジ画像の総数が、前フレームエ
ッジ画像「ABC」のエッジ画素の総数に対して占める
割合を求める。そして前記割合が予め定められた範囲を
越える部分ブロックが例えばスキャン方向に予め定めら
れた個数よりも少ない場合、当該フレームをテロップ文
字表示フレームとして出力し、前記条件を満たさない場
合、2つのフレームのうち時間的に前のフレームを削除
する。
【0034】図4はテロップ文字表示フレーム検出部2
の詳細な処理を示す流れ図である。
【0035】フレーム画像Frame(t)の番号t、
テロップ文字表示フレームTelop(tt)の番号t
tを初期化する(ステップ101)。番号tがフレーム
画像Frame(t)の総数T以下かどうか判定する。
番号tがフレーム画像総数Tよりも大きければ処理を終
了する。番号tがT以下であればフレーム画像Fram
e(t)を読み込む(ステップ103)。フレーム画像
Frame(t)を部分ブロックに分割する(ステップ
104)。未処理部分ブロックがあるかどうか判定する
(ステップ105)。未処理ブロックがあれば、エッジ
画素を検出する(ステップ106)。エッジペア数をゼ
ロクリアする(ステップ119)。未処理スキャン方向
があるかどうか判定する(ステップ107)。未処理ス
キャンがあれば未処理エッジ画素があるかどうか判定す
る(ステップ108)。未処理エッジ画素がなければス
テップ107に戻る。未処理エッジ画素があれば、上り
エッジ画素と下りエッジ画素が隣接するかどうか判定す
る(ステップ109)。隣接しなければステップ108
に戻り、隣接すればエッジ画素間の輝度の変化が予め設
定した範囲内かどうか判定する(ステップ110)。範
囲内でなければステップ108に戻り、範囲内であれば
エッジペア数を+1インクリメントし、ステップ108
に戻る。ステップ107で未処理スキャン方向がなけれ
ば、エッジペア数の合計が予め設定した数よりも多いか
どうか判定する(ステップ112)。予め設定した数よ
りも多くなければ、該部分ブロックのフラグ情報を
「1」にセットし(ステップ113)、ステップ105
に戻る。エッジペア数の合計が予め設定した数よりも多
ければ、該部分ブロックのフラグ情報を「0」にセット
する(ステップ114)。ステップ105で、未処理部
分ブロックがなければ、水平方向あるいは垂直方向に予
め設定した個数以上のフラグ情報「1」の部分ブロック
が隣接して存在するかどうか判定する(ステップ11
5)。存在しなければ、番号tを+1インクリメントし
て(ステップ116)、ステップ102に戻り、存在す
れば、フレーム画像Frame(t)をテロップ文字表
示フレームTelop(tt)として出力し(ステップ
117)、番号ttを+1インクリメントし(ステップ
118)、ステップ116に進む。
【0036】なお、ステップ102は、1番最後でも、
ステップ105はステップ114の次でも、ステップ1
08,107はステップ111の次でもよい。
【0037】図5は過剰検出フレーム削除部3の詳細な
処理を示す流れ図である。
【0038】まず、テロップ文字表示フレームTelo
p(tt)の番号ttを初期化する(ステップ20
0)。次に、番号ttの値がテロップ文字表示フレーム
総数T’以下かどうか判定する(ステップ201)。t
tの値がT´よりも大きければ処理を終了する。次に、
ttが1かどうか判定する(ステップ202)。ttが
1であれば、テロップ文字表示フレームTelop
(t)のエッジ画像Edge(t)を読み込む(ステッ
プ203)。次に、テロップ文字表示フレームTelo
p(tt+1)のエッジ画像Edge(tt+1)を読
み込む(ステップ204)。次に、2枚のエッジ画像E
dge(tt)、Edge(tt+1)を位置を揃えて
重ね合わせる(ステップ205)。次に、エッジ画像E
dge(tt),Edge(tt+1)を部分ブロック
に分割する(ステップ206)。未処理部分ブロックが
あるかどうか判定する(ステップ207)。未処理部分
ブロックがあれば、部分ブロック内で2枚のフレームの
対応する画素が共にエッジ画素である画素(ANDエッ
ジ画素)の個数を数える(ステップ208)。次に、A
NDエッジ画素の数が予め設定した数よりも多いかどう
か判定する(ステップ209)。多くなければ、ステッ
プ207に戻る。多ければ部分ブロック内でエッジ画像
Edge(tt)内の全エッジ画素の数を数える(ステ
ップ210)。ANDエッジ画素の総数がエッジ画像E
dge(tt)内のエッジ画素総数に対して占める割合
が予め設定した範囲内かどうか判定する(ステップ21
1)。前記割合を超える部分ブロックが予め定められた
個数よりも少ない場合、該部分ブロックのフラグ情報を
「1」にセットし(ステップ212)、ステップ207
に戻る。前記割合を超える場合部分ブロックが予め定め
られた個数以上の場合、該部分ブロックのフラグ情報を
「0」にセットし(ステップ213)、ステップ207
に戻る。ステップ207で、未処理部分ブロックがなけ
れば、水平方向あるいは垂直方向に予め設定した個数以
上のフラグ情報「1」の部分ブロックが隣接して存在す
るかどうか判定する(ステップ214)。存在しなけれ
ばテロップ画像Telop(tt)を過剰フレームとし
て除去し(ステップ215)、番号ttを+1にインク
リメントする(ステップ216)。存在すれば、テロッ
プ画像Telop(tt)をテロップ文字表示フレーム
蓄積部4へ出力する(ステップ217)。
【0039】ステップ201は一番最後でもよく、ステ
ップ207はステップ213の次でもよい。
【0040】なお、本実施形態ではスキャン方向を水平
方向と垂直方向としたが、斜めの方向でもよい。
【0041】図12(1)を参照とすると、本発明の他
の実施形態のテロップ文字表示フレーム検出装置は、動
画像を入力する入力装置41と、動画像を記憶する記憶
装置42と、テロップ文字表示フレームを蓄積する記憶
装置43と、テロップ文字表示フレーム検出プログラム
を記録した、FD、CD−ROM、半導体メモリ等の記
録媒体44と、記録媒体44からテロップ文字表示フレ
ーム検出プログラムを読み込んで実行するデータ処理装
置45で構成されている。
【0042】テロップ文字表示フレーム検出プログラム
は、図12(2)に示すように、動画像をフレーム単位
に入力し、記憶装置42に記憶する動画像入力記処理5
1と、入力されたフレームの中から、テロップ文字が表
示されているフレームを検出するテロップ文字表示フレ
ーム検出処理52と、テロップ文字が表示されているフ
レームの中に、ある同一のテロップ文字が表示されてい
るフレームが複数存在する場合、1つのフレームだけを
残し、他のフレームを削除する過剰検出フレーム削除処
理53と、残った1つのフレームを記憶装置43に蓄積
するテロップ文字表示フレーム蓄積処理54で構成され
ている。
【0043】なお、テロップ文字表示フレーム検出処理
52として図2、図4に示した処理、過剰検出フレーム
削除処理53として図3、図5に示した処理を含んでも
よい。
【0044】
【発明の効果】以上説明したように、本発明によれば、
テロップ文字が表示されていないフレームを検出してし
まう誤検出や同一テロップ文字表示に関してフレームを
複数枚検出してしまう過剰検出を抑え、映像中からテロ
ップ文字が表示されているフレームを高精度に検出する
ことが可能となる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施形態のテロップ文字表示フレー
ム検出装置のブロック図である。
【図2】テロップ文字表示フレーム検出部2の一例を示
すブロック図である。
【図3】過剰検出抑制処理部3の一例を示すブロック図
である。
【図4】テロップ文字表示フレーム検出部2の処理を示
す流れ図である。
【図5】過剰検出フレーム削除部3の処理を示す流れ図
である。
【図6】部分ブロック分割の一例を示す図である。
【図7】スキャン方向の一例を示す図である。
【図8】エッジの勾配方向判断の一例を示す図である。
【図9】部分ブロック内のエッジペア数の計算の一例を
示す図である。
【図10】エッジ間輝度変化算出の一例を示す図であ
る。
【図11】前フレーム中のエッジ画素とANDエッジ画
素の比較の一例を示す図である。
【図12】本発明の他の実施形態のテロップ文字表示フ
レーム検出表示装置 のブロック内である。
【符号の説明】
1 動画像入力記憶部 2 テロップ文字表示フレーム検出部 3 過剰検出フレーム削除部 4 テロップ文字表示フレーム蓄積部 11 部分ブロック分割部 12 未処理部分ブロック判断部 13 エッジ検出部 14 スキャン制御部 15 エッジ勾配方向判断部 16 エッジ間輝度変化算出部 17 エッジペアカウント部 18 エッジペア総数算出部 19 エッジペア数判断部 21 フラグ情報設定部 22 フラグ情報判断部 31 2フレーム画像入力部 32 部分ブロック分割部 33 2フレームANDエッジ点個数カウント部 34 前フレーム画像中エッジ点個数カウント部 35 エッジ点個数判断部 41 入力装置 42,43 記憶装置 44 記憶謀体 45 データ処理装置 51 動画像入力記憶処理 52 テロップ文字表示フレーム検出処理 53 過剰検出フレーム削除処理 54 テロップ文字表示フレーム蓄積処理 100〜119,200〜217 ステップ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 小倉 健司 東京都新宿区西新宿三丁目19番2号 日本 電信電話株式会社内

Claims (14)

    【特許請求の範囲】
  1. 【請求項1】 動画像をフレーム単位に入力し、各フレ
    ーム毎にテロップ文字の表示の有無を判断し、テロップ
    文字が表示されていると判断されたフレームを検出し、
    テロップ文字が表示されていないと判断されたフレーム
    を削除するテロップ文字表示フレーム検出方法。
  2. 【請求項2】 動画像をフレーム単位に入力し、記憶す
    る動画像入力記憶段階と、 入力されたフレームの中から、テロップ文字が表示され
    ているフレームを検出するテロップ文字表示フレーム検
    出段階と、 テロップ文字が表示されているフレームの中に、ある同
    一のテロップ文字が表示されているフレームが複数存在
    する場合、1つのフレームだけを残し、他のフレームを
    削除する過剰検出フレーム削除段階と、 残った1つのフレームを蓄積するテロップ文字表示フレ
    ーム蓄積段階を有するテロップ文字表示フレーム検出方
    法。
  3. 【請求項3】 前記テロップ文字表示フレーム検出段階
    が、 入力されたフレームを互いに重なりを許さない予め設定
    された複数個の部分のブロックに分割する部分ブロック
    分割段階と、 前記各部分ブロックに対して予め決められたエッジ検出
    法を用いて、画像を構成する複数の画素のうち輝度の値
    が局所的に不連続に変化する部分の画素であるエッジ画
    素の検出を行うエッジ検出段階と、 エッジ検出結果画像および元の濃淡画像を予め設定され
    た方向にスキャンし、スキャン方向の各走査線上に存在
    するエッジ画素に関してそれらの勾配の方向を判断する
    エッジ勾配方向判断段階と、 前記スキャン方向のある走査線上で隣接する2つのエッ
    ジ画素の勾配方向が反対方向である場合、該2つのエッ
    ジ画素間の輝度の変化が予め設定された範囲内であれ
    ば、それらを1組のエッジペアと数え、予め設定された
    全てのスキャン方向毎にエッジペアの数を数えるエッジ
    ペアカウント段階と、 予め設定された全てのスキャン方向毎に求められたエッ
    ジペアの数の合計数を算出するエッジペア総数算出段階
    と、 エッジペアの合計数が予め設定された値以上の部分ブロ
    ックが前記スキャン方向に予め決められた個数以上隣接
    して存在する場合、当該フレームをテロップ文字が表示
    されているフレームの候補として検出するテロップ文字
    表示フレーム検出段階を有し、入力された画像の全ての
    フレームについて各段階を繰り返す、請求項2記載の方
    法。
  4. 【請求項4】 前記過剰検出フレーム削除段階が、 テロップ文字が表示されていると検出された、時間的に
    隣接する2つのフレームを入力し、該2つのフレーム
    の、エッジ画素からなるエッジ画像を互いに重なりを許
    さない予め設定された複数個の部分ブロックに分割する
    部分ブロック分割段階と、 入力された時間的に隣接する2つのフレームについて、
    対応する各部分ブロックの中で、2つのフレームの対応
    する画素が共にエッジ画素である画素の総数を数える2
    フレームANDエッジ画素個数カウント段階と、 入力された時間的に隣接する2つのフレームのうち、時
    間的に前のフレームについて得られた各部分ブロックの
    中でエッジ画素の総数を数える前フレーム画像中エッジ
    画素個数カウント段階と、 前者のエッジ画素総数が後者のエッジ画素総数に対して
    占める割合が予め指定された範囲を越える部分ブロック
    が予め決められた個数よりも少ない場合、当該フレーム
    をテロップ文字が表示されているフレームとして検出
    し、該条件を満たさない場合、2つのフレームのうち時
    間的に前のフレームを削除するエッジ画素個数判別段階
    を有し、入力された全てのテロップ文字表示フレームに
    ついて各段階を繰り返す、請求項3記載の方法。
  5. 【請求項5】 前記テロップ文字表示フレーム検出段階
    が、 フレーム画素Frame(t)の番号t、テロップ文字
    表示フレームTelop(tt)の番号ttを初期化す
    る段階と、 番号tをフレーム画像Frame(t)の総数Tと比較
    する段階と、 フレーム画像Frame(t)を読み込む段階と、 フレーム画像Frame(t)を、互いに重なりを許さ
    ない予め設定された複数個の部分ブロックに分割する段
    階と、 未処理部分ブロックがあるかどうか判定する段階と、 未処理部分ブロックがあれば、該未処理ブロックについ
    て、画像を構成する複数の画素のうち輝度の値が局所的
    に不連続に変化する部分の画素であるエッジ画素を検出
    する段階と、 エッジペア数をゼロクリアする段階と、 未処理スキャン方向があるかどうか判定する段階と、 未処理スキャン方向があれば、未処理エッジ画素がある
    かどうか判定し、なければ未処理スキャン方向があるか
    どうか判定する段階に戻る段階と、 隣接する上りエッジ画素と下りエッジ画素間の輝度の変
    化が予め設定された範囲内にあるかどうか判定する段階
    と、 隣接する上りエッジ画素と下りエッジ画素間の輝度の変
    化が予め設定した範囲内にあれば、エッジペア数を+1
    インクリメントし、未処理エッジ画素があるか判定する
    段階に戻る段階と、 未処理スキャン方向がなくなった場合、エッジペア数の
    合計が予め設定された数よりも多いかどうか判定する段
    階と、 エッジペア数の合計が予め設定された数と同じか、少な
    い場合、該部分ブロックのフラグ情報を第1の値に設定
    し、未処理部分ブロックがあるかどうか判定する段階に
    戻る段階と、 エッジペア数の合計の数が予め設定された数よりも多い
    場合、該部分ブロックのフラグ情報を第2の値に設定す
    る段階と、 未処理部分ブロックがなくなった場合、前記スキャン方
    向に予め設定された個数以上の、フラグ情報が第2の値
    の部分ブロックが隣接して存在するかどうか判定する段
    階と、 フラグ情報が第2の値の部分ブロックが予め設定された
    個数以上隣接して存在しない場合、フレーム画像Fra
    me(t)の番号tを+1インクリメントし、フレーム
    画像Frame(t)の番号tとフレーム画像の総数T
    を比較する段階に戻る段階と、 フラグ情報を第2の値の部分ブロックが予め設定された
    個数以上隣接して存在する場合、フレーム画像Fram
    e(t)をテロップ文字表示フレームTelop(t
    t)として出力する段階と、 テロップ文字表示フレームTelop(tt)の番号t
    tを+1インクリメントし、フレーム画像Frame
    (t)の番号tを+1インクリメントする段階に進む段
    階を有する、請求項2記載の方法。
  6. 【請求項6】 前記過剰検出フレーム削除段階が、 テロップ文字表示フレームTelop(tt)の番号t
    tを初期化する段階と、 テロップ文字表示フレームTelop(tt)の番号t
    tをテロップ文字表示フレームの総数T´と比較する段
    階と、 ttがT´以下の場合、ttが1かどうか判定する段階
    と、 tt=1の場合、テロップ文字表示フレームTelop
    (tt)の、エッジ画素からなるエッジ画像Edge
    (tt)を読み込む段階と、 tt=1でない場合、テロップ文字表示フレームTel
    op(tt+1)のエッジ画像Edge(tt+1)を
    読み込む段階と、 2枚のエッジ画像Edge(tt),Edge(tt+
    1)を位置を揃えて重ね合わせる段階と、 2枚のエッジ画像Edge(tt),Edge(tt+
    1)を、互いに重なりを許さない予め設定された複数個
    の部分ブロックに分割する段階と、 未処理部分ブロックがあるかどうか判定する段階と、 未処理部分ブロックがあれば、部分ブロック内で2枚の
    テロップ文字表示フレームTelop(tt),Tel
    op(tt+1)の対応する画素が共にエッジ画素であ
    るANDエッジ画素の個数を数える段階と、 ANDエッジ画素の数が予め設定された数よりも多いか
    どうか判定し、ANDエッジ画素の数が予め設定された
    数と同じか、少ない場合、未処理部分があるかどうか判
    定する段階に戻る段階と、 ANDエッジ画素の数が予め設定された数よりも多い場
    合、部分ブロック内でエッジ画像Edge(tt)内の
    エッジ画素数を数える段階と、 エッジ画像Edge(tt)内のエッジ画素数に占める
    ANDエッジ画素数の割合が予め設定された値を越える
    かどうか判定する段階と、 エッジ画像Edge(tt)内のエッジ画素数に占める
    ANDエッジ画素数の割合が設定された値を超えた場
    合、該部分ブロックのフラグ情報を第1の値に設定し、
    未処理部分ブロックがあるかどうか判定する段階に戻る
    段階と、 エッジ画像Edge(tt)内のエッジ画素数に占める
    ANDエッジ画素数の割合が予め設定された値と同じ
    か、該値よりも小さい場合、該部分ブロックのフラグ情
    報を第2の値に設定し、未処理部分ブロックがあるかど
    うか判定する段階に戻る段階と、 未処理部分ブロックがなくなった場合、フラグ情報が第
    1の値の部分ブロックが予め設定した個数と同じか、こ
    れよりも大きい場合、テロップ文字表示フレーム候補T
    elop(tt)を過剰検出フレームとして除去する段
    階と、 テロップ文字表示フレーム候補Telop(tt)の番
    号ttを+1インクリメントし、ttが1かどうか判定
    する段階に戻る段階と、 未処理部分ブロックがなくなった場合、フラグ情報が第
    1の部分ブロックが予め設定された個数よりも少ない場
    合、テロップ文字表示フレーム候補Telop(tt)
    をテロップ文字表示フレームとして出力し、テロップ文
    字表示フレーム候補Telop(tt)の番号ttを+
    1インクリメントする段階に進む段階を有する、請求項
    5記載の方法。
  7. 【請求項7】 動画像をフレーム単位に入力し、記憶す
    る動画像入力記憶手段と、 入力されたフレームの中から、テロップ文字が表示され
    ているフレームを検出するテロップ文字表示フレーム検
    出手段と、 テロップ文字が表示されているフレームの中に、ある同
    一のテロップ文字が表示されているフレームが複数存在
    する場合、1つのフレームだけを残し、他のフレームを
    削除する過剰検出フレーム削除手段と、 残った1つのフレームを蓄積するテロップ文字表示フレ
    ーム蓄積手段を有するテロップ文字表示フレーム検出装
    置。
  8. 【請求項8】 前記テロップ文字表示フレーム検出手段
    が、 入力されたフレームを互いに重なりを許さない予め設定
    された複数個の部分のブロックに分割する部分ブロック
    分割手段と、 前記各部分ブロックに対して予め決められたエッジ検出
    法を用いて、画像を構成する複数の画素のうち輝度の値
    が局所的に不連続に変化する部分の画素であるエッジ画
    素の検出を行うエッジ検出手段と、 エッジ検出結果画像および元の濃淡画像を予め設定され
    た方向にスキャンし、スキャン方向の各走査線上に存在
    するエッジ画素に関してそれらの勾配の方向を判断する
    エッジ勾配方向判断手段と、 前記スキャン方向のある走査線上で隣接する2つのエッ
    ジ画素の勾配方向が反対方向である場合、該2つのエッ
    ジ画素間の輝度の変化が予め設定された範囲内であれ
    ば、それらを1組のエッジペアと数え、予め設定された
    全てのスキャン方向毎にエッジペアの数を数えるエッジ
    ペアカウント手段と、 予め設定された全てのスキャン方向毎に求められたエッ
    ジペアの数の合計数を算出するエッジペア総数算出手段
    と、 エッジペアの合計数が予め設定された値以上の部分ブロ
    ックが前記スキャン方向に予め決められた個数以上隣接
    して存在する場合、当該フレームをテロップ文字が表示
    されているフレームの候補として検出するテロップ文字
    表示フレーム検出手段を有する請求項7記載の装置。
  9. 【請求項9】 前記過剰検出フレーム削除手段が、 テロップ文字が表示されていると検出された、時間的に
    隣接する2つのフレームを入力し、該2つのフレーム
    の、エッジ画素からなるエッジ画像を互いに重なりを許
    さない予め設定された複数個の部分ブロックに分割する
    部分ブロック分割手段と、 入力された時間的に隣接する2つのフレームについて、
    対応する各部分ブロックの中で、2つのフレームの対応
    する画素が共にエッジ画素である画素の総数を数えるフ
    レームANDエッジ画素個数カウント手段と、 入力された時間的に隣接する2つのフレームのうち、時
    間的に前のフレームについて得られた各部分ブロックの
    中でエッジ画素の総数を数える前フレーム画像中エッジ
    画素個数カウント手段と、 前者のエッジ画素総数が後者のエッジ画素総数に対して
    占める割合が予め指定された範囲を越える部分ブロック
    が予め決められた個数よりも少ない場合、当該フレーム
    をテロップ文字が表示されているフレームとして検出
    し、該条件を満たさない場合、2つのフレームのうち時
    間的に前のフレームを削除するエッジ画素個数判別手段
    を有する請求項8記載の装置。
  10. 【請求項10】 動画像をフレーム単位に入力し、記憶
    装置に記憶する動画像入力記処理と、 入力されたフレームの中から、テロップ文字が表示され
    ているフレームを検出するテロップ文字表示フレーム検
    出処理と、 テロップ文字が表示されているフレームの中に、ある同
    一のテロップ文字が表示されているフレームが複数存在
    する場合、1つのフレームだけを残し、他のフレームを
    削除する過剰検出フレーム削除処理と、 残った1つのフレームを記憶装置に蓄積するテロップ文
    字表示フレーム蓄積処理をコンピュータに実行させるた
    めのテロップ文字表示フレーム検出プログラムを記憶し
    た記録媒体。
  11. 【請求項11】 入力されたフレームを互いに重なりを
    許さない予め設定された複数個の部分のブロックに分割
    する部分ブロック分割処理と、 前記各部分ブロックに対して予め決められたエッジ検出
    法を用いて、画像を構成する複数の画素のうち輝度の値
    が局所的に不連続に変化する部分の画素であるエッジ画
    素の検出を行うエッジ検出処理と、 エッジ検出結果画像および元の濃淡画像を予め設定され
    た方向にスキャンし、スキャン方向の各走査線上に存在
    するエッジ画素に関してそれらの勾配の方向を判断する
    エッジ勾配方向判断処理と、 前記スキャン方向のある走査線上で隣接する2つのエッ
    ジ画素の勾配方向が反対方向である場合、該2つのエッ
    ジ画素間の輝度の変化が予め設定された範囲内であれ
    ば、それらを1組のエッジペアと数え、予め設定された
    全てのスキャン方向毎にエッジペアの数を数えるエッジ
    ペアカウント処理と、 予め設定された全てのスキャン方向毎に求められたエッ
    ジペアの数の合計数を算出するエッジペア総数算出処理
    と、 エッジペアの合計数が予め設定された値以上の部分ブロ
    ックが前記スキャン方向に予め決められた個数以上隣接
    して存在する場合、該フレームをテロップ文字が表示さ
    れているフレームの候補として検出するテロップ文字表
    示フレーム検出処理をコンピュータに実行させるための
    テロップ文字表示フレーム検出プログラムを記録した記
    録媒体。
  12. 【請求項12】 テロップ文字が表示されていると検出
    された、入力された時間的に隣接する2つのフレームを
    入力し、該2つのフレームの、エッジ画素からなるエッ
    ジ画像を互いに重なりを許さない予め設定された複数個
    の部分ブロックに分割する部分ブロック分割処理と、 入力された時間的に隣接する2つのフレームについて、
    対応する各部分ブロックの中で、2つのフレームの対応
    する画素が共にエッジ画素である画素の総数を数える2
    フレームANDエッジ画素個数カウント処理と、 入力された時間的に隣接する2つのフレームのうち、時
    間的に前のフレームについて得られた各部分ブロックの
    中でエッジ画素の総数を数える前フレーム画像中エッジ
    画素個数カウント処理と、 前者のエッジ画素総数が後者のエッジ画素総数に対して
    占める割合が予め指定された範囲を越える部分ブロック
    が予め決められた個数よりも少ない場合、当該フレーム
    をテロップ文字が表示されているフレームとして検出
    し、該条件を満たさない場合、2つのフレームのうち時
    間的に前のフレームを削除するエッジ点個数判別処理を
    コンピュータに実行させるための記録媒体。
  13. 【請求項13】 フレーム画像Frame(t)の番号
    t、テロップ文字表示フレームTelop(tt)の番
    号ttを初期化する処理と、 番号tをフレーム画像Frame(t)の総数Tと比較
    する処理と、 フレーム画像Frame(t)を読み込む処理と、 フレーム画像Frame(t)を、互いに重なりを許さ
    ない予め設定された複数個の部分ブロックに分割する処
    理と、 未処理部分ブロックがあるかどうか判定する処理と、 未処理部分ブロックがあれば、該未処理ブロックについ
    て、画像を構成する複数の画素のうち、輝度の値が局所
    的に不連続に変化する部分の画素であるエッジ画素を検
    出する処理と、 エッジペア数をゼロクリアする段階と、 未処理スキャン方向があるかどうか判定する処理と、 未処理スキャン方向があれば、未処理エッジ画素がある
    かどうか判定し、なければエッジペア数をゼロクリアす
    る段階に戻る処理と、 隣接する上りエッジ画素と下りエッジ画素間の輝度の変
    化が予め設定された範囲内にあるかどうか判定する処理
    と、 隣接する上りエッジ画素と下りエッジ画素間の輝度の変
    化が予め設定した範囲内にあれば、エッジペア数を+1
    インクリメントし、未処理エッジ画素があるか判定する
    段階に戻る処理と、 未処理スキャン方向がなくなった場合、エッジペア数の
    合計が予め設定された数よりも多いかどうか判定する処
    理と、 エッジペア数の合計が予め設定された数と同じか、少な
    い場合、該部分ブロックのフラグ情報を第1の値に設定
    し、未処理部分ブロックがあるかどうか判定する段階に
    戻る処理と、 エッジペア数の合計の数が予め設定された数よりも多い
    場合、該部分ブロックのフラグ情報を第2の値に設定す
    る処理と、 未処理部分ブロックがなくなった場合、前記スキャン方
    向に予め設定された個数以上の、フラグ情報が第2の値
    の部分ブロックが隣接して存在するかどうか判定する処
    理と、 フラグ情報が第2の値の部分ブロックが予め設定された
    個数以上隣接して存在しない場合、フレーム画像Fra
    me(t)の番号tを+1インクリメントし、フレーム
    画像Frame(t)の番号tとフレーム画像の総数T
    を比較する段階に戻る処理と、 フラグ情報が第2の値の部分ブロックが予め設定された
    個数以上隣接して存在する場合、フレーム画像Fram
    e(t)をテロップ文字表示フレームTelop(t
    t)として出力する処理と、 テロップ文字表示フレームTelop(tt)の番号t
    tを+1インクリメントし、フレーム画像Frame
    (t)の番号tを+1インクリメントする段階に進む処
    理をコンピュータに実行させるためのテロップ文字表示
    フレーム検出プログラムを記録した記録媒体。
  14. 【請求項14】 テロップ文字表示フレームTelop
    (tt)の番号ttを初期化する処理と、 テロップ文字表示フレームTelop(tt)の番号t
    tをテロップ文字表示フレームの総数T´と比較する処
    理と、 ttがT´以下の場合、ttが1かどうか判定する処理
    と、 tt=1の場合、テロップ文字表示フレームTelop
    (tt)の、エッジ画素からなるエッジ画像Edge
    (tt)を読み込む処理と、 tt=1でない場合、テロップ文字表示フレームTel
    op(tt+1)のエッジ画像Edge(tt+1)を
    読み込む処理と、 2枚のエッジ画像Edge(tt),Edge(tt+
    1)を位置を揃えて重ね合わせる処理と、 2枚のエッジ画像Edge(tt),Edge(tt+
    1)を、互いに重なりを許さない予め設定された複数個
    の部分ブロックに分割する処理と、 未処理部分ブロックがあるかどうか判定する処理と、 未処理部分ブロックがあれば、部分ブロック内で2枚の
    テロップ文字表示フレームTelop(tt),Tel
    op(tt+1)の対応する画素が共にエッジ画素であ
    るANDエッジ画素の個数を数える処理と、 ANDエッジ画素の数が予め設定された数よりも多いか
    どうか判定し、ANDエッジ画素の数が予め設定された
    数と同じか、少ない場合、未処理部分があるかどうか判
    定する段階に戻る処理と、 ANDエッジ画素の数が予め設定された数よりも多い場
    合、部分ブロック内でエッジ画像Edge(tt)内の
    エッジ画素の数を数える処理と、 エッジ画像Edge(tt)内のエッジ画素総数がAN
    Dエッジ画素総数に対して占める割合が予め指定された
    範囲内かどうか判定する処理と、 ANDエッジ画素の数がエッジ画像Edge(tt)の
    エッジ画素数に対して占める割合が予め指定された値を
    超えた場合、該部分ブロックのフラグ情報を第1の値に
    設定し、未処理部分ブロックがあるかどうか判定する段
    階に戻る処理と、ANDエッジ画素数がエッジ画像Ed
    ge(tt)内のエッジ画素数に対して占める割合比が
    予め設定された範囲内にあれば、該部分ブロックのフラ
    グ情報を第2の値に設定し、未処理部分ブロックがある
    かどうか判定する段階に戻る処理と、 未処理部分ブロックがなくなった場合、前記スキャン方
    向に予め設定された個数以上の、フラグ情報が第1の値
    の部分ブロックが隣接して存在するかどうか判定する処
    理と、 フラグ情報が第1の部分ブロックが予め設定された個数
    以上隣接して存在しなければ、テロップ文字表示フレー
    ムTelop(tt)を過剰検出フレームとして除去す
    る処理と、 テロップ文字表示フレームTelop(tt)の番号t
    tを+1インクリメントし、ttが1かどうか判定する
    段階に戻る処理と、 フラグ情報が第1の部分ブロックが予め設定された個数
    以上隣接して存在すれば、テロップ文字表示フレームT
    elop(tt)を出力し、テロップ文字表示フレーム
    Telop(tt)の番号ttを+1インクリメントす
    る段階に進む処理を有コンピュータを実行させるための
    過剰検出フレーム削除プログラムを記録した記録媒体。
JP34329397A 1997-12-04 1997-12-12 テロップ文字表示フレーム検出方法、装置、およびテロップ文字表示フレーム検出プログラムを記録した記録媒体 Expired - Lifetime JP3479592B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP34329397A JP3479592B2 (ja) 1997-12-12 1997-12-12 テロップ文字表示フレーム検出方法、装置、およびテロップ文字表示フレーム検出プログラムを記録した記録媒体
US09/204,957 US6366699B1 (en) 1997-12-04 1998-12-03 Scheme for extractions and recognitions of telop characters from video data
US09/967,431 US6501856B2 (en) 1997-12-04 2001-09-28 Scheme for extraction and recognition of telop characters from video data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34329397A JP3479592B2 (ja) 1997-12-12 1997-12-12 テロップ文字表示フレーム検出方法、装置、およびテロップ文字表示フレーム検出プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JPH11178007A true JPH11178007A (ja) 1999-07-02
JP3479592B2 JP3479592B2 (ja) 2003-12-15

Family

ID=18360404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34329397A Expired - Lifetime JP3479592B2 (ja) 1997-12-04 1997-12-12 テロップ文字表示フレーム検出方法、装置、およびテロップ文字表示フレーム検出プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3479592B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005235220A (ja) * 2004-02-18 2005-09-02 Samsung Electronics Co Ltd 動画像の字幕検出方法および装置
US7787705B2 (en) 2002-12-26 2010-08-31 Fujitsu Limited Video text processing apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006330795A (ja) * 2005-05-23 2006-12-07 Nippon Telegr & Teleph Corp <Ntt> 映像トピック区間情報作成装置、映像トピック区間情報作成方法、映像トピック区間情報作成プログラム、及び記録媒体

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105340A (ja) * 1993-09-30 1995-04-21 Nippondenso Co Ltd 表示プレート検出装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105340A (ja) * 1993-09-30 1995-04-21 Nippondenso Co Ltd 表示プレート検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7787705B2 (en) 2002-12-26 2010-08-31 Fujitsu Limited Video text processing apparatus
US7929765B2 (en) 2002-12-26 2011-04-19 Fujitsu Limited Video text processing apparatus
JP2005235220A (ja) * 2004-02-18 2005-09-02 Samsung Electronics Co Ltd 動画像の字幕検出方法および装置

Also Published As

Publication number Publication date
JP3479592B2 (ja) 2003-12-15

Similar Documents

Publication Publication Date Title
JP4664432B2 (ja) ショットサイズ識別装置及び方法、電子機器、並びにコンピュータプログラム
CN108769776B (zh) 标题字幕检测方法、装置及电子设备
WO2006060496A2 (en) Artifact reduction in a digital video
JP4545195B2 (ja) デジタル映像のアーティファクト削減
US7450778B2 (en) Artifact reduction in a digital video
JPH0944670A (ja) 特定画像領域抽出方法及び特定画像領域抽出装置
KR100843074B1 (ko) 복수개의 크로마키 색을 이용한 영상 출력 장치 및 방법
JP2010239605A (ja) 映像編集装置
CN112601068A (zh) 视频数据增广方法、装置及计算机可读介质
JP3258924B2 (ja) シーン管理装置、シーン管理方法及び記録媒体
JP4659793B2 (ja) 画像処理装置及び画像処理方法
JPH08214210A (ja) 映像カット点検出方法及び装置
US6999621B2 (en) Text discrimination method and related apparatus
JPH11178007A (ja) テロップ文字表示フレーム検出方法、装置およびにテロップ文字表示フレーム検出プログラムを記録した記録媒体
US6384872B1 (en) Method and apparatus for interlaced image enhancement
JP3470938B2 (ja) テロップ文字表示フレーム検出方法及び装置
US20020081030A1 (en) System and method for detecting text in mixed graphics data
JP3089396B2 (ja) マーク読み取り装置および方法
JP3435334B2 (ja) 映像中文字領域抽出装置および方法および記録媒体
JPH07107275A (ja) 画像領域判別装置
JP2001076094A (ja) 文字列情報抽出装置及び方法及びその方法を記録した記録媒体
JP3024574B2 (ja) 動画像検索装置
JP3881455B2 (ja) 画像補正装置及び画像補正方法並びに画像補正方法を記録した媒体
JP2000182028A (ja) 字幕領域検出方法及びその装置、並びに動画像検索方法及びその装置
US8358850B2 (en) Determination method of edge direction

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081003

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091003

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101003

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term