JP4055109B2 - Interlaced video signal motion detection device and progressive scan conversion device using the same - Google Patents

Interlaced video signal motion detection device and progressive scan conversion device using the same Download PDF

Info

Publication number
JP4055109B2
JP4055109B2 JP2001307240A JP2001307240A JP4055109B2 JP 4055109 B2 JP4055109 B2 JP 4055109B2 JP 2001307240 A JP2001307240 A JP 2001307240A JP 2001307240 A JP2001307240 A JP 2001307240A JP 4055109 B2 JP4055109 B2 JP 4055109B2
Authority
JP
Japan
Prior art keywords
field
output
inter
motion
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001307240A
Other languages
Japanese (ja)
Other versions
JP2003116109A (en
Inventor
英樹 相羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2001307240A priority Critical patent/JP4055109B2/en
Publication of JP2003116109A publication Critical patent/JP2003116109A/en
Application granted granted Critical
Publication of JP4055109B2 publication Critical patent/JP4055109B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、フレームレートの低い信号源から2−3プルダウンまたは2−2プルダウン等のプルダウンによってインターレースに変換されたインターレース映像信号の動きを検出するのに好適な動き検出装置及びこれを用いた順次走査変換装置に関する。
【0002】
【従来の技術】
NTSC信号やHDTV信号等の標準的なテレビジョン信号はインターレース(飛び越し走査)信号である。インターレース信号は画像の垂直方向に高い周波線分が多くなるとラインフリッカ等のインターレース妨害を引き起こす。そこで、インターレースで間引かれている部分の走査線を周辺の走査線で補間し、順次走査信号(ノンインターレース信号あるいはプログレッシブ信号とも呼ばれる)に変換することによって、インターレース妨害を除去する処理方法がある。このような処理装置は、順次走査変換装置と称される。
【0003】
ここで、順次走査変換のための走査線補間の概略について説明する。図5は走査線構造を示す図であり、(a)はインターレース信号、(b)は走査線補間によってインターレース信号を順次走査信号に変換した信号を示している。図5中の○は伝送されてくる走査線を示し、×は補間された走査線を示している。図5及び後述する図6のVは垂直方向、tは時間方向である。
【0004】
最も一般的な順次走査変換のための走査線補間は、画像の動き検出の結果に応じて補間方法を異ならせる動き適応処理で行われる。即ち、図6に示すように、画像が静止している場合は、後フィールドの画素F01,前フィールドの画素F21の平均値またはどちらか一方を×で示す新しい画素Yとして、新しい走査線を生成する。これは、フィールド間補間あるいは静止画補間と称される。画像が動いている場合に静止画と同じ補間方法をすると、画像が多重像になってしまう。そこで、画像が動いている場合は、上下の画素F10,F12の平均値を×で示す新しい画素Yとして、新しい走査線を生成する。これは、フィールド内補間もしくはライン補間あるいは動画補間と称される。
【0005】
このとき、画像が静止している場合は折り返し歪みが少なく解像度も高い良好な変換画質が得られるが、画像が動いている場合は折り返し歪みが多く解像度も低い劣化した変換画質となる。また、画像が動いているか静止しているかどうかを検出する動き検出回路を誤検出のない回路に設計することは一般的に難しい。
【0006】
ところで、順次走査信号に変換すべき入力信号が、フレームレートが24フレーム/秒である映写フィルムから例えば2−3プルダウンによってインターレースに変換された信号の場合は、上述した動き適応処理とは異なる方法を採用することによって、画像が動いた場合でも良好な変換画質を得ることができる。
【0007】
2−3プルダウンとは、図7に示すようなフレームレート変換のことである。具体的には、図7(A)に示す24フレーム/秒の映画等のフィルム映像信号A,B,C,…を、図7(B)に示す60フィールド/秒のインターレース信号a,a’,b,b’,b,c’,c…に変換するための方法として用いられる。なお、a’,b’…の符号「’」を付したものは偶数フィールドを示しており、符号「’」を付していないものは奇数フィールドを示している。2−3プルダウンの他に、フレームレートが30フレーム/秒の信号の場合に用いる2−2プルダウンもあるが、本明細書では代表して2−3プルダウンについて説明する。
【0008】
図7に示すように、2−3プルダウンは、元々1フレームであった画像が2もしくは3フィールドに振り分けられている。図7(B)において、例えばフィールドaとフィールドa’は互いの走査線がずれた状態ではあるものの、同一の映像である。従って、この変換の規則パターンさえ分かれば、隣接フィールドから走査線を補間(フィールド間補間)して順次走査に変換することができる。60フィールド/秒のインターレース信号を順次走査に変換すると、図7(C)に示す60フレーム/秒の順次走査信号A,A,B,B,B,C,C…となる。
【0009】
図6で説明したように、フィールド間補間は、前フィールドの画素F21または後フィールドの画素F01を新しい画素Yとすることによって新しい走査線を生成するので、折り返し歪みが少なく解像度も高い良好な変換画質が得られる。2−3プルダウンの規則パターンを得る方法は、例えば、どのように振り分けて変換したかをコードで伝送する方法や、画像のフィールド間またはフレーム間の差分を統計的に処理することによって、自動的に規則パターンを推測する方法等がある。
【0010】
【発明が解決しようとする課題】
しかしながら、上記のプルダウンの規則パターンを利用して順次走査に変換する方法では、次のような場合に不具合を生じる。
【0011】
(1)プルダウンした規則性を有する映像に字幕等の付加信号が編集によってスーパーインポーズされ、部分的にプルダウンの規則パターンから外れた映像を有する場合。
(2)プルダウンした規則性を有する映像にピクチャ・イン・ピクチャ(PIP)によって通常のインターレース信号やプルダウンの規則パターンから外れた映像がはめ込まれ、部分的にプルダウンの規則パターンから外れた映像を有する場合。
(3)つなぎ編集によって、プルダウンした映像の規則パターンが一時的に乱れる場合。
【0012】
上記(1),(2)の場合は、プルダウンした映像の規則パターンをコードで伝送する場合でも、規則パターンを統計的処理によって検出する場合でも大きな問題となる。また、上記(3)は、プルダウンした映像の規則パターンをコードで伝送する場合には問題となりにくいが、規則パターンを統計的処理によって検出する場合には、規則パターンの検出結果を修正するまでの間、誤った補間による順次走査変換となってしまうので問題となる。
【0013】
本発明はこのような問題点に鑑みなされたものであり、プルダウンによってインターレースに変換されたインターレース映像信号に部分的または一時的な規則パターン外れがある場合に、適切な動き検出信号を出力することができる動き検出装置を提供し、プルダウンによってインターレースに変換されたインターレース映像信号に部分的または一時的な規則パターン外れがある場合でも、誤補間なく良好に順次走査変換することができる順次走査変換装置を提供することを目的とする。
【0014】
【課題を解決するための手段】
本発明は、上述した従来の技術の課題を解決するため、インターレース映像信号の動きを検出する動き検出装置において、前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段(4)と、前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて、動き検出方法を切り換えて動き検出する動き検出回路(5)とを備え、前記動き検出回路は、前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部(50)と、前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部(52)と、前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部(51)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部(57)とを有することを特徴とする動き検出装置を提供する。
また、本発明は、上述した従来の技術の課題を解決するため、インターレース映像信号の動きを検出する動き検出装置において、前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段(4)と、前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて、動き検出方法を切り換えて動き検出する動き検出回路(5)とを備え、前記動き検出回路は、前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部(50)と、前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部(52)と、前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部(51)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部(57,58)とを有することを特徴とする動き検出装置を提供する。
さらに、本発明は、上述した従来の技術の課題を解決するため、インターレース映像信号を順次走査の映像信号に変換する順次走査変換装置において、前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段(4)と、前記注目フィールドの信号を用いてフィールド内補間信号を生成するフィールド内補間手段(3)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記注目フィールドに対する前記後フィールドの信号を用いて第1のフィールド間補間信号を生成し、前記パターン検出手段が前記第2の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号を用いて第2のフィールド間補間信号を生成し、前記パターン検出手段が前記第3の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号または前記後フィールドの信号を用いて第3のフィールド間補間信号を生成するフィールド間補間手段(6)と、前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて動き検出方法を切り換えて動き検出し、動き検出信号を出力する動き検出回路(5)と、前記フィールド内補間手段の出力と前記フィールド間補間手段の出力とを前記動き検出信号に応じて混合または切り換えて出力する補間信号出力手段(7)とを備え、前記動き検出回路は、前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部(50)と、前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部(52)と、前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部(51)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部(57)とを有することを特徴とする順次走査変換装置を提供する。
さらにまた、本発明は、上述した従来の技術の課題を解決するため、インターレース映像信号を順次走査の映像信号に変換する順次走査変換装置において、前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段(4)と、前記注目フィールドの信号を用いてフィールド内補間信号を生成するフィールド内補間手段(3)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記注目フィールドに対する前記後フィールドの信号を用いて第1のフィールド間補間信号を生成し、前記パターン検出手段が前記第2の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号を用いて第2のフィールド間補間信号を生成し、前記パターン検出手段が前記第3の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号または前記後フィールドの信号を用いて第3のフィールド間補間信号を生成するフィールド間補間手段(6)と、前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて動き検出方法を切り換えて動き検出し、動き検出信号を出力する動き検出回路(5)と、前記フィールド内補間手段の出力と前記フィールド間補間手段の出力とを前記動き検出信号に応じて混合または切り換えて出力する補間信号出力手段(7)とを備え、前記動き検出回路は、前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部(50)と、前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部(52)と、前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部(51)と、前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力、前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部(57,58)とを有することを特徴とする順次走査変換装置を提供する。
【0015】
【発明の実施の形態】
以下、本発明のインターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置について、添付図面を参照して説明する。図1は本発明のインターレース映像信号の動き検出装置及びこれを用いた順次走査変換装置の一実施形態を示すブロック図、図2は図1中の動き検出回路5の具体的構成例を示すブロック図、図3は図1中の動き検出回路5の他の具体的構成例を示すブロック図、図4は図2の動作を説明するための波形図である。
【0016】
図1において、入力端子1より入力されたインターレース映像信号は、フィールドメモリ21,22によって順次遅延される。入力端子1より入力されたインターレース映像信号をフィールドf0、フィールドメモリ21の出力をフィールドf1、フィールドメモリ22の出力をフィールドf2とする。なお、この図1の構成では、フィールドf0を1フィールド遅延したフィールドf1を基準のフィールドとして扱うため、フィールドf1を注目フィールド、フィールドf0を後フィールド、フィールドf2を前フィールドと称することとする。
【0017】
動画補間回路3には、注目フィールドf1が入力される。動画補間回路3は注目フィールドf1の信号を用いて動画補間信号Mを生成する。動画補間回路3による動画補間信号Mの生成方法は特に限定されないが、図6で説明したように、上下に位置する走査線の平均値をとる方法が一般的である。
【0018】
パターン検出回路4には、注目フィールドf1と後フィールドf0とが入力される。パターン検出回路4は2−3プルダウンの規則パターンを検出し、パターン検出信号Pを出力する。パターン検出回路4は、入力された注目フィールドf1と後フィールドf0の差分の積算値を数〜数十フィールドに渡って統計的に計算することにより、2−3プルダウンの規則パターンを検出する。プルダウンの規則パターンを統計的処理によって検出する回路構成自体は公知であるので、パターン検出回路4の具体的構成については省略する。規則パターンの検出方法は、これに限定されるものではない。
【0019】
パターン検出回路4より出力されるパターン検出信号Pは、少なくとも次の3つの状態を有している。
(状態1)入力された映像信号がプルダウン変換されたもので、かつ、元のフレームが後フィールドに振り分けられ、注目フィールドと後フィールドとが共通のフレーム画像であると判定された状態。
(状態2)入力された映像信号がプルダウン変換されたもので、かつ、元のフレームが前フィールドに振り分けられ、注目フィールドと前フィールドとが共通のフレーム画像であると判定された状態。
(状態3)入力された映像信号がプルダウン変換されたものではないと判定された状態。
【0020】
なお、2−3プルダウンの場合、元のフレームが後フィールドと前フィールドの両方に振り分けられている状態が存在するが、ここでは(状態2)として扱うこととする。勿論、(状態1)として扱っても問題ない。
【0021】
動き検出回路5には、後フィールドf0と注目フィールドf1と前フィールドf2とが入力される。動き検出回路5には、また、パターン検出信号Pが入力される。動き検出回路5は、パターン検出信号Pに応じて、即ち、上述した(状態1)〜(状態3)の3つの状態に応じて、動き検出方法を切り換える。動き検出回路5は、動き検出の結果、動き検出信号Kを出力する。動き検出回路5の具体的構成及び動き検出方法を切り換え動作については後述する。
【0022】
選択回路6には、後フィールドf0と前フィールドf2とが入力される。選択回路6はパターン検出信号Pに応じて後フィールドf0と前フィールドf2との一方を選択し、選択した信号を静止画補間信号Sとして出力する。選択回路6は、パターン検出信号Pが上記の(状態1)を表すとき、後フィールドf0を選択し、(状態2)を表すとき、前フィールドf2を選択する。(状態3)を表すときは後フィールドf0と前フィールドf2とのいずれを選択してもよいが、ここでは前フィールドf2を選択することとする。
【0023】
図1に破線で囲んで示すように、動き検出回路5と選択回路6とは本発明の動き検出装置を構成している。
【0024】
混合回路7には、動画補間信号Mと静止画補間信号Sと動き検出信号Kが入力される。混合回路7は、動画補間信号Mと静止画補間信号Sとを、動き検出信号Kに応じて適応的に混合し、補間信号Hを出力する。動き検出回路5で完全に静止画と判定された場合はK=0、完全に動画と判定された場合はK=1、中間的な場合は0<K<1とすると、
H=S×(1−K)+M×K …(1)
となる。
【0025】
なお、混合回路7の代わりに選択回路を設け、動き検出信号Kに応じて、動画補間信号Mと静止画補間信号Sとを択一的に切り換えてもよい。但し、混合回路7の方が好ましい。
【0026】
倍速処理回路81には、非補間信号である注目フィールドf1が入力され、倍速処理回路81は注目フィールドf1の信号を倍速化して出力する。倍速処理回路82には、混合回路7より出力された補間信号Hが入力され、倍速処理回路82は補間信号Hを倍速化して出力する。そして、選択回路9は、倍速処理回路81の出力と倍速処理回路82の出力とを交互に選択して、順次走査信号を出力する。順次走査信号は出力端子10より出力される。
【0027】
本発明の特徴の1つは、動き検出回路5が、プルダウンの規則パターンに従って、少なくとも3つの動作モード(動き検出方法)を有していることである。従来においては、プルダウンの規則パターンが検出されると、動き検出を完全に禁止し、動画補間を完全に不動作としていたが、本発明では、プルダウンの規則パターンが検出された場合、動き検出を完全に禁止するのではなく、動き検出を部分的に働かせて、動画補間を部分的に動作させるようにする。
【0028】
ここで、図2を用いて動き検出回路5の具体的構成例について説明する。図2において、フレーム差分検出回路51には、後フィールドf0と前フィールドf2とが入力される。フレーム差分検出回路51は、後フィールドf0と前フィールドf2との差分を検出して、フレーム差分検出信号D1を出力する。フレーム差分検出信号D1は、後フィールドf0と前フィールドf2との差分の絶対値であり、
D1=|f2−f0| …(2)
となる。フレーム差分検出回路51は、後フィールドf0と前フィールドf2とに基づいて2フィールド(1フレーム)間の動きを検出するフレーム間動き検出部である。
【0029】
フィールド差分検出回路50には、後フィールドf0と注目フィールドf1とが入力される。フィールド差分検出回路50は、後フィールドf0と注目フィールドf1との差分を検出して、フィールド差分検出信号d0を出力する。フィールド差分検出信号d0は、後フィールドf0と注目フィールドf1との差分の絶対値であり、
d0=|f1−f0| …(3)
となる。フィールド差分検出回路50は、後フィールドf0と注目フィールドf1に基づいて1フィールド間の動きを検出するフィールド間動き検出部である。
【0030】
フィールド差分検出回路52には、前フィールドf2と注目フィールドf1とが入力される。フィールド差分検出回路52は、前フィールドf2と注目フィールドf1との差分を検出して、フィールド差分検出信号d2を出力する。フィールド差分検出信号d2は、前フィールドf2と注目フィールドf1との差分の絶対値であり、
d2=|f1−f2| …(3)
となる。フィールド差分検出回路52は、前フィールドf2と注目フィールドf1に基づいて1フィールド間の動きを検出するフィールド間動き検出部である。なお、フィールド差分検出回路52を設ける代わりに、フィールド差分検出信号d0を1フィールド遅延させて、フィールド差分検出信号d2とすることも可能である。
【0031】
2つのフィールド差分検出信号d0,d2は、減算回路53,54に入力される。減算回路53はd0−d2を求め、減算回路54はd2−d0を求める。減算回路53,54の出力はそれぞれリミッタ55,56に入力される。リミッタ55,56は入力が負になった(アンダーフローした)場合に、0に制限するためのものである。即ち、減算回路53,54の出力が負になると、リミッタ55,56の出力は0になる。
【0032】
フレーム差分検出回路51の出力であるフレーム差分検出信号D1と、リミッタ55の出力信号D0と、リミッタ56の出力信号D2は、選択回路57に入力される。選択回路57には、上述したパターン検出信号Pが入力され、選択回路57はパターン検出信号Pに応じていずれかの入力信号を選択し、最終的な動き検出信号Kを得る。選択回路57は、パターン検出信号Pが上記の(状態1)を表すときはD0を選択し、(状態2)を表すときはD2を選択し、(状態3)を表すときはD1を選択する。選択回路57は、動き検出信号出力部となっている。
【0033】
図2は、基本的構成のみを示している。画像のエッジ部分での誤検出を避ける目的で、例えば、フレーム差分検出回路51及びフィールド差分検出回路50,52の後段にフィルタを設けて、フレーム差分検出回路51及びフィールド差分検出回路50,52の出力に各種のフィルタ処理を施したり、さらに後段で感度(ゲイン)制御を行うこともある。また、フィールド間差分検出の場合に、走査線位相を一致させ、かつ、垂直高域成分による誤検出を避ける目的で、フィールド差分検出回路50,52の入力信号に対して垂直フィルタ処理を施すこともある。
【0034】
次に、図2のように構成して、上記のように動作させる理由について説明する。まず、(状態3)の場合には、プルダウンの規則パターンが検出されていないので、フレーム差分検出回路51の出力であるフレーム差分検出信号D1を選択することにより、順次走査変換回路の動き検出として一般的に用いられるフレーム差分検出を用いている。
【0035】
そして、(状態1)の場合には、プルダウンで振り分けた組み合わせが後フィールドの場合であるので、本来、後フィールドf0と注目フィールドf1との差分d0は現れないはずである。ところが、従来の問題点として説明したように、字幕等が後から編集で加えられた場合には規則パターンから局所的に外れていることがある。このような場合には、後フィールドf0と注目フィールドf1との差分d0が局所的に出力される。字幕は連続的に動いているわけではないので、字幕部分では逆に前フィールドf2と注目フィールドf1との差分d2は現れない。
【0036】
本発明は、この性質を利用して、減算回路53とリミッタ55によってフィールド差分検出信号d0とフィールド差分検出信号d2とを比較し、フィールド差分検出信号d0がフィールド差分検出信号d2より大きい部分、即ち、プルダウンの規則パターンから外れた特異的な部分だけ、動き判定させることができる。なお、局所的とか特異的な部分と表現したが、つなぎ編集等で規則パターンが画面全体で乱れることもあり、この場合は、当然ながら、画面全体が動き判定される。
【0037】
一方、(状態2)の場合には、(状態1)とは逆の動作により、減算回路54とリミッタ56によってフィールド差分検出信号d0とフィールド差分検出信号d2とを比較し、フィールド差分検出信号d2がフィールド差分検出信号d0より大きい部分だけ、動き判定させることができる。
【0038】
さらに、プルダウンされた映像に字幕が重畳されて、部分的に規則パターンから外れた場合の動作について、図4の波形図を用いて説明する。図4は、フレームレートが24フレーム/秒の画像(24フレーム画像)を2−3プルダウンによってインターレース映像信号に変換した状態を示している。なお、図4において、元のフレームが2フィールドに振り分けられた部分と3フィールドに振り分けられた部分とを理解しやすいよう、2フィールドに振り分けられた部分と3フィールドに振り分けられた部分との間に破線を付している。
【0039】
図4において、tは時間方向であり、24フレーム画像は(A)から(H)へと変化していく。図4(A)〜(D)に示すように、24フレーム画像の一部に編集によって字幕が重畳されている。字幕は、図4(E)のフィールドでは消滅している。前フィールドf2と注目フィールドf1と後フィールドf0が、それぞれ、図4(D)〜(F)の状態であるとする。図4の例は、プルダウンの組み合わせが前フィールドf2と注目フィールドf1になっているので、上述した(状態2)に相当する。このとき、図1における選択回路6は前フィールドf2を選択し、動き検出回路5の選択回路57はリミッタ56の出力信号D2を選択している。
【0040】
図4(I)には、フィールド差分検出信号d2(=|f1−f2|)を示しており、図4(J)には、フィールド差分検出信号d0(=|f1−f0|)を示している。フィールド差分検出信号d0とフィールド差分検出信号d2とを比較すれば分かるように、字幕部分以外の24フレーム画像では、フィールド差分検出信号d0の方がフィールド差分検出信号d2より大きくなっている。しかしながら、字幕部分では、フィールド差分検出信号d2の方がフィールド差分検出信号d0より大きくなっている。このとき、減算回路54の出力はリミッタ56によってリミットされないので、出力信号D2が出力され、字幕部分のみ動き判定されることになる。
【0041】
次に、図3を用いて、動き検出回路5の他の構成例について説明する。図3において、図2と同一部分には同一符号を付し、その説明を適宜省略する。図3が図2と異なるのは、選択回路57の出力とフレーム差分検出信号D1との最小値を計算するための最小値演算回路58を設けた点である。最小値演算回路58は、選択回路57の選択結果とフレーム差分検出信号D1とのいずれがより小さいかを計算し、より小さい方を最終的な動き検出信号Kとして出力する。
【0042】
図3の例では、まず、選択回路57によって、フレーム差分検出信号D1とリミッタ55の出力信号D0とリミッタ56の出力信号D2の内から1つを選択し、そして、最小値演算回路58によって、選択回路57の選択結果とフレーム差分検出信号D1との内の小さい方を選択するようにしているが、次のように構成してもよい。リミッタ55の出力信号D0とリミッタ56の出力信号D2それぞれに対し、フレーム差分検出信号D1との最小値をとり、その後に、(状態1)〜(状態3)に応じていずれかの信号を選択してもよい。
【0043】
即ち、(状態1)のときには、フィールド差分検出回路50の出力であるフィールド差分検出信号d0がフィールド差分検出回路52の出力であるフィールド差分検出信号d2より大なるときのフィールド差分検出信号d0とフィールド差分検出信号d2との差分と、フレーム差分検出回路51の出力であるフレーム差分検出信号D1との小なる方を動き検出信号として出力すればよい。
【0044】
また、(状態2)のときには、フィールド差分検出回路52の出力であるフィールド差分検出信号d2がフィールド差分検出回路50の出力であるフィールド差分検出信号d0より大なるときのフィールド差分検出信号d2とフィールド差分検出信号d0との差分と、フレーム差分検出回路51の出力であるフレーム差分検出信号D1との小なる方を動き検出信号として出力すればよい。さらに、(状態3)のときには、フレーム差分検出回路51の出力であるフレーム差分検出信号D1を動き検出信号として出力すればよい。図3の構成では、選択回路57及び最小値演算回路58が、動き検出信号出力部となっている。
【0045】
この図3のように構成する狙いは、フィールド差分検出回路50,52が垂直高域成分を多く含んだ部分で誤検出しやすいので、その誤検出を避けることである。フィールド差分検出は、本来静止している画像でも垂直高域成分を多く含んだ部分では動き判定してしまう。これを防ぐために垂直方向のローパスフィルタ(垂直LPF)を用いることが多いが、完全に抑えることはできない。本発明では、字幕部分を検出することを1つの目的としており、垂直LPFによって垂直高域成分を除去し過ぎると、字幕部分が動き検出されにくくなり、本発明の効果が薄れてしまうことになる。
【0046】
これに対し、フレーム差分検出回路51によるフレーム差分検出にはフィールド差分検出のような不具合はないので、フィールド差分検出であるリミッタ55,56の出力信号D0,D2のいずれかが選択された場合でも、最小値演算回路58によって、フレーム差分検出信号D1との最小値を求めれば、誤った動き検出信号Kを出力することはない。図3の構成では、垂直高域成分を除去するための垂直LPFの特性を緩やかにすることが可能である。よって、コストダウンも可能である。以上の点から、動き検出回路5としては、図2の構成よりも図3の構成の方が好ましい。
【0047】
以上のようにして、本発明の動き検出装置においては、プルダウンの規則パターンを検出したときでも、その規則パターンから外れた部分では動き検出を動作させ、動き検出信号を発生させる。よって、そのような部分では適切な動き検出信号を出力することができる。本発明の動き検出装置を用いた本発明の順次走査変換装置においては、規則パターンから外れた部分を有する場合でも、誤補間なく良好に順次走査変換することができる。
【0048】
なお、規則パターンから外れた部分では動画処理され、図6の上下ラインの画素F10,F12から補間信号を得るため、フリッカ妨害や垂直解像度の低下をもたらすが、1フィールド分(60フレーム/秒に対して1枚の画像)しかその妨害を受けないので、全く問題となることはない。
【0049】
以上の基本的構成を基にして次のような変形例とすることができる。図1において、選択回路6が後フィールドf0と前フィールドf2のいずれを選択してもよい場合、即ち、(状態3)のようにプルダウン変換されたものではないと判定された場合や元のフレームが後フィールドと前フィールドの両方に振り分けられている場合には、選択回路6の選択肢として、後フィールドf0と前フィールドf2との平均値を追加してもよい。
【0050】
また、動き検出回路5の構成においても基本的な部分だけを示したが、動き検出の精度を上げる技術を盛り込んでもよい。例えば、(状態3)の場合であるプルダウン変換されたものではない通常の60フィールド/秒の映像に対しては、フレーム差分検出信号D1しか動き検出信号として用いていないが、フレーム差分検出信号D1に加えて、フィールド差分検出信号d0,d2を複合的に用いて、動き検出信号を生成してもよい。
【0051】
プルダウンの規則パターンを検出する手段は任意であり、後フィールドf0と前フィールドf2のフレーム差分が5フィールド周期になっていることを検出する方法や送信側からコード化されて伝送されたものをデコードする方法でもよい。また、プルダウンは2−3プルダウンに限定されることはなく、2−2プルダウンであってもよい。本発明によれば、規則パターンがずれた場合でも大きな問題とはならないので、規則パターンを検出するための精度をさほどあげる必要がない。よって、コストダウンが可能となる。
【0052】
【発明の効果】
以上詳細に説明したように、本発明のインターレース映像信号の動き検出装置によれば、プルダウンによってインターレースに変換されたインターレース映像信号に部分的または一時的な規則パターン外れがある場合に、適切な動き検出信号を出力することができる。
【0053】
また、本発明の順次走査変換装置によれば、プルダウンによってインターレースに変換されたインターレース映像信号に部分的または一時的な規則パターン外れがある場合でも、誤補間なく良好に順次走査変換することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態を示すブロック図である。
【図2】図1中の動き検出回路5の具体的構成例を示すブロック図である。
【図3】図1中の動き検出回路5の他の具体的構成例を示すブロック図である。
【図4】図2の動作を説明するための波形図である。
【図5】順次走査変換のための走査線補間の概略を説明するための図である。
【図6】走査線補間の具体的方法を説明するための図である。
【図7】2−3プルダウンとその場合の順次走査変換を説明するための図である。
【符号の説明】
3 動画補間回路(フィールド内補間手段)
4 パターン検出回路(パターン検出手段
5 動き検出回路
6 選択回路(フィールド間補間手段)
7 混合回路(補間信号出力手段)
選択回路
21,22 フィールドメモリ
50,52 フィールド差分検出回路(フィールド間動き検出部)
51 フレーム差分検出回路(フレーム間動き検出部)
57 選択回路(動き検出信号出力部)
58 最小値演算回路(動き検出信号出力部)
81,82 倍速処理回路
[0001]
BACKGROUND OF THE INVENTION
The present invention provides a motion detection apparatus suitable for detecting the motion of an interlaced video signal converted into an interlace by a pulldown such as 2-3 pulldown or 2-2 pulldown from a signal source having a low frame rate, and sequential using the same. The present invention relates to a scan conversion apparatus.
[0002]
[Prior art]
Standard television signals such as NTSC signals and HDTV signals are interlaced signals. The interlace signal causes interlace interference such as line flicker when the number of high frequency lines increases in the vertical direction of the image. Therefore, there is a processing method for removing interlace interference by interpolating the scanning lines of the portions that are thinned out by interlacing with peripheral scanning lines and converting them into sequential scanning signals (also called non-interlaced signals or progressive signals). . Such a processing device is referred to as a progressive scan converter.
[0003]
Here, an outline of scanning line interpolation for progressive scanning conversion will be described. 5A and 5B are diagrams showing a scanning line structure. FIG. 5A shows an interlace signal, and FIG. 5B shows a signal obtained by sequentially converting the interlace signal into a scanning signal by scanning line interpolation. In FIG. 5, “◯” indicates the transmitted scanning line, and “×” indicates the interpolated scanning line. 5 and FIG. 6 described later, V is the vertical direction, and t is the time direction.
[0004]
The most common scanning line interpolation for progressive scan conversion is performed by a motion adaptation process in which an interpolation method is changed according to the result of motion detection of an image. That is, as shown in FIG. 6, when the image is stationary, a new scanning line is generated by setting the average value of the pixel F01 in the subsequent field or the pixel F21 in the previous field as a new pixel Y indicated by x. To do. This is called inter-field interpolation or still image interpolation. If the same interpolation method as that for a still image is used when the image is moving, the image becomes a multiple image. Therefore, when the image is moving, a new scanning line is generated with the average value of the upper and lower pixels F10 and F12 as a new pixel Y indicated by x. This is called intra-field interpolation, line interpolation, or moving image interpolation.
[0005]
At this time, when the image is stationary, a good conversion image quality with little aliasing distortion and high resolution can be obtained. However, when the image is moving, the conversion image quality is deteriorated with much aliasing distortion and low resolution. In addition, it is generally difficult to design a motion detection circuit that detects whether an image is moving or stationary as a circuit without erroneous detection.
[0006]
By the way, when the input signal to be converted into the progressive scanning signal is a signal converted from the projection film having a frame rate of 24 frames / second into the interlace by 2-3 pulldown, for example, a method different from the above-described motion adaptation processing. By adopting, a good conversion image quality can be obtained even when the image moves.
[0007]
2-3 pulldown refers to frame rate conversion as shown in FIG. Specifically, film image signals A, B, C,... Of a 24 frames / second movie or the like shown in FIG. 7A are converted into 60 field / second interlace signals a, a ′ shown in FIG. , B, b ′, b, c ′, c... In addition, what attached | subjected the code | symbol "'" of a', b '... showed the even field, and the thing which did not attach | subject the code "'" showed the odd field. In addition to the 2-3 pulldown, there is a 2-2 pulldown used in the case of a signal with a frame rate of 30 frames / second. In this specification, the 2-3 pulldown will be described as a representative.
[0008]
As shown in FIG. 7, in the 2-3 pulldown, an image that was originally one frame is distributed into two or three fields. In FIG. 7B, for example, the field a and the field a ′ are the same image although the scanning lines are shifted from each other. Therefore, as long as this conversion rule pattern is known, the scanning lines can be interpolated (interpolated between the fields) from the adjacent fields and sequentially converted into scanning. When the interlace signal of 60 fields / second is converted into sequential scanning, the sequential scanning signals A, A, B, B, B, C, C... Of 60 frames / second shown in FIG.
[0009]
As described with reference to FIG. 6, the inter-field interpolation generates a new scanning line by setting the pixel F21 in the previous field or the pixel F01 in the subsequent field as a new pixel Y. Therefore, a good conversion with little aliasing distortion and high resolution is achieved. Image quality can be obtained. The method of obtaining the 2-3 pull-down rule pattern is, for example, a method of transmitting by code how the data has been sorted and converted, or by automatically processing differences between image fields or frames. There is a method of guessing a rule pattern.
[0010]
[Problems to be solved by the invention]
However, the above-described method of converting to sequential scanning using the pull-down rule pattern causes problems in the following cases.
[0011]
(1) A case where an additional signal such as a caption is superimposed on an image having a regularity pulled down by editing and a video partially deviating from the pulldown rule pattern.
(2) A picture that is out of the regular interlace signal or the pull-down rule pattern is inserted into the picture having the pull-down regularity by a picture-in-picture (PIP), and the picture is partially out of the pull-down rule pattern. If.
(3) When the rule pattern of the pulled-down video is temporarily disturbed by connection editing.
[0012]
In the cases (1) and (2) described above, even if the rule pattern of the pulled-down video is transmitted as a code, it becomes a big problem whether the rule pattern is detected by statistical processing. The above (3) is less problematic when the rule pattern of the pulled-down video is transmitted as a code. However, when the rule pattern is detected by statistical processing, the rule pattern detection result is corrected. In the meantime, it becomes a problem because sequential scanning conversion is performed by erroneous interpolation.
[0013]
The present invention has been made in view of such a problem, and outputs an appropriate motion detection signal when an interlaced video signal converted to interlace by pull-down has a partial or temporary rule pattern deviation. And a sequential scanning conversion device capable of performing favorable sequential scanning conversion without erroneous interpolation even when the interlaced video signal converted to interlaced by pull-down has a partial or temporary rule pattern deviation The purpose is to provide.
[0014]
[Means for Solving the Problems]
In order to solve the above-described problems of the related art, the present invention provides a motion detection device for detecting the motion of an interlaced video signal, wherein the interlaced video signal is converted from a frame image having a predetermined frame rate to interlaced by pull-down. It is an interlaced video signal obtained by detecting whether or not the signal is an interlaced video signal, and the interlaced video signal is converted into an interlace by pull-down, and the target field and the subsequent field that is a field one field after this target field are common The interlaced video signal obtained by converting the interlaced video signal to interlaced by pull-down, and the field of interest and one field of the field of interest. A second state indicating that the previous field which is a common field image is a common frame image, and a third state indicating that the interlaced video signal is not an interlaced video signal converted to interlaced by pulldown Pattern detection means (4) for detecting which pattern is, and signals of the attention field, the subsequent field, and the previous field are input, and the first state, the second state, and the first state are input. And a motion detection circuit (5) for detecting motion by switching a motion detection method in accordance with the state of 3, wherein the motion detection circuit detects motion based on a difference between the field of interest and the subsequent field. 1 inter-field motion detector (50) and motion detection based on the difference between the field of interest and the previous field A second inter-field motion detection unit (52), an inter-frame motion detection unit (51) for detecting motion based on a difference between the previous field and the rear field, and the pattern detection means in the first state If the output of the first inter-field motion detection unit is greater than the output of the second inter-field motion detection unit, the output of the first inter-field motion detection unit and the first The difference between the output of the second inter-field motion detector and the output of the first inter-field motion detector is not greater than the output of the second inter-field motion detector. Of the value indicating still image Output motion detection signal Shi If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The difference between the output of the inter-field motion detector and the output of the first inter-field motion detector is output as a motion detection signal, and the output of the second inter-field motion detector is the first inter-field motion. If it is not larger than the output of the detector Of the value indicating still image Output motion detection signal Shi When the pattern detection unit detects that the state is the third state, the output of the inter-frame motion detection unit is output as a motion detection signal. Movement And a motion detection signal output unit (57).
In addition, in order to solve the above-described problems of the related art, the present invention provides a motion detection device that detects the motion of an interlaced video signal, and the interlaced video signal is converted from a frame image having a predetermined frame rate to an interlace by pull-down. An interlaced video signal obtained by detecting whether or not the interlaced video signal has been converted, and the interlaced video signal is converted into an interlace by pull-down. Are a first state indicating that the frame is a common frame image, and an interlaced video signal obtained by converting the interlaced video signal into an interlace by pull-down. A second state indicating that the previous field which is a field before the field is a common frame image; and a third state indicating that the interlaced video signal is not an interlaced video signal converted into an interlace by pull-down Pattern detection means (4) for detecting which pattern is a state, and signals of the attention field, the rear field, and the front field are input, and the first state and the second state; A motion detection circuit (5) for detecting motion by switching a motion detection method according to the third state, wherein the motion detection circuit detects motion based on a difference between the field of interest and the subsequent field. Based on the difference between the first field-to-field motion detector (50) and the field of interest and the previous field. A second inter-field motion detection unit (52) for detecting, an inter-frame motion detection unit (51) for detecting motion based on a difference between the previous field and the subsequent field, and the pattern detection means If the output of the first inter-field motion detector is greater than the output of the second inter-field motion detector when it is detected that the state is in a state, the output of the first inter-field motion detector and the The smaller of the difference between the output of the second inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal, and the output of the first inter-field motion detector is the first If it is not larger than the output of the motion detector between fields 2 Of the value indicating still image Output motion detection signal Shi If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The smaller of the difference between the output of the inter-field motion detector and the output of the first inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal. If the output of the inter-field motion detector is not greater than the output of the first inter-field motion detector Of the value indicating still image Output motion detection signal Shi And a motion detection signal output unit (57, 58) for outputting the output of the inter-frame motion detection unit as a motion detection signal when the pattern detection means detects that it is in the third state. A motion detection device is provided.
Furthermore, the present invention provides a progressive scan conversion device that converts an interlaced video signal into a progressively scanned video signal in order to solve the above-described problems of the prior art, in which the interlaced video signal is converted from a frame image having a predetermined frame rate. It is detected whether or not the interlace video signal is converted to interlace by pull-down, and the interlace video signal is an interlace video signal converted to interlace by pull-down, and a field of interest and a field one field after this field of interest Are a first state indicating that the subsequent field is a common frame image, and an interlaced video signal obtained by converting the interlaced video signal into an interlace by pull-down. A second state indicating that the previous field which is a field one field before the field is a common frame image, and indicates that the interlaced video signal is not an interlaced video signal converted into an interlace by pull-down. Pattern detection means (4) for detecting which pattern is in the third state, intra-field interpolation means (3) for generating an intra-field interpolation signal using the signal of the field of interest, and the pattern detection When the means detects that it is in the first state, it generates a first inter-field interpolation signal using the signal in the subsequent field for the field of interest, and the pattern detection means is in the second state. When detected, a second frame is used using the signal of the previous field for the field of interest. Generate a Rudo between the interpolation signal When the pattern detecting means detects that the state is the third state, a third inter-field interpolation signal is generated using the signal of the previous field or the signal of the subsequent field for the field of interest. Inter-field interpolation means (6), and signals of the field of interest, the rear field, and the front field are input, and move according to the first state, the second state, and the third state. The motion detection circuit (5) that detects motion by switching the detection method and outputs a motion detection signal, and the output of the intra-field interpolation means and the output of the inter-field interpolation means are mixed or switched according to the motion detection signal. Interpolating signal output means (7) for outputting, and the motion detection circuit includes a first inter-field motion detection unit (50) for detecting motion based on a difference between the field of interest and the subsequent field, A second inter-field motion detector (52) for detecting motion based on the difference between the field of interest and the previous field, the previous field, and the subsequent field When the pattern detection means detects the first state, the output of the first inter-field motion detection unit outputs the second inter-field motion detection unit (51) that detects motion based on the difference between If the output is greater than the output of the inter-field motion detector, the difference between the output of the first inter-field motion detector and the output of the second inter-field motion detector is output as a motion detection signal. If the output of the first inter-field motion detector is not greater than the output of the second inter-field motion detector Of the value indicating still image Output motion detection signal Shi If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The difference between the output of the inter-field motion detector and the output of the first inter-field motion detector is output as a motion detection signal, and the output of the second inter-field motion detector is the first inter-field motion. If it is not larger than the output of the detector Of the value indicating still image Output motion detection signal Shi When the pattern detection unit detects that the state is the third state, the output of the inter-frame motion detection unit is output as a motion detection signal. Movement And a progressive scanning conversion device characterized by having a detection signal output unit (57).
Furthermore, the present invention provides a progressive scan conversion device that converts an interlaced video signal into a progressively scanned video signal in order to solve the above-described problems of the prior art, in which the interlaced video signal has a predetermined frame rate. Whether or not the interlaced video signal is converted to interlaced by pull-down, and the interlaced video signal is an interlaced video signal converted to interlaced by pull-down. A first state indicating that the rear field, which is a field, is a common frame image; and an interlaced video signal obtained by converting the interlaced video signal into an interlace by pull-down, A second state indicating that the previous field, which is one field before the field of interest, is a common frame image, and that the interlaced video signal is not an interlaced video signal converted to interlaced by pull-down. Pattern detection means (4) for detecting which pattern is in the third state shown, intra-field interpolation means (3) for generating an intra-field interpolation signal using the signal of the field of interest, and the pattern When the detecting means detects that the first state, the first inter-field interpolation signal is generated using the signal of the subsequent field for the field of interest, and the pattern detecting means is in the second state. Is detected using the signal of the previous field for the target field. Generate inter-field interpolation signal When the pattern detecting means detects that the state is the third state, a third inter-field interpolation signal is generated using the signal of the previous field or the signal of the subsequent field for the field of interest. Inter-field interpolation means (6), and signals of the field of interest, the rear field, and the front field are input, and move according to the first state, the second state, and the third state. The motion detection circuit (5) that detects motion by switching the detection method and outputs a motion detection signal, and the output of the intra-field interpolation means and the output of the inter-field interpolation means are mixed or switched according to the motion detection signal. Interpolating signal output means (7) for outputting, and the motion detection circuit includes a first inter-field motion detection unit (50) for detecting motion based on a difference between the field of interest and the subsequent field, A second inter-field motion detector (52) for detecting motion based on the difference between the field of interest and the previous field, the previous field, and the subsequent field When the pattern detection means detects the first state, the output of the first inter-field motion detection unit outputs the second inter-field motion detection unit (51) that detects motion based on the difference between If the output is greater than the output of the inter-field motion detector, the difference between the output of the first inter-field motion detector and the output of the second inter-field motion detector and the output of the inter-frame motion detector Is output as a motion detection signal, and the output of the first inter-field motion detection unit is not greater than the output of the second inter-field motion detection unit Of the value indicating still image Output motion detection signal Shi If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The smaller of the difference between the output of the inter-field motion detector and the output of the first inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal. If the output of the inter-field motion detector is not greater than the output of the first inter-field motion detector Of the value indicating still image Output motion detection signal Shi And a motion detection signal output unit (57, 58) for outputting the output of the inter-frame motion detection unit as a motion detection signal when the pattern detection means detects that it is in the third state. A progressive scan converter is provided.
[0015]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, a motion detection device for interlaced video signals and a progressive scan conversion device using the same according to the present invention will be described with reference to the accompanying drawings. FIG. 1 is a block diagram showing an embodiment of a motion detection device for interlaced video signals and a progressive scan conversion device using the same according to the present invention, and FIG. 2 is a block diagram showing a specific configuration example of a motion detection circuit 5 in FIG. 3 is a block diagram showing another specific configuration example of the motion detection circuit 5 in FIG. 1, and FIG. 4 is a waveform diagram for explaining the operation of FIG.
[0016]
In FIG. 1, interlaced video signals input from the input terminal 1 are sequentially delayed by field memories 21 and 22. The interlaced video signal input from the input terminal 1 is referred to as field f0, the output of the field memory 21 is referred to as field f1, and the output of the field memory 22 is referred to as field f2. In the configuration of FIG. 1, the field f1 obtained by delaying the field f0 by one field is handled as a reference field, so the field f1 is referred to as a target field, the field f0 is referred to as a subsequent field, and the field f2 is referred to as a previous field.
[0017]
The moving image interpolation circuit 3 receives the field of interest f1. The moving image interpolation circuit 3 generates a moving image interpolation signal M using the signal of the field of interest f1. The method of generating the moving image interpolation signal M by the moving image interpolation circuit 3 is not particularly limited, but as described with reference to FIG. 6, a method of taking the average value of the scanning lines positioned above and below is common.
[0018]
The pattern detection circuit 4 receives the field of interest f1 and the rear field f0. The pattern detection circuit 4 detects a 2-3 pull-down rule pattern and outputs a pattern detection signal P. The pattern detection circuit 4 detects a 2-3 pull-down rule pattern by statistically calculating the integrated value of the difference between the input field of interest f1 and the subsequent field f0 over several to several tens of fields. Since the circuit configuration itself for detecting the pull-down rule pattern by statistical processing is known, the specific configuration of the pattern detection circuit 4 is omitted. The method for detecting the regular pattern is not limited to this.
[0019]
The pattern detection signal P output from the pattern detection circuit 4 has at least the following three states.
(State 1) A state in which the input video signal has been subjected to pull-down conversion, the original frame is assigned to the subsequent field, and it is determined that the target field and the subsequent field are a common frame image.
(State 2) A state in which the input video signal has been subjected to pull-down conversion, the original frame has been assigned to the previous field, and it has been determined that the field of interest and the previous field are a common frame image.
(State 3) A state in which it is determined that the input video signal has not been subjected to pull-down conversion.
[0020]
In the case of 2-3 pulldown, there is a state in which the original frame is distributed to both the subsequent field and the previous field, but here it is treated as (state 2). Of course, there is no problem even if handled as (State 1).
[0021]
The motion detection circuit 5 receives a rear field f0, a target field f1, and a front field f2. A pattern detection signal P is also input to the motion detection circuit 5. The motion detection circuit 5 switches the motion detection method according to the pattern detection signal P, that is, according to the three states (state 1) to (state 3) described above. The motion detection circuit 5 outputs a motion detection signal K as a result of motion detection. A specific configuration of the motion detection circuit 5 and a motion detection method switching operation will be described later.
[0022]
The selection circuit 6 receives the subsequent field f0 and the previous field f2. The selection circuit 6 selects one of the rear field f0 and the front field f2 according to the pattern detection signal P, and outputs the selected signal as the still image interpolation signal S. The selection circuit 6 selects the rear field f0 when the pattern detection signal P represents the above (state 1), and selects the front field f2 when the pattern detection signal P represents (state 2). When representing (state 3), either the subsequent field f0 or the previous field f2 may be selected, but here the previous field f2 is selected.
[0023]
As shown by being surrounded by a broken line in FIG. 1, the motion detection circuit 5 and the selection circuit 6 constitute a motion detection device of the present invention.
[0024]
The moving circuit interpolation signal M, the still image interpolation signal S, and the motion detection signal K are input to the mixing circuit 7. The mixing circuit 7 adaptively mixes the moving image interpolation signal M and the still image interpolation signal S according to the motion detection signal K, and outputs an interpolation signal H. If it is determined that the motion detection circuit 5 is completely a still image, K = 0, if it is determined to be a complete moving image, K = 1, and if it is intermediate, 0 <K <1,
H = S × (1−K) + M × K (1)
It becomes.
[0025]
Note that a selection circuit may be provided instead of the mixing circuit 7 and the moving image interpolation signal M and the still image interpolation signal S may be switched alternatively according to the motion detection signal K. However, the mixing circuit 7 is preferable.
[0026]
The double speed processing circuit 81 receives the field of interest f1 which is a non-interpolated signal, and the double speed processing circuit 81 doubles the speed of the signal of the field of interest f1 and outputs it. The interpolation speed H output from the mixing circuit 7 is input to the double speed processing circuit 82, and the double speed processing circuit 82 doubles the interpolation signal H and outputs it. The selection circuit 9 alternately selects the output of the double speed processing circuit 81 and the output of the double speed processing circuit 82 and sequentially outputs scanning signals. The sequential scanning signal is output from the output terminal 10.
[0027]
One of the features of the present invention is that the motion detection circuit 5 has at least three operation modes (motion detection methods) according to a pull-down rule pattern. Conventionally, when a pull-down rule pattern is detected, motion detection is completely prohibited and moving image interpolation is completely disabled.In the present invention, when a pull-down rule pattern is detected, motion detection is performed. Rather than completely prohibiting it, motion detection is partially activated and moving image interpolation is partially activated.
[0028]
Here, a specific configuration example of the motion detection circuit 5 will be described with reference to FIG. In FIG. 2, the frame difference detection circuit 51 receives a subsequent field f0 and a previous field f2. The frame difference detection circuit 51 detects a difference between the subsequent field f0 and the previous field f2, and outputs a frame difference detection signal D1. The frame difference detection signal D1 is an absolute value of the difference between the subsequent field f0 and the previous field f2,
D1 = | f2-f0 | (2)
It becomes. The frame difference detection circuit 51 is an inter-frame motion detection unit that detects a motion between two fields (one frame) based on the subsequent field f0 and the previous field f2.
[0029]
The field difference detection circuit 50 receives the rear field f0 and the target field f1. The field difference detection circuit 50 detects a difference between the subsequent field f0 and the target field f1, and outputs a field difference detection signal d0. The field difference detection signal d0 is an absolute value of the difference between the subsequent field f0 and the field of interest f1.
d0 = | f1-f0 | (3)
It becomes. The field difference detection circuit 50 is an inter-field motion detection unit that detects a motion between one field based on the rear field f0 and the target field f1.
[0030]
The field difference detection circuit 52 receives the previous field f2 and the field of interest f1. The field difference detection circuit 52 detects a difference between the previous field f2 and the field of interest f1, and outputs a field difference detection signal d2. The field difference detection signal d2 is an absolute value of the difference between the previous field f2 and the field of interest f1.
d2 = | f1-f2 | (3)
It becomes. The field difference detection circuit 52 is an inter-field motion detection unit that detects a motion between one field based on the previous field f2 and the target field f1. Instead of providing the field difference detection circuit 52, the field difference detection signal d0 can be delayed by one field to be the field difference detection signal d2.
[0031]
The two field difference detection signals d0 and d2 are input to the subtraction circuits 53 and 54. The subtraction circuit 53 obtains d0-d2, and the subtraction circuit 54 obtains d2-d0. The outputs of the subtraction circuits 53 and 54 are input to limiters 55 and 56, respectively. Limiters 55 and 56 are for limiting to 0 when the input becomes negative (underflows). That is, when the outputs of the subtracting circuits 53 and 54 become negative, the outputs of the limiters 55 and 56 become zero.
[0032]
The frame difference detection signal D1, which is the output of the frame difference detection circuit 51, the output signal D0 of the limiter 55, and the output signal D2 of the limiter 56 are input to the selection circuit 57. The selection circuit 57 receives the pattern detection signal P described above, and the selection circuit 57 selects one of the input signals according to the pattern detection signal P to obtain a final motion detection signal K. The selection circuit 57 selects D0 when the pattern detection signal P represents (state 1), selects D2 when it represents (state 2), and selects D1 when it represents (state 3). . The selection circuit 57 is a motion detection signal output unit.
[0033]
FIG. 2 shows only the basic configuration. For the purpose of avoiding erroneous detection at the edge portion of the image, for example, a filter is provided in the subsequent stage of the frame difference detection circuit 51 and the field difference detection circuits 50 and 52, so that the frame difference detection circuit 51 and the field difference detection circuits 50 and 52 Various filtering processes may be applied to the output, and sensitivity (gain) control may be performed at a later stage. In the case of inter-field difference detection, vertical filter processing is performed on the input signals of the field difference detection circuits 50 and 52 for the purpose of matching the scanning line phases and avoiding erroneous detection due to vertical high-frequency components. There is also.
[0034]
Next, the reason why the apparatus is configured as shown in FIG. 2 and operates as described above will be described. First, in the case of (state 3), since the pull-down rule pattern is not detected, by selecting the frame difference detection signal D1 that is the output of the frame difference detection circuit 51, the motion detection of the sequential scanning conversion circuit is performed. The commonly used frame difference detection is used.
[0035]
In the case of (state 1), since the combination assigned by pull-down is the case of the rear field, the difference d0 between the rear field f0 and the target field f1 should not appear. However, as described as a conventional problem, when subtitles or the like are added later in editing, they may be locally deviated from the rule pattern. In such a case, the difference d0 between the subsequent field f0 and the target field f1 is output locally. Since the subtitle does not move continuously, the difference d2 between the previous field f2 and the target field f1 does not appear in the subtitle portion.
[0036]
The present invention uses this property to compare the field difference detection signal d0 and the field difference detection signal d2 by the subtraction circuit 53 and the limiter 55, and the field difference detection signal d0 is larger than the field difference detection signal d2, that is, Only a specific part out of the pull-down rule pattern can be subjected to motion determination. In addition, although expressed as a local or specific part, a rule pattern may be disturb | confused in the whole screen by connection edit etc. In this case, naturally, the whole screen is judged as a motion.
[0037]
On the other hand, in the case of (state 2), the subtraction circuit 54 and the limiter 56 compare the field difference detection signal d0 and the field difference detection signal d2 by the operation opposite to that of (state 1), and the field difference detection signal d2 It is possible to make a motion determination only in a portion where is larger than the field difference detection signal d0.
[0038]
Further, the operation when subtitles are superimposed on the pulled-down video and partially deviate from the regular pattern will be described with reference to the waveform diagram of FIG. FIG. 4 shows a state in which an image having a frame rate of 24 frames / second (24 frame image) is converted into an interlaced video signal by 2-3 pulldown. In FIG. 4, in order to make it easier to understand the portion of the original frame allocated to 2 fields and the portion allocated to 3 fields, the portion allocated to 2 fields and the portion allocated to 3 fields The broken line is attached to.
[0039]
In FIG. 4, t is the time direction, and the 24-frame image changes from (A) to (H). As shown in FIGS. 4A to 4D, captions are superimposed on a part of the 24-frame image by editing. The subtitle has disappeared in the field of FIG. Assume that the front field f2, the target field f1, and the rear field f0 are in the states shown in FIGS. The example of FIG. 4 corresponds to the above-described (state 2) because the pull-down combination is the previous field f2 and the target field f1. At this time, the selection circuit 6 in FIG. 1 selects the previous field f2, and the selection circuit 57 of the motion detection circuit 5 selects the output signal D2 of the limiter 56.
[0040]
4I shows the field difference detection signal d2 (= | f1-f2 |), and FIG. 4J shows the field difference detection signal d0 (= | f1-f0 |). Yes. As can be seen by comparing the field difference detection signal d0 and the field difference detection signal d2, the field difference detection signal d0 is larger than the field difference detection signal d2 in the 24-frame image other than the caption portion. However, in the caption portion, the field difference detection signal d2 is larger than the field difference detection signal d0. At this time, since the output of the subtracting circuit 54 is not limited by the limiter 56, the output signal D2 is output, and only the caption portion is determined for motion.
[0041]
Next, another configuration example of the motion detection circuit 5 will be described with reference to FIG. 3, the same parts as those in FIG. 2 are denoted by the same reference numerals, and the description thereof is omitted as appropriate. FIG. 3 differs from FIG. 2 in that a minimum value calculation circuit 58 for calculating the minimum value of the output of the selection circuit 57 and the frame difference detection signal D1 is provided. The minimum value calculation circuit 58 calculates which of the selection result of the selection circuit 57 and the frame difference detection signal D1 is smaller, and outputs the smaller one as the final motion detection signal K.
[0042]
In the example of FIG. 3, first, the selection circuit 57 selects one of the frame difference detection signal D1, the output signal D0 of the limiter 55, and the output signal D2 of the limiter 56, and then the minimum value calculation circuit 58 The smaller one of the selection result of the selection circuit 57 and the frame difference detection signal D1 is selected, but it may be configured as follows. For each of the output signal D0 of the limiter 55 and the output signal D2 of the limiter 56, take the minimum value of the frame difference detection signal D1, and then select one of the signals according to (State 1) to (State 3) May be.
[0043]
That is, in (state 1), the field difference detection signal d0 and the field difference when the field difference detection signal d0 output from the field difference detection circuit 50 is larger than the field difference detection signal d2 output from the field difference detection circuit 52. The smaller one of the difference from the difference detection signal d2 and the frame difference detection signal D1 output from the frame difference detection circuit 51 may be output as a motion detection signal.
[0044]
In (state 2), the field difference detection signal d2 and the field when the field difference detection signal d2 output from the field difference detection circuit 52 is larger than the field difference detection signal d0 output from the field difference detection circuit 50. The smaller one of the difference from the difference detection signal d0 and the frame difference detection signal D1 output from the frame difference detection circuit 51 may be output as a motion detection signal. Further, in the case of (State 3), the frame difference detection signal D1, which is the output of the frame difference detection circuit 51, may be output as a motion detection signal. In the configuration of FIG. 3, the selection circuit 57 and the minimum value calculation circuit 58 are motion detection signal output units.
[0045]
The purpose of the configuration shown in FIG. 3 is to avoid erroneous detection because the field difference detection circuits 50 and 52 are likely to be erroneously detected in a portion containing a lot of vertical high frequency components. In the field difference detection, even in an image that is originally static, motion is determined in a portion that includes a lot of vertical high frequency components. In order to prevent this, a low-pass filter (vertical LPF) in the vertical direction is often used, but cannot be completely suppressed. In the present invention, one purpose is to detect the subtitle portion. If the vertical high-frequency component is excessively removed by the vertical LPF, the motion of the subtitle portion becomes difficult to detect and the effect of the present invention is diminished. .
[0046]
On the other hand, the frame difference detection by the frame difference detection circuit 51 does not have a problem like field difference detection, so even if one of the output signals D0 and D2 of the limiters 55 and 56, which is field difference detection, is selected. If the minimum value with the frame difference detection signal D1 is obtained by the minimum value calculation circuit 58, an erroneous motion detection signal K is not output. In the configuration of FIG. 3, it is possible to make the characteristics of the vertical LPF for removing the vertical high-frequency component gentle. Therefore, the cost can be reduced. From the above points, the configuration of FIG. 3 is more preferable as the motion detection circuit 5 than the configuration of FIG.
[0047]
As described above, in the motion detection device of the present invention, even when a pull-down rule pattern is detected, motion detection is performed at a portion outside the rule pattern, and a motion detection signal is generated. Therefore, an appropriate motion detection signal can be output in such a portion. In the progressive scan conversion apparatus of the present invention using the motion detection apparatus of the present invention, even if there is a portion deviating from the regular pattern, the sequential scan conversion can be satisfactorily performed without erroneous interpolation.
[0048]
It should be noted that moving parts are processed in portions outside the regular pattern, and interpolated signals are obtained from the pixels F10 and F12 in the upper and lower lines in FIG. 6, resulting in flicker interference and a reduction in vertical resolution, but for one field (60 frames / second) On the other hand, only one image) is obstructed, so there is no problem at all.
[0049]
Based on the above basic configuration, the following modifications can be made. In FIG. 1, when the selection circuit 6 may select either the subsequent field f0 or the previous field f2, that is, when it is determined that it has not been subjected to pull-down conversion as in (state 3), the original frame Is distributed to both the subsequent field and the previous field, an average value of the subsequent field f0 and the previous field f2 may be added as an option of the selection circuit 6.
[0050]
Further, only the basic part is shown in the configuration of the motion detection circuit 5, but a technique for improving the accuracy of motion detection may be incorporated. For example, for a normal 60 field / second video that is not subjected to pull-down conversion in the case of (state 3), only the frame difference detection signal D1 is used as the motion detection signal, but the frame difference detection signal D1 In addition, the motion detection signal may be generated by using the field difference detection signals d0 and d2 in combination.
[0051]
The means for detecting the pull-down rule pattern is arbitrary, and a method of detecting that the frame difference between the subsequent field f0 and the previous field f2 is a period of 5 fields, or decoding the encoded and transmitted data from the transmission side It is also possible to do it. The pull-down is not limited to 2-3 pull-down, and may be 2-2 pull-down. According to the present invention, even if the regular pattern is deviated, it does not become a big problem, so that it is not necessary to increase the accuracy for detecting the regular pattern. Therefore, the cost can be reduced.
[0052]
【The invention's effect】
As described above in detail, the motion detection apparatus for interlaced video signals of the present invention According to An appropriate motion detection signal can be output when there is a partial or temporary rule pattern deviation in the interlaced video signal converted into the interlace by pull-down.
[0053]
Also, the progressive scan converter of the present invention According to Even when the interlaced video signal converted into the interlace by the pull-down has a partial or temporary deviation of the regular pattern, the sequential scanning conversion can be satisfactorily performed without erroneous interpolation.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of the present invention.
FIG. 2 is a block diagram showing a specific configuration example of a motion detection circuit 5 in FIG.
FIG. 3 is a block diagram showing another specific configuration example of the motion detection circuit 5 in FIG. 1;
4 is a waveform diagram for explaining the operation of FIG. 2; FIG.
FIG. 5 is a diagram for explaining an outline of scanning line interpolation for progressive scanning conversion;
FIG. 6 is a diagram for explaining a specific method of scanning line interpolation.
FIG. 7 is a diagram for explaining 2-3 pulldown and progressive scan conversion in that case;
[Explanation of symbols]
3 Movie interpolation circuit (intra-field interpolation means)
4 Pattern detection circuit ( Pattern detection means )
5 Motion detection circuit
6 Selection circuit (inter-field interpolation means)
7 Mixing circuit (interpolation signal output means)
9 Selection circuit
21, 22 Field memory
50, 52 Field difference detection circuit (inter-field motion detection unit)
51 Frame difference detection circuit (inter-frame motion detector)
57 selection circuit (motion detection signal output unit)
58 Minimum value calculation circuit (motion detection signal output unit)
81,82 double speed processing circuit

Claims (4)

インターレース映像信号の動きを検出する動き検出装置において、
前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段と、
前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて、動き検出方法を切り換えて動き検出する動き検出回路とを備え、
前記動き検出回路は、
前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部と、
前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部と、
前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部
を有することを特徴とする動き検出装置。
In a motion detection device that detects the motion of an interlaced video signal,
By detecting whether the interlace video signal is an interlace video signal converted to interlace by pull-down from a frame image having a predetermined frame rate, the interlace video signal is converted to interlace by pull-down. There is a first state indicating that the target field and a subsequent field that is one field after the target field are a common frame image, and an interlace in which the interlace video signal is converted to an interlace by pull-down. A second state that is a video signal and indicates that the field of interest and a previous field that is one field before the field of interest are a common frame image; And pattern detecting means signals to detect which one of the pattern of the third state indicating that it is not an interlaced video signal converted into interlaced by the pull-down,
A motion for detecting motion by switching a motion detection method according to the first state, the second state, and the third state, respectively, by inputting signals of the attention field, the rear field, and the front field. A detection circuit,
The motion detection circuit includes:
A first inter-field motion detector that detects motion based on a difference between the field of interest and the subsequent field;
A second inter-field motion detector that detects motion based on a difference between the field of interest and the previous field;
An inter-frame motion detector that detects motion based on a difference between the previous field and the subsequent field;
If the output of the first inter-field motion detector is greater than the output of the second inter-field motion detector when the pattern detecting means detects that the first state is present, the first inter-field motion detector The difference between the output of the inter-field motion detector and the output of the second inter-field motion detector is output as a motion detection signal, and the output of the first inter-field motion detector is the second inter-field motion detector if greater than the output parts outputting the motion detection signal of a value indicating the still picture,
If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The difference between the output of the inter-field motion detector and the output of the first inter-field motion detector is output as a motion detection signal, and the output of the second inter-field motion detector is the first inter-field motion detector if greater than the output parts outputting the motion detection signal of a value indicating the still picture,
A motion detection apparatus comprising: a motion detection signal output unit that outputs an output of the inter-frame motion detection unit as a motion detection signal when the pattern detection unit detects that the state is the third state.
インターレース映像信号の動きを検出する動き検出装置において、
前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段と、
前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて、動き検出方法を切り換えて動き検出する動き検出回路とを備え、
前記動き検出回路は、
前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部と、
前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部と、
前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部と
を有することを特徴とする動き検出装置。
In a motion detection device that detects the motion of an interlaced video signal,
By detecting whether the interlace video signal is an interlace video signal converted to interlace by pull-down from a frame image having a predetermined frame rate, the interlace video signal is converted to interlace by pull-down. There is a first state indicating that the target field and a subsequent field that is one field after the target field are a common frame image, and an interlace in which the interlace video signal is converted to an interlace by pull-down. A second state that is a video signal and indicates that the field of interest and a previous field that is one field before the field of interest are a common frame image; And pattern detecting means signals to detect which one of the pattern of the third state indicating that it is not an interlaced video signal converted into interlaced by the pull-down,
A motion for detecting motion by switching a motion detection method according to the first state, the second state, and the third state, respectively, by inputting signals of the attention field, the rear field, and the front field. A detection circuit,
The motion detection circuit includes:
A first inter-field motion detector that detects motion based on a difference between the field of interest and the subsequent field;
A second inter-field motion detector that detects motion based on a difference between the field of interest and the previous field;
An inter-frame motion detector that detects motion based on a difference between the previous field and the subsequent field;
If the output of the first inter-field motion detector is greater than the output of the second inter-field motion detector when the pattern detecting means detects that the first state is present, the first inter-field motion detector The smaller of the difference between the output of the inter-field motion detector and the output of the second inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal, and the first field output between the motion detector outputs a motion detection signal of a value indicating the still image to be larger than the output of the motion detector between the second field,
If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The smaller of the difference between the output of the inter-field motion detector and the output of the first inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal, and the second field output between the motion detector outputs a motion detection signal of a value indicating the still image to be larger than the output of the motion detector between the first field,
A motion detection apparatus comprising: a motion detection signal output unit that outputs an output of the inter-frame motion detection unit as a motion detection signal when the pattern detection unit detects that the state is the third state.
インターレース映像信号を順次走査の映像信号に変換する順次走査変換装置において、
前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段と、
前記注目フィールドの信号を用いてフィールド内補間信号を生成するフィールド内補間手段と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記注目フィールドに対する前記後フィールドの信号を用いて第1のフィールド間補間信号を生成し、前記パターン検出手段が前記第2の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号を用いて第2のフィールド間補間信号を生成し、前記パターン検出手段が前記第3の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号または前記後フィールドの信号を用いて第3のフィールド間補間信号を生成するフィールド間補間手段と、
前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて動き検出方法を切り換えて動き検出し、動き検出信号を出力する動き検出回路と、
前記フィールド内補間手段の出力と前記フィールド間補間手段の出力とを前記動き検出信号に応じて混合または切り換えて出力する補間信号出力手段とを備え、
前記動き検出回路は、
前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部と、
前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部と、
前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部
を有することを特徴とする順次走査変換装置。
In a progressive scan converter for converting an interlaced video signal into a progressively scanned video signal,
By detecting whether the interlace video signal is an interlace video signal converted to interlace by pull-down from a frame image having a predetermined frame rate, the interlace video signal is converted to interlace by pull-down. There is a first state indicating that the target field and a subsequent field that is one field after the target field are a common frame image, and an interlace in which the interlace video signal is converted to an interlace by pull-down. A second state that is a video signal and indicates that the field of interest and a previous field that is one field before the field of interest are a common frame image; And pattern detecting means signals to detect which one of the pattern of the third state indicating that it is not an interlaced video signal converted into interlaced by the pull-down,
Intra-field interpolation means for generating an intra-field interpolation signal using the signal of the field of interest;
When the pattern detecting unit detects that the first state is present, a first inter-field interpolation signal is generated using the signal of the subsequent field for the field of interest, and the pattern detecting unit is configured to perform the second state. When the pattern detection means detects that the signal is in the third state, it generates a second inter-field interpolation signal using the signal of the previous field for the field of interest. Inter- field interpolation means for generating a third inter-field interpolation signal using the signal of the previous field or the signal of the subsequent field for
Signals of the attention field, the rear field, and the front field are input, and motion detection is performed by switching a motion detection method in accordance with the first state, the second state, and the third state. A motion detection circuit for outputting a detection signal;
Interpolation signal output means for mixing or switching the output of the intra-field interpolation means and the output of the inter-field interpolation means according to the motion detection signal,
The motion detection circuit includes:
A first inter-field motion detector that detects motion based on a difference between the field of interest and the subsequent field;
A second inter-field motion detector that detects motion based on a difference between the field of interest and the previous field;
An inter-frame motion detector that detects motion based on a difference between the previous field and the subsequent field;
If the output of the first inter-field motion detector is greater than the output of the second inter-field motion detector when the pattern detecting means detects that the first state is present, the first inter-field motion detector The difference between the output of the inter-field motion detector and the output of the second inter-field motion detector is output as a motion detection signal, and the output of the first inter-field motion detector is the second inter-field motion detector if greater than the output parts outputting the motion detection signal of a value indicating the still picture,
If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The difference between the output of the inter-field motion detector and the output of the first inter-field motion detector is output as a motion detection signal, and the output of the second inter-field motion detector is the first inter-field motion detector if greater than the output parts outputting the motion detection signal of a value indicating the still picture,
A sequential scan conversion apparatus comprising: a motion detection signal output unit that outputs an output of the inter-frame motion detection unit as a motion detection signal when the pattern detection unit detects that it is in the third state.
インターレース映像信号を順次走査の映像信号に変換する順次走査変換装置において、
前記インターレース映像信号が所定のフレームレートを有するフレーム画像からプルダウンによってインターレースに変換されたインターレース映像信号であるか否かを検出して、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、注目フィールドとこの注目フィールドの1フィールド後のフィールドである後フィールドとが共通のフレーム画像となっていることを示す第1の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号であり、前記注目フィールドと前記注目フィールドの1フィールド前のフィールドである前フィールドとが共通のフレーム画像となっていることを示す第2の状態と、前記インターレース映像信号がプルダウンによってインターレースに変換されたインターレース映像信号ではないことを示す第3の状態とのいずれのパターンであるかを検出するパターン検出手段と、
前記注目フィールドの信号を用いてフィールド内補間信号を生成するフィールド内補間手段と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記注目フィールドに対する前記後フィールドの信号を用いて第1のフィールド間補間信号を生成し、前記パターン検出手段が前記第2の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号を用いて第2のフィールド間補間信号を生成し、前記パターン検出手段が前記第3の状態であると検出したとき、前記注目フィールドに対する前記前フィールドの信号または前記後フィールドの信号を用いて第3のフィールド間補間信号を生成するフィールド間補間手段と、
前記注目フィールドと前記後フィールドと前記前フィールドそれぞれの信号が入力され、前記第1の状態と前記第2の状態と前記第3の状態とに応じて動き検出方法を切り換えて動き検出し、動き検出信号を出力する動き検出回路と、
前記フィールド内補間手段の出力と前記フィールド間補間手段の出力とを前記動き検出信号に応じて混合または切り換えて出力する補間信号出力手段とを備え、
前記動き検出回路は、
前記注目フィールドと前記後フィールドとの差分に基づいて動き検出する第1のフィールド間動き検出部と、
前記注目フィールドと前記前フィールドとの差分に基づいて動き検出する第2のフィールド間動き検出部と、
前記前フィールドと前記後フィールドとの差分に基づいて動き検出するフレーム間動き検出部と、
前記パターン検出手段が前記第1の状態であると検出したとき、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大であれば、前記第1のフィールド間動き検出部の出力と前記第2のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第1のフィールド間動き検出部の出力が前記第2のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第2の状態であると検出したとき、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大であれば、前記第2のフィールド間動き検出部の出力と前記第1のフィールド間動き検出部の出力との差分と、前記フレーム間動き検出部の出力との小なる方を動き検出信号として出力し、前記第2のフィールド間動き検出部の出力が前記第1のフィールド間動き検出部の出力より大でなければ静止画を示す値の動き検出信号を出力
前記パターン検出手段が前記第3の状態であると検出したとき、前記フレーム間動き検出部の出力を動き検出信号として出力する動き検出信号出力部と
を有することを特徴とする順次走査変換装置。
In a progressive scan converter for converting an interlaced video signal into a progressively scanned video signal,
By detecting whether the interlace video signal is an interlace video signal converted to interlace by pull-down from a frame image having a predetermined frame rate, the interlace video signal is converted to interlace by pull-down. There is a first state indicating that the target field and a subsequent field that is one field after the target field are a common frame image, and an interlace in which the interlace video signal is converted to an interlace by pull-down. A second state that is a video signal and indicates that the field of interest and a previous field that is one field before the field of interest are a common frame image; And pattern detecting means signals to detect which one of the pattern of the third state indicating that it is not an interlaced video signal converted into interlaced by the pull-down,
Intra-field interpolation means for generating an intra-field interpolation signal using the signal of the field of interest;
When the pattern detecting unit detects that the first state is present, a first inter-field interpolation signal is generated using the signal of the subsequent field for the field of interest, and the pattern detecting unit is configured to perform the second state. When the pattern detection means detects that the signal is in the third state, it generates a second inter-field interpolation signal using the signal of the previous field for the field of interest. Inter- field interpolation means for generating a third inter-field interpolation signal using the signal of the previous field or the signal of the subsequent field for
Signals of the attention field, the rear field, and the front field are input, and motion detection is performed by switching a motion detection method in accordance with the first state, the second state, and the third state. A motion detection circuit for outputting a detection signal;
Interpolation signal output means for mixing or switching the output of the intra-field interpolation means and the output of the inter-field interpolation means according to the motion detection signal,
The motion detection circuit includes:
A first inter-field motion detector that detects motion based on a difference between the field of interest and the subsequent field;
A second inter-field motion detector that detects motion based on a difference between the field of interest and the previous field;
An inter-frame motion detector that detects motion based on a difference between the previous field and the subsequent field;
If the output of the first inter-field motion detector is greater than the output of the second inter-field motion detector when the pattern detecting means detects that the first state is present, the first inter-field motion detector The smaller of the difference between the output of the inter-field motion detector and the output of the second inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal, and the first field output between the motion detector outputs a motion detection signal of a value indicating the still image to be larger than the output of the motion detector between the second field,
If the output of the second inter-field motion detector is greater than the output of the first inter-field motion detector when the pattern detecting means detects that the second state is present, the second The smaller of the difference between the output of the inter-field motion detector and the output of the first inter-field motion detector and the output of the inter-frame motion detector is output as a motion detection signal, and the second field output between the motion detector outputs a motion detection signal of a value indicating the still image to be larger than the output of the motion detector between the first field,
A sequential scan conversion apparatus comprising: a motion detection signal output unit that outputs an output of the inter-frame motion detection unit as a motion detection signal when the pattern detection unit detects that it is in the third state.
JP2001307240A 2001-10-03 2001-10-03 Interlaced video signal motion detection device and progressive scan conversion device using the same Expired - Fee Related JP4055109B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001307240A JP4055109B2 (en) 2001-10-03 2001-10-03 Interlaced video signal motion detection device and progressive scan conversion device using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001307240A JP4055109B2 (en) 2001-10-03 2001-10-03 Interlaced video signal motion detection device and progressive scan conversion device using the same

Publications (2)

Publication Number Publication Date
JP2003116109A JP2003116109A (en) 2003-04-18
JP4055109B2 true JP4055109B2 (en) 2008-03-05

Family

ID=19126737

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001307240A Expired - Fee Related JP4055109B2 (en) 2001-10-03 2001-10-03 Interlaced video signal motion detection device and progressive scan conversion device using the same

Country Status (1)

Country Link
JP (1) JP4055109B2 (en)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005026885A (en) * 2003-06-30 2005-01-27 Toshiba Corp Television receiver and its control method
JP2005333254A (en) * 2004-05-18 2005-12-02 Sony Corp Apparatus and method for image processing
KR100577684B1 (en) 2004-10-08 2006-05-10 삼성전자주식회사 The image processing apparatus using judder-map and the method thereof
KR100594780B1 (en) 2004-10-09 2006-06-30 삼성전자주식회사 Apparatus for converting image and method the same
JP4703267B2 (en) 2005-05-31 2011-06-15 株式会社東芝 Pull-down signal detection device, pull-down signal detection method, and progressive scan conversion device
JP4791854B2 (en) 2006-02-28 2011-10-12 株式会社東芝 Video processing circuit and video processing method
US8233087B2 (en) * 2006-11-08 2012-07-31 Marvell International Ltd. Systems and methods for deinterlacing high-definition and standard-definition video
KR101331709B1 (en) * 2006-12-29 2013-11-20 포항공과대학교 산학협력단 Driving circuit of liquid crystal display
WO2008120273A1 (en) * 2007-03-29 2008-10-09 Fujitsu Limited Combined video detecting device and combined video detecting method

Also Published As

Publication number Publication date
JP2003116109A (en) 2003-04-18

Similar Documents

Publication Publication Date Title
JP4253327B2 (en) Subtitle detection apparatus, subtitle detection method, and pull-down signal detection apparatus
KR101462455B1 (en) Source-adaptive video deinterlacer
US7515210B2 (en) Technique for determining the slope of a field pixel
JP4703267B2 (en) Pull-down signal detection device, pull-down signal detection method, and progressive scan conversion device
WO2006095470A1 (en) Video signal processing apparatus, video signal processing method, and video signal displaying apparatus
JP4055109B2 (en) Interlaced video signal motion detection device and progressive scan conversion device using the same
US7432979B2 (en) Interlaced to progressive scan image conversion
JP2001169252A (en) Progressive scanning converter and progressive scanning method
JPH02131689A (en) In-field interpolation circuit
JPWO2003039148A1 (en) Scan conversion device
JP4936857B2 (en) Pull-down signal detection device, pull-down signal detection method, and progressive scan conversion device
US20060033839A1 (en) De-interlacing method
JP4433949B2 (en) Image processing apparatus and method
US8164687B2 (en) Color difference signal IP conversion method
JP4074306B2 (en) 2-2 pull-down signal detection device and 2-2 pull-down signal detection method
JP2002369156A (en) Video signal converter
JP4236233B2 (en) Video signal processing circuit
JP3389984B2 (en) Progressive scan conversion device and method
JP2000156846A (en) Device and method for converting moving image format
JP2004328654A (en) Image signal processor, method for processing image signal, and device for displaying image
JP2580891B2 (en) Scan line interpolation circuit
JP2002209191A (en) Video signal converting device
JP2554116B2 (en) Television receiver
JP4175863B2 (en) Interlaced scanning motion detection circuit and video signal processing apparatus
JPH082101B2 (en) Motion adaptive scan line interpolation circuit

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060829

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071129

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111221

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121221

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131221

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees