JP3691419B2 - テレシネ変換方法 - Google Patents
テレシネ変換方法 Download PDFInfo
- Publication number
- JP3691419B2 JP3691419B2 JP2001255078A JP2001255078A JP3691419B2 JP 3691419 B2 JP3691419 B2 JP 3691419B2 JP 2001255078 A JP2001255078 A JP 2001255078A JP 2001255078 A JP2001255078 A JP 2001255078A JP 3691419 B2 JP3691419 B2 JP 3691419B2
- Authority
- JP
- Japan
- Prior art keywords
- interpolation
- image
- value
- video
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法に関する。
【０００２】
【従来の技術】
毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換する従来のテレシネ変換としては、図１（ａ）に示すように、１コマが２フレームと３フレームとに交互に割り当てられる２−３プルダウン方式が採用されている。
【０００３】
２−３プルダウン方式では、１コマが２フレームに割り当てられた部分では映像が２フレーム間静止した状態となり、１コマが３フレームに割り当てられた部分では映像が３フレーム間静止した状態となる。したがって、映像の動きに”がたつき”が生じるため、違和感のある映像となる。特に、動きの速い映像では、その違和感は顕著となる。
【０００４】
【発明が解決しようとする課題】
この発明は、映像の動きが滑らかになるテレシネ変換方法を提供することを目的とする。
【０００５】
また、この発明は、映像の動きが滑らかになるとともにフリッカーの発生を回避できるテレシネ変換方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明による第１のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、テレシネ変換後において映画フィルムの各コマ映像の表示時間積算量が等しくなるような補間係数の組合せを複数種類用意しておき、映画フィルムの映像の動き情報に基づいて、テレシネ変換に用いる補間係数の組合せの種類を切り換えるようにしたことを特徴とする。
【０００７】
この発明による第２のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、１画面を複数のブロックに分割し、各ブロック毎に動きに関する情報を算出し、補間映像を生成する際には、各ブロック毎のブロックの動きに関する情報に基づいて各ブロックに対する補間係数を決定し、各ブロック毎に決定された補間係数に基づいて画素単位の補間係数を算出し、算出された画素毎の補間係数に基づいて画素毎に補間映像を生成するようにしたことを特徴とする。
【０００９】
この発明による第３のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１より大きな値となるような補間係数を用いるとともに、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１０】
この発明による第４のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、動き領域の面積が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、動き領域の面積が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１１】
この発明による第５のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、動き領域の輝度レベル変化量が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、動き領域の輝度レベル変化量が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１３】
〔Ａ〕第１の実施の形態の説明
【００１４】
〔１〕テレシネ変換方法の説明
画面全体の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００１５】
図１（ｂ）、（ｃ）、（ｄ）は、画面全体の線形補間を用いたテレシネ変換方法の３つの具体的な方法を示している。
【００１６】
〔１−１〕 図１（ｂ）の第１方法についての説明
第１方法では、２−３プルダウン方式において、たとえば映像Ａから映像Ｂへというように映像が切り替わる部分（切り替わり前の映像をＱn とし、その次の映像をＱn+1 とする）において、次の映像Ｑn+1 をそのまま用いるのではなく、切り替わり前後の映像Ｑn およびＱn+1 の補間映像（ｐＱn ＋ｑＱn+1 ）を用いる。
【００１７】
補間係数ｐ，ｑは、その和が１となり、かつ各コマ映像の表示時間の積算値が等しくなるように決定されている。つまり、２−３プルダウン方式において映像ＡとＢとの切り替わりのように、２−３プルダウン方式で同じ映像が２フレーム連続した後に映像が切り替わる場合には、ｐ＝０．７５，ｑ＝０．２５となる。一方、２−３プルダウン方式において映像ＢとＣとの切り替わりのように、２−３プルダウン方式で同じ映像が３フレーム連続した後に映像が切り替わる場合には、ｐ＝０．２５，ｑ＝０．７５となる。
【００１８】
映画フィルムでは、各コマ映像の表示時間は同じである。映画フィルムを６０Ｐに変換した場合には、各コマ映像の表示時間を同じにすることは困難であるので、表示時間の積算値として同じ量を持つように、補間係数ｐ，ｑが決定されている。これにより、各コマ映像の表示時間は、それぞれ２．５フレームに相当する時間となる。
【００１９】
〔１−２〕 図１（ｃ）の第２方法についての説明
上述した図１（ｂ）の第１方法では、映像Ｂ、Ｄのように、２−３プルダウン方式において同じ映像が３フレーム連続する部分では、その先頭フレームは補間映像となるが、先頭フレームに続く２つのフレームは同じ映像となる。
【００２０】
映像に速い動きが含まれている場合、この同じ映像が２フレーム連続する部分では、映像が２フレーム間静止した状態となり、映像の動きに”がたつき”が生じる。
【００２１】
そこで、第２方法では、２−３プルダウン方式において、映像が切り替わる部分を補間映像に置き換える他、さらに同じ映像が連続する部分の一方を補間映像に置き換える。
【００２２】
補間係数ｐ，ｑは、図１（ｃ）に示すように、その和が１となり、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【００２３】
〔１−３〕 図１（ｄ）の第３方法についての説明
第３方法では、５フレームに１回の割合で、コマ映像（Ａ，Ｃ等）が現れ、その間のフレームは、全て補間映像（例えば、ｐＡ＋ｑＢ）とするものである。各補間映像の補間係数ｐ，ｑは、図１（ｄ）に示すように、その和が１となり、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【００２４】
なお、上記第１、第２および第３方法を、入力映像（映画フィルムの映像）の動き情報やエッジ情報に基づいて、適応的に切り替えることも可能である。例えば、入力映像の動きを検出し、動きが小であれば第１方法を使用し、動きが中程度であれば第２方法を使用し、動きが大きければ第３方法を使用する。
【００２５】
〔２〕テレシネ変換装置の説明
図２は、上記第１、第２または第３方法を実現するためのテレシネ変換装置の構成を示している。
【００２６】
２４Ｐの入力映像（映画フィルムの映像）は、切替スイッチ１を介してフレームメモリ２、３、４のいずれかに送られる。各フレームメモリ２、３、４から読み出された映像は、セレクタ５に送られる。
【００２７】
後述するように、セレクタ５には、通常２つのフレームメモリから読み出された映像信号が入力される。セレクタ５は、入力される２つの映像信号のうち、１方を第１の映像信号として出力端子(SEL0)から出力し、他方の映像信号を第２の映像信号として出力端子(SEL1)から出力する。
【００２８】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号は第１の乗算器６に送られ、セレクタ５の出力端子(SEL1)から出力される第２の映像信号は第２の乗算器７に送られる。第１の乗算器６は、第１の映像信号に補間係数ｐを乗算する。第２の乗算器７は、第２の映像信号に補間係数ｑを乗算する。
【００２９】
第１の乗算器６の出力と第２の乗算器７の出力とは、加算器８によって加算されて、６０Ｐの映像信号として出力される。
【００３０】
切替スイッチ１、各フレームメモリ２、３、４およびセレクタ５は、入力映像の垂直同期信号ＶＤが入力する２−３プルダウン制御回路１１によって制御される。補間係数ｐ，ｑは、補間係数制御回路１２によって生成される。補間係数制御回路１２は、２−３プルダウン制御回路１１から送られてくるテレシネ周期番号に基づいて補間係数ｐ，ｑを生成する。
【００３１】
図３は、図２の各部の信号等を示している。
【００３２】
図３において、テレシネ周期番号は、フレーム単位で”０”〜”４”の５種類あり、”０”〜”４”を繰り返す。
【００３３】
切替スイッチ１は、入力映像の切り替わりタイミングに同期して、３つのフレームメモリ（メモリＡ、メモリＢ、メモリＣ）２、３、４をサイクリックに選択するように切り替えられる。
【００３４】
フレームメモリ２、３、４に蓄積された映像のうち、最新に読み出し可能となった映像と、その１つ前に読み出し可能となっていた映像とが読み出されてセレクタ５に送られる。最新に読み出し可能となった映像は、セレクタ５の端子（SEL1) から第２の映像として出力される。１つ前に読み出し可能となっていた映像は、セレクタ５の端子（SEL0) から第１の映像として出力される。
【００３５】
補正係数は、テレシネ周期番号に基づいて、次のように決定される。
【００３６】
（１）上記第１方法の場合
テレシネ周期番号”０”：ｐ＝０，ｑ＝１
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”３”：ｐ＝０，ｑ＝１
テレシネ周期番号”４”：ｐ＝０．７５，ｑ＝０．２５
【００３７】
（２）上記第２方法の場合
テレシネ周期番号”０”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝０．７５，ｑ＝０．２５
テレシネ周期番号”３”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【００３８】
（３）上記第３方法の場合
テレシネ周期番号”０”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”１”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”２”：ｐ＝０．７５，ｑ＝０．２５
テレシネ周期番号”３”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【００３９】
〔Ｂ〕第２の実施の形態の説明
【００４０】
〔１〕テレシネ変換方法の概要の説明
【００４１】
画面内のブロック毎の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００４２】
第２の実施の形態では、第１の実施の形態のように画面全体の補間ではなく、画面内のブロック毎に補間係数を求めてテレシネ変換を行なう。
【００４３】
つまり、画面を複数のブロックに分割し、各ブロック毎にそのブロックでの映像の動きに関する情報に基づいて補間係数を算出する。この実施の形態では、さらに、ブロック毎に求められた補間係数に基づいて、画素毎の補間係数ｐ，ｑを算出する。算出された画素毎の補間係数ｐ，ｑを用いて、補間映像を生成する。
【００４４】
ところで、１画面を複数のブロックに分割した場合、動きの少ないブロックでは、従来の２−３プルダウン方式を用いても違和感のない映像となる。しかしながら、動きのあるブロックについては、従来の２−３プルダウン方式では動きに”がたつき”が生じる。この動きの”がたつき”は、動きの速さが大きいほど大きくなる。
【００４５】
そこで、第２の実施の形態では、動きのあるブロックについては、その動きに関する情報に基づいて補間係数を算出し、算出された補間係数に基づいて補間映像を生成する。また、隣接するブロックにおいて、補間係数が異なる場合には、そのブロック境界において被写体の連続性が途切れるので、ブロック毎に求められた補間係数に基づいて、画素毎の補間係数ｐ、ｑを求める。
【００４６】
〔２〕テレシネ変換装置の説明
【００４７】
図４は、画面内のブロック毎の線形補間を用いてテレシネ変換を行なうためのテレシネ変換装置の構成を示している。
【００４８】
図４において、図２と対応するものには、図２と同じ符号を付してある。
【００４９】
図４のテレシネ変換装置と、図２のテレシネ変換装置との違いは、補間係数制御回路１２にある。補間係数制御回路１２には、２−３プルダウン制御回路１１からのテレシネ周期番号が入力される他、セレクタ５から出力される第１映像信号および第２映像信号が入力される。
【００５０】
〔３〕補間係数制御回路１２の説明
【００５１】
図５は、補間係数制御回路１２の構成を示している。
補間係数制御回路１２は、動き情報算出回路２１、目標補間量決定部２２、領域補間量決定部２３、テレシネ周期調整付領域補間係数算出回路２４および画素毎の補間係数算出回路２５を備えている。
【００５２】
動き情報算出回路２１は、セレクタ５から出力される第１映像信号および第２映像信号に基づいて、動きに関する情報を算出する。
【００５３】
目標補間量決定部２２は、動きに関する情報に基づいて、目標補間係数を算出する。
【００５４】
領域補間量決定部２３は、目標補間係数と前回の領域補間係数とに基づいて、新たな領域補間係数を算出する。
【００５５】
テレシネ周期調整付領域補間係数算出回路２４は、テレシネ周期に基づいて、領域補間係数を決定する。
【００５６】
画素毎の補間係数算出回路２５は、領域補間係数に基づいて、画素毎の補間係数を算出する。
【００５７】
以下、これらの各部について説明する。
【００５８】
〔３−１〕動き情報算出回路２１の説明
ここでは、１画面領域が複数のブロックに分割されているものとする。
動き情報算出回路２１は、各ブロック毎に、次式（１）で表される動きに関する情報（以下、動き情報）Ｄｅｔを算出する。
【００５９】
Ｄｅｔ＝Ｗａ・（エッジ変化量）＋Ｗｂ・（輝度変化量）＋Ｗｃ・（コントラスト変化量） …（１）
【００６０】
Ｗａ、ＷｂおよびＷｃは、予め設定された重み係数である。エッジ変化量、輝度変化量およびコントラスト変化量の求め方について説明する。
【００６１】
図６は、エッジ変化量を算出するための回路を示している。
【００６２】
第１の映像信号は第１のラプラシアン算出部３１に送られる。第１のラプラシアン算出部３１は、図７のフィルタを用いて、画素毎にラプラシアンを求める。第２の映像信号は第２のラプラシアン算出部３２に送られる。第２のラプラシアン算出部３２は、図７のフィルタを用いて、画素毎にラプラシアンを求める。
【００６３】
各ラプラシアン算出部３１、３２によって求められた同じ画素に対するラプラシアンは、加算器３３によってその差が算出される。加算器３３の出力は、ブロック毎積算回路３４に送られる。ブロック毎積算回路３４は、ブロック毎に、加算器３３の出力を積算し、ブロック毎の積算値の絶対値を、そのブロックのエッジ変化量として出力する。
【００６４】
図８は、輝度変化量を算出するための回路を示している。
【００６５】
第１の映像信号の輝度信号は、第１のブロック毎輝度積算回路４１に送られる。第１のブロック毎輝度積算回路４１は、ブロック毎に輝度積算値を算出する。
【００６６】
第２の映像信号の輝度信号は、第２のブロック毎輝度積算回路４２に送られる。第２のブロック毎輝度積算回路４２は、ブロック毎に輝度積算値を算出する。
【００６７】
第１のブロック毎輝度積算回路４１によって算出されたブロック毎の輝度積算値と、第２のブロック毎輝度積算回路４２によって算出されたブロック毎の輝度積算値とは、加算器４３に送られる。加算器４３は、同じブロックに対する両輝度積算値の差の絶対値を算出して、そのブロックの輝度変化量として出力する。
【００６８】
図９は、コントラスト変化量を算出するための回路を示している。
【００６９】
第１の映像信号の輝度信号は、第１のブロック毎コントラスト算出回路５１に送られる。第１のブロック毎コントラスト算出回路５１は、ブロック毎に輝度最大値と輝度最小値との差（コントラスト）を算出する。
【００７０】
第２の映像信号の輝度信号は、第２のブロック毎コントラスト算出回路５２に送られる。第２のブロック毎コントラスト算出回路５２は、ブロック毎に輝度最大値と輝度最小値との差（コントラスト）を算出する。
【００７１】
第１のブロック毎コントラスト算出回路５１によって算出されたブロック毎のコントラストと、第２のブロック毎コントラスト算出回路５２によって算出されたブロック毎のコントラストとは、加算器５３に送られる。加算器５３は、同じブロックに対する両コントラストの差の絶対値を算出して、そのブロックのコントラスト変化量として出力する。
【００７２】
〔３−２〕目標補間量決定部２２の説明
目標補間量決定部２２は、各ブロック毎の動き情報Ｄｅｔと、図１０に示すような動き情報Ｄｅｔに対する目標補間値ＭＫとの関係を記憶したテーブルに基づいて、各ブロック毎に目標補間値ＭＫを決定する。
【００７３】
〔３−３〕領域補間量決定部２３の説明
図１１は、領域補間量決定部２３の構成を示している。
【００７４】
領域補間量決定部２３は、ブロック毎に以下のようにして領域補間値ＲＫを算出する。
【００７５】
まず、第１加算器６１によって、目標補間値ＭＫと当該ブロックに対する前回の領域補間値ＲＫとの差（ＭＫ−ＲＫ）が算出される。
【００７６】
次に、補間係数の増減値ＫＫを、ＫＫ算出ＲＯＭ６２によって算出する。ＫＫ算出ＲＯＭ６２は、第１加算器６１によって算出された差（ＭＫ−ＲＫ）と、図１２に示すような差（目標補間値ＭＫ−前回の領域補間値ＲＫ）に対するＫＫの関係に基づいて、ＫＫを求める。
【００７７】
次に、第２加算器６３によって、ＫＫ算出ＲＯＭ６２によって算出されたＫＫに当該ブロックに対する前回の領域補間値ＲＫが加算される。
【００７８】
この加算結果（ＫＫ＋ＲＫ）は、比較回路６４に送られる。比較回路６４は、この加算結果（ＫＫ＋ＲＫ）が０以上であれば、この加算結果（ＫＫ＋ＲＫ）を今回の領域補間値ＲＫとして出力する。一方、加算結果（ＫＫ＋ＲＫ）が０より小さければ、０を今回の領域補間値ＲＫとして出力する。
【００７９】
〔３−４〕テレシネ周期調整付領域補間係数算出回路２４の説明
【００８０】
テレシネ周期調整付領域補間係数算出回路２４は、各ブロック毎に、各ブロック毎の領域補間値ＲＫとテレシネ周期番号に基づいて、テレシネ周期番号毎の補間係数αを生成して出力する。
【００８１】
ＲＫとテレシネ周期番号との組み合わせに対する補間係数αは、図１３のテーブルに基づいて決定される。なお、ＲＫとテレシネ周期番号との組み合わせに対する補間係数αを、図１４のテーブルに基づいて決定してもよい。
【００８２】
〔３−５〕画素毎の補間係数算出回路２５の説明
画素毎の補間係数算出回路２５は、画面内の各ブロック毎の補間係数αに基づいて、画素毎の補間係数ｐを求める。
【００８３】
図１５を用いて、画素毎の補間係数ｐを求める方法について説明する。
【００８４】
図１５には、説明の便宜上、４つのブロックＺ00、Ｚ10、Ｚ01、Ｚ11のみが図示されている。ブロックＺ00に対して算出された補間係数をα００、ブロックＺ10に対して算出された補間係数をα１０、ブロックＺ01に対して算出された補間係数をα０１、ブロックＺ11に対して算出された補間係数をα１１とする。
【００８５】
ブロックＺ00の中心の座標を（ｘ００，ｙ００）とし、ブロックＺ10の中心の座標を（ｘ１０，ｙ１０）とし、ブロックＺ01の中心の座標を（ｘ０１，ｙ０１）とし、ブロックＺ11の中心の座標を（ｘ１１，ｙ１１）とする。
【００８６】
座標（ｘ，ｙ）の画素の補間係数を、ｐ（ｘ，ｙ）、ｑ（ｘ，ｙ）とすると、ｐ（ｘ，ｙ）は、次式（２）に基づいて算出される。なお、ｑ（ｘ，ｙ）は、１−ｐ（ｘ，ｙ）によって求められる。
【００８７】
p(x,y)＝( α00＋Δh0*(x-x00))
+〔｛( α01+ Δh1*(x-x0)-( α00+ Δh0*(x-x00)) ｝/(y01-y00)〕*(y-y00)
h0＝( α10- α00)/(x10-x00)
h1＝( α11- α01)/(x11-x01) …（２）
【００８８】
図４の各部の信号等の一例を図１６に示しておく。
【００８９】
図１６において、６０Ｐ出力は、テレシネ周期調整付領域補間係数算出回路２４が図１３のテーブルに基づいて補間係数αを決定した場合を示している。
【００９０】
〔Ｃ〕第３の実施の形態の説明
【００９１】
上記第１または第２の実施の形態によれば、従来の２−３プルダウン方式に比べて映像の動きが滑らかになったが、テレシネ変換後の映像をＣＲＴに表示した場合、映像の種類によってはフリッカー、つまり、輝度レベルの変動によって映像がちらついて見える現象が起こることが判明した。
【００９２】
フリッカーが発生するのは、補間係数ｐ，ｑとしてそれらの和が１となるものを用いているため、補間により得られた映像と補間を行なっていない映像との間で輝度レベルが変動することが原因であると考えられる。これについてより具体的に説明する。
【００９３】
図１７に示すように、コマ映像Ａとコマ映像Ｂとの間で、高輝度の移動物体（斜線部）Ｘが存在するものとする。コマ映像Ａと２番目のコマ映像Ｂとを、和が１となるような２つの補間係数ｐ，ｑを用いて補間することにより、図１７に示すような補間映像（ｐＡ＋ｑＢ）が得られる。この補間映像（ｐＡ＋ｑＢ）においては、コマ映像Ａにおける移動物体部分とコマ映像Ｂにおける移動物体部分との重なり合う部分（斜線部）Ｙでは、高輝度となるが、重なり合わない部分Ｚでは輝度が減少する。つまり、補間映像（ｐＡ＋ｑＢ）においては、高輝度の移動物体部分において、高輝度部の面積が減少する。この結果、補間映像（ｐＡ＋ｑＢ）と、補間を行なっていない映像Ａ、Ｂとの間で、輝度レベルが変動する。
【００９４】
〔１〕テレシネ変換方法の説明
画面全体の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００９５】
図１８（ｂ）、（ｃ）、（ｄ）は、画面全体の線形補間を用いたテレシネ変換方法の３つの具体的な方法を示している。なお、図１８（ａ）は、従来の２−３プルダウン方式を示している。
【００９６】
〔１−１〕 図１８（ｂ）の第１方法についての説明
第１方法では、２−３プルダウン方式において、たとえば映像Ａから映像Ｂへというように映像が切り替わる部分（切り替わり前の映像をＱn とし、その次の映像をＱn+1 とする）において、次の映像Ｑn+1 をそのまま用いるのではなく、切り替わり前後の映像Ｑn およびＱn+1 の補間映像（ｐＱn ＋ｑＱn+1 ）を用いる。
【００９７】
補間係数ｐ，ｑは、補間映像の輝度の減少を補ってフリッカーを目立ちにくくするため、それらの和（ｐ＋ｑ）が１より大きな値となるように決定されている。
【００９８】
このように、補間係数ｐ，ｑの和を１より大きな値に決定すると、得られた画素単位の補間値（ｐＱn ＋ｑＱn+1 ）が、その補間値を算出するために用いられた元の２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値を越えてしまうことがある。このようなことが起こると、補間映像の輝度が大きくなりすぎて、逆のフリッカーが発生するおそれがある。
【００９９】
そこで、後述するように、この実施の形態では、得られた画素単位の補間値（ｐＱn ＋ｑＱn+1 ）が、その補間値を算出するために用いられた元の２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値以下となるように修正するようにしている。このような修正は、第２方法、第３方法においても、同様に行なわれる。
【０１００】
第１方法では、２−３プルダウン方式において映像ＡとＢとの切り替わりのように、２−３プルダウン方式で同じ映像が２フレーム連続した後に映像が切り替わる場合には、ｐ＝２４／３２，ｑ＝９／３２となる。一方、２−３プルダウン方式において映像ＢとＣとの切り替わりのように、２−３プルダウン方式で同じ映像が３フレーム連続した後に映像が切り替わる場合には、ｐ＝８／３２，ｑ＝２５／３２となる。
【０１０１】
また、この例では、各コマ映像の表示時間の積算値が等しくなるように、補間係数ｐ，ｑが決定されている。これにより、各コマ映像の表示時間は、それぞれ｛２＋（１７／３２）｝フレームに相当する時間となる。この例では、各コマ映像の表示時間の積算値が等しくなるように、補間係数ｐ，ｑが決定されているが、各コマ映像の表示時間の積算値を等しくさせる必要はない。
【０１０２】
〔１−２〕 図１８（ｃ）の第２方法についての説明
上述した図１８（ｂ）の第１方法では、映像Ｂ、Ｄのように、２−３プルダウン方式において同じ映像が３フレーム連続する部分では、その先頭フレームは補間映像となるが、先頭フレームに続く２つのフレームは同じ映像となる。
【０１０３】
映像に速い動きが含まれている場合、この同じ映像が２フレーム連続する部分では、映像が２フレーム間静止した状態となり、映像の動きに”がたつき”が生じる。
【０１０４】
そこで、第２方法では、２−３プルダウン方式において、映像が切り替わる部分を補間映像に置き換える他、さらに同じ映像が連続する部分の一方を補間映像に置き換える。
【０１０５】
補間係数ｐ，ｑは、図１８（ｃ）に示すように、それらの和が１より大きな値となるように、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【０１０６】
〔１−３〕 図１８（ｄ）の第３方法についての説明
第３方法では、５フレームに１回の割合で、コマ映像（Ａ，Ｃ等）が現れ、その間のフレームは、全て補間映像（例えば、ｐＡ＋ｑＢ）とするものである。各補間映像の補間係数ｐ，ｑは、図１８（ｄ）に示すように、それらの和が１より大きな値となるように、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【０１０７】
〔２〕テレシネ変換装置の説明
図１９は、上記第１、第２または第３方法を実現するためのテレシネ変換装置の構成を示している。
【０１０８】
２４Ｐの入力映像（映画フィルムの映像）は、切替スイッチ１を介してフレームメモリ２、３、４のいずれかに送られる。各フレームメモリ２、３、４から読み出された映像は、セレクタ５に送られる。
【０１０９】
後述するように、セレクタ５には、通常２つのフレームメモリから読み出された映像信号が入力される。セレクタ５は、入力される２つの映像信号のうち、１方を第１の映像信号として出力端子(SEL0)から出力し、他方の映像信号を第２の映像信号として出力端子(SEL1)から出力する。
【０１１０】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号は第１の乗算器６に送られ、セレクタ５の出力端子(SEL1)から出力される第２の映像信号は第２の乗算器７に送られる。第１の乗算器６は、第１の映像信号に補間係数ｐを乗算する。第２の乗算器７は、第２の映像信号に補間係数ｑを乗算する。
【０１１１】
第１の乗算器６の出力と第２の乗算器７の出力とは、加算器８によって加算される。加算器８の出力は、最小値出力回路１０に送られる。
【０１１２】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号およびセレクタ５の出力端子(SEL1)から出力される第２の映像信号は、最大値出力回路９にも送られる。最大値出力回路９は、第１の映像信号および第２の映像信号のうち、輝度が大きい方の映像信号を出力する。最大値出力回路９の出力は、最小値出力回路１０に送られる。
【０１１３】
最小値出力回路１０は、加算器８から送られてきた映像信号と、最大値出力回路９から送られてきた映像信号のうち、輝度値の小さい方の映像信号を出力する。最小値出力回路１０の出力信号は、６０Ｐの映像信号として出力される。
【０１１４】
最大値出力回路９および最小値出力回路１０は、補間係数ｐ，ｑを用いて得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合に、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するために設けられたものである。
【０１１５】
切替スイッチ１、各フレームメモリ２、３、４およびセレクタ５は、入力映像の垂直同期信号ＶＤが入力する２−３プルダウン制御回路１１によって制御される。補間係数ｐ，ｑは、補間係数制御回路１２によって生成される。補間係数制御回路１２は、２−３プルダウン制御回路１１から送られてくるテレシネ周期番号に基づいて補間係数ｐ，ｑを生成する。
【０１１６】
図２０は、図１９の各部の信号等を示している。
【０１１７】
図２０において、テレシネ周期番号は、フレーム単位で”０”〜”４”の５種類あり、”０”〜”４”を繰り返す。
【０１１８】
切替スイッチ１は、入力映像の切り替わりタイミングに同期して、３つのフレームメモリ（メモリＡ、メモリＢ、メモリＣ）２、３、４をサイクリックに選択するように切り替えられる。
【０１１９】
フレームメモリ２、３、４に蓄積された映像のうち、最新に読み出し可能となった映像と、その１つ前に読み出し可能となっていた映像とが読み出されてセレクタ５に送られる。最新に読み出し可能となった映像は、セレクタ５の端子（SEL1) から第２の映像として出力される。１つ前に読み出し可能となっていた映像は、セレクタ５の端子（SEL0) から第１の映像として出力される。
【０１２０】
補正係数は、テレシネ周期番号に基づいて、次のように決定される。
【０１２１】
（１）上記第１方法の場合
テレシネ周期番号”０”：ｐ＝０，ｑ＝１
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”３”：ｐ＝０，ｑ＝１
テレシネ周期番号”４”：ｐ＝２４／３２，ｑ＝９／３２
【０１２２】
（２）上記第２方法の場合
テレシネ周期番号”０”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝２５／３２，ｑ＝８／３２
テレシネ周期番号”３”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【０１２３】
（３）上記第３方法の場合
テレシネ周期番号”０”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”１”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”２”：ｐ＝２４／３２，ｑ＝９／３２
テレシネ周期番号”３”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【０１２４】
〔Ｄ〕第４の実施の形態の説明
【０１２５】
第４の実施の形態では、動き領域の面積が小さい場合には、和が１となる係数ｐ，ｑを用いて補間映像を生成し、動き領域の面積が大きい場合には、和が１より大きい値となる係数ｐ，ｑを用いて補間映像を生成するというように、動き領域の面積に応じて、係数を適応的に制御する。
【０１２６】
図２１は、テレシネ変換装置の構成を示している。
【０１２７】
図２１において、図１９と対応するものには、図１９と同じ符号を付してある。
【０１２８】
図２１のテレシネ変換装置と、図１９のテレシネ変換装置との違いは、動き情報算出回路１３が設けられている点と、補間係数制御回路１２が、動き情報算出回路１３によって算出された動き領域の面積に応じて、係数ｐ，ｑをその和が１となるものと、その和が１より大きな値となるものとの間で、切り替える点とにある。
【０１２９】
補間係数制御回路１２は、たとえば、図２２に示すような２種類の係数テーブルを備えている。図２２（ａ）に示す第１係数テーブルは、動き領域の面積が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値を記憶している。図２２（ｂ）に示す第２係数テーブルは、動き領域の面積が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値とを記憶している。
【０１３０】
動き領域の面積が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値は、その和が１となるような値に設定されている。動き領域の面積が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値は、その和が１より大きな値となるような値に設定されている。
【０１３１】
図２３は、動き情報算出回路１３の構成を示している。
【０１３２】
動き情報算出回路１３には、セレクタ５から出力される第１映像信号および第２映像信号が入力される。
【０１３３】
動き情報算出回路１３は、差分回路１２１、絶対値算出回路１２２、２値化回路１２３および動き領域カウンタ１２４を備えている。
【０１３４】
差分回路１２１は、第１映像信号および第２映像信号との画素毎の輝度差を算出する。絶対値算出回路１２２は、差分回路１２１によって得られた画素毎の輝度差の絶対値を算出する。
【０１３５】
２値化回路１２３は、予め定められた閾値に基づいて、画素毎の輝度差の絶対値を２値化する。つまり、２値化回路１２３は、動き有りの画素か動き無しの画素かを判定する。輝度差の絶対値が閾値より大きい場合には、その画素は動き有りの画素であると判定される。動き領域カウンタ１２４は、１フィールド毎に、動き有りと判定された画素数をカウントする。動き領域カウンタ１２４によってカウントされた動き有りの画素数、つまり、動き領域の面積は、補間係数制御回路１２に送られる。
【０１３６】
補間係数制御回路１２は、前フィールドに対する動き領域の面積が所定の閾値以下である場合には、図２２（ａ）に示す第１係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１３７】
補間係数制御回路１２は、前フィールドに対する動き領域の面積が所定の閾値より大きい場合には、図２２（ｂ）に示す第２係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１３８】
〔Ｅ〕第４の実施の形態の変形例の説明
【０１３９】
上記第４の実施の形態では、動き領域の面積に応じて、係数を適応的に制御しているが、動き領域の輝度変化量（動き領域の輝度レベル差）に応じて、係数を適応的に制御するようにしてもよい。
【０１４０】
つまり、図２３の動き情報算出回路１３として、動き領域の輝度変化量を算出するものを用いる。
【０１４１】
図２４は、動き領域の輝度変化量を算出するための動き情報算出回路１３の構成を示している。
【０１４２】
動き情報算出回路１３は、差分回路１２１、絶対値算出回路１２２、２値化回路１２３および動き領域輝度平均算出回路１２５を備えている。
【０１４３】
差分回路１２１は、第１映像信号および第２映像信号との画素毎の輝度差を算出する。絶対値算出回路１２２は、差分回路１２１によって得られた画素毎の輝度差の絶対値を算出する。２値化回路１２３は、予め定められた閾値に基づいて、画素毎の輝度差の絶対値を２値化する。つまり、２値化回路１２３は、動き有りの画素か動き無しの画素かを判定する。輝度差の絶対値が閾値より大きい場合には、その画素は動き有りの画素であると判定される。
【０１４４】
動き領域輝度平均算出回路１２５には、絶対値算出回路１２２の出力（画素毎の輝度差の絶対値）と、２値化回路１２３の出力（動きの有無判定信号）とが入力する。動き領域輝度平均算出回路１２５は、１フィールド毎に、動きがあると判定された画素の輝度差絶対値の総和を求めるとともに、求めた総和を動きがあると判定された画素数で除算することにより、動き領域の輝度変化量（平均値）を算出する。動き領域輝度平均算出回路１２５によって算出された動き領域の輝度変化量（平均値）は、補間係数制御回路１２に送られる。
【０１４５】
補間係数制御回路１２は、たとえば、図２２に示すような２種類の係数テーブルを備えている。図２２（ａ）に示す第１係数テーブルは、動き領域の輝度レベル差が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値を記憶している。図２２（ｂ）に示す第２係数テーブルは、動き領域の輝度レベル差が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値とを記憶している。
【０１４６】
補間係数制御回路１２は、前フィールドに対する動き領域の輝度変化量が所定の閾値以下である場合には、図２２（ａ）に示す第１係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１４７】
補間係数制御回路１２は、前フィールドに対する動き領域の輝度変化量が所定の閾値より大きい場合には、図２２（ｂ）に示す第２係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１４８】
なお、動き情報算出回路１３として、動き領域の面積と動き領域の輝度レベル差との両方を算出するものを用い、動き領域の面積が大きくかつ動き領域の輝度変化量が大きい場合には和が１より大きくなる係数ｐ，ｑを採用し、そうでない場合には和が１となる係数ｐ，ｑを採用するようにしてもよい。
【０１４９】
【発明の効果】
この発明によれば、映像の動きが滑らかになるテレシネ変換方法が実現する。また、この発明によれば、映像の動きが滑らかになるとともにフリッカーの発生を回避できるテレシネ変換方法が実現する。
【図面の簡単な説明】
【図１】従来方法（２−３プルダウン方式）と、第１の実施の形態によるテレシネ変換方法とを示すタイムチャートである。
【図２】第１の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図３】図２の各部の信号等を示すタイムチャートである。
【図４】第２の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図５】補間係数制御回路１２の構成を示すブロック図である。
【図６】エッジ変化量を算出するための回路を示す回路図である。
【図７】ラプラシアンを算出するためのフィルタを示す模式図である。
【図８】輝度変化量を算出するための回路を示す回路図である。
【図９】コントラスト変化量を算出するための回路を示す回路図である。
【図１０】動き情報Ｄｅｔに対する目標補間値ＭＫとの関係を示すグラフである。
【図１１】領域補間量決定部２３の構成を示す回路図である。
【図１２】（目標補間値ＭＫ−前回の領域補間値ＲＫ）に対する補間係数の増減値ＫＫの関係を示すグラフである。
【図１３】ＲＫとテレシネ周期番号との組み合わせに対する補間係数αを示す模式図である。
【図１４】ＲＫとテレシネ周期番号との組み合わせに対する補間係数αの他の例を示す模式図である。
【図１５】画面内の各ブロック毎の補間係数αに基づいて、画素毎の補間係数ｐを求める方法を説明するための模式図である。
【図１６】図４の各部の信号等を示すタイムチャートである。
【図１７】第１の実施の形態または第２の実施の形態によってテレシネ変換を行なった場合に、フリッカーが発生する原因を説明するための説明図である。
【図１８】従来の２−３プルダウン方式と、第３の実施の形態によるテレシネ変換方法とを示すタイムチャートである。
【図１９】第３の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図２０】図１９の各部の信号等を示すタイムチャートである。
【図２１】第４の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図２２】第１係数テーブルおよび第２係数テーブルの一例を示す模式図である。
【図２３】動き情報算出回路の構成を示すブロック図である。
【図２４】動き情報算出回路の他の構成例を示すブロック図である。
【符号の説明】
１ 切替スイッチ
２、３、４ フレームメモリ
５ セレクタ
６、７ 乗算器
８ 加算器
９ 最大値算出回路
１０ 最小値算出回路
１１ ２−３プルダウン制御回路
１２ 補間係数制御回路
１３ 動き情報算出回路
【発明の属する技術分野】
この発明は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法に関する。
【０００２】
【従来の技術】
毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換する従来のテレシネ変換としては、図１（ａ）に示すように、１コマが２フレームと３フレームとに交互に割り当てられる２−３プルダウン方式が採用されている。
【０００３】
２−３プルダウン方式では、１コマが２フレームに割り当てられた部分では映像が２フレーム間静止した状態となり、１コマが３フレームに割り当てられた部分では映像が３フレーム間静止した状態となる。したがって、映像の動きに”がたつき”が生じるため、違和感のある映像となる。特に、動きの速い映像では、その違和感は顕著となる。
【０００４】
【発明が解決しようとする課題】
この発明は、映像の動きが滑らかになるテレシネ変換方法を提供することを目的とする。
【０００５】
また、この発明は、映像の動きが滑らかになるとともにフリッカーの発生を回避できるテレシネ変換方法を提供することを目的とする。
【０００６】
【課題を解決するための手段】
この発明による第１のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、テレシネ変換後において映画フィルムの各コマ映像の表示時間積算量が等しくなるような補間係数の組合せを複数種類用意しておき、映画フィルムの映像の動き情報に基づいて、テレシネ変換に用いる補間係数の組合せの種類を切り換えるようにしたことを特徴とする。
【０００７】
この発明による第２のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、１画面を複数のブロックに分割し、各ブロック毎に動きに関する情報を算出し、補間映像を生成する際には、各ブロック毎のブロックの動きに関する情報に基づいて各ブロックに対する補間係数を決定し、各ブロック毎に決定された補間係数に基づいて画素単位の補間係数を算出し、算出された画素毎の補間係数に基づいて画素毎に補間映像を生成するようにしたことを特徴とする。
【０００９】
この発明による第３のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１より大きな値となるような補間係数を用いるとともに、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１０】
この発明による第４のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、動き領域の面積が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、動き領域の面積が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１１】
この発明による第５のテレシネ変換方法は、２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、動き領域の輝度レベル変化量が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、動き領域の輝度レベル変化量が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とする。
【００１２】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
【００１３】
〔Ａ〕第１の実施の形態の説明
【００１４】
〔１〕テレシネ変換方法の説明
画面全体の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００１５】
図１（ｂ）、（ｃ）、（ｄ）は、画面全体の線形補間を用いたテレシネ変換方法の３つの具体的な方法を示している。
【００１６】
〔１−１〕 図１（ｂ）の第１方法についての説明
第１方法では、２−３プルダウン方式において、たとえば映像Ａから映像Ｂへというように映像が切り替わる部分（切り替わり前の映像をＱn とし、その次の映像をＱn+1 とする）において、次の映像Ｑn+1 をそのまま用いるのではなく、切り替わり前後の映像Ｑn およびＱn+1 の補間映像（ｐＱn ＋ｑＱn+1 ）を用いる。
【００１７】
補間係数ｐ，ｑは、その和が１となり、かつ各コマ映像の表示時間の積算値が等しくなるように決定されている。つまり、２−３プルダウン方式において映像ＡとＢとの切り替わりのように、２−３プルダウン方式で同じ映像が２フレーム連続した後に映像が切り替わる場合には、ｐ＝０．７５，ｑ＝０．２５となる。一方、２−３プルダウン方式において映像ＢとＣとの切り替わりのように、２−３プルダウン方式で同じ映像が３フレーム連続した後に映像が切り替わる場合には、ｐ＝０．２５，ｑ＝０．７５となる。
【００１８】
映画フィルムでは、各コマ映像の表示時間は同じである。映画フィルムを６０Ｐに変換した場合には、各コマ映像の表示時間を同じにすることは困難であるので、表示時間の積算値として同じ量を持つように、補間係数ｐ，ｑが決定されている。これにより、各コマ映像の表示時間は、それぞれ２．５フレームに相当する時間となる。
【００１９】
〔１−２〕 図１（ｃ）の第２方法についての説明
上述した図１（ｂ）の第１方法では、映像Ｂ、Ｄのように、２−３プルダウン方式において同じ映像が３フレーム連続する部分では、その先頭フレームは補間映像となるが、先頭フレームに続く２つのフレームは同じ映像となる。
【００２０】
映像に速い動きが含まれている場合、この同じ映像が２フレーム連続する部分では、映像が２フレーム間静止した状態となり、映像の動きに”がたつき”が生じる。
【００２１】
そこで、第２方法では、２−３プルダウン方式において、映像が切り替わる部分を補間映像に置き換える他、さらに同じ映像が連続する部分の一方を補間映像に置き換える。
【００２２】
補間係数ｐ，ｑは、図１（ｃ）に示すように、その和が１となり、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【００２３】
〔１−３〕 図１（ｄ）の第３方法についての説明
第３方法では、５フレームに１回の割合で、コマ映像（Ａ，Ｃ等）が現れ、その間のフレームは、全て補間映像（例えば、ｐＡ＋ｑＢ）とするものである。各補間映像の補間係数ｐ，ｑは、図１（ｄ）に示すように、その和が１となり、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【００２４】
なお、上記第１、第２および第３方法を、入力映像（映画フィルムの映像）の動き情報やエッジ情報に基づいて、適応的に切り替えることも可能である。例えば、入力映像の動きを検出し、動きが小であれば第１方法を使用し、動きが中程度であれば第２方法を使用し、動きが大きければ第３方法を使用する。
【００２５】
〔２〕テレシネ変換装置の説明
図２は、上記第１、第２または第３方法を実現するためのテレシネ変換装置の構成を示している。
【００２６】
２４Ｐの入力映像（映画フィルムの映像）は、切替スイッチ１を介してフレームメモリ２、３、４のいずれかに送られる。各フレームメモリ２、３、４から読み出された映像は、セレクタ５に送られる。
【００２７】
後述するように、セレクタ５には、通常２つのフレームメモリから読み出された映像信号が入力される。セレクタ５は、入力される２つの映像信号のうち、１方を第１の映像信号として出力端子(SEL0)から出力し、他方の映像信号を第２の映像信号として出力端子(SEL1)から出力する。
【００２８】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号は第１の乗算器６に送られ、セレクタ５の出力端子(SEL1)から出力される第２の映像信号は第２の乗算器７に送られる。第１の乗算器６は、第１の映像信号に補間係数ｐを乗算する。第２の乗算器７は、第２の映像信号に補間係数ｑを乗算する。
【００２９】
第１の乗算器６の出力と第２の乗算器７の出力とは、加算器８によって加算されて、６０Ｐの映像信号として出力される。
【００３０】
切替スイッチ１、各フレームメモリ２、３、４およびセレクタ５は、入力映像の垂直同期信号ＶＤが入力する２−３プルダウン制御回路１１によって制御される。補間係数ｐ，ｑは、補間係数制御回路１２によって生成される。補間係数制御回路１２は、２−３プルダウン制御回路１１から送られてくるテレシネ周期番号に基づいて補間係数ｐ，ｑを生成する。
【００３１】
図３は、図２の各部の信号等を示している。
【００３２】
図３において、テレシネ周期番号は、フレーム単位で”０”〜”４”の５種類あり、”０”〜”４”を繰り返す。
【００３３】
切替スイッチ１は、入力映像の切り替わりタイミングに同期して、３つのフレームメモリ（メモリＡ、メモリＢ、メモリＣ）２、３、４をサイクリックに選択するように切り替えられる。
【００３４】
フレームメモリ２、３、４に蓄積された映像のうち、最新に読み出し可能となった映像と、その１つ前に読み出し可能となっていた映像とが読み出されてセレクタ５に送られる。最新に読み出し可能となった映像は、セレクタ５の端子（SEL1) から第２の映像として出力される。１つ前に読み出し可能となっていた映像は、セレクタ５の端子（SEL0) から第１の映像として出力される。
【００３５】
補正係数は、テレシネ周期番号に基づいて、次のように決定される。
【００３６】
（１）上記第１方法の場合
テレシネ周期番号”０”：ｐ＝０，ｑ＝１
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”３”：ｐ＝０，ｑ＝１
テレシネ周期番号”４”：ｐ＝０．７５，ｑ＝０．２５
【００３７】
（２）上記第２方法の場合
テレシネ周期番号”０”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝０．７５，ｑ＝０．２５
テレシネ周期番号”３”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【００３８】
（３）上記第３方法の場合
テレシネ周期番号”０”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”１”：ｐ＝０．２５，ｑ＝０．７５
テレシネ周期番号”２”：ｐ＝０．７５，ｑ＝０．２５
テレシネ周期番号”３”：ｐ＝０．５，ｑ＝０．５
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【００３９】
〔Ｂ〕第２の実施の形態の説明
【００４０】
〔１〕テレシネ変換方法の概要の説明
【００４１】
画面内のブロック毎の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００４２】
第２の実施の形態では、第１の実施の形態のように画面全体の補間ではなく、画面内のブロック毎に補間係数を求めてテレシネ変換を行なう。
【００４３】
つまり、画面を複数のブロックに分割し、各ブロック毎にそのブロックでの映像の動きに関する情報に基づいて補間係数を算出する。この実施の形態では、さらに、ブロック毎に求められた補間係数に基づいて、画素毎の補間係数ｐ，ｑを算出する。算出された画素毎の補間係数ｐ，ｑを用いて、補間映像を生成する。
【００４４】
ところで、１画面を複数のブロックに分割した場合、動きの少ないブロックでは、従来の２−３プルダウン方式を用いても違和感のない映像となる。しかしながら、動きのあるブロックについては、従来の２−３プルダウン方式では動きに”がたつき”が生じる。この動きの”がたつき”は、動きの速さが大きいほど大きくなる。
【００４５】
そこで、第２の実施の形態では、動きのあるブロックについては、その動きに関する情報に基づいて補間係数を算出し、算出された補間係数に基づいて補間映像を生成する。また、隣接するブロックにおいて、補間係数が異なる場合には、そのブロック境界において被写体の連続性が途切れるので、ブロック毎に求められた補間係数に基づいて、画素毎の補間係数ｐ、ｑを求める。
【００４６】
〔２〕テレシネ変換装置の説明
【００４７】
図４は、画面内のブロック毎の線形補間を用いてテレシネ変換を行なうためのテレシネ変換装置の構成を示している。
【００４８】
図４において、図２と対応するものには、図２と同じ符号を付してある。
【００４９】
図４のテレシネ変換装置と、図２のテレシネ変換装置との違いは、補間係数制御回路１２にある。補間係数制御回路１２には、２−３プルダウン制御回路１１からのテレシネ周期番号が入力される他、セレクタ５から出力される第１映像信号および第２映像信号が入力される。
【００５０】
〔３〕補間係数制御回路１２の説明
【００５１】
図５は、補間係数制御回路１２の構成を示している。
補間係数制御回路１２は、動き情報算出回路２１、目標補間量決定部２２、領域補間量決定部２３、テレシネ周期調整付領域補間係数算出回路２４および画素毎の補間係数算出回路２５を備えている。
【００５２】
動き情報算出回路２１は、セレクタ５から出力される第１映像信号および第２映像信号に基づいて、動きに関する情報を算出する。
【００５３】
目標補間量決定部２２は、動きに関する情報に基づいて、目標補間係数を算出する。
【００５４】
領域補間量決定部２３は、目標補間係数と前回の領域補間係数とに基づいて、新たな領域補間係数を算出する。
【００５５】
テレシネ周期調整付領域補間係数算出回路２４は、テレシネ周期に基づいて、領域補間係数を決定する。
【００５６】
画素毎の補間係数算出回路２５は、領域補間係数に基づいて、画素毎の補間係数を算出する。
【００５７】
以下、これらの各部について説明する。
【００５８】
〔３−１〕動き情報算出回路２１の説明
ここでは、１画面領域が複数のブロックに分割されているものとする。
動き情報算出回路２１は、各ブロック毎に、次式（１）で表される動きに関する情報（以下、動き情報）Ｄｅｔを算出する。
【００５９】
Ｄｅｔ＝Ｗａ・（エッジ変化量）＋Ｗｂ・（輝度変化量）＋Ｗｃ・（コントラスト変化量） …（１）
【００６０】
Ｗａ、ＷｂおよびＷｃは、予め設定された重み係数である。エッジ変化量、輝度変化量およびコントラスト変化量の求め方について説明する。
【００６１】
図６は、エッジ変化量を算出するための回路を示している。
【００６２】
第１の映像信号は第１のラプラシアン算出部３１に送られる。第１のラプラシアン算出部３１は、図７のフィルタを用いて、画素毎にラプラシアンを求める。第２の映像信号は第２のラプラシアン算出部３２に送られる。第２のラプラシアン算出部３２は、図７のフィルタを用いて、画素毎にラプラシアンを求める。
【００６３】
各ラプラシアン算出部３１、３２によって求められた同じ画素に対するラプラシアンは、加算器３３によってその差が算出される。加算器３３の出力は、ブロック毎積算回路３４に送られる。ブロック毎積算回路３４は、ブロック毎に、加算器３３の出力を積算し、ブロック毎の積算値の絶対値を、そのブロックのエッジ変化量として出力する。
【００６４】
図８は、輝度変化量を算出するための回路を示している。
【００６５】
第１の映像信号の輝度信号は、第１のブロック毎輝度積算回路４１に送られる。第１のブロック毎輝度積算回路４１は、ブロック毎に輝度積算値を算出する。
【００６６】
第２の映像信号の輝度信号は、第２のブロック毎輝度積算回路４２に送られる。第２のブロック毎輝度積算回路４２は、ブロック毎に輝度積算値を算出する。
【００６７】
第１のブロック毎輝度積算回路４１によって算出されたブロック毎の輝度積算値と、第２のブロック毎輝度積算回路４２によって算出されたブロック毎の輝度積算値とは、加算器４３に送られる。加算器４３は、同じブロックに対する両輝度積算値の差の絶対値を算出して、そのブロックの輝度変化量として出力する。
【００６８】
図９は、コントラスト変化量を算出するための回路を示している。
【００６９】
第１の映像信号の輝度信号は、第１のブロック毎コントラスト算出回路５１に送られる。第１のブロック毎コントラスト算出回路５１は、ブロック毎に輝度最大値と輝度最小値との差（コントラスト）を算出する。
【００７０】
第２の映像信号の輝度信号は、第２のブロック毎コントラスト算出回路５２に送られる。第２のブロック毎コントラスト算出回路５２は、ブロック毎に輝度最大値と輝度最小値との差（コントラスト）を算出する。
【００７１】
第１のブロック毎コントラスト算出回路５１によって算出されたブロック毎のコントラストと、第２のブロック毎コントラスト算出回路５２によって算出されたブロック毎のコントラストとは、加算器５３に送られる。加算器５３は、同じブロックに対する両コントラストの差の絶対値を算出して、そのブロックのコントラスト変化量として出力する。
【００７２】
〔３−２〕目標補間量決定部２２の説明
目標補間量決定部２２は、各ブロック毎の動き情報Ｄｅｔと、図１０に示すような動き情報Ｄｅｔに対する目標補間値ＭＫとの関係を記憶したテーブルに基づいて、各ブロック毎に目標補間値ＭＫを決定する。
【００７３】
〔３−３〕領域補間量決定部２３の説明
図１１は、領域補間量決定部２３の構成を示している。
【００７４】
領域補間量決定部２３は、ブロック毎に以下のようにして領域補間値ＲＫを算出する。
【００７５】
まず、第１加算器６１によって、目標補間値ＭＫと当該ブロックに対する前回の領域補間値ＲＫとの差（ＭＫ−ＲＫ）が算出される。
【００７６】
次に、補間係数の増減値ＫＫを、ＫＫ算出ＲＯＭ６２によって算出する。ＫＫ算出ＲＯＭ６２は、第１加算器６１によって算出された差（ＭＫ−ＲＫ）と、図１２に示すような差（目標補間値ＭＫ−前回の領域補間値ＲＫ）に対するＫＫの関係に基づいて、ＫＫを求める。
【００７７】
次に、第２加算器６３によって、ＫＫ算出ＲＯＭ６２によって算出されたＫＫに当該ブロックに対する前回の領域補間値ＲＫが加算される。
【００７８】
この加算結果（ＫＫ＋ＲＫ）は、比較回路６４に送られる。比較回路６４は、この加算結果（ＫＫ＋ＲＫ）が０以上であれば、この加算結果（ＫＫ＋ＲＫ）を今回の領域補間値ＲＫとして出力する。一方、加算結果（ＫＫ＋ＲＫ）が０より小さければ、０を今回の領域補間値ＲＫとして出力する。
【００７９】
〔３−４〕テレシネ周期調整付領域補間係数算出回路２４の説明
【００８０】
テレシネ周期調整付領域補間係数算出回路２４は、各ブロック毎に、各ブロック毎の領域補間値ＲＫとテレシネ周期番号に基づいて、テレシネ周期番号毎の補間係数αを生成して出力する。
【００８１】
ＲＫとテレシネ周期番号との組み合わせに対する補間係数αは、図１３のテーブルに基づいて決定される。なお、ＲＫとテレシネ周期番号との組み合わせに対する補間係数αを、図１４のテーブルに基づいて決定してもよい。
【００８２】
〔３−５〕画素毎の補間係数算出回路２５の説明
画素毎の補間係数算出回路２５は、画面内の各ブロック毎の補間係数αに基づいて、画素毎の補間係数ｐを求める。
【００８３】
図１５を用いて、画素毎の補間係数ｐを求める方法について説明する。
【００８４】
図１５には、説明の便宜上、４つのブロックＺ00、Ｚ10、Ｚ01、Ｚ11のみが図示されている。ブロックＺ00に対して算出された補間係数をα００、ブロックＺ10に対して算出された補間係数をα１０、ブロックＺ01に対して算出された補間係数をα０１、ブロックＺ11に対して算出された補間係数をα１１とする。
【００８５】
ブロックＺ00の中心の座標を（ｘ００，ｙ００）とし、ブロックＺ10の中心の座標を（ｘ１０，ｙ１０）とし、ブロックＺ01の中心の座標を（ｘ０１，ｙ０１）とし、ブロックＺ11の中心の座標を（ｘ１１，ｙ１１）とする。
【００８６】
座標（ｘ，ｙ）の画素の補間係数を、ｐ（ｘ，ｙ）、ｑ（ｘ，ｙ）とすると、ｐ（ｘ，ｙ）は、次式（２）に基づいて算出される。なお、ｑ（ｘ，ｙ）は、１−ｐ（ｘ，ｙ）によって求められる。
【００８７】
p(x,y)＝( α00＋Δh0*(x-x00))
+〔｛( α01+ Δh1*(x-x0)-( α00+ Δh0*(x-x00)) ｝/(y01-y00)〕*(y-y00)
h0＝( α10- α00)/(x10-x00)
h1＝( α11- α01)/(x11-x01) …（２）
【００８８】
図４の各部の信号等の一例を図１６に示しておく。
【００８９】
図１６において、６０Ｐ出力は、テレシネ周期調整付領域補間係数算出回路２４が図１３のテーブルに基づいて補間係数αを決定した場合を示している。
【００９０】
〔Ｃ〕第３の実施の形態の説明
【００９１】
上記第１または第２の実施の形態によれば、従来の２−３プルダウン方式に比べて映像の動きが滑らかになったが、テレシネ変換後の映像をＣＲＴに表示した場合、映像の種類によってはフリッカー、つまり、輝度レベルの変動によって映像がちらついて見える現象が起こることが判明した。
【００９２】
フリッカーが発生するのは、補間係数ｐ，ｑとしてそれらの和が１となるものを用いているため、補間により得られた映像と補間を行なっていない映像との間で輝度レベルが変動することが原因であると考えられる。これについてより具体的に説明する。
【００９３】
図１７に示すように、コマ映像Ａとコマ映像Ｂとの間で、高輝度の移動物体（斜線部）Ｘが存在するものとする。コマ映像Ａと２番目のコマ映像Ｂとを、和が１となるような２つの補間係数ｐ，ｑを用いて補間することにより、図１７に示すような補間映像（ｐＡ＋ｑＢ）が得られる。この補間映像（ｐＡ＋ｑＢ）においては、コマ映像Ａにおける移動物体部分とコマ映像Ｂにおける移動物体部分との重なり合う部分（斜線部）Ｙでは、高輝度となるが、重なり合わない部分Ｚでは輝度が減少する。つまり、補間映像（ｐＡ＋ｑＢ）においては、高輝度の移動物体部分において、高輝度部の面積が減少する。この結果、補間映像（ｐＡ＋ｑＢ）と、補間を行なっていない映像Ａ、Ｂとの間で、輝度レベルが変動する。
【００９４】
〔１〕テレシネ変換方法の説明
画面全体の線形補間を用いて、毎秒２４コマの映画フィルム（２４Ｐ）を毎秒６０フレームのプログレッシブ映像信号（６０Ｐ）に変換するテレシネ変換方法について説明する。
【００９５】
図１８（ｂ）、（ｃ）、（ｄ）は、画面全体の線形補間を用いたテレシネ変換方法の３つの具体的な方法を示している。なお、図１８（ａ）は、従来の２−３プルダウン方式を示している。
【００９６】
〔１−１〕 図１８（ｂ）の第１方法についての説明
第１方法では、２−３プルダウン方式において、たとえば映像Ａから映像Ｂへというように映像が切り替わる部分（切り替わり前の映像をＱn とし、その次の映像をＱn+1 とする）において、次の映像Ｑn+1 をそのまま用いるのではなく、切り替わり前後の映像Ｑn およびＱn+1 の補間映像（ｐＱn ＋ｑＱn+1 ）を用いる。
【００９７】
補間係数ｐ，ｑは、補間映像の輝度の減少を補ってフリッカーを目立ちにくくするため、それらの和（ｐ＋ｑ）が１より大きな値となるように決定されている。
【００９８】
このように、補間係数ｐ，ｑの和を１より大きな値に決定すると、得られた画素単位の補間値（ｐＱn ＋ｑＱn+1 ）が、その補間値を算出するために用いられた元の２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値を越えてしまうことがある。このようなことが起こると、補間映像の輝度が大きくなりすぎて、逆のフリッカーが発生するおそれがある。
【００９９】
そこで、後述するように、この実施の形態では、得られた画素単位の補間値（ｐＱn ＋ｑＱn+1 ）が、その補間値を算出するために用いられた元の２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像Ｑn ，Ｑn+1 のうちの大きい方の輝度値以下となるように修正するようにしている。このような修正は、第２方法、第３方法においても、同様に行なわれる。
【０１００】
第１方法では、２−３プルダウン方式において映像ＡとＢとの切り替わりのように、２−３プルダウン方式で同じ映像が２フレーム連続した後に映像が切り替わる場合には、ｐ＝２４／３２，ｑ＝９／３２となる。一方、２−３プルダウン方式において映像ＢとＣとの切り替わりのように、２−３プルダウン方式で同じ映像が３フレーム連続した後に映像が切り替わる場合には、ｐ＝８／３２，ｑ＝２５／３２となる。
【０１０１】
また、この例では、各コマ映像の表示時間の積算値が等しくなるように、補間係数ｐ，ｑが決定されている。これにより、各コマ映像の表示時間は、それぞれ｛２＋（１７／３２）｝フレームに相当する時間となる。この例では、各コマ映像の表示時間の積算値が等しくなるように、補間係数ｐ，ｑが決定されているが、各コマ映像の表示時間の積算値を等しくさせる必要はない。
【０１０２】
〔１−２〕 図１８（ｃ）の第２方法についての説明
上述した図１８（ｂ）の第１方法では、映像Ｂ、Ｄのように、２−３プルダウン方式において同じ映像が３フレーム連続する部分では、その先頭フレームは補間映像となるが、先頭フレームに続く２つのフレームは同じ映像となる。
【０１０３】
映像に速い動きが含まれている場合、この同じ映像が２フレーム連続する部分では、映像が２フレーム間静止した状態となり、映像の動きに”がたつき”が生じる。
【０１０４】
そこで、第２方法では、２−３プルダウン方式において、映像が切り替わる部分を補間映像に置き換える他、さらに同じ映像が連続する部分の一方を補間映像に置き換える。
【０１０５】
補間係数ｐ，ｑは、図１８（ｃ）に示すように、それらの和が１より大きな値となるように、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【０１０６】
〔１−３〕 図１８（ｄ）の第３方法についての説明
第３方法では、５フレームに１回の割合で、コマ映像（Ａ，Ｃ等）が現れ、その間のフレームは、全て補間映像（例えば、ｐＡ＋ｑＢ）とするものである。各補間映像の補間係数ｐ，ｑは、図１８（ｄ）に示すように、それらの和が１より大きな値となるように、かつ各コマ映像の表示時間積算量が同じになるように決定されている。
【０１０７】
〔２〕テレシネ変換装置の説明
図１９は、上記第１、第２または第３方法を実現するためのテレシネ変換装置の構成を示している。
【０１０８】
２４Ｐの入力映像（映画フィルムの映像）は、切替スイッチ１を介してフレームメモリ２、３、４のいずれかに送られる。各フレームメモリ２、３、４から読み出された映像は、セレクタ５に送られる。
【０１０９】
後述するように、セレクタ５には、通常２つのフレームメモリから読み出された映像信号が入力される。セレクタ５は、入力される２つの映像信号のうち、１方を第１の映像信号として出力端子(SEL0)から出力し、他方の映像信号を第２の映像信号として出力端子(SEL1)から出力する。
【０１１０】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号は第１の乗算器６に送られ、セレクタ５の出力端子(SEL1)から出力される第２の映像信号は第２の乗算器７に送られる。第１の乗算器６は、第１の映像信号に補間係数ｐを乗算する。第２の乗算器７は、第２の映像信号に補間係数ｑを乗算する。
【０１１１】
第１の乗算器６の出力と第２の乗算器７の出力とは、加算器８によって加算される。加算器８の出力は、最小値出力回路１０に送られる。
【０１１２】
セレクタ５の出力端子(SEL0)から出力される第１の映像信号およびセレクタ５の出力端子(SEL1)から出力される第２の映像信号は、最大値出力回路９にも送られる。最大値出力回路９は、第１の映像信号および第２の映像信号のうち、輝度が大きい方の映像信号を出力する。最大値出力回路９の出力は、最小値出力回路１０に送られる。
【０１１３】
最小値出力回路１０は、加算器８から送られてきた映像信号と、最大値出力回路９から送られてきた映像信号のうち、輝度値の小さい方の映像信号を出力する。最小値出力回路１０の出力信号は、６０Ｐの映像信号として出力される。
【０１１４】
最大値出力回路９および最小値出力回路１０は、補間係数ｐ，ｑを用いて得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合に、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するために設けられたものである。
【０１１５】
切替スイッチ１、各フレームメモリ２、３、４およびセレクタ５は、入力映像の垂直同期信号ＶＤが入力する２−３プルダウン制御回路１１によって制御される。補間係数ｐ，ｑは、補間係数制御回路１２によって生成される。補間係数制御回路１２は、２−３プルダウン制御回路１１から送られてくるテレシネ周期番号に基づいて補間係数ｐ，ｑを生成する。
【０１１６】
図２０は、図１９の各部の信号等を示している。
【０１１７】
図２０において、テレシネ周期番号は、フレーム単位で”０”〜”４”の５種類あり、”０”〜”４”を繰り返す。
【０１１８】
切替スイッチ１は、入力映像の切り替わりタイミングに同期して、３つのフレームメモリ（メモリＡ、メモリＢ、メモリＣ）２、３、４をサイクリックに選択するように切り替えられる。
【０１１９】
フレームメモリ２、３、４に蓄積された映像のうち、最新に読み出し可能となった映像と、その１つ前に読み出し可能となっていた映像とが読み出されてセレクタ５に送られる。最新に読み出し可能となった映像は、セレクタ５の端子（SEL1) から第２の映像として出力される。１つ前に読み出し可能となっていた映像は、セレクタ５の端子（SEL0) から第１の映像として出力される。
【０１２０】
補正係数は、テレシネ周期番号に基づいて、次のように決定される。
【０１２１】
（１）上記第１方法の場合
テレシネ周期番号”０”：ｐ＝０，ｑ＝１
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”３”：ｐ＝０，ｑ＝１
テレシネ周期番号”４”：ｐ＝２４／３２，ｑ＝９／３２
【０１２２】
（２）上記第２方法の場合
テレシネ周期番号”０”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”１”：ｐ＝０，ｑ＝１
テレシネ周期番号”２”：ｐ＝２５／３２，ｑ＝８／３２
テレシネ周期番号”３”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【０１２３】
（３）上記第３方法の場合
テレシネ周期番号”０”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”１”：ｐ＝８／３２，ｑ＝２５／３２
テレシネ周期番号”２”：ｐ＝２４／３２，ｑ＝９／３２
テレシネ周期番号”３”：ｐ＝３３／６４，ｑ＝３３／６４
テレシネ周期番号”４”：ｐ＝１，ｑ＝０
【０１２４】
〔Ｄ〕第４の実施の形態の説明
【０１２５】
第４の実施の形態では、動き領域の面積が小さい場合には、和が１となる係数ｐ，ｑを用いて補間映像を生成し、動き領域の面積が大きい場合には、和が１より大きい値となる係数ｐ，ｑを用いて補間映像を生成するというように、動き領域の面積に応じて、係数を適応的に制御する。
【０１２６】
図２１は、テレシネ変換装置の構成を示している。
【０１２７】
図２１において、図１９と対応するものには、図１９と同じ符号を付してある。
【０１２８】
図２１のテレシネ変換装置と、図１９のテレシネ変換装置との違いは、動き情報算出回路１３が設けられている点と、補間係数制御回路１２が、動き情報算出回路１３によって算出された動き領域の面積に応じて、係数ｐ，ｑをその和が１となるものと、その和が１より大きな値となるものとの間で、切り替える点とにある。
【０１２９】
補間係数制御回路１２は、たとえば、図２２に示すような２種類の係数テーブルを備えている。図２２（ａ）に示す第１係数テーブルは、動き領域の面積が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値を記憶している。図２２（ｂ）に示す第２係数テーブルは、動き領域の面積が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値とを記憶している。
【０１３０】
動き領域の面積が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値は、その和が１となるような値に設定されている。動き領域の面積が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値は、その和が１より大きな値となるような値に設定されている。
【０１３１】
図２３は、動き情報算出回路１３の構成を示している。
【０１３２】
動き情報算出回路１３には、セレクタ５から出力される第１映像信号および第２映像信号が入力される。
【０１３３】
動き情報算出回路１３は、差分回路１２１、絶対値算出回路１２２、２値化回路１２３および動き領域カウンタ１２４を備えている。
【０１３４】
差分回路１２１は、第１映像信号および第２映像信号との画素毎の輝度差を算出する。絶対値算出回路１２２は、差分回路１２１によって得られた画素毎の輝度差の絶対値を算出する。
【０１３５】
２値化回路１２３は、予め定められた閾値に基づいて、画素毎の輝度差の絶対値を２値化する。つまり、２値化回路１２３は、動き有りの画素か動き無しの画素かを判定する。輝度差の絶対値が閾値より大きい場合には、その画素は動き有りの画素であると判定される。動き領域カウンタ１２４は、１フィールド毎に、動き有りと判定された画素数をカウントする。動き領域カウンタ１２４によってカウントされた動き有りの画素数、つまり、動き領域の面積は、補間係数制御回路１２に送られる。
【０１３６】
補間係数制御回路１２は、前フィールドに対する動き領域の面積が所定の閾値以下である場合には、図２２（ａ）に示す第１係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１３７】
補間係数制御回路１２は、前フィールドに対する動き領域の面積が所定の閾値より大きい場合には、図２２（ｂ）に示す第２係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１３８】
〔Ｅ〕第４の実施の形態の変形例の説明
【０１３９】
上記第４の実施の形態では、動き領域の面積に応じて、係数を適応的に制御しているが、動き領域の輝度変化量（動き領域の輝度レベル差）に応じて、係数を適応的に制御するようにしてもよい。
【０１４０】
つまり、図２３の動き情報算出回路１３として、動き領域の輝度変化量を算出するものを用いる。
【０１４１】
図２４は、動き領域の輝度変化量を算出するための動き情報算出回路１３の構成を示している。
【０１４２】
動き情報算出回路１３は、差分回路１２１、絶対値算出回路１２２、２値化回路１２３および動き領域輝度平均算出回路１２５を備えている。
【０１４３】
差分回路１２１は、第１映像信号および第２映像信号との画素毎の輝度差を算出する。絶対値算出回路１２２は、差分回路１２１によって得られた画素毎の輝度差の絶対値を算出する。２値化回路１２３は、予め定められた閾値に基づいて、画素毎の輝度差の絶対値を２値化する。つまり、２値化回路１２３は、動き有りの画素か動き無しの画素かを判定する。輝度差の絶対値が閾値より大きい場合には、その画素は動き有りの画素であると判定される。
【０１４４】
動き領域輝度平均算出回路１２５には、絶対値算出回路１２２の出力（画素毎の輝度差の絶対値）と、２値化回路１２３の出力（動きの有無判定信号）とが入力する。動き領域輝度平均算出回路１２５は、１フィールド毎に、動きがあると判定された画素の輝度差絶対値の総和を求めるとともに、求めた総和を動きがあると判定された画素数で除算することにより、動き領域の輝度変化量（平均値）を算出する。動き領域輝度平均算出回路１２５によって算出された動き領域の輝度変化量（平均値）は、補間係数制御回路１２に送られる。
【０１４５】
補間係数制御回路１２は、たとえば、図２２に示すような２種類の係数テーブルを備えている。図２２（ａ）に示す第１係数テーブルは、動き領域の輝度レベル差が小さい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値を記憶している。図２２（ｂ）に示す第２係数テーブルは、動き領域の輝度レベル差が大きい場合におけるテレシネ周期番号に応じた係数ｐ，ｑの値とを記憶している。
【０１４６】
補間係数制御回路１２は、前フィールドに対する動き領域の輝度変化量が所定の閾値以下である場合には、図２２（ａ）に示す第１係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１４７】
補間係数制御回路１２は、前フィールドに対する動き領域の輝度変化量が所定の閾値より大きい場合には、図２２（ｂ）に示す第２係数テーブルとテレシネ周期番号とに基づいて係数ｐ，ｑを決定し、係数ｐ、ｑを対応する乗算器６，７に送る。
【０１４８】
なお、動き情報算出回路１３として、動き領域の面積と動き領域の輝度レベル差との両方を算出するものを用い、動き領域の面積が大きくかつ動き領域の輝度変化量が大きい場合には和が１より大きくなる係数ｐ，ｑを採用し、そうでない場合には和が１となる係数ｐ，ｑを採用するようにしてもよい。
【０１４９】
【発明の効果】
この発明によれば、映像の動きが滑らかになるテレシネ変換方法が実現する。また、この発明によれば、映像の動きが滑らかになるとともにフリッカーの発生を回避できるテレシネ変換方法が実現する。
【図面の簡単な説明】
【図１】従来方法（２−３プルダウン方式）と、第１の実施の形態によるテレシネ変換方法とを示すタイムチャートである。
【図２】第１の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図３】図２の各部の信号等を示すタイムチャートである。
【図４】第２の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図５】補間係数制御回路１２の構成を示すブロック図である。
【図６】エッジ変化量を算出するための回路を示す回路図である。
【図７】ラプラシアンを算出するためのフィルタを示す模式図である。
【図８】輝度変化量を算出するための回路を示す回路図である。
【図９】コントラスト変化量を算出するための回路を示す回路図である。
【図１０】動き情報Ｄｅｔに対する目標補間値ＭＫとの関係を示すグラフである。
【図１１】領域補間量決定部２３の構成を示す回路図である。
【図１２】（目標補間値ＭＫ−前回の領域補間値ＲＫ）に対する補間係数の増減値ＫＫの関係を示すグラフである。
【図１３】ＲＫとテレシネ周期番号との組み合わせに対する補間係数αを示す模式図である。
【図１４】ＲＫとテレシネ周期番号との組み合わせに対する補間係数αの他の例を示す模式図である。
【図１５】画面内の各ブロック毎の補間係数αに基づいて、画素毎の補間係数ｐを求める方法を説明するための模式図である。
【図１６】図４の各部の信号等を示すタイムチャートである。
【図１７】第１の実施の形態または第２の実施の形態によってテレシネ変換を行なった場合に、フリッカーが発生する原因を説明するための説明図である。
【図１８】従来の２−３プルダウン方式と、第３の実施の形態によるテレシネ変換方法とを示すタイムチャートである。
【図１９】第３の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図２０】図１９の各部の信号等を示すタイムチャートである。
【図２１】第４の実施の形態によるテレシネ変換方法を実現するためのテレシネ変換装置の構成を示すブロック図である。
【図２２】第１係数テーブルおよび第２係数テーブルの一例を示す模式図である。
【図２３】動き情報算出回路の構成を示すブロック図である。
【図２４】動き情報算出回路の他の構成例を示すブロック図である。
【符号の説明】
１ 切替スイッチ
２、３、４ フレームメモリ
５ セレクタ
６、７ 乗算器
８ 加算器
９ 最大値算出回路
１０ 最小値算出回路
１１ ２−３プルダウン制御回路
１２ 補間係数制御回路
１３ 動き情報算出回路
Claims (5)
- ２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、テレシネ変換後において映画フィルムの各コマ映像の表示時間積算量が等しくなるような補間係数の組合せを複数種類用意しておき、映画フィルムの映像の動き情報に基づいて、テレシネ変換に用いる補間係数の組合せの種類を切り換えるようにしたことを特徴とするテレシネ変換方法。
- ２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法において、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法であって、１画面を複数のブロックに分割し、各ブロック毎に動きに関する情報を算出し、補間映像を生成する際には、各ブロック毎のブロックの動きに関する情報に基づいて各ブロックに対する補間係数を決定し、各ブロック毎に決定された補間係数に基づいて画素単位の補間係数を算出し、算出された画素毎の補間係数に基づいて画素毎に補間映像を生成するようにしたことを特徴とするテレシネ変換方法。
- ２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、
前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１より大きな値となるような補間係数を用いるとともに、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とするテレシネ変換方法。 - ２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、
前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、
動き領域の面積が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、
動き領域の面積が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、
両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とするテレシネ変換方法。 - ２４Ｐの映画フィルムの映像を６０Ｐの映像信号に変換するテレシネ変換方法であって、変換後の所定のフレームの映像として映画フィルムの前後のコマ映像を補間した補間映像を用いるようにしたテレシネ変換方法において、
前後のコマ映像にそれぞれ乗算する補間係数として両補間係数の和が１となるような補間係数と、両補間係数の和が１より大きな値となるような補間係数とを用意しておき、
動き領域の輝度レベル変化量が所定値以下の場合には、両補間係数の和が１となるような補間係数を用いて補間映像を生成し、
動き領域の輝度レベル変化量が所定値より大きい場合には、両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成し、
両補間係数の和が１より大きな値となるような補間係数を用いて補間映像を生成した場合において、得られた画素単位の補間値がその補間値を算出するために用いられた元の２つのコマ映像の輝度値のうちの大きい方の輝度値を越えた場合には、その補間値を元となる２つのコマ映像の輝度値のうちの大きい方の輝度値以下となるように修正するようにしたことを特徴とするテレシネ変換方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001255078A JP3691419B2 (ja) | 2001-03-28 | 2001-08-24 | テレシネ変換方法 |
| US10/195,559 US7020197B2 (en) | 2001-08-24 | 2002-07-16 | Telecine converting method |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001-93615 | 2001-03-28 | ||
| JP2001093615 | 2001-03-28 | ||
| JP2001255078A JP3691419B2 (ja) | 2001-03-28 | 2001-08-24 | テレシネ変換方法 |
| US10/195,559 US7020197B2 (en) | 2001-08-24 | 2002-07-16 | Telecine converting method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002359775A JP2002359775A (ja) | 2002-12-13 |
| JP3691419B2 true JP3691419B2 (ja) | 2005-09-07 |
Family
ID=32329626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001255078A Expired - Lifetime JP3691419B2 (ja) | 2001-03-28 | 2001-08-24 | テレシネ変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3691419B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101039025B1 (ko) * | 2004-06-25 | 2011-06-03 | 삼성전자주식회사 | 표시 장치, 표시 장치용 구동 장치 및 구동 방법 |
| JP2007251254A (ja) * | 2006-03-13 | 2007-09-27 | Astro Design Inc | フレームレート変換装置およびフレームレート変換方法 |
| JP2007288483A (ja) * | 2006-04-17 | 2007-11-01 | Matsushita Electric Ind Co Ltd | 画像変換装置 |
| JP5002249B2 (ja) | 2006-11-30 | 2012-08-15 | 株式会社東芝 | フレーム内挿装置及びフレーム内挿方法並びに画像表示装置 |
| JP4438795B2 (ja) | 2006-12-28 | 2010-03-24 | 株式会社日立製作所 | 映像変換装置、映像表示装置、映像変換方法 |
| JP4513819B2 (ja) * | 2007-03-19 | 2010-07-28 | 株式会社日立製作所 | 映像変換装置、映像表示装置、映像変換方法 |
| JP2010175753A (ja) * | 2009-01-28 | 2010-08-12 | Sanyo Electric Co Ltd | 信号処理装置及び映像表示装置 |
| JP5436020B2 (ja) * | 2009-04-23 | 2014-03-05 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP2010276987A (ja) | 2009-05-29 | 2010-12-09 | Tpo Displays Corp | 表示制御装置 |
| JP5067439B2 (ja) * | 2010-03-29 | 2012-11-07 | 株式会社日立製作所 | 映像変換装置、映像表示装置、映像変換方法、及び映像表示方法 |
| JP2015079329A (ja) * | 2013-10-16 | 2015-04-23 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
| JP6604828B2 (ja) * | 2015-11-16 | 2019-11-13 | 日本放送協会 | 内挿比決定装置及びプログラム |
-
2001
- 2001-08-24 JP JP2001255078A patent/JP3691419B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002359775A (ja) | 2002-12-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5784114A (en) | Motion compensated video processing | |
| JP4083265B2 (ja) | 画像信号の方式変換方法および装置 | |
| US8144254B2 (en) | Contour enhancement unit and method to enhance the contours of an image | |
| CN100417188C (zh) | 块模式自适应运动补偿 | |
| US8260079B2 (en) | Video acquisition with processing based on ancillary data | |
| US6784942B2 (en) | Motion adaptive de-interlacing method and apparatus | |
| US20050249282A1 (en) | Film-mode detection in video sequences | |
| JP3691419B2 (ja) | テレシネ変換方法 | |
| TW200945904A (en) | Image interpolation with halo reduction | |
| JP2009532984A (ja) | 補償アーチファクトに対する保護を有する動き補償フレームレート変換 | |
| JP3905922B2 (ja) | 画像信号処理方法及び装置 | |
| US7295245B2 (en) | Method and apparatus for converting frame rate using time shifting and motion compensation | |
| JP5490236B2 (ja) | 画像処理装置および方法、画像表示装置および方法 | |
| JPH11112940A (ja) | 動きベクトルの生成方法および装置 | |
| US7020197B2 (en) | Telecine converting method | |
| US20050099537A1 (en) | Contour enhancement unit and method to enhance the contours in video images | |
| JP5178477B2 (ja) | 映像信号処理装置及び方法、並びに映像表示装置 | |
| JP2004320278A (ja) | 動画像時間軸補間方法及び動画像時間軸補間装置 | |
| US7532255B2 (en) | Color transient improvement unit and method to reduce blurring at color transients in video images | |
| KR100587263B1 (ko) | 비디오 신호의 프레임 율 변환 방법 | |
| KR101174589B1 (ko) | 지역 복잡도를 기초로 한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치 | |
| KR20060132877A (ko) | 모션 보상 시간적 보간법을 사용하여 비디오를디인터레이스하기 위한 방법 및 장치 | |
| KR20080023604A (ko) | 프레임 레이트 변환장치 및 프레임 레이트 변환방법 | |
| Lee et al. | Video frame rate conversion for mobile devices | |
| JP2012182691A (ja) | 画像変換装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050119 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080624 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090624 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100624 Year of fee payment: 5 |