JP4341347B2 - 映像信号処理装置および映像信号処理方法 - Google Patents

Description

この発明は、映像信号処理装置および映像信号処理方法に関する。詳しくは、１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、コマ変換によって生成された信号であるとき、コマ変換での順序を判別可能とするシーケンス信号とを生成して複数の連続した信号処理部に供給し、この判別信号とシーケンス信号に基づいて信号処理を行うものである。

従来、２４コマ／秒で撮影されたフィルム映像をＮＴＳＣ方式のテレビジョン映像信号に変換する２−３プルダウンや、２４コマ／秒で撮影されたフィルム映像を２５コマ／秒に早めてＰＡＬ方式のテレビジョン映像信号に変換する２−２プルダウンが行われている。

この２−３プルダウンでは、１コマ目の撮影画像から２フィールド分の映像信号、２コマ目の撮影画像から３フィールド分の映像信号、３コマ目の撮影画像から２フィールド分の映像信号、４コマ目の撮影画像から３フィールド分の映像信号、以下同様に２４コマ目まで繰り返すことにより５フィールドを１シーケンスとして、２４コマ／秒の撮影画像から６０フィールド／秒の映像信号が生成される。

また、２−３プルダウンが行われた信号を用いて、映像信号の合成を行いプログレッシブ走査方式の映像信号を生成する場合、同じコマの撮影画像から生成された２フィールドの映像信号を合成すると画質の劣化を招くことがない。しかし、異なるコマの撮影画像から生成された２フィールドの映像信号を合成してしまうと、撮影画像が異なるものであるため画質が著しく劣化する場合がある。このため、特許文献１に示されているように、所定のブロック内における画素の一致または不一致を計数してフィールドの同一性を判定し、判定のパターンに従って映像信号の映像源がフィルム映像であるか否かを示す判別信号に基づいて映像信号を処理することが行われている。

特開２００２−３３０３１１号公報

ところで、映像信号の処理では、種々の表示デバイスを用いて高画質な画像表示を行うことができるように種々の信号処理部、例えば高画質化処理を行う信号処理部や、インタレース−プログレッシブ（ＩＰ）変換やフィールド周波数変換等の方式変換処理を行う信号処理部などが連続して設けられている。

このように複数の信号処理部が設けられる場合、各信号処理部で映像源がフィルム映像であるか否かを示す判別や、処理する映像信号が５フィールドシーケンスのいずれのフィールドであるか判別すると、それぞれの信号処理部で判別時間が必要となることから、入力映像信号に対応した信号処理の応答性が悪化してしまう。また、映像信号処理装置の構成も複雑となってしまう。

そこで、この発明では、入力映像信号に対応した信号処理の応答性が良好な映像信号処理装置および映像信号処理方法を提供するものである。

この発明に係る映像信号処理装置は、入力された映像信号に対して信号処理を行う複数の連続した信号処理手段と、前記映像信号が、１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、前記映像信号が前記コマ変換によって生成された信号であるとき、前記コマ変換でのフィールド順序を判別可能とするシーケンス信号とを生成する判別手段とを有し、前記判別手段では、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号を前記シーケンス信号とし、前記判別信号と前記シーケンス信号を前記複数の信号処理手段に供給するものとし、前記複数の連続した信号処理手段では、前記信号処理を、前記判別信号と前記シーケンス信号に基づいて行うものである。

また、この発明に係る映像信号処理方法は、入力された映像信号に対して信号処理を行う複数の連続した信号処理工程と、前記映像信号が、１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、前記映像信号が前記コマ変換によって生成された信号であるとき、前記コマ変換でのフィールド順序を判別可能とするシーケンス信号とを生成する判別工程とを有し、前記判別工程では、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号を前記シーケンス信号とし、前記判別信号と前記シーケンス信号を前記複数の信号処理工程に供給するものとし、前記複数の連続した信号処理工程では、前記信号処理を、前記判別信号と前記シーケンス信号に基づいて行うものである。

この発明においては、入力された映像信号に対して複数の連続した信号処理、例えば高画質化処理やＩＰ変換処理等が行われる。また、映像信号が１フレームの画像を複数フィールドに振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、映像信号がコマ変換によって生成された信号であるとき、コマ変換でのフィールド順序を判別可能とするシーケンス信号が生成されて、生成された判別信号とシーケンス信号とが上述の信号処理を行う各部に供給されて、この判別信号とシーケンス信号に基づいて信号処理が行われる。

判別信号は、フレーム差分と予め設定した第１閾値との比較結果が予め設定した周期で所定回数連続して繰り返されたとき、および／またはフィールド差分と予め設定した第２閾値との比較結果パターンが予め設定したパターンで所定回数連続したとき、コマ変換によって生成された信号であることを示すものとされる。また、シーケンス信号は、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号が用いられる。

この発明によれば、映像信号が１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、映像信号がコマ変換によって生成された信号であるとき、コマ変換でのフィールド順序を判別可能とするシーケンス信号が生成されて、この判別信号とシーケンス信号が複数の連続した信号処理手段や信号処理工程に供給されて信号処理が行われる。このため、各信号処理でコマ変換によって生成された信号であるか否かやコマ変換での順序を判別する必要がなく、各信号処理での映像信号に応じた信号処理への切り替わりが早くなり、複数の信号処理を連続して行うシステムでも動きの不自然さ等のある一部劣化した映像が表示される時間が短くすることができる。また、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号をシーケンス信号とするので、何れかの信号だけを用いる場合に比べて、簡単で正しくフィールド順序を判別できる。

また、フレーム差分と予め設定した第１閾値との比較結果が予め設定した周期で所定回数連続して繰り返されたとき、および／またはフィールド差分と予め設定した第２閾値との比較結果パターンが所定回数連続したとき、コマ変換によって生成された信号であることを示す判別信号が生成される。このため、コマ変換によって生成された信号であるか否かを判別信号によって正しく示すことができる。

以下、図を参照しながら、この発明の実施の形態について説明する。図１は映像信号処理装置１０の構成を示しており、例えば２つの信号処理部が設けられた場合を示している。

入力映像信号ＤＶinは第１の信号処理部１１と判別部１２に供給される。判別部１２は、入力映像信号ＤＶinがコマ変換によって生成された信号であるか否かを判別して、判別結果を示す判別信号ＤＴを信号処理部１１と信号処理部１３に供給する。また、コマ変換によって生成された信号であることが判別されたときには、コマ変換での順序を判別可能とするシーケンス信号ＳＱを信号処理部１１と信号処理部１３に供給する。

図２は、コマ変換を説明するためのものであり、例えば２−３プルダウンの場合を示している。２−３プルダウンでは、上述したように５フィールドを１シーケンスとして、２４コマ／秒の撮影画像から６０フィールド／秒の映像信号が生成される。すなわち、２４コマ／秒で撮影された画像のフレーム「Ａ」が２フィールド「ａ」「ａ'」に振り分けられて、それぞれのフィールドの映像信号が生成される。また、次のフレーム「Ｂ」が３フィールド「ｂ」「ｂ'」「ｂ」に振り分けられて、それぞれのフィールドの映像信号が生成される。フレーム「Ｃ」は、２フィールド「ｃ」「ｃ'」に振り分けられて、それぞれのフィールドの映像信号が生成される。フレーム「Ｄ」は、３フィールド「ｄ」「ｄ'」「ｄ」に振り分けられて、それぞれのフィールドの映像信号が生成される。以下同様にして、５フィールドを１シーケンスとする５フィールドシーケンスのコマ変換を繰り返し行うことで、２４コマ／秒で撮影された画像から６０フィールド／秒の映像信号が生成される。

ここで、５フィールドシーケンスにおいて、１フレームの間隔を有した２つのフィールドにおける映像信号の差分（以下「フレーム差分」という）をフィールド毎に算出したとき、ノイズ等の影響が無いものとすると５フィールドに一回、フレーム差分が「０」となる。すなわち、フレーム「Ｂ」から生成した２つのフィールド「ｂ」の映像信号の差分、およびフレーム「Ｄ」から生成した２つのフィールド「ｄ」の映像信号の差分が「０」となる。また、連続する２つのフィールドにおける映像信号の差分（以下「フィールド差分」という）は、同じコマの撮影画像から生成された映像信号間では、異なるコマの撮影画像から生成された映像信号間よりも小さくなる。

このため、判別部１２では、フレーム差分と予め設定した第１閾値とを比較することで、フィールド画像の一致を示す信号Ｓq1を生成する。また、フィールド差分と予め設定した第２閾値とを比較することで、同じコマの撮影画像から生成されたフィールド画像の映像信号を示す信号Ｓq2を生成する。

図３は、判別部１２の動作を説明するためのものであり、図３Ａは５フィールドシーケンスを示している。図３Ｂはフレーム差分に基づく判別結果を示す信号Ｓq1である。信号Ｓq1は、フレーム差分が第１閾値を超えたとき、例えば２つのフィールド画像において時間的に先行するフィールド画像に対して論理レベルがハイレベル「Ｈ」となる信号である。第１閾値は、異なるコマの撮影画像から生成された信号を用いたフレーム差分よりも小さく、同じコマの撮影画像から生成された信号を用いたフレーム差分よりも大きく設定する。

ここで、５フィールドシーケンスの３フィールド目であるフィールド画像「ｂ」と５フィールド目であるフィールド画像「ｂ」は、画像が等しいことから、３フィールド目の期間中だけ信号Ｓq1のレベルはハイレベル「Ｈ」となる。すなわち、最初のフレームから２フィールドを生成し次のフレームから３フィールドを生成するとき、信号Ｓq1は３フィールド目を示すものとなる。

図３Ｃはフィールド差分に基づく判別結果を示す信号Ｓq2である。信号Ｓq2は、フィールド差分が第２閾値を超えたときに論理レベルが反転する信号である。ここで、２フィールド目であるフィールド「ａ'」と３フィールド目であるフィールド「ｂ」は、異なるコマの撮影画像から生成された信号である。このため、２フィールド目と３フィールド目のフィールド差分は、１フィールド目と２フィールド目のフィールド差分や、３フィールド目と４フィールド目のフィールド差分、および４フィールド目と５フィールド目のフィールド差分に比べて大きくなる。

第２閾値は、異なるコマの撮影画像から生成された信号を用いたフィールド差分よりも小さく、同じコマの撮影画像から生成された信号を用いたフィールド差分よりも大きく設定する。この場合、撮影画像が切り替えられる５フィールドシーケンスの３フィールド目で信号Ｓq2の論理レベルが反転される。また、１フィールド目と直前の５フィールドシーケンスにおける５フィールド目の映像信号も異なるコマの撮影画像から生成された信号であり、５フィールド目と直後の５フィールドシーケンスにおける１フィールド目の映像信号も異なるコマの撮影画像から生成された信号であり、５フィールドシーケンスの最初や最後でも信号Ｓq2の論理レベルが反転される。すなわち、最初のフレームから２フィールドを生成し次のフレームから３フィールドを生成するとき、第２閾値との比較結果を示す信号Ｓq2は、１〜２フィールド目であるか３〜５フィールド目であるかを示すものとなる。

さらに、判別部１２は、コマ変換によって生成された信号であるか否かを正しく判別できるように、判別信号ＤＴの生成を行う。この判別部１２は、信号Ｓq1で示される第１閾値との比較結果が予め設定したで所定回数連続して繰り返されたとき、すなわちハイレベル「Ｈ」とされるフィールド期間が５フィールドシーケンスの周期で複数回連続して繰り返されたとき、コマ変換によって生成された信号であると判別する。および／または、信号Ｓq2で示される第２閾値との比較結果パターンが予め設定されたパターンで所定回数連続したとき、すなわち、比較結果パターンとして、１〜２フィールド目と３〜５フィールド目を区別するパターンが複数回連続したとき、コマ変換によって生成された信号であると判別する。このようにして、コマ変換によって生成された信号であるか否かの判別を行い、判別結果に基づいて判別信号ＤＴを生成する。

このため、例えば入力映像信号ＤＶinが２−３プルダウンの信号でないときに、信号Ｓq1が１度だけハイレベル「Ｈ」となってしまうような場合が生じても、直ちに２−３プルダウンであると判別されてしまうことがない。すなわち、２−３プルダウンでない信号を、同じコマの撮影画像から生成された映像信号として合成を行い画質の劣化を招いてしまうことがない。

判別部１２は、このようにして生成した判別信号ＤＴを第１の信号処理部１１と第２の信号処理部１３に供給する。また、生成した信号Ｓq1および／または信号Ｓq2を、シーケンス信号ＳＱとして第１の信号処理部１１と第２の信号処理部１３に供給する。ここで、信号Ｓq1をシーケンス信号ＳＱとして用いたときには、上述のように信号Ｓq1が３フィールド目を示すものであることから、シーケンス信号ＳＱである信号Ｓq1を基準として、５フィールドシーケンスに於けるフィールド順序を判別できる。また、信号Ｓq2をシーケンス信号ＳＱとして用いたときには、上述のように信号Ｓq2が１〜２フィールド目であるか３〜５フィールド目であるかを示すことから、信号Ｓq2における論理レベルの反転位置を基準として、５フィールドシーケンスに於けるフィールド順序を判別できる。さらに、信号Ｓq1，Ｓq2をシーケンス信号ＳＱとして用いたときには、信号Ｓq1，Ｓq2によって３フィールド目の位置と１〜２フィールド目であるか３〜５フィールド目であるかが示されるので、何れかの信号だけを用いる場合に比べて、簡単で正しくフィールド順序を判別できる。

第１の信号処理部１１は、例えば特開平９−７４５４３号公報で示されているような高画質化処理を行う。すなわち、入力映像信号ＤＶinに基づき入力画像の動きベクトルを検出し、検出した動きベクトルを考慮して画像信号の特徴に応じたクラス分類処理を行う。このクラス分類処理によって生成されたクラスデータを予測係数ＲＯＭに供給して、クラスデータに対応した予測係数を予測係数ＲＯＭから読み出す。予測係数ＲＯＭは、画像の動きベクトルを考慮して分類されたクラス毎に、学習により獲得した予測係数を記憶しているものである。さらに、読み出した予測係数と入力映像信号とを用いて予測演算処理を行い、高画質の映像信号を生成して第２の信号処理部１３に供給する。

ここで、コマ変換によって生成された２−３プルダウンの入力映像信号を用いて動きベクトルを判別しても、フレーム「Ａ」からフィールド「ａ」「ａ'」、フレーム「Ｂ」から３フィールド「ｂ」「ｂ'」「ｂ」が生成されているので、コマ変換によって生成された信号でない映像信号を用いた場合と同様な動きベクトルを求めることができない。このため、フィールド順に動きベクトルを求めてクラス分類処理を行うものとすると、コマ変換によって生成された信号でない映像信号と同様な高画質化処理を行うことができない場合が生ずる。このため、判別信号ＤＴとシーケンス信号ＳＱに基づき画像の切り替わりを判別して、連続する画像の映像信号を用いた動きベクトルの判別等を行い、コマ変換によって生成された映像信号に対応した高画質化処理やコマ変換によって生成された信号でない映像信号に対応した高画質化処理を行う。

第２の信号処理部１３は、第１の信号処理部１１とは異なる信号処理を行う。例えば第２の信号処理部１３は、インタレース方式の映像信号をプログレッシブ方式の映像信号に変換するＩＰ変換を行う。ＩＰ変換では、供給されたインタレース方式の映像信号を遅延させて、１フィールド遅延信号と１フレーム遅延信号を生成する。

また、供給された映像信号と１フィールド遅延信号を用いて垂直方向，水平方向,時間方向のフィルタリングを行い、静止画に適した静止画用補間信号を生成する。同様に、供給された映像信号と１フィールド遅延信号を用いて垂直方向，水平方向,時間方向のフィルタリングを行い、動画に適した動画用補間信号を生成する。さらに、供給された映像信号と１フレーム遅延信号を用いて動き検出を行い、動き検出信号を生成する。

この動き検出信号に応じて、静止画用補間信号と動画用補間信号を混合して動き適用補間信号を生成し、この動き適用補間信号と供給された映像信号とを倍速に読み出すことで、プログレッシブ走査の映像信号を生成する。

ここで、動き検出信号がシーケンスの切り替えや動きの関連性のない映像信号を用いたことにより不安定となると、良好な動き適用補間信号を生成することが出来なくなってしまい画質の劣化等を招くおそれがある。このため、判別信号ＤＴとシーケンス信号ＳＱに基づいて画像の切り替わりを判別して、連続する画像の映像信号を用いて静止画用補間信号や動画用補間信号および動き検出信号の生成を行い、良好な動き適用補間信号を生成して、画質の劣化等を防止する。

図４は第２の信号処理部１３の動作を説明するためのものである。コマ変換によって生成された信号でない映像信号が供給されたときには、図４Ａに示すように、フィールド「ｍ」の補間位置Ｐxに対して周辺画素の信号を用いて動き適用補間信号を生成する。例えば、補間位置Ｐxに対して上下方向に隣接する同じフィールドの画素Ｐbm，Ｐcmと、１フィールド前の同じ位置である画素Ｐf(m-1)との信号を用いて静止画用補間信号を生成する。また、同じフィールドで静止画用補間信号を生成する場合よりも広い範囲内の画素Ｐam〜Ｐdmと、１フィールド前で静止画用補間信号を生成する場合よりも広い範囲内の画素Ｐe(m-1)〜Ｐg(m-1)の信号を用いて動画用補間信号を生成する。この生成した静止画用補間信号と動画用補間信号を動き検出信号に応じて混合することで、補間位置Ｐxの動き適用補間信号を生成する。また、判別信号ＤＴによってコマ変換によって生成された映像信号であることが示されたときは、フレーム「Ａ」からフィールド「ａ」「ａ'」、フレーム「Ｂ」から３フィールド「ｂ」「ｂ'」「ｂ」の映像信号が生成されているので、シーケンス信号ＳＱに基づいて同じコマの画像を判別し、同じコマの画像から生成した異なるフィールドの映像信号を動き適用補間信号として用いる。例えば、図４Ｂに示すように、フィールド「ａ'」の補間位置Ｐxに対しては、同じコマの画像から生成した異なるフィールド「ａ」において同じ位置となる画素Ｐｈの信号を動き適用補間信号として用いる。

このように、判別部１２で生成した判別信号ＤＴとシーケンス信号ＳＱを各信号処理部に供給することで、各信号処理部では、映像源がフィルム映像であるか否かやシーケンスを個々に判別する必要がなく、構成を簡単にできる。また、判別に要する時間が各信号処理部で必要とされないので、信号処理の切り替わりが早くなり良好な応答性を得ることができる。

また、複数の連続した信号処理部のうち、最初の信号処理部に判別部を設けて、判別信号やシーケンス信号を後段の信号処理部に供給しておけば、前段の信号処理部から信号処理がなされた映像信号を後段の信号処理部に供給したときに、速やかに判別信号やシーケンス信号に基づき適切な信号処理を速やかに開始できる。

なお、上述の信号処理部で行う処理は例示的なものであって、限定的なものでないことは勿論である。

以上のように、本発明にかかる映像信号処理装置および映像信号処理方法は、映像信号のコマ変換を行うときに有用であり、コマ変換が行われた映像信号の処理を行う機器に適用している。

映像信号処理装置の構成を示す図である。 コマ変換（２−３プルダウンの場合）を説明するための図である。 判別部の動作を説明するための図である。 第２の信号処理部の動作を説明するための図である。

符号の説明

１０・・・映像信号処理装置、１１・・・第１の信号処理部、１２・・・判別部、１３・・・第２の信号処理部

Claims (4)

1. 入力された映像信号に対して信号処理を行う複数の連続した信号処理手段と、
   前記映像信号が、１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、前記映像信号が前記コマ変換によって生成された信号であるとき、前記コマ変換でのフィールド順序を判別可能とするシーケンス信号とを生成する判別手段とを有し、
   前記判別手段では、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号を前記シーケンス信号とし、前記判別信号と前記シーケンス信号を前記複数の信号処理手段に供給するものとし、
   前記複数の連続した信号処理手段では、前記信号処理を、前記判別信号と前記シーケンス信号に基づいて行う映像信号処理装置。
2. 前記判別手段は、フレーム差分と予め設定した第１閾値との比較結果が予め設定した周期で所定回数連続して繰り返されたとき、および／またはフィールド差分と予め設定した第２閾値との比較結果パターンが予め設定したパターンで所定回数連続したとき、前記コマ変換によって生成された信号であることを示す判別信号を生成する請求項１記載の映像信号処理装置。
3. 入力された映像信号に対して信号処理を行う複数の連続した信号処理工程と、
   前記映像信号が、１コマの画像を複数フィールドの画像に振り分けるコマ変換によって生成された信号であるか否かを示す判別信号と、前記映像信号が前記コマ変換によって生成された信号であるとき、前記コマ変換でのフィールド順序を判別可能とするシーケンス信号とを生成する判別工程とを有し、
   前記判別工程では、フレーム差分と予め設定した第１閾値との比較結果を示す信号、およびフィールド差分と予め設定した第２閾値との比較結果を示す信号を前記シーケンス信号とし、前記判別信号と前記シーケンス信号を前記複数の信号処理工程に供給するものとし、
   前記複数の連続した信号処理工程では、前記信号処理を、前記判別信号と前記シーケンス信号に基づいて行う映像信号処理方法。
4. 前記判別工程では、フレーム差分と予め設定した第１閾値との比較結果が予め設定した周期で所定回数連続して繰り返されたとき、および／またはフィールド差分と予め設定した第２閾値との比較結果パターンが予め設定したパターンで所定回数連続したとき、前記コマ変換によって生成された信号であることを示す判別信号を生成する請求項３記載の映像信号処理方法。

Images