JP6117484B2 - クリップ処理によるｉｐ変換の映像処理方法とそのプログラム及びその映像処理装置 - Google Patents

Description

本発明は、ＩＰ（ｉｎｔｅｒｌａｃｅ ｔｏ ｐｒｏｇｒｅｓｓｉｖｅ）変換における処理破綻を軽減する方法に関し、特に、クリップ処理によるＩＰ変換の映像処理方法とそのプログラム及びその映像処理装置に関する。

インターレース信号（飛び越し走査の映像信号）から、プログレッシブ信号（順次走査の映像信号）にＩＰ変換する映像信号処理装置が知られている。ＩＰ変換での処理破綻を軽減させる手法については、従来は動き検出・推定処理の性能向上により対応が行われていた。フィールド内挿時のフィルタ特性については、周波数特性の向上とリンギングの発生はトレードオフとなるため、複数のフィルタ特性をユーザーが切り替えるような手法が用いられてきた。

従来公知の映像信号処理装置は、例えば、中間値選択回路において、隣接する３フィールドの中間値をとって補間走査線を生成し、該補間走査線と実走査線とを交互に出力するようにして、簡単な構成で動画／静止画に関わらず良好な画質の走査線補間処理を行うことを可能とするものである。

また、下記特許文献１には、飛び越し走査の映像信号から順次走査の映像信号へのＩＰ変換を簡単な構成で実現でき、かつ映像の破綻をきたすことなく、静止画、動画ともに良好な画質をえることができる映像信号処理回路を提供することを目的とする発明が開示されている。

これによれば、入力される映像信号のフレーム間差分値に基づいて、ある一定画素間隔を動き領域とする制御信号を出力する動き判定部を設け、動き判定部からその制御信号が出力された場合には、補正値生成回路から、中間値選択回路にて選択される隣接する３フィールドの中間値ではなく、補間回路にて生成されるフィールド内補間値を補間走査線として出力するようにして、入力端子に入力された映像信号が動画であるにもかかわらず、中間値選択回路において判断できなかったために、補間走査線の画素として（Ｎ−１）または（Ｎ＋１）フィールドの画素値（フィールド間補間値）が出力されるのを防止することにより、補間回路からの出力（フィールド内補間値）を出力させることが可能となり、飛び越し走査の映像信号から順次走査の映像信号への変換処理を、簡単な構成で、その映像に破綻をきたすことなく行え、その補間処理後の映像信号の画質を、静止画、動画ともに良好なものとすることができることが記載されている。

すなわち、この映像信号処理装置によれば、連続するフィールドの飛び越し走査の映像信号が順次入力される入力端子と、前記入力端子から入力されたＮフィールドの映像信号を記憶する第１のフィールドメモリと、前記入力端子から入力された（Ｎ−１）フィールドの映像信号を記憶する第２のフィールドメモリと、前記第１のフィールドメモリの出力として得られるＮフィールドの映像信号から、飛び越し走査映像信号を順次走査映像信号に変換する際に、Ｎフィールドの飛び越し走査映像信号を補間する補間走査線を生成する補間手段と、前記入力端子から入力された（Ｎ＋１）フィールドの映像信号と、前記第２のフィールドメモリの出力として得られる（Ｎ−１）フィールドの映像信号との差分値を元に動き領域であるか否かを判定する動き判定を行い、動き領域であると判定された場合に、制御信号を所定期間出力する動き判定手段と、画素毎に前記補間手段からの出力、前記入力端子からの入力、前記第２のフィールドメモリからの出力のうちの中間の画素値を有するものを選択し、かつ前記動き判定手段からの制御信号に応じて、前記中間の画素値か、あるいは前記補間手段の出力のいずれかを選択し、該選択された値を前記Ｎフィールドの飛び越し走査映像信号を補間する補間画素として出力する補間値生成手段と、を備えるようにしたので、隣接する３フィールドの画素値を比較した結果、映像の動画領域において中間値選択された画素値がフィールド間補間値となるような場合でも、動き判定手段において、前記フレーム間差分値に基づいて動き領域であると判定された場合は動画領域とし、Ｎフィールドの補間走査線の画素値としてフィールド内補間値を選択することができ、これにより、映像を破綻させることなく走査線補間を行うことができることが下記特許文献１に示されている。

特開２００３−３３３５４２号公報

動き検出性能を向上させると処理が複雑となり、処理コストが大きくなる。また、動き検出性能の向上は設計者が想定したパターンに当てはまる場合には意図したとおりに有効であるが、すべての画像のパターンを想定することは不可能である。フィルタ特性についても、入力画像に応じて操作が必要であり、操作した場合にも上述したトレードオフの関係上、解像度向上とリンギング低減のどちらかが犠牲となってしまう。

本発明は上述の問題点に鑑み為されたものであって、静止判定回路から異なる時定数であってかつ信頼性が異なる２種類の静止判定（動き検出）信号を出力し、静止判定Ｓで「静止」と判定された場合に、現フィールド画像の周辺画素でクリップを行うことにより、極端な破綻を回避するとともに、静止判定Ｌで「静止」と判定された画素は、前フィールド画像を使用して垂直解像度を高め、現フィールドの内挿補間処理では、前フィールドと現フィールド両方の周辺画素を使用しクリップ処理を行うことにより、ステップ信号やインパルス信号周辺の平坦部分でのリンギングを効果的に除去することを目的とする。

本願発明においては典型的には、静止判定回路から異なる時定数であってかつ信頼性が異なる２種類の静止判定（動き検出）信号を出力する。時定数の短い信頼性が低い静止判定Ｓ（Ｓｈｏｒｔ：以下、適宜静止判定Ｓと称する）により「静止」と判定された画素については、前フィールドの画像を対象画素にそのまま使用せず、現フィールド画像の近傍画素の最大値、最小値を検出しその範囲内に収まるようクリップ処理を行った上で当該画素を使用する。

ＲＧＢやＹＰｂＰ等のカラー画像の場合は、各色毎にクリップ処理を行うか、または画素の色変化を嫌い、最大値・最小値を超えた色がある場合には３色ともに最大値又は最小値を含む画素（３色）との入れ替えを行う。

一方、時定数の長い信頼性の高い静止判定Ｌ（Ｌｏｎｇ：以下、適宜静止判定Ｌと称する）で「静止」と判定された画素については、前フィールド画像をそのまま使用する。

また、静止判定Ｓで「動きあり」と判定された画素については、現フィールド画像での内挿補間を行うが、その際に、前フィールドと現フィールドの近傍画素値を用いてクリップ処理を行う。また、本発明の主眼は補正処理における破綻軽減にあるため、静止判定回路側の構成については公知の構成をそのまま適用してもよい。

また、本発明のクリップ処理によるＩＰ変換の映像処理方法は、比較的長い時定数で判定された静止判定信号Ｌと比較的短い時定数で判定された静止判定信号Ｓとを出力する静止判定回路からの出力信号に基づいて、静止判定信号Ｓが静止状態を示す場合には、前フィールドの画像の対象画素に対して、現フィールド画像の近傍画素の最大値と最小値とでクリップ処理した画素値を使用し、静止判定信号Ｌが静止状態を示す場合には、前フィールドの画像を対象画素としてそのまま使用することを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理方法は、好ましくは静止判定信号Ｓが動きあり状態を示す場合に、対象画素に対して現フィールド画像での内挿補間処理を遂行し、内挿補間処理は、前フィールドと現フィールドとの近傍画素の最大値と最小値とでクリップ処理した画素値を使用することを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理方法は、さらに好ましくはクリップ処理が遂行された内挿補間処理後の画像と、クリップ処理後の前フィールド画像と、をＭＩＸする工程を有することを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理方法は、さらに好ましくはカラー画像である場合に、各色毎にクリップ処理を遂行することを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理方法は、さらに好ましくはカラー画像である場合に、一つでも最大値と最小値との範囲内から逸脱するカラーが出現すれば、全てのカラーについて最大値または最小値の少なくともいずれか一つを含む画素と差し替えることを特徴とする。

また、本発明のプログラムは、上述のいずれかに記載のクリップ処理によるＩＰ変換の映像処理方法をコンピュータに実行させるためのプログラムである。

また、本発明のクリップ処理によるＩＰ変換の映像処理装置は、比較的長い時定数で判定された静止判定信号Ｌと比較的短い時定数で判定された静止判定信号Ｓとを出力する静止判定回路と、静止判定回路の出力に基づいて、静止判定信号Ｓが静止状態を示す場合には、前フィールドの画像の対象画素に対して、現フィールド画像の近傍画素の最大値と最小値とでクリップ処理した画素値を使用し、静止判定信号Ｌが静止状態を示す場合には、前フィールドの画像を対象画素としてそのまま使用するＩＰ変換部とを備えることを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理装置は、好ましくはＩＰ変換部が、静止判定信号Ｓが動きあり状態を示す場合に、対象画素に対して現フィールド画像での内挿補間処理を遂行し、内挿補間処理は、前フィールドと現フィールドとの近傍画素の最大値と最小値とでクリップ処理した画素値を使用することを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理装置は、さらに好ましくはＩＰ変換部が、クリップ処理が遂行された内挿補間処理後の画像と、クリップ処理後の前フィールド画像と、を合成するＭＩＸ部を備えることを特徴とする。

また、本発明のクリップ処理によるＩＰ変換の映像処理装置は、さらに好ましくは前フィールド画像と現フィールド画像とをＩＰ変換部へ出力するメモリ蓄積部を備えることを特徴とする。

静止判定Ｓで「静止」と判定された画素は、短い判定期間において判定されていることから信頼性が低く、すなわち該判定が誤りである確率が比較的高い。このため、そのまま前フィールド画像を使用しＩＰ変換を行うと、処理破綻する可能性が高いものとなる。

しかし、現フィールド画像の周辺画素でクリップを行うことにより、極端な破綻を回避することができる。また、実際に静止していた場合でも、クリップによる垂直解像度に与える影響は少ない。

また、静止判定Ｌで「静止」と判定された画素は、長い判定期間において判定されていることから信頼性が高く、すなわち該判定が誤りである確率は比較的低い。このため前フィールド画像を使用して垂直解像度を高めるものとする。

一方、現フィールドの内挿補間処理では、リンギングが大きくても高周波特性のよいフィルタ係数を使用し画像を生成し、前フィールドと現フィールド両方の周辺画素を使用しクリップ処理を行う。これにより特にステップ信号やインパルス信号周辺の平坦部分でのリンギングを効果的に除去することができる。なお、静止領域では前フィールド画像が使用されるため、フィルタ処理は行われずリンギングの発生はない。

本実施形態の処理構成の概要全体を説明する全体ブロック図である。 ＩＰ変換回路１３０の処理概要についてさらに詳細に説明するＩＰ変換回路詳細図である。 入力信号がＯＤＤで静止判定回路で静止と判定されている場合の静止画像に関する前フィールド画像補間の概要についてより詳細に説明する概念図である。 入力信号がＯＤＤで静止判定回路で静止と判定されている場合の静止画像に関する前フィールド画像補間の概要についてより詳細に説明する概念図である。 入力信号がＯＤＤで静止判定回路で動きありと判定されている場合の動き画像に関する現フィールド画像補間の概要についてより詳細に説明する概念図である。 入力信号がＯＤＤで静止判定回路で動きありと判定されている場合の動き画像に関する現フィールド画像補間の概要についてより詳細に説明する概念図である。 二値−多値拡張回路の処理概要についてさらに詳細に説明する概念図である。 前フィールド画像を使用する場合であって、移動テロップの場合について説明する図である。 前フィールド画像を使用する場合であって、パーン映像の場合について説明する図である。 ＳＭＰＴＥカラーバーの中央やや下寄りの色境界付近を拡大した図であり、波形モニターは垂直方向の表示を説明するものである。 ＣＺＰ（円形ゾーンプレート）の一部を拡大したものを示し、右側の波形モニターは垂直方向（Ｖｓｃａｎ）の表示を示して説明する図である。

ＩＰ変換では垂直解像度向上のためにフレーム間差分検出等による静止判定（動き検出）処理を行い、動いていると判定された場合には現フィールドの画像を用い内挿補間画像を、静止と判定された場合には前フィールドの画像も使用しフレーム解像度の画像を生成する。

しかしながら静止判定の誤りにより、動いている部分が静止と判定された場合、ＯＤＤ／ＥＶＥＮの相関性のない画像が櫛状に重なり、ＩＰ処理の破綻を生じる。また、現フィールドの画像を用いる内挿補間では、補間フィルタの特性として高周波特性を伸ばすとリンギングがあまり低減されず、リンギングを低減させると高周波特性が悪化する。

本発明では、（１）動きなしと判断して前フィールドの画像を使用する場合は、現フィールド画像の周辺画素を使用したクリップ処理を遂行し、（２）動きありと判断して現フィールド画像による内挿補間を行う場合は、前フィールドと現フィールドの合成画像の周辺画素によるクリップ処理を遂行する。

このような処理により、静止時の垂直解像度を保持しながらＩＰ変換の破綻を低減させ、かつリンギングの除去が可能となる。

具体的には、ＩＰ変換時に、動き推定・検出処理側ではなく、補間処理側で破綻を軽減する手法とし、ＯＤＤとＥＶＥＮとの異なる時間軸の画像同士で画素のクリップ処理を行うものとする。

また、静止判定回路から２つの時間的に異なる（信頼性に差のある）静止判定信号（すなわち、ＳとＬと）を発生させる。静止判定Ｓ信号を使用する際には現フィールド画像によるクリップを行い破綻を防ぎ、静止判定Ｌ信号を使用する際には前フィールド画像をそのまま使用する。

また、動画部分については、高周波特性のよいフィルタを使用し、現フィールドと前フィールド画像を使用してクリップ処理を行い、リンギングの除去と（静止していた場合の）高周波特性の改善を両立させる。

これらの処理構成は、ベースバンドによるハードウェア装置、またはソフトウェア処理によるコンピュータをベースとしたファイル変換装置等による実現が可能である。さらに、カラー画像でのクリップ処理について、単色での処理と３色連動して処理を行う場合には種々のアレンジをしてもよい。

図１は、本実施形態の処理構成の概要全体を説明する全体ブロック図である。図１において、（１）が入力インターレース画像（ＯＤＤ）を示し、（２）が現フィールド画像（ＯＤＤ）を示し、（３）が前フィールド画像（ＥＶＥＮ）を示し、（４）が静止判定Ｌ信号（二値信号であって時定数は例えば１秒程度）を示し、（５）が静止判定Ｓ信号（二値信号であって時定数は例えば２フレーム程度）を示し、（６）がプログレッシブ画像を示す。静止判定Ｓ信号の時定数は静止判定Ｌ信号の時定数よりも短いものとする。

図１から理解できるように、入力インターレース画像（ＯＤＤ）（１）は、メモリ蓄積画像１１０として蓄積されるとともに、静止判定回路１２０において静止画像か否かが判定される。

メモリ蓄積画像１１０は、現フィールド画像（ＯＤＤ）（１）と前フィールド画像（ＥＶＥＮ）（３）とに分離されてＩＰ変換回路１３０へと入力される。また、静止判定回路１２０は、時定数が短いものと長いものとで判定された各静止判定Ｓ信号（５）及び静止判定Ｌ信号（４）をＩＰ変換回路１３０へと出力する。

図２は、ＩＰ変換回路１３０の処理概要についてさらに詳細に説明するＩＰ変換回路詳細図である。図２において、（７）がクリップ後の内挿補間画像を示し、（８）がクリップ後の前フィールド画像を示す。

図２から理解できるように、メモリ蓄積画像１１０から現フィールド画像（ＯＤＤ）（２）が、フィールド内挿フィルタ２１０と静止画像用のＭＡＸ／ＭＩＮ抽出部２２０と動き画像用のＭＡＸ／ＭＩＮ抽出部２３０とに入力される。

また、メモリ蓄積画像１１０から前フィールド画像（ＥＶＥＮ）（３）が、動き画像用のＭＡＸ／ＭＩＮ抽出部２３０と静止画像用クリップ処理部２５０とに入力される。また、静止判定回路１２０で判定された結果は、静止判定Ｌ信号（５）が静止画像用クリップ処理部２５０に入力され、静止判定Ｓ信号（４）が二値−多値拡張回路２６０に入力される。

ここで、静止画像用クリップ処理部２５０に入力された静止判定Ｌ信号（５）は、比較的長い時定数で比較的高い信頼性を有した判定結果を示していることから、静止画像用クリップ処理部２５０の処理オン・オフの指示に用いられる。すなわち、静止判定Ｌ信号（５）が静止画であることを示す場合には静止画像用クリップ処理部２５０の処理をオフとし、静止判定Ｌ信号（５）が動き画像であることを示す場合には静止画像用クリップ処理部２５０の処理をオンとする。

また、フィールド内挿フィルタ２１０は、その処理結果を動き画像用のクリップ処理部２４０へと出力する。また、動き画像用のＭＡＸ／ＭＩＮ抽出部２３０で抽出された最大値と最小値とは、動き画像用のクリップ処理部２４０へと入力される。

一方、静止画像用のＭＡＸ／ＭＩＮ抽出部２２０で抽出された最大値と最小値とは、静止画像用クリップ処理部２５０へと入力される。また、動き画像用のクリップ処理部２４０から出力されたクリップ後の内挿補間画像（７）は、ミキサ回路２７０の入力Ａへと入力される。また、静止画像用のクリップ処理部２５０から出力されたクリップ後の前フィールド画像（８）は、ミキサ回路２７０の入力Ｂへと入力される。

また、二値−多値拡張回路２６０からの出力信号は、ミキサ回路２７０のゲインへと入力される。そして、ミキサ回路２７０は、プログレッシブ画像（６）を出力する。

図３と図４とは、入力信号がＯＤＤで静止判定回路で静止と判定されている場合の静止画像に関する前フィールド画像補間の概要についてより詳細に説明する概念図である。図４において、ＭＡＸ／ＭＩＮ抽出部４１０が図２に示す静止画像用のＭＡＸ／ＭＩＮ抽出部２２０に対応し、静止画像用クリップ処理部４２０が静止画像用クリップ処理部２５０に対応する。

図３と図４とに示すように入力信号がＯＤＤで静止判定回路１２０で「静止」と判定されている場合には、図３に黒丸で示す画素（ＥＶＥＮ）が静止判定Ｓで「静止」と判定されると、前フィールド（ＥＶＥＮ）側の画素を当てはめるが、破線で囲まれている現フィールドの周辺画素値（図３においては破線で囲んだ６点）の最大値、最小値を求め、前フィールド（ＥＶＥＮ）側の画素値が該最大値と該最小値との範囲内に入るように静止画像用クリップ処理部４２０がクリップ処理を遂行する。

また、静止判定Ｌで「静止」と判定された場合には、静止画像用クリップ処理部４２０のクリップ動作処理を遂行させず、前フィールド（ＥＶＥＮ）の画像をそのまま出力する。

また、図５と図６とは、入力信号がＯＤＤで静止判定回路１２０で「動きあり」と判定されている場合の動き画像に関する現フィールド画像補間の概要についてより詳細に説明する概念図である。図６において、ＭＡＸ／ＭＩＮ抽出部６１０が図２に示す動き画像用のＭＡＸ／ＭＩＮ抽出部２３０に対応し、動き画像用クリップ処理部６２０が動き画像用のクリップ処理部２４０に対応する。

図５と図６とに示すように、入力がＯＤＤで静止判定回路１２０で「動きあり」と判定されている場合には、図５に黒丸で示す画素（ＥＶＥＮ）が静止判定Ｓで「動きあり」と判定されると、現フィールド（ＯＤＤ）側の画素（図５においては白の四角の画素（中心の４ＴＡＰ以外の上下画素は図５においては省略されている））を使用してフィールド内挿補間を遂行し、画素値を求める。

この場合に、ＭＡＸ／ＭＩＮ抽出部６１０が図５に示す破線で囲まれた９点の画素の最大値と最小値とを求め、求めた画素値が最大値と最小値との間に収まるように動き画像用クリップ処理部６２０がクリップ処理を遂行する。このような処理により、リンギングを低減しつつ高周波の周波数特性を維持することが可能となる。すなわち、フィールド内挿フィルタ２１０の入力データは白の四角（□）の画素で、図５に示す例では黒丸の上下に４点しかないが、現実には十数ＴＡＰ（タップ）のＦＩＲ構成となっている。このフィルタの結果生成された画素値を、動き画像用クリップ処理部６２０でクリップ処理を行うが、その際の最大値／最小値として、図５の破線の９点をＭＡＸ／ＭＩＮ抽出部６１０へ入力し、その出力を使用する。

図７は、二値−多値拡張回路２６０の処理概要についてさらに詳細に説明する概念図である。また、ミキサ回路２７０は、内挿補間画像と前フィールド画像とをＭＩＸ（合成）する処理を遂行する。

静止判定回路１２０で判定して出力した静止判定Ｓの結果（二値）を、前段の二値−多値拡張回路２６０で水平方向に拡張し、切り替え画素周辺で不連続が生じないようにミキサ回路２７０が処理する。

すなわち、静止判定信号Ｓが、動きありの場合（１）と静止の場合（０）との二値間で突如切り替わった場合でも、当該切り替わり周辺の画素に不連続が発生しないように、ミキサ回路２７０が二値−多値拡張回路２６０から入力されるゲインに基づいて、切り替え勾配を適切に調整して連続性を維持する。

（具体例１）
前フィールド画像を使用する場合であって、移動テロップの場合について例示して説明する。静止判定回路１２０で動きなしと判定されて前フィールドの画像を使用する場合に、現フィールド画像の周辺画素を使用したクリップ処理を行う場合と行わない場合とを比較して下記に説明する。フレーム間差分による静止判定回路１２０による静止判定結果（静止判定Ｓ信号）が誤って、「静止」と判定されてしまった場合に効果があることが理解できる。

図８は、前フィールド画像を使用する場合であって、移動テロップの場合について説明する図である。図８において、入力画像は１Ｏ、１Ｅ、２Ｏの３つのフィールドを示しているが、１Ｏと２Ｏとの二つのＯＤＤ映像の間で、文字「ｍ」のエッジ部分の黒い縦線（矩形枠線内の矢印部分）が、「動きなし」と判定されている。なお、図８において、画像中の白枠及び矢印はすべて同一座標上に表示されているものとする。

クリップオフで補間した場合には、１Ｏ’に示すように、静止判定で静止と判断されていることから、文字「ｍ」の白地部分に前フィールドの１Ｏからそのまま取り込んだ黒い線が表示されてしまう。なお、図８における１Ｏ’は、後段のミキサ回路２７０の影響で縦線がやや薄く灰色がかって表示されている。

一方、クリップオンで補間した場合には、図８の１Ｏ’’に示すように、前フィールド１Ｏからそのまま取り込んだ黒い縦線は、入力１Ｅの周辺画素でクリップされるために、黒い縦線は出力されない。図８に例示する場合においては、当該周辺画素（１Ｅの矢印部分）は白い画素のみであるため、白でクリップされることとなる。なお、図８において例示した１Ｏ’と１Ｏ’’との画像例は、時刻１Ｅでの補間されたＯＤＤラインのみの映像であり、１Ｅと合成した後のプログレッシブ画像ではない。

（具体例２）
前フィールド画像を使用する場合であって、パーン映像の場合について例示して説明する。静止判定回路１２０で動きなしと判定されて前フィールドの画像を使用する場合に、現フィールド画像の周辺画素を使用したクリップ処理を行う場合と行わない場合とを比較して下記に説明する。フレーム間差分による静止判定回路１２０による静止判定結果（静止判定Ｓ信号）が誤って、「静止」と判定されてしまった場合に効果があることが理解できる。

図９は、前フィールド画像を使用する場合であって、パーン映像の場合について説明する図である。図９に示すように、三つの入力画像が１Ｏ、１Ｅ、２Ｏの３フィールドであって、１Ｏと２Ｏとの二つのＯＤＤの映像間で、広い範囲で動きなしと判定されている。

図９の各映像は、高層ビルの外壁を表示したものである。白枠線内のみに着目し外壁の縦縞パターンを左から右に順次見ると、１Ｏ、２Ｏでは＜灰色、黒、灰色、黒・・・＞のパターンになっており、１Ｅでは＜黒、灰色、黒、灰色・・・＞のパターンとなっている。カメラパーンにより、縦縞パターンが１フィールド期間で半周期、１フレーム期間ではちょうど１周期ずれていることが確認できる。なお、図９の各白枠線は同一座標位置に表示されているものとする。

１Ｏと２Ｏとの二つのＯＤＤ映像では白枠線内の縦縞パターンが一致し、フレーム間差分による静止判定では「静止」と判定されてしまう。しかしながら、実際は隣接する縦縞パターンが同一座標に表示されているものであり、これは白枠線外の特に右端まで模様をたどれば、白枠線内の模様パターンが実際には１Ｏと２Ｏとの二つのＯＤＤ映像間において横方向に動きがあることが理解できる。

クリップオフで補間した場合（１Ｏ’）、外壁の広い部分は静止と判定されているため前フィールド（１Ｏ）の映像がそのまま表示される。具体的には、灰色の矢印部分に注目すると、外壁の縦模様がずれており、矢印部分を拡大した画像では、破線の延長線上の上下で映像の連続性がない、すなわち時間軸のずれた映像同士が混在していることが理解できる。また、画像の一部は動きありとしてフィールド補間画像となり、両者の境界がブロック状ノイズとなる。

一方、クリップオンで補間した場合（１Ｏ’’）には、前フィールド（１Ｏ）の外壁パターンは現画像１Ｅの周辺画素でクリップされるため、前フィールド（１Ｏ）の外壁パターンがあまり出現せず、本画像においては解像度が若干低下した程度の影響に納まることが理解できる。

（具体例３）
現フィールドの画像を前フィールドと現フィールドとでクリップ処理する場合であって、ＳＭＰＴＥカラーバーの場合について例示して説明する。静止判定回路１２０で動きありと判定されて現フィールドの内挿補間画像を使用する場合に、前フィールド画像と現フィールド画像との合成映像の周辺画素を使用したクリップ処理を行う場合と行わない場合とでの差異を比較して以下に説明する。揺らぎ等のあまり動いていない画素において、動き有りと判定されてフィールド処理される場合の解像度の向上とリンギングの低減効果があることが理解できる。

ここでは、フィールド補間時のクリップ方式の違いにより生じる影響を示す。図１０は、ＳＭＰＴＥカラーバーの中央やや下寄りの色境界付近を拡大した図であり、波形モニターは垂直方向（Ｖｓｃａｎ）の表示を説明するものである。

図１０において、上方の左右の二図はクリップなし（ＯＦＦ）の場合を示し、この二図からは、カラーバーの垂直方向の境目にリンギングが発生していることが画像および波形モニターで確認できる。

また、図１０において中央の左右の二図及び下方の左右の二図は、各々フィールド内クリップ（ＦＬＤ）およびフレーム間クリップ（ＦＲＭ）の場合を示し、いずれにおいてもリンギングの発生は認識できない。なお、図１０に示す画像では、フィールド内クリップ（ＦＬＤ）およびフレーム間クリップ（ＦＲＭ）の違いは認識できない。

（具体例４）
現フィールドの画像を前フィールドと現フィールドとでクリップ処理する場合であって、ＣＺＰ（円形ゾーンプレート）画像の場合について例示して説明する。静止判定回路１２０で動きありと判定されて現フィールドの内挿補間画像を使用する場合に、前フィールド画像と現フィールド画像との合成映像の周辺画素を使用したクリップ処理を行う場合と行わない場合とでの差異を比較して以下に説明する。揺らぎ等のあまり動いていない画素において、動き有りと判定されてフィールド処理される場合の解像度の向上とリンギングの低減効果があることが理解できる。

図１１は、ＣＺＰ（円形ゾーンプレート）の一部を拡大したものを示し、右側の波形モニターは垂直方向（Ｖｓｃａｎ）の表示を示して説明する図である。

図１１の上段の二図から理解できるように、クリップなし（ＯＦＦ）の場合には画像に折り返しは見られないが、波形モニター上では１００％以上と０％以下のリップル波形の輪郭がくっきりと表示されている。

一方、図１１の中段の二図から理解できるように、フィールド内クリップ（ＦＬＤ）の場合にはクリップの影響で擬似円が発生している。波形モニター上では１００％と０％付近の波形が薄れ、リップルが軽減されていることが分かる。

また、図１１の下段の二図から理解できるように、フレーム間クリップ（ＦＲＭ）の場合には、フィールド内クリップ（ＦＬＤ）と比較して擬似円が少ない。波形モニター上では１００％と０％の位置に直線的な輪郭が出てきており、これは入力画像（不図示）に近い波形となっており高周波成分の劣化やリンギングが観察されず好ましい。

上述した実施形態においては、ＩＰ変換時に、動き推定・検出処理側ではなく、補間処理側で破綻を軽減する手法を提案し、ＯＤＤとＥＶＥＮとの異なる時間軸の画像同士で画素のクリップ処理を行う手法を提案した。

また、上述した実施形態においては、静止判定回路から２つの時間的に異なる（信頼性に差のある）静止判定信号（すなわち、ＳとＬと）を発生させる。静止判定Ｓ信号を使用する際には現フィールド画像によるクリップを行い破綻を防ぎ、静止判定Ｌ信号を使用する際には前フィールド画像をそのまま使用する。

また、動画部分については、高周波特性のよいフィルタを使用し、現フィールドと前フィールド画像を使用してクリップ処理を行い、リンギングの除去と（静止していた場合の）高周波特性の改善を両立させる。

また、上述した処理は、ベースバンドによるハードウェア装置、またはソフトウェア処理によるコンピュータをベースとしたファイル変換装置等による実現が可能である。さらに、カラー画像でのクリップ処理について、単色での処理と３色連動して処理を行う場合のコスト・出力画像の破綻具合についてはさらなる検討の余地がある。

なお、上述したクリップ処理とは、該当画素値の輝度値が、入力された二つの比較画素値の間（典型的には最大値と最小値との間）にない場合において、最大値を超えている場合には最大値で置き換え、最小値より小さな場合には最小値で置き換える処理をいう。

本実施形態で説明した映像処理方法は、実施形態での説明の限定されるものではなく自明な範囲で適宜その処理を変更し構成を変更することができる。また、各説明における個別の例示等に限定されるものではなく、自明な範囲で適宜組み合わせてもよく、アレンジすることが可能である。

本発明は、ＩＰ変換における破綻軽減処理に幅広く適用可能であって、インターレース信号をプログレッシブ化して使用する画像処理全般に適用可能であるが、具体例としては、アップ／ダウン／クロス／フレームレート変換といった映像形式変換装置やスイッチャ製品におけるＤＶＥ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｅｆｆｅｃｔｓ）機能、モニター等におけるＩＰ変換回路等に好適に展開できる。

１１０・・メモリ蓄積画像、１２０・・静止判定回路、１３０・・ＩＰ変換回路。

Claims (13)

1. クリップ処理によるＩＰ変換の映像処理方法において、
   任意の時定数で判定された静止判定信号Ｌと前記任意の時定数よりも短い時定数で判定された静止判定信号Ｓとを出力する静止判定回路からの出力信号に基づいて、
   前記静止判定信号Ｓが静止状態を示す場合には、前フィールドの画像の対象画素に対して、現フィールド画像の近傍画素の最大値と最小値とでクリップ処理した画素値を使用し、
   前記静止判定信号Ｌが静止状態を示す場合には、前記前フィールドの画像を対象画素としてそのまま使用する
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
2. 請求項１に記載のクリップ処理によるＩＰ変換の映像処理方法において、
   前記静止判定信号Ｓが動きあり状態を示す場合に、対象画素に対して前記現フィールド画像での内挿補間処理を遂行し、
   前記内挿補間処理は、前記前フィールドと前記現フィールドとの近傍画素の最大値と最小値とでクリップ処理した画素値を使用する
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
3. 請求項２に記載のクリップ処理によるＩＰ変換の映像処理方法において、
   クリップ処理が遂行された前記内挿補間処理後の画像と、
   クリップ処理後の前フィールド画像と、をＭＩＸする工程を有する
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
4. 請求項１乃至請求項３のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理方法において、
   カラー画像である場合に、各色毎に前記クリップ処理を遂行する
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
5. 請求項１乃至請求項３のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理方法において、
   カラー画像である場合に、一つでも前記最大値と前記最小値との範囲内から逸脱するカラーが出現すれば、全てのカラーについて前記最大値または前記最小値の少なくともいずれか一つを含む画素と差し替える
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
6. 請求項１乃至請求項５のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理方法をコンピュータに実行させるためのプログラム。
7. クリップ処理によるＩＰ変換の映像処理装置において、
   任意の時定数で判定された静止判定信号Ｌと前記任意の時定数よりも短い時定数で判定された静止判定信号Ｓとを出力する静止判定回路と、
   前記静止判定回路の出力に基づいて、前記静止判定信号Ｓが静止状態を示す場合には、前フィールドの画像の対象画素に対して、現フィールド画像の近傍画素の最大値と最小値とでクリップ処理した画素値を使用し、
   前記静止判定信号Ｌが静止状態を示す場合には、前記前フィールドの画像を対象画素としてそのまま使用するＩＰ変換部とを備える
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理装置。
8. 請求項７に記載のクリップ処理によるＩＰ変換の映像処理装置において、
   前記ＩＰ変換部は、
   前記静止判定信号Ｓが動きあり状態を示す場合に、対象画素に対して前記現フィールド画像での内挿補間処理を遂行し、
   前記内挿補間処理は、前記前フィールドと前記現フィールドとの近傍画素の最大値と最小値とでクリップ処理した画素値を使用する
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理装置。
9. 請求項８に記載のクリップ処理によるＩＰ変換の映像処理装置において、
   前記ＩＰ変換部は、
   クリップ処理が遂行された前記内挿補間処理後の画像と、
   クリップ処理後の前フィールド画像と、を合成するＭＩＸ部を備える
   ことを特徴とするクリップ処理によるＩＰ変換の映像処理装置。
10. 請求項７乃至請求項９のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理装置において、
    前記前フィールド画像と前記現フィールド画像とを前記ＩＰ変換部へ出力するメモリ蓄積部を備える
    ことを特徴とするクリップ処理によるＩＰ変換の映像処理装置。
11. 請求項１乃至請求項５のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理方法において、
    前記任意の時定数は１秒であり、前記任意の時定数よりも短い時定数は２フレームである
    ことを特徴とするクリップ処理によるＩＰ変換の映像処理方法。
12. 請求項６に記載のプログラムにおいて、
    前記任意の時定数は１秒であり、前記任意の時定数よりも短い時定数は２フレームである
    ことを特徴とするプログラム。
13. 請求項７乃至請求項１０のいずれか一項に記載のクリップ処理によるＩＰ変換の映像処理装置において、
    前記任意の時定数は１秒であり、前記任意の時定数よりも短い時定数は２フレームである
    ことを特徴とするクリップ処理によるＩＰ変換の映像処理装置。