JPH08511386A - ビデオ信号処理 - Google Patents

Abstract

(57)【要約】 標準方式変換処理におけるより重大な動きの欠陥が、垂直サンプリングを行うことと、動き補正の有るものと無いものの並行した低帯域幅標準方式変換処理を行うこととにより取り除かれる。生成されたエラー信号は従来の標準方式コンバータの出力から差し引かれる。

Description

【発明の詳細な説明】ビデオ信号処理 技術分野 本発明は、ビデオ信号処理、特に放送標準方式変換等のフィールド補間を含む 処理に関する。 背景技術 ビデオ映像に動きがある場合、そのような処理によって画像のアーチファクト が生じるという問題はよく知られている。この問題の重大性は、関与する処理の 性質と解像度および動きのタイプと程度による。動きのもつ有害な影響を減少す るために様々な技術が提案され、そのような技術は動き補正と呼ばれる。概して 言えば、動き補正によって標準方式変換あるいは他の処理に要するコストはかな り加算されるだろう。 本発明の目的は、妥当なコストで多くの適用において満足のゆく程度まで、動 きの有害な影響を減じる方法を提供することにある。 発明の開示 したがって、本発明は、一つには、ビデオ信号処理における動きのもつ有害な 影響を減少する方法にあり、動き補正なしに高帯域幅でビデオ信号についてビデ オ信号処理を行う段階と、低帯域幅で動き補正なしに同様のビデオ信号処理を行 い低帯域幅制御信号を生成する段階と、低帯域幅で動き補正を伴う類似のビデオ 信号処理を行い低帯域幅動き補正信号を生成する段階と、前記制御信号と前記動 き補正信号とを比較してエラー信号を生成し、該エラー信号を高帯域幅ビデオ信 号処理において差し引く段階とを有する。 動き補正は低帯域幅信号に対してのみ行われるので、比較的単純なハードウェ アで得られる。全処理にわたる解像度は高帯域幅信号通路によって決定され、エ ラー信号を生成する比較的粗な処理によって影響を受けることはない。動き補正 は緩慢な動きあるいは小画像領域を含む動きは検出しないが、画像の質にとって 最も重大な影響を及ぼすタイプの動きに対しては反応する。この最適な例がパン 撮りである。もちろん、水平方向の動きのみを検出するように本発明による方法 を操作することは可能である。 低帯域幅の動き補正処理と非動き補正処理とは、双方に共通した多くのステッ プを有し、タンデムで行うことができる。したがって、エラー信号は、低帯域幅 の動き補正信号および非動き補正信号は出力ではなく抽象的信号としながら、生 成される。 この観点から、本発明は、“従来の”非動き補正処理から動きに関連したエラ ーを除去することによって実施されるので、既存の設計や装置の付属品として提 供され得るものである。本発明により意図されるアプローチが、ある特定のタイ プの画像材料に不適当であると判明した場合、エラー信号はその範疇の画像材料 には単に役に立たないものとなるだけである。自動適応型の構成では、エラー信 号の振幅は、動き補正にコンフィデンスを欠く環境においては、減衰され得る。 本発明が、既存の装置の付属品としてではなく、新たに設計される装置に実施 する構成では、そのようなエラー信号を作る必要はない。したがって、本発明は 、低帯域幅チャンネルが非動き補正処理を有しない代替構成を包含し、その必要 性は予め全帯域幅非動き補正処理を高周波に限定することにより回避される。 図面の簡単な説明 本発明を、添付の図を参照し、実施例について説明する。 図１は、本発明による装置を示すブロック図である。 図２は、本発明による１実施例を示す更に詳細な図である。 図３および図４は、図２に示す装置の動作を明らかにするための図である。 図５は、図２の可変多段遅延の一つの簡単な構造を示す図である。 図６は、本発明の更なる実施例による装置を示すブロック図である。 まず、図１を参照して、標準方式コンバータにおける動きの影響を減少するた めの本発明による装置が示されている。入力ビデオ信号は、高解像度で動作する が固定フィルターを用いる、つまり、動き補正を備えていない“従来の”標準方 式コンバータ（変換器）（１０）に供給される。標準方式コンバータ（１０）は 、ビデオ映像が比較的少量の動きだけを含む高品質の変換された標準方式の出力 ビデオ信号を供給することが期待される。しかしながら、その出力は事実上の動 きから発生する異質成分を包含するだろう。 入力ビデオ信号は、また、ローパスフィルター（１２）（二次元で機能するで あろう）を通過して、並行する低帯域幅標準方式コンバータ（１４，１６）へ導 かれる。これらの標準方式コンバータは、コンバータ（１４）が固定フィルター を有する一方、コンバータ（１６）は動き補正をされる点において異なる。２個 の低帯域幅コンバータの出力は、ブロック（１８）で差を取られ、エラー信号を 生じ、そのエラー信号は高帯域幅標準方式変換の結果から（２０）で差し引かれ ることになる。 ビデオ映像に実質的な動きがなく、高帯域幅の方の固定フィルター付き標準方 式コンバータが良好に動作することを予期される一方、２個の低帯域幅標準方式 コンバータ間に微量の差があり、エラー信号は発生しないことが認識されるであ ろう。特定のしきい値未満のエラー信号は単に無視するように構成できる。固定 フィルター標準方式変換処理を低下させるようなタイプと大きさの動きがある場 合、高帯域幅固定フィルター標準方式変換と低帯域幅固定フィルター標準方式変 換の双方に異質成分が現れるだろう。例えば、パン撮りの動きの場合、ジャダー （揺らぎ）が固定フィルター標準方式変換の出力上に加わる可能性がある。低帯 域幅固定フィルター標準方式変換と並行する動き補正標準方式変換との比較によ って、このジャダー信号は絶縁された後、主なる高帯域幅信号通路において除去 あるいは抑制され得る。 ここで、ローパスフィルター（１２）は、装置が合成ビデオ信号あるいは輝度 ビデオ信号のいずれでも動作され得るように、あらゆる色差情報を除去すること に注意すべきである。更に、固定フィルターおよび動き補正低帯域幅標準方式コ ンバータの両方は多くのハードウェアコンポーネントを共通して有し、また、二 つの変換処理は同時に行われかつ比較されることに注目すべきである。上記の構 成で得られたエラー信号は主信号通路から正確に差し引かれる。一方、同様の機 能が、相反する符号を伴って得られるエラー信号を加算することによって実行さ れるであろうことは明らかである。 本発明の１実施例について、図２乃至図５を参照してより詳細に説明する。明 確に言えば、ここで述べる実施例は水平方向の動き処理のみを行う。 合成信号あるいは輝度入力信号は、ローパスフィルター（３０）で約０．７Ｍ Ｈｚから１．５ＭＨｚに濾波され、次に、ＡＤコンバータ（３２）において約３ ＭＨｚでサンプルされる。次に、サンプル信号は垂直方向の解像度を低下させる ための垂直サンプルユニット（３４）で処理される。本実施例の意図は、フィー ルドからフィールドにおける大きな水平方向変位によって引き起こされるジャダ ーによる最悪の影響を抑制することにあるので、その後の処理回路の複雑性を減 じるように垂直方向にサンプルすることは差支えない。本実施例で、４ラインに １本の割で選択された出力をもって８ラインにわたって平均が取られる。他のア プローチの採用ももちろん可能である。 垂直サンプルユニット（３４）からの低帯域幅信号は、第１の可変多段遅延（ ３６）へ直接導かれ、他方、フィールド遅延（３８）を介して、第２の可変多段 遅延（４０）へ導かれる。これら２つのユニットは同一であり、対応するブロッ クＡにおける比較のために、いわゆる時間シフトされた１２個の信号を生む役割 を本質的に果たしている。あるフィールドからの画素と、特定の量だけ時間シフ トされた次のフィールドの同ライン上の画素との間の量的均衡は、画素ユニット においてその遅延に相当する水平方向動ベクトルに帰することができると仮定す る。後に更に充分に述べられる理由により、各ブロックＡにおける比較前に信号 に加えられる遅延は、一定ではなく、変換の時間位相に関連する。これにより、 ＮＴＳＣ方式からＰＡＬ方式への変換を例にとると、それぞれ必要とされる５０ フィールド／秒の出力と６０フィールド／秒の入力からの映像中の等価点間の時 間差が意味される。 各ブロックＡは、減算器（４２）を有し、その出力は整流器（４４）とローパ スフィルター（４６）へ通過される。１２回の異なる比較による結果は、最小ユ ニット（４８）へ導かれる。１２回の比較は、並列式で行うことができる。しか しながら、垂直サンプリングによって、これらの比較を順次行うことができ、必 要なハードウェアを減少させ得る。最小ユニット（４８）は、２個の出力、すな わち、最小のランクと最小の値を提供する。最小のランクは、２個の選択ボック ス（５０）を制御して、ブロックＡの比較における最小のものに対応する信号を 、マイナス入力として、各減算器ユニット（５４）および（５６）へ送る。各減 算器はまた、２個の遅延ユニットからセンタータップ信号を受信する。 センタータップは、粗の固定フィルター標準方式コンバータに有効な情報を表 していることが理解できる。各フィールドごとに、動きベクトルの最良の見積も りに従って時間的にシフトされた画素から“中心”画素を差し引くことによって 、画像情報ではなく“ジャダー”情報あるいは固定フィルターと動き補正変換と の差に関連する情報を含む信号が生成される。各フィールドからのこの情報は、 次に、必要とされる時間位相に従ってブロック（５８）で混合され、必要な出力 フィールドレイトで補間されたジャダー情報を生成する。その結果は、ジャダー 情報のみを包含するフィールドレイト変換信号（今のところ、まだ旧いダウンサ ンプルされたラインレイトである）の類似である。これは、ユニット（４８）か らの最小値に関連した乗数を係数ユニット（６２）から得る乗算器（６０）で換 算される。この最小値は動きベクトルに割り当てられたコンフィデンスの度合い であることが認識されるだろう。もし、各フィールドからの、時間的にシフトさ れた２個の信号間に正確な整合があるならば、最小値はゼロであり、コンフィデ ンスは高い。このような状況下で、ジャダー信号の総量が、計測器（６０）を通 過して、更なる処理を受け、究極的には主信号からキャンセルされる。コンフィ デンスレベルがより低い場合、ジャダー信号は減少される。もしコンフィデンス が予め定められたしきい値未満に減少すると、ゼロに合わせられる。 換算されたジャダー信号は垂直補間器（６４）へ導かれ、そこで必要な垂直ア ップサンプリングを行われ出力標準方式のラインレイトへ変換される。最後に、 信号はＤＡコンバータ（６６）およびローパスフィルター（６８）を通過する。 固定多段遅延よりむしろ可変多段遅延の必要性にもどり、更なる説明のために 図３および図４を参照する。図３は、創出されるべき出力フィールドの時間的位 置が２つの入力フィールドの中途にある場合を示す。創出されるべき出力フィー ルドの画素は１データとして考えることができ、動体からの画素は第１および第 ２の入力フィールド中の大きさが等しく向きが逆のベクトルＡおよびＢによって 表され得ることが理解されるだろう。もし、この時間位相が変換処理を通して一 定であるならば（仮に、フィールドレイトを２倍にする変換処理を例にとると） 、遅延の増加量を変化させる必要はなく、もちろん、あるフィールドからの固定 ラインとその他のフィールドからの時間的にシフトされた一連のラインとの間で 比較が行われることが可能となるだろう。さらに、もちろん、ミキサー（５８） に供給される時間位相は一定のままであろう。 より一般的な変換では、６０フィールド／秒を５０フィールド／秒に変換する 例について見ると、時間位相は一定ではない。これは、２つの効果を有する。最 も顕著には、ミキサー（５８）で各フィールドに加えられる重み係数はサイクリ ックに変化する。２つめの違いもまた重要であり、これは図４に示されている。 ここには、同じ動体であるが、入力フィールド２より入力フィールド１に近接し た時間的な出力フィールド位置が示されている。この結果、入力フィールド１の 画素をそのデータの位置へ移動するために必要な変位Ａは、入力フィールド２中 で必要な変位Ｂと異なることになる。これらのベクトルを別々に処理する構成が 見られる一方で、本発明の好ましい実施例は、各可変多段遅延（３６および４０ ）において、入力フィールド１および入力フィールド２双方の遅延を増加させる ことにより様々な処理ステップを精巧に組合わせ、選択された時間シフトされた ラインが、各場合に、出力フィールド位置の１データに対応するラインとなる。 また、図４の状態で、出力フィールドは、入力フィールド１の相対的に大きい 比率と入力フィールド２の相対的に小さい比率を得ることにより創出されるとい う事実に注意が向けられる。したがって、変位Ｂにおける許容差はより大きい。 しかしながら、いかなる与えられた動きにとっても、変位Ｂは変位Ａより大きい ということが明らかである。本発明の好ましい方法は、これら２つの要因を斜酌 し、入力フィールド２の一連の遅延に対して入力フィールド１より大きな増加量 を使用している。この結果、入力フィールド２の起こり得る遅延のスパンはより 大きくなり、大きな動きを達成するのに適することになる。このような広範囲な 動き検出に対する代償として解像度が低下するが、すでに述べられたように、入 力フィールド２の重みが少ないので、変位量における解像度の低下は重要な影響 をほとんどもたない。 可変多段遅延ユニットの可能な簡単な構造が図５に示される。各遅延ユニット は、各遅延素子の後にタップポイントをもつ長いシフトレジスターとして考えて 良い。レジスターの全長は、サンプルレイトおよび処理される動きの最高速度次 第で決定される。これらのタップは、時間位相に基づいてラインを選択する一連 のマルチプレクサに接続される。故に、例えば、出力“ｏｕｔ ｎ”は、センタ ーポイントから離間したデータ１，２あるいは３サンプルを選択できる。出力“ ｏｕｔ ｎ＋１”は、離間したデータ２，４あるいは６サンプルを選択できる。 これと同様の数列が反復され、多分、センタータップの両側の全出力に及ぶ。さ らに実用的な手段では、マルチアクセス蓄積装置あるいは専用相関装置が採用さ れるだろう。 本発明の更なる実施例を図６を参照して述べる。 図６に、比較的経済的で時間的処理を限定した標準方式コンバータと高品質の 動き補正標準方式コンバータの中間の実用的標準方式コンバータ構成のブロック 図を示す。これら双方の多くの例が、すでに発表されている文献から入手可能で あるため、ここでそれらに関する更なる説明を必要としない。 あるタイプの動きが画像の品質に重大な影響をもち、それらのタイプの動きに 対して補正がなされ得るならば、充分な動き補正の複雑さと代償もなく、画像品 質の著しい向上が達成され得ることを本発明者は認識していた。注意は低周波情 報に集中させるべきで、水平方向の動き検出には、付随的に制限されると考えら れる。このアプローチは、例えば、おそらく最も視覚的に不快な動きの形態、す なわち、パン撮りを充分に処理するだろう。 図６に戻り、ビデオ信号は入力端子（１００）からハイパスフィルターおよび ローパスフィルター（１０２、１０４）の各々へ導かれる。高周波情報は、標準 方式コンバータユニット（１０６）で処理されるこのコンバータユニットは、動 き補正がないという意味で固定フィルターを有する。ローパスフィルター（１０ ４）からの出力は、動き補正標準方式コンバータユニット（１０８）へ導かれる 。このユニットは図２のそれと同様の構成をもつことができるが、“センタータ ップ”情報を処理したり差し引いたりする必要がない。つまり、動き補正は水平 方向の動きのみに限定されてよい。２個の標準方式コンバータユニットの出力は 加 算器（１１０）で合成されて、端子（１１２）に標準方式変換出力を生成する。 本発明は実施例についてのみ述べられてきたが、本発明の範囲から逸脱するこ となく広く様々な変更が可能である。したがって、必要ならば、動ベクトルを確 認するために別の手段を設けることができ、副画素補間によって精度を向上させ ることができるであろう。上で説明したものの他に、ダウンサンプリングアルゴ リズムも採用され得る。もし必要であれば、一次元よりむしろ二次元で処理する ことが可能である。 ここでは標準方式変換の例を挙げてきたが、本発明は、動きによる悪影響は受 けるが複雑な動き補正処理への置換には値しない他の多くのビデオ信号処理（ラ イン倍増、フィルム雑音除去、ビデオ効果等）に適用されるであろう。

【手続補正書】特許法第１８４条の８ 【提出日】１９９５年６月９日 【補正内容】 請求の範囲 １． 動き補正なしに高帯域幅でビデオ信号処理を行う段階と、低帯域幅で動き 補正なしに同様のビデオ信号処理を行い低帯域幅制御信号を生成する段階と、低 帯域幅で動き補正を伴う類似のビデオ信号処理を行い低帯域幅動き補正信号を生 成する段階と、前記制御信号と前記動き補正信号との差をとりエラー信号を生成 し、前記エラー信号を高帯域幅ビデオ信号処理において差し引く段階とを有する ビデオ信号処理における動きの悪影響を減少する方法。 ２． 低帯域幅処理は垂直サンプルビデオ信号について行われ、動き補正は水平 方向の動きのみのために行われることを特徴とする請求項１に記載の方法。 ３． ビデオ信号処理は標準方式変換処理であることを特徴とする請求項１およ び請求項２のいずれかに記載の方法。 ４． 並行する高低帯域幅信号通路を有し、前記高帯域幅信号通路は高帯域幅で ビデオ信号処理を行う処理ユニットを含み、前記低帯域幅通路は２つの低帯域幅 ビデオ処理間の差を供給する差動ビデオプロセッサを含み、各々は前記高帯域幅 ビデオ信号処理と機能的に同等であり、前記２つの低帯域幅ビデオ処理の１つの みが動き補正をされ、前記高低帯域幅信号通路を結合する手段を有するビデオ信 号処理装置。 ５． 前記低帯域幅処理は垂直サンプルビデオ信号について行われ、動き補正は 水平方向の動きのみのために行われることを特徴とする請求項４に記載の装置。 ６． ビデオ信号処理は標準方式変換処理であることを特徴とする請求項４およ び請求項５のいずれかに記載の装置。 ７． ビデオ信号に付随し、ビデオ信号処理に伴う動きと関連したエラーを表す 差動信号であって、ビデオ処理の動き補正を伴ってビデオ信号について行われる 帯域幅制限されたビデオ処理と、動き補正なしにビデオ信号について行われる帯 域幅制限されたビデオ処理との間の特定のビデオ処理のための差を有することを 特徴とする動き差動信号。 ８． ビデオ信号を、高周波信号成分と低周波信号成分とに分割する段階と、前 記高周波信号成分にビデオ処理を行う段階と、同様のビデオ処理を動き補正を伴 って前記低周波信号成分に行う段階と、処理された信号成分を加算する段階とを 有するビデオ信号処理方法。 ９． 動き補正は水平方向の動きについてのみ行われることを特徴とする請求項 ８に記載の方法。 １０． ビデオ処理は標準方式変換であることを特徴とする請求項８および請求 項９のいずれかに記載の方法。

Claims (1)

1. 【特許請求の範囲】 １． 動き補正なしに高帯域幅でビデオ信号処理を行う段階と、低帯域幅で動き 補正なしに同様のビデオ信号処理を行い低帯域幅制御信号を生成する段階と、低 帯域幅で動き補正を伴う類似のビデオ信号処理を行い低帯域幅動き補正信号を生 成する段階と、前記制御信号と前記動き補正信号とを比較してエラー信号を生成 し、前記エラー信号を高帯域幅ビデオ信号処理において差し引く段階とを有する ビデオ信号処理における動きの悪影響を減少する方法。 ２． 低帯域幅処理は垂直サンプルビデオ信号について行われ、動き補正は水平 方向の動きのみのために行われることを特徴とする請求項１に記載の方法。 ３． ビデオ信号処理は標準方式変換処理であることを特徴とする請求項１およ び請求項２のいずれかに記載の方法。 ４． 並行する高低帯域幅信号通路を有し、前記高帯域幅信号通路は高帯域幅で ビデオ信号処理を行う処理ユニットを含み、前記低帯域幅通路は２つの低帯域幅 ビデオ処理間の差を供給する差動ビデオプロセッサを含み、各々は前記高帯域幅 ビデオ信号処理と機能的に同等であり、前記２つの低帯域幅ビデオ処理の１つの みが動き補正をされ、前記高低帯域幅信号通路を結合する手段を有するビデオ信 号処理装置。 ５． 前記低帯域幅処理は垂直サンプルビデオ信号について行われ、動き補正は 水平方向の動きのみのために行われることを特徴とする請求項４に記載の装置。 ６． ビデオ信号処理は標準方式変換処理であることを特徴とする請求項４およ び請求項５のいずれかに記載の装置。 ７． ビデオ信号に付随し、ビデオ信号処理に伴う動きと関連したエラーを表す 差動信号であって、ビデオ処理の動き補正を伴ってビデオ信号について行われる 帯域幅制限されたビデオ処理と、動き補正なしにビデオ信号について行われる帯 域幅制限されたビデオ処理との間の特定のビデオ処理のための差を有することを 特徴とする動き差動信号。 ８． ビデオ信号を、高周波信号成分と低周波信号成分とに分割する段階と、前 記高周波信号成分にビデオ処理を行う段階と、同様のビデオ処理を動き補正を伴 って前記低周波信号成分に行う段階と、処理された信号成分を合成する段階とを 有するビデオ信号処理方法。 ９． 動き補正は水平方向の動きについてのみ行われることを特徴とする請求項 ８に記載の方法。 １０． ビデオ処理は標準方式変換であることを特徴とする請求項８および請求 項９のいずれかに記載の方法。