JP4731100B2

JP4731100B2 - 鮮鋭度向上方法及び鮮鋭度向上装置

Info

Publication number: JP4731100B2
Application number: JP2003044170A
Authority: JP
Inventors: サルトル、ペイエンジョルジオ; ムースラ、フランク; ワグナー、ペーター
Original assignee: ソニーインターナショナル（ヨーロッパ）ゲゼルシャフトミットベシュレンクテルハフツング
Priority date: 2002-02-22
Filing date: 2003-02-21
Publication date: 2011-07-20
Anticipated expiration: 2023-02-21
Also published as: EP1339224A1; US20030219169A1; CN1449184A; US7336848B2; KR20030069897A; EP1339224B1; JP2003274218A; CN1260949C

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオ信号に含まれているピクチャの鮮鋭度（sharpness）を向上させる鮮鋭度向上方法及び鮮鋭度向上装置に関する。
【０００２】
【従来の技術】
近年、テレビジョン受像機等の表示装置に画像処理アルゴリズムを組み込む技術が一般的になっている。また、演算リソースの著しい増加に伴い、非常に複雑な画像処理アルゴリズムを実行することも可能になってきている。このような画像処理アルゴリズムにより、画質の鮮鋭度が向上している。
【０００３】
【発明が解決しようとする課題】
画像処理に関する重要な尺度は、鮮鋭度（sharpness）／明瞭度（clearness）の向上である。特にビデオ信号（テレビジョン信号）の質を向上させるために、この尺度に関する様々な研究がなされている。鮮鋭度／明瞭度を向上させる手法は、動きを含むビデオ信号と動きを含まないビデオ信号とで異なるため、これらの信号内の動きの変化に応じて振る舞いを適応化するアルゴリズムが開発されている。例えば、欧州特許出願ＥＰ０１６４２０３Ａ２号には、ビデオ信号内の動きを考慮して垂直方向の細部を強調する手法が開示されている。ここでは、映像のシーンにおいて動きがない場合、垂直方向の細部が輝度を表す信号に加算及び減算され、第１及び第２の強調輝度信号（enhanced luminance signal）が生成される。
【０００４】
本発明の目的は、画像の鮮鋭度をより向上させるとともに、高い柔軟性を有する鮮鋭度向上方法及び鮮鋭度向上装置を提供することである。
【０００５】
【課題を解決するための手段】
上述の課題を解決するために、本発明に係る鮮鋭度向上方法は、ビデオ信号に含まれるピクチャの鮮鋭度を向上させる鮮鋭度向上方法において、（ａ）ピクチャをステップ／エッジ強調アルゴリズムに基づいて処理してステップ／エッジ強調ピクチャを生成するステップと、（ｂ）ピクチャをテクスチャ強調アルゴリズムに基づいて処理してテクスチャ強調ピクチャを生成するステップと、（ｃ）ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合して鮮鋭度が強調されたピクチャを含むビデオ信号を生成するステップとを有する。ステップ（ａ）及びステップ（ｂ）は、ピクチャに関連する動き情報に基づいて実行される。
【０００６】
換言すれば、処理すべきピクチャの「ストリーム」（ビデオ信号内に含まれる）は、２つの同一のピクチャストリームとして複製され、一方の複製ピクチャストリームは、ステップ／エッジ強調アルゴリズムに基づいて処理され、他方の複製ピクチャストリームは、テクスチャ強調アルゴリズムに基づいて処理される。これらの処理は、好ましくは同時に実行される。ステップ／エッジ強調アルゴリズムは、好ましくは非線形演算を含み、非線形演算は、特に、ピクチャの特定の部分／プロパティの強調に適している。ステップ／エッジ強調アルゴリズムは、例えば、家の屋根からその上空の青空への遷移を向上させる場合等に最適である。このような遷移部分の画質は、「通常の」鮮鋭度強調アルゴリズムを用いた場合は、十分に向上しない。ステップ／エッジ強調アルゴリズムによる処理が適しているこの他のピクチャの部分としては、例えば窓の境界、顔の中の眼、通常のピクチャに重ねられた人工的なグラフィクス（例えば文字）等がある。一般的に、このアルゴリズムは、標準的な高周波増幅の場合にエッジに生じる「オーバーシュート（overshoot）」と呼ばれる現象を避けるために使用される。このアルゴリズムの基本的な原理は、オーバーシュートを予測し、例えばリミッタ等の非線形回路を用いて、このオーバーシュートを適切に取り除くものである。
【０００７】
一方、テクスチャ強調アルゴリズムは、ピクチャ全体の鮮鋭度を強調するのに適したハイパスフィルタリング演算及び／又は２次導関数演算を実行する。この処理は、例えば、マトリックスカーネルを用いた１次元又は２次元フィルタリング演算、行及び列に対する分離可能な１次元又は２次元フィルタリング演算、又は対角方向の分離可能な１次元又は２次元フィルタリング演算を実行するフィルタにより実現される。テクスチャ強調アルゴリズムに適して処理されるピクチャ構造又はピクチャ部分の具体例としては、ガラス、水、木、髪等がある。ステップ／エッジ強調アルゴリズムとテクスチャ強調アルゴリズムの主な違いは、テクスチャ強調アルゴリズムによって処理すべきピクチャ領域は、規則的な構造（regular structure）を有しておらず、したがって明らかなオーバーシュートが現れないため、テクスチャ強調アルゴリズムではオーバーシュートを除去しないという点である。好ましい具体例においては、ステップ／エッジ強調アルゴリズムとテクスチャ強調アルゴリズムは、ステップ／エッジ強調アルゴリズムにオーバーシュートを避けるための非線形処理が付加されている点を除いて、同一のものである。
【０００８】
処理された２つのピクチャストリームは、一方のピクチャストリーム内の各ピクチャと、他方のピクチャストリーム内の対応するピクチャとを混合することにより、混合される。混合されたピクチャストリームは、鮮鋭度が向上されたピクチャを含むビデオ信号となる。
【０００９】
上述のような２つの異なるアルゴリズムを組み合わせることにより、良好な鮮鋭度を得ることができる。本発明では、更に、ピクチャ内の動きを考慮しているので、動きを含むピクチャと動きを含まないピクチャの両方について、良好な鮮鋭度を得ることができる。２つの異なるアルゴリズムの組合せ及び動きの検出により、効率的で柔軟なピクチャの鮮鋭度向上方法が実現される。
【００１０】
好ましい具体例においては、各ピクチャストリームは、対応する強調アルゴリズムを実行する前に複製される。この結果、各強調アルゴリズムは、２つのピクチャストリームを処理する。
【００１１】
本発明に基づくステップ／エッジ強調アルゴリズムは、好ましくは以下のような２つの異なる処理を行う。第１の処理（第１のピクチャストリーム）では、現在処理中のピクチャの情報のみを用いてピクチャを処理して第１のステップ／エッジ強調ピクチャを生成する。第２の処理（第２のピクチャストリーム）では、現在処理中のピクチャの情報及びこのピクチャに先行するピクチャ又は後続するピクチャの情報を用いてこのピクチャを処理して第２のステップ／エッジ強調ピクチャを生成する。次に、動き情報に基づいて、第１のステップ／エッジ強調ピクチャと対応する第２のステップ／エッジ強調ピクチャとを混合する。これにより、ステップ（ａ）における「最終的な」ステップ／エッジ強調ピクチャが生成される。
【００１２】
更に、本発明に基づくテクスチャ強調アルゴリズムは、好ましくは以下のような２つの異なる処理を行う。第１の処理（第３のピクチャストリーム）では、現在処理中のピクチャの情報のみを用いてピクチャを処理して第１のテクスチャ強調ピクチャを生成する。第２の処理（第４のピクチャストリーム）では、現在処理中のピクチャの情報及びこのピクチャに先行するピクチャ又は後続するピクチャの情報を用いてこのピクチャを処理して第２のテクスチャ強調ピクチャを生成する。次に、動き情報に基づいて、第１のテクスチャ強調ピクチャと対応する第２のテクスチャ強調ピクチャとを混合する。これにより、ステップ（ｂ）における「最終的な」テクスチャ強調ピクチャが生成される。
【００１３】
ここで、動きが多い場合、第１の処理（フィールド強調とも呼ばれる）が強められ、動きが少ない場合、第２の処理（フレーム強調とも呼ばれる）が強められる。第１の処理及び第２の処理の強さは、第１及び第２のピクチャストリームを混合する際の混合比によって決定される。この混合比は、動的に調整可能であることが望ましく、更に好ましくは、動き検出処理によりピクチャから直接検出される動き情報又はビデオ信号の一部である所定の動き信号として供給される動き情報に基づいて調整される。
【００１４】
ステップ（ｃ）は、好ましくは、ピクチャから直接算出された及び／又はビデオ信号に含まれている固有のステップ／エッジ情報に基づいて実行される。換言すれば、ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャの混合比は、このステップ／エッジ情報に基づいて動的に調整することができる。
【００１５】
ピクチャの鮮鋭度を更に向上させるために、ピクチャに関連する特徴情報に基づいて、ステップ（ｃ）において生成された鮮鋭度が強調された各ピクチャと対応する処理されていないオリジナルピクチャとを更に混合してもよい。特徴情報は、特徴検出処理によりピクチャから直接算出してもよく、及び／又はビデオ信号に含まれている固有の特徴情報であってもよい。混合比を適切に設定することにより、鮮鋭度強調の必要がない場合に強調アルゴリズムをオフに切り換え、演算パワーの消費を抑制できるとともに、場合に応じて鮮鋭度の質を向上させることができる。
【００１６】
演算リソースに応じて、動き情報、ステップ／エッジ情報、特徴情報のマップを作成してもよい。これらのマップは、強調アルゴリズム及び／又はフィルタ処理がそれぞれのタスクを実行するために利用することができる。これらのマップは、好ましくは、領域（画素レベルまで細分化してもよい）と対応する値との間の関係を含むルックアップテーブルとして使用される。これにより、現在の演算リソースが少ない場合、より細かい領域を処理できる（すなわち、この情報を局所的に用いて、ピクチャの部分のみを処理することができる）。特徴情報としては、例えばピクチャの雑音に関する情報等がある。特徴情報は、主に雑音に関するものであるが、この他に、処理を施さない方がよい、例えばメニュー又は人工的に生成されたグラフィクス等を含む領域に対する処理を行わないために使用することもできる。
【００１７】
好ましい具体例においては、テクスチャ強調アルゴリズム及びステップ／エッジ強調アルゴリズムによって実行すべき強調の度合いを外部から制御する。例えば、ユーザがピクチャの鮮鋭度強調の度合いを強める又は弱めることを望む場合、このユーザは、外部制御手段を用いて、各強調機構に制御信号を供給することができる。
【００１８】
また、上述の課題を解決するために、本発明に係る鮮鋭度向上装置は、ビデオ信号に含まれるピクチャの鮮鋭度を向上させる鮮鋭度向上装置において、ピクチャを入力する入力手段と、入力手段に接続され、入力されたピクチャのステップ／エッジを強調してステップ／エッジ強調ピクチャを生成するステップ／エッジ強調手段と、入力手段に接続され、入力されたピクチャのテクスチャを強調してテクスチャ強調ピクチャを生成するテクスチャ強調手段と、ステップ／エッジ強調手段及びテクスチャ強調手段に接続され、ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合して、鮮鋭度が強調されたピクチャを含むビデオ信号を生成する第１の混合手段とを備える。ステップ／エッジ強調手段とテクスチャ強調手段は、ピクチャに関連する動き情報に基づいて動作する。
【００１９】
好ましい具体例において、ステップ／エッジ強調手段は、各ピクチャを２つの異なる処理で強調する。すなわち、ステップ／エッジ強調手段は、第１の処理において、現在処理中のピクチャの情報のみを用いてピクチャを処理して第１のステップ／エッジ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及び該ピクチャに先行するピクチャ又は後続するピクチャの情報を用いてピクチャを処理して第２のステップ／エッジ強調ピクチャを生成する。この具体例では、鮮鋭度向上装置は、ステップ／エッジ強調手段に接続され、動き情報に基づいて、第１のステップ／エッジ強調ピクチャと対応する第２のステップ／エッジ強調ピクチャとを混合してステップ／エッジ強調ピクチャを生成する第２の混合手段を備える。この混合処理により、ステップ（ａ）におけるステップ／エッジが強調されたピクチャが生成される。
【００２０】
更に、テクスチャ強調手段は、好ましくは、各ピクチャを２つの異なる処理で強調する。すなわち、テクスチャ強調手段は、第１の処理において、現在処理中のピクチャの情報のみを用いてピクチャを処理して第１のテクスチャ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及びピクチャに先行するピクチャ又は後続するピクチャの情報を用いてピクチャを処理して第２のテクスチャ強調ピクチャを生成する。この具体例では、鮮鋭度向上装置は、テクスチャ強調手段に接続され、動き情報に基づいて、第１のテクスチャ強調ピクチャと対応する第２のテクスチャ強調ピクチャとを混合してテクスチャ強調ピクチャを生成する第３の混合手段を備える。この混合処理により、ステップ（ｂ）におけるテクスチャが強調されたピクチャが生成される。
【００２１】
また、鮮鋭度向上装置は、好ましくは、入力手段と、第２及び第３の混合手段とに接続され、入力されたピクチャから動き情報を直接算出し、及び／又はビデオ信号に含まれる固有の動き情報として動き情報を抽出する動き検出手段を備える。第２及び第３の混合手段は、動き検出手段の出力に基づいて制御される。
【００２２】
更に、鮮鋭度向上装置は、好ましくは、入力手段と、第１の混合手段とに接続され、入力されたピクチャからステップ／エッジ情報を直接算出し、及び／又はビデオ信号に含まれる固有のステップ／エッジ情報としてステップ／エッジ情報を抽出するステップ／エッジ検出手段を備える。第１の混合手段は、ステップ／エッジ検出手段の出力に基づいて制御される。
【００２３】
更に、鮮鋭度向上装置は、好ましくは、入力手段と、第４の混合手段とに接続され、入力されたピクチャから特徴情報を直接算出し及び／又はビデオ信号に含まれている固有の特徴情報を抽出する特徴検出手段を備える。第４の混合手段は、特徴検出手段により生成された特徴情報に基づいて、鮮鋭度が強調された各ピクチャと、対応する処理されていないオリジナルピクチャとを混合する。
【００２４】
更に、鮮鋭度向上装置は、テクスチャ強調手段及びステップ／エッジ強調手段による強調の度合いを外部から制御する外部制御手段を備えていてもよい。
【００２５】
更に、鮮鋭度向上装置は、上述のステップ／エッジ検出手段、動き検出手段、特徴検出手段により生成されたステップ／エッジ情報、動き情報、特徴情報を保存する記憶手段を備えていてもよい。
【００２６】
また、上述の課題を解決するために、本発明に係るコンピュータプログラム製品は、コンピュータ又はデジタルシグナルプロセッサによって実行されて、上述した鮮鋭度向上方法を実現するコンピュータプログラムを備える。
【００２７】
【発明の実施の形態】
以下、本発明に係る鮮鋭度向上方法及び鮮鋭度向上装置について、図面を参照して詳細に説明する。
【００２８】
図１は、本発明に係る鮮鋭度向上装置の具体的な構成を示すブロック図である。図１に示すように、鮮鋭度向上装置１は、ステップ／エッジ強調回路２と、テクスチャ強調回路３と、動き検出回路４と、ステップ／エッジ検出回路５と、特徴検出回路６と、入力バッファ７と、外部制御回路８と、第１の混合器９と、第２の混合器１０と、第３の混合器１１と、第４の混合器１２と、出力バッファ１３とを備える。ステップ／エッジ強調回路２は、第１のステップ／エッジ強調ユニット２_１と、第２のステップ／エッジ強調ユニット２_２とを備える。テクスチャ強調回路３は、第１のテクスチャ強調ユニット３_１と、第２のテクスチャ強調ユニット３_２とを備える。
【００２９】
以下、この鮮鋭度向上装置１による、ピクチャの鮮鋭度を向上させる処理について説明する。
【００３０】
まず、複数のピクチャ（picture）を含むビデオ信号が入力バッファ７に供給される。入力バッファ７は、このビデオ信号を所定時間バッファリングする。そして、入力バッファ７は、これらのピクチャを第１及び第２のステップ／エッジ強調ユニット２_１、２_２と、第１及び第２のテクスチャ強調ユニット３_１、３_２と、動き検出回路４と、ステップ／エッジ検出回路５と、特徴検出回路６と、第４の混合器１２とに供給する。動き検出回路４は、これらのピクチャに基づき、動きが存在するか否かを検出する。ここで、動き検出回路４が動きを検出した場合、動き検出回路４は、検出された動きの量を表す出力信号を第２の混合器１０及び第３の混合器１１に供給する。ここで、第２及び第３の混合器１０、１１に対して、それぞれ動きを表す単一の数値及び完全な動きマップのいずれを供給してもよい。ピクチャは、第１及び第２のステップ／エッジ強調ユニット２_１、２_２及び第１及び第２のテクスチャ強調ユニット３_１、３_２によって処理される。
【００３１】
第１のステップ／エッジ強調ユニット２_１及び第１のテクスチャ強調ユニット３_１は、少なくとも２つの連続するピクチャ（フレームを構成する２つの連続するビデオフィールド）を用いてそれぞれの強調タスクを実行する。したがって、これらのユニットは、動きが存在しない場合、鮮鋭度を良好に向上させる。第２のステップ／エッジ強調ユニット２_２及び第２のテクスチャ強調ユニット３_２は、単一のビデオフィールドのみを用いて、それぞれの強調タスクを実行する。これらのユニットは、動きが存在する場合に、鮮鋭度を良好に向上させる。第１のステップ／エッジ強調ユニット２_１は、第１のステップ／エッジが強調されたピクチャ（以下、ステップ／エッジ強調ピクチャという。）を第２の混合器１０に供給し、第２のステップ／エッジ強調ユニット２_２は、第２のステップ／エッジ強調ピクチャを第２の混合器１０に供給する。第２の混合器１０は、これらのピクチャストリームを混合して、ステップ／エッジ強調ピクチャの単一のピクチャストリームを生成し、第１の混合器９に供給する。
【００３２】
一方、第１のテクスチャ強調ユニット３_１は、第１のテクスチャが強調されたピクチャ（以下、テクスチャ強調ピクチャという。）を第３の混合器１１に供給し、第２のテクスチャ強調ユニット３_２は、第２のテクスチャ強調ピクチャを第３の混合器１１に供給する。第３の混合器１１は、これらのピクチャストリームを混合して、テクスチャ強調ピクチャの単一のピクチャストリームを生成し、第１の混合器９に供給する。第１の混合器９は、ステップ／エッジ強調ピクチャの単一のピクチャストリームと、テクスチャ強調ピクチャの単一のピクチャストリームとを混合し、鮮鋭度が向上されたピクチャを含むビデオ信号を生成する。第１の混合器９による混合処理は、ステップ／エッジ検出回路５からの出力信号によって制御され、この出力信号は、数値であってもよく、ステップ／エッジデータの完全なマップであってもよい。
【００３３】
第４の混合器１２は、「オリジナルの」ピクチャストリームと、第１の混合器９から出力された鮮鋭度が向上されたピクチャの単一のピクチャストリームとを混合し、最終的な鮮鋭度が向上されたビデオ信号を生成する。この最終的な鮮鋭度が向上された信号は、出力バッファ１３に供給される。この信号に対し、更なる処理を施してもよい。
【００３４】
第４の混合器１２は、特徴検出回路６の出力信号に基づいて動作する。特徴検出回路６の出力信号は、例えば各ピクチャ内の雑音を表す信号であってもよい。特徴検出回路６が、ピクチャには雑音が存在しないことを検出した場合、ピクチャの鮮鋭度を向上させる処理を行う必要はない。この場合、特徴検出回路６からの出力信号は、第４の混合器１２が第１の混合器９からの出力信号を混合しないことを表し、この結果、第４の混合器１２からの出力信号は、入力バッファ７の出力信号に等しくなる。この機能（すなわち、鮮鋭度向上の必要がない場合の自動パワーオフ機能）により、鮮鋭度向上装置の柔軟性が高まる。
【００３５】
上述した鮮鋭度向上装置１の利点は、最小限の処理により最適な鮮鋭度向上結果が得られるという点である。更に、高い柔軟性と拡張性（scalability）が実現される。更に、この鮮鋭度向上装置１は、ソフトウェアによっても、ハードウェアによっても、或いはこれらの組合せによっても容易に実現することができる。
【００３６】
以下、図２〜図４を用いて、テクスチャ強調回路３の処理の３つの具体例を説明する。全ての図において、実線２０_１〜２０_ｎ、２１_１〜２１_ｎは、画素境界を表し、点線矢印２２_１〜２２_ｎ、２３_１〜２３_ｎ、２４_１〜２４_ｎ、２５_１〜２５_ｎは、各フィルタ機構の動作方向（working directions）を表している。
【００３７】
図２に示すように、フィルタ機構は、画素フィールド３０の水平軸に平行な方向（参照番号２２_１、２２_２によって示される動作方向）又は垂直軸に平行な方向（参照番号２３_１、２３_２によって示される動作方向）に動作する。
【００３８】
一方、図３に示す具体例では、動作方向は、画素フィールド３０の垂直軸に対し、４５°（参照番号２４_１〜２４_５によって示される動作方向）と−４５°（参照番号２５_１〜２５_５によって示される動作方向）シフトされている。
【００３９】
図４に示す具体例では、フィルタマトリックス４０の動作方向は、画素フィールド３０の水平軸又は垂直軸に平行な方向（参照番号２２_２又は２３_３によって示される動作方向）である。これは、マトリックスカーネル（matrix kernel）を用いて、マトリックスカーネルをマトリックスピクチャ（matrix picture）に畳み込む汎用２次元フィルタ（generic 2D filter）を実現する標準的な手法である。なお、この手法は、演算負荷が大きく、これの完全な解を導き出すことが困難な場合もある。
【００４０】
上述の説明から明らかなように、本発明に基づく鮮鋭度向上方法では、以下のような処理を行う。入力テレビジョン信号から２つ以上のピクチャを読み出し、動きがある領域と動きがない領域とを検出し、対応するマップを作成する（これに代えて、既に入手可能な動きマップを利用してもよい）。次に、処理対象のピクチャの特定の特性、例えばエッジ、雑音、周波数の高低等を検出して、１つ以上の対応するマップを作成する。続いて、２次元ハイパスフィルタリング又は２次導関数の算出、又はこれに類似する処理を実行する。ここで、少なくとも次のような手法が知られている。すなわち、図４に示すマトリックスカーネルを用いた完全な二次元フィルタリング、図２に示す行及び列に対する個別のフィルタリング、及び図３に示す対角線方向の個別のフィルタリングが知られている。図３に示す種類のフィルタは、１つの二次導関数（one second derivative）の場合に適しており、強調特性が良好であり（行及び列に対するフィルタリングより良好である）、雑音プロファイルが低く（行及び列に対するフィルタリングより良好である）、演算負荷が適切である。このフィルタリングは、フィールド及びフレーム毎に、したがって算出された動きマップに基づいて実行され、算出された２つの値は、重み付けされてマージされる。これにより、動きがない領域（フレーム処理）の場合に最良の画質を実現でき、又はアーテファクトの発生を回避でき、及び動きがある領域（フィールド処理）についても良好な画質を維持できる。この処理は、最も適切な解及び用いられるマージの種類に応じて、２回のステップで実行してもよく、単一のステップに結合して実行してもよい。同じポリシにより、処理対象のピクチャに２次元ステップ向上アルゴリズム（2D step improvement algorithm）を適用してもよい。これは、例えばエッジ等の特定のピクチャ部分を強調するために用いられる、通常非線形の特別な処理である。そして、測定されたプロパティを用いて、第１のフィルタリング結果と第２のフィルタリング結果を重み付けしてマージする。ここで、雑音等の他の測定されたプロパティを考慮して、オリジナルピクチャに対するフィルタリングの強さを重み付けしてもよい。このように処理されたピクチャは、出力バッファ１３に供給される。全体の処理を精密に調整するために、外部制御を行ってもよい。
【００４１】
【発明の効果】
以上詳細に説明したように、本発明に係る鮮鋭度向上方法は、ピクチャをステップ／エッジ強調アルゴリズムに基づいて処理して、ステップ／エッジ強調ピクチャを生成し、ピクチャをテクスチャ強調アルゴリズムに基づいて処理して、テクスチャ強調ピクチャを生成する。そして、ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合し、鮮鋭度が強調されたピクチャを含むビデオ信号を生成する。ここで、ステップ／エッジ強調ピクチャを生成する処理及びテクスチャ強調ピクチャを生成する処理は、ピクチャに関連する動き情報に基づいて実行される。これにより、効率的且つ柔軟にピクチャの鮮鋭度を向上させることができる。
【００４２】
また、本発明に係る先鋭度向上装置は、ピクチャを入力する入力手段と、入力されたピクチャのステップ／エッジを強調して、ステップ／エッジ強調ピクチャを生成するステップ／エッジ強調手段と、入力されたピクチャのテクスチャを強調して、テクスチャ強調ピクチャを生成するテクスチャ強調手段と、ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合して、鮮鋭度が強調されたピクチャを含むビデオ信号を生成する第１の混合手段とを備える。ステップ／エッジ強調手段とテクスチャ強調手段は、ピクチャに関連する動き情報に基づいて動作する。これにより、効率的且つ柔軟にピクチャの鮮鋭度を向上させることができる。
【図面の簡単な説明】
【図１】本発明に基づく鮮鋭度向上装置の具体的構成例を示すブロック図である。
【図２】テクスチャ強調アルゴリズムの第１の処理例を説明する図である。
【図３】テクスチャ強調アルゴリズムの第２の処理例を説明する図である。
【図４】テクスチャ強調アルゴリズムの第３の処理例を説明する図である。
【符号の説明】
１先鋭度向上装置、２ステップ／エッジ強調回路、３テクスチャ強調回路と、４動き検出回路、５ステップ／エッジ検出回路、６特徴検出回路、７入力バッファ、８外部制御回路、９第１の混合器、１０第２の混合器、１１第３の混合器、１２第４の混合器、１３出力バッファ

Claims

ビデオ信号に含まれるピクチャの鮮鋭度を向上させる鮮鋭度向上方法において、
（ａ）上記ピクチャをステップ／エッジ強調アルゴリズムに基づいて処理してステップ／エッジ強調ピクチャを生成するステップと、
（ｂ）上記ピクチャをテクスチャ強調アルゴリズムに基づいて処理してテクスチャ強調ピクチャを生成するステップと、
（ｃ）上記ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合して鮮鋭度が強調されたピクチャを含むビデオ信号を生成するステップと、
上記ピクチャに関連する特徴情報であって、特徴検出処理により上記ピクチャから直接算出された及び／又は上記ビデオ信号に含まれている固有の特徴情報に基づいて、上記ステップ（ｃ）により生成された鮮鋭度が強調された各ピクチャと、対応する処理されていないオリジナルピクチャとを混合するステップとを有し、
上記ステップ（ａ）及びステップ（ｂ）は、上記ピクチャに関連する動き情報に基づいて実行され、
上記ステップ（ｃ）は、上記ピクチャから直接算出された及び／又は上記ビデオ信号に含まれている固有のステップ／エッジ情報に基づいて実行され、
前記ステップ／エッジ強調ピクチャと前記テクスチャ強調ピクチャの混合比は、前記ステップ／エッジ情報に基づいて動的に調整されることを特徴とする鮮鋭度向上方法。
上記ステップ／エッジ強調アルゴリズムは、第１の処理において、現在処理中のピクチャの情報のみを用いて該ピクチャを処理して第１のステップ／エッジ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及び該ピクチャに先行するピクチャ又は後続するピクチャの情報を用いて該ピクチャを処理して第２のステップ／エッジ強調ピクチャを生成し、
上記動き情報に基づいて、上記第１のステップ／エッジ強調ピクチャと対応する第２のステップ／エッジ強調ピクチャとを混合して上記ステップ／エッジ強調ピクチャを生成することを特徴とする請求項１記載の鮮鋭度向上方法。
上記テクスチャ強調アルゴリズムは、各ピクチャを２つの異なる処理で強調し、第１の処理において、現在処理中のピクチャの情報のみを用いて該ピクチャを処理して第１のテクスチャ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及び該ピクチャに先行するピクチャ又は後続するピクチャの情報を用いて該ピクチャを処理して第２のテクスチャ強調ピクチャを生成し、
上記動き情報に基づいて、上記第１のテクスチャ強調ピクチャと対応する第２のテクスチャ強調ピクチャとを混合して上記テクスチャ強調ピクチャを生成することを特徴とする請求項１又は２記載の鮮鋭度向上方法。
上記動き情報は、動き検出処理により上記ピクチャから直接算出され及び／又は上記ビデオ信号に含まれている固有の動き情報として供給されることを特徴とする請求項１乃至３いずれか１項記載の鮮鋭度向上方法。
上記特徴情報は、ピクチャ雑音情報を含むことを特徴とする請求項１乃至４いずれか１項記載の鮮鋭度向上方法。
上記テクスチャ強調アルゴリズム及びステップ／エッジ強調アルゴリズムによる強調の度合いを外部から制御するステップを有する請求項１乃至５いずれか１項記載の鮮鋭度向上方法。
上記強調アルゴリズムによって使用される動き情報、ステップ／エッジ情報、特徴情報のマップを作成及び保存するステップを有する請求項１乃至６いずれか１項記載の鮮鋭度向上方法。
上記ステップ／エッジ強調アルゴリズムは、特定のピクチャ部分を強調する非線形演算を実行することを特徴とする請求項１乃至７いずれか１項記載の鮮鋭度向上方法。
上記テクスチャ強調アルゴリズムは、ハイパスフィルタリング演算及び／又は２次導関数演算を実行し、ピクチャ全体を強調することを特徴とする請求項１乃至８いずれか１項記載の鮮鋭度向上方法。
上記ハイパスフィルタリング演算は、マトリックスカーネルを用いた完全な２次元フィルタリング演算、行及び列に対する分離可能なフィルタリング演算、又は対角方向の分離可能なフィルタリング演算を含むことを特徴とする請求項９記載の鮮鋭度向上方法。
ビデオ信号に含まれるピクチャの鮮鋭度を向上させる鮮鋭度向上装置において、
上記ピクチャを入力する入力手段と、
上記入力手段に接続され、上記入力されたピクチャのステップ／エッジを強調してステップ／エッジ強調ピクチャを生成するステップ／エッジ強調手段と、
上記入力手段に接続され、上記入力されたピクチャのテクスチャを強調してテクスチャ強調ピクチャを生成するテクスチャ強調手段と、
上記ステップ／エッジ強調手段及びテクスチャ強調手段に接続され、上記ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとを混合して、鮮鋭度が強調されたピクチャを含むビデオ信号を生成する第１の混合手段とを備え、
上記ステップ／エッジ強調手段とテクスチャ強調手段は、上記ピクチャに関連する動き情報に基づいて動作し、
上記ステップ／エッジ強調ピクチャとテクスチャ強調ピクチャとの混合は、上記ピクチャから直接算出された及び／又は上記ビデオ信号に含まれている固有のステップ／エッジ情報に基づいて実行されるように構成され、
前記ステップ／エッジ強調ピクチャと前記テクスチャ強調ピクチャの混合比は、前記ステップ／エッジ情報に基づいて動的に調整され、
更に、上記入力手段と、第４の混合手段とに接続され、上記入力されたピクチャから特徴情報を直接算出し及び／又は上記ビデオ信号に含まれている固有の特徴情報を抽出する特徴検出手段を備え、
上記第４の混合手段は、該特徴検出手段により生成された上記特徴情報に基づいて、上記鮮鋭度が強調された各ピクチャと、対応する処理されていないオリジナルピクチャとを混合することを特徴とする鮮鋭度向上装置。
上記ステップ／エッジ強調手段は、第１の処理において、現在処理中のピクチャの情報のみを用いて該ピクチャを処理して第１のステップ／エッジ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及び該ピクチャに先行するピクチャ又は後続するピクチャの情報を用いて該ピクチャを処理して第２のステップ／エッジ強調ピクチャを生成し、
更に、上記ステップ／エッジ強調手段に接続され、上記動き情報に基づいて、上記第１のステップ／エッジ強調ピクチャと対応する第２のステップ／エッジ強調ピクチャとを混合して上記ステップ／エッジ強調ピクチャを生成する第２の混合手段を備える請求項１１記載の鮮鋭度向上装置。
上記テクスチャ強調手段は、第１の処理において、現在処理中のピクチャの情報のみを用いて該ピクチャを処理して第１のテクスチャ強調ピクチャを生成し、第２の処理において、現在処理中のピクチャの情報及び該ピクチャに先行するピクチャ又は後続するピクチャの情報を用いて該ピクチャを処理して第２のテクスチャ強調ピクチャを生成し、
更に、上記テクスチャ強調手段に接続され、上記動き情報に基づいて、上記第１のテクスチャ強調ピクチャと対応する第２のテクスチャ強調ピクチャとを混合して上記テクスチャ強調ピクチャを生成する第３の混合手段を備えることを特徴とする請求項１１又は１２記載の鮮鋭度向上装置。
更に、上記入力手段と、第２及び第３の混合手段とに接続され、上記入力されたピクチャから動き情報を直接算出し、及び／又は上記ビデオ信号に含まれる固有の動き情報として上記動き情報を抽出する動き検出手段を備え、
上記第２及び第３の混合手段は、上記動き検出手段の出力に基づいて制御されることを特徴とする請求項１１乃至１３いずれか１項記載の鮮鋭度向上装置。
更に、上記入力手段と、第１の混合手段とに接続され、上記入力されたピクチャからステップ／エッジ情報を直接算出し、及び／又は上記ビデオ信号に含まれる固有のステップ／エッジ情報として上記ステップ／エッジ情報を抽出するステップ／エッジ検出手段を備え、
上記第１の混合手段は、上記ステップ／エッジ検出手段の出力に基づいて制御されることを特徴とする請求項１１乃至１４いずれか１項記載の鮮鋭度向上装置。
上記テクスチャ強調手段及びステップ／エッジ強調手段による強調の度合いを外部から制御する外部制御手段を備える請求項１１乃至１５いずれか１項記載の鮮鋭度向上装置。
コンピュータ又はデジタルシグナルプロセッサによって実行されて、請求項１乃至１０いずれか１項記載の鮮鋭度向上方法を実現するように構成されたコンピュータプログラム。