JP5300568B2

JP5300568B2 - 映像処理装置およびその制御方法

Info

Publication number: JP5300568B2
Application number: JP2009096724A
Authority: JP
Inventors: 泉金井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2009-04-13
Filing date: 2009-04-13
Publication date: 2013-09-25
Anticipated expiration: 2029-04-13
Also published as: JP2010251880A

Description

本発明は、映像処理装置およびその制御方法に関する。

ＭＰＥＧ２形式で圧縮（符号化）された映像信号では、高域成分を含む動画シーンにおいてフリッカが発生する場合がある。例えば、木の葉などの細かいパターン、つまり高域成分を含む被写体をパンするシーンにおいて、フリッカが発生する場合がある。特に、画面内の高域成分の占める面積が大きい場合には、画面全体でフリッカが発生するため、画質が大きく劣化する。

このフリッカが発生する原因を以下で説明する。フリッカは、高域成分の量がフレーム間で大きく変動する場合に生じる。ＭＰＥＧ２形式で圧縮（符号化）された映像信号は、Ｉ，Ｐピクチャのフレームと、高域成分の量がＩ，Ｐピクチャと比較して少ないＢピクチャのフレームとを含む。このように高域成分の量が異なるフレームが混在している場合にフリッカが発生し易い。例えば、Ｉ，ＰピクチャからＢピクチャへ切り換わる場合に、高域成分の量が大きく変動し易いため、フリッカが発生し易い。更に、符号化時の圧縮率が高い場合ほど、Ｂピクチャの高域成分は大きく低下するため、フリッカはより発生し易くなる。

ノイズやフリッカを低減するための従来技術は、例えば、特許文献１，２に開示されている。具体的には、特許文献１には、ＭＰＥＧデコーダから送られる転送レートや動き検出情報に応じてノイズリダクションフィルタ（二次元空間フィルタ）の設定値を変更し、ノイズリダクションを効果的に行う技術が開示されている。特許文献２には、画像中の静止部分、リフレッシュ符号化（フレーム内符号化）により符号化されたフレーム、画像の平坦部に、時間フィルタリングを強くかけることで、ノイズやフリッカを低減する技術が開示されている。

特開平１１−０４６３６２号公報特開平９−１３０６４８号公報

しかしながら、上述した特許文献１に開示の技術では、二次元的な空間フィルタを使用しているため、時間的に高域成分の量が変動すること（フレーム間で高域成分の量が変動すること）によるフリッカを十分に低減できないという問題がある。また、上述した特許文献２に開示の技術では、画像の静止部分、リフレッシュ符号化したフレーム、画像の平坦部に時間フィルタを強くかけるものであり、時間的な高域成分の量の変動を検出しないため、フリッカを十分に低減できないという問題がある。

さらに、６０Ｈｚのインターレース方式の映像信号が入力される場合には、以下のような課題がある。同一座標の映像信号に時間フィルタリングをかけるには、２フィールド（１／３０秒）前のフィールドの映像信号と現在のフィールドの映像信号との加重平均を行う必要がある。即ち、１／３０秒の間隔を有する２つのフィールド間で時間フィルタリングが行われる。そのため、動きがある部分では二重像が目立つという問題がある。

一方、入力されたインターレース信号（インターレース方式の映像信号）をＩＰ変換などによりプログレッシブ信号（プログレッシブ方式の映像信号）に変換した後、時間フィルタリングをかけることが考えられる。その場合には、１／６０秒前のフレームの映像信号と現フレームの映像信号との加重平均を行えばよいため、動きがある部分での二重像は先述のインターレース信号に時間フィルタリングをかける場合よりも目立たない。しかし、そのような方法では、ＩＰ変換に用いるフレームメモリとは別のフレームメモリが必要となるため、ハード規模やコストの増大を招くという問題がある。

そこで、本発明は、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを簡易な構成で効果的に低減するための技術を提供することを目的とする。

上述した課題を解決するために、本発明の映像処理装置は、インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置であって、フィールド毎に、前記入力映像信号の高域成分の量を算出する算出手段と、フィールド毎に、フィールド間補間により得られる第１の値と、フィールド内補間により得られる第２の値の加重平均を行うことにより、前記補間のための補間画素を生成する生成手段と、フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、前記加重平均の重みを切り換える切換手段と、を有し、前記切換手段は、前記高域成分の変動量が大きい場合に、前記高域成分の変動量が小さい場合よりも前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換えることを特徴とする。

また、本発明の映像処理装置の制御方法は、インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置の制御方法であって、フィールド毎に、前記入力映像信号の高域成分の量を算出する算出ステップと、フィールド毎に、フィールド間補間により得られる第１の値と、フィールド内補間により得られる第２の値の加重平均を行うことにより、前記補間のための補間画素を生成する生成ステップと、フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、前記加重平均の重みを切り換える切換ステップと、を有し、前記切換ステップでは、前記高域成分の変動量が大きい場合に、前記高域成分の変動量が小さい場合よりも前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられることを特徴とする。

本発明によれば、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを簡易な構成で効果的に低減するための技術を提供することができる。

本発明の実施形態に係る映像処理装置の回路構成を示すブロック図である。高域検出部の詳細を示すブロック図である。実施例１に係るマイコン部の処理を示すフローチャートである。ＩＰ変換部の詳細を示すブロック図である。補間画素の生成方法を説明する図である。実施例２に係るマイコン部の処理を示すフローチャートである。

以下、本発明の実施形態に係る映像処理装置およびその制御方法の具体的な実施例について詳しく説明する。本実施形態に係る映像処理装置（およびその制御方法）は、インターレース方式の入力映像信号（入力された映像信号）を補間によりプログレッシブ方式の出力映像信号（出力する映像信号）に変換する。

＜実施例１＞
まず、本発明の実施例１に係る映像処理装置について説明する。図１は本実施例に係る
映像処理装置の回路構成を示すブロック図である。本実施例に係る映像処理装置はデコード部１、高域検出部２、マイコン部３、ＩＰ変換部４を有する。

デコード部１は、入力映像信号（符号化された映像信号）をデコードする。そして、デコードした際に得られる当該入力映像信号の符号化に関する情報（符号化情報Ａ）と、デコードされた入力映像信号（輝度信号（Ｙ信号）と色差信号（Ｕ，Ｖ信号））を出力する。本実施例では、入力映像信号はＭＰＥＧ２形式で符号化されているＴＳ（トランスポート・ストリーム）データであるとする。

符号化情報Ａはマイコン部３に入力される。符号化情報Ａは、例えば、量子化特性値などの（符号化の）圧縮率に関する情報（圧縮率情報）Ｑを含む。また、符号化情報Ａは１フィールドに１回マイコン部３に入力されるものとする。

また、デコード部１から出力されたＹ，Ｕ，Ｖ信号の内、Ｙ信号は高域検出部２に入力される。高域検出部２は、フィールド毎に、入力映像信号の高域成分の量を算出する（算出手段）。図２は高域検出部２の詳細を示すブロック図である。高域検出部２はフィルタ２１、絶対値算出部２２、加算部２３を有する。

フィルタ２１は、例えば、水平３タップ、垂直３タップの二次元フィルタであり、高域成分を検出するラプラシアンフィルタである。ただし、フィルタ２１は、ラプラシアンフィルタに限らず、高域成分を検出するものであればよい。フィルタ２１の出力である高域成分のデータ（高域成分データ）は絶対値算出部２２に入力される。絶対値算出部２２は、フィルタ２１の出力の絶対値（高域成分の値）を算出する。絶対値算出部２２の出力データは画素ごとの信号である。加算部２３は、絶対値算出部２２から出力された１フィールド分の高域成分データを累積加算し、高域成分情報Ｆとして出力する。高域成分情報Ｆは１フィールドに１回マイコン部３に出力される。高域成分情報Ｆは、大きいほど、そのフィールドの映像信号に多くの高域成分が含まれていることを意味する。

マイコン部３は、フィールド毎に、切り換えフラグＷを決定する。本実施例では、マイコン部３は、フィールド毎に、１つ前のフィールドからの高域成分の変動量と圧縮率情報Ｑとに基づいて、切り換えフラグＷを決定する。そして、切り換えフラグＷをＩＰ変換部４に出力する。高域成分の変動量は、注目フィールド（補間の対象となるフィールド）とその１つ前のフィールドの高域成分情報を用いて算出される。

図３は、マイコン部３の処理を示すフローチャートである。まず、マイコン部３は、ステップＳ３１において、圧縮率情報Ｑとあらかじめ設定された閾値（第２の閾値）Ｘを比較する。本実施例では、圧縮率が高いほど圧縮率情報Ｑが大きいものとする。従って、圧縮率情報Ｑが大きいほど、フリッカが発生しやすい映像信号であると推定できる。圧縮率情報Ｑが閾値Ｘ以下の場合（ステップＳ３１：ｎｏ）、即ち、フリッカが発生しにくい映像信号であると推定される場合には、マイコン部３は切り換えフラグＷを０とする。圧縮率情報Ｑが閾値Ｘより大きい場合（ステップＳ３１：ｙｅｓ）、即ち、フリッカが発生しやすい映像信号であると推定される場合には、ステップＳ３２へ進む。

ステップＳ３２では、マイコン部３が、連続する２フィールド間の高域成分情報の差分（注目フィールドとその１つ前のフィールドとの間の高域成分の変動量）ΔＦを計算する。そして、差分ΔＦとあらかじめ設定された閾値（第１の閾値）Ｘ’を比較する。差分ΔＦが大きいことは、隣り合う２フィールド間の高域成分の変動量（時間的な高域成分の変動）が大きいこと意味する。そのため、差分ΔＦが大きいほど、フリッカが発生しやすいと推定できる。差分ΔＦが閾値Ｘ’より大きい場合には（ステップＳ３２：ｙｅｓ）、切り換えフラグＷを１とし、差分ΔＦが閾値Ｘ’以下の場合には（ステップＳ３２：ｎｏ）
、切り換えフラグＷを０とする。

このように本実施例では、圧縮率と、隣り合う２フィールド間の高域成分の変動量から、注目フィールドがフリッカの発生し易いフィールドであるか否かを推定する。また、圧縮率を考慮することにより、隣り合う２フィールド間の高域成分の変動量から推定するのに比べ、より精度よく推定することができる。例えば、隣接する２フィールド間の高域成分の変動量（算出された値）は誤差を含むため、差分ΔＦが閾値Ｘ’より大きくても、フリッカが発生しないことがある。本実施例では、圧縮率を考慮することにより、そのような注目フィールドに対し適切な処理をする（切り換えフラグＷを０にする）ことができる。

上述したように、マイコン部３では、フリッカが発生しやすいと推定される場合には切り換えフラグＷを１とし、フリッカが発生しにくいと推定される場合には切り換えフラグＷを０とする。そして、切り換えフラグＷをＩＰ変換部４に出力する。切り換えフラグＷは１フィールドに１回出力される信号である。

なお、本実施例では、切り換えフラグＷのとり得る値を０または１としたが、切り換えフラグＷのとり得る値は２通りより多くてもよい。そのような場合には、圧縮率とフィールド間の高域成分の変動量に応じて、複数の値から１つを選択すればよい。

ＩＰ変換部４は、フィールド毎に、フィールド間補間により得られる第１の値と、フィールド内補間により得られる第２の値の重みを決定し、それらの加重平均を行うことにより、補間のための補間画素を生成する。図４はＩＰ変換部４の詳細を示すブロック図である。ＩＰ変換部４は、フレームメモリ４１、動き検出部４２、フィールド間補間部４３、フィールド内補間部４４、選択部４５、ブレンド部４６、スイッチ４７を有する。

デコード部１から出力された映像信号（Ｙ，Ｕ，Ｖ信号）はＩＰ変換部４に入力される。入力されたＹ，Ｕ，Ｖ信号はフレームメモリ４１に格納されるとともに、動き検出部４２に入力される。

動き検出部４２は、フレームメモリ４１から読み出した２フィールド前の映像信号と、現在のフィールドの映像信号との差分から、それらの映像間の動きの大きさを表す動き情報Ｍを作成する。本実施例では、２フィールド前の映像信号と現在のフィールドの映像信号との間の差分として、Ｙ、Ｕ、Ｖ信号のそれぞれの差分を求める。そして、Ｙ信号の差分、Ｕ信号の差分、Ｖ信号の差分のうち、最も大きい差分から動き情報Ｍを作成する。動き情報Ｍは３ｂｉｔ（０〜７）のデータである。また、本実施例では、動き情報Ｍは、２フィールド前の映像信号と現在のフィールドの映像信号の差分が大きいほど大きくなるような信号であるものとする。そのため、動き情報Ｍが大きいほど動きが大きいと判断することができる。動き情報Ｍは画素ごとに作成される信号である。検出された動き情報Ｍは選択部４５へ出力される。

選択部４５は、マイコン部３から出力される切り換えフラグＷに応じて動き情報Ｍまたは所定値０を選択し、ブレンド率αとして出力する（本実施例では、選択部４５とマイコン部３で切換手段が構成される。）。本実施例での選択部４５の動作を式１−１，１−２に示す。ブレンド率αは上述した加重平均の重みを表す（詳細は後述する）。
Ｗ＝０のとき：α＝Ｍ（式１−１）
Ｗ＝１のとき：α＝０（式１−２）

式１−１に示すように、フリッカが発生しにくいと推定されたとき（Ｗ＝０）は、動き情報Ｍがブレンド率αとして出力される。一方、式１−２に示すように、フリッカが発生
しやすいと推定されたとき（Ｗ＝１）は、０がブレンド率αとして出力される。

ブレンド率αは０〜７の３ｂｉｔの信号である。また、本実施例ではブレンド率αのとり得る値を０またはＭの２通りとしたが、ブレンド率のとり得る値は２通りより多くてもよい。そのような場合には、圧縮率とフィールド間の高域成分の変動量に応じて、複数の値から１つを選択すればよい。

フィールド間補間部４３は、フレームメモリ４１から読み出した２フィールド前の映像信号を用いて１フィールド前の映像信号の第１補間画素値（第１の値）を算出する。即ち、本実施例では、１フィールド前の映像信号を補間の対象とする。そして、フィールド間補間は、補間の対象である注目フィールドの１つ前のフィールドの画素を用いて行われるものとする。また、フィールド内補間部４４は、フレームメモリ４１から読み出した注目フィールドの映像信号を用いて、当該映像信号の第２補間画素値（第２の値）を算出する。フィールド内補間では、注目フィールド内の上下（または左右）に隣接する２つの画素から、第２の値を算出する。

図５は補間画素の生成方法を説明する図である。図５において、横軸は時間を、縦軸は画面の垂直方向を表している。また、丸は原画画素（入力された映像信号の画素）、四角はＩＰ変換部４で生成する補間画素を表している。符合Ｆｌｄ（ｉ）は時間的に最も新しいフィールド、つまり現在のフィールドを示し、符号Ｆｌｄ（ｉ−１）は１フィールド前のフィールド、Ｆｌｄ（ｉ−２）は２フィールド前のフィールドを示す。隣接するフィールドの間隔は１／６０秒であるものとする。以下、補間画素４０２を生成する場合について説明する。

フィールド間補間部４３は、フィールドＦｌｄ（ｉ−２）の原画画素４００（フィールドＦｌｄ（ｉ−１）の補間画素４０２の位置に対応する原画画素）のＹ，Ｕ，Ｖ信号を、第１の値（信号Ｈ１）として出力する。一方、フィールド内補間部４４は、フィールドＦｌｄ（ｉ−１）内において互いに隣接する原画画素４０１，４０３（補間画素４０２の位置を挟んで隣接する２画素）のＹ，Ｕ，Ｖ信号のそれぞれの平均値を、第２の値（信号Ｈ２）として出力する。

ブレンド部４６は、選択部４５から送られるブレンド率αに応じて、フィールド間補間部４３から出力される信号Ｈ１とフィールド内補間部４４から出力される信号Ｈ２の加重平均を行うことにより、補間のための補間画素４０２を生成する（生成手段）。そして、補間画素のＹ，Ｕ，Ｖ信号（信号Ｈ）を出力する。具体的にはブレンド部４６は式２により信号Ｈを算出する。
Ｈ＝（（７−α）×Ｈ１＋α×Ｈ２）／７（式２）

式２に示すように、フリッカが発生しにくいと推定されたとき（Ｗ＝０のとき；α＝Ｍのとき）は、フィールド間補間により得られた信号Ｈ１とフィールド内補間により得られた信号Ｈ２を動き情報Ｍに応じて加重平均する通常の動き適応ＩＰ変換処理が行われる。
一方、フリッカが発生しやすいと推定されたとき（Ｗ＝１のとき；α＝０のとき）は、フィールド間補間により得られた信号Ｈ１によるＩＰ変換処理が行われる。

即ち、本実施例では、連続する２フィールド間の高域成分の変動量が第１の閾値よりも大きく、且つ、符号化の圧縮率が第２の閾値よりも大きい場合に、第１の値が補間画素の値となるように加重平均の重みが切り換えられる。なお、圧縮率と高域成分の変動量が大きいほど、フリッカは発生し易い。そのため、連続する２フィールド間の高域成分の変動量、及び、符号化の圧縮率が大きいほど、第１の値の重みが大きくなるように、加重平均の重みを切り換えてもよい。

スイッチ４７は映像信号の１ラインごとに、原画画素の信号Ｏと補間画素の信号Ｈを切り換えて出力する。それにより、インターレース方式の入力映像信号がプログレッシブ方式の出力映像信号となって出力される。

以上述べたように、本実施例に係る映像処理装置（およびその制御方法）によれば、フリッカが発生しやすいと推定される場合（圧縮率と高域成分の変動量が大きい場合）に、ＩＰ変換部４においてフィールド間補間の影響が大きくされる。それにより、前後フィールドが混合された映像信号となり、時間的なフィルタリング効果が得られるため、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを効果的に低減することができる。

また、本実施例に係る映像処理装置によれば、フィールド間補間で注目フィールドとその１／６０秒前のフィールド（１つ前のフィールド）の信号が混合される。具体的には、１つ前のフィールドの映像信号に２つ前のフィールドの映像信号が混合される。それにより、二重像を目立ち難くすることができる。また、ＩＰ変換時に前後フィールドの混合が行われる。そのため、フレームメモリの増加を抑えることができ、簡易な構成で実現することができる。

なお、ＩＰ変換部４の後段に、フィールド間補間により発生するくし状ノイズを抑制する手段（例えば、垂直方向のローパスフィルタ）を設けてもよい。
また、シーンチェンジ（シーンの切り換え）を検出した場合には、切り換えフラグＷを０として通常の動き適応処理とするようにしてもよい。シーンチェンジは、例えば、フィールド間の平均輝度レベルの変動などにより検出すればよい。

なお、圧縮率を考慮しなくてもよい。フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、加重平均の重きを切り換えればよい。例えば、連続する２フィールド間の高域成分の変動量が所定の閾値よりも大きい場合に、第１の値が補間画素の値となるように加重平均の重みを切り換えてもよい。連続する２フィールド間の高域成分の変動量が大きいほど、第１の値の重みが大きくなるように、加重平均の重みを切り換えてもよい。そのような構成であっても、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを効果的に低減することができる。

＜実施例２＞
次に、本発明の実施例２に係る映像処理装置について説明する。本実施例では、入力映像信号に、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドが含まれているものとする。例えば、入力映像信号がＭＰＥＧ２形式で符号化されている（Ｉ，Ｐ，Ｂピクチャのフィールドを含む）ものとする。そして、本実施例の符号化情報Ａには、圧縮率情報Ｑのほかに、デコード部１から出力されたフィールドの映像信号の種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を表すピクチャ情報Ｒが含まれているものとする。なお、本実施例ではＩ，Ｐピクチャのフィールドを第１フィールドとし、Ｂピクチャのフィールドを第２フィールドとする。マイコン部３以外の処理については、実施例１と同様のため、説明を省略する。

図６は本実施例に係るマイコン部３の処理を示すフローチャートである。ステップＳ３１，Ｓ３２の処理は、実施例１で説明した処理（図３のステップＳ３１，Ｓ３２の処理）と同様のため、説明を省略する。本実施例のマイコン部３は、ステップＳ３３の処理を更に行う。

ステップＳ３３では、マイコン部３が、フィールド毎に、符号化方法の変更に起因する高域成分の量の変動が生じているか否か（高域検出部２で生成された高域成分情報Ｆとピクチャ情報Ｒの相関が高いか否か）を判断する（判断手段）。マイコン部３は、注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドを検出する。そして、符号化方法の変更に起因する高域成分の量の変動が生じている（相関が高い）と判断した場合には（ステップＳ３３：ｙｅｓ）、切り換えフラグＷを１とする。符号化方法の変更に起因する高域成分の量の変動が生じていない（相関が低い）と判断した場合には（ステップＳ３３：ｎｏ）、切り換えフラグＷを０とする。以下、当該判断の方法の具体例について説明する。

最後に入力されたＩピクチャまたはＰピクチャの高域成分情報ＦをＦ１とし、最後に検入力されたＢピクチャの高域成分情報をＦ２とする。
そして、注目フィールドがＢピクチャであった場合に、当該注目フィールドの高域成分情報Ｆが以下の式３を満たせば、符号化方法の変更に起因する高域成分の量の変動が生じていると判断する。
Ｆ＜Ｆ１（式３）
また、注目フィールドがＩピクチャまたはＰピクチャであった場合に、当該注目フィールドの高域成分情報Ｆが以下の式４を満たせば、符号化方法の変更に起因する高域成分の量の変動が生じていると判断する。
Ｆ＞Ｆ２（式４）

フリッカは、符号化方法の変更（Ｉ，ＰピクチャからＢピクチャへの切り換わり、ＢピクチャからＩ，Ｐピクチャへの切り換わり）に起因する高域成分の量の変動が生じる場合に生じ易い。一方、隣接する２フィールド間の高域成分の変動量（算出された値）は誤差を含むため、圧縮率や隣接する２フィールド間の高域成分の変動量が大きくても、フリッカは発生しないことがある。本実施例では、高域成分に変動量が第１の閾値よりも大きく、符号化の圧縮率が第２の閾値よりも大きく、且つ、符号化の変更に起因する高域成分の変動が生じていると判断された場合に、第１の値が補間画素の値となるように、加重平均の重みが切り換えられる。それにより、実施例１に比べ、フリッカが発生し易いか否かをより精度よく推定することができる。

以上述べたように、本実施例に係る映像処理装置（およびその制御方法）によれば、符号化方法の変更に起因する高域成分の量の変動が生じているか否かが考慮される。それにより、フィールド間で高域成分の量が変動することにより生じるフリッカをより効果的に低減することができる。

なお、符号化方法の変更に起因する高域成分の量の変動が生じているか否かの判断は、マイコン部以外の機能によってなされてもよい。当該判断を行う判断部を別に設けてもよい。

なお、符号化方法の変更に起因した高域成分の変動量が大きいほど、フリッカは発生し易い。そこで、１つ前のフィールドからの高域成分の変動量、符号化の圧縮率、及び、符号化方法の変更に起因した高域成分の変動量が大きいほど、第１の値の重みが大きくなるように、加重平均の重みを切り換えてもよい。符号化方法の変更に起因した高域成分の変動量は、注目フィールドと参照フィールドの間の高域成分の変動量である。符号化方法の変更に起因した高域成分の変動量は、マイコン部３によって算出されてもよいし、上述した他の機能によって算出されてもよい（第２の算出手段）。符号化方法の変更に起因した高域成分の変動量を算出する算出部を別に設けてもよい。

なお、連続する２フィールド間の高域成分の変動量が第１の閾値よりも大きく、且つ、
符号化方法の変更に起因する高域成分の量の変動が生じていると判断された場合に、第１の値が補間画素の値となるように、加重平均の重みを切り換えてもよい。１つ前のフィールドからの高域成分の変動量、及び、符号化方法の変更に起因した高域成分の変動量が大きいほど、第１の値の重みが大きくなるように、加重平均の重みを切り換えてもよい。そのような構成であっても、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを効果的に低減することができる。

以上述べたように、本実施形態に係る映像処理装置（およびその制御方法）によれば、フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、加重平均の重みが切り換えられる。それにより、インターレース方式の映像信号において、フィールド間で高域成分の量が変動することにより生じるフリッカを効果的に低減することができる。また、ＩＰ変換時に前後フィールドの混合を行うことにより、フレームメモリの増加を抑えることができ、簡易な構成で実現することができる。

２高域検出部
３マイコン部
４５選択部
４６ブレンド部

Claims

インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置であって、
フィールド毎に、前記入力映像信号の高域成分の量を算出する算出手段と、
フィールド毎に、フィールド間補間により得られる第１の値と、フィールド内補間により得られる第２の値の加重平均を行うことにより、前記補間のための補間画素を生成する生成手段と、
フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、前記加重平均の重みを切り換える切換手段と、
を有し、
前記切換手段は、前記高域成分の変動量が大きい場合に、前記高域成分の変動量が小さい場合よりも前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換えることを特徴とする映像処理装置。
前記切換手段は、前記高域成分の変動量が所定の閾値よりも大きい場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みを切り換える
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は符号化されており、
前記切換手段は、前記高域成分の変動量が第１の閾値よりも大きく、且つ、前記符号化の圧縮率が第２の閾値よりも大きい場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みを切り換える
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する判断手段を更に有し、
前記切換手段は、前記高域成分の変動量が第１の閾値よりも大きく、且つ、符号化方法の変更に起因する高域成分の量の変動が生じていると判断された場合に、前記第１の値が
前記補間画素の値となるように、前記加重平均の重みを切り換え、
前記判断手段は、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドを検出し、
前記注目フィールドと前記参照フィールドの高域成分の量を比較することにより、
符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する判断手段を更に有し、
前記切換手段は、前記高域成分の変動量が第１の閾値よりも大きく、前記符号化の圧縮率が第２の閾値よりも大きく、且つ、符号化方法の変更に起因する高域成分の量の変動が生じていると判断された場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みを切り換え、
前記判断手段は、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドを検出し、
前記注目フィールドと前記参照フィールドの高域成分の量を比較することにより、
符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する
ことを特徴とする請求項１に記載の映像処理装置。
前記切換手段は、前記高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換える
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は符号化されており、
前記切換手段は、前記高域成分の変動量、及び、前記符号化の圧縮率が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換える
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因した高域成分の変動量を算出する第２の算出手段を更に有し、
前記切換手段は、フィールド毎に、前記１つ前のフィールドからの高域成分の変動量、及び、前記符号化方法の変更に起因した高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換え、
前記第２の算出手段は、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドを検出し、
前記注目フィールドと前記参照フィールドの間の高域成分の変動量を、
前記符号化方法の変更に起因した高域成分の変動量として算出する
ことを特徴とする請求項１に記載の映像処理装置。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因した高域成分の変動量を算出する第２の算出手段を更に有し、
前記切換手段は、フィールド毎に、前記１つ前のフィールドからの高域成分の変動量、前記符号化の圧縮率、及び、前記符号化方法の変更に起因した高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みを切り換え、
前記第２の算出手段は、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドを検出し、
前記注目フィールドと前記参照フィールドの間の高域成分の変動量を、
前記符号化方法の変更に起因した高域成分の変動量として算出する
ことを特徴とする請求項１に記載の映像処理装置。
インターレース方式の入力映像信号を補間によりプログレッシブ方式の出力映像信号に変換する映像処理装置の制御方法であって、
フィールド毎に、前記入力映像信号の高域成分の量を算出する算出ステップと、
フィールド毎に、フィールド間補間により得られる第１の値と、フィールド内補間により得られる第２の値の加重平均を行うことにより、前記補間のための補間画素を生成する生成ステップと、
フィールド毎に、１つ前のフィールドからの高域成分の変動量に基づいて、前記加重平均の重みを切り換える切換ステップと、
を有し、
前記切換ステップでは、前記高域成分の変動量が大きい場合に、前記高域成分の変動量が小さい場合よりも前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられる
ことを特徴とする映像処理装置の制御方法。
前記切換ステップでは、前記高域成分の変動量が所定の閾値よりも大きい場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みが切り換えられる
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は符号化されており、
前記切換ステップでは、前記高域成分の変動量が第１の閾値よりも大きく、且つ、前記符号化の圧縮率が第２の閾値よりも大きい場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みが切り換えられる
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する判断ステップを更に有し、
前記切換ステップでは、前記高域成分の変動量が第１の閾値よりも大きく、且つ、符号化方法の変更に起因する高域成分の量の変動が生じていると判断された場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みが切り換えられ、
前記判断ステップでは、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドが検出され、
前記注目フィールドと前記参照フィールドの高域成分の量を比較することにより、
符号化方法の変更に起因する高域成分の量の変動が生じているか否かが判断される
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因する高域成分の量の変動が生じているか否かを判断する判断ステップを更に有し、
前記切換ステップでは、前記高域成分の変動量が第１の閾値よりも大きく、前記符号化の圧縮率が第２の閾値よりも大きく、且つ、符号化方法の変更に起因する高域成分の量の変動が生じていると判断された場合に、前記第１の値が前記補間画素の値となるように、前記加重平均の重みが切り換えられ、
前記判断ステップでは、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドが検出され、
前記注目フィールドと前記参照フィールドの高域成分の量を比較することにより、
符号化方法の変更に起因する高域成分の量の変動が生じているか否かが判断される
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記切換ステップでは、前記高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられる
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は符号化されており、
前記切換ステップでは、前記高域成分の変動量、及び、前記符号化の圧縮率が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられる
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因した高域成分の変動量を算出する第２の算出ステップを更に有し、
前記切換ステップでは、フィールド毎に、前記１つ前のフィールドからの高域成分の変動量、及び、前記符号化方法の変更に起因した高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられ、
前記第２の算出ステップでは、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドが検出され、
前記注目フィールドと前記参照フィールドの間の高域成分の変動量が、
前記符号化方法の変更に起因した高域成分の変動量として算出される
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。
前記入力映像信号は、互いに異なる符号化方法で符号化された第１フィールドと第２フィールドを含み、
フィールド毎に、符号化方法の変更に起因した高域成分の変動量を算出する第２の算出ステップを更に有し、
前記切換ステップでは、フィールド毎に、前記１つ前のフィールドからの高域成分の変動量、前記符号化の圧縮率、及び、前記符号化方法の変更に起因した高域成分の変動量が大きいほど、前記第１の値の重みが大きくなるように、前記加重平均の重みが切り換えられ、
前記第２の算出ステップでは、
注目フィールドよりも前であり、且つ、当該注目フィールドに最も近い、当該注目フィールドと符号化方法が異なる参照フィールドが検出され、
前記注目フィールドと前記参照フィールドの間の高域成分の変動量が、
前記符号化方法の変更に起因した高域成分の変動量として算出される
ことを特徴とする請求項１０に記載の映像処理装置の制御方法。