JP4656546B2 - 映像信号処理装置 - Google Patents

Description

本発明は、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、フレームレート（フレーム周波数）を変換する映像信号処理装置に係り、特に、逆ガンマ補正及びガンマ補正双方の処理を施してフレームレートを変換する映像信号処理装置に関する。

液晶パネルを用いた画像表示装置で動画像を表示すると残像が生じやすい。そこで、残像を低減させるため、映像信号の実フレーム間に補間フレームを内挿してフレーム数を増大させ、例えば垂直周波数６０Ｈｚのフレームレートを２倍の１２０Ｈｚまたはそれ以上の垂直周波数に変換して画像表示することが行われている。フレームレート変換を行う映像信号処理装置においては、画像の動きベクトルを検出し、動きベクトルを用いて各補間画素を生成し、実フレーム間に内挿する補間フレームを生成する。

ところで、一般的に画像表示装置は、入力信号の階調レベルと表示輝度との関係が図４に示すような下に凸の非線形の特性Ｒ１を有する。そこで、放送波信号として伝送されるテレビジョン信号の映像信号や光ディスク等の記録媒体に記録された映像信号は画像表示装置が図４に示す特性Ｒ１を有することを前提として作成されており、映像信号には予め図５に示すような上に凸の非線形の特性Ｒ２である、いわゆるガンマ補正が施されている。映像信号処理装置で映像信号に対して所定の処理を行う際には、映像信号は図６に示すような線形の特性Ｒ０を有していた方が都合がよい。そこで、画像表示装置は、ガンマ補正が施された映像信号を線形な特性とするための逆ガンマ補正部と、表示部の前段で再びガンマ補正を施すためのガンマ補正部とを備える。

一例として、特許文献１には、逆ガンマ補正部とガンマ補正部とフレームレート変換回路とを備える画像表示装置が記載されている。特許文献１に記載の画像表示装置においては、フレームレート変換回路に相当する映像変調部の前段であり映像信号処理装置の入力段に逆ガンマ補正部が備えられており、映像変調部の後段であり映像信号処理装置の出力段にガンマ補正部が備えられている。

特開２００７−１５６４１２号公報（図１５，図２２）

ガンマ補正が施された映像信号に対して逆ガンマ補正を施したデータは高いビット精度を要する。これは、ガンマ補正が施された映像信号に対して逆ガンマ補正を施すと小数点を有するデータとなり、小数点以下を表現するために高いビット精度が必要となるためである。特許文献１に記載の映像信号処理装置のように入力段で逆ガンマ補正を行うと、映像信号処理装置内の各部それぞれで高いビット精度の信号処理を行わなければならない。従って、回路規模が増大し、コストが高くなってしまう。

本発明はこのような問題点に鑑みなされたものであり、高いビット精度の信号処理を行う回路部分を極力少なくすることができ、回路規模の増大を極力抑えることができる映像信号処理装置を提供することを目的とする。

本発明は、上述した従来の技術の課題を解決するため、入力された映像信号における複数の実フレーム内の画素データを用いて、前記複数の実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部（２）と、前記動きベクトルに応じて、前記補間画素データを生成するための前記複数の実フレーム内の画素データを選択して出力する画素データ選択部（３１１，３１２，３２１，３２２，３３１，３３２）と、前記画素データ選択部により選択した前記複数の実フレーム内の画素データを用いて前記補間画素データを生成する補間画素生成部（３１８，３２８，３３８）と、前記画素データ選択部と前記補間画素生成部との間に配置され、前記画素データ選択部より出力された画素データに対して、前記入力された映像信号に予め施されているガンマ特性を補正するための逆ガンマ補正を施す逆ガンマ補正部（３１４，３１５，３２４，３２５，３３４，３３５）と、前記補間画素生成部の後段に配置され、前記補間画素生成部より出力された前記補間画素データに対してガンマ補正を施すガンマ補正部（３１９，３２９，３３９）とを備えることを特徴とする映像信号処理装置を提供する。

上記の構成において、前記逆ガンマ補正部と前記補間画素生成部との間に、実フレーム内の１ライン上で隣接する２つの画素間に位置する仮想的な補間画素データを生成する中間画素生成部（３１６，３１７，３２６，３２７，３３６，３３７）を備え、前記補間画素生成部は、前記仮想的な補間画素データを用いて前記補間画素データを生成するようにしてもよい。
また、前記動きベクトルを、前記複数の実フレーム内における前記補間画素データと同一の水平及び垂直位置上の画素データに対するシフト量に変換するシフト量変換部（３１３，３２３，３３３）を備え、前記画素データ選択部は、前記シフト量に基づいて前記複数の実フレーム内の画素データを選択して出力するようにしてもよい。

本発明の映像信号処理装置によれば、高いビット精度の信号処理を行う回路部分を極力少なくすることができる。従って、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。

本発明の映像信号処理装置の一実施形態を示すブロック図である。 図１における動きベクトル検出部２による動きベクトル検出動作の一例を示す図である。 図１におけるデータ保持・選択部３１１，３１２及びシフト量変換部３１３の動作を説明するための図である。 画像表示装置における入力信号の階調レベルと表示輝度との関係を示す図である。 映像信号に施されているガンマ補正の特性を示す図である。 階調レベルと出力階調との関係が線形な特性を示す図である。 図１における逆ガンマ補正部３１４，３１５で施す逆ガンマ補正の特性を示す図である。 図１における逆ガンマ補正部３１４，３１５及びガンマ補正部３１９による作用効果を説明するための図である。 本発明の映像信号処理装置の他の実施形態を示すブロック図である。

以下、本発明の映像信号処理装置について、添付図面を参照して説明する。図１において、６０Ｈｚのフレーム周波数を有する映像信号Ｓinの各画素データは、フレームメモリ１，動きベクトル検出部２，補間部３１，時系列変換メモリ４に順次入力される。映像信号Ｓinには予め図５に示すようなガンマ補正が施されている。フレームメモリ１は入力された画素データを１フレーム遅延して出力する。入力された映像信号Ｓinの現在フレームをＦ０、フレームメモリ１より出力された現在フレームより１フレーム前のフレームをＦ１とする。

動きベクトル検出部２は、例えばマッチング法を用い、現在フレームＦ０とフレームＦ１の画素データを用いて、現在フレームＦ０とフレームＦ１との間に内挿する補間フレームの各補間画素データを生成するための動きベクトルを検出する。図２を用いて動きベクトル検出部２における動きベクトルの検出動作の一例について説明する。図２（Ａ），（Ｂ）は、補間フレームＦp0上の補間画素データＰfp0を生成するための動きベクトルの検出動作を示している。ここでは簡略化のため、同一水平ライン上の画素データについて説明する。図２（Ａ），（Ｂ）に示す実線の白丸は白色の画素データ、ハッチングを付した丸は黒色の画素データを示している。

図２（Ａ）において、補間画素データＰfp0と同一水平位置であるフレームＦ１上の画素データＰf10を基準とする。そして、画素データＰf10と、現在フレームＦ０上の画素データＰf00及び画素データＰf00の左右に位置する所定の範囲の複数の画素データとの差分を求める。差分が最も小さい方向を動きベクトルの方向とする。一方、図２（Ｂ）は補間画素データＰfp0と同一水平位置であるフレームＦ０上の画素データＰf00を基準とした場合を示している。画素データＰf00と、フレームＦ１上の画素データＰf10及び画素データＰf10の左右に位置する所定の範囲の複数の画素データとの差分を求める。差分が最も小さい方向を動きベクトルの方向とする。

ここでは水平方向の画素データとの差分を求めることのみを示したが、実際には、基準となる画素データＰf10または画素データＰf00から水平方向及び垂直方向の所定の範囲の複数の画素データとの差分を求め、水平方向及び垂直方向の動きベクトルを検出する。動きベクトル検出部２は、図２（Ａ）に示す検出方法で動きベクトルを検出してもよいし、図２（Ｂ）に示す検出方法で動きベクトルを検出してもよい。さらに、図２（Ａ），（Ｂ）双方の検出方法で動きベクトルを検出し、いずれか一方を最終的な動きベクトルと決定したり、図２（Ａ），（Ｂ）双方の検出方法で検出した２つの動きベクトルに基づいて最終的な動きベクトルを生成したりしてもよい。また、３フレーム以上の複数の画素データを用いて動きベクトルを検出してもよい。動きベクトル検出部２における動きベクトルの検出方法は以上説明したものに限定されず、任意である。

なお、動きベクトル検出部２に入力される画素データは図６に示すような線形な特性Ｒ０を有しておらず、図５に示すような非線形の特性Ｒ２を有しており、一対の画素データの信号レベルの差分とその一対の画素データによる実際の輝度の差分とは必ずしも一致しない。しかしながら、一対の画素データの差分の大小関係は特性Ｒ０でも特性Ｒ２でも変わらないので、動きベクトル検出部２に入力される画素データに対して逆ガンマ補正を施す必要はない。

図１に戻り、動きベクトル検出部２によって検出された動きベクトルＭＶは補間部３１内のシフト量変換部３１３に入力される。補間部３１は、データ保持・選択部（画素データ選択部）３１１，３１２と、シフト量変換部３１３と、逆ガンマ補正部３１４，３１５と、中間画素生成部３１６，３１７と、平均値化部３１８と、ガンマ補正部３１９とを備える。データ保持・選択部３１１は、図２（Ａ），（Ｂ）に示す補間画素データＰfp0を生成する際に必要となるフレームＦ０上の複数の画素データを保持している。データ保持・選択部３１２は、図２（Ａ），（Ｂ）に示す補間画素データＰfp0を生成する際に必要となるフレームＦ１上の複数の画素データを保持している。シフト量変換部３１３は、動きベクトル検出部２より供給された動きベクトルＭＶをシフト量ＳＨ０，ＳＨ１に変換して、データ保持・選択部３１１，３１２に供給する。

ここで、図３を用いてシフト量変換部３１３で生成するシフト量ＳＨ０，ＳＨ１について説明する。図３において、動きベクトル検出部２によって検出された動きベクトルＭＶが図示のようなベクトルである場合、シフト量変換部３１３は、フレームＦ１上の画素データＰf10を左方向に０．５画素分だけシフトさせるためのシフト量ＳＨ１を生成し、フレームＦ０上の画素データＰf00を右方向に０．５画素分だけシフトさせるためのシフト量ＳＨ０を生成する。図３の場合、補間画素データＰfp0を生成するには、フレームＦ１上の二点鎖線で示す仮想的な画素データＰf1p01とフレームＦ０上の二点鎖線で示す仮想的な画素データＰf0p01とを平均すればよい。しかしながら、画素データＰf1p01，Ｐf0p01は実際には存在していない。そこで、画素データＰf10とこれの左隣の画素データＰf11とを用いて補間素データＰf1p01を生成し、画素データＰf00とこれの右隣の画素データＰf01とを用いて補間画素データＰf0p01を生成すればよい。

図１において、データ保持・選択部３１１，３１２はそれぞれ、保持しておいた複数の画素データの内、入力されたシフト量ＳＨ０，ＳＨ１に応じて補間画素データＰfp0を生成するのに必要な１つまたは２つの画素データを選択して出力する。図３の場合には、データ保持・選択部３１１は画素データＰf10，Ｐf11を選択して出力し、データ保持・選択部３１２は画素データＰf00，Ｐf01を出力する。例えば、動きベクトルＭＶが画素データＰf11から画素データＰf10へと向かうベクトルであれば、データ保持・選択部３１１，３１２はそれぞれ画素データＰf11，Ｐf01を選択して出力すればよい。

データ保持・選択部３１１，３１２より出力された画素データは、逆ガンマ補正部３１４，３１５に入力される。逆ガンマ補正部３１４，３１５は入力された図５の特性Ｒ２を有する画素データに対して図７に示すような特性Ｒ１’の逆ガンマ補正を施す。図７の特性Ｒ１’は画像表示装置が有している図４に示す特性Ｒ１と同等または類似のものである。これにより、逆ガンマ補正部３１４，３１５より出力された画素データは、図６に示すような線形の特性Ｒ０となる。逆ガンマ補正部３１４，３１５より出力された画素データは、中間画素生成部３１６，３１７に入力される。

中間画素生成部３１６，３１７は、図３の場合のように、補間画素データＰfp0を生成する際に画素データ間に位置する補間画素データを生成するためのものである。図３の例では、中間画素生成部３１６は補間画素データＰf1p01を生成し、中間画素生成部３１７は補間画素データＰf0p01を生成する。中間画素生成部３１６，３１７より出力された一対の補間画素データは平均値化部３１８に入力される。平均値化部３１８は入力された一対の補間画素データを平均することによって補間画素データＰfp0を生成する。平均値化部３１８は補間画素生成部である。図３の例では、平均値化部３１８は補間画素データＰf1p01，Ｐf0p01を平均して補間画素データＰfp0を生成する。

図１に示す本実施形態においては、シフト量ＳＨ０，ＳＨ１が０．５画素という状態が発生するため中間画素生成部３１６，３１７が必要となる。動きベクトル検出部２における動きベクトルの検出精度を下げて、シフト量ＳＨ０，ＳＨ１を１画素単位とした場合には、中間画素生成部３１６，３１７は不要となる。従って、中間画素生成部３１６，３１７は必要に応じて設ければよい。

平均値化部３１８より出力された補間画素データＰfp0はガンマ補正部３１９に入力される。ガンマ補正部３１９は、入力された補間画素データＰfp0に対して図５に示す特性Ｒ２のガンマ補正を施して出力する。このように、補間部３１は、特性Ｒ２のガンマ補正が施された映像信号Ｓinの画素データに対して特性Ｒ１’の逆ガンマ補正を施して一旦線形の特性Ｒ０とした状態で補間画素データＰfp0を生成し、その後、特性Ｒ２のガンマ補正を施して元の状態に戻している。

時系列変換メモリ４にはフレームＦ０の画素データと補間部３１より出力された補間画素データＰfp0とが順次入力される。時系列変換メモリ４は、順次入力されるフレームＦ０の画素データに基づいて実フレームであるフレームＦ０の画像データと、順次入力される補間画素データＰfp0に基づいて補間フレームである補間フレームＦp0の画像データを生成する。そして、両者を１２０Ｈｚで交互に出力して、１２０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。

図１に示す本実施形態においては、高いビット精度を要する部分は、中間画素生成部３１６，３１７と平均値化部３１８のみである。従って、高いビット精度の信号処理を行う回路部分が最小限となるので、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。

図８を用いて、逆ガンマ補正部３１４，３１５とガンマ補正部３１９とがある図１の構成の場合（図８（Ｂ））と、逆ガンマ補正部３１４，３１５とガンマ補正部３１９とを削除した構成の場合（図８（Ａ））との画面上の視覚的な相違について説明する。図８（Ａ），（Ｂ）において、Ｆ０，Ｆp0，Ｆ１は図２，図３と同じであり、Ｆ２はフレームＦ１より１フレーム過去の実フレーム、Ｆp1はフレームＦ１，Ｆ２間に内挿した補間フレームである。白の画素データを輝度１００％、黒の画素データを輝度０％とし、視線が破線の矢印の方向に移動したとする。

図８（Ａ）の場合、白の画素データと黒の画素データとで補間画素データを生成した場合、計算上の輝度は５０％となるが、画像表示装置が図４に示すような特性を有しているので、実際に表示されて視認される輝度（視認輝度）は２０％となる。そうすると、視線がフレームＦ２，Ｆ１，Ｆ０にあるときには輝度は５０％で視認され、視線が補間フレームＦp1，Ｆp0にあるときには輝度は２０％で視認されて、フリッカが認識されることになる。一方、図８（Ｂ）の場合には、ガンマ補正部３１９の存在により計算上の輝度５０％は実際に表示される場合にも視認輝度５０％となる。そうすると、視線がフレームＦ２からフレームＦ０へと移動するとき輝度は全て５０％で視認されるので、フリッカは認識されない。

図９は、６０Ｈｚのフレーム周波数を有する映像信号Ｓinを２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutに変換して出力する他の実施形態を示している。図１と同一部分には同一符号を付し、その説明を適宜省略する。図９において、補間部３２は、データ保持・選択部３２１，３２２と、シフト量変換部３２３と、逆ガンマ補正部３２４，３２５と、中間画素生成部３２６，３２７と、平均値化部３２８と、ガンマ補正部３２９とを備える。補間部３３は、データ保持・選択部３３１，３３２と、シフト量変換部３３３と、逆ガンマ補正部３３４，３３５と、中間画素生成部３３６，３３７と、平均値化部３３８と、ガンマ補正部３３９とを備える。

時系列変換メモリ４０は、フレームＦ０の画像データと、補間部３１〜３３より出力された補間画素データに基づいて生成した３つの補間フレームを２４０Ｈｚで順次出力して、２４０Ｈｚのフレーム周波数を有する映像信号Ｓoutを出力する。このフレームレートを４倍に変換する他の実施形態においても、高いビット精度を要する部分は、中間画素生成部３１６，３１７，３２６，３２７，３３６，３７と平均値化部３１８，３２８，３３８のみである。従って、高いビット精度の信号処理を行う回路部分が最小限となるので、回路規模の増大を極力抑えることができ、コストを抑えることが可能となる。

本発明は以上説明した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。

１ フレームメモリ
２ 動きベクトル検出部
４，４０ 時系列変換メモリ
３１，３２，３３ 補間部
３１１，３１２，３２１，３２２，３３１，３３２ データ保持・選択部（画素データ選択部）
３１３，３２３，３３３ シフト量変換部
３１４，３１５，３２４，３２５，３３４，３３５ 逆ガンマ補正部
３１６，３１７，３２６，３２７，３３６，３３７ 中間画素生成部
３１８，３２８，３３８ 平均値化部（補間画素生成部）
３１９，３２９，３３９ ガンマ補正部

Claims (3)

1. 入力された映像信号における複数の実フレーム内の画素データを用いて、前記複数の実フレーム間に内挿する補間フレームを構成する補間画素データを生成する際に必要な動きベクトルを検出する動きベクトル検出部と、
   前記動きベクトルに応じて、前記補間画素データを生成するための前記複数の実フレーム内の画素データを選択して出力する画素データ選択部と、
   前記画素データ選択部により選択した前記複数の実フレーム内の画素データを用いて前記補間画素データを生成する補間画素生成部と、
   前記画素データ選択部と前記補間画素生成部との間に配置され、前記画素データ選択部より出力された画素データに対して、前記入力された映像信号に予め施されているガンマ特性を補正するための逆ガンマ補正を施す逆ガンマ補正部と、
   前記補間画素生成部の後段に配置され、前記補間画素生成部より出力された前記補間画素データに対してガンマ補正を施すガンマ補正部と
   を備えることを特徴とする映像信号処理装置。
2. 前記逆ガンマ補正部と前記補間画素生成部との間に、実フレーム内の１ライン上で隣接する２つの画素間に位置する仮想的な補間画素データを生成する中間画素生成部を備え、
   前記補間画素生成部は、前記仮想的な補間画素データを用いて前記補間画素データを生成する
   ことを特徴とする請求項１記載の映像信号処理装置。
3. 前記動きベクトルを、前記複数の実フレーム内における前記補間画素データと同一の水平及び垂直位置上の画素データに対するシフト量に変換するシフト量変換部を備え、
   前記画素データ選択部は、前記シフト量に基づいて前記複数の実フレーム内の画素データを選択して出力する
   ことを特徴とする請求項１または２に記載の映像信号処理装置。

Images