JP4296218B1 - 映像表示装置 - Google Patents

Abstract

【課題】３２プルダウンや２２プルダウンのような元の素材の動き範囲が広いために、検出ベクトルの精度が悪くなる可能性の高いものでも、処理時間を有効に利用して、検出ベクトルの精度を高めて、より高品質の内挿画像を生成する画像表示装置を提供する。
【解決手段】入力画像信号のフレーム間に、フレーム間の動きベクトルを基に補正処理を施した画像を内挿することでフレーム周波数を変換する手段１４を有した液晶表示装置であって、テレシネ等で生成される２枚乃至３枚の同じ画像が連続する信号を内挿処理する際に、１枚目の内挿画像生成に用いた動きベクトルＶａを基にして、次の内挿画像生成用の動きベクトルを再計算することで、より精度の高い、誤差の少ない動きベクトルを検出する。繰り返し画像判定部１０を有し、ベクトル検出を行う必要のない同じ画像が連続する期間を利用して、直前の異なる画像間で検出した動きベクトルの精度を更に向上させる。
【選択図】図１

Description

本発明は、映像表示装置に関し、液晶パネルを用いて画像を表示する表示装置における、特に動画表示時に生じる液晶特有の動きぼけを、フレーム間に内挿画像を入れて倍速駆動する事で、低減する装置に関するものである。

液晶パネルで発生する動きぼけについては、発生要因として液晶の特性が電荷を保持して発光を維持するホールド型であることが挙げられる（例えば、特許文献１参照）。
従来の陰極線管（ＣＲＴ）等の電子ビームによる蛍光体への照射では、画素の発光形態はインパルス型となり、発光時間は短いものである。
動くものに対する人の視覚は、滑らかな動きに追従するものであるため、ホールド型発光の場合、輝度レベルが次のフレームまでの期間保持されるため、時間積分効果により残像感が出てしまう。これが、動きぼけである。
この動きぼけを低減する方法として、フレーム周波数を倍速化して液晶表示をインパルス型に近づけることが挙げられる。この技術は、ＦＲＣ（Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）と呼ばれており、液晶表示装置等で実用化されている。この技術の例として、単純に同じ画像を繰り返したり、フレーム間に線形補間によるフレーム内挿をする事により、周波数を２倍にする方法があるが、動きに不自然さ（ジャーキネス、ジャダー）が発生したり、ホールド型発光に起因する動きぼけを十分に改善することが出来ず、画質改善には至らない。

そこで、ジャーキネスの影響をなくして動画質の改善をするために、動き補償型のフレーム内挿処理するＦＲＣ技術が考えられ、実用化されている。
この回路の一例を図３に示し、以下に処理内容を記す。
入力された画像信号Ｂは、最初に前処理フィルタ３０にて所定画素数およびライン数のブロックに分割され、ブロック内でフィルタリングされて、余計なノイズ等の除去が行われる。このブロックを検出ブロックと呼ぶ。
次の動きベクトル検出部３２にて、フレームメモリ３１で遅延された前フレームと現フレーム間での検出ブロック毎の動きベクトル（検出ベクトル）をベクトルメモリ３３からの候補ベクトル選出と反復勾配法により求める。この動きベクトル検出の処理内容（点線枠３Ａで囲まれた部分）の詳細については、後述する。
内挿ベクトル評価部３４では、動きベクトル検出部３２で得られた検出ベクトルを評価し、その評価結果を元にフレーム間の内挿ブロック毎に内挿ベクトルを割り付けていく。ここで内挿ブロックは、検出ブロックより小さいサイズで構成される。具体的には、生成すべき内挿画像を内挿ブロック単位に分割し、検出ブロックに割り当てられた検出ベクトルを前フレームから現フレームに向けて伸ばした時に通過する内挿画像内の内挿ブロックに、このベクトルを割り付ける。既に他の検出ベクトルが割り当てられていた場合には、どちらが適正なベクトルかを評価して、より適正なベクトルを採用する。

次に、内挿ベクトル評価部３４にて割り当てられた内挿ベクトルを使って、内挿フレーム生成部３６で内挿画像を生成する。その手順例を図４を用いて説明する。
点線枠Ｗは処理すべき検出ブロックを示している。内挿画像の検出ブロック内のある１つの画素Ｐのデータを求める場合、この画素Ｐの位置に割り付けられた内挿ベクトルを前後の原画像に対して伸ばすことで、ポイントＰ１とＰ２を求める。そして、ポイントＰ１とＰ２の近傍の４画素を補完することで内挿画素Ｐのデータが得られる。

上記処理により内挿画像が得られ、タイムベース変換部３７にて原画像とのタイミングを合わせ込みながら、原画・内挿・原画とデータを出力することで倍速変換が実現できる。

ここで、図３の点線枠３Ａで囲まれた動きベクトル検出に関係するブロックの詳細な構成を図５に示し、以下に処理内容を記載する。
まず、ベクトル選択部５２にて、前処理された入力信号Ａとフレームメモリ５０にて遅延された前フレームの信号Ａと同じ位置のブロックのデータは、ベクトルメモリ５１から読み出された、いくつかの候補ベクトルを用いたＤＦＤ値比較により、初期ベクトルが決定される。ベクトルメモリ５１には、対象ブロック近傍の算出ベクトル、前フレームと前々フレームで検出されたベクトル、フレーム全体のベクトル平均値等の初期ベクトル候補が保存されている。ここで、ＤＦＤ（Ｄｉｓｐｌａｃｅｄ Ｆｉｅｌｄ Ｄｉｆｆｅｒｅｎｃｅ）とは、ベクトルの確からしさを表すもので、ブロック内各画素のフレーム間差分の絶対値和であり、値が小さいものほど、より確からしい事になる。こうして、選出された初期ベクトルを元に、動きベクトル演算部５３にて、反復勾配法を用いて各ブロック単位の検出ベクトルＶａ´が求められる。

反復勾配法については特許文献２に詳しく記載されているが、図６に簡単に原理を示す。前フレームのブロックＢと現フレームにおいて同じ位置のブロックＢ０から初期ベクトルＶ０だけ動かすことで、現フレームのブロックＢ１が得られる。このブロックＢ１と前フレームのブロックＢとの間で勾配法を適用して、１次ベクトルＶ１を求める。Ｖ１で示される現フレームのブロックＢ２と前フレームブロックＢとで勾配法を適用して、２次ベクトルＶ２を求め、以下同様にしてＶ２で示されたブロックＢ３と前フレームブロックＢとで勾配法を適用していくという形で処理する。一般に勾配法で求められるベクトルサイズは｜Ｖ０｜＞｜Ｖ１｜＞｜Ｖ２｜＞｜Ｖ３｜という形で数値が小さくなるため、適用回数の分だけ算出される検出ベクトル精度は向上していく。しかし、実際の回路ではリアルタイムで処理する関係で処理回数は制限される。
以上が、実用化されているフレームレート倍速化（ＦＲＣ）技術の概要である。
特許第３２９５４３７号公報 特許第２９３０６７５号公報

ここで、映画などの１秒間に２４枚の画像の素材やＣＧ等の１秒間に３０枚の画像の素材をテレシネ装置等により、１秒間に６０枚にレート変換したものを上記のＦＲＣ技術を応用した装置に入れた場合を考えてみる。これらは、３２プルダウンまたは２２プルダウンと呼ばれる同じ画像が２枚乃至３枚連続する動画であり、画像間の動き（差異）は２フレームもしくは１フレーム置きに存在する。
元のレートが１秒間に２４枚もしくは３０枚の素材であるため、１２０Ｈｚ表示の場合は内挿すべき画像は、４枚乃至３枚になる。すなわち、２フレームもしくは１フレーム置きの異なる画像間にて動きベクトルを検出して、その検出ベクトルを元に内挿画像を４枚乃至３枚生成する事になる。この入力原画と出力画像の関係を図２に示している。
そのため、動き範囲も通常の６０Ｐで同じ動きを撮った場合の隣り合う画素間の動きに対して、倍以上広い範囲になる。そのため、上記の反復勾配法による動きベクトルの検出精度は、荒いものになってしまい、精度の十分でないベクトルにから生成された内挿画素が多くなり、品質の悪い内挿画像となってしまう。

本発明の目的は、３２プルダウンや２２プルダウンのような元の素材の動き範囲が広いために、検出ベクトルの精度が悪くなる可能性の高いものでも、処理時間を有効に利用して、検出ベクトルの精度を高めて、より高品質の内挿画像を生成する事が可能な画像表示装置を提供する。

画像品質を上げるためには、ベクトル精度を向上させる必要がある。本来、反復勾配法は、適用回数を増やすことで精度を上げることが出来るが、処理時間の制限のために処理を打ち切られていた。
ここで入力信号となる３２プルダウンや２２プルダウンを見ると、動き検出処理の必要のない同じ画像が連続する部分がある。図２の原画３Ｂと４Ｂ間及び４Ｂと５Ｂ間や３ｂと４ｂの間等である。この期間を利用して、直前に検出した検出ベクトルを初期ベクトルとして用いて、再度反復勾配法を適用する事で、更にベクトル精度を向上したものを次の内挿画像生成に使用できるようになる。
これは、反復勾配法の説明図（図６）のベクトルＶ２を初期ベクトルとして１次ベクトルＶ３、２次ベクトルＶ４を求めていく処理になり、ベクトル精度の向上が期待できる。
また、この処理で算出される１次ベクトルと２次ベクトルの差分を計算しておき、その差がある閾値以下までになった時は、その検出ブロックの検出ベクトルの精度が確からしいと判断し、２回目の検出ベクトル処理にはそのブロックは対象からはずす事で、他のベクトル精度の悪いブロックの反復勾配法処理の時間に回すことが出来るので、３回以上の適用回数を確保出来る。これにより、検出ベクトルの精度がフレーム全体で高めることが出来るので、内挿画像の品質も向上する。

すなわち、本発明は、入力画像信号のフレーム間に、そのフレーム間の動きベクトルを基に補正処理を施した画像を内挿することでフレーム周波数を変換する手段を有した液晶表示装置であって、繰り返し画像判定部を有しており、テレシネ等で生成される２枚乃至３枚の同じ画像が連続する信号を内挿処理する際に、同じ画像が連続しないフレーム間で動きベクトルを検出し、更に、１枚目の内挿画像生成に用いた動きベクトルを基にして、ベクトル検出を行う必要のない同じ画像が連続する期間を利用して、次の内挿画像生成用の動きベクトルを再計算することで、より精度の高い、誤差の少ない動きベクトルを検出する映像表示装置である。

そして、本発明は、前記動きベクトル検出にて算出されたベクトルに関して、その精度を予め定義しておいた閾値にて判定する回路を有する映像表示装置である。

更に、本発明は、前記判定回路にて精度が高いと判定されたベクトルは、次の再計算の対象とせず、その計算時間を確からしい数値が求められていない、精度が低いベクトルに対する再計算に充当する映像表示装置である。

本発明の装置によれば、３２プルダウンや２２プルダウンのような元の素材の動き範囲が広いために、従来技術では、検出ベクトルの精度が悪くなる可能性の高いものでも、処理時間を有効に利用して、検出ベクトルの精度を高めて、より高品質の内挿画像を生成する事が可能となる。

以下に、本発明に関する実施の形態について、回路構成例を挙げて詳細に説明する。
まず、図１にて本発明の簡単な回路構成例を示す。図１は、図３に示す従来技術における点線枠３Ａで囲まれた部分（図５）に対応する。

入力信号Ａは、３２プルダウンまたは２２プルダウンの画像信号である。繰り返し画像判定部１０にてその画像が繰り返し画像部分かそうでないかを判断して、フレームメモリ１１に格納する画像データを選択する。
最初のベクトル検出処理においては、フレームメモリ１１からの前フレームデータと現フレームデータはベクトル選択部１３にていくつかの候補ベクトルからＤＦＤ値算出により、初期ベクトルを決定され、動きベクトル演算部１４にて反復勾配法を用いて、検出ベクトルＶａを得る。この検出ベクトルＶａは、ベクトルメモリ１２に初期ベクトルの候補ベクトルとして格納される。
この処理の際に、反復勾配法時のベクトル評価をベクトル評価部１５にて行う。１次ベクトルと２次ベクトルの絶対値の差を予め定義しておいた閾値より小さくなったか否かにより、精度が高い又は低いと判定し、その検出ブロックの次回のベクトル検出処理が不要又は必要であるかを判断する。

同じ画像が入力される２回目の処理では、ベクトル選択部１３はベクトルメモリ１２から前回検出された検出ベクトルのみを読み出して、そのまま初期ベクトルとして動きベクトル演算部１４に送る。
動きベクトル演算部１４は、ベクトル評価部１５より得られた処理不要と判断された検出ブロックについては、反復勾配法によるベクトル処理を行わず、他のブロックに対してのみ都合３回乃至４回目等となる反復勾配法を適用しつつ、検出ベクトルをベクトル評価部１５、ベクトルメモリ１２に送付する。
この時点で演算を行わなかった検出ブロックの処理分だけ、時間が余るため、その時間を利用して、閾値に達していないベクトルに対してのみ、再度このループを回す。

こうして、精度の低いベクトルを選択して、反復勾配法を繰り返し適用することで検出ベクトル全体の精度が上がるため、生成される内挿画像の品質を向上することが出来る。
以上が本発明の実施形態における回路の一例となる。

以降、本発明の映像表示装置は、従来技術と同様に内挿ベクトル評価、内挿フレーム生成、タイムベース変換などを行い、出力画像信号を出力する。

本発明の画像表示装置の動きベクトル検出処理を行う回路部分を示すブロック図。 フィルム素材の場合のＦＲＣによる内挿処理の説明図。 ＦＲＣ回路の構成例を示すブロック図。 従来のＦＲＣによる内挿画像生成の説明図。 従来の動きベクトル検出部の構成を示すブロック図。 反復勾配法の説明図。

符号の説明

１０・・・繰り返し画像判定部
１１・・・フレームメモリ
１２・・・ベクトルメモリ
１３・・・ベクトル選択部
１４・・・動きベクトル演算部
１５・・・ベクトル評価部
３０・・・前処理フィルタ
３１・・・フレームメモリ（動き検出用）
３２・・・動きベクトル検出部
３３・・・ベクトルメモリ
３４・・・内挿ベクトル評価部
３５・・・フレームメモリ（内挿処理用）
３６・・・内挿フレーム生成部
３７・・・タイムベース変換部
５０・・・フレームメモリ
５１・・・ベクトルメモリ
５２・・・ベクトル選択部
５３・・・動きベクトル演算部

Claims (3)

1. 入力画像信号のフレーム間に、そのフレーム間の動きベクトルを基に補正処理を施した画像を内挿することでフレーム周波数を変換する手段を有した液晶表示装置であって、
   繰り返し画像判定部を有しており、テレシネ等で生成される２枚乃至３枚の同じ画像が連続する信号を内挿処理する際に、同じ画像が連続しないフレーム間で動きベクトルを検出し、更に、１枚目の内挿画像生成に用いた動きベクトルを基にして、ベクトル検出を行う必要のない同じ画像が連続する期間を利用して、次の内挿画像生成用の動きベクトルを再計算することで、より精度の高い、誤差の少ない動きベクトルを検出する事を特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置において、
   前記動きベクトル検出にて算出されたベクトルに関して、その精度を予め定義しておいた閾値にて判定する回路を有することを特徴とする映像表示装置。
3. 請求項２に記載の映像表示装置において、
   前記判定回路にて精度が高いと判定されたベクトルは、次の再計算の対象とせず、その計算時間を確からしい数値が求められていない、精度が低いベクトルに対する再計算に充当することを特徴とする映像表示装置。

Images