JP6705758B2 - 時分割的に複数回処理可能な高画質化装置 - Google Patents

Description

本発明の実施形態は、表示映像の高画質化を可能とする高画質化装置に関する。

近年、高解像度変換部を備えたＴＶ（テレビジョン）受信装置あるいは映像に関する情報再生装置（メディアデータサーバー）が普及している。高解像度変換技術は、第１の画像信号（第１の解像度）が持つ画素周辺の仮想画素の値を推定し、第１の画像信号の画素数よりも画素数の多い第２の画像信号（第２の解像度）を生成する鮮鋭化処理技術である。また鮮鋭化処理技術には、第１の画像信号（第２の解像度）が持つ画素値の本来の値を推定し、第１の画像信号の画素値を補正して第２の画像信号（同じく第２の解像度）を生成する技術も含まれる場合がある。

既存の高解像度変換技術を活用した鮮明な表示画像を見慣れたユーザーは、更に鮮明な表示映像を要求している。従って上記の高解像度変換技術（超解像処理回路）を有効利用して、より一層鮮明かつ高精細な映像が表示可能な装置の開発が必要となっている。

特開２００９−１８２４２４号公報

処理後の映像容量が目標とする所定値以下になるように映像圧縮処理を繰り返す技術が、特許文献１に開示されている。この特許文献１に開示された処理の繰り返しにより、適正な映像圧縮が可能となっているが、表示映像の高画質化に関しては開示されて無い。

上記の課題を鑑み、高解像度変換部を有効活用した一層高画質の映像表示が可能な装置の提供が望まれている。

本実施形態では同一のフレーム表示期間内に複数回の高画質回路内処理を繰り返す事で、映像フレームの高画質化を図る。

実施形態によれば、映像入力部、映像出力部、フレームメモリおよび高画質化回路から構成される高画質化装置において、
前記フレームメモリ内に予め記録された第１の映像フレームから前記高画質化回路内で第２の映像フレームに変換される第１の映像処理と、
前記第２の映像フレームから前記高画質化回路内で第３の映像フレームに変換される第２の映像処理が実行され、
１回のフレーム表示期間内に前記第１と前記第２の映像処理が完了する場合、
さらに、前記第１の映像フレームとは異なる第４の映像フレームと前記第１の映像フレームを利用して前記第２の映像フレームに変換され、
前記第２の映像フレームとは異なる第５の映像フレームと前記第２の映像フレームを利用して前記第３の映像フレームに変換され、
かつ、前記第１の映像フレーム内の所定画素に対して第１の動きベクトルが定義されており、前記第１の動きベクトルに対応した前記第４の映像フレーム内の対応画素の情報を利用して前記第１の映像処理が行われ、
前記第２の映像フレーム内の所定画素に対して第２の動きベクトルが定義されており、前記第２の動きベクトルに対応した前記第５の映像フレーム内の対応画素の情報を利用して前記第２の映像処理が行われる、
高画質化装置が提供される。

図１は本実施形態における高画質化装置の構成例説明図である。 図２はフレーム表示期間毎の処理遷移説明図である。 図３は本実施形態における高画質化装置の他の構成例説明図である。 図４Ａは６０Ｈｚ映像に高画質化処理を施して６０Ｈｚ映像として出力する従来の処理シーケンス説明図である。 図４Ｂは２４Ｈｚ映像に高画質化処理を施して６０Ｈｚ映像として出力する従来の処理シーケンス説明図である。 図４Ｃは２４Ｈｚ映像に時分割で２回の高画質化処理を施して６０Ｈｚ映像として出力する本実施形態における処理シーケンスを示す説明図である。 図５は複数フレームを用いた高画質化実施形態における入出力フレームの関係例の説明図である。 図６は複数フレームを用いた高画質化に関する他の実施形態での入出力フレーム関係説明図である。 図７は動きベクトルを利用した高画質化実施形態の説明図である。

図１は本実施形態における高画質化装置の構成例を示す。本実施形態の高画質化装置では図１に示すように、フレームメモリ４０と第１の高画質化回路１４、映像入力部２２、映像出力部２４から構成されている。この第１の高画質化回路１４内で、入力された映像に対する高画質化処理が実行される。ところでこの高画質化処理の具体的な処理例として超解像処理を行っても良いし、ノイズ低減処理を行っても良い。

表示パネル４００上でユーザに表示される同一フレームの表示期間４の間に本実施形態では、上記第１の高画質化回路１４を複数回利用して高画質回路内処理を繰り返して映像フレームの高画質化を図る。このように第１の高画質化回路１４を有効活用する事で、小さな回路規模で一層の高画質化を実現できる効果が有る。すなわち直列に配置された複数の高画質化回路を連続使用して高画質化効果を高める従来技術では、回路規模が大きくなり開発にコストが掛かる弊害が有る。しかし本実施形態では同一の高画質化回路１４を時分割的に繰り返して複数利用するので、回路規模を増やさずに高画質化効果が高まる。

映像入力部２２を経由して高画質化装置（ＴＶ受信装置内映像処理部）内に入力された（高画質化処理前の）第１の映像フレーム４２は、フレームメモリ４０内に一時保存される。そして高画質化処理の過程で、前記第１の映像フレーム４２がフレームメモリ４０から読み込まれ、第１の高画質化回路１４によって第２の映像フレーム４４に変換される。そして変換後の第２の映像フレーム４４は、再度フレームメモリ４０内に書き込まれる。その直後に、前記の第２の映像フレームが再度フレームメモリ４０から読み込まれ、同一の第１の高画質化回路１４によって再度高画質化処理が施される。この結果得られた第３の映像フレーム４６は、フレームメモリ４６内に書き込まれても良いし、直接映像出力部２４を経由して外部に出力されても良い。

ここで第３の映像フレーム４６がフレームメモリ４６内に書き込まれた場合には、任意のタイミングで映像出力部２４から出力できるため、外部装置との同期合わせが容易となる効果が有る。

図１では第１の高画質化回路１４を利用して、高画質化処理前の第１の映像フレーム４２を２回重ねて高画質化処理を行っている。しかし本実施例ではそれに限らず、同一フレーム表示期間４内で３回以上高画質化回路１４を利用しても良い。

図１を用いて説明した本実施形態における処理の流れを、図２では経過時間２に沿って時系列的に示している。例えば表示パネル４００上で１秒間に６０枚（または５０枚）の映像を表示する映像表示方式では、１枚の映像フレームのフレーム表示期間４は１／６０秒（または１／５０秒）となる。一方映画など（例えばＢｌｕ-ｒａｙ(登録商標)やＤＶＤの映画コンテンツ）では、１秒間に２４枚表示する（フレーム表示期間４は１／２４秒となる）。

この単一のフレーム表示期間４−１〜３内の前半において、フレームメモリ４０における処理８０では第１の映像フレーム４２の読み込みと第２の映像フレーム４４の書き込み５２−１〜３を行う。またこのタイミングで行う第１の高画質化回路１４内における処理８６としては、第１の映像フレーム４２に高画質化処理を施して第２の映像フレーム４４に変換する。

一方で上記単一のフレーム表示期間４−１〜３内の後半では、フレームメモリ４０における処理８０として第２の映像フレーム４４の読み込みと第３の映像フレーム４６の書き込み５４−１〜３を行う。またこのタイミングで行う第１の高画質化回路１４内における処理８６としては、第２の映像フレーム４４に高画質化処理を施して第３の映像フレーム４６に変換する。

図１に示した高画質化装置に対する他の実施例を図３に示す。図３では、情報再生装置（メディアデータサーバー）１００と表示パネル４００を有するＴＶ受信装置３００が直列に接続されている。図３における破線部（３１０Ａと３１０Ｂを合体した映像処理部３１０）が図１のＴＶ受信装置内映像処理部（高画質化装置）１０に対応する。

図４は装置の処理シーケンス例を示したもので、図４Ａと図４Ｂは一般的な従来例を示す。一方本実施形態は、図４Ｃが対応する。図４Ａでは映像入力部２２に６０Ｈｚの映像を入力させ、高画質化処理を施した後に、映像出力部２４から６０Ｈｚの映像として出力させる例を示している。この場合には、第１の高画質化回路１４は６０Ｈｚ映像をリアルタイムで（＝途切れずに）処理する必要が有る。

映画などの２４Ｈｚの映像を映像入力部２２から入力させ、高画質化処理を施した後に、映像出力部２４から６０Ｈｚの映像として出力させる例を図４Ｂに示す。この場合には第１の高画質化回路１４が６０Ｈｚの映像をリアルタイムで(＝途切れずに)処理できる能力があるため、次の映像フレームが入力されるまで非稼動となる時間が生じる。従ってこのように出力フレームレートが入力フレームレートより速い場合は、同じフレームを複数回出力させることが一般的である（＝プルダウン処理）。

上記の第１の高画質化回路１４内で生じる非稼動時間を有効活用し、本実施形態では一層高画質化された映像を出力させる。すなわちフレーム表示期間６−１〜４（例えば１／２４秒）内の前半で行う第１の高画質化回路１４による処理８４は、例えばｎフレーム目の映像フレーム２８４−２に対して高画質化処理を施してｎフレーム目の映像フレーム２８４−４に変換する。この処理は既に説明した図４Ｂと同じ内容を意味する。またこの第１の高画質化回路１４の処理期間８−１〜１０は例えば１／６０秒と、フレーム表示期間６−１〜４の半分以下の必要が有る。

そして図４Ｂの第１の高画質化回路１４内で生じる非稼動時間に対応したタイミングで、第１の高画質化回路１４による処理８６を行う。具体的には既に生成されたｎフレーム目の映像フレーム２８４−４に対して更なる高画質化処理を施してｎフレーム目の映像フレーム２８４−６に変換する。

本実施形態では第１の高画質化回路１４の処理期間８−１〜１０は、フレーム表示期間６−１〜４の半分以下の必要が有る。しかしそれ以外では上記処理期間８−１〜１０に対する制約は無い。従って例えば上記処理期間８−１〜１０が１／１２０秒（あるいは１／１００秒）になれば、フレーム表示期間６−１〜４が１／６０秒（あるいは１／５０秒）にも対応可能となる。従って上記処理期間８−１〜１０が１／１２０秒に設定できれば、広い範囲の映像表示方法に対応できる効果が生まれる。

つまり高画質化装置（ＴＶ受信装置内映像処理部）１０は映像入力部２２、映像出力部２４、フレームメモリ４０および高画質化回路１４から構成される。そして第１の映像処理過程５６では、前記フレームメモリ４０内に予め記録された第１の映像フレーム４２から前記高画質化回路１４内で第２の映像フレーム４４に変換する。その後で実施される第２の映像処理過程５８では、前記第２の映像フレーム４４から前記高画質化回路１４内で第３の映像フレーム４６に変換する。更に１回のフレーム表示期間４内で前記第１と第２の映像処理５６、５８を完了させる。

本実施形態の応用例として、前記高画質化回路１４内で（経過時間２に沿って）隣接する異なる複数の映像フレームを利用して高画質化された映像フレームに変換しても良い。例えば図５に示すように、処理対象フレーム（映像フレーム）４２２に対して（経過時間２に沿って）前後に隣接する参照フレームである映像フレーム４２１と４２３を利用して高画質化された映像フレーム４４２を生成する。このようにして第２の映像フレーム列４４０を生成する。

その直後に例えば処理対象フレーム（映像フレーム）４４２に対して（経過時間２に沿って）前後に隣接する参照フレームである映像フレーム４４１と４４３を利用して高画質化された映像フレーム４６２を生成する。このようにして第３の映像フレーム列４６０を生成する。

すなわち第１の映像フレーム４２２とは異なる第４の映像フレーム４２３と前記第１の映像フレーム４２２を利用して前記第２の映像フレーム４４２に変換する。次にこの第２の映像フレーム４４２とは異なる第５の映像フレーム４４３と前記第２の映像フレーム４４２を利用して前記第３の映像フレーム４６２に変換している。

図６は図５の変形例を示す。第１の高画質化回路１４内の高画質化に使用する複数の参照フレーム内の少なくとも１枚の参照フレームを、既に高画質化した後の映像フレームを使用しても良い。例えば映像フレーム４５２を高画質化する時に使用する参照フレームの１枚はそれと同じ階層（第２の映像フレーム列４４０）に属する映像フレーム４５３を使用する。一方で他の参照フレームとして次階層（第３の映像フレーム列４６０）に属する映像フレーム４７２を使用しても良い。

第１の高画質化回路１４内で行われる高画質化処理に動きベクトル５１０、５２０を使用した例を図７に示す。ここでは１枚の処理対象フレーム（映像フレーム）４９２と２枚の参照フレーム（映像フレーム）４９１、４９３を利用して動きベクトル５１０、５２０を抽出する。

例えば処理対象フレーム４９２内の処理対象画素５３２と動きが対応する画素５３１、５３３が、参照フレーム４９１、４９２内のどの位置にあるのか探索する。そしてその対応画素５３１、５３３を利用して処理対象画素５３２を高画質化する。

一般的に、動きベクトルを利用した複数フレームによると長解像度処理やノイズ低減処理では、サブピクセル単位の位置合わせを行うことにより、映像の解像感が向上したり、ノイズが低減するだけでなく、動きがスムーズになる。

図７では２枚の参照フレームを使用しているがそれに限らず、参照フレームとして１枚以上の何枚の映像フレームを使用しても良い。また図６で説明したように、他の階層（第１〜３の映像フレーム列４２０、４４０、４６０）に属する映像フレームを参照フレームとして使用して動きベクトルを抽出しても良い。

本発明のいくつかの実施形態を説明したが、これらの実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。特に本実施形態の説明内容では測定対象者の動作推定を中心に説明した。しかしそれに限らず、例えば各種センサが設置された環境の状態推定に上記の実施形態を適用しても良い。

またこれら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

２ … 経過時間、
４、６ … フレーム表示期間、
８ … 処理期間、
１０ … 高画質化装置（ＴＶ受信装置内映像処理部）、
１４ … 第１の高画質化回路、
２２ … 映像入力部、
２４ … 映像出力部、
４０ … フレームメモリ、
８０ … フレームメモリ４０における処理、
８２ … 入力を第１の映像フレームとしてフレームメモリ４０に書き込み、
８４、８６ … 第１の高画質化回路１４における処理、
８８ … 第３の映像フレームをフレームメモリ４０から読み込んで出力、
４００ … 表示パネル。

Claims (2)

1. 映像入力部、映像出力部、フレームメモリおよび高画質化回路から構成される高画質化装置において、
   前記フレームメモリ内に予め記録された第１の映像フレームから前記高画質化回路内で第２の映像フレームに変換される第１の映像処理と、
   前記第２の映像フレームから前記高画質化回路内で第３の映像フレームに変換される第２の映像処理が実行され、
   １回のフレーム表示期間内に前記第１と前記第２の映像処理が完了する場合、
   さらに、前記第１の映像フレームとは異なる第４の映像フレームと前記第１の映像フレームを利用して前記第２の映像フレームに変換され、
   前記第２の映像フレームとは異なる第５の映像フレームと前記第２の映像フレームを利用して前記第３の映像フレームに変換され、
   かつ、前記第１の映像フレーム内の所定画素に対して第１の動きベクトルが定義されており、前記第１の動きベクトルに対応した前記第４の映像フレーム内の対応画素の情報を利用して前記第１の映像処理が行われ、
   前記第２の映像フレーム内の所定画素に対して第２の動きベクトルが定義されており、前記第２の動きベクトルに対応した前記第５の映像フレーム内の対応画素の情報を利用して前記第２の映像処理が行われる、
   高画質化装置。
2. 前記高画質化回路内で超解像処理及びノイズ低減処理を行う第１項記載の高画質化装置。

Images