JP5178680B2 - 複数のプロセサを利用する映像装置および画像処理方法 - Google Patents

Description

この発明は、複数のプロセサを利用する映像装置および画像処理方法に関する。

近年は、データ処理を行うプロセサの処理能力が高くなり、プロセサが種々な画像処理に利用されることが多くなっている（特許文献１参照）。また、プロセサを複数用いてより高度な画像処理を行うことも提案されている（特許文献２または特許文献３参照）。

特開２００６−３３７３９号公報 特開２００８−４７０３８号公報 特開２００１−１６７２４６号公報

特許文献１では、ノイズ除去や鮮鋭化などの高画質化技術を組み合わせて用いている。特許文献１の高画質化動作は、単一の画像処理プロセサ内での動作となっている。そのため、画像データを処理して得た高画質化に関するデータを画像処理モジュール（高画質化エンジンＨＶＥ）に適用する場合に、高画質化データを処理対象画像データに適用するタイミングを取ることに困難はない。具体的には、例えばフレーム単位での高画質化に関するデータを画像処理モジュールへフレーム単位で適用するタイミングを取ることは容易である。しかし、複数のプロセサを組み合わせて高画質化処理を行う場合で、かつ、画像データ用の通信路と高画質化に関するデータ用の通信路が論理的に独立している場合では、両データのタイミングを取ることが困難となる場合がある。

特許文献２の画像処理装置は、画像処理を行う機能マクロを複数備えている。先行して画像処理を行う第１機能マクロは、その処理後の画像データを記憶手段に格納し、続いて次の処理を行う第２機能マクロは記憶手段から画像データを読み込んで画像処理を行っている。その際、第１機能マクロ、第２機能マクロはそれぞれ処理するフレームを監視するようになっている（要約、段落００１０〜００１１参照）。ここでの複数機能マクロは複数の機能マクロ演算コア（複数のプロセサに対応）で処理されるが、複数機能マクロ間で画像データとその高画質化データのタイミングを合わせようとすると他機能マクロ処理状況の監視が必要となる。

特許文献３の画像処理装置は、バスインタフェースで接続された複数のプロセサで構成されている。各プロセサエレメント（ＰＥ）は他の全てのプロセサエレメント（ＰＥ）に対して画像データ処理状況を通知するようになっている（要約、段落０００９参照）。ここでの画像処理は複数プロセサエレメントで処理されるが、複数プロセサエレメント間で画像データとその高画質化データのタイミングを合わせようとすると、全てのプロセサエレメントに対して画像データ処理状況の通知が必要となり、処理が複雑化する。

この発明の課題の１つは、複数のプロセサを組み合わせて高画質化処理を行う場合で、かつ、画像データ用の通信路と高画質化に関するデータ用の通信路が異なる場合に、できるだけ処理の複雑化を避けつつ、両データのタイミングを取ることである。

この発明の一実施の形態に係る映像装置（１００）は、ソース機器（１０）からフレーム単位の画像データおよびこの画像データに関する制御データ（高画質化に関するデータ）を異なる経路（通信路１、通信路２）を介して別々に受け取り、受け取った前記制御データに基づき前記画像データに対して画像処理を行うシンク機器（２０）を含む。

この映像装置（１００）は、前記ソース機器（１０）から前記シンク機器（２０）へ時間的遅延を伴って前記画像データが届くタイミングと、前記ソース機器（１０）から前記シンク機器（２０）へ時間的遅延を伴って前記制御データが届くタイミングの間にずれが生じる場合に、先に届く方のタイミングと後に届く方のタイミングを合わせ、タイミングを合わせた前記制御データに基づき前記画像データを画像処理（高画質化処理）するように構成される。

あるいは、この映像装置（１００）は、複数フレームの前記画像データに対応する複数の前記制御データを平均化（平滑化）し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理（高画質化処理）するように構成される。ここで処理される画像データは、平均化された制御データの生成に用いた複数フレームの画像データのどれかに対応できるため、処理される画像データのタイミングとその平均化制御データ（高画質化に関するデータ）のタイミングを合わせることが容易となる。

この発明によれば、あるプロセサから別のプロセサへ送られる画像データおよび制御データ（画像データの高画質化に関するデータ）の到着時刻に差が生じても、その差を吸収して、適切な高画質化処理の制御を行うことができる。

複数プロセサを用いた高画質化処理を行うシステム構成の一例を説明する図。 図１のシステムにおける複数プロセサの内部構成の一例を説明する図。 図１のシステムにおける複数プロセサの内部構成の他例を説明する図。 図１のシステムにおける複数プロセサの内部構成のさらに他の例を説明する図。 高画質化データのバッファ制御の一例を説明するフローチャート図。 高画質化処理の制御の一例を説明するフローチャート図。 高画質化データの平均化処理の一例を説明するフローチャート図。

以下、図面を参照してこの発明の種々な実施の形態を説明する。図１は、この発明の一実施の形態に係る映像装置において、複数プロセサを用いて高画質化処理（ノイズ低減処理、鮮鋭度改善処理、および／または、図示しない画像階調性改善／色再現性改善／動画の動き平滑化処理など）を行うシステムの構成例を説明する図である。図１は、この発明を実施するにあたり前提となる構成（複数のプロセサを組み合わせて高画質化処理を行うもので、かつ、画像データ用の通信路１と高画質化に関するデータ用の通信路２が論理的に独立している構成）を概略的に示している。

ここで、「通信路１と通信路２が論理的に独立している」とは、次の状態を含む：（１）通信路１の伝送経路と通信路２の伝送経路が物理的に分かれている状態（これらの伝送経路が物理的に分かれていれば、両者は論理的にも独立できる）；（２）通信路１の伝送経路と通信路２の伝送経路が物理的に同じ（あるいは共通）だが、論理的には、通信路１の通信内容と通信路２の通信内容を互いに独立・分離して伝送できる状態。換言すれば、「通信路１と通信路２が論理的に独立している」とは、通信路１と通信路２が広い意味合いで異なる経路であることを意味している。つまり、ここにいう「異なる経路」は、論理的に独立しているものであればよい。

図１の映像装置１００は、第１プロセサ１０１を含むソース機器１０と、第２プロセサ１０２を含むシンク機器２０と、これらのプロセサ間をつなぐデータ通信路１０３および１０４を含んでいる。データ通信路１０３は画像データ用の通信路１として用いられ、データ通信路１０４は制御データ（高画質化に関するデータ）用の通信路２として用いられる。ソース機器１０は、例えば、デジタルＴＶに内装される第１の回路基板、ＳＴＢ（Set Top Box）、デジタルビデオレコーダ、ＡＶ機能を持つＰＣ（Personal Computer）などに対応させることができる。シンク機器２０は、例えば、デジタルＴＶに内装される第２の回路基板、ビデオプロジェクタ、ＡＶ機能を持つＰＣなどに対応させることができる。

ソース機器１０からは、例えばフレーム単位の画像データおよびこの画像データに関する制御データ（高画質化に関するデータ）が、異なる（物理的あるいは論理的に分かれた）通信路１および通信路２を介して、シンク機器２０へ送られる。シンク機器２０は、通信路１および通信路２を介して送られてきたデータを別々に受け取り、受け取った制御データに基づき受け取った画像データに対して画像処理を行う。

映像装置１００が例えばデジタルＴＶの場合、ソース機器１０をデジタルＴＶ内蔵のチューナ側回路基板（第１の回路基板）とすることができ、シンク機器２０をデジタルＴＶ内蔵の表示部側回路基板（第２の回路基板）とすることができる。この場合、通信路１０２および通信路１０３は、デジタルＴＶ内の基板間配線あるいは特定のデジタル伝送路とすることができる。このデジタル伝送路としては、ＨＤＭＩ（High-Definition Multimedia Interface）やＩＥＥＥ８０２．３標準の伝送路が考えられる。

一方、映像装置１００が映像ソース供給源（ＴＶチューナ等）を持たないビデオプロジェクタやビデオモニタの場合は、ソース機器１０を装置１００外部のＳＴＢやデジタルビデオレコーダまたはデジタルビデオプレーヤとすることができ、シンク機器２０を装置１００内部の表示部側回路基板とすることができる。この場合は通信路１０２および通信路１０３を一般的な機器間デジタル伝送路とすることができる。この機器間デジタル伝送路には、ＨＤＭＩやＩＥＥＥ８０２．３標準、あるいはＵＳＢ（Universal Serial Bus）やＩＥＥＥ１３９４標準の信号線路を用いることができる。

映像装置１００は、ソース機器１０およびシンク機器２０の双方を含むように構成され、さらに、図示しないＴＶチューナおよび表示装置の少なくとも１つを具備した映像装置とすることができる。また、映像装置１００を、図示しないハードディスクレコーダおよび光デスクレコーダの少なくとも１つを具備した映像装置とすることもできる。

ここでは、通信路１０２および通信路１０３として、物理的に独立した２つの信号線路を例示しているが、これらの通信路は物理的には１本の信号線路でもよい。画像データの変調方法と制御データの変調方法を変えるなどしてこれらのデータを多重化すれば、１本の信号線路を用いる場合でも、これらのデータを論理的に分離した形で個別伝送できる。また、通信路１０２および通信路１０３は、有線伝送路に限らず、電磁波を用いた無線伝送路で構成することもできる。データ伝送に光を用いる場合は、１本の光ファイバでもって、多重化された画像データおよび制御データを個別伝送する方法もある。

以下、図１のシステム構成が適用される映像装置１００の具体例として、デジタルＴＶを例にとって説明を続ける。デジタルＴＶなどのシステムでは、複数の画像処理プロセサを用いる場合があり、通常は複数のデータ通信路を用いて制御用データと画像データを同期して送受信し高画質化処理を行う。複雑化を避けるため図１ではプロセサを２つだけ例示しているが、プロセサは３個以上使用される場合もある。この例では、データ通信路として、画像データ用通信路１にＨＤＭＩ、制御データ用通信路２にＩＥＥＥ８０２．３標準の伝送路を想定している。すなわち、図１の例では、そのままでは画像データと制御用データを同期させることが困難なプロセサ間通信を必要とする、マルチプロセサシステムを想定している。

図２は、図１のシステムにおける複数プロセサの内部構成の一例を説明する図である。図２の構成における画像処理は、プロセサ１０１では主にソフトウェア（ファームウエア）、プロセサ１０２では主にハードウェアで実現されているものとして説明する。しかし、ソフトウェア、ハードウェアの処理形態には特に限定されない。プロセサ１０１は、圧縮符号化データのデコーダ２１１、第１のノイズ除去モジュール２１２、第１の鮮鋭化モジュール２１３などを含む。デコーダ２１１は、ＭＰＥＧ−２あるいはＨ．２６４／ＡＶＣなどで圧縮符号化された入力動画像データ２２０が入力されると、そのデコードを行う。入力動画像データ２２０の具体例としては、デジタル放送のＭＰＥＧストリームに含まれるＡＶ情報、デジタルビデオレコーダ／デジタルビデオプレーヤによるビデオ再生ストリームに含まれるＡＶ情報などがある。

デコーダ２１１でデコードされたＡＶ情報のうち、ビデオ情報は、第１のノイズ除去モジュール２１２および第１の鮮鋭化モジュール２１３などにより、高画質化処理を受ける。この高画質化処理は、適宜複数段階行うことができる（ノイズ除去モジュール２１２／鮮鋭化モジュール２１３は、図示しないが、１Ａ以外に、１Ｂ、１Ｃ、…等が存在し得る）。

ノイズ除去モジュール２１２／鮮鋭化モジュール２１３においては、デコーダ２１１で抽出した量子化パラメータＱＰ（Quantization Parameter）や動きベクトルなどを用いることで、ノイズ除去や鮮鋭化などの高画質化処理を行うことができる。これらのデータ（量子化パラメータＱＰや動きベクトルなど圧縮ストリーム中のデータそのものや、量子化パラメータＱＰや動きベクトルなどを高画質化処理で使用するために適切に変換した値）を、高画質化データ（高画質化のためのデータあるいは高画質化に関するデータ）２２２と呼ぶことにする。高画質化データ２２２は、プロセサ１０１内の高画質化処理ブロック（ノイズ除去モジュール／鮮鋭化モジュールなど）で利用することもできるが、その利用形態については、ここでは省略する。

プロセサ１０１による処理の結果得られた画像データ２２１は、通信路１０３（通信路1）を介してプロセサ１０２に送信され、バッファＢ１に格納される。プロセサ１０２は、ノイズ除去モジュール２１４および鮮鋭化モジュール２１５などを用いて、バッファＢ１に格納された画像データ２２１に対して更なる高画質化処理を行う。一般には、プロセサ１０２において、多段の高画質化処理が行われる（図示しないが、除去ノイズ除去モジュール／鮮鋭化モジュールなどは、２Ａ、２Ｂ、２Ｃ、…のように、多段に存在し得る）。

図２の構成では、通信路１０４（通信路２）を介してバッファＢ２に格納された高画質化データ２２２が、適宜、高画質化処理に適用される。高画質化処理を行う場合、制御ソフトウェア２１６は、バッファＢ２内の高画質化データ２２２を参照し、高画質化モジュール（ノイズ除去モジュール２１４／鮮鋭化モジュール２１５など）を制御する。

処理対象の画像データが動画情報を含む場合、高画質化データ２２２は、画像フレーム毎に変化するのが一般的である。そのため、プロセサ１０２における高画質化処理では、高画質化データ２２２を抽出した画像フレームに対してその高画質化データ２２２を適用することで、高い画質改善効果を得られる場合が多い。この場合、時間経過とともに変化する画像フレーム各々にどの高画質化データ２２２が対応するのかが分かっていると、高画質化処理のための制御を行いやすい。換言すると、画像データ２２１と高画質化データ２２２について、どの画像フレームとどの高画質化データが対応するのかが判明していれば制御がし易くなる。

しかし、この実施の形態で例示するシステムのように、同期の取りにくい複数通信路１、２で別々のデータが送出され、また、複数通信路１、２を介して接続される２つのプロセサのうちの一方がソフトウェアで実現されているような場合、画像データ２２１と高画質化データ２２２の同期が取りにくいことになる。

そこで、入力動画像データ２２０がプロセサ１０１の各処理を受けた後、通信路１を介してプロセサ１０２の高画質化処理モジュール（２１４、２１５）用バッファＢ１に到達するまでの遅延時間Ｔｄ１と、プロセサ１０１で取得した高画質化データ２２２が送信されてから通信路２の通信方式を介してプロセサ１０２の制御ソフトウェア２１６用バッファＢ２に到達するまでの遅延時間Ｔｄ２を、予め計測する。そして、計測された遅延時間Ｔｄ１とＴｄ２、またはそれらの差分ΔＴｄを、遅延差データ２２５としてメモリ２１７に記憶しておく。そうすれば、記憶された遅延差データ２２５を用いて、高画質化データ２２２と画像データ２２１の対応（同期）を取ることができる。すなわち、遅延差データ２２５を用いて、高画質化データ２２２と画像データ２２１のタイミングを合わせることができる。

具体的には、遅延差Ｔｄによるタイミングずれを解消するために、遅延が小さいほうのデータを適切にバッファリングすることで対応が可能となる。例えば、Ｔｄ１＜Ｔｄ２であれば、バッファＢ１からデータを取り出すタイミングを、バッファＢ２からデータを取り出すタイミングよりもΔＴｄ（＝Ｔｄ２−Ｔｄ１）だけ遅らせればよい。このΔＴｄはメモリ２１７に記憶された遅延差データ２２５から分かる。逆に、Ｔｄ１＞Ｔｄ２であれば、バッファＢ２からデータを取り出すタイミングを、バッファＢ１からデータを取り出すタイミングよりもΔＴｄ＊（＝Ｔｄ１−Ｔｄ２）だけ遅らせればよい。このΔＴｄ＊もメモリ２１７に記憶された遅延差データ２２５から分かる。

図３は、図１のシステムにおける複数プロセサの内部構成の他例を説明する図である。図３の例において、プロセサ１０１と１０２のデコーダや高画質化処理ブロック（ノイズ除去モジュール／鮮鋭化モジュール）の役割は図２の例と同様である。以下では、図２の例と異なる点を中心に説明を行う。まず、デコーダ２１１から得た高画質化データ２２２を、平滑化モジュール（または平均化モジュール）３１７の処理により複数フレームに渡って平滑化を行い、平滑化されたデータを高画質化データ３２１としてプロセサ１０２へ送出する。平滑化の具体的な方法は加算平均でもよい。プロセサ１０２の制御ソフトウェア２１６は、複数の画像フレームについて平滑化された高画質化データの値（バッファＢ２に記憶される）を用いて、高画質化処理ブロック（ノイズ除去モジュール２１４／鮮鋭化モジュール２１５など）を制御する。

図３の例では、バッファＢ２に記憶された高画質化データの値は、複数の画像フレームに対応している。そのため、バッファＢ２から取り出された高画質化データの値は、同じタイミングでバッファＢ１から取り出される画像フレームに対応するように構成できる。例えばバッファＢ２に記憶された高画質化データの値が１５フレーム分の平均値に対応している場合、バッファＢ１からのデータ取り出しタイミングとバッファＢ２からのデータ取り出しタイミングのずれが当該１５フレーム分の範囲内であれば、通信路１と通信路２の間に遅延時間の差があっても、プロセサ１０２における高画質化処理は、ほぼ有効に行うことができる。（バッファＢ２内の高画質化データは、通常は、対応する１５フレームの画像のどれに対しても、ほぼ適正な制御データとなっているため。）
なお、図３の構成では、画像データと制御データ（高画質化データ）がプロセサ１０１からプロセサ１０２へ到着するタイミングに（平均化の範囲内で）多少のずれがあっても、そのタイミング合わせは不要となる。そのため、タイミング合わせのだけのためにバッファＢ１およびＢ２を設ける必要はない。しかし、例えば物理的には１本の伝送路（あるいは配線）で通信路１と通信路２が兼用される場合で、画像データを断続的に伝送する合間に制御データを挿入するとき（画像データと制御データの時分割伝送）は、バッファＢ１およびＢ２を用いることになる。この場合、通信路１と通信路２は物理的には１つであっても論理的には２つと考えられ、論理通信路１の画像データ（バッファＢ１に格納）と論理通信路２の制御データ（バッファＢ２に格納）はバッファＢ１およびＢ２によって分離抽出されることになる。

図４は、図１のシステムにおける複数プロセサの内部構成のさらに他の例を説明する図である。図４の例において、プロセサ１０１と１０２のデコーダや高画質化処理ブロック（ノイズ除去モジュール／鮮鋭化モジュール）の役割は図２の例と同様である。以下では、図２の例と異なる点を中心に説明を行う。まず、プロセサ１０１内に、カウンタ４１７を設ける。プロセサ１０１内の高画質化処理最終段部分の出力データに対応する画像データ４２５に対し、カウンタ４１７のカウント値４２２を、電子透かし重畳モジュール４１８により重畳する。（ここで周知の電子透かし技術を用いたのは、重畳されたカウント値が画像データに悪影響しないように配慮したためである。画像データに悪影響がでない方法であれば、電子透かし以外の方法を用いてもよい。）このカウント値４２２が重畳された画像データ４２５が、プロセサ１０１の出力データとして送信路１に送出される。

一方、高画質化データ２２２には、データ追加モジュール４１６によりカウンタ４１７のカウント値４２３（カウント値４２２と同じか、それに１対１で対応した値）が追加され、高画質化データ４２１として送信路２に送出される。電子透かしによるカウント値４２２の重畳タイミングと、そのカウント値に対応する高画質化データ２２２の同期を取る方法はいくつか考えられる。具体的には、プロセサ１０１内の処理ブロックで、カウント値４２３（カウント値４２２に対応）の伝送を、それに対応する画像データ４２５の伝送と同時に行うように構成することが可能である。あるいは、電子透かし処理に伴うプロセサ１０１内の遅延量を予め計測してその遅延量計測値を図２のメモリ２１７と同様なメモリ（図４には図示せず）に格納しておき、その格納した計測値をバッファＢ１またはＢ２の読み出しタイミング制御に用いることも可能である。

プロセサ１０２では、電子透かし復号モジュール４１９により画像データ４２５に対して電子透かしの復号を行い、重畳されたカウント値４２４を取り出し、制御ソフトウェア２１６に渡す。制御ソフトウェア２１６は、渡されたカウント値４２４と、高画質化データ４２１に追加されたカウント値４２３が一致するタイミングで、高画質化制御を行うことができる。

図４の構成では、画像データと制御データ（高画質化データ）がプロセサ１０１からプロセサ１０２へ到着するタイミングにずれがあっても、画像データのカウント値と制御データのカウント値の照合により、画像データと制御データのタイミングずれの悪影響（画像データを不適切な制御データで画像処理してしまうこと）を払拭できる。図４の構成では、画像データのカウント値と制御データのカウント値の照合処理が行われる間、画像データと制御データのうち先にプロセサ１０２に届いた側を一時的に保持しておくために、バッファＢ１およびＢ２を設けている。

図５は、高画質化データのバッファ制御の一例を説明するフローチャートである。この処理は、例えば図２の構成に適用できる。ここで、プロセサ１０２には、高画質化データを保持するためのリングバッファparam2［ｉ］（そのサイズはＮで、ｉはポインタ）が設けられているものとする。このリングバッファparam2［ｉ］は、図２の構成ではバッファＢ２に対応する。

図５の処理が始まると、プロセサ１０２は、プロセサ１０１から高画質化データ２２２が到着するのを待つ（ＳＴ５０）。高画質化データ２２２が到着すると、その到着データはリングバッファparam2［ｉ］に格納される（ＳＴ５２）。この格納が済むと、リングバッファparam2［ｉ］のポインタｉが１つインクリメントされる（ＳＴ５４）。ｉ＜Ｎの間は（ＳＴ５６ノー）、ＳＴ５０〜ＳＴ５４の処理が反復される。ｉがＮ以上になると（ＳＴ５６イエス）、ポインタｉはゼロにリセットされ、図５の処理は最初から実行される。このようにして、プロセサ１０１からの高画質化データ２２２がバッファＢ２に格納される。

図６は、高画質化処理の制御の一例を説明するフローチャートである。この処理も、例えば図２の構成に適用できる。ここでは、ある高画質化データに対する該当画像データの遅延量を、Ｌフレームで表すことにする。

図６の処理が始まると、プロセサ１０２は、プロセサ１０１から画像データ２２１のビデオフレームが到着するのを待つ（ＳＴ６０）。到着した画像データ２２１のビデオフレームは、バッファＢ１に格納される。この格納が済むと、パラメータｊ＝ｉ−Ｌが算出される（ＳＴ６２）。ここで、ｉは図５で説明したポインタｉを指し、ｊはリングバッファparam2［ｊ］のポインタを指す。また、Ｌは画像データ２２１と、それに対応する高画質化データ２２２との間の遅延のずれ分をフレーム単位で示したものである。

ｊが０以下のときは（ＳＴ６４イエス）、ｊはＮ（バッファＢ２のサイズ）分インクリメントされる（ＳＴ６６）。ｊが０より大きいときは（ＳＴ６４ノー）、ｊのインクリメント処理はスキップされる。その後、リングバッファparam2［ｊ］（つまりバッファＢ２）のポインタｊが示す格納内容を用い、ポインタｊに対応する画像データのビデオフレームに対して、高画質化処理（ノイズ低減処理、鮮鋭度改善処理など）が、１段ないし多段に渡って、実行される（ＳＴ６８）。

プロセサ１０１からプロセサ１０２へ時間的遅延を伴って画像データが届くタイミングと、プロセサ１０１からプロセサ１０２へ時間的遅延を伴って高画質化データ（制御データ）が届くタイミングの間にずれがない場合、あるいはこのタイミングにずれがあってもその影響を実質的に回避できる構成を採る場合（図３の構成を用いる場合）には、Ｌ＝０とみなす、すなわちｊ＝ｉとすることで対応できる。

図７は、高画質化データの平均化処理の一例を説明するフローチャートである。この処理は、例えば図３の構成に適用できる。ここでは、等倍速で平均化するフレーム数をｎで指定し、特殊再生の倍速数をｖで指定することにする。また、図示しないが、プロセサ１０１には、高画質化データを保持するためのリングバッファparam1［ｉ］（サイズはＭ）と、カウンタｐが設けられているものとする。ここで、カウンタｐは、動画データ２２０のシーンが変化した後の最初のｎ＊ｖフレーム未満のデータ処理に用いるカウンタである。

まず、リングバッファparam1［ｉ］のポインタｉをゼロにリセットし（ＳＴ７０）、カウンタｐもゼロにリセットする（ＳＴ７２）。その後、プロセサ１０１では、高画質化のためのデータＤ（高画質化データ２２２に対応）が生成され（ＳＴ７４）、生成されたデータＤがリングバッファparam1［ｉ］に格納される（ＳＴ７６）。ここで、リングバッファparam1［ｉ］のサイズＭよりカウンタｐが小さければ（ＳＴ７８イエス）、カウンタｐは１カウント分インクリメントされる（ＳＴ８０）。カウンタｐの値がサイズＭ以上のときは（ＳＴ７８ノー）、ＳＴ８０はスキップされる。

続いて、param1［ｉ］をサイズＭのリングバッファとみなして、ポインタｉ（始めはｉ＝０）から、ｎ＊ｖ個分の高画質化データの値の平均値を算出する（ＳＴ８２）。ここで、ｐ＜ｎ＊ｖの場合は、ｐ個の平均値を算出する。

高画質化データ値の平均値算出が済んだら、ポインタｉが１つインクリメントされる（ＳＴ８４）。インクリメントした結果ｉがＭ以上になったら（ＳＴ８６イエス）、リングバッファparam1［ｉ］のポインタｉをゼロにリセットする（ＳＴ８８）。ｉ＜Ｍの間は（ＳＴ８６ノー）、ポインタｉのゼロリセットはしない。

続いてストリームに変更があったか否かがチェックされる。具体的には、動画データ２２０にシーン変化があったか否かがチェックされる。シーン変化がなければ（ＳＴ９０ノー）、ＳＴ７４に戻り、次の高画質化のためのデータＤが生成される。シーン変化があったときは（ＳＴ９０イエス）、ＳＴ７０に戻り、図７の処理が始めから実行される。

図７の処理では、早送り（ＦＦ）あるいは早戻し（ＲＥＷ）などの特殊再生において、入力動画データ２２０が実時間のｖ倍の速度で投入される場合には、平滑化を行うフレーム数を、通常再生の場合のｖ倍にすることで対応している。

なお、再生速度が非常に大きくなると、画像内容の視認性が低下して高画質化処理自体が意味を持たなくなる。そこで、上記ｖ倍の速度に適切な閾値を設け、高速再生時には高画質化処理自体を停止するように構成することも可能である。例えば、ｖの閾値を３とし、３倍速以下では高画質化処理を行うが、３倍速より速い場合では高画質化処理をしない（入力動画データを加工せずにそのまま表示に用いる）ように構成できる。

＜実施の形態の効果＞
（１）全般的な効果
プロセサ１０１からプロセサ１０２へ送られる画像データおよび制御データ（画像データの高画質化に関するデータ）の到着時刻に差が生じても、その差を吸収して、適切な高画質化処理の制御を行うことができる。

（２）図２の構成の効果
高画質化データ２２２と画像データ２２１がプロセサ１０１からプロセサ１０２へ到達するまでの遅延時間の差（タイミングずれ）を解消し、高画質化処理対象の画像フレームと高画質化のためのデータが同期して処理を行うようにすることができる。

（３）図３の構成の効果
高画質化データ２２２を平滑化することにより得た高画質化データ３２１は、平滑化（平均化）が有効な範囲では急峻な変化をすることがなくなる。そのため、高画質化制御時に、フレーム毎の高画質化データの急峻な変化による高画質化処理の悪影響（一時的な画質劣化）を排除することができる。

（４）図４の構成の効果
高画質化データ４２１と画像データ４２５の到達の遅延時間が特定できない場合でも、高画質化データと画像データのフレームを同期して高画質化処理を行うことができる。

＜実施の形態のまとめ＞
この発明の一実施の形態に係る映像装置では、複数のプロセサ間で、画像データおよび高画質に関するデータが論理的に異なる通信路（通信路１、通信路２）を介して送信される。その場合、
１．予め特定された到着時刻の差（図６の例ではＳＴ６２のＬフレームに対応）を利用して、高画質に関するデータを適用するフレームを決定する（図２参照）。あるいは、
２．高画質化に関するデータを複数のフレームに渡って平均化（平滑化）して求めることで、フレーム毎の画像変化による高画質化処理の結果の変動を吸収する（図３参照）。もしくは、
３．高画質化に関するデータと同期したカウントデータを、（画像データの表示にカウントデータが影響しないように）電子透かしなどを用いて画像データに重畳し、このカウントデータを利用して、画像データとこの画像データ用の高画質化データが対応するように両データの同期を取る（図４参照）。

なお、この発明は前述した実施の形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

１００…複数のプロセサを利用する映像装置、１０…ソース機器、２０…シンク機器、１０１…第１プロセサ（第１の高画質化処理プロセサ）、１０２…第２プロセサ（第２の高画質化処理プロセサ）、１０３…通信路１、１０４…通信路２、２１１…圧縮符号化データのデコーダ、２１２…第１のノイズ除去モジュール、２１３…第１の鮮鋭化モジュール、２１４…第２のノイズ除去モジュール、２１５…第２の鮮鋭化モジュール、２１６…制御ソフトウェア（制御モジュール）、２１７…遅延差データを記憶するメモリ、３１７…平滑化モジュール（平均化モジュール）、４１６…データ追加モジュール（カウント値付加モジュール）、４２２…カウンタ、４１８…電子透かし重畳モジュール、４１９…電子透かし復号モジュール、Ｂ１…画像データを記憶する第１バッファ、Ｂ２…制御データ（高画質化に関するデータ）を記憶する第２バッファ。

Claims (7)

1. ソース機器から画像データおよびこの画像データに関する制御データを異なる経路を介して別々に受け取り、この受け取った前記制御データに基づき受け取った前記画像データに対して画像処理を行うシンク機器を含む映像装置であって、
   複数フレームの前記画像データに対応する複数の前記制御データを平均化し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理するように構成された制御モジュールを具備する映像装置。
2. 前記画像データの再生速度を変える特殊再生時に、前記再生速度に応じて前記平均化に用いるフレーム数を変化させる請求項１に記載の映像装置。
3. 前記制御データと同期した特定データを前記ソース機器から前記シンク機器へ送り、送られた前記特定データを、前記制御データと前記画像データのタイミング合わせに用いる請求項１に記載の映像装置。
4. 前記特定データが、前記画像データに重畳される請求項３に記載の映像装置。
5. 前記ソース機器および／または前記シンク機器が、前記異なる経路の１つを介して送られる前記画像データに対して、ノイズ低減処理および／または鮮鋭化処理を行う請求項１に記載の映像装置。
6. 前記映像装置が、前記ソース機器および前記シンク機器の双方を含むように構成され、さらに、チューナおよび表示装置の少なくとも１つを具備した請求項１に記載の映像装置。
7. ソース機器から画像データおよびこの画像データに関する制御データを異なる経路を介して別々に受け取り、受け取った前記制御データに基づき受け取った前記画像データに対して画像処理を行うシンク機器を用いる方法において、
   複数フレームの前記画像データに対応する複数の前記制御データを平均化し、この平均化した制御データに基づき、この平均化した制御データが得られた際に届いている前記画像データを画像処理する画像処理方法。

Images