JP6024374B2 - 画像処理装置 - Google Patents

Description

この発明は、画像処理技術に関し、特に、映像を高画質化する技術に関する。

従来のＣＲＴに代わって液晶ディスプレイが急速に普及している。液晶ディスプレイでは映像の表示方式としてプログレッシブ方式が採用されている。テレビ放送の映像信号やＤＶＤ−Ｖｉｄｅｏの映像信号はインタレース方式に準拠したものであるため、液晶ディスプレイを表示器として用いた表示装置の中には、インタレース方式の映像を高い画質で表示することを可能にする高画質映像処理回路を有しているものがある。この種の高画質映像処理回路における処理の一例としては、動き適応型ＩＰ変換や動き適応型ノイズリダクションが挙げられる。

動き適応型ＩＰ変換とは、インタレース方式の映像データをプログレッシブ方式の映像データに変換するＩＰ変換の１つである。動き適応型ＩＰ変換では、変換対象のフィールドとその前後のフィールドに亙る被写体の動きの大きさが検出され、動きが大きければ前後のフィールドの情報を利用したＩＰ変換が行われる一方、動きが小さければ変換対象のフィールドの情報のみを利用したＩＰ変換が行われる。なお、ＩＰ変換の詳細については特許文献１を参照されたい。動き適応型ノイズリダクションにおいても同様に被写体の動きの大きさに応じて処理が切り替えられる。このように、動き適応型ＩＰ変換や動き適応型ノイズリダクションでは、被写体の動きの大きさを求めるために処理対象のフィールドの前後のフィールドを参照する必要があるため、被写体の動きの大きさの特定の際に参照するフィールド数分ずつ各フィールドの映像を表す映像データをメモリに保持（以下、「映像のキャプチャ」という）しつつ、それらの処理を実行することが必要となる。

特開平１０−１４５８１７号公報

高画質映像処理の対象となる映像が高解像度化すると、映像のキャプチャ先のメモリとして大容量のものを用いることが必要となり、映像のキャプチャ先となるメモリにアクセスする際の帯域幅（すなわち、メモリからデータを読み出す際、およびメモリにデータを書き込む際の帯域幅）も十分に大きくする必要がある。また、近年では、複数種の映像の各々に高画質映像処理を施しつつＰｉＰ（Picture in picture）方式或いはＰｏＰ（Picture on
picture）方式で１つの映像に合成して表示装置に表示させることも一般に行われており、合成する映像数が増加すると、映像のキャプチャ先のメモリの記憶容量や帯域幅をさらに大きくすることが必要となる。しかし、このようなメモリの大容量化や広帯域化に対応するには画像処理装置の基板設計に高度かつ高価な技術が必要となる、といった問題がある。

本発明は上記課題に鑑みて為されたものであり、高画質映像処理などの画像処理の対象の映像データをバッファに格納する際に、バッファの容量をオーバーして上書きをしてしまうなどの破綻が発生することを回避しつつ、当該バッファの記憶容量および当該バッファにアクセスする際の帯域幅を削減することを可能にする技術を提供することを目的とする。

上記課題を解決するために本発明は、処理対象の映像データをラスタスキャン方向にエンコードして映像キャプチャ用メモリに書き込むエンコード部と、前記映像キャプチャ用メモリから画像処理に必要となる画面分のデータを読み出してデコードし、各画面の映像データを出力するデコード部と、前記デコード部から出力される映像データに画像処理を施して出力する画像処理部と、を備え、前記処理対象の１画面分の映像データをラスタスキャン方向に複数に分割して得られるデータを分割データとしたとき、前記エンコード部は、各分割データをエンコードする際に、１つ手前の分割データまでのエンコード結果から１画面分の映像データをエンコードした場合のデータサイズを推定し、当該データサイズと前記映像キャプチャ用メモリの空き容量とに基づいて当該分割データをエンコードする際のパラメータを調整する圧縮率調整手段を含んでいることを特徴とする画像処理装置を提供する。なお、上記画像処理部による画像処理の具体例としては、動き適応型ＩＰ変換や動き適応型ノイズリダクションなどの高画質映像処理が挙げられ、１画面分の映像データとは１フィールドの映像を表す映像データ、或いは１フレームの映像を表す映像データのことを言う。

本発明によれば、画像処理の処理対象となる映像データはエンコード部によるエンコードを経て映像キャプチャ用メモリに格納されるため、当該メモリの容量および当該メモリにアクセスする際の帯域幅を、エンコードを行わない従来技術に比較して小さくすることができる。また、映像キャプチャ用メモリとして従来と同程度の容量を有するものを用いる場合には、当該メモリに格納可能なフィールド数或いはフレーム数が従来よりも多くなるため、高画質映像処理における参照フィールド数或いは参照フレーム数を従来よりも増やし、より緻密な高画質映像処理を行うことが可能になる。

また、本発明においては、分割データのエンコードを行う毎に、１つ手前の分割データまでのエンコード結果から１画面分の映像データをエンコードした場合のデータサイズが推定され、推定されたデータサイズが映像キャプチャ用メモリの空き容量を上回っている場合には、圧縮効率が高くなるように（すなわち、エンコード後のデータサイズがより小さくなるように）当該分割データをエンコードする際のパラメータが調整される。このため、映像キャプチャ用メモリへのエンコードデータの書き込みの際に、オーバーフローに伴う上書きなどの破綻が発生することを確実に回避できる。

より好ましい態様においては、エンコード部は、各分割データをエンコードする際に、推定された前記データサイズが予め定めた最大エンコードデータサイズを上回っている場合に、圧縮効率が高くなるように前記パラメータを調整する第２の圧縮率調整手段を含んでいることを特徴とする。詳細については実施形態の説明において明らかにするが、このような態様によれば、画像処理部による処理を経た映像データの表す映像に対して要求される画質が得られる範囲で目標最大圧縮率を定めておけば、オーバーフローに伴う上書きといった破綻の回避と画質の維持とを両立させることが可能になる。

本発明の画像処理装置の一実施形態の画像処理ＬＳＩ１の構成例を示す図である。 同画像処理ＬＳＩ１の表示制御部８０が実行する合成処理を説明するための図である。 同画像処理ＬＳＩ１に接続される外部メモリ内に確保されるエンコードデータバッファを説明するための図である。 本実施形態における圧縮率、量子化パラメータおよび画質の評価値の時間遷移の一例を示す図である。 同画像処理ＬＳＩ１の外部映像データ用エンコーダ３０が実行する第１圧縮率調整処理を説明するための図である。 同画像処理ＬＳＩ１の外部映像データ用エンコーダ３０が実行する第２圧縮率調整処理を説明するための図である。

以下、図面を参照しつつ本発明の実施形態を説明する。
図１は、本発明の画像処理装置の一実施形態の画像処理ＬＳＩ１の構成例を示す図である。画像処理ＬＳＩ１は、インタレース方式のアナログ映像信号やデジタル映像データに高画質映像処理を施し、高画質映像処理後の映像とＯＳＤメニューとを合成して液晶ディスプレイなどの表示装置にリアルタイム表示させるものである。図１に示すように、画像処理ＬＳＩ１は、アナログフロントエンド（図１では、「ＡＦＥ」と表記、以下、本明細書でも同様）１０、ビデオデコーダ２０、外部映像データ用エンコーダ３０、外部映像データ用デコーダ４０、高画質映像処理部５０、補正処理部６０、ＯＳＤ描画部７０、表示制御部８０、ホストＣＰＵ−Ｉ／Ｆ９０、ＳＤＲＡＭ−Ｉ／Ｆ１００、ＲＯＭ−Ｉ／Ｆ１１０、および共有ワークメモリ１２０を含んでいる。ホストＣＰＵ−Ｉ／Ｆ９０には、画像処理ＬＳＩの作動制御を行うホストＣＰＵが接続される。ＳＤＲＡＭ−Ｉ／Ｆ１００には、ＳＤＲＡＭ等の外部メモリが接続される。そして、ＲＯＭ−Ｉ／Ｆ１１０には、ＯＳＤメニューを構成するスプライト等のパターンデータを格納したパターンＲＯＭが接続される。共有ワークメモリ１２０は、高画質映像処理部５０による高画質映像処理や補正処理部６０による補正処理を経た外部映像の映像データやＯＳＤ描画部により生成されたＯＳＤメニューの映像データを格納するワークメモリとして機能する。

ＡＦＥ１０には、例えばテレビ放送の映像信号やＤＶＤ−Ｖｉｄｅｏの映像信号、ビデオカメラの出力映像信号などのインタレース方式のアナログ映像信号が与えられる。ＡＦＥ１０は、与えられたアナログ映像信号にＡ／Ｄ変換を施し、変換結果であるデジタル形式の映像データ（すなわち、インタレース方式における各フィールドの映像データ）をビデオデコーダ２０に与える。ビデオデコーダ２０は、ＡＦＥ１０の出力する映像データから、同期信号、輝度成分、色成分を分離し、各々を表すデジタルデータを外部映像データ用エンコーダ３０に与える。

外部映像データ用エンコーダ３０には、ビデオデコーダ２０から与えられる映像データの他に、この映像データの表す映像と合成される映像を表すデジタル映像データ（例えば、ＩＴＵ６０１、ＩＴＵ６５６フォーマットの映像データ）が与えられる。外部映像データ用エンコーダ３０は、複数チャネルの映像データの各々を非可逆圧縮するエンコード処理を時分割方式で実行し、各映像データのエンコード結果（以下、エンコードデータ）をＳＤＲＡＭ−Ｉ／Ｆ１００に接続された外部メモリへ書き込む。外部映像データ用エンコーダ３０の入力段には、時分割処理をスムーズに行うために、チャネル毎にバッファが設けられている。

外部映像データ用デコーダ４０は、画像処理ＬＳＩ１における映像の表示タイミング（例えば、表示制御部８０により指示されるタイミング）にしたがってエンコードデータを外部メモリから読み出してデコードし、輝度（Ｙ）、色（Ｃｂ、Ｃｒ）データとして高画質映像処理部５０に与える。つまり、本実施形態では、ＳＤＲＡＭ−Ｉ／Ｆ１００に接続された外部メモリが「映像キャプチャ用のメモリ」として用いられる。本実施形態では、外部メモリを「映像キャプチャ用のメモリ」として用いるが、共有ワークメモリ１２０を映像キャプチャ用のメモリとして用いても勿論良く、両メモリの何れを映像キャプチャ用メモリとして用いるのかについては、映像入力のチャネル数、各映像の解像度等に応じて定めれば良い。

外部映像データ用エンコーダ３０によるエンコード処理、および外部映像データ用デコーダ４０によるデコード処理（以下、両者をまとめて「コーデック処理」と呼ぶ場合がある）は、ラスタスキャン方向に複数ライン分ずつ分割して行われる。このため、外部映像データ用デコーダ４０の後段の各部（高画質映像処理部５０、補正処理部６０、ＯＳＤ描画部７０および表示制御部８０）における処理についても、少量のメモリ（すなわち、複数ライン分のメモリ）でラスタ単位に実行することができる。

高画質映像処理部５０は、外部映像データ用デコーダ４０から与えられる映像データに、動き適応型ＩＰ変換、動き適応型ノイズリダクション等の高画質映像処理を施して補正処理部６０に与える。補正処理部６０は、高画質映像処理部５０による処理を経た映像データに対して、拡大縮小処理、回転処理、或いはカメラ映像の歪み補正などの各種補正処理を施し、外部映像レイヤの映像データとして共有ワークメモリ１２０に書き込む。ＯＳＤ描画部７０は、外部映像に重ねて表示装置に表示させるメニューや付属情報の映像を表す映像データをラスタ単位で生成し、ＯＳＤレイヤの映像データとして共有ワークメモリ１２０に書き込む。表示制御部８０は、共有ワークメモリ１２０から各レイヤの映像データを読み出し、ラスタ（複数ラインのバッファ）単位で図２（ａ）のように重ね合わせて図２（ｂ）に示すレイアウトの１画面分の映像データを生成し表示装置（図示略）へ出力する。なお、各レイヤを重ねる際の優先順位についてはユーザに自由に指定させるようにすれば良い。
以上が画像処理ＬＳＩ１の構成である。

本実施形態の特徴は、高画質映像処理の処理対象となる映像データをエンコードし、そのエンコード結果のエンコードデータを映像キャプチャ用メモリ（本実施形態では、外部メモリ）へ書き込む外部映像データ用エンコーダ３０と、映像キャプチャ用メモリに記憶されたエンコードデータを読み出してデコードし、デコード結果の映像データを高画質映像処理部５０に与える外部映像データ用デコーダ４０を設けた点にある。このように、高画質映像処理の処理対象となる映像データにエンコードを施して映像キャプチャ用メモリへ格納するようにしたため、本実施形態によれば、エンコードを施さずに映像のキャプチャを行う従来技術に比較して映像キャプチャ用のメモリの容量が少なくて済み、また、映像キャプチャ用のメモリにアクセスする際の帯域幅（本実施形態では、ＳＤＲＡＭ−Ｉ／Ｆ１００を介したデータ伝送の帯域幅）も従来に比較して狭くて済む。加えて、本実施形態では、外部映像データ用エンコーダ３０に本実施形態の特徴を顕著に示す処理を実行させることにより、高画質映像処理の処理対象の映像のキャプチャを行う際にオーバーフローに伴う上書きなどの破綻が発生することを回避することができる。以下、本実施形態の特徴を顕著に示す外部映像データ用エンコーダ３０を中心に説明する。

本実施形態では、映像データのコーデック処理をリアルタイムに遅延なく行うことが必要となるため、外部映像データ用エンコーダ３０におけるエンコードアルゴリズムとして１パスのエンコードアルゴリズム（すなわち、エンコード対象の映像データの解析処理と圧縮処理とを同時並列に進めるエンコードアルゴリズム）が採用されている。このエンコードアルゴリズムによる圧縮率ｒ（エンコード結果のデータサイズをエンコード前の映像データのデータサイズで除算した値×１００）は、ＭＰＥＧ等における場合と同様に量子化パラメータｑＰに応じて定まる。具体的には、量子化パラメータｑＰが大きいほど圧縮率ｒは低く（エンコード結果のデータサイズは小さく、すなわち、圧縮効率は高く）なり、エンコードデータをデコードして得られる映像データの表す映像の画質は低下する。なお、画質を評価するための指標値としては、ＰＳＮＲ（ピーク信号対雑音比）を用いることが考えられる。

本実施形態では、画像処理ＬＳＩ１による処理を経て表示装置に表示される映像に対して許容される画質に応じて、目標とする圧縮率ｒの最大値（以下、目標最大圧縮率）がユーザによって設定される。一方、外部映像データ用エンコーダ３０では、この目標最大圧縮率に応じて量子化パラメータｑＰの初期値が設定される。換言すれば、外部映像データ用エンコーダ３０は、目標最大圧縮率の設定を介して量子化パラメータの初期値を可変に設定できるように構成されている。目標最大圧縮率の設定を介して量子化パラメータの初期値を可変に設定する構成としては、目標最大圧縮率として想定し得る複数種の値の各々に対応付けて、量子化パラメータｑＰの初期値を書き込んだテーブルを外部映像データ用エンコーダ３０に記憶させておき、ユーザにより設定された目標最大圧縮率に応じた量子化パラメータを当該テーブルから読み出す処理を外部映像データ用エンコーダ３０に実行させる構成が考えられる。

また、外部映像データ用エンコーダ３０は、目標最大圧縮率に基づいて、１チャネル分の映像データの記憶に必要な容量の記憶領域を外部メモリ内に確保する。本実施形態では、高画質映像処理の処理対象となる映像データはインタレース方式のアナログ映像信号にＡ／Ｄ変換を施して得られたものであり、外部映像データ用エンコーダ３０は、１フィールドの目標最大エンコードデータサイズに応じた容量のバッファを１チャネル毎に８フィールド（すなわち、４フレーム）分ずつ確保する（図３参照）。これは、映像入力と合成後の映像出力が非同期であること、各映像データのエンコード結果（圧縮率）にバラツキが生じることを考慮したためである。なお、１フィールドの目標最大エンコードデータサイズ（バイト）は、目標最大圧縮率をｒ％、映像の水平解像度をＸ、垂直解像度をＹとし、１画素の画素値が２４ビットで表現されているとすると、以下の式（１）により算出される。
１フィールドの目標最大エンコードデータサイズ（バイト）
＝Ｘ×Ｙ／２×２４×ｒ／１００／８・・・（１）
図３に示すように外部メモリ内に確保された各バッファへのエンコードデータの書き込みと同バッファからのエンコードデータの読み出しは非同期で行われ、これらバッファはＦＩＦＯとして機能する。

映像データのエンコードでは、通常、前フィールドのエンコードデータサイズから次のフィールドをエンコードする際の量子化パラメータｑＰを決定し（最初のフィールドについては初期値を用いる）、１フィールド内では固定の量子化パラメータｑＰを用いてラスタスキャン方向に上から下へ映像データをエンコードすることが一般的である。本実施形態の外部映像データ用エンコーダ３０においても、同様に量子化パラメータｑＰの制御が為される。これは、各フィールドの圧縮率が目標最大圧縮率からばらつかないようにするためである。図４は、ある映像をエンコードする際の量子化パラメータｑＰ、圧縮率ｒ、画質を示す指標値ＰＳＮＲの関係を時間軸方向に示した図である。図４に示す例では、フィールドＦ１のエンコードの際に瞬間的に圧縮率ｒが目標最大圧縮率を超えているため、次のフィールドＦ２のエンコードでは圧縮率ｒが低下するように量子化パラメータｑＰが引き上げられている。逆にフィールドＦ３のエンコードでは圧縮率ｒが目標最大圧縮率を下回っているため、次のフィールドＦ４のエンコードでは圧縮率ｒが目標最大圧縮率に近づくように、量子化パラメータｑＰが引き下げられている。

しかしながら、量子化パラメータｑＰをフィールド単位で固定とする態様では、処理対象の映像にスノーノイズのような圧縮しにくい映像のフィールドが含まれていた場合に、当該フィールドにおける圧縮率が目標最大圧縮率をはるかに上回り、ＦＩＦＯ残量によってはオーバーフローに伴う上書きなどの破綻が発生する可能性がある。このような破綻の発生を回避するため、本実施形態の外部映像データ用エンコーダ３０には、量子化パラメータｑＰをよりきめ細やかに調整するための（換言すれば、圧縮率をきめ細やかに調整するための）第１圧縮率調整手段３０Ａと第２圧縮率調整手段３０Ｂとが設けられている。

前述したように、外部映像データ用エンコーダ３０におけるエンコード処理は、１フィールド分の映像データをラスタスキャン方向に複数に分割して得られる分割データ毎に行われる。第１圧縮率調整手段３０Ａは、分割データのエンコードを行う際に、１つ手前の分割データまでのエンコード結果のデータサイズから１フィールド分の映像データをエンコードした場合のエンコードデータのデータサイズを推定し、推定されたデータサイズがＦＩＦＯの空き容量を上回る場合には、より低い圧縮率で当該分割データがエンコードされるように量子化パラメータｑＰを調整する。つまり、第１圧縮率調整手段３０Ａは、ＦＩＦＯ残量が足りなくなると判断した場合には、１フィールド内でも段階的に量子化パラメータを引き上げる。量子化パラメータｑＰが引き上げられれば圧縮率ｒは低下し（図４参照）、ＦＩＦＯのオーバーフローが回避される。

図５は、１フィールドの映像データを垂直方向に４等分してエンコードする場合の第１圧縮率調整手段３０Ａの動作を説明するための図である。量子化パラメータｑＰを調整するか否かの判断は、図５に示すように、分割データのエンコード結果のＦＩＦＯへ書き込みを行う毎に実行される。より詳細に説明すると、第１圧縮率調整手段３０Ａは、分割データのエンコード結果のＦＩＦＯへの書き込みを行う毎に、１フィールド分の映像データをエンコードした場合のエンコードデータのデータサイズを、それまでにエンコードした分割データのエンコードデータのデータサイズに基づいて推定し、推定されたデータサイズがその１フィールドのエンコード開始時のＦＩＦＯの空き容量（ＦＩＦＯの容量）を上回っている場合には、量子化パラメータを所定量だけ（或いは、所定の割合で）引き上げる。

例えば、図５の領域Ａに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、第１圧縮率調整手段３０Ａは、当該エンコード結果のデータサイズＥ１に係数Ｋ１を乗算して得られる値を１フィールド分の映像データをエンコードした場合のエンコードデータのデータサイズの推定値としてＦＩＦＯの空き容量との比較を行う。同様に、図５の領域Ｂに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、第１圧縮率調整手段３０Ａは、当該エンコード結果のデータサイズと領域Ａに対応するエンコードデータのデータサイズの和Ｅ１２に係数Ｋ２を乗算して得られる値を、１フィールド分の映像データをエンコードした場合のエンコードデータのデータサイズの推定値としてＦＩＦＯの空き容量との比較を行う。そして、図５の領域Ｃに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、第１圧縮率調整手段３０Ａは、当該エンコード結果のデータサイズと領域Ａおよび領域Ｂの各々に対応するエンコードデータのサイズの和Ｅ１２３に係数Ｋ３を乗算して得られる値を、１フィールド分の映像データをエンコードした場合のエンコードデータのデータサイズの推定値としてＦＩＦＯの空き容量との比較を行う。ここで、上記係数Ｋ１、Ｋ２、およびＫ３の各々としてどのような値を用いるかについては適宜実験を行って定めれば良い。具体的には、本実施形態ではエンコード対象の映像データはラスタスキャン方向に４等分されているのであるから、Ｋ１＝４＋安全係数（或いは、４×安全係数）、Ｋ２＝４／２＋安全係数（或いは、４／２×安全係数）、Ｋ３＝４／３＋安全係数（或いは、４／３×安全係数）とし、各安全係数を実験により定めるようにすれば良い。

次いで、第２圧縮率調整手段３０Ｂについて説明する。
前述したように、本実施形態では、第１圧縮率調整手段３０Ａの働きによって、映像データをＦＩＦＯへ書き込む際にオーバーフローに伴う上書きなどの破綻が発生することを回避することができる。しかし、ここで留意しなければならないのは、映像キャプチャ用メモリに十分な空きがあり、その空き容量との比較では量子化パラメータｑＰ（換言すれば、圧縮率）の調整は必要ないと判断されるような場合であっても、目標最大圧縮率を上回る圧縮率でエンコードされたエンコードデータが映像キャプチャ用メモリに無制限に書き込まれるのは好ましくない、という点である。その理由は以下の通りである。目標最大圧縮率を上回る圧縮率でエンコードされたエンコードデータの書き込みが頻発すると、映像キャプチャ用メモリの空き容量は時間の経過とともに急速に減少する。映像キャプチャ用メモリの空き容量が時間の経過とともに急速に減少したとしても、本実施形態では、第１圧縮率調整手段３０Ａの働きによってオーバーフローに伴う上書きなどの破綻の発生は回避される。しかし、圧縮率が急速に引き下げられると、表示装置に表示される映像の画質が急速に低下してしまう。つまり、映像キャプチャ用メモリに十分な空きがあるからといって、目標最大圧縮率を上回る圧縮率でエンコードされたエンコードデータの書き込みを無制限に許容してしまうと、後続の映像の画質を大きく低下させてしまう虞がある。第２圧縮率調整手段３０Ｂは、このような事態の発生を回避するために設けられている。

より詳細に説明すると、第２圧縮率調整手段３０Ｂは、分割データのエンコードおよびＦＩＦＯへの書き込みを行う毎に、それまでにエンコードした分割データのエンコードデータのデータサイズがその分割データ分の最大エンコードデータサイズを上回るか否か判定し、上回る場合には、量子化パラメータを所定量だけ（或いは、所定の割合で）引き上げる。ここで、最大エンコードデータサイズとは、第２圧縮率調整手段３０Ｂによる上記調整をすることで大きな画質低下を防ぐことが可能となるように予め設定された、１フィールド分のデータサイズである。

例えば、第２圧縮率調整手段３０Ｂは、図６の領域Ａに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、当該エンコード結果のデータサイズＥ１と１フィールド分の目標最大エンコードデータサイズ（前掲式（１））に所定の係数Ｍ１を乗算することにより算出した領域Ａに対応する最大エンコードデータサイズとを比較し、前者が後者を上回っている場合に量子化パラメータを引き上げる。なお、データサイズＥ１から１フィールドのエンコードデータサイズを推定し、推定されたエンコードデータサイズと１フィールド分の最大エンコードデータサイズとの大小比較を行い、前者のほうが大きい場合に量子化パラメータｑＰを引き上げるようにしても良い。また、図６の領域Ｂに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、第２圧縮率調整手段３０Ｂは、当該エンコード結果のデータサイズと領域Ａに対応するエンコードデータのデータサイズの和Ｅ１２と１フィールド分の目標最大エンコードデータサイズに所定の係数Ｍ２を乗算することにより算出された領域Ａ＋領域Ｂに対応する最大エンコードデータサイズとを比較し、前者が後者を上回っている場合に量子化パラメータを引き上げる。そして、図６の領域Ｃに対応する分割データのエンコード結果のＦＩＦＯへの書き込みを行った時点では、第２圧縮率調整手段３０Ｂは、当該分割データのエンコード結果のデータサイズと領域Ａおよび領域Ｂの各々に対応する各エンコードデータのデータサイズの和Ｅ１２３と１フィールド分の目標最大エンコードデータサイズに所定の係数Ｍ３を乗算することにより算出された領域Ａ＋領域Ｂ＋領域Ｃに対応する最大エンコードデータサイズとを比較し、前者が後者を上回っている場合に量子化パラメータを引き上げる。

以上説明したように本実施形態の画像処理ＬＳＩにおいては、高画質映像処理の処理対象の映像データは外部映像データ用エンコーダ３０によるエンコードを経て映像キャプチャ用メモリに格納される。このため、映像キャプチャ用メモリの役割を果たす外部メモリの容量および当該外部メモリにアクセスする際の帯域幅を、エンコードを行わない従来技術に比較して小さくすることができる。また、上記外部メモリとして従来と同程度の記憶容量を有するものを用いる場合には、その外部メモリに格納可能なエンコードデータの数が従来よりも多くなるため、高画質映像処理における参照フレーム数を従来よりも増やし、より緻密な高画質映像処理を行うことが可能になる。

加えて、本実施形態では、映像キャプチャ用メモリの空き容量に応じて量子化パラメータ（換言すれば、映像データの圧縮率）が調整されるため、外部メモリへのエンコードデータの書き込みの際にオーバーフローに伴う上書きなどの破綻が発生することもない。

以上本発明の一実施形態について説明したが、この実施形態に以下の変形を加えても勿論良い。
（１）上記実施形態では、第１圧縮率調整手段３０Ａによる量子化パラメータの調整と第２圧縮率調整手段３０Ｂによる量子化パラメータの調整とを行う場合について説明した。しかし、第１圧縮率調整手段３０Ａによる調整のみでも、映像キャプチャ用メモリへのエンコードデータの書き込みの際のメモリ破壊を回避することができるため、第２圧縮率調整手段３０Ｂを省略しても良い。なお、上記実施形態では、量子化パラメータｑＰの調整により圧縮率の調整を実現したが、圧縮率を調整するためのパラメータについてはエンコードアルゴリズムとの関係で定めるようにすれば良い。

（２）上記実施形態では、外部映像データ用デコーダ４０の後段に高画質映像処理部５０および補正処理部６０からなる画像処理部を設けたが、他の種類の画像編集処理を実行する画像処理部を外部映像データ用デコーダ４０の後段に設けても良い。また、上記実施形態では、インタレース方式における１フィールド分の映像データをラスタスキャン方向に複数に分割して得られる分割データ毎に圧縮率の調整を行う場合について説明したが、プログレッシブ方式における１フレーム分の映像データをラスタスキャン方向に複数に分割して得られる分割データ毎に圧縮率の調整を行っても良い。要は、１画面分の映像データをラスタスキャン方向に複数に分割して得られる分割データ毎に圧縮率の調整を行う態様であれば良い。

（３）上記実施形態では、高画質映像処理の対象となる映像をキャプチャするためのメモリとしてＳＤＲＡＭ−Ｉ／Ｆ１００に接続された外部メモリを用いた。しかしながら、前述したように、共有ワークメモリ１２０（すなわち、画像処理ＬＳＩ１に内蔵されたメモリ）に映像キャプチャ用メモリの役割を担わせても良く、このような態様によれば、外部メモリを省略して画像表示システム全体の製造コストを引き下げることが可能になる。

（４）ＤＳＰ（Digital
Signal Processor）などのコンピュータを、外部映像データ用エンコーダ３０、外部映像データ用デコーダ４０、および外部映像データ用デコーダ４０の出力する映像データに各種画像処理を施すための画像処理部として機能させるプログラムを提供しても良い。ここで、このようなプログラムの具体的な提供態様としては、ＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）などのコンピュータ読み取り可能な記録媒体に当該プログラムを記録して配布する態様やインターネットなどの電気通信回線経由のダウンロードにより配布する態様が考えられる。

１０…アナログフロントエンド、２０…ビデオデコーダ、３０…外部映像データ用エンコーダ、４０…外部映像データ用デコーダ、５０…高画質映像処理部、６０…補正処理部、７０…ＯＳＤ描画部、８０…表示制御部、９０…ホストＣＰＵ−Ｉ／Ｆ、１００…ＳＤＲＡＭ−Ｉ／Ｆ、１１０…ＲＯＭ−Ｉ／Ｆ、１２０…共有ワークメモリ。

Claims (2)

1. 処理対象の映像データをラスタスキャン方向にエンコードして映像キャプチャ用メモリに書き込むエンコード部と、
   前記映像キャプチャ用メモリから画像処理に必要となる画面分のデータを読み出してデコードし、各画面の映像データを出力するデコード部と、
   前記デコード部から出力される映像データに画像処理を施して出力する画像処理部と、を備え、
   前記処理対象の１画面分の映像データをラスタスキャン方向に複数に分割して得られるデータを分割データとしたとき、前記エンコード部は、
   各分割データをエンコードする際に、１つ手前の分割データまでのエンコード結果から１画面分の映像データをエンコードした場合のデータサイズを推定し、前記処理対象の１画面分の映像データのエンコード開始時点の前記映像キャプチャ用メモリの空き容量を当該データサイズが上回る場合に、当該分割データをエンコードする際の圧縮効率を調整するためのパラメータを、圧縮効率が高くなるように調整する圧縮率調整手段と、
   各分割データをエンコードする際に、それまでにエンコードした分割データのエンコードデータサイズが、それまでにエンコードした分割データ数と予め設定された目標とする圧縮率とに基づく最大エンコードデータサイズを上回っている場合に、前記パラメータを圧縮効率が高くなるように調整する第２の圧縮率調整手段と、を含んでいる
   ことを特徴とする画像処理装置。
2. 前記エンコード部へ入力される映像データはアナログ映像信号にＡ／Ｄ変換を施して得られるデータであり、
   前記画像処理部から出力される映像データと他の映像データとを合成して、表示器に表示させる１画面分の映像データを生成して出力する合成手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
   

Images