JP3945328B2

JP3945328B2 - Image processing apparatus and image processing method

Info

Publication number: JP3945328B2
Application number: JP2002204649A
Authority: JP
Inventors: 尚史法月
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-07-12
Filing date: 2002-07-12
Publication date: 2007-07-18
Anticipated expiration: 2022-07-12
Also published as: JP2004045884A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像データ帯域幅が異なる信号フォーマットの画像データを取り扱うビデオ表示制御装置や、これを実装したバッテリー駆動方式の携帯表示端末装置等に適用して好適な画像処理装置及び画像処理方法に関するものである。
【０００２】
詳しくは、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、この信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、この動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようにして、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律に画像処理等する場合に比べて無駄な消費電力を低減できるようにしたものである。
【０００３】
【従来の技術】
近年、半導体集積回路装置の高密度実装の実現化及び情報処理装置の多機能化から、ＡＣ駆動電源方式は元より、携帯電話機や、携帯ゲーム機、携帯型のコンピュータ等のバッテリー駆動方式の携帯表示端末装置も使用される場合が多くなってきた。
【０００４】
これらの携帯表示端末装置や、情報処理装置等においては、情報メディアの発達により各種信号フォーマットのデジタル画像データが取り扱われる場合が多くなってきた。信号フォーマットとしては、ＢＳデジタル放送用の画像データフォーマットである４８０ｉ／４８０ｐ／７２０ｐ／１０８０ｉ、インターネット経由で送出されるストリーミング画像データフォーマットの一つのＱＶＧＡ（３２０ピクセル×２４０ピクセル／６０ｆｐｓ）、カメラ用途の画像データフォーマットであるＣＩＦ（３５２ピクセル×２８８ピクセル）、ＱＣＩＦフォーマット（１７６ピクセル×１４４ピクセル／１０ｆｐｓ）等に見られるように多様化している。
【０００５】
これらの複数の画像データフォーマットの画像データを処理するビデオ表示制御用のＩＣチップ（以下でビデオプロセッサという）が製造され、このＩＣチップが携帯表示端末装置や、情報処理装置等に実装するようになされる。この種のビデオプロセッサでは様々な解像度及びフレームレートの信号フォーマットの画像データを扱うために、通常、ビデオプロセッサ内には画像データを保持するためのフレームメモリが実装される。ビデオプロセッサでは、フレームメモリから画像データを読み出して解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整処理が行なわれる（キャプチャ処理）。
【０００６】
【発明が解決しようとする課題】
ところで、従来方式のビデオプロセッサによれば、フレームメモリに記憶された画像データをキャプチャ処理する場合に、以下のような問題がある。
【０００７】
▲１▼ メモリアクセスの際のメモリクロック信号の動作周波数（スピード）に関しては、対応画像フォーマット中で最も情報量が多い信号フォーマットの画像データを処理可能なクロックスピードに設定されている。しかも、クロックスピードが固定されている。
【０００８】
従って、親画面に子画面を表示するような表示形式を採る場合や、低解像度、低フレームレートの信号フォーマットの画像データを入力する場合においても、メモリクロックスピードが固定されているので、余分な電力を消費してしまう。
【０００９】
▲２▼ また、ビデオプロセッサをバッテリー駆動方式の携帯表示端末装置等に適用した場合に、帯域幅が異なる信号フォーマットの画像データを動作周波数固定のクロック信号に基づいて一律に画像処理すると、バッテリーの消費が早くなり充電を頻繁にしなければならなくなる。
【００１０】
そこで、この発明はこのような従来の課題を解決したものであって、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、動作周波数固定のクロック信号に基づいて一律に画像処理等する場合に比べて無駄な消費電力を低減できるようにした画像処理装置及び画像処理方法を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した課題は、所定の解像度及び帯域幅を含む信号フォーマットの画像データと共に、表示クロック信号、水平同期信号及び垂直同期信号を入力して画像を処理する装置であって、画像データを記憶する記憶手段と、この記憶手段に記憶される画像データの信号フォーマットを検出し、かつ、水平同期信号の信号エッジ変化回数を計測すると共に、垂直同期信号の信号エッジ変化回数を計測し、表示クロック信号と計測された水平同期信号の信号エッジ変化回数及び垂直同期信号の信号エッジ変化回数とに基づいて画像データの１フレームの情報量及び帯域幅を検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段と、この信号検出手段による動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成する信号生成手段と、この信号生成手段から出力されるクロック信号に基づいて記憶手段の書込み読出し制御をする制御手段とを備えることを特徴とする画像処理装置によって解決される。
【００１２】
本発明に係る画像処理装置によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、信号検出手段では記憶手段に記憶される画像データの信号フォーマットが検出され、かつ、水平同期信号の信号エッジ変化回数が計測されると共に、垂直同期信号の信号エッジ変化回数が計測され、表示クロック信号と計測された水平同期信号の信号エッジ変化回数及び垂直同期信号の信号エッジ変化回数とに基づいて画像データの１フレームの情報量及び帯域幅が検出されて、当該画像データの帯域幅が演算され動作周波数設定情報が信号生成手段に出力される。信号生成手段では、信号検出手段による動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようになされる。これを前提にして、制御手段では信号生成手段から出力されるクロック信号に基づいて記憶手段の書込み読出し制御をするようになされる。
【００１３】
従って、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する場合に、信号生成手段に対してその画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。
【００１４】
これにより、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【００１５】
本発明に係る画像処理方法は所定の解像度及び帯域幅を含む信号フォーマットの画像データと共に、表示クロック信号、水平同期信号及び垂直同期信号を入力して画像を処理する方法であって、画像データの信号フォーマットを検出し、かつ、水平同期信号の信号エッジ変化回数を計測すると共に、垂直同期信号の信号エッジ変化回数を計測し、表示クロック信号と計測された前記水平同期信号の信号エッジ変化回数及び垂直同期信号の信号エッジ変化回数とに基づいて画像データの１フレームの情報量及び帯域幅を検出して当該画像データの帯域幅を演算することにより動作周波数設定情報を求め、ここで求められた動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成し、ここで生成されたクロック信号に基づいてメモリ書込み読出し制御をすることを特徴とするものである。
【００１６】
本発明に係る画像処理方法によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データと共に、表示クロック信号、水平同期信号及び垂直同期信号を入力して画像を処理する場合であって、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する際に、その画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。
【００１７】
従って、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【００１８】
【発明の実施の形態】
続いて、この発明に係る画像処理装置及び画像処理方法の一実施の形態について、図面を参照しながら説明をする。
図１は本発明に係る実施形態としての画像処理装置を応用したビデオ表示制御装置１００の構成例を示すブロック図である。
この実施形態では、所定の解像度及び帯域幅を含む信号フォーマットの画像データを処理する場合に、この信号フォーマットを検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、この動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようにして、帯域幅が異なる信号フォーマットの画像データをメモリ書込み読出し処理等する場合に、その画像データの帯域幅に対応した動作周波数を可変設定できるようにすると共に、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて無駄な消費電力を低減できるようにしたものである。
【００１９】
図１に示すビデオ表示制御装置１００は画像処理装置の一例であり、所定の解像度及び帯域幅を含む信号フォーマットのディジタルの画像データ（以下単に画像データともいう）を処理する装置である。このビデオ表示制御装置１００では帯域幅が異なる信号フォーマットの画像データも取り扱われる。ビデオ表示制御装置１００の応用例としてはバッテリー駆動方式の携帯表示端末装置等に実装される。もちろん、これに限られることはなく、ＡＣ電源駆動用のビデオ表示制御装置１００に適用してもよい。
【００２０】
このビデオ表示制御装置１００は入力バッファ１、画像フォーマット検出回路５、クロック生成回路６、メモリ制御部７、フレームメモリ８、ビデオプロセッサ部９及びビデオ表示部１０を有している。このビデオ表示制御装置１００には例えば、図示しないＭＰＥＧデコーダから、コンポーネント信号としてディジタル画像データと共に、表示クロック信号（以下単にピクセルクロックＣｐという）、水平同期信号ＳＨ及び垂直同期信号ＳＶが入力される。
【００２１】
このビデオ表示制御装置１００ではＭＰＥＧデコーダから出力されるコンポーネント信号の他に、ＢＳデジタル放送のデジタル画像データ、インターネットと接続されるサーバーからのＱＶＧＡ（Quater Video Graphics Array）サイズ等の画像データ、図示しないカメラモジュールから供給されるＣＩＦ（Common Intermediate Format）、ＱＣＩＦ（Quater Common Intermediate Format）サイズ等の画像データを取り扱うこともできる。ＱＶＧＡサイズ等の画像データは、ストリーミング画像データ送出サービスを提供するサーバーから供給され、図示しないＣＰＵのメモリバス経由で入力される。
【００２２】
入力バッファ１には画像データＤIN及びピクセルクロックＣｐが入力され、フレームメモリ８に書き込む際にその画像データＤINがピクセルクロックＣｐに基づいて一時的に保持するようになされる。例えば、画像データＤINをフレームメモリ８に書き込む際に、フレームメモリ８とメモリ制御部７の間のメモリバスが、ビデオプロセッサ部９内で使用する図示しないＯＳＤデータや、ビデオプロセッサ部９内の他のモジュール制御用パラメータ等のデータで占有されている場合に、この入力バッファ１に一時的に画像データを保持するように使用される。
【００２３】
この入力バッファ１に入力されたピクセルクロックＣｐは、水平同期信号ＳＨ及び垂直同期信号ＳＶと共に画像フォーマット検出回路５に供給される。画像フォーマット検出回路５は信号検出手段の一例であり、この検出回路５は水平カウンタ２、垂直カウンタ３及び帯域幅演算回路４を有している。
【００２４】
水平カウンタ２は第１のカウンタ回路の一例であり、ＭＰＥＧデコーダ等からの水平同期信号ＳＨを入力して信号エッジ変化回数（アクティブに遷移する回数）を計測するようになされる。水平カウンタ２はカウンタ値を帯域幅演算回路４に出力する。
【００２５】
垂直カウンタ３は第２のカウンタ回路であり、同様にしてＭＰＥＧデコーダ等からの垂直同期信号ＳＶを入力して信号エッジ変化回数（アクティブに遷移する回数）を計測するようになされる。垂直カウンタ３はカウンタ値を帯域幅演算回路４に出力する。
【００２６】
帯域幅演算回路４は演算回路の一例であり、ピクセルクロックＣｐと水平及び垂直カウンタ２、３から得られるカウンタ値に基づいて画像データＤINの１フレームの情報量及び帯域幅（フレームレート）を検出して動作周波数設定情報Ｎ，Ｍを演算し出力するようになされる。動作周波数設定情報Ｎ，Ｍは基準周波数Ｆｓのクロック信号（以下で基準クロック信号ＣLKという）を分周するための分周比を内容とするものである。
【００２７】
このように、画像フォーマット検出回路５ではフレームメモリ８に記憶される画像データＤINの信号フォーマットを検出して当該画像データＤINの帯域幅を演算し動作周波数設定情報Ｎ及びＭをクロック生成回路６に出力するようになされる。
【００２８】
この画像フォーマット検出回路５には信号生成手段の一例となるクロック生成回路６が接続されており、この検出回路５による動作周波数設定情報Ｎ，Ｍに基づいて基準クロック信号ＣLKから所望の動作周波数のクロック信号を生成するようになされる。例えば、クロック生成回路６はメモリ制御部７で使用するメモリクロック信号φｍ及び、ビデオプロセッサ部９で使用する表示クロック信号φｖを基準クロック信号ＣLKから生成する。基準クロック信号ＣLKは外部から入力される。
【００２９】
このクロック信号φｍによって、メモリ制御部７とフレームメモリ８とを最適化された動作周波数で動作させること、クロック信号φｐによってビデオプロセッサ部９を最適化された動作周波数で動作させることができ、クロック信号φｖによってビデオ表示部１０を最適化された動作周波数で動作させることができ、消費電力を低減させることができる。このクロック生成回路６には制御手段の一例となるメモリ制御部７が接続されており、この生成回路６から出力されるメモリクロック信号φｍに基づいてフレームメモリ８の書込み読出し制御をするようになされる。
【００３０】
メモリ制御部７には記憶手段の一例となるフレームメモリ８が接続されており、デジタルの画像データＤINを記憶するようになされる。フレームメモリ８には画像データＤINの他に、ＯＳＤデータやビデオプロセッサ制御用のパラメータ等も記憶される。フレームメモリ８にはＲＡＭ等が使用される。フレームメモリ８には出力バッファ１１が接続されており、フレームメモリ８から読み出す際にその画像データＤINを一時的に保持するようになされる。
【００３１】
メモリ制御部７では入力バッファ１からフレームメモリ８へ画像データＤINを書き込む際に、そのタイミング制御及び、フレームメモリ８から出力バッファ１１へ画像データＤINを読み出す際に、そのタイミング制御を実行するようになされる。例えば、メモリ制御部７は入力バッファ１とフレームメモリ８との間で画像データＤINの書き込み制御をしたり、フレームメモリ８と出力バッファ１１を通してビデオプロセッサ部９との間で画像データＤINの読み出し制御をする。
【００３２】
メモリ制御部７にはビデオプロセッサ部９が接続されており、フレームメモリ８よりメモリ制御部７を経由して入力される画像データＤINに対して、例えば、解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整等の処理を行なうようになされる。
【００３３】
ビデオプロセッサ部９にはビデオ表示部１０が接続されており、ビデオプロセッサ部９で処理された画像データＤINが入力され、表示クロック信号φｖに基づいて画像データＤINを出力するようになされる。表示クロック信号φｖはクロック生成回路６から供給される。
【００３４】
図２はクロック生成回路６の構成例を示すブロック図である。図２に示すクロック生成回路６は例えば３つのＰＬＬ（Phase-Locked Loop）シンセサイザブロック＃１〜＃３を有している。ＰＬＬシンセサイザブロック＃１は基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて基準クロック信号ＣLKから所望の動作周波数のメモリクロック信号φｍを発生するようになされる。
【００３５】
ＰＬＬシンセサイザブロック＃２は基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて所望の動作周波数の表示クロック信号φｖを発生するようになされる。ＰＬＬシンセサイザブロック＃３は基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて所望の動作周波数のプロセッサクロック信号φｐを発生するようになされる。
【００３６】
図３はＰＬＬシンセサイザブロック＃１等の内部構成例を示すブロック図である。図３に示すＰＬＬシンセサイザブロック＃１は、分周器（１／Ｎ）２１、位相比較器２２、ループフィルタ２３、ＶＣＯ（Voltage Control Oscillator；電圧制御発振器）２４及び分周器（１／Ｍ）２５を有している。
【００３７】
分周器２１では画像フォーマット検出回路５から供給される動作周波数設定情報Ｎに基づいて基準周波数Ｆｓの基準クロック信号ＣLKを１／Ｎに分周し周波数Ｆｓ／Ｎの分周出力信号Ｓ２１を発生し位相比較器２２に出力する。
【００３８】
一方、分周器２５では画像フォーマット検出回路５から供給される動作周波数設定情報Ｍに基づいてＶＣＯ２４から出力される周波数Ｆｏの例えば、メモリクロック信号φｍを１／Ｍに分周して周波数Ｆｏ／Ｍの分周出力信号Ｓ２５を発生し位相比較器２２に出力する。
【００３９】
位相比較器２２では分周器２１による分周出力信号Ｓ２１の周波数Ｆｓ／Ｎと、分周器２５による分周出力信号Ｓ２５の周波数Ｆｏ／Ｍとを比較しその位相を一致するようになされる。
Ｆｓ／Ｎ＝Ｆｏ／Ｍ・・・・・（１）
この位相比較器２２における関係式（１）から（２）式、すなわち、
Ｆｏ＝（Ｎ／Ｍ）・Ｆｓ・・・（２）
が導かれ、この位相比較器２２の出力がループフィルタによってフィルタ処理される。フィルタ処理後の出力電圧はＶＣＯ２４において電圧制御発振制御に使用され、ＶＣＯ２４から動作周波数Ｆｏのメモリクロック信号φｍ等を出力するようになされる。
【００４０】
続いて、本発明に係る画像処理方法について当該ビデオ表示制御装置１００の動作例について説明をする。図４はビデオ表示制御装置１００の動作例を示すフローチャートである。
このビデオ表示制御装置１００では、所定の解像度及び帯域幅を含む信号フォーマットの画像データＤINをメモリ書込み読出し処理する場合を前提とする。この場合、画像データＤINの信号フォーマットを検出して当該画像データＤINの帯域幅を演算することにより動作周波数設定情報Ｎ，Ｍを求め、ここで求められた動作周波数設定情報Ｎ，Ｍに基づいて基準クロック信号ＣLKから所望の動作周波数のクロック信号を生成し、ここで生成されたクロック信号に基づいてメモリ書込み読出し制御をする場合を例に挙げる。
【００４１】
これらを動作条件にして、このビデオ表示制御装置１００には例えば、図示しないＭＰＥＧデコーダから、コンポーネント信号としてディジタル画像データＤINと共に、ピクセルクロックＣｐ、水平同期信号ＳＨ及び垂直同期信号ＳＶが入力される。ピクセルクロックＣｐは、水平同期信号ＳＨ及び垂直同期信号ＳＶと共に画像フォーマット検出回路５に供給される。
【００４２】
そして、図４に示すフローチャートのステップＡ１で画像フォーマット検出回路５ではフレームメモリ８に記憶される画像データＤINの信号フォーマットが検出される。このとき、入力バッファ１には画像データＤIN及びピクセルクロックＣｐが入力され、フレームメモリ８に書き込む際にその画像データＤINをピクセルクロックＣｐに基づいて一時的に保持するようになされる。
【００４３】
そして、ステップＡ２で当該画像データＤINの帯域幅が演算されて動作周波数設定情報Ｎ，Ｍがクロック生成回路６に出力される。このとき、水平カウンタ２では水平同期信号ＳＨの信号エッジ変化回数が計測され、この水平カウンタ２のカウンタ値が帯域幅演算回路４に出力される。垂直カウンタ３では垂直同期信号ＳＶの信号エッジ変化回数が計測され、この垂直カウンタ３のカウンタ値が帯域幅演算回路４に出力される。
【００４４】
帯域幅演算回路４ではピクセルクロックＣｐと水平及び垂直カウンタ２、３から得られるカウンタ値に基づいて画像データＤINの１フレームの情報量及び帯域幅（フレームレート）を検出して動作周波数設定情報Ｎ，Ｍが演算される。動作周波数設定情報Ｎ，Ｍは基準クロック信号を分周するための分周比を内容とするものである。動作周波数設定情報Ｎ，Ｍはクロック生成回路６に出力するようになされる。
【００４５】
そして、ステップＡ３でクロック生成回路６では、画像フォーマット検出回路５による動作周波数設定情報Ｎ，Ｍに基づいて基準クロック信号ＣLKから所望の動作周波数のクロック信号を生成するようになされる。例えば、クロック生成回路６のＰＬＬシンセサイザブロック＃１は基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて基準クロック信号ＣLKから所望の動作周波数Ｆｏのメモリクロック信号φｍを発生するようになされる。
【００４６】
また、ＰＬＬシンセサイザブロック＃２では基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて所望の動作周波数Ｆｏ’の表示クロック信号φｖを発生するようになされる。ＰＬＬシンセサイザブロック＃３は基準クロック信号ＣLK及び動作周波数設定情報Ｎ，Ｍに基づいて所望の動作周波数Ｆｏ’’のプロセッサクロック信号φｐを発生するようになされる。
【００４７】
その後、ステップＡ４で画像データのキャプチャ処理を実行する。このとき、メモリ制御部７では入力バッファ１からフレームメモリ８へ画像データＤINを書き込む際に、メモリクロック信号φｍに基づいてそのタイミング制御を実行する（書込み制御）。このタイミング制御によって、ディジタルの画像データＤINをフレームメモリ８に記憶するようになされる。
【００４８】
また、メモリ制御部７ではフレームメモリ８から出力バッファ１１へ画像データＤINを読み出す際に、メモリクロック信号φｍに基づいてそのタイミング制御を実行するようになされる。このタイミング制御によって、画像データＤINをビデオプロセッサ部９へ読み出すようになされる。
【００４９】
ビデオプロセッサ部９ではフレームメモリ８よりメモリ制御部７を経由して入力される画像データＤINに対して、例えば、プロセッサクロック信号φｐに基づいて解像度変換、フレームレート変換、ブライトネス、コントラスト、ガンマ、シャープネス等の画質調整等の処理がなされる。
【００５０】
ビデオ表示部１０ではビデオプロセッサ部９で処理された画像データＤINが入力され、表示クロック信号φｖに基づいて画像データＤOUTを出力するようになされる。画像データＤOUTは例えば液晶表示装置に出力される。
【００５１】
そして、ステップＡ５で画像データＤINの信号フォーマットが変更されたかが検出される。このビデオ表示制御装置１００ではＭＰＥＧデコーダから出力されるコンポーネント信号の他に、ＢＳディジタル放送のディジタル画像データ、インターネットと接続されるサーバーからのＱＶＧＡサイズ等の画像データ、図示しないカメラモジュールから供給されるＣＩＦ、ＱＣＩＦサイズ等の画像データを取り扱うこともできる。ＱＶＧＡサイズ等の画像データは、ストリーミング画像データ送出サービスを提供するサーバーから供給され、図示しないＣＰＵのメモリバス経由で入力される。
【００５２】
従って、信号フォーマットが変更された場合はステップＡ１に戻る。信号フォーマットが変更されない場合はステップＡ６に移行して終了判断をする。この際の判断はユーザである。ビデオ表示制御処理を終了する場合は、上述の画像処理を終了する。画像処理を終了しない場合はステップＡ１に戻ってビデオ表示制御処理を継続するようになされる。
【００５３】
［実施例］
ここで、画像データの入力が４８０ｐのＢＳディジタル放送用の信号フォーマットから、ＱＶＧＡサイズの１０ｆｐｓのストリーミングデータに切り替わった場合を例に採る。
【００５４】
▲１▼ ４８０ｐのＢＳディジタル放送用の信号フォーマットの場合
この場合、図４に示したステップＡ１で４８０ｐの画像データ、水平同期信号ＳＨ、垂直同期信号ＳＶ、ピクセルクロックＣｐがビデオ表示制御装置１００に入力されると、この画像データの信号フォーマットが水平カウンタ２、垂直カウンタ３、帯域幅演算回路４を有する画像フォーマット検出回路５によって検出される。
【００５５】
この画像フォーマット検出回路５ではステップＡ２で水平カウンタ２のカウント値がインクリメントされる毎に、ピクセルクロックＣｐは８５８カウントされる。また、垂直カウンタ３のカウント値がインクリメントされる毎に、水平カウンタ２が５２５回カウントアップされる。「５２５」は水平方向のライン数を示すカウント値である。この垂直カウンタ３がインクリメントされる期間を計測することにより、フレームレートが計算される。
【００５６】
この４８０ｐのＢＳディジタル放送用の信号フォーマットでフレームレートは６０フレーム／秒（以下でｆｐｓと記述する）となる。これらの演算結果から画像フォーマット検出回路５はクロック生成回路６にて生成する最適なメモリクロック信号φｍの設定を行なう。この例では、画像フォーマット検出回路５によって４８０ｐが検出されているので、画像データ帯域幅は、８５８（ピクセル）×５２５（ライン）×１６（ＹＵＶデータ；ＹＵＶ［４：２：２］）×６０（ｆｐｓ）＝４３２．４３２Ｍｂｉｔ／ｓとなる。
【００５７】
フレームメモリ８からメモリ制御部７への画像データの読み出し時にも同じ情報量の画像データを占有する必要があるので、画像データ帯域幅は２倍の４３２．４３２Ｍ×２＝８６４．８６４Ｍｂｉｔ／ｓとなる。この例で３２ｂｉｔ幅のバーストアクセスモード（１クロックで１回のデータ転送が可能なモード）を使用した場合、必要なメモリクロック信号の動作周波数Ｆｏは８６４．８６４Ｍ÷３２＝２７．０２７ＭＨｚとなる。
【００５８】
画像フォーマット検出回路５はこのような動作周波数情設定報Ｎ，Ｍをクロック生成回路６に出力するようになされる。クロック生成回路６は画像フォーマット検出回路５から動作周波数設定情報Ｎ，Ｍを受け取り、メモリクロック信号φｍをＯＳＤデータ等の他のデータ転送に必要な帯域幅（フレームレート）に上乗せしたクロック数を設定する。
【００５９】
例えば、ＯＳＤ（On Screen Display）データ等の転送に６４０Ｍｂｉｔ／ｓの画像データ帯域幅が必要な場合は、６４０Ｍ÷３２＝２０ＭＨｚ分上乗せする。つまり、クロック生成回路６では動作周波数Ｆｏが２７Ｍ＋２０Ｍ＝４７ＭＨｚとなるようなメモリクロック信号φｍを出力するように、図３に示したＰＬＬシンセサイザブロック＃１等が電圧制御発振制御され、最適な動作周波数Ｆｏのメモリクロック信号φｍを生成するようになされる。
【００６０】
▲２▼ 画像データＤINの入力の信号フォーマットがＱＶＧＡサイズ１０ｆｐｓのストリーミングデータに切り替わった場合
この場合も、４８０ｐのＢＳディジタル放送用の信号フォーマットと同様にして、画像フォーマット検出回路５によって、画像データの情報量を演算によって求めた後、当該画像データの信号フォーマットが検出される。この例では、画像フォーマット検出回路５によってＱＶＧＡサイズ１０ｆｐｓのストリーミングデータが検出されるので、画像データ帯域幅は、３２０（ピクセル）×２４０（ピクセル）×１６（ＲＧＢ５６５；Ｒ色＝５ｂｉｔ，Ｇ色＝６ｂｉｔ，Ｂ色＝５ｂｉｔ）×１０（ｆｐｓ）＝１２．２８８Ｍｂｉｔ／ｓとなる。
【００６１】
このビデオ表示制御装置１００で必要な画像データ帯域幅は１２．２８８Ｍ×２＝２４．５７６Ｍｂｉｔ／ｓであり、信号フォーマット４８０ｐの場合と同一のメモリアクセス条件とすると、メモリバス占有率では２４．５７６Ｍ÷３２＝０．７６８ＭＨｚとなるためメモリクロック信号φｍの動作周波数Ｆｏは２０Ｍ＋０．７６８Ｍ＝２０．７６８ＭＨｚとなる。
【００６２】
この例では画像データの信号フォーマットによってメモリクロック信号φｍの動作周波数Ｆｏを適宜低減することが可能となる。この結果、本発明方式を適用したビデオ表示制御装置１００の消費電力は従来の技術を適用したビデオ表示制御装置と比較して大幅に低減することができる。
【００６３】
図５は画像データの各種信号フォーマット及び消費電力低減例を示す表図である。図５に示す表図には、当該ビデオ表示制御装置１００へ入力される画像データの５つの信号フォーマット（以下で入力画像フォーマットともいう）に関して、その画像データ帯域幅、ＯＳＤデータ帯域幅、メモリクロック信号φｍの動作周波数Ｆｏの設定値（以下でメモリクロック設定値ともいう）及び消費電力比を各々示している。
【００６４】
この例では入力画像フォーマットに関しては、ＳＶＧＡ（Super Video Graphics Array；８００×６００／６０ｆｐｓ）、４８０ｐ（７２０×４８０／６０ｆｐｓ）、ＶＧＡ（６４０×４８０／６０ｆｐｓ）、ＱＶＧＡ（３２０×２４０／６０ｆｐｓ）、ＱＣＩＦ（１７６×１４４／１０ｆｐｓ）の５つを挙げ、全ての解像度を１６Ｂｉｔ／ピクセルと仮定した。画像データ帯域幅に関しては、本文中の計算例に沿って計算したものであって、少数点以下を切り上げたものである。例えば、ＳＶＧＡの場合、８００×６００×６０×２＝９２１．６Ｍｂｉｔ／ｓである。
【００６５】
また、ＯＳＤデータ帯域幅は一律に１００Ｍｂｉｔ／ｓとしている。メモリクロック設定値に関しては、メモリバスが３２Ｂｉｔ時を例に挙げ、その動作周波数Ｆｏを、
Ｆｏ＝｛（画像データ帯域幅＋ＯＳＤデータ帯域幅）×１．１｝／３２
により求めた。なお、フレームメモリ８のフレッシュサイクル等のアクセス不可時間として１０％を考慮に入れて計算した。消費電力比はＳＶＧＡ時の消費電力を１００％とした場合の比である。
【００６６】
この表図によれば、画像データの信号フォーマットＳＶＧＡで画像データ帯域幅が９２２Ｍｂｉｔ／ｓで、ＯＳＤデータ帯域幅が１００Ｍｂｉｔ／ｓで、メモリクロック信号φｍの動作周波数Ｆｏが３６ＭＨｚであり、その消費電力比を１００％とすると、その信号フォーマット４８０ｐでは画像データ帯域幅が６４４Ｍｂｉｔ／ｓで、ＯＳＤデータ帯域幅が１００Ｍｂｉｔ／ｓで、メモリクロック信号φｍの動作周波数Ｆｏが２７ＭＨｚであり、その消費電力比は７５％に低減される。
【００６７】
また、画像データの信号フォーマットＶＧＡでは画像データ帯域幅が５９０Ｍｂｉｔ／ｓで、ＯＳＤデータ帯域幅が１００Ｍｂｉｔ／ｓで、メモリクロック信号φｍの動作周波数Ｆｏが２４ＭＨｚであり、その消費電力比は６７％に低減される。
【００６８】
更にまた、画像データの信号フォーマットＱＶＧＡでは画像データ帯域幅が１４８Ｍｂｉｔ／ｓで、ＯＳＤデータ帯域幅が１００Ｍｂｉｔ／ｓで、メモリクロック信号φｍの動作周波数Ｆｏが９ＭＨｚであり、その消費電力比は２５％に低減される。更に、画像データの信号フォーマットＱＣＩＦでは画像データ帯域幅が９Ｍｂｉｔ／ｓで、ＯＳＤデータ帯域幅が１００Ｍｂｉｔ／ｓで、メモリクロック信号φｍの動作周波数Ｆｏが４ＭＨｚであり、その消費電力比は１２％に低減される。
【００６９】
このように、本発明に係る実施形態としてのビデオ表示制御装置１００によれば、フレームメモリ８に記憶される画像データＤINの信号フォーマットを検出して当該画像データＤINの画像データ帯域幅を演算し動作周波数設定情報Ｎ，Ｍを出力する画像フォーマット検出回路５を備え、図５に示したような画像データ帯域幅が異なる信号フォーマットの画像データＤINをメモリ書込み読出し処理等する場合に、クロック生成回路６に対してその画像データＤINの帯域幅に対応した動作周波数Ｆｏを可変設定することができる。
【００７０】
従って、画像データ帯域幅が最も広い画像データＤINをメモリ書込み読出し処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データＤINをメモリ書込み読出し処理するクロック信号の動作周波数を低く設定することができる。これにより、画像データ帯域幅が異なる画像データＤINを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、画像データ帯域幅が狭い画像データＤINを動作周波数Ｆｏの低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができた。
【００７１】
本発明のビデオ表示制御装置１００を携帯電話機や携帯ゲーム機等のバッテリー駆動型の情報処理機器に実装した場合に、１回の充電で使用できる連続作動時間を従来方式のバッテリー駆動型の情報処理機器に比べて長くすることができる。また、バッテリー駆動方式の携帯表示端末装置等に表示用の半導体チップを高密度に形成したグラフティックチップにおいて、余分な電力消費を抑えることができるので機器本体の発熱を抑制することができる。
【００７２】
【発明の効果】
以上説明したように、本発明に係る画像処理装置及び画像処理方法によれば、所定の解像度及び帯域幅を含む信号フォーマットの画像データと共に、表示クロック信号、水平同期信号及び垂直同期信号を入力して画像を処理する場合に、この画像データの信号フォーマットを検出し、かつ、水平同期信号の信号エッジ変化回数を計測すると共に、垂直同期信号の信号エッジ変化回数を計測し、表示クロック信号と計測された水平同期信号の信号エッジ変化回数及び垂直同期信号の信号エッジ変化回数とに基づいて画像データの１フレームの情報量及び帯域幅を検出して当該画像データの帯域幅を演算し動作周波数設定情報を出力する信号検出手段を備え、信号生成手段ではこの動作周波数設定情報に基づいて基準クロック信号から所望の動作周波数のクロック信号を生成するようになされる。
【００７３】
この構成によって、帯域幅が異なる信号フォーマットの画像データを画像処理する場合に、信号生成手段に対してその画像データの帯域幅に対応した動作周波数を可変設定することができるので、帯域幅が最も広い画像データを画像処理するクロック信号の動作周波数よりも、帯域幅が狭い画像データを画像処理するクロック信号の動作周波数を低く設定することができる。
【００７４】
従って、帯域幅が異なる画像データを動作周波数固定のクロック信号に基づいて一律にメモリ書込み読出し処理等する場合に比べて、帯域幅が狭い画像データを動作周波数の低いクロック信号でメモリ書込み読出し処理することができるので、無駄な消費電力を省くことができる。
【００７５】
この発明は画像データ帯域幅が異なる信号フォーマットの画像データを取り扱うビデオ表示制御装置や、これを実装したバッテリー駆動方式の携帯表示端末装置等に適用して極めて好適である。
【図面の簡単な説明】
【図１】本発明に係る実施形態としての画像処理装置を応用したビデオ表示制御装置１００の構成例を示すブロック図である。
【図２】クロック生成回路６の構成例を示すブロック図である。
【図３】ＰＬＬシンセサイザブロック＃１等の内部構成例を示すブロック図である。
【図４】ビデオ表示制御装置１００の動作例を示すフローチャートである。
【図５】画像データの各種信号フォーマット及び消費電力低減例を示す表図である。
【符号の説明】
１・・・入力バッファ、２・・・水平カウンタ（第１のカウンタ）、３・・・垂直カウンタ（第２のカウンタ）、４・・・帯域幅演算回路（演算回路）、５・・・画像フォーマット検出回路（信号検出手段）、６・・・クロック生成回路（信号生成手段）、７・・・メモリ制御部（制御手段）、８・・・フレームメモリ（記憶手段）、９・・・ビデオプロセッサ、１０・・・ビデオ表示部、１１・・・出力バッファ、＃１〜＃３・・・ＰＬＬシンセサイザブロック、１００・・・ビデオ表示制御装置[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image processing apparatus and an image processing method suitable for application to a video display control apparatus that handles image data of signal formats having different image data bandwidths, a battery-driven portable display terminal apparatus in which the image data bandwidth is mounted, and the like. Is.
[0002]
Specifically, when processing image data of a signal format including a predetermined resolution and bandwidth, signal detection means for detecting the signal format, calculating the bandwidth of the image data, and outputting operating frequency setting information is provided. When the image data of a signal format having a different bandwidth is image-processed by generating a clock signal having a desired operating frequency from the reference clock signal based on the operating frequency setting information, the bandwidth of the image data is set. The corresponding operating frequency can be variably set, and wasteful power consumption can be reduced compared to the case where image data with different bandwidths is uniformly processed based on a clock signal with a fixed operating frequency. It is.
[0003]
[Prior art]
In recent years, due to the realization of high-density mounting of semiconductor integrated circuit devices and the multi-function of information processing devices, not only AC drive power supply systems but also battery-driven mobile phones such as mobile phones, portable game machines, and portable computers. Display terminal devices are also often used.
[0004]
In these portable display terminal devices, information processing devices, and the like, digital image data in various signal formats is often handled with the development of information media. The signal format is 480i / 480p / 720p / 1080i, which is an image data format for BS digital broadcasting, QVGA (320 pixels × 240 pixels / 60 fps), one of the streaming image data formats sent via the Internet, The image data format is diversified as seen in CIF (352 pixels × 288 pixels), QCIF format (176 pixels × 144 pixels / 10 fps), and the like.
[0005]
An IC chip for video display control (hereinafter referred to as a video processor) that processes image data in a plurality of image data formats is manufactured, and this IC chip is mounted on a portable display terminal device, an information processing device, or the like. Made. In order to handle image data of signal formats with various resolutions and frame rates in this type of video processor, a frame memory for holding image data is usually mounted in the video processor. The video processor reads image data from the frame memory and performs image quality adjustment processing such as resolution conversion, frame rate conversion, brightness, contrast, gamma, and sharpness (capture processing).
[0006]
[Problems to be solved by the invention]
By the way, the conventional video processor has the following problems when the image data stored in the frame memory is captured.
[0007]
(1) The operating frequency (speed) of the memory clock signal at the time of memory access is set to a clock speed capable of processing image data of a signal format having the largest amount of information among the corresponding image formats. Moreover, the clock speed is fixed.
[0008]
Therefore, even when adopting a display format that displays a child screen on the parent screen or when inputting image data of a signal format with a low resolution and a low frame rate, the memory clock speed is fixed. Power is consumed.
[0009]
(2) Further, when the video processor is applied to a battery-driven portable display terminal device or the like, if image data of signal formats having different bandwidths are uniformly processed based on a clock signal with a fixed operating frequency, Consumption increases and charging must be done frequently.
[0010]
Accordingly, the present invention solves such a conventional problem, and when image data of signal formats having different bandwidths is subjected to image processing, the operating frequency corresponding to the bandwidth of the image data can be variably set. It is another object of the present invention to provide an image processing apparatus and an image processing method capable of reducing wasteful power consumption as compared with a case where image processing is uniformly performed based on a clock signal having a fixed operating frequency.
[0011]
[Means for Solving the Problems]
The problem described above is that image data in a signal format including a predetermined resolution and bandwidth. Along with the display clock signal, horizontal sync signal and vertical sync signal, A storage means for storing image data and a signal format of the image data stored in the storage means. In addition, the number of signal edge changes of the horizontal synchronization signal is measured, the number of signal edge changes of the vertical synchronization signal is measured, the number of signal edge changes of the display clock signal and the measured horizontal synchronization signal, and the signal edge of the vertical synchronization signal Detect the amount of information and bandwidth of one frame of image data based on the number of changes Signal detecting means for calculating the bandwidth of the image data and outputting operating frequency setting information, and signal generation for generating a clock signal having a desired operating frequency from the reference clock signal based on the operating frequency setting information by the signal detecting means And an image processing apparatus comprising: a control means for controlling writing and reading of the storage means based on a clock signal output from the signal generating means.
[0012]
According to the image processing apparatus of the present invention, when processing image data of a signal format including a predetermined resolution and bandwidth, the signal detection unit detects the signal format of the image data stored in the storage unit, and , The number of signal edge changes of the horizontal synchronization signal is measured, the number of signal edge changes of the vertical synchronization signal is measured, the number of signal edge changes of the display clock signal and the measured horizontal synchronization signal, and the number of signal edge changes of the vertical synchronization signal The amount of information and bandwidth of one frame of image data is detected based on The bandwidth of the image data is calculated Movement The operation frequency setting information is output to the signal generation means. The signal generating means generates a clock signal having a desired operating frequency from the reference clock signal based on the operating frequency setting information by the signal detecting means. On the premise of this, the control means performs write / read control of the storage means based on the clock signal output from the signal generation means.
[0013]
Therefore, when image data of a signal format having a different bandwidth is subjected to a memory write / read process or the like, an operation frequency corresponding to the bandwidth of the image data can be variably set for the signal generation unit. The operating frequency of the clock signal for memory write / read processing of image data having a narrow bandwidth can be set lower than the operating frequency of the clock signal for memory write / read processing of the widest image data.
[0014]
This makes it possible to write and read image data with a narrow bandwidth using a clock signal with a low operating frequency, compared to the case where image data with different bandwidths is uniformly written to the memory based on a clock signal with a fixed operating frequency. Therefore, useless power consumption can be saved.
[0015]
An image processing method according to the present invention includes image data having a signal format including a predetermined resolution and bandwidth. Along with the display clock signal, horizontal sync signal and vertical sync signal, The signal format of the image data is detected. In addition, the number of signal edge changes of the horizontal synchronization signal is measured, the number of signal edge changes of the vertical synchronization signal is measured, and the display clock signal and the measured signal edge change number of the horizontal synchronization signal and the signal of the vertical synchronization signal are measured. Detect the amount of information and bandwidth of one frame of image data based on the number of edge changes The operating frequency setting information is obtained by calculating the bandwidth of the image data, and a clock signal having a desired operating frequency is generated from the reference clock signal based on the operating frequency setting information obtained here. The memory write / read control is performed based on the clock signal.
[0016]
According to the image processing method of the present invention, image data in a signal format including a predetermined resolution and bandwidth Along with the display clock signal, horizontal sync signal and vertical sync signal, When processing image data of a signal format having a different bandwidth when performing memory write / read processing, etc., the operating frequency corresponding to the bandwidth of the image data can be variably set. The operating frequency of the clock signal for memory write / read processing of image data having a narrow bandwidth can be set lower than the operating frequency of the clock signal for memory write / read processing of the widest image data.
[0017]
Therefore, image data with a narrow bandwidth is subjected to memory write / read processing with a clock signal with a low operating frequency, compared to a case where image data with different bandwidths is uniformly written into memory based on a clock signal with a fixed operating frequency. Therefore, useless power consumption can be saved.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Subsequently, an embodiment of an image processing apparatus and an image processing method according to the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of a video display control apparatus 100 to which an image processing apparatus as an embodiment according to the present invention is applied.
In this embodiment, when processing image data of a signal format including a predetermined resolution and bandwidth, the signal detection means detects the signal format, calculates the bandwidth of the image data, and outputs operating frequency setting information And generating a clock signal having a desired operating frequency from a reference clock signal based on the operating frequency setting information, and performing image writing and reading processing on image data of a signal format having a different bandwidth. The operating frequency corresponding to the data bandwidth can be variably set, and wasteful power consumption compared to the case where image data with different bandwidths is uniformly written to the memory based on a clock signal with a fixed operating frequency. Can be reduced.
[0019]
A video display control apparatus 100 shown in FIG. 1 is an example of an image processing apparatus, and is an apparatus that processes digital image data (hereinafter also simply referred to as image data) having a signal format including a predetermined resolution and bandwidth. The video display control apparatus 100 also handles image data of signal formats having different bandwidths. As an application example of the video display control device 100, it is mounted on a battery-driven portable display terminal device or the like. Of course, the present invention is not limited to this, and the present invention may be applied to the video display control apparatus 100 for driving an AC power source.
[0020]
The video display control device 100 includes an input buffer 1, an image format detection circuit 5, a clock generation circuit 6, a memory control unit 7, a frame memory 8, a video processor unit 9, and a video display unit 10. For example, a display clock signal (hereinafter, simply referred to as a pixel clock Cp), a horizontal synchronization signal SH, and a vertical synchronization signal SV are input to the video display control apparatus 100 together with digital image data as a component signal from an MPEG decoder (not shown).
[0021]
In this video display control apparatus 100, in addition to component signals output from an MPEG decoder, digital image data of BS digital broadcast, image data such as a QVGA (Quater Video Graphics Array) size from a server connected to the Internet, not shown Image data such as CIF (Common Intermediate Format) and QCIF (Quater Common Intermediate Format) supplied from the camera module can also be handled. Image data such as the QVGA size is supplied from a server that provides a streaming image data transmission service, and is input via a memory bus of a CPU (not shown).
[0022]
The image data DIN and the pixel clock Cp are input to the input buffer 1, and the image data DIN is temporarily held based on the pixel clock Cp when writing to the frame memory 8. For example, when the image data DIN is written in the frame memory 8, the memory bus between the frame memory 8 and the memory control unit 7 uses the OSD data (not shown) used in the video processor unit 9 or other in the video processor unit 9. The input buffer 1 is used to temporarily hold image data when it is occupied by data such as module control parameters.
[0023]
The pixel clock Cp input to the input buffer 1 is supplied to the image format detection circuit 5 together with the horizontal synchronization signal SH and the vertical synchronization signal SV. The image format detection circuit 5 is an example of a signal detection unit. The detection circuit 5 includes a horizontal counter 2, a vertical counter 3, and a bandwidth calculation circuit 4.
[0024]
The horizontal counter 2 is an example of a first counter circuit. The horizontal counter 2 receives a horizontal synchronization signal SH from an MPEG decoder or the like and measures the number of signal edge changes (the number of times of active transition). The horizontal counter 2 outputs the counter value to the bandwidth calculation circuit 4.
[0025]
The vertical counter 3 is a second counter circuit, and similarly receives a vertical synchronizing signal SV from an MPEG decoder or the like and measures the number of signal edge changes (the number of times of active transition). The vertical counter 3 outputs the counter value to the bandwidth calculation circuit 4.
[0026]
The bandwidth arithmetic circuit 4 is an example of an arithmetic circuit, and detects the amount of information and bandwidth (frame rate) of one frame of the image data DIN based on the pixel clock Cp and the counter values obtained from the horizontal and vertical counters 2 and 3. Thus, the operating frequency setting information N, M is calculated and output. The operating frequency setting information N and M includes a frequency division ratio for dividing the clock signal having the reference frequency Fs (hereinafter referred to as the reference clock signal CLK).
[0027]
As described above, the image format detection circuit 5 detects the signal format of the image data DIN stored in the frame memory 8, calculates the bandwidth of the image data DIN, and supplies the operating frequency setting information N and M to the clock generation circuit 6. It is made to output.
[0028]
The image format detection circuit 5 is connected to a clock generation circuit 6 which is an example of a signal generation means. Based on the operation frequency setting information N and M by the detection circuit 5, the reference clock signal CLK has a desired operation frequency. A clock signal is generated. For example, the clock generation circuit 6 generates a memory clock signal φm used in the memory control unit 7 and a display clock signal φv used in the video processor unit 9 from the reference clock signal CLK. The reference clock signal CLK is input from the outside.
[0029]
The clock signal φm allows the memory control unit 7 and the frame memory 8 to operate at an optimized operating frequency, and the clock signal φp allows the video processor unit 9 to operate at an optimized operating frequency. The video display unit 10 can be operated at the optimized operating frequency by the signal φv, and the power consumption can be reduced. The clock generation circuit 6 is connected to a memory control unit 7 which is an example of a control means, and performs write / read control of the frame memory 8 based on the memory clock signal φm output from the generation circuit 6. The
[0030]
A frame memory 8 as an example of a storage unit is connected to the memory control unit 7 so as to store digital image data DIN. In addition to the image data DIN, the frame memory 8 also stores OSD data, video processor control parameters, and the like. A RAM or the like is used for the frame memory 8. An output buffer 11 is connected to the frame memory 8 so that the image data DIN is temporarily held when reading from the frame memory 8.
[0031]
The memory control unit 7 executes the timing control when writing the image data DIN from the input buffer 1 to the frame memory 8 and the timing control when reading the image data DIN from the frame memory 8 to the output buffer 11. Made. For example, the memory control unit 7 controls the writing of the image data DIN between the input buffer 1 and the frame memory 8 or controls the reading of the image data DIN between the video processor unit 9 through the frame memory 8 and the output buffer 11. do.
[0032]
A video processor unit 9 is connected to the memory control unit 7, and for example, resolution conversion, frame rate conversion, brightness, contrast for image data DIN input from the frame memory 8 via the memory control unit 7. Processing such as image quality adjustment such as gamma and sharpness is performed.
[0033]
A video display unit 10 is connected to the video processor unit 9, and the image data DIN processed by the video processor unit 9 is input, and the image data DIN is output based on the display clock signal φv. The display clock signal φv is supplied from the clock generation circuit 6.
[0034]
FIG. 2 is a block diagram illustrating a configuration example of the clock generation circuit 6. The clock generation circuit 6 shown in FIG. 2 includes, for example, three PLL (Phase-Locked Loop) synthesizer blocks # 1 to # 3. The PLL synthesizer block # 1 generates a memory clock signal φm having a desired operating frequency from the reference clock signal CLK based on the reference clock signal CLK and the operating frequency setting information N and M.
[0035]
The PLL synthesizer block # 2 is adapted to generate a display clock signal φv having a desired operating frequency based on the reference clock signal CLK and the operating frequency setting information N and M. The PLL synthesizer block # 3 generates a processor clock signal φp having a desired operating frequency based on the reference clock signal CLK and the operating frequency setting information N and M.
[0036]
FIG. 3 is a block diagram showing an internal configuration example of the PLL synthesizer block # 1 and the like. A PLL synthesizer block # 1 shown in FIG. 3 includes a frequency divider (1 / N) 21, a phase comparator 22, a loop filter 23, a VCO (Voltage Control Oscillator) 24, and a frequency divider (1 / M). 25.
[0037]
The frequency divider 21 divides the reference clock signal CLK of the reference frequency Fs by 1 / N based on the operating frequency setting information N supplied from the image format detection circuit 5 and generates a divided output signal S21 of the frequency Fs / N. And output to the phase comparator 22.
[0038]
On the other hand, the frequency divider 25 divides, for example, the memory clock signal φm of the frequency Fo output from the VCO 24 based on the operating frequency setting information M supplied from the image format detection circuit 5 to 1 / M to generate the frequency Fo / An M divided output signal S25 is generated and output to the phase comparator 22.
[0039]
The phase comparator 22 compares the frequency Fs / N of the frequency-divided output signal S21 from the frequency divider 21 with the frequency Fo / M of the frequency-divided output signal S25 from the frequency divider 25, and matches the phases. .
Fs / N = Fo / M (1)
Relational expressions (1) to (2) in this phase comparator 22, that is,
Fo = (N / M) · Fs (2)
And the output of the phase comparator 22 is filtered by a loop filter. The output voltage after the filter processing is used for voltage controlled oscillation control in the VCO 24, and the VCO 24 outputs the memory clock signal φm having the operating frequency Fo.
[0040]
Subsequently, an operation example of the video display control apparatus 100 will be described for the image processing method according to the present invention. FIG. 4 is a flowchart showing an operation example of the video display control apparatus 100.
This video display control apparatus 100 is premised on a case where image data DIN having a signal format including a predetermined resolution and bandwidth is subjected to memory writing / reading processing. In this case, the operating frequency setting information N and M is obtained by detecting the signal format of the image data DIN and calculating the bandwidth of the image data DIN, and based on the operating frequency setting information N and M obtained here. A case where a clock signal having a desired operating frequency is generated from the reference clock signal CLK and memory write / read control is performed based on the generated clock signal is taken as an example.
[0041]
Under these operating conditions, for example, a pixel clock Cp, a horizontal synchronizing signal SH, and a vertical synchronizing signal SV are input to the video display control apparatus 100 together with digital image data DIN as a component signal from an MPEG decoder (not shown). The pixel clock Cp is supplied to the image format detection circuit 5 together with the horizontal synchronization signal SH and the vertical synchronization signal SV.
[0042]
In step A1 of the flowchart shown in FIG. 4, the image format detection circuit 5 detects the signal format of the image data DIN stored in the frame memory 8. At this time, the image data DIN and the pixel clock Cp are input to the input buffer 1, and when the data is written in the frame memory 8, the image data DIN is temporarily held based on the pixel clock Cp.
[0043]
In step A 2, the bandwidth of the image data DIN is calculated, and the operating frequency setting information N and M is output to the clock generation circuit 6. At this time, the horizontal counter 2 measures the number of signal edge changes of the horizontal synchronization signal SH, and the counter value of the horizontal counter 2 is output to the bandwidth calculation circuit 4. The vertical counter 3 measures the number of signal edge changes of the vertical synchronization signal SV and outputs the counter value of the vertical counter 3 to the bandwidth calculation circuit 4.
[0044]
The bandwidth calculation circuit 4 detects the information amount and bandwidth (frame rate) of one frame of the image data DIN based on the pixel clock Cp and the counter values obtained from the horizontal and vertical counters 2 and 3, and operates the operating frequency setting information N. , M are calculated. The operating frequency setting information N, M contains the frequency division ratio for dividing the reference clock signal. The operating frequency setting information N and M is output to the clock generation circuit 6.
[0045]
In step A3, the clock generation circuit 6 generates a clock signal having a desired operation frequency from the reference clock signal CLK based on the operation frequency setting information N and M from the image format detection circuit 5. For example, the PLL synthesizer block # 1 of the clock generation circuit 6 generates a memory clock signal φm having a desired operating frequency Fo from the reference clock signal CLK based on the reference clock signal CLK and the operating frequency setting information N and M. .
[0046]
The PLL synthesizer block # 2 generates a display clock signal φv having a desired operating frequency Fo ′ based on the reference clock signal CLK and the operating frequency setting information N and M. The PLL synthesizer block # 3 generates a processor clock signal φp having a desired operating frequency Fo ″ based on the reference clock signal CLK and the operating frequency setting information N and M.
[0047]
Thereafter, image data capture processing is executed in step A4. At this time, when the image data DIN is written from the input buffer 1 to the frame memory 8 in the memory controller 7, the timing control is executed based on the memory clock signal φm (write control). By this timing control, the digital image data DIN is stored in the frame memory 8.
[0048]
Further, when the image data DIN is read from the frame memory 8 to the output buffer 11 in the memory control unit 7, the timing control is executed based on the memory clock signal φm. By this timing control, the image data DIN is read out to the video processor unit 9.
[0049]
In the video processor unit 9, for example, resolution conversion, frame rate conversion, brightness, contrast, gamma, and sharpness based on the processor clock signal φp with respect to the image data DIN input from the frame memory 8 via the memory control unit 7. Such processing as image quality adjustment is performed.
[0050]
The video display unit 10 receives the image data DIN processed by the video processor unit 9 and outputs the image data DOUT based on the display clock signal φv. The image data DOUT is output to a liquid crystal display device, for example.
[0051]
In step A5, it is detected whether the signal format of the image data DIN has been changed. In this video display control apparatus 100, in addition to component signals output from an MPEG decoder, digital image data of BS digital broadcasting, image data such as QVGA size from a server connected to the Internet, and a camera module (not shown) are supplied. Image data such as CIF and QCIF size can also be handled. Image data such as QVGA size is supplied from a server that provides a streaming image data transmission service, and is input via a memory bus of a CPU (not shown).
[0052]
Therefore, when the signal format is changed, the process returns to step A1. If the signal format is not changed, the process proceeds to step A6 to determine the end. The determination at this time is the user. When the video display control process ends, the above-described image processing ends. If the image processing is not terminated, the process returns to step A1 to continue the video display control process.
[0053]
[Example]
Here, the case where the input of the image data is switched from the 480p BS digital broadcast signal format to the QVGA size 10 fps streaming data is taken as an example.
[0054]
(1) Signal format for 480p BS digital broadcasting
In this case, when the image data of 480p, the horizontal synchronizing signal SH, the vertical synchronizing signal SV, and the pixel clock Cp are input to the video display control device 100 in step A1 shown in FIG. 4, the signal format of this image data is the horizontal counter. 2, detected by an image format detection circuit 5 having a vertical counter 3 and a bandwidth calculation circuit 4.
[0055]
In this image format detection circuit 5, every time the count value of the horizontal counter 2 is incremented in step A2, the pixel clock Cp is counted 858. Each time the count value of the vertical counter 3 is incremented, the horizontal counter 2 is counted up 525 times. “525” is a count value indicating the number of lines in the horizontal direction. The frame rate is calculated by measuring the period during which the vertical counter 3 is incremented.
[0056]
In this 480p BS digital broadcast signal format, the frame rate is 60 frames / second (hereinafter referred to as fps). From these calculation results, the image format detection circuit 5 sets an optimum memory clock signal φm generated by the clock generation circuit 6. In this example, since 480p is detected by the image format detection circuit 5, the image data bandwidth is 858 (pixels) × 525 (lines) × 16 (YUV data; YUV [4: 2: 2]) × 60. (Fps) = 432.432 Mbit / s.
[0057]
Since it is necessary to occupy the same amount of image data when reading the image data from the frame memory 8 to the memory control unit 7, the image data bandwidth is doubled 432.432M × 2 = 864.864Mbit / s. Become. In this example, when a 32-bit burst access mode (a mode in which one data transfer is possible with one clock) is used, the required operating frequency Fo of the memory clock signal is 864.864M ÷ 32 = 27.027 MHz.
[0058]
The image format detection circuit 5 outputs such operating frequency information setting information N and M to the clock generation circuit 6. The clock generation circuit 6 receives the operating frequency setting information N and M from the image format detection circuit 5, and sets the number of clocks obtained by adding the memory clock signal φm to the bandwidth (frame rate) necessary for other data transfer such as OSD data. To do.
[0059]
For example, when an image data bandwidth of 640 Mbit / s is required for transferring OSD (On Screen Display) data, the data is increased by 640 M ÷ 32 = 20 MHz. That is, in the clock generation circuit 6, the PLL synthesizer block # 1 shown in FIG. 3 is voltage-controlled and oscillated to output the memory clock signal φm such that the operating frequency Fo is 27M + 20M = 47 MHz, and the optimum operating frequency The memory clock signal φm of Fo is generated.
[0060]
(2) When the input signal format of the image data DIN is switched to streaming data of QVGA size 10 fps
In this case as well, the signal format of the image data is detected after the information amount of the image data is obtained by calculation by the image format detection circuit 5 in the same manner as the signal format for 480p BS digital broadcasting. In this example, since the QVGA size of 10 fps streaming data is detected by the image format detection circuit 5, the image data bandwidth is 320 (pixels) × 240 (pixels) × 16 (RGB565; R color = 5 bits, G color = 6 bits, B color = 5 bits) × 10 (fps) = 12.2288 Mbit / s.
[0061]
The image data bandwidth required for this video display control apparatus 100 is 12.288 M × 2 = 24.576 Mbit / s. Under the same memory access conditions as in the signal format 480p, the memory bus occupation ratio is 24.576 M. Since ÷ 32 = 0.768 MHz, the operating frequency Fo of the memory clock signal φm is 20M + 0.768M = 2.768 MHz.
[0062]
In this example, the operating frequency Fo of the memory clock signal φm can be appropriately reduced depending on the signal format of the image data. As a result, the power consumption of the video display control apparatus 100 to which the method of the present invention is applied can be significantly reduced as compared with the video display control apparatus to which the conventional technique is applied.
[0063]
FIG. 5 is a table showing various signal formats of image data and power consumption reduction examples. The table shown in FIG. 5 shows image signal bandwidths, OSD data bandwidths, memory clocks for five signal formats (hereinafter also referred to as input image formats) of image data input to the video display control device 100. A set value (hereinafter also referred to as a memory clock set value) of the operating frequency Fo of the signal φm and a power consumption ratio are shown.
[0064]
In this example, regarding the input image format, SVGA (Super Video Graphics Array; 800 × 600/60 fps), 480p (720 × 480/60 fps), VGA (640 × 480/60 fps), QVGA (320 × 240/60 fps), Five QCIFs (176 × 144/10 fps) were listed and all resolutions were assumed to be 16 bits / pixel. The image data bandwidth is calculated according to the calculation example in the text and rounded up to the nearest decimal point. For example, in the case of SVGA, it is 800 × 600 × 60 × 2 = 921.6 Mbit / s.
[0065]
Further, the OSD data bandwidth is uniformly 100 Mbit / s. As for the memory clock setting value, the memory bus is 32 bit as an example, and its operating frequency Fo is
Fo = {(image data bandwidth + OSD data bandwidth) × 1.1} / 32
Determined by The calculation was made taking into account 10% as an inaccessible time such as a fresh cycle of the frame memory 8. The power consumption ratio is a ratio when the power consumption during SVGA is 100%.
[0066]
According to this chart, the image data signal format is SVGA, the image data bandwidth is 922 Mbit / s, the OSD data bandwidth is 100 Mbit / s, and the operating frequency Fo of the memory clock signal φm is 36 MHz. Assuming that the ratio is 100%, in the signal format 480p, the image data bandwidth is 644 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 27 MHz, and the power consumption ratio is Reduced to 75%.
[0067]
In the image data signal format VGA, the image data bandwidth is 590 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 24 MHz, and the power consumption ratio is 67%. Reduced.
[0068]
Furthermore, in the image data signal format QVGA, the image data bandwidth is 148 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 9 MHz, and the power consumption ratio is 25%. Reduced to Further, in the image data signal format QCIF, the image data bandwidth is 9 Mbit / s, the OSD data bandwidth is 100 Mbit / s, the operating frequency Fo of the memory clock signal φm is 4 MHz, and the power consumption ratio is 12%. Reduced.
[0069]
Thus, according to the video display control apparatus 100 as an embodiment of the present invention, the signal format of the image data DIN stored in the frame memory 8 is detected and the image data bandwidth of the image data DIN is calculated. An image format detection circuit 5 that outputs operating frequency setting information N and M is provided. When image data DIN of a signal format having a different image data bandwidth as shown in FIG. 6, the operating frequency Fo corresponding to the bandwidth of the image data DIN can be variably set.
[0070]
Therefore, the operating frequency of the clock signal for memory write / read processing of the image data DIN having a narrow bandwidth may be set lower than the operating frequency of the clock signal for memory write / read processing of the image data DIN having the widest image data bandwidth. it can. As a result, the image data DIN having a narrow image data bandwidth is lower in the operating frequency Fo than the case where the image data DIN having different image data bandwidths is uniformly written into the memory based on the clock signal having a fixed operating frequency. Since memory write / read processing can be performed with a clock signal, wasteful power consumption can be saved.
[0071]
When the video display control device 100 of the present invention is mounted on a battery-driven information processing device such as a mobile phone or a portable game machine, the continuous operation time that can be used by one charge is determined as a conventional battery-driven information processing. Can be longer than equipment. Further, in a graphic chip in which semiconductor chips for display are formed at a high density in a battery-driven portable display terminal device or the like, excessive power consumption can be suppressed, so that heat generation of the device body can be suppressed.
[0072]
【The invention's effect】
As described above, according to the image processing apparatus and the image processing method of the present invention, image data in a signal format including a predetermined resolution and bandwidth. Along with the display clock signal, horizontal sync signal and vertical sync signal, The signal format of this image data is detected. In addition, the number of signal edge changes of the horizontal synchronization signal is measured, the number of signal edge changes of the vertical synchronization signal is measured, the number of signal edge changes of the display clock signal and the measured horizontal synchronization signal, and the signal edge of the vertical synchronization signal Detect the amount of information and bandwidth of one frame of image data based on the number of changes Signal detecting means for calculating the bandwidth of the image data and outputting operating frequency setting information, and the signal generating means generates a clock signal having a desired operating frequency from the reference clock signal based on the operating frequency setting information. To be made.
[0073]
With this configuration, when image data of signal formats having different bandwidths is image-processed, the operating frequency corresponding to the bandwidth of the image data can be variably set for the signal generation means. The operating frequency of the clock signal for image processing of image data having a narrow bandwidth can be set lower than the operating frequency of the clock signal for image processing of wide image data.
[0074]
Therefore, image data with a narrow bandwidth is subjected to memory write / read processing with a clock signal with a low operating frequency, compared to a case where image data with different bandwidths is uniformly written into memory based on a clock signal with a fixed operating frequency. Therefore, useless power consumption can be saved.
[0075]
The present invention is extremely suitable when applied to a video display control apparatus that handles image data of a signal format having a different image data bandwidth, a battery-driven portable display terminal apparatus in which the image data bandwidth is mounted, and the like.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a video display control apparatus 100 to which an image processing apparatus as an embodiment according to the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of a clock generation circuit 6;
FIG. 3 is a block diagram illustrating an internal configuration example of a PLL synthesizer block # 1 and the like.
4 is a flowchart showing an operation example of the video display control apparatus 100. FIG.
FIG. 5 is a table showing various signal formats of image data and power consumption reduction examples.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Input buffer, 2 ... Horizontal counter (1st counter), 3 ... Vertical counter (2nd counter), 4 ... Bandwidth arithmetic circuit (arithmetic circuit), 5 ... Image format detection circuit (signal detection means), 6 ... Clock generation circuit (signal generation means), 7 ... Memory control unit (control means), 8 ... Frame memory (storage means), 9 ... Video processor, 10 ... video display unit, 11 ... output buffer, # 1 to # 3 ... PLL synthesizer block, 100 ... video display control device

Claims

A device for processing an image by inputting a display clock signal, a horizontal synchronization signal, and a vertical synchronization signal together with image data of a signal format including a predetermined resolution and bandwidth,
Storage means for storing the image data;
The signal format of the image data stored in the storage means is detected , the signal edge change count of the horizontal synchronization signal is measured, the signal edge change count of the vertical synchronization signal is measured, and the display clock signal and Based on the measured number of signal edge changes of the horizontal synchronization signal and the number of signal edge changes of the vertical synchronization signal, the information amount and bandwidth of one frame of the image data is detected and the bandwidth of the image data is calculated. Signal detecting means for outputting operating frequency setting information;
Signal generating means for generating a clock signal of a desired operating frequency from a reference clock signal based on operating frequency setting information by the signal detecting means;
An image processing apparatus comprising: a control unit that controls writing and reading of the storage unit based on a clock signal output from the signal generation unit.

When a display clock signal, a horizontal synchronization signal, and a vertical synchronization signal are input together with the image data,
The signal detection means includes
A first counter circuit for inputting the horizontal synchronization signal and measuring the number of signal edge changes;
A second counter circuit for inputting the vertical synchronizing signal and measuring the number of signal edge changes;
An arithmetic circuit for detecting information amount and bandwidth of one frame of the image data based on the display clock signal and the counter values obtained from the first and second counter circuits, and calculating and outputting operating frequency setting information; The image processing apparatus according to claim 1, further comprising:

An input buffer for temporarily storing image data to be written to the storage means;
An output buffer for temporarily holding image data read from the storage means,
The control means includes
The image processing apparatus according to claim 1, wherein timing control for writing image data from the input buffer to the storage unit and timing control for reading image data from the storage unit to the output buffer are executed.

A method of processing an image by inputting a display clock signal, a horizontal synchronizing signal and a vertical synchronizing signal together with image data of a signal format including a predetermined resolution and bandwidth,
Detecting the signal format of the image data and measuring the number of signal edge changes of the horizontal synchronization signal, and measuring the number of signal edge changes of the vertical synchronization signal;
Based on the display clock signal and the measured signal edge change count of the horizontal synchronization signal and the signal edge change count of the vertical synchronization signal, the information amount and bandwidth of one frame of the image data is detected and the image data is detected. The operating frequency setting information is obtained by calculating the bandwidth of
Generate a clock signal of a desired operating frequency from a reference clock signal based on the obtained operating frequency setting information,
A memory writing / reading control based on the generated clock signal.