JP4384242B1 - 情報処理装置および画像処理方法 - Google Patents

Abstract

【課題】１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができる情報処理装置を実現する。
【解決手段】エッジ判定部２０２はエッジ判定基準値に従って動画像信号のフレーム内のエッジを検出する。エッジ数計測部３０７は検出されたエッジの数を計数する。仮高解像度画像生成部２０４はフレームの解像度をＳＤ解像度からＨＤ解像度に変換して仮高解像度画像を生成する。対応点抽出・絞込み部２０３は検出された各エッジに対応する仮高解像度画像内の対応画素それぞれを検出する。高画質処理部２０５は仮高解像度画像内の対応画素の各々に対して鮮鋭化のための画質改善処理を施す。負荷判定・パラメータ変更部３０８は、情報処理装置が目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数よりも検出されたエッジ数が多い場合、エッジ判定基準値を増加する。
【選択図】 図３

Description

この発明は、パーソナルコンピュータ、デジタルＴＶ、セットトップボックスなどの情報処理装置および画像処理方法に関する。

近年、ノートブックタイプやデスクトップタイプ等、様々なタイプのパーソナルコンピュータが広く普及している。この種のパーソナルコンピュータの中には、動画像データをソフトウェアで再生するものも多い。また、最近では、入力された画像データよりも高い解像度の画像データを生成する高解像度化機能を有するソフトウェアも出現してきている。

高解像度化のための方法としては、例えば、複数フレーム劣化逆変換法が知られている。この複数フレーム劣化逆変換法においては、基準フレームに写っている被写体が、別のフレームにも写っていることに注目される。被写体の動きは画素間隔以下の高い精度で検出され、これにより、被写体の同一の局所部分に対して、微小に位置が異なる複数の標本値が求められる（例えば、特許文献１等参照）。
特開２０００−１８８６８０号公報

しかし、複数フレーム劣化逆変換法では、十分な数の標本値を得るためには多数の低解像度画像が必要であり、これによって、多くのメモリ量および演算処理量が必要となる。また、通常、高解像度化処理に要する演算処理量は処理対象の動画像信号の画質によっても変化する。

コマ落ち、表示遅延などの問題を招くことなく標準解像度の動画像信号を高解像度のディスプレイにリアルタイムに表示するためには、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることが必要である。

本発明は上述の事情を考慮してなされたものであり、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができる情報処理装置および画像処理方法を提供することを目的とする。

上述の課題を解決するため、本発明は、第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を実行する情報処理装置であって、所定のエッジ判定基準値に従って、前記第１解像度の動画像信号の処理対象フレーム内のエッジを検出するエッジ検出手段と、前記検出されたエッジの数を計数するエッジ数計数手段と、前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換手段と、前記検出された各エッジに対応する前記仮高解像度画像内の対応画素それぞれを検出する対応画素点検出手段と、前記検出された前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための画質改善処理を施す画質改善処理手段と、前記情報処理装置が目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数を算出し、前記検出されるエッジ数を前記最大エッジ数以下に抑えるために前記検出されたエッジ数と前記最大エッジ数とに基づいて前記エッジ判定基準値を変更する制御手段とを具備することを特徴とする。

本発明によれば、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、これによって、例えば、動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

以下、図面を参照して、本発明の一実施形態を説明する。

図１には、本発明の一実施形態に係る情報処理装置の構成が示されている。この情報処理装置は、例えば、バッテリ駆動可能なノートブック型パーソナルコンピュータとして実現されている。

図１に示すように、このコンピュータは、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィックスコントローラ１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、液晶表示装置（ＬＣＤ）１５、サウスブリッジ１６、ＢＩＯＳ−ＲＯＭ１７、ハードディスクドライブ（ＨＤＤ）１８、ＵＳＢコントローラ１９、サウンドコントローラ２０、スピーカ２１、デジタルＴＶチューナ２２、エンベデッドコントローラ／キーボードコントローラＩＣ（ＥＣ／ＫＢＣ）２３、キーボード２４、タッチパッド２５、電源回路２６、バッテリ２７およびネットワークコントローラ２８、ビデオプロセッサ２９等を備えている。

ＣＰＵ１１は、本コンピュータ内の各部の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ１８から主メモリ１３にロードされるオペレーティングシステム（ＯＳ）１３１、および各種アプリケーションプログラムを実行する。この各種アプリケーションプログラムの中には、高解像度化アプリケーションプログラム１３２が含まれている。また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１７に格納されたＢＩＯＳも実行する。ＢＩＯＳは、各種ハードウェア制御のためのプログラムである。

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２は、バスを介してグラフィックスコントローラ１４との通信を実行する機能を有している。また、ノースブリッジ１２は、主メモリ１３をアクセス制御するメモリコントローラも内蔵している。グラフィックスコントローラ１４は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１５を制御する表示コントローラである。ＬＣＤ１５の画素数は、例えば、1920×1080画素である。グラフィックスコントローラ１４は、ＶＲＡＭ１４Ａに書き込まれた画像データからＬＣＤ１５に送出すべき表示信号を生成する。

サウスブリッジ１６は、ＰＣＩバスおよびＬＰＣバス上の各種デバイスを制御するコントローラである。また、このサウスブリッジ１６には、ＢＩＯＳ−ＲＯＭ１７、ＨＤＤ１８、ＵＳＢコントローラ１９、サウンドコントローラ２０およびデジタルＴＶチューナ２２が接続されている。ＨＤＤ１８は、各種ソフトウェアおよびデータを格納する記憶装置である。ＵＳＢコントローラ１９は、ケーブルを介して本コンピュータに接続される各種ＵＳＢデバイスを制御するコントローラである。サウンドコントローラ２０は音源デバイスであり、スピーカ２１をオーディオ信号を出力する。デジタルＴＶチューナ２２は、放送信号によって放送されるデジタルＴＶ放送番組データを受信するための受信装置である。

さらに、サウスブリッジ１６は、ＬＰＣ（Low Pin Count）バス上の各デバイス、およびＰＣＩ（Peripheral Component Interconnect）バス上の各デバイスを制御する機能を有している。またさらに、サウスブリッジ１６には、PCI EXPRESS規格のシリアルバスなどを介してビデオプロセッサ２９が接続されている。

ビデオプロセッサ２９は、高解像度化アプリケーションプログラム１３２の制御の下、高解像度化処理を実行するプロセッサである。高解像度化処理は、動画像信号の解像度を高解像化するための処理である。この高解像度化処理は、例えば、ＳＤ（標準解像度）規格の解像度（水平７２０画素、垂直４８０画素）を有する動画像信号からＨＤ（高解像度）規格の解像度（水平１４４０画素、垂直９６０画素）を有する動画像信号を生成するために使用される。メモリ２９Ａは、ビデオプロセッサ２９の作業メモリとして用いられる。

高解像度化処理を実行するためには、多くの演算量が必要とされる。本実施形態においては、ＣＰＵ１１とは異なる専用のプロセッサであるビデオプロセッサ２９がバックエンドプロセッサとして使用され、このビデオプロセッサ２９によって高解像度化処理が実行される。よって、ＣＰＵ１１の負荷の増加を招くことなく、高解像度化処理を実行することが出来る。

ＥＣ／ＫＢＣ２３は、電力管理のためのエンベデッドコントローラと、キーボード２４およびタッチパッド２５を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。ＥＣ／ＫＢＣ２３は、電源回路２６と協働して、バッテリ２７または外部ＡＣ電源からの電力を各部に供給する。ネットワークコントローラ２８は、インターネットなどの外部ネットワークとの通信を実行する通信装置である。

高解像度化アプリケーションプログラム１３２は、ビデオプロセッサ２９を用いることによって、表示対象の動画像信号の解像度をＳＤ解像度からＨＤ解像度に変換する処理を実行する。よって、高解像度化アプリケーションプログラム１３２およびビデオプロセッサ２９は高解像度化処理を実行するための高解像度化装置として機能し得る。

図２は、高解像度化装置２００の基本構成を示している。

この高解像度化装置２００は、低解像度画像２０１を拡大し、さらに拡大された画像に対して鮮鋭化などの高画質処理を施すことによって高解像度画像２０６を生成する。低解像度画像２０１は、例えば、テレビ放送番組データやインターネット配信映像データのようなＳＤ解像度の動画像信号である。高解像度画像２０６は、例えば、ＨＤ解像度の動画像信号である。この高解像度化装置２００は、エッジ判定部２０２、対応点抽出・絞込み部２０３、仮高解像度画像生成部２０４、および高画質処理部２０５を備えている。

エッジ判定部２０２は、低解像度画像２０１として入力される動画像信号のフレーム毎に、当該フレームに含まれるエッジを検出する。このエッジ検出は、所定のエッジ判定基準値に従って実行される。エッジ判定部２０２は、エッジ判定基準値に従って、フレーム内の画素毎にエッジが存在するか否かを判定する。エッジとは、画像内において画素値（輝度値）が急峻に変化している部分である。エッジ検出には、例えば、Sobelフィルタを用いることができる。具体的には、エッジ判定部２０２は、画素毎にその画素に対応する画素値勾配を算出する。画素値勾配は、対象画素と当該対象画素に対して上下または左右に隣接する画素との間の画素値の差を示す。ある対象画素の画素値勾配がエッジ判定基準値以上であるならば、エッジ判定部２０２は、その対象画素にエッジがあると判定する。一方、ある対象画素の画素値勾配がエッジ判定基準値よりも小さいならば、エッジ判定部２０２は、その対象画素にエッジがないと判定する。

エッジ検出結果は、例えば、低解像度画像２０１と同じ画素数を有する２値画像データによって示すことが出来る。この場合、２値画像データ内の画素“１”は当該画素に対応する低解像度画像２０１内の画素にエッジが存在することを示す。２値画像データ内の画素“０”は当該画素に対応する低解像度画像２０１内の画素にエッジが存在しないことを示す。

対応点抽出・絞込み部２０３は、検出されたエッジ毎に、後述の仮高解像度画像の内から、高画質処理（画質改善処理）を施すべき複数の対応画素（対応点とも云う）を抽出する処理を実行する。すなわち、対応点抽出・絞込み部２０３は、検出されたエッジ毎に、当該エッジに対応する仮高解像度画像内の複数の対応画素（対応点）それぞれを検出する。対応点を検出する方法としては、例えば、米国特許出願公開第2007/0269137A1号明細書に記載された方法を使用し得る。

この場合、対応点抽出・絞込み部２０３は、エッジを含む画素を着目点として使用し、この着目点に対応する仮高解像度画像内の複数の対応画素を決定する。これら対応画素に対して高画質処理（画質改善処理）が施される。対応点抽出・絞込み部２０３は、例えば、低解像度画像２０１内における着目点を含むブロックの輝度パターンの変化を算出し、この輝度パターンの変化と類似する輝度パターンの変化を有する複数のブロックを仮高解像度画像内から探索する。この場合、探索されたブロックそれぞれの中心位置を対応点として決定することができる。

また、対応点抽出・絞込み部２０３は、各エッジに対応する仮高解像度画像内の対応画素それぞれの中から、実際に高画質処理を施すべき対応画素を絞り込む処理も実行する。この絞り込み処理においては、対応点抽出・絞込み部２０３は、低解像度画像２０１内のエッジを含む画素の画素値（輝度値）と、このエッジに対応する仮高解像度画像内の各対応画素の画素値（輝度値）との間の差分を算出し、この差分の値にしたがって、対応画素毎に高画質処理の適用が有効であるか否かを判定する。エッジを含む画素との差分が小さい仮高解像度画像内の対応画素は、高画質処理の適用が有効な画素であると判定される。

仮高解像度画像生成部２０４は、高画質処理を施す前の拡大画像である仮高解像度画像を生成する。すなわち、仮高解像度画像生成部２０４は、低解像度画像２０１として入力される動画像信号のフレーム毎に、当該フレームの解像度をＳＤ解像度からＨＤ解像度に変換して、ＨＤ解像度を有する仮高解像度画像を生成する。高解像度化のための方法つまり画像拡大方法としては、例えば、3次元畳み込み法(Cubic Convolution)、または双一次内挿法を利用することができる。

高画質処理部２０５は、仮高解像度画像内の対応画素の各々に対して鮮鋭化のための画質改善処理（高画質処理）を施す。画質改善処理は、仮高解像度画像をより鮮鋭な画像に変換する処理である。この高画質処理部２０５による画質改善処理によって得られる画像が高解像度画像２０６である。低解像度画像２０１として入力される動画像信号の各フレームから高解像度画像２０６が生成され、この高解像度画像２０６がＬＣＤ１５のような表示装置に表示される。

高画質処理部２０５によって画質改善処理を施すべき画素数は、対応点抽出・絞込み部２０３によって決定される対応画素の数に応じて変動する。同様に、画質改善処理を施すべき画素数は、エッジ判定部２０２によって検出されたエッジ数にも影響を受ける。

仮高解像度画像内の１画素に対する画質改善処理のための演算量は一定である。しかし、エッジ判定部２０２により検出されるエッジ数、または対応点抽出・絞込み部２０３によって決定される対応画素の数の増加に応じて、１フレーム当たりの画質改善処理に要する処理時間は増加する。つまり、図４に示すように、低解像度画像２０１がエッジの少ない画像である場合においては（エッジ数＝Ｅ１）、１フレームの高解像度化処理にかかる処理時間はＴ１であるが、低解像度画像２０１がエッジの多い画像である場合においては（エッジ数＝Ｅ２）、１フレームの高解像度化処理にかかる処理時間はＴ２（Ｔ２＞Ｔ１）に増加する。

高解像度化装置２００によって得られた動画像信号を表示装置に表示する場合には、一定時間内に１フレームの高解像度画像２０６を生成する必要がある。例えば、30フレーム／秒の動画像信号を再生する場合においては、１フレームの高解像度画像２０６を生成するのに利用可能な時間は約33msecである。エッジ数の多い動画像信号が高解像度化装置２００に入力されたならば、１フレームの高解像度画像２０６を生成するのに要する時間が33msecを超過してしまうことも考えられる。この場合、表示装置においては、コマ落ちや、表示遅延などの問題が発生する。

図３は、改良された高解像度化装置２００の構成を示している。

この高解像度化装置２００は、図２で説明したエッジ判定部２０２、対応点抽出・絞込み部２０３、仮高解像度画像生成部２０４、および高画質処理部２０５に加え、さらに、エッジ数計測部３０７、および負荷判定・パラメータ変更部３０８を備えている。

エッジ数計測部３０７は、エッジ判定部２０２によって処理対象の１フレームから検出されるエッジの数を計数する。

負荷判定・パラメータ変更部３０８は、本コンピュータが目標処理時間（例えば33msec）内に１フレーム分の高解像度化処理を完了可能な最大エッジ数を算出する。この最大エッジ数は、本コンピュータの処理能力、具体的には、ビデオプロセッサ２９の能力等によって決定される。負荷判定・パラメータ変更部３０８は、検出されるエッジ数を最大エッジ数以下に抑えるために、検出されたエッジ数と最大エッジ数とに基づいて、エッジ判定基準値を変更する。例えば、検出されたエッジ数が最大エッジ数を超えたならば、エッジ判定基準値は負荷判定・パラメータ変更部３０８によって増加される。これにより、検出されるエッジ数は減少される。

さらに、負荷判定・パラメータ変更部３０８は、対応点抽出・絞込み部２０３が有効な対応点を決定するために使用する決定基準値を変更するための決定基準値変更機能も有している。この決定基準値変更機能は、対応点抽出・絞込み部２０３によって検出される、各エッジに対応する対応画素の数が低下されるように、決定基準値を変更する機能である。この決定基準値変更機能は、検出されるエッジ数が最大エッジ数を超えてしまうような期間中、例えば、過渡応答期間中において実行される。過渡応答期間は、エッジ判定基準値を変更する処理を開始してから、検出されるエッジ数が実際に最大エッジ数以下に収束するまで期間である。

さらに、負荷判定・パラメータ変更部３０８は、高画質処理部２０５に画質改善処理を施すべき対応画素を間引く処理を実行させる間引き制御機能を有している。この間引き制御機能も、検出されるエッジ数が最大エッジ数を超えてしまうような期間中、例えば、過渡応答期間中において実行することができる。

次に、負荷判定・パラメータ変更部３０８の制御機能を具体的に説明する。

（エッジ数の制御）
高解像度化装置２００が１フレームの処理に利用できる最大処理時間は、以下の式（１）で表すことができる。

Tmax = Ec × Tsearch_squeze + Ec × Tsharpen ……（１）
Tmax : 高解像度化装置が1フレームの処理に利用できる最大処理時間
Ec : 処理対象フレーム内のエッジ数
Tsearch_squeze : １エッジ当たりの対応点抽出・絞込み処理に要する時間
Tsharpen： １画素当たりの高画質化処理に要する時間
30フレーム／秒の映像出力の場合、“Tmax”は33msecとなる。“Tsearch_squeze”および“Tsharpen”の各々の値は、本コンピュータのプログラム実行速度によって決定される。つまり、“Tsearch_squeze”および“Tsharpen”の各々の値は、本コンピュータの処理性能によって決定される固定値である。よって上記式（１）から、“Tmax”を満たす最大エッジ数、つまり本コンピュータが目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数、を算出することができる。この最大エッジ数をEnとする。

負荷判定・パラメータ変更部３０８は、最大エッジ数Enを基準として、本コンピュータが目標処理時間内に１フレーム分の高解像度化処理を完了可能か否かを判定し、その判定結果に基づいて、エッジ判定基準値等のパラメータを変更する。

エッジ判定部２０２は、エッジ判定パラメータ“thEdge”を上述のエッジ判定基準値として使用する。エッジ判定基準値はエッジ強度（画素値勾配）に対するしきい値である。エッジ強度が“thEdge”よりも大きい画素はエッジとして判定される。このエッジ判定パラメータ“thEdge”を大きな値とすると、注目画素のエッジ強度がより大きくなければ、注目画素がエッジであると判定されない。したがって、“thEdge”を大きくすることで、エッジ判定部２０２によって各フレームから検出されるエッジ数は減少することになる。

エッジ判定部２０２によって検出される１フレーム当たりのエッジ数は、エッジ数計測部３０７によって計数される。エッジ数計測部３０７によって計数されるエッジ数は、すでにエッジ判定部２０２によってエッジ判定されたフレームに含まれるエッジ数である。したがって、負荷判定・パラメータ変更部３０８によって変更される“thEdge”の値は、現在のフレームに対するエッジ検出には利用されず、次のフレームのエッジ検出で利用される。

負荷判定・パラメータ変更部３０８は、エッジ数計測部３０７によってフレーム毎に計数されるエッジ数Ecと最大エッジ数Enとに基づいて、エッジ判定パラメータ“thEdge”を調整する制御部として機能する。負荷判定・パラメータ変更部３０８がエッジ判定パラメータ“thEdge”を調整するのは、
Ec ＞ En
の場合である。このとき、負荷判定・パラメータ変更部３０８は、エッジ判定パラメータ“thEdge”の値を増加させることで、エッジ数Ec（ただし次のフレーム）を減少させる制御をおこなう。一方、エッジ数Ecが最大エッジ数En以下に減少した場合には、負荷判定・パラメータ変更部３０８は、thEdgeを適正な値に戻す(減少させる)ことで、エッジ判定パラメータthEdgeとエッジ数Ecを適正に制御する。

次に、図５のフローチャートを参照して、負荷判定・パラメータ変更部３０８によって実行されるthEdge調整処理を説明する。

ステップＳ５０１では、エッジ判定部２０２およびエッジ数計測部３０７によってエッジの検出及びエッジ数Ecの計測が行われる。負荷判定・パラメータ変更部３０８は、エッジ数Ecと最大エッジ数Enとを比較して、エッジ数Ecが最大エッジ数Enよりも多いか否かを判定する（ステップＳ５０２）。

Ec>Enである場合、つまりエッジ数Ecが最大エッジ数Enよりも多いならば（ステップＳ５０２のＹＥＳ）、負荷判定・パラメータ変更部３０８は、次フレームのエッジ数Ecが低減されるように、エッジ判定パラメータ“thEdge”の値を増加する（ステップＳ５０３）。Ec>Enでない場合は（ステップＳ５０２のＮＯ）、負荷判定・パラメータ変更部３０８はなにもしない。

次に、負荷判定・パラメータ変更部３０８は、エッジ数Ecが最大エッジ数Enよりも十分に下回り（Ec<<En）、且つ現在のエッジ判定パラメータ“thEdge”の値が初期設定値を上回っているか否かを判定する（ステップＳ５０４）。Ec<<En、且つ現在のエッジ判定パラメータ“thEdge”の値が初期設定値を上回っているとう条件が満たされているならば（ステップＳ５０４のＹＥＳ）、負荷判定・パラメータ変更部３０８は、エッジ判定パラメータ“thEdge”の値を減少させる（ステップＳ５０５）。ステップＳ５０５では、例えば、エッジ判定パラメータ“thEdge”の値を初期設定値に戻す処理が行われる。

なお、ステップＳ５０４において使用される判定条件としては、Ec<<Enの条件の代わりに、Ec≦Enの条件を使用しても良い。

（対応点の数の制御）
上述のエッジ判定パラメータ“thEdge”の制御によって、１フレーム当たりのエッジ数および処理負荷を制御することができる。しかしながら、エッジ判定パラメータ“thEdge”の値を最適化した場合においても、前フレームからの大幅なエッジ数増加が発生した場合などにおいては、エッジ判定パラメータ“thEdge”の変更処理がエッジ数増加に追従できなくなり、図６に示すように、一時的にエッジ数Ecが最大エッジ数Enを上回る状態が発生することがある。図６においては、最大エッジ数Enが100000である場合が例示されている。エッジ数Ecが最大エッジ数Enよりも大きい期間がエッジ数超過期間（過渡応答期間）である。

目標処理時間以内に１フレームの処理を完了するためには、Ec>Enとなったときの負荷低減機構が必要となる。そこで、本実施形態では、エッジ数Ecが最大エッジ数En以下に収束するまでのエッジ数超過期間においては、負荷判定・パラメータ変更部３０８は、対応点抽出・絞込み部２０３が有効な対応点を決定するために使用する決定基準値を変更するための決定基準値変更処理を実行する。決定基準値としては、有効性しきい値“thValidity”を利用することができる。この有効性しきい値“thValidity”は、対応点抽出・絞込み部２０３が絞り込み処理における判定基準として使用する値である。すなわち、対応点抽出・絞込み部２０３は、低解像度画像２０１内のエッジを含む画素の画素値（輝度値）と、このエッジに対応する仮高解像度画像内の各対応画素の画素値（輝度値）との間の差分を算出し、この差分が有効性しきい値“thValidity”の範囲内に属するか否かを判定する。この判定結果に基づいて、対応点抽出・絞込み部２０３は、エッジに対応する複数の対応画素の中から有効な対応画素を絞り込み、実際に高画質処理に適用されるべき対応画素を決定する。

したがって、有効性しきい値“thValidity”の値を大きくしたならば、対応点抽出・絞込み部２０３によって有効な対応画素として決定される対応画素数は増加する。逆に、有効性しきい値“thValidity”の値を小さくしたならば、対応点抽出・絞込み部２０３によって有効な対応画素として決定される対応画素数は減少し、エッジを含む画素の画素値との差分がより小さい対応画素数のみに対して高画質処理が施されることになる。

負荷判定・パラメータ変更部３０８は、最大エッジ数Enに対するエッジ数Ecの超過量（=Ec−En）を算出し、その超過量に従って、有効性しきい値“thValidity”を適応的に制御する。つまり、超過量に応じて、決定基準値としての有効性しきい値“thValidity”を変更する度合いが調整される。

以下、図７のフローチャートを参照して、負荷判定・パラメータ変更部３０８によって実行される有効性しきい値調整処理の手順を説明する。

ステップＳ７０１では、エッジ判定部２０２およびエッジ数計測部３０７によってエッジの検出及びエッジ数Ecの計測が行われる。負荷判定・パラメータ変更部３０８は、エッジ数Ecと最大エッジ数Enとを比較して、エッジ数Ecが最大エッジ数Enよりも多いか否かを判定する（ステップＳ７０２）。

Ec>Enである場合、つまりエッジ数Ecが最大エッジ数Enよりも多いならば（ステップＳ７０２のＹＥＳ）、負荷判定・パラメータ変更部３０８は、エッジ数Ecと最大エッジ数Enとの間の差分Ed（Ed= Ec-En）を算出する（ステップＳ７０３）。負荷判定・パラメータ変更部３０８は、差分Edに基づいて、有効性しきい値“thValidity”を算出する（ステップＳ７０４）。

以下に“thValidity”の算出例を示す。“thValidity”値として使用可能な範囲は、0〜255であるする。“thValidity”の初期値は64とする。

（１）Ed>Enの場合： thValidity=0
（２）En>Ed>0の場合： thValidity=8
（１）のケースは、エッジ数Ecが最大エッジ数Enの２倍である場合である。この場合、“thValidity”の値は０に変更される。（２）のケースは、エッジ数Ecが最大エッジ数Enよりも多く、且つ最大エッジ数Enの２倍よりも少ない場合である。この場合、“thValidity”の値は８に変更される。図７のフローチャートで示される処理は、図５のフローチャートで説明した処理と並行して実行することができる。

（間引き制御）
En>Ecとなる過渡応答期間に使用し得る別の負荷低減機構として、間引き制御機能を説明する。この間引き制御機能は、高画質処理部２０５に、画質改善処理を施すべき対応画素を間引く処理を実行させる機能である。

以下、図８のフローチャートを参照して、負荷判定・パラメータ変更部３０８によって実行される間引き制御処理の手順を説明する。

ステップＳ８０１では、エッジ判定部２０２およびエッジ数計測部３０７によってエッジの検出及びエッジ数Ecの計測が行われる。負荷判定・パラメータ変更部３０８は、エッジ数Ecと最大エッジ数Enとを比較して、エッジ数Ecが最大エッジ数Enよりも多いか否かを判定する（ステップＳ８０２）。

Ec>Enである場合、つまりエッジ数Ecが最大エッジ数Enよりも多いならば（ステップＳ８０２のＹＥＳ）、負荷判定・パラメータ変更部３０８は、エッジ数Ecと最大エッジ数Enとの関係に基づいて、高画質化処理の対象画素群に対して適用すべき間引きパターンを決定する（ステップＳ８０３）。そして、負荷判定・パラメータ変更部３０８は、この間引きパターンを高画質処理部２０５に指示して、高画質処理部２０５に、画質改善処理を施すべき対象画素（対応画素）を間引く処理を実行させる。

高画質処理部２０５は、間引きパターンに従って、対象画素（対応画素）毎に間引き位置の画素であるか否かを判定し、間引き位置の画素に対しては画質改善処理（高画質処理）の実行をスキップし、間引き位置でない画素に対してのみ画質改善処理（高画質処理）を実行する（ステップＳ８０４〜Ｓ８０６）。

以下、間引き処理の例を説明する。

（１）1/2間引き
2En>Ec>1.5Enの場合、“1/2間引き”が適用される。この場合、図９に示すように、対象画素は1個おきに順次間引きかれ、２画素に１画素の割合で画質改善処理（高画質処理）が実行される。

（２）2/3間引き
1.5En>Ec>1.333Enの場合、“2/3間引き”が適用される。この場合、図９に示すように、対象画素は3個のうち1個が順次間引きかれ、３画素に２画素の割合で画質改善処理（高画質処理）が実行される。

（３）3/4間引き
1.333En>Eｃ>1.25Enの場合、“3/4間引き”が適用される。この場合、図９に示すように、対象画素は4個のうち1個が順次間引きかれ、４画素に３画素の割合で画質改善処理（高画質処理）が実行される。

（４）4/5間引き
1.25En>Ec>1.2Enの場合、“4/5間引き”が適用される。この場合、図９に示すように、対象画素は5個のうち1個が順次間引きかれ、５画素に４画素の割合で画質改善処理（高画質処理）が実行される。

（６）5/6間引き
1.2En>Ec>1.17Enの場合、“5/6間引き”が適用される。この場合、対象画素は6個のうち1個が順次間引きかれ、６画素に５画素の割合で画質改善処理（高画質処理）が実行される。

（７）6/7間引き
1.17En>Ec>1.14Enの場合、“6/7間引き”が適用される。この場合、対象画素は7個のうち1個が順次間引きかれ、７画素に６画素の割合で画質改善処理（高画質処理）が実行される。

このようにして、前記最大エッジ数に対する前記検出されたエッジ数の超過量に応じて、画質改善処理を施すべき対応画素を間引く割合が調整される。

なお、このような場合分けをEc=Enとなるまで実施することは現実てきではないため、Ecが1.17En以下の場合には、6/7間引きを固定的に使用しても良い。また、Ecが2En以上の場合には、1/3間引きまたは1/4間引きを固定的に使用しても良い。

図８のフローチャートで示される処理は、図５のフローチャートで説明した処理と並行して実行することができる。また、図５のフローチャートで説明した処理と、図７のフローチャートで説明した処理と、図８のフローチャートで説明した処理とを、並行して実行してもよい。

以上のように、本実施形態においては、高解像度化処理に要する時間が目標処理時間を超過するような多くのエッジ数を含む動画像信号においても、処理負荷を低減でき、これによって高解像度化処理に要する時間を適正な値に調整することが可能となる。よって、１フレーム当たりの高解像度化処理に要する時間を所定の目標時間内に収めることができ、コマ落ち等を招くことなく、高解像度化された動画像信号を高解像度のディスプレイにリアルタイムに表示する処理等が可能となる。

なお、本実施形態では情報処理理装置としてコンピュータを例示して説明したが、情報処理理装置はコンピュータに限られるものではなく、デジタルＴＶ、セットトップボックス等であってもよい。また、高解像度化装置の処理は全てプログラムによって実行することもできる。この場合、このプログラムをコンピュータ読み取り可能な記憶媒体を通じて通常のコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

また、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

本発明の一実施形態に係る情報処理装置の構成例を示すブロック図。 同実施形態の情報処理装置に適用される高解像度化装置の構成例を示すブロック図。 同実施形態の情報処理装置に適用される、改良された高解像度化装置の構成例を示すブロック図。 同実施形態の情報処理装置における、動画像信号のエッジ数と高解像度化処理に要する処理時間との関係を示す図。 同実施形態の情報処理装置によって実行されるエッジ判定パラメータ調整処理の手順の例を示すフローチャート。 同実施形態の情報処理装置における、エッジ判定パラメータの値と検出されるエッジ数との関係を示す図。 同実施形態の情報処理装置によって実行される有効性しきい値調整処理の手順の例を示すフローチャート。 同実施形態の情報処理装置によって実行される間引き制御処理の手順の例を示すフローチャート。 同実施形態の情報処理装置において使用される間引きパターンの例を示す図。

符号の説明

１１…ＣＰＵ、２９…ビデオプロセッサ、１３２…高解像度化アプリケーションプログラム、２０２…エッジ判定部、２０３…対応点抽出・絞込み部、２０４…仮高解像度画像生成部、２０５…高画質処理部、３０７…エッジ数計測部、３０８…負荷判定・パラメータ変更部。

Claims (10)

1. 第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を実行する情報処理装置であって、
   所定のエッジ判定基準値に従って、前記第１解像度の動画像信号の処理対象フレーム内のエッジを検出するエッジ検出手段と、
   前記検出されたエッジの数を計数するエッジ数計数手段と、
   前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換手段と、
   前記検出された各エッジに対応する前記仮高解像度画像内の対応画素それぞれを検出する対応画素点検出手段と、
   前記検出された前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための画質改善処理を施す画質改善処理手段と、
   前記情報処理装置が目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数を算出し、前記検出されるエッジ数を前記最大エッジ数以下に抑えるために前記検出されたエッジ数と前記最大エッジ数とに基づいて前記エッジ判定基準値を変更する制御手段とを具備することを特徴とする情報処理装置。
2. 前記制御手段は、前記検出されたエッジ数が前記最大エッジ数を超えている期間中、前記対応画素点検出手段によって検出される、各エッジに対応する対応画素の数が低下されるように、前記対応画素点検出手段が対応画素を決定するために使用する決定基準値を変更することを特徴とする請求項１記載の情報処理装置。
3. 前記制御手段は、前記最大エッジ数に対する前記検出されたエッジ数の超過量に応じて、前記決定基準値を変更する度合いを調整するように構成されていることを特徴とする請求項２記載の情報処理装置。
4. 前記制御手段は、前記検出されたエッジ数が前記最大エッジ数を超えている期間中、前記画質改善処理手段に、前記画質改善処理を施すべき対応画素を間引く処理を実行させることを特徴とする請求項１記載の情報処理装置。
5. 前記制御手段は、前記最大エッジ数に対する前記検出されたエッジ数の超過量に応じて、前記画質改善処理を施すべき対応画素を間引く割合を調整するように構成されていることを特徴とする請求項４記載の情報処理装置。
6. 第１解像度の動画像信号から前記第１解像度よりも高い第２解像度の動画像信号を生成する高解像度化処理を情報処理装置によって実行する画像処理方法であって、
   所定のエッジ判定基準値に従って、前記第１解像度の動画像信号の処理対象フレーム内のエッジを検出するエッジ検出ステップと、
   前記検出されたエッジの数を計数するエッジ数計数ステップと、
   前記処理対象フレームの解像度を前記第１解像度から前記第２解像度に変換して、前記第２解像度を有する仮高解像度画像を生成する解像度変換ステップと、
   前記検出された各エッジに対応する前記仮高解像度画像内の対応画素それぞれを検出する対応画素点検出ステップと、
   前記検出された前記仮高解像度画像内の対応画素の各々に対して鮮鋭化のための画質改善処理を施す画質改善処理ステップと、
   前記情報処理装置が目標処理時間内に１フレーム分の高解像度化処理を完了可能な最大エッジ数を算出し、前記検出されるエッジ数を前記最大エッジ数以下に抑えるために、前記検出されたエッジ数と前記最大エッジ数とに基づいて前記エッジ判定基準値を変更する制御ステップとを具備することを特徴とする画像処理方法。
7. 前記検出されたエッジ数が前記最大エッジ数を超えている期間中、前記対応画素点検出ステップによって検出される各エッジに対応する対応画素の数が低下されるように、前記対応画素点検出ステップが対応画素を決定するために使用する決定基準値を変更するステップをさらに具備することを特徴とする請求項６記載の画像処理方法。
8. 前記決定基準値を変更するステップは、前記最大エッジ数に対する前記検出されたエッジ数の超過量に応じて、前記決定基準値を変更する度合いを調整することを特徴とする請求項７記載の画像処理方法。
9. 前記検出されたエッジ数が前記最大エッジ数を超えている期間中、前記画質改善処理を施すべき対応画素を間引く処理を実行するステップをさらに具備することを特徴とする請求項６記載の画像処理方法。
10. 前記画質改善処理を施すべき対応画素を間引く処理を実行するステップは、前記最大エッジ数に対する前記検出されたエッジ数の超過量に応じて、前記画質改善処理を施すべき対応画素を間引く割合を調整することを特徴とする請求項９記載の画像処理方法。

Images