JP4686624B2

JP4686624B2 - 情報処理装置、画像処理方法およびプログラム

Info

Publication number: JP4686624B2
Application number: JP2009179684A
Authority: JP
Inventors: 康之田中
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2008-08-29
Filing date: 2009-07-31
Publication date: 2011-05-25
Anticipated expiration: 2029-07-31
Also published as: US20100053166A1; JP2010079883A

Description

本発明は、超解像度化処理を行う情報処理装置に係り、特に処理負荷を軽減させることができる情報処理装置、画像処理方法およびプログラムに関する。

一般に、コンピュータやテレビジョン等の機器においては、ハイビジョン等の高解像度の表示を行うことができる表示装置を搭載した製品が増えてきている。一方、コンテンツソースにおいては、当該表示装置の解像度に満たない低解像度のコンテンツソースも多く提供されている。そこで、これらの低解像度のコンテンツソースを上述した高解像度の表示装置で再生した場合にも、高解像度のコンテンツソースに近い品質で再生する技術のニーズが高まっている。例えば、特許文献１では、低解像度のコンテンツソースから、高解像度のコンテンツソースを画像処理にて生成する技術が開示されている。

特開２００７−３０５１１３号公報

しかしながら、特許文献１に記載された技術では、低解像度のコンテンツソースのすべての画素データに対して高解像度化の処理を行っているため、処理負荷が大きいという課題がある。

そこで、本発明は、超解像度化の処理負荷を軽減することができる情報処理装置、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決するために、本発明の一態様によれば、第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行う処理手段と、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御手段とを具備することを特徴とする情報処理装置が提供される。

また、本発明の別の態様によれば、第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を繰り返し実行する処理手段と、前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段と、前記検出されたエッジが縦または横エッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略し、前記注目画素のエッジが斜めエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理を実行し、且つ前記斜めエッジの角度に応じて、前記鮮鋭化処理の繰り返し回数を変更する制御手段とを具備することを特徴とする情報処理装置が提供される。

また、本発明のさらに別の態様によれば、第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を繰り返し実行する処理手段と、前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段と、前記検出されたエッジが縦または横エッジである場合には前記検出されたエッジが斜めエッジである場合よりも前記鮮鋭化処理の繰り返し回数が少なくなるように、前記検出されたエッジの角度に応じて前記鮮鋭化処理の繰り返し回数を変更する制御手段とを具備することを特徴とする情報処理装置が提供される。

また、本発明のさらに別の態様によれば、第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成するステップと、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定するステップと、前記注目画素毎にエッジを検出するステップと、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行うステップと、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御ステップとを具備することを特徴とする画像処理方法が提供される。

また、本発明のさらに別の態様によれば、コンピュータに第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の画像データを生成させるプログラムであって、前記第１の解像度の画像データから前記第２の解像度の仮高解像度画像データを生成する手順と、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定する手順と、前記注目画素毎にエッジを検出する手順と、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行う手順と、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御手順とを前記コンピュータに実行させることを特徴とするプログラムが提供される。

本発明によれば、超解像度化の処理負荷を軽減することができる。

本発明の一実施形態に係る情報処理装置の主要な構成を示す図。同実施形態に係るコンピュータの機能構成を示すブロック図。同実施形態に係る情報処理装置を適用した超解像度化方法を示すフローチャート。同実施形態に係るエッジ判別処理および絞り込み処理の方法を示すフローチャート。同実施形態に係るコンピュータに入力される映像データの各フレームの概念を模式的に示す図。同実施形態に係るコンピュータに入力される基準フレーム内の画素の概念を模式的に示す図。同実施形態に係るコンピュータで処理される３×３の画素を用いてエッジを検出する概念を模式的に示す図。同実施形態に係るコンピュータで処理される画素が位置する角度の概念を模式的に示す図。同実施形態に係るコンピュータで３×３の画素を用いた超解像度化処理を行う場合に用いられるパラメータの概念を模式的に示す図。同実施形態に係るコンピュータで処理される５×５の画素を用いてエッジを検出する概念を模式的に示す図。同実施形態に係るコンピュータで５×５の画素を用いた超解像度化処理を行う場合に用いられるパラメータの概念を模式的に示す図。同実施形態に係る情報処理装置によって実行される超解像処理の手順を説明するフローチャート。図１２の超解像処理内のエッジ判定／絞込処理を説明するフローチャート。図１２の超解像処理内のエッジ判定／絞込処理の手順の例を説明するフローチャート。同実施形態に係る情報処理装置によって生成される仮高解像度画像の例を示す図。同実施形態に係る情報処理装置によって検出されるエッジ角度を説明するための図。同実施形態に係る情報処理装置によって実行される鮮鋭化処理の例を説明するための図。同実施形態に係る情報処理装置によって実行される鮮鋭化処理で用いられる複数の標本値を説明するための図。同実施形態に係る情報処理装置によって実行されるエッジ角度検出処理の例を説明するための図。同実施形態に係る情報処理装置において用いられる、エッジ角度と鮮鋭化処理内容との関係の例を示す図。

以下、図面を参照して、本発明の実施形態を説明する。
まず、図１を参照して、本発明の一実施形態に係る情報処理装置の構成について説明する。

この情報処理装置は、例えばパーソナルコンピュータとして実現されている。コンピュータは、ＣＰＵ（Central Processing Unit）１０、ＧＰＵ（Graphics Processing Unit）１１、ネットワークコントローラ１２、画像処理ＩＣ１３、記憶装置（ＨＤＤ）１４、表示装置（ＬＣＤ：Liquid Crystal Display）１５等を備えている。

ＣＰＵ１０は、本コンピュータの動作を制御するために設けられたプロセッサであり、ハードディスクドライブ（ＨＤＤ）１４から主メモリにロードされる、オペレーティングシステム（ＯＳ）および各種アプリケーションプログラムを実行する。

また、ＣＰＵ１０は、ＢＩＯＳ（Basic Input Output System）−ＲＯＭに格納されたシステムＢＩＯＳも実行する。システムＢＩＯＳはハードウェア制御のためのプログラムである。

ＧＰＵ１１は、本コンピュータのディスプレイモニタとして使用されるＬＣＤ１５を制御する表示コントローラである。このＧＰＵ１１はビデオメモリ（ＶＲＡＭ）に書き込まれた画像データからＬＣＤ１５に送出すべき表示信号を生成する。

ネットワークコントローラ１２は、ＬＡＮ（Local Area Network）やインターネット等の外部ネットワークとのデータの授受を制御するコントローラデバイスである。

画像処理ＩＣ（処理部）１３は、入力された映像信号を符号化処理、復号化処理、超画像処理等を行う画像処理用の専用ＩＣである。この超画像処理では、エッジ判別処理、絞り込み処理、自己合同点探索処理（自己合同性抽出処理、または自己合同点抽出処理とも云う）、鮮鋭化処理、仮高解像度画像生成処理等を行う。なお、コンピュータが画像処理ＩＣ１３を搭載しない場合は、画像処理ＩＣ１３が行う処理をＣＰＵ１０等が行うようにしてもよい。

記憶装置（ＨＤＤ）１４は、オペレーティングシステム（ＯＳ）および各種アプリケーションプログラムを記憶している。また、超画像処理で用いる各種パラメータのテーブルデータ等も記憶している。表示装置１５は、ハイビジョン画像等の高解像度なコンテンツデータの表示に対応した表示デバイスである。また表示装置１５は、当然にハイビジョン画像等の高解像度なコンテンツデータより低解像度のコンテンツデータの表示も可能である。

図２は、コンピュータの機能構成を示したブロック図である。

コンピュータ１は、処理部２２、第１の設定部２３、第２の設定部２４、算出部２５、制御部２６、出力部２７および記憶部２８を備えている。

処理部２２は、自己合同点抽出処理および、自己合同点抽出処理を行った後に鮮鋭化処理を行う。第１の設定部２３は、基準フレーム中に含まれる画素のうち、１つ以上の画素を含む単位を基準ブロックとして設定する。第２の設定部２４は、基準ブロックの周辺に配置されている画素を基準ブロックと同数の画素で構成される複数のブロックとして、基準フレーム中に含まれる全画素に対して設定する。算出部２５は、複数のブロックのそれぞれが配置されている角度を基準ブロックを基準として算出する。制御部２６は、算出された角度が予め定められた角度（例えば、ゼロ度を含む９０度刻みの値）である場合は、該角度に対応するブロックに対して、処理部２２による処理を行わず、角度が前記角度以外の場合は、該角度に対応するブロックに対して、処理部２２による処理を行うように制御する。出力部２７は、処理部２２に処理された画像ソースをＬＣＤ等の表示装置１６に出力する。記憶部２８は、画像ソースおよび超解像度化処理がされた画像データ等を記憶する。

以上のように構成された本実施形態に係る情報処理装置であるコンピュータを適用した超解像度化方法について図３のフローチャートを参照して説明する。超解像度化処理は、入力された映像データ（画像ソース）の解像度を向上させる処理を行う処理である。

コンピュータに入力された映像データは、画像処理ＩＣ１３によって、エッジ判別処理および絞り込み処理を行う（ステップＳ１０１）。

このエッジ判別処理および絞り込み処理は以下の様に行う。例えば、映像データの画面内には複数の画素が配されており、その各画素の輝度を画素値として表した画像を画像ソースから取得する。画像には図５に示すように、複数のフレームが含まれている。画像に含まれる１フレームを基準フレーム５０とする（図５参照）。また、基準フレーム５０には、図６に示すように、複数の画素が含まれている。

映像データ（画像ソース：以下、画像とも称する）に含まれる１以上のフレーム中の複数の画素を１つずつ注目画素１００として順次設定し（図７参照）、注目画素１００ごとに該注目画素１００を含む参照ブロック（注目画像領域）９０を設定し、エッジを判別する（後述、図４参照）。

画像処理ＩＣ１３は、参照ブロック９０に含まれる画素値の変化パターンに最も近い複数の画像領域に対応する複数の対応点を基準フレーム５０の中から探索し、自己合同点抽出処理を行う（ステップＳ１０２）。

そして、画像処理ＩＣ１３は、自己合同点抽出処理を行った後に鮮鋭化処理を行う（ステップＳ１０３）。また、同時に画像処理ＩＣ１３は、仮高解像度画像生成処理を行う（ステップＳ１０４）。なお、自己合同点抽出処理、鮮鋭化処理、および仮高解像度画像生成処理等については、特開２００７−３１０８３７号公報に詳しい。特開２００７−３１０８３７号公報の段落００５０，００５１に記載されているように、超解像度化処理（超解像処理とも云う）では、仮の高解像度画像の各画素の仮標本値が求められ、次いで、エッジが検出された各注目画素と、エッジが検出された各注目画素に対応する複数の対応点とに基づいて、仮の高解像度画像内の各仮標本値を正確な値に近づける処理（鮮鋭化処理）が行われる。

これらの一連の処理において、ステップＳ１０１で行ったエッジ判別処理および絞り込み処理の結果に基づいて、ステップＳ１０２の自己合同点抽出処理およびステップＳ１０３の鮮鋭化処理を行う処理回数（例えば、２回または４回等）を設定する。この処理回数が０回であれば、ステップＳ１０２の自己合同点抽出処理およびステップＳ１０３の鮮鋭化処理を行わないものとする。これにより、画質の劣化を抑えつつも処理回数を減らし、処理負荷を軽減させることができる。このように、本実施形態では、鮮鋭化処理の処理回数（０回、２回または４回等）はエッジ判別処理の結果に基づいて変更される。本実施形態では、例えば、縦または横のエッジに対する自己合同点抽出処理および鮮鋭化処理を省いたとしても画質の劣化が少ないことに着眼し、縦または横のエッジに対しては自己合同点抽出処理および鮮鋭化処理を行わずに処理負荷を軽減し、縦または横のエッジ以外の斜めのエッジに対してのみ自己合同点抽出処理および鮮鋭化処理を実行する。

次に、ステップＳ１０１で行ったエッジ判別処理および絞り込み処理の結果の算出方法について図４のフローチャートを参照して説明する。

画像処理ＩＣ（第１の設定部）１３は、ステップＳ１０１のエッジ判定、絞込処理において、図４に示すように、まず、注目画素に縦または横のエッジが存在するか否かを判別し（ステップＳ２０１）、続いて絞り込み処理を行い、注目画素に縦または横のエッジ以外の斜めのエッジが存在するか否かを判別し（ステップＳ２０２）、そして注目画素に存在するエッジの角度に応じて鮮鋭化パラメータ（自己合同性抽出処理および鮮鋭化処理を行うか否か、鮮鋭化処理の処理回数）を設定する（ステップＳ２０３）。ステップＳ２０３では、縦または横のエッジに対しては自己合同点抽出処理および鮮鋭化処理が省略され、斜めのエッジに対してのみ自己合同点抽出処理および鮮鋭化処理が実行されるように、鮮鋭化パラメータが設定される。

画像処理ＩＣ（第１の設定部）１３は、基準フレーム５０中に含まれる画素のうち、１つ以上の画素を含む単位を基準ブロックとして設定する。例えば、基準ブロックを１画素（注目画素１００）とする。注目画素１００に存在するエッジ（縦または横のエッジ、斜めエッジ）の判定には、例えば、図７に参照ブロック９０として点線で囲まれている３×３画素のオペレータや、図１０に示すような５×５画素のオペレータを使用できる。３×３画素のオペレータを使用した場合、図８に示すように、０度、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度のように４５度刻みでエッジの角度を判定できる。

画像処理ＩＣ１３によって算出された角度が予め定められた角度（例えば、ゼロ度を含む９０度刻みの値）である場合は、処理（自己合同点抽出処理および鮮鋭化処理）を行わず、算出された角度が上述した角度以外の場合は、処理（自己合同点抽出処理および鮮鋭化処理）を行う。例えば、予め定められた角度（パラメータ：記憶装置１５に予め記憶する）は、例えば、０度および９０度の倍数（９０度、１８０度、２７０度：ゼロ度を含む９０度刻みの値）とする。これらのエッジ角度であると判別された画素（縦または横のエッジ内の画素）に対しては、図２に示した自己合同性抽出処理（ステップＳ１０２）および鮮鋭化処理（ステップＳ１０３）を行わない。縦または横のエッジ（縦横エッジ）に対しては、これらの処理を省いたとしても画質の劣化が少ないため、自己合同性抽出処理および鮮鋭化処理を行わずに処理負荷を軽減する。なお、上述したパラメータは、例えば図９に示すように、記憶装置１５に記憶されており、画像処理ＩＣ１３は、判別された角度に基づいて当該パラメータを参照して処理内容（自己合同性抽出処理および鮮鋭化処理を行うか否か）を判別する（ステップＳ２０３）。なお、自己合同性抽出処理および鮮鋭化処理を行う場合（例えば、０度および９０度の倍数以外の角度であると判別された場合）は、上述したパラメータに処理回数（例えば、０回、２回および４回等）を記憶しておき、このパラメータに従って処理を行う。例えば、処理回数が２回である場合には、例えば、自己合同性抽出処理と、２回の鮮鋭化処理を行う。

このように、縦横のエッジに対しては、自己合同性抽出処理および鮮鋭化処理を省いたとしても画質の劣化が少ないため、これらの処理を行わずに処理負荷を軽減することができる。

また、変形例としては、以下の様な形態も考えられる。

上述した実施形態では、参照ブロック９０として点線で囲まれている３×３画素を用いてエッジの角度を算出したが、当該変形例では、例えば、参照ブロックとして点線で囲まれている５×５画素を用いてエッジの角度を算出する。

例えば、図１０に示すように、画像処理ＩＣ１３は、５×５の画素を含むテンプレートブロック９５（上述した実施形態の基準ブロック相当）を設定する。テンプレートブロック９５の中心の画素は、注目画素２００である。

次に、画像処理ＩＣ１３は、テンプレートブロック９５の注目画素２００を中心として、テンプレートブロック９５の周辺に配置されている５×５の画素を参照ブロック０として設定する。

上述した設定をテンプレートブロック９５の周辺に配置されているすべての画素に対して行い、参照ブロック０〜１０を設定する。

次に、画像処理ＩＣ１３は、例えば、テンプレートブロック９５と参照ブロック０〜１３それぞれとを比較し、テンプレートブロック９５の画素値の変化パターンに類似した参照ブロックの方向を注目画素２００のエッジ方向であると判定する。この場合、検出できるエッジの角度は、例えば、図１１に示すように、３１５度（参照ブロック０）、３３７．５度（参照ブロック１）、０度（参照ブロック２）、２２．５度（参照ブロック３）、４５度（参照ブロック４）、６７．５度（参照ブロック５）、９０度（参照ブロック６）、１１２．５度（参照ブロック７）、１３５度（参照ブロック８）、１５７．５度（参照ブロック９）、１８０度（参照ブロック１０）、２０２．５度（参照ブロック１１）、２２５度（参照ブロック１２）、２４７．５度（参照ブロック１３）、２７０度（参照ブロック１４）、２９２．５度（参照ブロック１５）である。

画像処理ＩＣ１３によって算出されたエッジ角度が例えば、０度および９０度の倍数（９０度、１８０度、２７０度）と判別された画素に対しては、上述した自己合同性抽出処理および鮮鋭化処理を行わない。

当該変形例によれば、上述した実施形態に比べ、より詳細に画素の判別を行うことができ、画質を向上させることができる。

図１２のフローチャートは本実施形態の超解像度化処理の流れを時系列的に示している。ステップＳ３０１では、補間フィルタ（CubicConvolutionやBi-linear等）により、入力された低解像度画像から、目的解像度の仮高解像度画像が生成される。仮高解像度画像の例は図１５に示されている。図１５の仮高解像度画像は低解像度画像を縦横それぞれ２倍に拡大することによって得られた画像である。図１５において、白丸は仮高解像度画像内の各画素を示し、黒丸は仮高解像度画像内の画素の生成に使用された低解像度画像内の画素（標本点）を示している。

ステップＳ３０２では、入力された低解像度画像内の一つの画素が注目画素として選択される。ステップＳ３０３では、注目画素に対するエッジ判定、絞込み処理が行われる。

エッジ判定、絞込み処理では、図１３に示すように、まず、注目画素にエッジが存在するか否かを検出するための縦、横エッジ判定が実行され（ステップＳ４０１）、次いで、検出されたエッジの角度を検出するための斜めエッジ判定が実行され（ステップＳ４０２）、そして、検出されたエッジの角度に応じて、鮮鋭化パラメータ（自己合同性抽出処理を行うか否か、鮮鋭化処理の処理回数）が設定される（ステップＳ４０３）。エッジ判定、絞込み処理の手順の例を図１４に示す。

まず、注目画素とその近傍画素との間の差分に基づいて、注目画素にエッジが存在するか否かが検出される（ステップＳ５０１）。エッジが検出された場合、つまり注目画素がエッジ部内の画素（エッジ画素）であるならば（ステップＳ５０２のＹＥＳ）、検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、検出されたエッジの角度が検出される（ステップＳ５０３）。たとえば、図１６（Ａ）に示すように縦縞のエッジ画像内に含まれる各画素のエッジ角度は、０度として算出される。また、図１６（Ｂ）に示すような斜め縞のエッジ画像内に含まれる各画素のエッジ角度は、４５度として算出される。検出されたエッジが縦または横のエッジである場合、例えば、画像に対するエッジの角度が０度または９０度である場合（ステップＳ５０４のＮＯ）、自己合同点探索処理の実行を省略することが決定され（自己合同点探索処理ＯＦＦ）、且つ鮮鋭化処理回数がゼロに決定される（ステップＳ５０５）。鮮鋭化処理は、注目画素に対応する仮高解像度画像内の各画素値（仮標本値）を、注目画素とこの注目画素に対応する複数の対応点とを含む複数の標本値に基づいて修正するための処理である。第１の標本値に基づいて仮標本値を修正した後、第２の標本値に基づいて仮標本値を修正すると、仮標本値は第２の標本値には合うが、第１の標本値には合わなくなる。そこで、鮮鋭化処理は、標本点全部に対して数回繰り返される。標本値全てに対する鮮鋭化処理を数回繰り返すことにより、仮高解像度画像内の仮標本値を正確な値に近づけることが出来る。検出されたエッジが斜めエッジである場合、例えば、画像に対するエッジの角度が２２．５度、４５度、６７．５度、１１２．５度、３１５度、または３３７．５度である場合（ステップＳ５０４のＹＥＳ）、自己合同点探索処理を実行することが決定され（自己合同点探索処理ＯＮ）、且つ鮮鋭化処理回数（鮮鋭化処理の繰り返し回数）が斜めエッジのエッジ角度に従って適用的に決定される（ステップＳ５０６）。例えば、斜めエッジのエッジ角度が２２．５度、または６７．５度の場合の鮮鋭化処理回数はＮ回に変更され、斜めエッジのエッジ角度が４５度の場合の鮮鋭化処理回数はＭ回に変更される。ここで、Ｍ＞Ｎ、Ｎ＞１である。このように、斜めエッジのエッジ角度が２２．５度、または６７．５度の場合の鮮鋭化処理回数は、斜めエッジのエッジ角度が４５度の場合の鮮鋭化処理回数よりも少なく設定される。

ここで、図１２に戻って、ステップＳ３０４以降の処理について説明する。注目画素が斜めエッジである場合（ステップＳ３０４のＹＥＳ）、ステップＳ３０５において、自己合同点探索処理が実行される。自己合同点探索処理は、特開２００７−３１０８３７号公報に記載されているように、同じ輝度パターンの変化が輪郭のようなエッジに沿って連続的に発生するという、画像の自己合同性という性質に着眼して、低解像度画像内のエッジ部の各注目画素に対応する複数の対応点（自己合同点）を、低解像度画像から探索する処理である。ステップＳ３０５では、注目画素を含む注目画像領域の画素値の変化パターンに近似する、注目画像領域近傍の複数の画像領域それぞれ内の対応点（自己合同点）が、低解像度画像から探索される。次いで、ステップＳ３０６において、注目画素に対応する仮高解像度画像内の各画素値を、注目画素とその注目画素に対応する複数の対応点とを含む複数の標本値に基づいて修正するための鮮鋭化処理が繰り返し実行される。鮮鋭化処理の繰り返し回数は、前述したように、斜めエッジのエッジ角度に応じて変更される。

注目画素がエッジでない場合、または注目画素が縦または横のエッジである場合（ステップＳ３０４のＮＯ）、自己合同点探索処理および鮮鋭化処理はスキップされる。

低解像度画像内の全ての画素に対する処理が完了するまで、ステップＳ３０２〜Ｓ３０６の処理は繰り返し実行される。

なお、上述したように鮮鋭化処理回数を減らすことで、鮮鋭化の効果は減少するが、その分だけ処理負荷を軽減することが出来るので、縦または横のエッジに対する鮮鋭化処理回数についても、必ずしもゼロにせずとも、処理負荷を軽減することができる。例えば、斜めエッジ（２２．５度、４５度、６７．５度、１１２．５度、３１５度、または３３７．５度）に対する鮮鋭化処理回数をＭ回とし、縦または横のエッジに対する鮮鋭化処理回数をＭ回よりも少ないＮ回としてもよい。

このように、注目画素のエッジが縦または横エッジである場合には当該エッジが斜めエッジである場合よりも鮮鋭化処理回数が少なくなるように、注目画素のエッジの角度に応じて鮮鋭化処理回数を変更することにより、縦または横エッジに対する処理負荷を軽減することが出来る。なお、縦または横エッジに対する鮮鋭化処理回数をゼロとした場合には、自己合同点抽出処理も省略される。

次に、図１７を参照して、鮮鋭化処理について説明する。図１７では、白丸で高解像度画像の画素を、黒丸で解像度が１／２の低解像度画像に相当する標本点を示す。高解像度画像の画素に仮の画素値が与えられているとき、標本点４２０４における仮標本値の値は、画素４２０５〜４２０８の画素値の平均値として計算する。これは、標本点４２０４がちょうど、その周囲の高解像度画像の画素の中心にある場合である。標本点４２０９のようにその位置がずれている場合、標本点が代表する矩形４２１０が重なる部分の加重平均をその仮標本値とする。例えば、画素４２１１に対する重みは斜線４２１２の部分の面積を重みにする。矩形４２１０が重なる９個の矩形について、その重なる面積に比例するように重みをつけ、それら９個の画素値から加重平均値を求めて仮標本値とする。このときの高解像度画像が正確なものであれば、低解像度画像として撮影されたものである標本値と仮標本値は一致するはずである。しかし、通常は一致しない。そこで、これが一致するように、仮画素値を修正する。標本値と仮標本値の差分を求め、その差分をなくすように仮の画素値に加減算する。画素値は複数あるので、差分を標本化で用いた重みで分け、それぞれの画素値に加減算する。この様子を図１８に示す。図１８において、黒三角で示す標本点９１６、９１７は自己合同点探索処理で探索された自己合同点である。例えば、図１８の画素９２１が、標本値９１６に合うように修正されたあと、標本値９２２に合うように修正されると、標本値９１６には合わなくなる。そこで、この修正処理は、標本点全部に対して数回繰り返えされる。この繰り返しにより次第に、高解像度画像は正確なものに近づく。

このように、高解像度画像の画素値を未知数とし、それから得られる仮標本値と、実際に撮影された低解像度画像の画素値による標本値が等しいという条件式を解くことで高解像度画像の画素値を求めるひとつの方法がＰＯＣＳ法である。

次に、図１９、図２０を参照して、5×5画素のブロックを用いたエッジ角度算出処理例を説明する。ここでは、注目画素２００を含むテンプレートブロック９５と各周辺ブロック（参照ブロック０〜７）との間のブロックマッチング（差分演算等）により、テンプレートブロック９５の輝度の変化パターンと類似した参照ブロックの方向が注目画素値２００のエッジ角度であると判定できる。エッジ検出できる方向は３１５度〜０度〜１１２．５度（２２．５度刻み）の８方向である。図２０に示すように、エッジ角度が４５度または３１５度の場合、自己合同点探索処理を実行することが決定され（自己合同点探索処理ＯＮ）、鮮鋭化処理回数はＭ回に設定される。エッジ角度が２２．５度、６７．５度、１１２．５度、または３３７．５度の場合、自己合同点探索処理を実行することが決定され（自己合同点探索処理ＯＮ）、鮮鋭化処理回数はＮ回に設定される。エッジ角度が０度または９０度の場合、自己合同点探索処理の実行を省略することが決定され（自己合同点探索処理ＯＦＦ）、且つ鮮鋭化処理回数はゼロ回に設定される。もちろん、上述したように、縦または横のエッジに対する鮮鋭化処理回数は必ずしもゼロでなくともよく、縦または横のエッジに対する鮮鋭化処理回数を、斜めエッジに対する鮮鋭化処理回数よりも少なくすればよい。

以上説明したように、本実施形態によれば、全てのエッジ画素に対して自己合同点探索処理および鮮鋭化処理を行うのではなく、エッジ画素のエッジ角度に応じて、自己合同点探索処理および鮮鋭化処理を実行するか否か、または鮮鋭化処理の繰り返し回数が決定され、超解像度化の処理負荷を軽減することができる。

上述したように、縦横エッジは鮮鋭化処理による影響があまり大きくなく、また縦横のエッジに対して鮮鋭化処理を省いたとしても画質の劣化は少ない。本実施形態では、縦横エッジに対する鮮鋭化処理回数を斜めエッジに対する鮮鋭化処理回数よりも減らしているので、処理負荷を効率よく低減することができる。さらに、本意実施形態では、全ての斜めエッジ画素に対して同一の鮮鋭化処理回数を用いるのではなく、斜めエッジのエッジ角度に応じて鮮鋭化処理回数を適応的に変更して、斜めエッジの中で縦または横のエッジに近い特定の角度の斜めエッジ（４５度よりも、縦または横方向に近接した角度）に対する鮮鋭化処理回数を、他の角度の斜めエッジ（４５度の斜めエッジ）に対する鮮鋭化処理回数よりも少なくすることにより、斜めエッジに対する処理負荷も効率よく低減する事が出来る。

なお、本実施形態の制御処理の手順は全てソフトウェアによって実現することができるので、この手順を実行するプログラムをコンピュータ読み取り可能な記憶媒体を通じて、光ディスクドライブを有するコンピュータにインストールするだけで、本実施形態と同様の効果を容易に得ることができる。

また、本発明は、上述した実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。

さらに、上述した実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１…コンピュータ、１０…ＣＰＵ、１１…ＧＰＵ、１２…ネットワークコントローラ、１３…画像処理ＩＣ、１５…記憶装置（ＨＤＤ）、１６…表示装置、２２…処理部、２３…第１の設定部、２４…第２の設定部、２５…算出部、２６…制御部、２７…出力部、２８…記憶部、５０…基準フレーム、９０…参照ブロック、１００、２００…注目画素。

Claims

第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行う処理手段と、
前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御手段とを具備することを特徴とする情報処理装置。
前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段をさらに具備し、
前記制御手段は、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略することを特徴とする請求項１記載の情報処理装置。
前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段をさらに具備し、
前記制御手段は、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略し、前記検出されたエッジが斜めエッジである場合、前記処理手段によって前記自己合同点抽出処理および前記鮮鋭化処理を行うことを特徴とする請求項１記載の情報処理装置。
第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を繰り返し実行する処理手段と、
前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段と、
前記検出されたエッジが縦または横エッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略し、前記注目画素のエッジが斜めエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理を実行し、且つ前記斜めエッジの角度に応じて、前記鮮鋭化処理の繰り返し回数を変更する制御手段とを具備することを特徴とする情報処理装置。
第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成し、前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定し、前記注目画素毎にエッジを検出し、エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を繰り返し実行する処理手段と、
前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出する検出手段と、
前記検出されたエッジが縦または横エッジである場合には前記検出されたエッジが斜めエッジである場合よりも前記鮮鋭化処理の繰り返し回数が少なくなるように、前記検出されたエッジの角度に応じて前記鮮鋭化処理の繰り返し回数を変更する制御手段とを具備することを特徴とする情報処理装置。
第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の仮高解像度画像データを生成するステップと、
前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定するステップと、
前記注目画素毎にエッジを検出するステップと、
エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行うステップと、
前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御ステップとを具備することを特徴とする画像処理方法。
前記検出されたエッジが、縦または横のエッジであるか、斜めエッジであるかを判定するために、前記検出されたエッジの角度を検出するステップをさらに具備し、
前記制御ステップは、前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略することを特徴とする請求項６記載の画像処理方法。
コンピュータに第１の解像度の画像データから前記第１の解像度よりも高い第２の解像度の画像データを生成させるプログラムであって、
前記第１の解像度の画像データから前記第２の解像度の仮高解像度画像データを生成する手順と、
前記第１の解像度の画像データ中の複数の画素を１つずつ注目画素として順次設定する手順と、
前記注目画素毎にエッジを検出する手順と、
エッジが検出された場合、前記注目画素を含む注目画像領域の画素値の変化パターンに近似する複数の画像領域内の複数の対応点を前記第１の解像度の画像データから探索する自己合同点抽出処理を行い、前記注目画素に対応する前記仮高解像度画像内の各画素値を、前記注目画素と前記複数の対応点とを含む複数の標本値にそれぞれ合うように修正する鮮鋭化処理を行う手順と、
前記検出されたエッジが縦または横のエッジである場合、前記自己合同点抽出処理および前記鮮鋭化処理の実行を省略する制御手順とを前記コンピュータに実行させることを特徴とするプログラム。