JP6549971B2

JP6549971B2 - 画像処理装置およびプログラム

Info

Publication number: JP6549971B2
Application number: JP2015225126A
Authority: JP
Inventors: 正史東
Original assignee: Eizo Corp
Current assignee: Eizo Corp
Priority date: 2015-11-17
Filing date: 2015-11-17
Publication date: 2019-07-24
Anticipated expiration: 2035-11-17
Also published as: JP2017091475A; WO2017086121A1

Description

本発明は、画像処理装置およびプログラムに関する。

画像内のジャギーを目立たなくするアンチエイリアシングの従来手法として、ＭＳＡＡ（Ｍｕｌｔｉ−ＳａｍｐｌｉｎｇＡｎｔｉ−Ａｌｉａｓｉｎｇ）およびＭＬＡＡ（ＭｏｒｐｈｏｌｏｇｉｃａｌＡｎｔｉ−Ａｌｉａｓｉｎｇ）等が知られていた（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２０１４−１７４８６７号公報

従来よりも適切にジャギーを目立たなくできる技術が望まれていた。

本発明の第１の態様によれば、画像処理装置が提供される。画像処理装置は、入力画像に含まれる画素に対してアンチエイリアシング処理を施す。画像処理装置は、注目画素が構成するオブジェクトのサイズに関するサイズ情報および注目画素がオブジェクトのコーナーを構成するか否かを示すコーナー情報の少なくとも一方に基づいて、注目画素に対するアンチエイリアシング処理を制御する処理制御部を備えてよい。

上記処理制御部は、上記注目画素にアンチエイリアシング処理が施されることによって取得された第１画素データと、上記注目画素に上記アンチエイリアシング処理が施されずに取得された第２画素データとを選択的に出力するセレクタ部を有してよく、上記セレクタ部は、上記サイズ情報および上記コーナー情報の少なくとも一方に基づいて、上記第１画素データまたは上記第２画素データを出力してよい。上記セレクタ部は、上記オブジェクトのサイズが予め定められたサイズより大きいことを上記サイズ情報が示し、かつ、上記注目画素が上記オブジェクトのコーナーを構成しないことを上記コーナー情報が示す場合、上記第１画素データを出力してよい。上記セレクタ部は、上記オブジェクトのサイズが予め定められたサイズより大きくないことを上記サイズ情報が示す場合、上記第２画素データを出力してよい。上記セレクタ部は、上記注目画素が上記オブジェクトのコーナーを構成することを上記コーナー情報が示す場合、上記第２画素データを出力してよい。

上記処理制御部は、上記サイズ情報および上記コーナー情報の少なくとも一方に基づいて、上記注目画素に対するアンチエイリアシング処理の処理強度を制御する画像調整部を有してよい。上記画像調整部は、上記オブジェクトのサイズが予め定められたサイズより大きくないことを上記サイズ情報が示す場合および上記注目画素が上記オブジェクトのコーナーを構成することを上記コーナー情報が示す場合、上記オブジェクトのサイズが予め定められたサイズより大きいことを上記サイズ情報が示し、かつ、上記注目画素が上記オブジェクトのコーナーを構成しないことを上記コーナー情報が示す場合に比べて、上記アンチエイリアシング処理の処理強度を低くしてよい。上記画像調整部は、上記オブジェクトのサイズが予め定められたサイズより大きいことを上記サイズ情報が示し、かつ、上記注目画素が上記オブジェクトのコーナーを構成しないことを上記コーナー情報が示す場合、上記注目画素について、画素値が上記注目画素に上記アンチエイリアシング処理が施されずに取得された画素データよりも上記注目画素に上記アンチエイリアシング処理が施されることによって取得された画素データに近い画素データを出力してよい。上記画像調整部は、上記オブジェクトのサイズが予め定められたサイズより大きくないことを上記サイズ情報が示す場合、上記注目画素について、画素値が上記注目画素に上記アンチエイリアシング処理が施されることによって取得された画素データよりも上記注目画素に上記アンチエイリアシング処理が施されずに取得された画素データに近い画素データを出力してよい。上記画像調整部は、上記注目画素が上記オブジェクトのコーナーを構成することを上記コーナー情報が示す場合、上記注目画素について、画素値が上記注目画素に上記アンチエイリアシング処理が施されることによって取得された画素データよりも上記注目画素に上記アンチエイリアシング処理が施されずに取得された画素データに近い画素データを出力してよい。

上記画像処理装置は、上記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、エッジ画素である上記注目画素の画素値と、上記注目画素に隣接する上記エッジ画素の画素値とを比較することにより、上記注目画素と同一のオブジェクトのエッジを構成する上記エッジ画素を抽出する同一オブジェクト構成画素抽出部と、上記注目画素が構成するエッジの長さが予め定められた長さよりも長い場合に、上記オブジェクトのサイズが予め定められたサイズより大きいことを示す上記サイズ情報を生成するサイズ情報生成部をさらに備えてよい。

上記画像処理装置は、上記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、エッジ画素である上記注目画素の画素値と、上記注目画素に隣接するエッジ画素の画素値とを比較することにより、上記注目画素と同一のオブジェクトのエッジを構成するエッジ画素を抽出する同一オブジェクト構成画素抽出部と、上記入力画像の縦方向または横方向に並ぶ、上記注目画素を含むエッジ画素群の端部に位置するエッジ画素について、上記エッジ画素群が存在する方向とは反対の斜め方向および上記エッジ画素群が存在する方向に垂直な方向にエッジ画素が存在し、当該エッジ画素から、上記エッジ画素群が並ぶ方向に垂直な方向に、予め定められた数以上のエッジ画素が存在する場合に、上記注目画素が上記オブジェクトのコーナーを構成することを示す上記コーナー情報を生成するコーナー情報生成部をさらに備えてよい。

上記画像処理装置は、上記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、エッジ画素である上記注目画素の画素値と、上記注目画素に隣接するエッジ画素の画素値とを比較することにより、上記注目画素と同一のオブジェクトのエッジを構成するエッジ画素を抽出する同一オブジェクト構成画素抽出部と、上記注目画素に上記アンチエイリアシング処理を実行するアンチエイリアシング処理部とをさらに備えてよく、上記アンチエイリアシング処理部は、上記注目画素を含み、上記入力画像の縦方向または横方向に並ぶエッジ画素群に、上記方向に隣接する、上記注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、上記一の画素と上記注目画素との距離および上記画素群の長さに基づく割合に従って、上記注目画素の画素値と上記一の画素の画素値とを配合することにより、上記注目画素の画素データを出力してよい。

本発明の第２の態様によれば、コンピュータを、上記画像処理装置として機能させるためのプログラムが提供される。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

表示装置１００の機能構成の一例を概略的に示す。エッジ検出部１１２による処理の一例を概略的に示す。同一オブジェクト構成画素抽出部１１４による処理の流れの一例を概略的に示す。オブジェクト情報抽出部１１６による処理の一例を概略的に示す。ＭＬＡＡ処理の一例を概略的に示す。ＭＬＡＡ処理の一例を概略的に示す。コーナー画素判定部１１８による処理の流れの一例を概略的に示す。ＭＬＡＡ処理の一例を概略的に示す。アンチエイリアシング処理部１２０による処理の一例を概略的に示す。アンチエイリアシング処理部１２０による処理の一例を概略的に示す。アンチエイリアシング処理部１２０による処理の一例を概略的に示す。アンチエイリアシング処理部１２０による処理の一例を概略的に示す。画像処理部１０２として機能するコンピュータ９００のハードウェア構成の一例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、表示装置１００の機能構成の一例を概略的に示す。表示装置１００は、液晶ディスプレイ、プラズマディスプレイおよび有機ＥＬディスプレイ等であってよい。本実施形態に係る表示装置１００は、入力画像に含まれる画素に対してアンチエイリアシング処理を施して、アンチエイリアシング処理を施した入力画像を表示する。表示装置１００は、画像処理装置の一例であってよい。

表示装置１００は、画像処理部１０２、表示制御部１０４および表示部１０６を備える。画像処理部１０２は、入力画像に含まれる画素に対してアンチエイリアシング処理を施す。画像処理部１０２は、画像処理装置の一例であってよい。

画像処理部１０２は、画像入力部１１０、エッジ検出部１１２、同一オブジェクト構成画素抽出部１１４、オブジェクト情報抽出部１１６、コーナー画素判定部１１８、アンチエイリアシング処理部１２０および処理制御部１３０を有する。

画像入力部１１０は、画像を入力する。入力画像は、動画または静止画であってよく、また、動画に含まれるフレームであってもよい。画像入力部１１０は、ＲＧＢデータ、ＹＵＶデータまたはＨＳＶデータを入力してよい。画像入力部１１０は、入力画像に含まれる画素の画素データを順にエッジ検出部１１２、アンチエイリアシング処理部１２０、および処理制御部１３０に送信してよい。

エッジ検出部１１２は、オブジェクトのエッジを構成するエッジ画素を検出する。本実施形態において、オブジェクトはエッジであってもよく、その場合、エッジ検出部１１２は、オブジェクトを構成するエッジ画素を検出してよい。エッジ検出部１１２は、例えば、注目画素の画素値と、注目画素の４近傍の画素の画素値との差分絶対値を算出して、４近傍の画素のうち、差分絶対値が予め定められた閾値より大きい画素が１つでもあれば注目画素をエッジ画素と判定する。なお、エッジ検出部１１２は、公知の手法を用いることによってエッジ画素を検出してもよい。

本実施形態において、画素値の差分絶対値は、任意の手法によって算出されてよい。例えば、画素値の差分絶対値は、ＲＧＢそれぞれの差分絶対値の和である。また、画素値の差分絶対値は、ＲＧＢそれぞれの差分絶対値の最大値であってもよい。また、画素値の差分絶対値は、輝度信号Ｙの差分絶対値であってもよい。

同一オブジェクト構成画素抽出部１１４は、エッジ検出部１１２によってエッジ画素と判定された注目画素と同一のオブジェクトを構成するエッジ画素を抽出する。例えば、同一オブジェクト構成画素抽出部１１４は、エッジ検出部１１２によってエッジ画素と判定された注目画素の画素値と、注目画素に隣接するエッジ画素の画素値とを比較することにより、注目画素と同一のオブジェクトを構成するエッジ画素を抽出する。同一オブジェクト構成画素抽出部１１４は、注目画素と同一のオブジェクトのエッジを構成するエッジ画素を抽出してよい。

オブジェクト情報抽出部１１６は、注目画素が構成するオブジェクトの情報を抽出する。オブジェクト情報抽出部１１６は、注目画素と、同一オブジェクト構成画素抽出部１１４によって抽出されたエッジ画素とにより構成されるオブジェクトの情報を抽出してよい。オブジェクト情報抽出部１１６は、オブジェクトの大きさに関するサイズ情報を生成してよい。サイズ情報は、オブジェクトのサイズが予め定められたサイズより大きいか否かを示してよい。予め定められたサイズは、例えば、表示装置１００の使用者等によって変更可能であってよい。オブジェクト情報抽出部１１６は、サイズ情報生成部の一例であってよい。

コーナー画素判定部１１８は、注目画素がオブジェクトのコーナーを構成するか否かを判定する。コーナー画素判定部１１８は、注目画素がオブジェクトのコーナーを構成するか否かを示すコーナー情報を生成してよい。例えば、コーナー画素判定部１１８は、入力画像の縦方向または横方向に並ぶ、注目画素を含むエッジ画素群の端部に位置するエッジ画素について、エッジ画素群が存在する方向とは反対の斜め方向およびエッジ画素群が存在する方向に垂直な方向にエッジ画素が存在し、当該エッジ画素から、エッジ画素群が並ぶ方向に垂直な方向に、予め定められた数以上のエッジ画素が存在する場合に、注目画素がオブジェクトのコーナーを構成することを示すコーナー情報を生成する。なお、コーナー画素判定部１１８は、公知の手法を用いることによって、注目画素がオブジェクトのコーナーを構成するか否かを判定して、当該判定結果に従ってコーナー情報を生成してもよい。コーナー画素判定部１１８は、コーナー情報生成部の一例であってよい。

アンチエイリアシング処理部１２０は、入力画像に含まれる画素に対してアンチエイリアシング処理を実行する。アンチエイリアシング処理部１２０は、例えば、ＭＬＡＡ等の従来のアンチエイリアシング処理を実行する。また、アンチエイリアシング処理部１２０は、後述するように、注目画素を含む、入力画像の横方向に並ぶエッジ画素群に横方向に隣接する、注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、注目画素と当該一の画素との距離および注目画素を含むエッジ画素群の長さに基づく割合に従って、注目画素の画素値と一の画素の画素値とを配合することにより、アンチエイリアシング処理を実行してもよい。また、アンチエイリアシング処理部１２０は、注目画素を含む、入力画像の縦方向に並ぶエッジ画素群に縦方向に隣接する、注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、注目画素と当該一の画素との距離および注目画素を含むエッジ画素群の長さに基づく割合に従って、注目画素の画素値と一の画素の画素値とを配合することにより、アンチエイリアシング処理を実行してもよい。

処理制御部１３０は、注目画素が構成するオブジェクトの大きさに関するサイズ情報および注目画素がオブジェクトのコーナーを構成するか否かを示すコーナー情報の少なくとも一方に基づいて、注目画素に対するアンチエイリアシング処理を制御する。処理制御部１３０は、セレクタ部１３２および画像調整部１３４を有してよい。処理制御部１３０は、セレクタ部１３２および画像調整部１３４のいずれか一方のみを有してもよく、両方を有してもよい。

セレクタ部１３２は、注目画素にアンチエイリアシング処理が施されることによって取得された画素データと、注目画素にアンチエイリアシング処理が施されずに取得された画素データとを選択的に出力する。注目画素にアンチエイリアシング処理が施されることによって取得された画素データは第１画素データの一例であってよい。注目画素にアンチエイリアシング処理が施されずに取得された画素データは第２画素データの一例であってよい。

セレクタ部１３２は、オブジェクト情報抽出部１１６によって生成されたサイズ情報およびコーナー画素判定部１１８によって生成されたコーナー情報の少なくとも一方に基づいて、第１画素データまたは第２画素データを出力する。例えば、セレクタ部１３２は、注目画素が構成するオブジェクトのサイズが予め定められたサイズよりも大きいことをサイズ情報が示し、かつ、注目画素がオブジェクトのコーナーを構成しないことをコーナー情報が示す場合、第１画素データを出力する。

また、例えば、セレクタ部１３２は、注目画素が構成するオブジェクトのサイズが予め定められたサイズより大きくないことをサイズ情報が示す場合、第２画素データを出力する。また、例えば、セレクタ部１３２は、注目画素がオブジェクトのコーナーを構成することをコーナー情報が示す場合、第２画素データを出力する。

画像調整部１３４は、オブジェクト情報抽出部１１６によって生成されたサイズ情報およびコーナー画素判定部１１８によって生成されたコーナー情報の少なくとも一方に基づいて、注目画素に対するアンチエイリアシング処理の処理強度を制御する。例えば、画像調整部１３４は、オブジェクトのサイズが予め定められたサイズより大きくないことをサイズ情報が示す場合および注目画素がオブジェクトのコーナーを構成することをコーナー情報が示す場合、オブジェクトのサイズが予め定められたサイズより大きいことをサイズ情報が示し、かつ、注目画素がオブジェクトのコーナーを構成しないことをコーナー情報が示す場合に比べて、アンチエイリアシング処理の処理強度を低くする。

例えば、画像調整部１３４は、オブジェクトのサイズが予め定められたサイズより大きいことをサイズ情報が示し、かつ、注目画素がオブジェクトのコーナーを構成しないことをコーナー情報が示す場合、注目画素について、画素値が第２画素データよりも第１画素データに近い画素データを出力する。

また、例えば、画像調整部１３４は、オブジェクトのサイズが予め定められたサイズより大きくないことをサイズ情報が示す場合、注目画素について、画素値が第１画素データよりも第２画素データに近い画素データを出力する。また、例えば、画像調整部１３４は、注目画素がオブジェクトのコーナーを構成することをコーナー情報が示す場合、注目画素について、画素値が第１画素データよりも第２画素データに近い画素データを出力する。

表示制御部１０４は、処理制御部１３０によって出力された画素データを用いて、画像を表示部１０６に表示させる。表示部１０６は、表示制御部１０４による制御に従って画像を表示する。

図２は、エッジ検出部１１２による処理の一例を概略的に示す。ここでは、入力画像の一部の例２１０に含まれるエッジ画素を検出する処理を例に挙げて説明する。

エッジ検出部１１２は、まず、注目画素２１１の画素値と、注目画素２１１の４近傍の画素２１２、２１３、２１４、２１５のそれぞれの画素値との差分絶対値を算出する。次に、エッジ検出部１１２は、算出した差分絶対値と閾値とを比較する。そして、エッジ検出部１１２は、４つの差分絶対値のうち１つでも閾値より大きければ、注目画素２１１をエッジ画素と判定する。なお、当該閾値は予め設定されていてよい。また、当該閾値は表示装置１００の使用者等によって変更可能であってよい。

エッジ検出部１１２は、例２１０に含まれる各画素について上記処理を実行することによって、例２１０に含まれるすべてのエッジ画素を検出する。例２２０のハッチングが施された画素は、検出されたエッジ画素を示す。

図３は、同一オブジェクト構成画素抽出部１１４による処理の流れの一例を概略的に示す。ここでは、例２３０において、注目画素２３１と同一のオブジェクトのエッジを構成するエッジ画素を抽出する処理を例に挙げて説明する。

同一オブジェクト構成画素抽出部１１４は、まず、注目画素２３１の８近傍に位置するエッジ画素を検出する。同一オブジェクト構成画素抽出部１１４は、検出されたエッジ画素の数が２つの場合、当該２つのエッジ画素を選択し、３つ以上の場合、注目画素２３１の画素値により近い画素値を有する２つのエッジ画素を選択し、２つ未満の場合、処理終了と判定する。

次に、同一オブジェクト構成画素抽出部１１４は、選択された２つのエッジ画素の画素値のうち、注目画素２３１の画素値に近くない方と、注目画素２３１の画素値との差分絶対値を算出する。そして、同一オブジェクト構成画素抽出部１１４は、算出した差分絶対値が閾値よりも小さい場合、選択された２つの画素を輪郭構成画素と判定する。当該閾値は予め設定されていてよい。また、当該閾値は表示装置１００の使用者等によって変更可能であってよい。例２３０では、画素２３２、２３３が輪郭構成画素と判定される。

続いて、同一オブジェクト構成画素抽出部１１４は、輪郭構成画素と判定された画素２３２の８近傍に位置するエッジ画素を検出する。同一オブジェクト構成画素抽出部１１４は、検出されたエッジ画素の数が、注目画素２３１を含めて２つの場合、２つのうち注目画素２３１以外のエッジ画素を選択し、３つ以上の場合、注目画素２３１以外のエッジ画素のうち、画素２３２の画素値により近い画素値を有する１つのエッジ画素を選択し、２つ未満の場合、処理終了と判定する。

次に、同一オブジェクト構成画素抽出部１１４は、選択された１つのエッジ画素の画素値と、画素２３２の画素値との差分絶対値を算出する。そして、同一オブジェクト構成画素抽出部１１４は、算出した差分絶対値が閾値よりも小さければ、選択された１つの画素を輪郭構成画素と判定する。同一オブジェクト構成画素抽出部１１４は、同様の処理を画素２３３についても実行する。

同一オブジェクト構成画素抽出部１１４は、処理終了と判定するまで、輪郭構成画素と判定された画素について上述した処理を繰り返す。これにより、注目画素２３１と同一のオブジェクトのエッジを構成するエッジ画素を抽出できる。例２３０においては、画素２３４、２３５、２３６、２３７が輪郭構成画素と判定される。例２４０のハッチングが施された画素は、同一オブジェクト構成画素抽出部１１４によって抽出されたエッジ画素を示す。

図４は、オブジェクト情報抽出部１１６による処理の一例を概略的に示す。オブジェクト情報抽出部１１６は、注目画素２５１を中心とした予め定められたサイズの領域２５０を抽出し、領域２５０の端部に、注目画素２５１が構成するエッジに含まれるエッジ画素が存在する場合に、注目画素２５１が構成するオブジェクトのサイズが予め定められたサイズより大きいことを示すサイズ情報を生成してよい。また、オブジェクト情報抽出部１１６は、領域２５０の端部に、注目画素２５１が構成するエッジに含まれるエッジ画素が存在しない場合、注目画素２５１が構成するオブジェクトのサイズが予め定められたサイズより大きくないことを示すサイズ情報を生成してよい。

図４に例示する領域２５０では、領域２５０の端部に注目画素２５１が構成するエッジに含まれるエッジ画素２５２およびエッジ画素２５３が存在するので、オブジェクト情報抽出部１１６は、注目画素２５１が構成するオブジェクトのサイズが予め定められたサイズより大きいことを示すサイズ情報を生成する。

なお、ここでは、領域２５０の端部に注目画素２５１が構成するエッジに含まれるエッジ画素が存在することを条件に、注目画素２５１が構成するオブジェクトのサイズが予め定められたサイズより大きいことを示すサイズ情報を生成する例を挙げて説明したが、これに限らない。領域２５０の端部に、注目画素２５１が構成するエッジに含まれるエッジ画素が２つ存在することを条件にしてもよい。

また、ここでは、領域２５０のサイズが７×７画素である場合を例に挙げて説明したが、これに限らない。領域２５０のサイズは、７×７画素以外であってもよい。また、領域２５０のサイズは、表示装置１００の使用者等によって変更可能であってもよい。

図５および図６は、ＭＬＡＡ処理の一例を概略的に示す。例２６０が示すように、ＭＬＡＡ処理によれば、注目画素２６１は、Ｚ型輪郭２６２の一部と判定される。そして、下記数式１によって、注目画素２６１の画素値ＴａｒｇｅｔＶａｌｕｅと、注目画素２６１に隣接する画素２６４の画素値ＯｐｐｏｓｉｔｅＶａｌｕｅとが配合されて、注目画素２６１の画素値の出力値ＯｕｔＶａｌｕｅが算出される。

［数式１］
ただし、ａは領域２６３の面積を示す。

ＭＬＡＡ処理によれば、例２７０が示すように、小さなオブジェクトが密集している場合についても、例２６０と同様に、注目画素２７１が、Ｚ型輪郭２７２の一部と判定され、上記数式１によって、領域２７３の面積ａを用いて、注目画素２７１の画素値ＴａｒｇｅｔＶａｌｕｅと、注目画素２７１に隣接する画素２７４の画素値ＯｐｐｏｓｉｔｅＶａｌｕｅとが配合されて、注目画素２７１の画素値の出力値ＯｕｔＶａｌｕｅが算出されてしまう場合がある。この場合、過剰な画素の配合が生じる恐れがあり、テクスチャの精細感がなくなる、局所的なコントラストが低下する、などの問題が発生する可能性がある。

これに対して、本実施形態に係る表示装置１００によれば、同一オブジェクト構成画素抽出部１１４によって、注目画素と同一のオブジェクトのエッジを構成するエッジ画素が抽出され、当該オブジェクトのサイズが予め定められたサイズよりも大きくない場合には、セレクタ部１３２によって、注目画素にアンチエイリアシング処理が施されずに取得された画素データが出力される。これにより、上述した問題の発生を防止することができる。

また、本実施形態に係る表示装置１００によれば、画像調整部１３４によって、注目画素について、画素値が注目画素にアンチエイリアシング処理が施されることによって取得された画素データよりも注目画素にアンチエイリアシング処理が施されずに取得された画素データに近い画素データが出力される。これにより、上述した問題の影響を低減することができる。

図７は、コーナー画素判定部１１８による処理の流れの一例を概略的に示す。コーナー画素判定部１１８は、入力画像の縦方向または横方向に並ぶ、注目画素を含むエッジ画素群の端部に位置するエッジ画素について、上記エッジ画素群が存在する方向とは反対の斜め方向および上記エッジ画素群が存在する方向に垂直な方向にエッジ画素が存在し、当該エッジ画素から、当該エッジ画素群が並ぶ方向に垂直な方向に、予め定められた数以上のエッジ画素が存在する場合、注目画素がオブジェクトのコーナーを構成することを示すコーナー情報を生成してよい。また、コーナー画素判定部１１８は、入力画像の縦方向または横方向に並ぶ、注目画素を含むエッジ画素群の端部に位置するエッジ画素について、上記エッジ画素群が存在する方向とは反対の斜め方向および上記エッジ画素群が存在する方向に垂直な方向にエッジ画素が存在し、当該エッジ画素から、当該エッジ画素群が並ぶ方向に垂直な方向に、予め定められた数以上のエッジ画素が存在しない場合、注目画素がオブジェクトのコーナーを構成しないことを示すコーナー情報を生成してよい。

コーナー画素判定部１１８は、予め定められた大きさの部分領域を処理単位としてよい。ここでは、大きさが７×７画素の部分領域２８０を例に挙げて説明するが、部分領域の大きさはこれに限らず、他の大きさであってもよい。

コーナー画素判定部１１８は、まず、注目画素２８１から、入力画像の縦方向または横方向に並ぶエッジ画素群の方向を特定する。コーナー画素判定部１１８は、注目画素２８１の横方向および縦方向の両方に隣接するエッジ画素が存在する場合、連続するエッジ画素の数がより多い方向を特定する。すなわち、コーナー画素判定部１１８は、注目画素２８１から横方向に伸びる直線と縦方向に伸びる直線のうち、より長い直線の方向を特定する。コーナー画素判定部１１８は、注目画素２８１の縦方向および横方向のうち、隣接するエッジ画素が横方向にのみ存在する場合には横方向、縦方向にのみ存在する場合には縦方向を特定する。本例では、横方向が特定される。

次に、コーナー画素判定部１１８は、エッジ画素群のうち、特定した方向における端に位置し、かつ、部分領域の端部に位置しないエッジ画素を特定する。部分領域２８０では、特定した方向における端に位置する注目画素２８１およびエッジ画素２８２のうち、エッジ画素２８２が部分領域２８０の端部に位置することから、注目画素２８１のみが特定される。次に、コーナー画素判定部１１８は、特定した端のエッジ画素について、エッジ画素群が存在する方向とは反対の斜め方向およびエッジ画素群が存在する方向に垂直な方向に、隣接するエッジ画素が存在するか否かを判定する。例２８０では、注目画素２８１の右斜め上方向に、隣接するエッジ画素２８３が存在すると判定される。

次に、コーナー画素判定部１１８は、エッジ画素が存在する方向であり、かつ、特定した方向に垂直な方向に、エッジ画素が予め定められた数以上存在するか否かを判定する。例２８０では、矢印２８４が示す方向に、エッジ画素が予め定められた数以上存在するか否かが判定される。

そして、コーナー画素判定部１１８は、エッジ画素が予め定められた数以上存在すると判定した場合、注目画素がオブジェクトのコーナーを構成すると判定する。また、コーナー画素判定部１１８は、エッジ画素が予め定められた数以上存在しないと判定した場合、注目画素がオブジェクトのコーナーを構成しないと判定する。予め定められた数が１の場合、例２８０では、エッジ画素が１つも存在しないことから、注目画素がオブジェクトのコーナーを構成しないと判定される。当該予め定められた数は、表示装置１００の使用者等によって変更可能であってよい。

図８は、ＭＬＡＡ処理の一例を概略的に示す。ＭＬＡＡ処理によれば、例３００が示すように、Ｌ型輪郭３０１、３０２、３０３、３０４が判定されて、例３１０が示すように各画素の画素値が算出される。このように、ＭＬＡＡ処理によれば、コーナー付近で色の滲みが発生し、意図的に作成したオブジェクトの構図が崩れてしまう問題が発生する場合がある。

これに対して、本実施形態に係るセレクタ部１３２によれば、注目画素がオブジェクトのコーナーを構成することをコーナー情報が示す場合、注目画素にアンチエイリアシング処理が施されずに取得された画素データが出力される。これにより、上述した問題の発生を防止することができる。

また、本実施形態に係る画像調整部１３４によれば、注目画素がオブジェクトのコーナーを構成することをコーナー情報が示す場合、注目画素について、画素値が注目画素にアンチエイリアシング処理が施されることによって取得された画素データよりも注目画素にアンチエイリアシング処理が施されずに取得された画素データに近い画素データが出力される。これにより、上述した問題の影響を低減することができる。

図９〜図１２は、アンチエイリアシング処理部１２０による処理の一例を概略的に示す。アンチエイリアシング処理部１２０は、注目画素を含み、入力画像の横方向に並ぶエッジ画素群に、横方向に隣接する、注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、一の画素と注目画素との距離および画素群の長さに基づく割合に従って、注目画素の画素値と一の画素の画素値とを配合することにより、注目画素の画素データを出力してよい。また、アンチエイリアシング処理部１２０は、注目画素を含み、入力画像の縦方向に並ぶエッジ画素群に、縦方向に隣接する、注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、一の画素と注目画素との距離および画素群の長さに基づく割合に従って、注目画素の画素値と一の画素の画素値とを配合することにより、注目画素の画素データを出力してよい。

アンチエイリアシング処理部１２０は、注目画素が横方向に並ぶエッジ画素群に含まれる場合、当該エッジ画素群に、横方向に隣接する、注目画素と同一のオブジェクトに属さない画素を特定する。また、アンチエイリアシング処理部１２０は、注目画素が縦方向に並ぶエッジ画素群に含まれる場合、当該エッジ画素群に、縦方向に隣接する、注目画素と同一のオブジェクトに属さない画素を特定する。特定された画素の数が１つの場合、アンチエイリアシング処理部１２０は当該画素を選択する。

特定された画素の数が２つの場合、アンチエイリアシング処理部１２０は、２つの画素のうちの１つを選択する。アンチエイリアシング処理部１２０は、まず、２つの画素のうち、画素値が注目画素の画素値に近い画素を特定する。次に、アンチエイリアシング処理部１２０は、特定した画素の画素値と、注目画素の画素値との差分絶対値を算出して閾値と比較する。当該閾値は予め設定されていてよい。また、当該閾値は表示装置１００の使用者等によって変更可能であってよい。そして、アンチエイリアシング処理部１２０は、差分絶対値が閾値よりも小さい場合には、２つの画素のうち、画素値が注目画素の画素値に近くない画素を選択する。また、アンチエイリアシング処理部１２０は、差分絶対値が閾値よりも大きい場合、２つの画素のうち、注目画素に距離が近い画素を選択する。

例３２０の注目画素３２１を処理対象とする場合、アンチエイリアシング処理部１２０は、まず、注目画素３２１を含み、入力画像の横方向に並ぶエッジ画素群に、横方向に隣接する、注目画素３２１と同一のオブジェクトに属さない画素である画素３２２、３２３を特定する。次に、アンチエイリアシング処理部１２０は、画素３２２、３２３のうち、画素値が注目画素３２１の画素値に近い画素３２２を特定する。次に、アンチエイリアシング処理部１２０は、注目画素３２１の画素値と画素３２２の画素値との差分絶対値を算出して、閾値と比較する。ここでは、差分絶対値が閾値よりも小さいものとして説明を続ける。アンチエイリアシング処理部１２０は、画素３２２、３２３のうち、画素値が注目画素３２１の画素値に近くない画素３２３を選択する。

例３３０の注目画素３３１を処理対象とする場合、アンチエイリアシング処理部１２０は、まず、注目画素３３１を含み、入力画像の横方向に並ぶエッジ画素群に、横方向に隣接する、注目画素３３１と同一のオブジェクトに属さない画素である画素３３２、３３３を特定する。次に、アンチエイリアシング処理部１２０は、画素３３２、３３３のうち、画素値が注目画素３３１の画素値に近い画素を特定する。ここでは、画素３３３の画素値の方が、注目画素３３１の画素値に近いものとして説明を続ける。アンチエイリアシング処理部１２０は、画素３３３を特定する。次に、アンチエイリアシング処理部１２０は、注目画素３３１の画素値と画素３３３の画素値との差分絶対値を算出して、閾値と比較する。ここでは、差分絶対値が閾値よりも大きいものとして説明を続ける。アンチエイリアシング処理部１２０は、画素３３２、３３３のうち、注目画素３３１に距離が近い画素３３２を選択する。

そして、アンチエイリアシング処理部１２０は、下記数式２を用いて、注目画素の出力画素値ＯｕｔＶａｌｕｅを算出する。アンチエイリアシング処理部１２０は、算出したＯｕｔＶａｌｕｅを注目画素の画素データとして出力する。

［数式２］
ただし、Ａは注目画素の画素値、Ｂは選択された画素の画素値、Ｄｉｓｔａｎｃｅは注目画素と選択された画素との距離、Ｌｅｎｇｔｈは注目画素を含む画素群の長さに基づく値を示す。ｗｅｉｇｈｔは、予め設定された重みの値であってよく、表示装置１００の使用者等によって任意に設定可能であってよい。

アンチエイリアシング処理部１２０は、画素を選択した理由に応じて、Ｌｅｎｇｔｈの導出手法を異ならせてよい。アンチエイリアシング処理部１２０は、上述した差分絶対値が閾値よりも小さく、２つの画素のうち、画素値が注目画素の画素値に近くない画素を選択した場合、エッジ画素群の長さをＬｅｎｇｔｈとしてよい。アンチエイリアシング処理部１２０は、上述した差分絶対値が閾値よりも大きく、注目画素との距離に基づいて画素を選択した場合、エッジ画素群の長さの半分をＬｅｎｇｔｈとしてよい。

例３２０の注目画素３２１を処理対象とする場合、図１１に示すように、注目画素３２１と、選択された画素３２３との距離がＤｉｓｔａｎｃｅとされ、注目画素３２１を含む画素群の長さがＬｅｎｇｔｈとされる。例３３０の注目画素３３１を処理対象とする場合、図１２に示すように、注目画素３３１と、選択された画素３３２との距離がＤｉｓｔａｎｃｅとされ、注目画素３３１を含む画素群の長さの半分がＬｅｎｇｔｈとされる。

アンチエイリアシング処理部１２０は、上述したように、Ｄｉｓｔａｎｃｅの値が大きいほど、選択された画素の画素値の配合比率が高くなるように、出力画素値を算出してよい。また、アンチエイリアシング処理部１２０は、上述したように、Ｌｅｎｇｔｈの値が小さいほど、選択された画素の画素値の配合比率が高くなるように、出力画素値を算出してよい。

アンチエイリアシング処理部１２０は、上記数式２によって算出されたＯｕｔＶａｌｕｅが、注目画素の画素値と選択された画素の画素値との間に収まらない場合、注目画素の画素値と選択された画素の画素値との間に収めるように調整してよい。例えば、アンチエイリアシング処理部１２０は、ＯｕｔＶａｌｕｅの上限値および下限値を、注目画素の画素値および選択された画素の画素値に設定して、上限値を上回る場合には上限値に、下限値を下回る場合には下限値に、ＯｕｔＶａｌｕｅを設定してよい。

上記実施形態では、画像処理部１０２が表示装置１００の内部に配置された場合を例に挙げて説明したが、これに限らない。画像処理部１０２は、表示装置１００の外部のコンピュータであってもよい。

図１３は、画像処理部１０２として機能するコンピュータ９００のハードウェア構成の一例を示す。本実施形態に係るコンピュータ９００は、ホストコントローラ１０８２により相互に接続されるＣＰＵ１０００、ＲＡＭ１０２０、およびグラフィックコントローラ１０７５を有するＣＰＵ周辺部と、入出力コントローラ１０８４によりホストコントローラ１０８２に接続される通信Ｉ／Ｆ１０３０、ハードディスクドライブ１０４０、およびＤＶＤドライブ１０６０を有する入出力部と、入出力コントローラ１０８４に接続されるＲＯＭ１０１０、ＦＤドライブ１０５０、および入出力チップ１０７０を有するレガシー入出力部とを備える。

ＣＰＵ１０００は、ＲＯＭ１０１０およびＲＡＭ１０２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィックコントローラ１０７５は、ＣＰＵ１０００等がＲＡＭ１０２０内に設けたフレーム・バッファ上に生成する画像データを取得し、ディスプレイ１０８０上に表示させる。これに代えて、グラフィックコントローラ１０７５は、ＣＰＵ１０００等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

通信Ｉ／Ｆ１０３０は、有線または無線によりネットワークを介して他の装置と通信する。また、通信Ｉ／Ｆ１０３０は、通信を行うハードウェアとして機能する。ハードディスクドライブ１０４０は、ＣＰＵ１０００が使用するプログラムおよびデータを格納する。ＤＶＤドライブ１０６０は、ＤＶＤ−ＲＯＭ１０９５からプログラムまたはデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。

ＲＯＭ１０１０は、コンピュータ９００が起動時に実行するブート・プログラム、およびコンピュータ９００のハードウェアに依存するプログラム等を格納する。ＦＤドライブ１０５０は、フレキシブルディスク１０９０からプログラムまたはデータを読み取り、ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供する。入出力チップ１０７０は、ＦＤドライブ１０５０を入出力コントローラ１０８４へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ１０８４へと接続する。

ＲＡＭ１０２０を介してハードディスクドライブ１０４０に提供されるプログラムは、フレキシブルディスク１０９０、ＤＶＤ−ＲＯＭ１０９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１０２０を介してハードディスクドライブ１０４０にインストールされ、ＣＰＵ１０００において実行される。

コンピュータ９００にインストールされ、コンピュータ９００を画像処理部１０２として機能させるプログラムは、ＣＰＵ１０００等に働きかけて、コンピュータ９００を、画像処理部１０２の各部としてそれぞれ機能させてよい。これらのプログラムに記述された情報処理は、コンピュータ９００に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段である画像入力部１１０、エッジ検出部１１２、同一オブジェクト構成画素抽出部１１４、オブジェクト情報抽出部１１６、コーナー画素判定部１１８、アンチエイリアシング処理部１２０および処理制御部１３０として機能する。そして、これらの具体的手段によって、本実施形態におけるコンピュータ９００の使用目的に応じた情報の演算または加工を実現することにより、使用目的に応じた特有の画像処理部１０２が構築される。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１００表示装置、１０２画像処理部、１０４表示制御部、１０６表示部、１１０画像入力部、１１２エッジ検出部、１１４同一オブジェクト構成画素抽出部、１１６オブジェクト情報抽出部（サイズ情報生成部）、１１８コーナー画素判定部（コーナー情報生成部）、１２０アンチエイリアシング処理部、１３０処理制御部、１３２セレクタ部、１３４画像調整部、２１０例、２１１注目画素、２１２画素、２１３画素、２１４画素、２１５画素、２２０例、２３０例、２３１注目画素、２３２画素、２３３画素、２３４画素、２３５画素、２３６画素、２３７画素、２４０例、２５０領域、２５１注目画素、２５２画素、２５３画素、２６０例、２６１注目画素、２６２Ｚ型輪郭、２６３領域、２６４画素、２７０例、２７１注目画素、２７２Ｚ型輪郭、２７３領域、２７４画素、２８０部分領域、２８１注目画素、２８２画素、２８３画素、２８４矢印、３００例、３０１Ｌ型輪郭、３０２Ｌ型輪郭、３０３Ｌ型輪郭、３０４Ｌ型輪郭、３１０例、３２０例、３２１注目画素、３２２画素、３２３画素、３３０例、３３１注目画素、３３２画素、３３３画素、９００コンピュータ、１０００ＣＰＵ、１０１０ＲＯＭ、１０２０ＲＡＭ、１０３０通信Ｉ／Ｆ、１０４０ハードディスクドライブ、１０５０ＦＤドライブ、１０６０ＤＶＤドライブ、１０７０入出力チップ、１０７５グラフィックコントローラ、１０８０ディスプレイ、１０８２ホストコントローラ、１０８４入出力コントローラ、１０９０フレキシブルディスク、１０９５ＤＶＤ−ＲＯＭ

Claims

入力画像に含まれる画素に対してアンチエイリアシング処理を施す画像処理装置であって、
注目画素が構成するオブジェクトのサイズに関するサイズ情報および前記注目画素がオブジェクトのコーナーを構成するか否かを示すコーナー情報の少なくとも一方に基づいて、前記注目画素に対するアンチエイリアシング処理を制御する処理制御部と、
前記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、
エッジ画素である前記注目画素の画素値と、前記注目画素に隣接するエッジ画素の画素値とを比較することにより、前記注目画素と同一のオブジェクトのエッジを構成するエッジ画素を抽出する同一オブジェクト構成画素抽出部と、
前記同一オブジェクト構成画素抽出部により抽出され、かつ、前記入力画像の縦方向または横方向に並ぶ、前記注目画素を含むエッジ画素群の端部に位置するエッジ画素について、上記エッジ画素群が存在する方向とは反対の斜め方向および上記エッジ画素群が存在する方向に垂直な方向にエッジ画素が存在し、当該エッジ画素から、前記エッジ画素群が並ぶ方向に垂直な方向に、予め定められた数以上のエッジ画素が存在する場合に、前記注目画素が前記オブジェクトのコーナーを構成することを示す前記コーナー情報を生成するコーナー情報生成部と
を備える、画像処理装置。
前記処理制御部は、前記注目画素にアンチエイリアシング処理が施されることによって取得された第１画素データと、前記注目画素に前記アンチエイリアシング処理が施されずに取得された第２画素データとを選択的に出力するセレクタ部を有し、
前記セレクタ部は、前記サイズ情報および前記コーナー情報の少なくとも一方に基づいて、前記第１画素データまたは前記第２画素データを出力する、請求項１に記載の画像処理装置。
前記セレクタ部は、前記オブジェクトのサイズが予め定められたサイズより大きいことを前記サイズ情報が示し、かつ、前記注目画素が前記オブジェクトのコーナーを構成しないことを前記コーナー情報が示す場合、前記第１画素データを出力する、請求項２に記載の画像処理装置。
前記セレクタ部は、前記オブジェクトのサイズが予め定められたサイズより大きくないことを前記サイズ情報が示す場合、前記第２画素データを出力する、請求項２または３に記載の画像処理装置。
前記セレクタ部は、前記注目画素が前記オブジェクトのコーナーを構成することを前記コーナー情報が示す場合、前記第２画素データを出力する、請求項２から４のいずれか一項に記載の画像処理装置。
前記処理制御部は、前記サイズ情報および前記コーナー情報の少なくとも一方に基づいて、前記注目画素に対するアンチエイリアシング処理の処理強度を制御する画像調整部を有する、請求項１に記載の画像処理装置。
前記画像調整部は、前記オブジェクトのサイズが予め定められたサイズより大きくないことを前記サイズ情報が示す場合および前記注目画素が前記オブジェクトのコーナーを構成することを前記コーナー情報が示す場合、前記オブジェクトのサイズが予め定められたサイズより大きいことを前記サイズ情報が示し、かつ、前記注目画素が前記オブジェクトのコーナーを構成しないことを前記コーナー情報が示す場合に比べて、前記アンチエイリアシング処理の処理強度を低くする、請求項６に記載の画像処理装置。
前記画像調整部は、前記オブジェクトのサイズが予め定められたサイズより大きいことを前記サイズ情報が示し、かつ、前記注目画素が前記オブジェクトのコーナーを構成しないことを前記コーナー情報が示す場合、前記注目画素について、画素値が前記注目画素に前記アンチエイリアシング処理が施されずに取得された画素データよりも前記注目画素に前記アンチエイリアシング処理が施されることによって取得された画素データに近い画素データを出力する、請求項６または７に記載の画像処理装置。
前記画像調整部は、前記オブジェクトのサイズが予め定められたサイズより大きくないことを前記サイズ情報が示す場合、前記注目画素について、画素値が前記注目画素に前記アンチエイリアシング処理が施されることによって取得された画素データよりも前記注目画素に前記アンチエイリアシング処理が施されずに取得された画素データに近い画素データを出力する、請求項６から８のいずれか一項に記載の画像処理装置。
前記画像調整部は、前記注目画素が前記オブジェクトのコーナーを構成することを前記コーナー情報が示す場合、前記注目画素について、画素値が前記注目画素に前記アンチエイリアシング処理が施されることによって取得された画素データよりも前記注目画素に前記アンチエイリアシング処理が施されずに取得された画素データに近い画素データを出力する、請求項６から９のいずれか一項に記載の画像処理装置。
前記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、
エッジ画素である前記注目画素の画素値と、前記注目画素に隣接する前記エッジ画素の画素値とを比較することにより、前記注目画素と同一のオブジェクトのエッジを構成する前記エッジ画素を抽出する同一オブジェクト構成画素抽出部と、
前記注目画素が構成するエッジの長さが予め定められた長さよりも長い場合に、前記オブジェクトのサイズが予め定められたサイズより大きいことを示す前記サイズ情報を生成するサイズ情報生成部
をさらに備える、請求項１から１０のいずれか一項に記載の画像処理装置。
前記入力画像から、オブジェクトのエッジを構成するエッジ画素を検出するエッジ画素検出部と、
エッジ画素である前記注目画素の画素値と、前記注目画素に隣接するエッジ画素の画素値とを比較することにより、前記注目画素と同一のオブジェクトのエッジを構成するエッジ画素を抽出する同一オブジェクト構成画素抽出部と、
前記注目画素に前記アンチエイリアシング処理を実行するアンチエイリアシング処理部と
を備え、
前記アンチエイリアシング処理部は、
前記注目画素を含み、前記入力画像の縦方向または横方向に並ぶエッジ画素群に、前記方向に隣接する、前記注目画素と同一のオブジェクトに属さない画素から一の画素を選択し、前記一の画素と前記注目画素との距離および前記画素群の長さに基づく割合に従って、前記注目画素の画素値と前記一の画素の画素値とを配合することにより、前記注目画素の画素データを出力する、請求項１から１０のいずれか一項に記載の画像処理装置。
コンピュータを、請求項１から１２のいずれか一項に記載の画像処理装置として機能させるためのプログラム。