JP4760801B2 - 画像判定装置、画像判定方法、およびプログラム - Google Patents

画像判定装置、画像判定方法、およびプログラム Download PDF

Info

Publication number
JP4760801B2
JP4760801B2 JP2007205801A JP2007205801A JP4760801B2 JP 4760801 B2 JP4760801 B2 JP 4760801B2 JP 2007205801 A JP2007205801 A JP 2007205801A JP 2007205801 A JP2007205801 A JP 2007205801A JP 4760801 B2 JP4760801 B2 JP 4760801B2
Authority
JP
Japan
Prior art keywords
image
local region
average value
image determination
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007205801A
Other languages
English (en)
Other versions
JP2009044341A5 (ja
JP2009044341A (ja
Inventor
優 鈴木
昌美 緒形
和彦 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007205801A priority Critical patent/JP4760801B2/ja
Priority to US12/187,237 priority patent/US8363975B2/en
Priority to CN2008101298169A priority patent/CN101365092B/zh
Publication of JP2009044341A publication Critical patent/JP2009044341A/ja
Publication of JP2009044341A5 publication Critical patent/JP2009044341A5/ja
Application granted granted Critical
Publication of JP4760801B2 publication Critical patent/JP4760801B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Description

本発明は、画像判定装置、画像判定方法、およびプログラムに関する。
近年、デジタル放送の開始に伴い、HD(High Definition)解像度の画像信号が、放送局などから送信されている。しかしながら、放送局などから送信される画像信号は、全てがHD解像度の画像信号ではなく、従来のアナログ放送で用いられてきたSD(Standard Definition)解像度の画像信号をHD解像度へとアップコンバートさせた擬似的なHD解像度の画像信号が含まれる場合がある。
SD解像度の画像をHD解像度の画像へアップコンバートする方式としては、サイドパネル方式、トップ&ボトムクロップ方式、ストレッチ方式などが知られている。
一般的に、SD解像度の画像をHD解像度の画像へとアップコンバートさせた擬似的なHD解像度の画像は、ピュアなHD解像度の画像に比べて、画質の面において劣るため、例えば、輪郭補償器(Image Enhancer)などを用いて画像の輪郭を強調させるなどの画像補正が必要となる。
このような中、画像信号が、SD解像度の画像をHD解像度の画像へアップコンバートさせた画像であるか否かを判定する技術が開発されている。
サイドパネルを検出して画像を判定する技術としては、例えば、特許文献1が挙げられる。また、サイドパネルの検出に加え、平均輝度を算出して画像を判定する技術としては、例えば、特許文献2が挙げられる。
特開2005−第65195号公報 特開2005−第26814号公報
しかしながら、上述したサイドパネルを検出して画像を判定する技術は、無効領域としてのサイドパネルの信号が、所定の閾値以下の信号のみであることを必要とする。したがって、上述したサイドパネルを検出して画像を判定する技術は、SD解像度の画像をHD解像度の画像へアップコンバートさせた画像に付加されるサイドパネルの信号が、所定の閾値以下の信号の場合にしか画像を判定することはできない。
また、SD解像度の画像をHD解像度の画像へアップコンバートする方式には、サイドパネル方式だけでなく、トップ&ボトムクロップ方式やストレッチ方式など、無効領域としてのサイドパネルを含まずにアップコンバートする方式がある。したがって、上述したサイドパネルを検出して画像を判定する技術は、画像信号にサイドパネルが含まれない場合は、画像の判定を行うことはできない。
また、上述したサイドパネルの検出に加え、平均輝度を算出して画像を判定する技術も、サイドパネルの検出を前提としているため、やはり、画像信号にサイドパネルが含まれない場合は、画像の判定を行うことはできない。
したがって、画像信号が示す画像がSD解像度の画像をHD解像度の画像へアップコンバートさせた画像であるか否かを判定する従来の技術(従来の画像判定の技術)は、一定の条件の下で、限定的にしか画像の判定を行うことができない。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことが可能な、新規かつ改良された画像判定装置、画像判定方法、およびプログラムを提供することにある。
上記目的を達成するために、本発明の第1の観点によれば、画像信号が示す画像を複数の局所領域に分割し、上記局所領域ごとに画像信号から複数の周波数帯域の信号を検出する周波数帯域信号検出部と、上記周波数帯域信号検出部が検出した複数の周波数帯域の信号ごとに、各上記局所領域における振幅に相当する特性値の平均値を算出する平均値算出部と、少なくとも1以上の上記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択する局所領域選択部と、上記局所領域選択部において選択された局所領域に対応する上記平均値を選択する平均値選択部と、上記平均値選択部において選択された上記複数の周波数帯域ごとの上記平均値のうち、一の上記平均値に対する他の上記平均値の相対値を算出する相対値算出部と、上記相対値算出部が算出した上記相対値に基づいて画像を判定する画像判定部とを備える画像判定装置が提供される。
上記画像判定装置は、周波数帯域信号検出部と、平均値算出部と、局所領域選択部と、平均値選択部と、相対値算出部と、画像判定部とを備えることができる。周波数帯域信号検出部は、例えば、画像信号を画素ごとにフィルタリングすることにより、局所領域ごとに画像信号から複数の周波数帯域の信号を検出することができる。平均値算出部は、複数の周波数帯域の信号ごとに、各上記局所領域における振幅に相当する特性値の平均値を算出することができる。局所領域選択部は、少なくとも1以上の画像情報に基づいて少なくとも1の局所領域を選択することができる。ここで、上記画像情報は、入力される画像信号に基づく画像信号が示す画像に係る情報(例えば、画像信号から設定される信頼度、上記平均値、後述するユークリッド距離、後述する相対値、特性値の標本数、後述する明るさ値など)とすることができる。平均値選択部は、局所領域選択部において選択された局所領域に対応する平均値を、平均値算出部が算出した平均値の中から選択することができる。相対値算出部は、平均値選択部において選択された複数の周波数帯域ごとの平均値のうち、一の平均値に対する他の平均値の相対値を算出することができる。ここで、上記一の平均値を導いた周波数帯域における周波数の下限は、例えば、上記他の平均値を導いた周波数帯域における周波数の下限よりも低く設定することができる。画像判定部は、相対値算出部で算出された相対値に基づいて画像の判定を行うことができる。かかる構成により、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことができる。
また、上記周波数帯域信号検出部が検出した複数の周波数帯域の信号ごとに、各上記局所領域における上記特性値の標本数に対する第1信頼度を設定する標本数信頼度設定部と、上記平均値算出部が算出した各上記局所領域における上記平均値に対する第2信頼度を設定する平均値信頼度設定部と、上記第1信頼度と上記第2信頼度に基づいて、上記局所領域に対する第3信頼度を上記局所領域ごとに設定する局所領域信頼度設定部とをさらに備え、上記局所領域選択部は、さらに上記第3信頼度に基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、画像の判定結果の信頼度を低下させる要因を取り除いた上で、画像の判定を行うことができる。
また、上記局所領域選択部は、上記第3信頼度が所定の閾値以上の値を示す上記局所領域のうち、予め規定された基準位置からのユークリッド距離に基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、重要な情報が存在する可能性が高い領域の画像信号成分を用いて判定を行うことができる。
また、上記画像情報は、上記平均値算出部が算出した各上記局所領域における上記複数の周波数帯域ごとの上記平均値であり、上記局所領域選択部は、上記局所領域ごとに上記画像情報に応じた上記相対値を算出し、上記局所領域ごとの上記相対値に基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、重要な情報が存在する可能性が高い領域の画像信号成分を用いて判定を行うことができる。
また、上記画像情報は、上記平均値算出部が算出した各上記局所領域の上記複数の周波数帯域における一の上記平均値であり、上記局所領域選択部は、各上記局所領域における上記一の平均値の大きさに基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、重要な情報が存在する可能性が高い領域の画像信号成分を用いて判定を行うことができる。
また、上記画像情報は、各上記局所領域の上記複数の周波数帯域における上記特性値の標本数であり、上記局所領域選択部は、各上記局所領域における上記標本数に基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、重要な情報が存在する可能性が高い領域の画像信号成分を用いて判定を行うことができる。
また、上記画像信号から輝度情報に基づく明るさ値を上記局所領域ごとに設定する明るさ値設定部をさらに備え、上記局所領域選択部は、各上記局所領域における上記明るさ値に基づいて少なくとも1の局所領域を選択してもよい。
かかる構成により、重要な情報が存在する可能性が高い領域の画像信号成分を用いて判定を行うことができる。
また、上記相対値算出部は、予め定めた所定の周波数帯域で算出された上記平均値と、上記予め定めた所定の周波数帯域よりも高域の周波数帯域で算出された上記平均値とに基づいて、上記相対値を算出してもよい。
かかる構成により、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことができる。
また、上記予め定めた所定の周波数帯域の下限周波数は、標準解像度の画像からアップコンバートされた画像のナイキスト周波数に対するアップコンバート方式に応じた理論上有効な周波数の上限よりも低く、また、上記高域の周波数帯域の下限周波数は、標準解像度の画像からアップコンバートされた画像のナイキスト周波数に対するアップコンバート方式に応じた理論上有効な周波数の上限よりも高くてもよい。
かかる構成により、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことができる。
また、上記目的を達成するために、本発明の第2の観点によれば、画像信号が示す画像を複数の局所領域に分割し、上記局所領域ごとに画像信号から複数の周波数帯域の信号を検出するステップと、上記検出するステップにおいて検出された複数の周波数帯域の信号ごとに、各上記局所領域における振幅に相当する特性値の平均値を算出するステップと、少なくとも1以上の上記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択するステップと、上記局所領域を選択するステップにおいて選択された局所領域に対応する上記平均値を選択するステップと、上記平均値を選択するステップにおいて選択された上記複数の周波数帯域ごとの上記平均値のうち、一の上記平均値に対する他の上記平均値の相対値を算出するステップと、上記相対値を算出するステップにおいて算出された上記相対値に基づいて画像を判定するステップとを有する画像判定方法が提供される。
かかる方法を用いることにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことができる。
また、上記目的を達成するために、本発明の第3の観点によれば、画像信号が示す画像を複数の局所領域に分割し、上記局所領域ごとに画像信号から複数の周波数帯域の信号を検出するステップ、上記検出するステップにおいて検出された複数の周波数帯域の信号ごとに、各上記局所領域における振幅に相当する特性値の平均値を算出するステップ、少なくとも1以上の上記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択するステップ、上記局所領域を選択するステップにおいて選択された局所領域に対応する上記平均値を選択するステップ、上記平均値を選択するステップにおいて選択された上記複数の周波数帯域ごとの上記平均値のうち、一の上記平均値に対する他の上記平均値の相対値を算出するステップ、上記相対値を算出するステップにおいて算出された上記相対値に基づいて画像を判定するステップをコンピュータに実行させるためのプログラムが提供される。
かかるプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらずに画像の判定を行うことができる。
本発明によれば、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(画像判定の原理)
まず、本発明における画像判定の原理について説明する。
図1は、HD解像度の画像とSD解像度の画像をアップコンバートした画像とを示す説明図である。ここで、図1(a)は、HD解像度の画像を示している。また、図1(b)は、SD解像度の画像を示しており、図1(c)は、SD解像度の画像をアップコンバートした画像(以下、「擬似HD解像度の画像」という。)を示している。
また、図1(c)に示すように、擬似HD解像度の画像は、無効領域としてのサイドパネルが付加されているとは限らない。したがって、従来の画像判定の技術では、図1(c)のようなサイドパネルを含まない擬似HD解像度の画像を判定することができない。そこで本発明に係る実施形態では、HD解像度の画像と擬似HD解像度の画像とを判別するために、HD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用する。
図2は、図1(a)に示すHD解像度の画像と、図1(c)に示す擬似HD解像度の画像との周波数振幅特性の差異を説明する説明図である。図2は、横軸に正規化角周波数をとり、縦軸に振幅のパワースペクトルをとって、画像における周波数と振幅との関係を示している。
図2を参照すると、図1(a)に示すHD解像度の画像と、図1(c)に示す擬似HD解像度の画像とは、図2における周波数が低い帯域(以下、「低域の周波数帯域」という。)では、振幅が大きな信号を有し、周波数が高くなる程、信号の振幅は減衰することが分かる。ここで、図2に示すような低域の周波数帯域で振幅が大きく、また、周波数が高くなるに従って振幅が減衰する周波数振幅特性は、自然画像などの一般的な画像で成立する。
ここで、図2に基づいて、HD解像度の画像の信号と、擬似HD解像度の画像の信号とを比較すると、低域の周波数帯域では同様に信号が分布しているが、振幅の減衰率が異なることが分かる。すなわち、図2における低域の周波数帯域より周波数が高い帯域(以下、「中域の周波数帯域」という。)では、図2の領域Aに存在する信号は主にHD解像度の画像の信号であり、擬似HD解像度の画像の信号は極少量しか存在しない。したがって、振幅の減衰率は、HD解像度の画像よりも、擬似HD解像度の画像の方が大きくなる。
また、図2における中域の周波数帯域よりもさらに周波数が高い領域(以下、「高域の周波数帯域」という。)では、擬似HD解像度の画像の信号はほとんど分布せず、HD解像度の画像の信号は分布するという差異が認められる。なお、上述した図2に示す周波数振幅特性は、図1(a)と図1(c)との画像に限られず、ほぼ全ての画像が同様の傾向を示す。
したがって、本発明に係る実施形態では、HD解像度の画像と擬似HD解像度の画像とにおける振幅の減衰率の違いに着目し、数式1に示す指標(以下、「HD度」という。)を画像の判定に用いる。
HD度=(|周波数帯域2の振幅に相当する特性値|の平均値)/(|周波数帯域1の振幅に相当する特性値|の平均値)
・・・(数式1)
数式1における周波数帯域1の下限周波数は、周波数帯域2の下限周波数よりも低い周波数に設定される。したがって、図2に示す周波数振幅特性より、HD度は、0≦HD度<1の値をとる。ここで、HD度が0(零)となるのは、周波数帯域2において、振幅に相当する特性値(以下、「振幅特性値」という。)が存在しない場合である。
ここで、振幅特性値は、振幅そのものとしてもよいし、振幅のパワースペクトルとすることもできる。なお、振幅特性値が上記に限られないことは、言うまでもない。また、数式1に示す平均値は、相加平均で求めることができるが、係る算出方法に限られず、例えば、相乗平均としてもよいし、所定の重み付けをした重み付け平均とすることもできる。
なお、数式1では、HD度をより正確に求めるために、“振幅特性値の絶対値”の平均値に基づいてHD度を算出しているが、係る算出方法に限られず、“絶対値算出前の振幅特性値”に基づいてHD度を算出することができることは、言うまでもない。
HD度は、周波数帯域1における振幅特性値の平均値と、周波数帯域2における振幅特性値の平均値との相対値であるので、図2に示される上述したHD解像度の画像と擬似HD解像度の画像との減衰率の違いを表すことができる。したがって、判定する画像のHD度が0(零)に近い値をとればとる程、判定する画像は、擬似HD解像度の画像である確率は非常に高くなり、また、判定する画像のHD度が1に近い値をとればとる程、判定する画像はHD解像度の画像であるといえる。
(本発明の実施形態に係る判定対象の他の例と、判定処理の概要)
本発明に係る実施形態は、上述した画像判定の原理を用いることにより、画像信号が示す画像が、HD解像度の画像であるかまたは擬似HD解像度の画像であるかを判定することができる。しかしながら、例えば、放送局などから送信される画像信号が示す画像は、解像度が単一の画像に限られず、例えば、HD解像度の画像と擬似HD解像度の画像とが混在している場合がある。
[本発明の実施形態に係る判定対象の他の例]
図3は、本発明の実施形態に係る判定対象の一例を示す説明図である。図3に示すように、例えば、ニュース番組などにおいて、HD解像度の画像と擬似HD解像度の画像とが混在する場合がある。図3のような画像の場合、画像全体に対して上述した画像判定の原理を用いて判定を行ったとしても、正確な判定結果が得られない場合(すなわち、誤判定が生じる場合)が想定される。
[判定処理の概要]
そこで、次に、図3に示すようなHD解像度の画像と擬似HD解像度の画像とが混在している画像に対しても画像判定が可能な本発明の実施形態に係る画像判定装置における処理の概要について説明する。図4は、本発明の実施形態に係る判定処理の概要を説明するための説明図である。本発明の実施形態に係る画像判定装置は、例えば、以下の(1)〜(3)に示す処理により、画像判定を行う。
(1)画像を複数の領域に分割
図4に示すように、本発明の実施形態に係る画像判定装置は、画像全体に対して上述した画像判定の原理を用いて判定を行うことによる誤判定を防止するために、画像全体を複数の領域(以下、「局所領域」という。)に分ける。なお、図4では、局所領域を等面積の格子状に分割した例を示したが、本発明の実施形態に係る局所領域は、図4に示す例に限られない。本発明の実施形態に係る局所領域は、例えば、面積が異なる格子状であってもよいし、局所領域それぞれで形状、面積が異なる非格子状に分割することもできる。
(2)判定する領域の選択
本発明の実施形態に係る画像判定装置は、複数の局所領域のうちの少なくとも1の局所領域を画像判定を行う領域として選択する。本発明の実施形態に係る画像判定装置は、画像信号から導出される情報である画像情報を少なくとも1つ用いることによって、画像における重要な情報が存在する可能性が高い領域を選択することができる。ここで、画像における重要な情報とは、例えば、人物や対象物など、画像を見るユーザが注目する可能性が高いものを示す情報が挙げられる。なお、本発明の実施形態に係る局所領域の選択手段については、後述する。
(3)画像判定
本発明の実施形態に係る画像判定装置は、選択された少なくとも1の局所領域に対して画像の判定を行う。そして、本発明の実施形態に係る画像判定装置は、選択された局所領域における判定結果に基づいて画像の判定を行うことができる。ここで、1の局所領域が選択された場合には、画像判定装置は、例えば、選択された局所領域における判定結果を画像信号が示す画像の判定結果とすることができる。また、複数の局所領域が選択された場合には、画像判定装置は、例えば、選択された各局所領域それぞれにおける判定結果のうち、最も数が多い判定結果を画像信号が示す画像の判定結果とすることができる。
選択された局所領域を画像判定の基とすることにより、本発明の実施形態に係る画像判定装置は、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソース(resource)を低減することができる。また、選択された局所領域を画像判定の基とすることにより、本発明の実施形態に係る画像判定装置は、より重要な情報が存在する可能性が高い領域に適した画像判定を行うこともできる。なお、本発明の実施形態に係る画像判定装置が、局所領域それぞれに対して画像の判定を行うことも可能であることは、言うまでもない。
本発明の実施形態に係る画像判定装置は、例えば、上記(1)〜(3)に示すような処理を行うことにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
以下、上述した画像判定の原理を用いた本発明の実施形態に係る画像判定装置について、より詳細に説明する。なお、以下では、本発明の実施形態に係る画像判定装置に画像信号が入力されるものとして説明するが、画像判定装置に入力される画像信号は、静止画像を示すものであってもよいし、または、動画像(いわゆる映像)であってもよい。
また、本発明の実施形態に係る画像判定装置に入力される画像信号は、例えば、デジタル放送などで用いられるデジタル信号であってもよいし、上記に限られず、例えば、アナログ放送などで用いられるアナログ信号とすることもできる。なお、本発明の実施形態に係る画像判定装置に入力される画像信号は、例えば、放送局から送信され画像判定装置が受信したものとすることができるが、上記に限られない。例えば、本発明の実施形態に係る画像判定装置に入力される画像信号は、LAN(Local Area Network)などのネットワークを介して外部装置から送信され画像判定装置が受信したものであってもよいし、または、画像判定装置が備える記憶部に保持された映像ファイルや画像ファイルを画像判定装置が読み出したものであってもよい。
(第1の実施形態)
図5は、本発明の第1の実施形態に係る画像判定装置100を示すブロック図である。
図5を参照すると、第1の実施形態に係る画像判定装置100は、周波数帯域信号検出部102と、ノイズ除去部104と、平均値算出部106と、標本数信頼度設定部108と、平均値信頼度設定部110と、局所領域信頼度設定部112と、局所領域選択部114と、平均値選択部116と、相対値算出部118と、画像判定部120とを備える。
また、画像判定装置100は、例えば、MPU(Micro Processing Unit)などで構成され画像判定装置100全体を制御することが可能な制御部(図示せず)や、制御部が使用するプログラムや演算パラメータなどの制御用データが記録されたROM(Read Only Memory;図示せず)、制御部により実行されるプログラムなどを一次記憶するRAM(Random Access Memory;図示せず)、画像判定装置100が判定を行う画像などを記憶可能な記憶部(図示せず)、放送局などから送信され画像信号を受信する受信部(図示せず)、ユーザが操作可能な操作部(図示せず)などを備えてもよい。画像判定装置100は、例えば、データの伝送路としてのバス(bus)により上記各構成要素間を接続することができる。ここで、記憶部(図示せず)としては、例えば、ハードディスク(Hard Disk)などの磁気記録媒体や、フラッシュメモリ(flash memory)などの不揮発性メモリ(nonvolatile memory)、光磁気ディスク(Magneto Optical Disk)などが挙げられるが、上記に限られない。また、操作部(図示せず)としては、例えば、キーボード(keyboard)やマウス(mouse)などの操作入力デバイスや、ボタン、方向キー、あるいは、これらの組み合わせなどが挙げられるが、上記に限られない。
周波数帯域信号検出部102は、第1周波数帯域検出部150と、第2周波数帯域検出部152とを備え、局所領域ごとに入力される画像信号のフィルタリングを行う。第1周波数帯域検出部150と第2周波数帯域検出部152とは、例えば、画素ごとに処理を行い、特定の周波数帯域の画像信号のみを通過させ、その他の帯域の画像信号を減衰させるバンドパス・フィルタ(Band-Pass Filter;以下、「BPF」という。)で構成することができる。
ここで、周波数帯域信号検出部102がフィルタリングを行う各局所領域は、例えば、予め設定することができるが、上記に限られない。例えば、周波数帯域信号検出部102がフィルタリングを行う各局所領域は、画像判定装置100を使用するユーザからのユーザ入力に応じて適宜設定されてもよい。
第1周波数帯域検出部150は、例えば、SD解像度の画像からアップコンバートされた画像におけるナイキスト周波数に対する理論上有効な周波数の上限より低域の周波数帯域を通過させ、かつ、DC(Direct Current)成分を通過させない低域のBPFで構成される。
また、第2周波数帯域検出部152は、例えば、SD解像度の画像からアップコンバートされた画像におけるナイキスト周波数に対する理論上有効な周波数の上限の近傍を通過させる中域のBPFで構成される。
ここで、第1周波数帯域検出部150を構成する低域のBPFと、第2周波数帯域検出部152を構成する中域のBPFとは、周波数帯域が一部重なっていても構わない。また、SD解像度の画像からアップコンバートされた画像におけるナイキスト周波数に対する理論上有効な周波数の上限は、アップコンバートする方式によって異なる。すなわち、図2に示すように、HD解像度、および擬似HD解像度における正規化したナイキスト周波数がa(a=π)である場合、トップ&ボトムクロップ方式、および、ストレッチ方式でアップコンバートされた画像のナイキスト周波数に対する理論上有効な周波数の上限bは、b=(3/8)×aであり、サイドパネル方式でアップコンバートされた画像のナイキスト周波数に対する理論上有効な周波数の上限cは、c=(4/9)×aである。
したがって、第1周波数帯域検出部150と第2周波数帯域検出部152とは、例えば、第1周波数帯域検出部150をナイキスト周波数に対する理論上有効な周波数の上限bを基準に設定し、第2周波数帯域検出部152をナイキスト周波数に対する理論上有効な周波数の上限cを基準に設定することができる。なお、第1周波数帯域検出部150と第2周波数帯域検出部152とは、上記に限られず、第1周波数帯域検出部150と第2周波数帯域検出部152との双方を、ナイキスト周波数に対する理論上有効な周波数の上限bを基準に設定してもよい。
また、第1周波数帯域検出部150と第2周波数帯域検出部152とを構成するBPFは、検出能力を高めるために、サイドローブを低減する必要がある。したがって、第1の実施形態に係るBPFは、例えば、Sinc関数にハミング窓関数(Hamming window function)を乗じた関数を用いてフィルタ係数値を設定し、当該フィルタ係数値に相当するようにタップの数を設定してBPFを構成する。
上記構成をとることにより、第1の実施形態に係るBPFは、離散フーリエ変換(Discrete Fourier Transform)を用いるよりも、サイドローブを低減し、かつ、メインローブを矩形波により近づけることができる。なお、フィルタ係数値を設定するために用いる窓関数は、ハミング窓関数に限られず、例えば、ハニング窓関数(Hanning window function)やガウス窓関数(Gaussian window function)などを用いることができることは、言うまでもない。また、第1の実施形態に係るBPFは、上記構成に限られず、デジタルフィルタで構成することもできる。
なお、第1周波数帯域検出部150と第2周波数帯域検出部152とは、BPFに限られず、遮断周波数以上の周波数の画像信号だけを通過させ、遮断周波数より小さな周波数の画像信号を減衰させるハイパス・フィルタ(High-Pass Filter)で構成することもできる。また、第1周波数帯域検出部150と第2周波数帯域検出部152とを、遮断周波数以下の周波数の画像信号だけを通過させ、遮断周波数より大きな周波数の画像信号を減衰させるローパス・フィルタ(Low-Pass Filter)で構成することもできる。ただし、ローパス・フィルタを用いる場合、周波数が0(零)の信号に相当する平均輝度の影響を受け、平均輝度によって、HD解像度の画像と擬似HD解像度の画像との判定が正確に行えない場合がある。
したがって、周波数帯域信号検出部102は、周波数が0(零)の画像信号を通過させないフィルタが好ましく、BPFに限られず、任意のフィルタで構成することができる。
ノイズ除去部104は、第1ノイズ除去部154と、第2ノイズ除去部156とを備え、周波数帯域信号検出部102から出力される画像信号のノイズの除去を局所領域ごとに行うことができる。第1ノイズ除去部154は、第1周波数帯域検出部150が画素ごとにフィルタリングした画像信号のノイズを除去し、各局所領域において画素ごとに振幅特性値を出力する。また、第2ノイズ除去部156は、第2周波数帯域検出部152が画素ごとにフィルタリングした画像信号のノイズを除去し、各局所領域において画素ごとに振幅特性値を出力する。
ここで、ノイズ除去部104におけるノイズの除去は、例えば、周波数帯域信号検出部102が通過させる周波数帯域ごとに、ノイズとみなす振幅特性値の閾値を予め設定することにより行うことができる。またノイズ除去部104におけるノイズの除去は、画像判定装置100が周波数帯域信号検出部102が通過させる周波数帯域ごとにノイズを検出するノイズ計測部(図示せず)を備え、ノイズ計測部が計測したノイズの計測結果に基づいて行うこともできる。なお、ノイズ除去部104におけるノイズの除去手段は、上記に限られないことは、言うまでもない。
平均値算出部106は、第1平均値算出部158と、第2平均値算出部160とを備え、ノイズ除去部104から出力される振幅特性値の平均値の算出を局所領域ごとに行うことができる。第1平均値算出部158には、第1ノイズ除去部154によりノイズが除去された画素ごとの振幅特性値が入力され、第1平均値算出部158は、振幅特性値の絶対値の平均値を局所領域ごとに算出する。また、第2平均値算出部160には、第2ノイズ除去部156によりノイズが除去された画素ごとの振幅特性値が入力され、第2平均値算出部160は、振幅特性値の絶対値の平均値を局所領域ごとに算出する。
ここで、第1平均値算出部158と第2平均値算出部160とにおける平均値は、例えば、相加平均で求めることができる。なお、平均値算出部106における平均値の算出方法は、相加平均に限られず、例えば、相乗平均や重み付け平均など、様々な方法で算出できることは、言うまでもない。
標本数信頼度設定部108は、振幅特性値が非0(零)の画素の数(標本数)に基づく第1信頼度を局所領域ごとに設定する。ここで、画像判定装置100が第1信頼度を設定する理由としては、以下の理由が挙げられる。
[第1信頼度の設定理由]
画像判定装置100は、例えば、数式1に示すHD度を用いて画像の判定を行う。しかしながら、数式1に示す平均値を算出するための標本数が少なければ少ない程、当該平均値の統計的な信頼度は低下する。したがって、統計的な信頼度が低い平均値を用いてHD度が算出された場合には、画像判定装置100は、入力される画像信号が示す画像がHD解像度の画像であるか擬似HD解像度の画像であるかを正確に判定できるとは限らない。
したがって、画像判定装置100は、平均値算出のための標本数に対する信頼度を設定することにより、誤判定が生じる可能性の低減を図る。以下、標本数信頼度設定部108についてより具体的に説明する。
標本数信頼度設定部108は、第1ノイズ除去部154から出力される画像信号に基づいて第1信頼度を局所領域ごとに設定する第1標本数信頼度設定部162と、第2ノイズ除去部156から出力される画像信号に基づいて第1信頼度を局所領域ごとに設定する第2標本数信頼度設定部164とを備える。
ここで、第1標本数信頼度設定部162および第2標本数信頼度設定部164それぞれにおける第1信頼度の設定は、例えば、以下の(I)、(II)の手順により行うことができる。また、以下では、第1標本数信頼度設定部162における第1信頼度の設定を例として示すが、第2標本数信頼度設定部164も同様に第1信頼度を設定することができる。
〔第1信頼度の設定手順の一例〕
(I)標本数の算定
第1標本数信頼度設定部162は、各局所領域に対して画素ごとに振幅特性値が非0(零)であるか否かを判定し、標本数を算定する。ここで、標本数の算定方法としては、例えば、振幅特性値が非0(零)と判定されるごとに、カウンタの値を1増加させることが挙げられるが、上記に限られない。
(II)第1信頼度の設定
第1標本数信頼度設定部162は、算定された標本数に基づいて第1信頼度を設定する。ここで、第1標本数信頼度設定部162は、例えば、算定された標本数と所定の閾値とを比較することにより第1信頼度を設定することができる。第1標本数信頼度設定部162は、例えば、算定された標本数が所定の閾値以上の場合に第1信頼度を“1”(すなわち、当該標本数は、数式1に示す平均値算出のために使用可能な値である。)に設定し、また、算定された標本数が所定の閾値未満の場合に第1信頼度を“0”(すなわち、当該標本数は、数式1に示す平均値算出のために使用できない値である。)に設定することができる。第1信頼度を設定するために用いる所定の閾値は、例えば、予め規定された固定の値とすることができるが、上記に限られず、ユーザ入力に応じて可変する値であってもよい。なお、第1信頼度の設定方法が、上記に限られないことは、言うまでもない。また、第1標本数信頼度設定部162が設定する第1信頼度は、上述した2値(“0”または“1”)に限られない。
また、第1標本数信頼度設定部162が第1信頼度の設定のために用いる所定の閾値は、例えば、標本数信頼度設定部108が記憶部を備え(または、第1標本数信頼度設定部162が記憶部を備えていてもよい。)、当該記憶部に記憶されてもよい。ここで、標本数信頼度設定部108が備える記憶部としては、例えば、EEPROM(Electronically Erasable and Programmable Read Only Memory)、フラッシュメモリ、MRAM(Magnetoresistive Random Access Memory)、FeRAM(Ferroelectric Random Access Memory)、PRAM(Phase change Random Access Memory)などの不揮発性メモリが挙げられるが、上記に限られない。なお、第1信頼度の設定のために用いる所定の閾値は、例えば、画像判定装置100の記憶部(図示せず)に記憶され、第1標本数信頼度設定部162が当該記憶部(図示せず)から適宜読み出してもよいことは、言うまでもない。
標本数信頼度設定部108は、例えば、上記(I)、(II)の手順によって、第1信頼度を局所領域ごとに設定することができる。
平均値信頼度設定部110は、平均値算出部106が算出した平均値に基づく第2信頼度を局所領域ごとに設定する。ここで、画像判定装置100が第2信頼度を設定する理由としては、以下の理由が挙げられる。
[第2信頼度の設定理由]
上述したように、画像判定装置100は、例えば、数式1に示すHD度を用いて画像の判定を行う。しかしながら、数式1に示す平均値が微小な値である場合には、例えば、ノイズ(例えば、ノイズ除去部104で除去しきれなかったノイズ)などの影響が大きくなるため、当該平均値の信頼度は低下しうる。したがって、信頼度が低い平均値を用いてHD度が算出された場合には、画像判定装置100は、入力される画像信号が示す画像がHD解像度の画像であるか擬似HD解像度の画像であるかを正確に判定できるとは限らない。
したがって、画像判定装置100は、算出された平均値に対する信頼度を設定することにより、誤判定が生じる可能性の低減を図る。以下、平均値信頼度設定部110についてより具体的に説明する。
平均値信頼度設定部110は、第1平均値算出部158から出力される平均値に基づいて第2信頼度を局所領域ごとに設定する第1平均値信頼度設定部166と、第2平均値算出部160から出力される平均値に基づいて第2信頼度を局所領域ごとに設定する第2平均値信頼度設定部168とを備える。
ここで、第1平均値信頼度設定部166および第2平均値信頼度設定部168それぞれにおける第2信頼度の設定は、例えば、以下に示すように行うことができる。また、以下では、第1平均値信頼度設定部166における第2信頼度の設定を例として示すが、第2平均値信頼度設定部168も同様に第2信頼度を設定することができる。
〔第2信頼度の設定手順の一例〕
第1平均値信頼度設定部166は、第1平均値算出部158から出力される平均値と所定の閾値とを比較することにより第2信頼度を設定することができる。第1平均値信頼度設定部166は、例えば、第1平均値算出部158から出力される平均値が所定の閾値以上の場合に第2信頼度を“1”(すなわち、当該平均値は、数式1に示すHD度算出のために使用可能な値である。)に設定し、また、第1平均値算出部158から出力される平均値が所定の閾値未満の場合に第2信頼度を“0”(すなわち、当該平均値は、数式1に示すHD度算出のために使用できない値である。)に設定することができる。第2信頼度を設定するために用いる所定の閾値は、例えば、予め規定された固定の値とすることができるが、上記に限られず、ユーザ入力に応じて可変する値であってもよい。なお、第2信頼度の設定方法が、上記に限られないことは、言うまでもない。また、第1平均値信頼度設定部166が設定する第2信頼度は、上述した2値(“0”または“1”)に限られない。
また、第1平均値信頼度設定部166が第2信頼度の設定のために用いる所定の閾値は、例えば、平均値信頼度設定部110が記憶部を備え(または、第1平均値信頼度設定部166が記憶部を備えていてもよい。)、当該記憶部に記憶されてもよい。ここで、平均値信頼度設定部110が備える記憶部としては、例えば、EEPROM、フラッシュメモリなどの不揮発性メモリが挙げられるが、上記に限られない。なお、第2信頼度の設定のために用いる所定の閾値は、例えば、画像判定装置100の記憶部(図示せず)に記憶され、第1平均値信頼度設定部166が当該記憶部(図示せず)から適宜読み出してもよいことは、言うまでもない。
平均値信頼度設定部110は、例えば、上記のような手順によって、第2信頼度を局所領域ごとに設定することができる。
局所領域信頼度設定部112は、標本数信頼度設定部108から出力される第1信頼度と、平均値信頼度設定部110から出力される第2信頼度とに基づいて、各局所領域に対する信頼度である第3信頼度を局所領域ごとに設定する。
[第3信頼度の設定手順の一例]
局所領域信頼度設定部112は、第1標本数信頼度設定部162が設定した局所領域ごとの第1信頼度(第1の第1信頼度)、第2標本数信頼度設定部164が設定した局所領域ごとの第1信頼度(第2の第1信頼度)、第1平均値信頼度設定部166が設定した局所領域ごとの第2信頼度(第1の第2信頼度)、および第2平均値信頼度設定部168が設定した局所領域ごとの第2信頼度(第2の第2信頼度)に基づいて、第3信頼度を局所領域ごとに設定することができる。
局所領域信頼度設定部112は、例えば、AND演算により第3信頼度を設定することができる。すなわち、局所領域信頼度設定部112は、例えば、ある局所領域において第1の第1信頼度、第2の第1信頼度、第1の第2信頼度および第2の第2信頼度が全て“1”の場合に第3信頼度を“1”(すなわち、当該局所領域の画像信号を用いた画像の判定が可能である。)に設定することができる。また、局所領域信頼度設定部112は、例えば、ある局所領域において第1の第1信頼度、第2の第1信頼度、第1の第2信頼度および第2の第2信頼度のいずれかが“0”の場合に第3信頼度を“0”(すなわち、当該局所領域の画像信号を用いた画像の判定が可能ではない。)に設定することができる。なお、第3信頼度の設定方法が、上記に限られないことは、言うまでもない。また、局所領域信頼度設定部112が設定する第3信頼度は、上述した2値(“0”または“1”)に限られない。
局所領域信頼度設定部112は、例えば、上記のような手順により第3信頼度を局所領域ごとに設定することができる。
局所領域選択部114は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部114は、画像情報として「局所領域の信頼度(第3信頼度)」と「HD度(相対値)」を用い、以下の第1条件を満たす局所領域を選択する。
<第1条件>
条件1−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件1−2:最も大きなHD度(相対値)を算出可能な局所領域
ここで、局所領域選択部114は、条件1−2を局所領域の選択条件とすることによって、高精細な画像信号を最も多く含有する局所領域を選択することができる。
上記第1条件を満たす局所領域を判定するため、局所領域選択部114には、局所領域信頼度設定部112が設定した局所領域ごとの第3信頼度と、第1平均値算出部158が算出した局所領域ごとの平均値および第2平均値算出部160が算出した局所領域ごとの平均値とが入力される。以下に、画像判定装置100における局所領域の選択方法の一例を示す。
[第1の局所領域選択方法]
図6は、本発明の第1の実施形態に係る画像判定装置100における第1の局所領域選択方法の一例を示す流れ図である。図6に示す局所領域選択方法は、局所領域選択部114が行うことができる。
まず、局所領域選択部114は、HD度(相対値)を算出するための平均値として初期値を設定する(S100)。図6では、HD度(相対値)を算出するための一の平均値AVEaに初期値def1が設定され、また、他の平均値AVEbに初期値def2が設定される例を示している。ここで、初期値def1、def2としては、例えば、下記の条件を満たす値が挙げられる。
<初期値の設定条件の例>
・def1<0
・|def1|>|def2|
・def2>0
また、初期値def1、def2は、例えば、局所領域選択部114が備える記憶部に記憶されることができる。ここで、局所領域選択部114が備える記憶部としては、例えば、EEPROM、フラッシュメモリなどの不揮発性メモリが挙げられるが、上記に限られない。なお、初期値def1、def2は、例えば、予め規定された固定の値であってもよいし、または、ユーザ入力に応じて適宜設定されてもよい。
局所領域選択部114は、一の局所領域を選択する(S102)。ここで、局所領域選択部114は、ステップS102において、例えば、画像の左上に対応する局所領域から順次選択するというように予め規定された順序で局所領域を選択してもよいし、または、ランダムに局所領域を選択することもできる。
局所領域選択部114は、ステップS102において選択された局所領域の信頼度(第3信頼度)が高いか否かを判定する(S104)。ここで、局所領域の信頼度(第3信頼度)が、例えば、2値で表される場合には、局所領域選択部114は、局所領域の信頼度(第3信頼度)が“1”を示す場合に信頼度が高いと判定することができる。また、局所領域の信頼度(第3信頼度)が、例えば、2値以外で表される場合には、局所領域選択部114は、局所領域の信頼度(第3信頼度)が所定の閾値以上の場合に信頼度が高いと判定することができる。
ステップS104において選択された局所領域の信頼度(第3信頼度)が高いと判定された場合には、局所領域選択部114は、選択された局所領域において算出された平均値をHD度(相対値)を算出するための平均値候補として設定する(S106)。図6では、選択された局所領域において第1平均値算出部158が算出したave1が一の平均値候補AVEcとして設定され、また、選択された局所領域において第2平均値算出部160が算出したave2が他の平均値候補AVEdとして設定される例を示している。
また、ステップS104において選択された局所領域の信頼度(第3信頼度)が高くないと判定された場合には、局所領域選択部114は、選択された局所領域における処理を終了する(S112)。
ステップS106において平均値候補が設定されると、局所領域選択部114は、より大きなHD度(相対値)を算出可能な局所領域であるか否かを判定する(S108)。ステップS108における判定は、例えば、図6に示すように「(AVEa×AVEd)>(AVEb×AVEc)」の条件式を満たすか否かで行うことができる。ステップS108の判定が行われることにより、局所領域選択部114は、上記条件1−2(最も高いHD度(相対値)が算出可能な局所領域であるか)を満たす局所領域を選択することができる。
ステップS108において第1条件を満たすと判定された場合には、局所領域選択部114は、HD度(相対値)を算出するための平均値を更新する(S110)。図6では、HD度(相対値)を算出するための一の平均値AVEaが平均値候補AVEcに更新され、また、他の平均値AVEbが平均値候補AVEdに更新される例を示している。そして、ステップS110において平均値が更新されると、局所領域選択部114は、選択された局所領域における処理を終了する(S112)。
また、ステップS108において第1条件を満たさないと判定された場合には、局所領域選択部114は、選択された局所領域における処理を終了する(S112)。
ステップS112において選択された局所領域における処理が終了すると、局所領域選択部114は、全ての局所領域が処理されたか否かを判定する(S114)。ここで、局所領域選択部114は、例えば、ステップS112が行われるごとにカウンタの値を増加させ、当該カウンタの値が局所領域の数に達した場合に全ての局所領域が処理されたと判定することができるが、上記に限られない。
ステップS114において全ての局所領域が処理されたと判定されなかった場合には、局所領域選択部114は、ステップS102からの処理を繰り返す。
また、ステップS114において全ての局所領域が処理されたと判定された場合には、HD度(相対値)を算出するための平均値の組(AVEa,AVEb)を出力する(S116)。
以上のように、図6に示すステップS100〜S116の処理が行われることによって、画像判定装置100は、局所領域一つ一つに対して上記第1条件(条件1−1および条件1−2)を満たすか否かを判定し、HD度(相対値)を算出するための平均値の組(AVEa,AVEb)を出力することができる。
また、図6に示す第1の局所領域選択方法は、全ての局所領域の信頼度(第3信頼度)が低い場合には、平均値の組として初期値(def1,def2)を出力することができる。したがって、第1の局所領域選択方法を用いる画像判定装置100は、“画像判定を行う局所領域を選択しない”という選択を行うこともできる。ここで、局所領域が選択されなかった場合には、画像判定装置100は、例えば、“画像判定を行わない”とすることができるが、上記に限られず、“予め規定された判定結果を出力する”としてもよい。
[第2の局所領域選択方法]
上述したように、図6に示す第1の局所領域選択方法を用いることにより、画像判定装置100は、上記第1条件を満たす1の局所領域を選択することができる。しかしながら、本発明の第1の実施形態に係る画像判定装置100における局所領域選択方法は、図6に示す方法に限られない。そこで、次に、画像判定装置100における他の局所領域選択方法である第2の局所領域選択方法について説明する。
図7は、本発明の第1の実施形態に係る画像判定装置100における第2の局所領域選択方法の一例を示す流れ図である。図7に示す局所領域選択方法は、局所領域選択部114が行うことができる。
まず、局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、HD度(相対値)を算出するための平均値として初期値を設定する(S200)。図7では、HD度(相対値)を算出するための一の平均値AVEaに初期値def1が設定され、また、他の平均値AVEbに初期値def2が設定される例を示している。
局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、一の局所領域を選択する(S202)。
局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、ステップS202において選択された局所領域の信頼度(第3信頼度)が高いか否かを判定する(S204)。ステップS204において選択された局所領域の信頼度(第3信頼度)が高くないと判定された場合には、局所領域選択部114は、選択された局所領域における処理を終了する(S212)。
また、ステップS204において選択された局所領域の信頼度(第3信頼度)が高いと判定された場合には、局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、選択された局所領域において算出された平均値をHD度(相対値)を算出するための平均値候補として設定する(S206)。図7では、選択された局所領域において第1平均値算出部158が算出したave1が一の平均値候補AVEcとして設定され、また、選択された局所領域において第2平均値算出部160が算出したave2が他の平均値候補AVEdとして設定される例を示している。
ステップS206において平均値候補が設定されると、局所領域選択部114は、より大きなHD度(相対値)を算出可能な局所領域であるか否かを判定する(S208)。ステップS208における判定は、例えば、図7に示すように「{log(AVEd)−log(AVEc)}>{log(AVEb)−log(AVEa)}」の条件式を満たすか否かで行うことができる。
ここで、ステップS206に示すように、第2の局所領域選択方法は、対数(常用対数)を用いてより大きなHD度(相対値)を算出可能な局所領域であるか否かを判定する点が、図6に示す第1の局所領域選択方法と異なる。しかしながら、対数を用いて判定を行ったとしても、局所領域選択部114は、上記条件1−2(最も高いHD度(相対値)が算出可能な局所領域であるか)を満たす局所領域を選択することができる。
ステップS208において第1条件を満たすと判定された場合には、局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、HD度(相対値)を算出するための平均値を更新する(S210)。図7では、HD度(相対値)を算出するための一の平均値AVEaが平均値候補AVEcに更新され、また、他の平均値AVEbが平均値候補AVEdに更新される例を示している。そして、ステップS210において平均値が更新されると、局所領域選択部114は、選択された局所領域における処理を終了する(S212)。
また、ステップS208において第1条件を満たさないと判定された場合には、局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、選択された局所領域における処理を終了する(S212)。
ステップS212において選択された局所領域における処理が終了すると、局所領域選択部114は、図6に示す第1の局所領域選択方法と同様に、全ての局所領域が処理されたか否かを判定する(S214)。
ステップS214において全ての局所領域が処理されたと判定されなかった場合には、図6に示す第1の局所領域選択方法と同様に、局所領域選択部114は、ステップS202からの処理を繰り返す。
また、ステップS214において全ての局所領域が処理されたと判定された場合には、図6に示す第1の局所領域選択方法と同様に、HD度(相対値)を算出するための平均値の組(AVEa,AVEb)を出力する(S216)。
以上のように、第2の局所領域選択方法は、対数を用いてより大きなHD度(相対値)を算出可能な局所領域であるか否かを判定する点が、図6に示す第1の局所領域選択方法と異なる。しかしながら、図7に示すステップS200〜S216の処理が行われることによって、画像判定装置100は、図6に示す第1の局所領域選択方法を用いる場合と同様に、局所領域一つ一つに対して上記第1条件(条件1−1および条件1−2)を満たすか否かを判定し、HD度(相対値)を算出するための平均値の組(AVEa,AVEb)を出力することができる。
また、図7に示す第2の局所領域選択方法は、全ての局所領域の信頼度(第3信頼度)が低い場合には、図6に示す第1の局所領域選択方法と同様に、平均値の組として初期値(def1,def2)を出力することができる。したがって、第2の局所領域選択方法を用いる画像判定装置100は、“画像判定を行う局所領域を選択しない”という選択を行うこともできる。
再度図5を参照して、画像判定装置100について説明する。局所領域選択部114は、例えば、上述した第1、第2の局所領域選択方法を用いることにより、上記第1条件(条件1−1および条件1−2)を満たす局所領域を選択し、当該局所領域における平均値の組(AVEa,AVEb)を出力することができる。
なお、図6に示す第1の局所領域選択方法および図7に示す第2の局所領域選択方法では、局所領域選択部114が平均値の組(AVEa,AVEb)を出力することを示したが、本発明の実施形態に係る局所領域選択方法は、上記に限られない。例えば、局所領域選択部114は、上記第1条件を満たす局所領域のインデックス番号を出力することもできる。ここで、局所領域選択部114は、例えば、局所領域(例えば、局所領域の基準位置)と局所領域のインデックス番号とが対応付けられたルックアップテーブル(Look Up Table)を用いて上記第1条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。ルックアップテーブルは、例えば、画像判定装置100の記憶部(図示せず)に記憶され、局所領域選択部114が画像判定装置100の記憶部から適宜読み出すことができる。なお、ルックアップテーブルに記録される情報は、例えば、局所領域の設定に応じて更新されてもよいことは、言うまでもない。
また、局所領域選択部114が局所領域のインデックス番号を出力する方法を用いるとき、全ての局所領域の信頼度(第3信頼度)が低い場合には、局所領域選択部114は、例えば、どの局所領域をも示さない例外番号を出力することもできる。したがって、第1、第2の局所領域選択方法を用いる画像判定装置100は、“画像判定を行う局所領域を選択しない”という選択を行うこともできる。
平均値選択部116は、平均値算出部106から出力される各局所領域の平均値の中から、局所領域選択部114において選択された局所領域に対応する平均値の組(第1平均値算出部158から出力される平均値,第2平均値算出部160から出力される平均値)を選択的に出力する。
[第1の平均値選択方法:平均値の組(AVEa,AVEb)を用いる方法]
局所領域選択部114から平均値の組(AVEa,AVEb)が出力される場合、平均値選択部116は、例えば、平均値の組(AVEa,AVEb)と平均値算出部106から出力される各局所領域の平均値とのマッチング処理を行う。そして、平均値選択部116は、平均値の組(AVEa,AVEb)と一致する平均値の組を出力する。ここで、平均値の組(AVEa,AVEb)と一致する平均値の組が存在しない場合、すなわち、局所領域選択部114から平均値の組として初期値(def1,def2)が出力された場合には、平均値選択部116は、局所領域選択部114から出力された平均値の組(AVEa,AVEb)=(def1,def2)を出力することができる。
〔第1の平均値選択方法の変形例〕
上記のように、第1の平均値選択方法を用いる平均値選択部116は、マッチング処理の結果によらず局所領域選択部114から出力された平均値の組(AVEa,AVEb)を出力することができる。したがって、本発明の実施形態に係る画像判定装置は、局所領域選択部114と平均値選択部116とを別体の部として備える構成に限られず、例えば、局所領域選択部114と平均値選択部116とを一体の部としたとしても、上記第1条件を満たす局所領域における平均値の組(AVEa,AVEb)を出力することができる。
[第2の平均値選択方法:局所領域のインデックスを用いる方法]
局所領域選択部114から選択された局所領域のインデックス番号が出力される場合、平均値選択部116は、例えば、インデックス番号に対応する局所領域の平均値の組を選択的に出力することができる。ここで、平均値選択部116は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いることにより、局所領域の平均値の組を選択的に出力することができる。局所領域の選択に用いるルックアップテーブルは、例えば、画像判定装置100の記憶部(図示せず)に記憶され、平均値選択部116が画像判定装置100の記憶部から適宜読み出すことができるが、上記に限られない。例えば、ルックアップテーブルが画像判定装置100の外部装置に記憶され、平均値選択部116が有線/無線ネットワークなどを介してルックアップテーブルを適宜読み出すこともできる。
また、局所領域選択部114からどの局所領域をも示さない例外番号が出力された場合には、平均値選択部116は、例えば、“平均値の組を出力しない”とすることもできる。上記の場合には、平均値選択部116は、例えば、画像判定を行わない旨のログ情報を画像判定装置100の記憶部(図示せず)に記録することができるが、上記に限られない。
平均値選択部116は、上記のような方法を用いることにより、平均値算出部106から出力される各局所領域の平均値の中から、局所領域選択部114において選択された局所領域に対応する平均値の組を選択的に出力することができる。
相対値算出部118は、平均値選択部116から出力される平均値の組から相対値を算出する。ここで、相対値算出部118が算出する相対値は、数式1に示すHD度に相当する。したがって、相対値算出部118における相対値の算出は、数式1に従い、例えば、下記に示す数式2で求めることができる。
HD度=相対値算出部118が算出する相対値
=(第2平均算出部160が算出した選択された局所領域における平均値)/(第1平均算出部158が算出した選択された局所領域における平均値)
・・・(数式2)
なお、相対値算出部118が算出する相対値、すなわちHD度の算出方法は、数式2に限られず、例えば、対数(常用対数)を用いて下記の数式3で求めることもできる。
HD度=相対値算出部118が算出する相対値
=log(第2平均算出部160が算出した選択された局所領域における平均値)−log(第1平均算出部158が算出した選択された局所領域における平均値)
・・・(数式3)
画像判定部120は、相対値算出部118が算出した相対値、すなわち、HD度を用いて画像の判定を行う。ここで、判定される画像は、上述したように、相対値算出部118が算出したHD度が0(零)に近い値をとればとる程、擬似HD解像度の画像である確率は非常に高くなる。また、判定される画像は、相対値算出部118が算出したHD度が1に近い値をとればとる程、HD解像度の画像である確率が非常に高い。したがって、画像判定部120は、予め設けられた閾値に基づいて、HD度が閾値以上であれば、画像をHD解像度の画像であると判定し、また、HD度が閾値未満であれば、画像を擬似HD解像度の画像であると判定することができる。
なお、画像判定部120における画像の判定は、上記に限られず、HD度の値そのものを、HD解像度の画像である確率値として捉え、HD解像度の画像である確からしさを判定することができることは、言うまでもない。
以上のように、本発明の第1の実施形態に係る画像判定装置100は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第1の実施形態に係る画像判定装置100は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置100は、画像信号が示す画像を複数の局所領域に分割し、画像情報として「相対値」を用いることによって、“高精細な画像信号を最も多く含有する局所領域”を選択する。そして、画像判定装置100は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置100は、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置100は、高精細な画像信号を最も多く含有する局所領域に基づいて画像判定を行うことができるので、例えば、画像判定装置100が判定した画像判定結果を用いて画像の補正を行う場合には、“高精細な画像信号を最も多く含有する局所領域”(重要な情報が存在する可能性が高い領域)に応じた補正を画像に対して行うことができる。
さらに、画像判定装置100は、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置100は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置100は、画像の判定における誤判定を低減することができる。
[第1の実施形態に係る画像判定装置100の変形例]
上述した第1の実施形態に係る画像判定装置100では、局所領域選択部114が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第1の実施形態に係る画像判定装置は上記の構成に限られない。
第1の実施形態の変形例に係る画像判定装置は、例えば、複数の局所領域を選択して画像判定を行うこともできる(ただし、選択される局所領域の数は、全局所領域数以下であるとする。)。ここで、第1の実施形態の変形例に係る画像判定装置は、例えば、以下の(A)〜(C)の手順により画像判定を行うことができる。
(A)局所領域の選択
第1の実施形態の変形例に係る画像判定装置は、例えば、上記条件1−1に加えて、算出されるHD度(相対値)が大きな局所領域順に複数の局所領域を選択する。ここで、第1変形例における局所領域の選択は、例えば、局所領域の信頼度(第3信頼度)が高い局所領域の相対値を算出して、値が大きい順にソート(sort)することが挙げられるが、上記に限られない。また、(A)の処理は、例えば、局所領域選択部が行うことができる。
(B)相対値の算出
第1の実施形態の変形例に係る画像判定装置は、選択された局所領域それぞれに対して相対値を算出する。
(C)画像の判定
第1の実施形態の変形例に係る画像判定装置は、算出された複数の相対値に基づいて画像の判定を行う。ここで、(C)における画像の判定は、例えば、相対値が所定の閾値未満の相対値の総数と、相対値が所定の閾値以上の相対値の総数とを比較して、どちらの総数が大きいかにより行うことができるが、上記に限られない。
第1の実施形態の変形例に係る画像判定装置は、例えば、上記(A)〜(C)の処理により、複数の局所領域を選択して画像判定を行うことができる。
(画像判定に係るプログラム)
上述した本発明の第1の実施形態に係る画像判定装置100をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第2の実施形態)
上述した本発明の第1の実施形態に係る画像判定装置では、上記第1条件を満たす局所領域を選択して画像判定を行う構成について説明した。しかしながら、本発明の実施形態に係る画像判定装置における局所領域の選択条件は、上記第1条件に限られない。そこで、次に、局所領域の選択条件が異なる第2の実施形態に係る画像判定装置について説明する。
図8は、本発明の第2の実施形態に係る画像判定装置200を示すブロック図である。
図8を参照すると、本発明の第2の実施形態に係る画像判定装置200は、第1の実施形態に係る画像判定装置100の構成と基本的に同様の構成を有しているが、画像判定装置100と比較すると、局所領域選択部202における局所領域の選択条件が異なる。
また、画像判定装置200は、第1の実施形態に係る画像判定装置100と同様に、例えば、MPUなどで構成される制御部(図示せず)や、ROM(図示せず)、RAM(図示せず)、記憶部(図示せず)、受信部(図示せず)、操作部(図示せず)などを備えてもよい。
周波数帯域信号検出部102、ノイズ除去部104、平均値算出部106、標本数信頼度設定部108、平均値信頼度設定部110、局所領域信頼度設定部112、平均値選択部116、相対値算出部118、および画像判定部120は、第1の実施形態に係る画像判定装置100と同様の機能を有している。したがって、画像判定装置200は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
局所領域選択部202は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部202は、画像情報として「局所領域の信頼度(第3信頼度)」と「より高域の周波数成分の平均値」を用い、以下の第2条件を満たす局所領域を選択する。
<第2条件>
条件2−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件2−2:第2平均値算出部160が算出する平均値(すなわち、より高域の周波数成分の平均値)が最も大きな局所領域
ここで、局所領域選択部202は、条件2−2を局所領域の選択条件とすることによって、高域の周波数成分が多く、またコントラストが高くて視覚的に目立つ局所領域を選択することができる。
上記第2条件を満たす局所領域を判定するため、局所領域選択部202には、局所領域信頼度設定部112が設定した局所領域ごとの第3信頼度と、第2平均値算出部160が算出した局所領域ごとの平均値が入力される。
そして、局所領域選択部202は、上記第2条件を満たす局所領域を選択し、例えば、選択された局所領域に対応するインデックス番号を出力する。ここで、局所領域選択部202は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いて上記第2条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。
したがって、画像判定装置200は、局所領域選択部202において上記第2条件を満たす局所領域に対して画像判定を行うことができる。
以上のように、本発明の第2の実施形態に係る画像判定装置200は、第1の実施形態に係る画像判定装置100と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第2の実施形態に係る画像判定装置200は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置200は、画像信号が示す画像を複数の局所領域に分割し、画像情報として「より高域の周波数成分の平均値」を用いることによって、“高域の周波数成分が多く、またコントラストが高くて視覚的に目立つ局所領域”を選択する。そして、画像判定装置200は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置200は、第1の実施形態に係る画像判定装置100と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置200は、“高域の周波数成分が多く、またコントラストが高くて視覚的に目立つ局所領域”に基づいて画像判定を行うことができるので、例えば、画像判定装置200が判定した画像判定結果を用いて画像の補正を行う場合には、“高域の周波数成分が多く、またコントラストが高くて視覚的に目立つ局所領域”(重要な情報が存在する可能性が高い領域)に応じた補正を画像に対して行うことができる。
さらに、画像判定装置200は、第1の実施形態に係る画像判定装置100と同様に、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置200は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置200は、画像の判定における誤判定を低減することができる。
[第2の実施形態に係る画像判定装置200の変形例]
上述した第2の実施形態に係る画像判定装置200では、局所領域選択部202が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第2の実施形態に係る画像判定装置は上記の構成に限られない。第2の実施形態の変形例に係る画像判定装置は、例えば、第1の実施形態に係る画像判定装置の変形例と同様に、複数の局所領域を選択して画像判定を行うこともできる。
ここで、第2の実施形態の変形例に係る画像判定装置は、例えば、上記条件2−1に加えて、第2平均値算出部160が算出する平均値が大きな局所領域順に複数の局所領域を選択することができるが、選択の手段は上記に限られない。
(画像判定に係るプログラム)
上述した本発明の第2の実施形態に係る画像判定装置200をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第3の実施形態)
上述した本発明の第1、第2の実施形態に係る画像判定装置では、上記第1条件、または上記第2条件を満たす局所領域を選択して画像判定を行う構成について説明した。しかしながら、本発明の実施形態に係る画像判定装置における局所領域の選択条件は、上記第1、第2条件に限られない。そこで、次に、局所領域の選択条件が異なる第3の実施形態に係る画像判定装置について説明する。
図9は、本発明の第3の実施形態に係る画像判定装置300を示すブロック図である。
図9を参照すると、本発明の第3の実施形態に係る画像判定装置300は、第1の実施形態に係る画像判定装置100の構成と基本的に同様の構成を有しているが、画像判定装置100と比較すると、局所領域選択部302における局所領域の選択条件が異なる。
また、画像判定装置300は、第1の実施形態に係る画像判定装置100と同様に、例えば、MPUなどで構成される制御部(図示せず)や、ROM(図示せず)、RAM(図示せず)、記憶部(図示せず)、受信部(図示せず)、操作部(図示せず)などを備えてもよい。
周波数帯域信号検出部102、ノイズ除去部104、平均値算出部106、標本数信頼度設定部108、平均値信頼度設定部110、局所領域信頼度設定部112、平均値選択部116、相対値算出部118、および画像判定部120は、第1の実施形態に係る画像判定装置100と同様の機能を有している。したがって、画像判定装置300は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
局所領域選択部302は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部302は、画像情報として「局所領域の信頼度(第3信頼度)」と「平均値の算出に用いる振幅特性値の標本数」を用い、以下の第3条件を満たす局所領域を選択する。
<第3条件>
条件3−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件3−2:平均値の算出に用いる振幅特性値の標本数が最も多い局所領域
ここで、局所領域選択部302は、条件3−2を局所領域の選択条件とすることによって、画像信号成分を多く含む局所領域を選択することができる。局所領域選択部302が条件3−2を満たす局所領域を選択することによって、画像判定装置300は、画像信号が示す画像(または映像)を見るユーザが注目する可能性が高い絵柄の割合が多い領域、すなわち、重要な情報が存在する可能性が高い領域に応じて画像判定を行うことができる。
上記第3条件を満たす局所領域を判定するため、局所領域選択部302には、局所領域信頼度設定部112が設定した局所領域ごとの第3信頼度と、ノイズ除去部104においてノイズが除去された画像信号が局所領域ごとに入力される。
そして、局所領域選択部302は、上記第3条件を満たす局所領域を選択し、例えば、選択された局所領域に対応するインデックス番号を出力する。ここで、局所領域選択部302は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いて上記第3条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。
したがって、画像判定装置300は、局所領域選択部302において上記第3条件を満たす局所領域に対して画像判定を行うことができる。
以上のように、本発明の第3の実施形態に係る画像判定装置300は、第1の実施形態に係る画像判定装置100と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第3の実施形態に係る画像判定装置300は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置300は、画像信号が示す画像を複数の局所領域に分割し、画像情報として「平均値の算出に用いる振幅特性値の標本数」を用いることによって、“画像信号成分を多く含む局所領域”を選択する。そして、画像判定装置300は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置300は、第1の実施形態に係る画像判定装置100と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置300は、“画像信号成分を多く含む局所領域”に基づいて画像判定を行うことができるので、例えば、画像判定装置300が判定した画像判定結果を用いて画像の補正を行う場合には、“画像信号成分を多く含む局所領域”(重要な情報が存在する可能性が高い領域)に応じた補正を画像に対して行うことができる。
さらに、画像判定装置300は、第1の実施形態に係る画像判定装置100と同様に、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置300は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置300は、画像の判定における誤判定を低減することができる。
[第3の実施形態に係る画像判定装置300の変形例]
上述した第3の実施形態に係る画像判定装置300では、局所領域選択部302が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第3の実施形態に係る画像判定装置は上記の構成に限られない。第3の実施形態の変形例に係る画像判定装置は、例えば、第1の実施形態に係る画像判定装置の変形例と同様に、複数の局所領域を選択して画像判定を行うこともできる。
ここで、第3の実施形態の変形例に係る画像判定装置は、例えば、上記条件3−1に加えて、ノイズ除去部104においてノイズが除去された画像信号における振幅特性値の標本数が多い局所領域順に複数の局所領域を選択することができるが、選択の手段は上記に限られない。
(画像判定に係るプログラム)
上述した本発明の第3の実施形態に係る画像判定装置300をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第4の実施形態)
上述した本発明の第1〜第3の実施形態に係る画像判定装置では、上記第1条件〜第3条件のいずれかを満たす局所領域を選択して画像判定を行う構成について説明した。しかしながら、本発明の実施形態に係る画像判定装置における局所領域の選択条件は、上記第1〜第3条件に限られない。そこで、次に、局所領域の選択条件が異なる第4の実施形態に係る画像判定装置について説明する。
図10は、本発明の第4の実施形態に係る画像判定装置400を示すブロック図である。
図10を参照すると、本発明の第4の実施形態に係る画像判定装置400は、第1の実施形態に係る画像判定装置100の構成と基本的に同様の構成を有しているが、画像判定装置100と比較すると、明るさ値設定部402をさらに備え、また局所領域選択部404における局所領域の選択条件が異なる。
また、画像判定装置400は、第1の実施形態に係る画像判定装置100と同様に、例えば、MPUなどで構成される制御部(図示せず)や、ROM(図示せず)、RAM(図示せず)、記憶部(図示せず)、受信部(図示せず)、操作部(図示せず)などを備えてもよい。
周波数帯域信号検出部102、ノイズ除去部104、平均値算出部106、標本数信頼度設定部108、平均値信頼度設定部110、局所領域信頼度設定部112、平均値選択部116、相対値算出部118、および画像判定部120は、第1の実施形態に係る画像判定装置100と同様の機能を有している。したがって、画像判定装置400は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
明るさ値設定部402は、入力される画像信号に基づいて、局所領域ごとに各局所領域内における画像信号の明るさを示す明るさ値を設定する。
明るさ値設定部402は、例えば、局所領域ごとに輝度信号の平均値を算出することによって、各局所領域における明るさ値を設定することができるが、上記に限られない。例えば、明るさ値設定部402は、各局所領域における輝度信号の最頻値(mode)や中央値(median)を各局所領域における明るさ値に設定することもできる。
また、明るさ値設定部402は、例えば、輝度信号の値と明るさ値とが対応付けられたルックアップテーブルを用いて各局所領域における明るさ値を一意に設定することもできる。ルックアップテーブルは、例えば、画像判定装置400の記憶部(図示せず)に記憶され、明るさ値設定部402が画像判定装置400の記憶部から適宜読み出すことができる。なお、ルックアップテーブルが、明るさ値設定部402が備える記憶部に記憶されていてもよいことは、言うまでもない。ここで、明るさ値設定部402が備える記憶部としては、例えば、EEPROM、フラッシュメモリなどの不揮発性メモリが挙げられるが、上記に限られない。
ここで、明るさ値設定部402が明るさ値を設定する各局所領域は、周波数帯域信号検出部102がフィルタリングを行う各局所領域と同一の領域とすることができる。また、明るさ値設定部402が明るさ値を設定する各局所領域は、例えば、予め設定することができるが、上記に限られない。例えば、明るさ値設定部402が明るさ値を設定する各局所領域は、画像判定装置400を使用するユーザからのユーザ入力に応じて適宜設定されてもよい。
局所領域選択部404は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部404は、画像情報として「局所領域の信頼度(第3信頼度)」と「明るさ値」を用い、以下の第4条件を満たす局所領域を選択する。
<第4条件>
条件4−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件4−2:明るさ値が明るさ基準値に最も近い値を有する局所領域
ここで、局所領域選択部404は、条件4−2を局所領域の選択条件とすることによって、画像信号が示す画像(または映像)を見るユーザの視線が集まり易い明るさを示す局所領域、すなわち、重要な情報が存在する可能性が高い領域を選択することができる。
局所領域選択部404は、例えば、明るさ値設定部402が設定した明るさ値と明るさ基準値とにおける差の絶対値の大きさが最も小さな局所領域を、上記条件4−2を満たす局所領域と判定することができるが、上記に限られない。局所領域選択部404が上記条件4−2を判定するために用いる明るさ基準値は、例えば、局所領域選択部404が備える記憶部に記憶することができる。ここで、局所領域選択部404が備える記憶部としては、例えば、EEPROM、フラッシュメモリなどの不揮発性メモリが挙げられるが、上記に限られない。また、明るさ基準値は、例えば、予め規定された固定の値(ユーザの視線が集まり易い明るさを示す明るさ値)とすることができるが、上記に限られず、例えば、ユーザ入力に応じて適宜変更可能とすることもできる。
上記第4条件を満たす局所領域を判定するため、局所領域選択部404には、局所領域信頼度設定部112が設定した局所領域ごとの第3信頼度と、明るさ値設定部402が各局所領域に設定した明るさ値が入力される。
そして、局所領域選択部404は、上記第4条件を満たす局所領域を選択し、例えば、選択された局所領域に対応するインデックス番号を出力する。ここで、局所領域選択部404は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いて上記第4条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。
したがって、画像判定装置400は、局所領域選択部404において上記第4条件を満たす局所領域に対して画像判定を行うことができる。
以上のように、本発明の第4の実施形態に係る画像判定装置400は、第1の実施形態に係る画像判定装置100と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第4の実施形態に係る画像判定装置400は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置400は、画像信号が示す画像を複数の局所領域に分割し、画像情報として「明るさ値と明るさ基準値」を用いることによって、“明るさ値が明るさ基準値に最も近い値を有する局所領域”を選択する。そして、画像判定装置400は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置400は、第1の実施形態に係る画像判定装置100と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置400は、“明るさ値が明るさ基準値に最も近い値を有する局所領域”に基づいて画像判定を行うことができるので、例えば、画像判定装置400が判定した画像判定結果を用いて画像の補正を行う場合には、“明るさ値が明るさ基準値に最も近い値を有する局所領域”(重要な情報が存在する可能性が高い領域)に応じた補正を画像に対して行うことができる。
さらに、画像判定装置400は、第1の実施形態に係る画像判定装置100と同様に、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置400は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置400は、画像の判定における誤判定を低減することができる。
[第4の実施形態に係る画像判定装置400の変形例]
上述した第4の実施形態に係る画像判定装置400では、局所領域選択部404が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第4の実施形態に係る画像判定装置は上記の構成に限られない。第4の実施形態の変形例に係る画像判定装置は、例えば、第1の実施形態に係る画像判定装置の変形例と同様に、複数の局所領域を選択して画像判定を行うこともできる。
ここで、第4の実施形態の変形例に係る画像判定装置は、上記条件4−1に加えて、例えば、以下の(i)、(ii)に示す基準により、複数の局所領域を選択することができる。
(i)明るさ値が明るさ基準値に近い局所領域順
(ii)複数設定された明るさ基準値それぞれに最も近い局所領域
なお、第4の実施形態の変形例に係る画像判定装置における選択の手段が、上記(i)、(ii)に限られないことは、言うまでもない。
(画像判定に係るプログラム)
上述した本発明の第4の実施形態に係る画像判定装置400をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第5の実施形態)
上述した本発明の第1〜第4の実施形態に係る画像判定装置では、上記第1条件〜第4条件のいずれかを満たす局所領域を選択して画像判定を行う構成について説明した。しかしながら、本発明の実施形態に係る画像判定装置における局所領域の選択条件は、上記第1〜第4条件に限られない。そこで、次に、局所領域の選択条件が異なる第5の実施形態に係る画像判定装置について説明する。
図11は、本発明の第5の実施形態に係る画像判定装置500を示すブロック図である。
図11を参照すると、本発明の第5の実施形態に係る画像判定装置500は、第1の実施形態に係る画像判定装置100の構成と基本的に同様の構成を有しているが、画像判定装置100と比較すると、局所領域選択部502における局所領域の選択条件が異なる。
また、画像判定装置500は、第1の実施形態に係る画像判定装置100と同様に、例えば、MPUなどで構成される制御部(図示せず)や、ROM(図示せず)、RAM(図示せず)、記憶部(図示せず)、受信部(図示せず)、操作部(図示せず)などを備えてもよい。
周波数帯域信号検出部102、ノイズ除去部104、平均値算出部106、標本数信頼度設定部108、平均値信頼度設定部110、局所領域信頼度設定部112、平均値選択部116、相対値算出部118、および画像判定部120は、第1の実施形態に係る画像判定装置100と同様の機能を有している。したがって、画像判定装置500は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
局所領域選択部502は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部502は、画像情報として「局所領域の信頼度(第3信頼度)」と「画像の中心点と各局所領域の中心点との間の距離」を用い、以下の第5条件を満たす局所領域を選択する。
<第5条件>
条件5−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件5−2:画像信号が示す画像の中心に最も近い局所領域
ここで、局所領域選択部502は、条件5−2を局所領域の選択条件とすることによって、画像信号が示す画像の中心に最も近い局所領域を選択することができる。局所領域選択部502が条件5−2を満たす局所領域を選択することによって、画像判定装置500は、画像信号が示す画像(または映像)を見るユーザが注目する可能性が高い画像の中心部分に近い領域、すなわち、重要な情報が存在する可能性が高い領域に応じて画像判定を行うことができる。
局所領域選択部502は、例えば、画像の中心点と各局所領域の中心点との間のユークリッド距離の値が最も小さな局所領域を、上記条件5−2を満たす局所領域と判定することができるが、上記に限られない。
上記第5条件を満たす局所領域を判定するため、局所領域選択部502には、局所領域信頼度設定部112が設定した局所領域ごとの第3信頼度が入力される。
そして、局所領域選択部502は、上記第5条件を満たす局所領域を選択し、例えば、選択された局所領域に対応するインデックス番号を出力する。ここで、局所領域選択部502は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いて上記第5条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。
したがって、画像判定装置500は、局所領域選択部502において上記第5条件を満たす局所領域に対して画像判定を行うことができる。
以上のように、本発明の第5の実施形態に係る画像判定装置500は、第1の実施形態に係る画像判定装置100と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第5の実施形態に係る画像判定装置500は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置500は、画像信号が示す画像を複数の局所領域に分割し、画像情報として「画像の中心点と各局所領域の中心点との間の距離」を用いることによって、“画像の中心に最も近い局所領域”を選択する。そして、画像判定装置500は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置500は、第1の実施形態に係る画像判定装置100と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置500は、“画像の中心に最も近い局所領域”に基づいて画像判定を行うことができるので、例えば、画像判定装置500が判定した画像判定結果を用いて画像の補正を行う場合には、“画像の中心に最も近い局所領域”(重要な情報が存在する可能性が高い領域)に応じた補正を画像に対して行うことができる。
さらに、画像判定装置500は、第1の実施形態に係る画像判定装置100と同様に、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置500は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置500は、画像の判定における誤判定を低減することができる。
[第5の実施形態に係る画像判定装置500の変形例]
上述した第5の実施形態に係る画像判定装置500では、局所領域選択部502が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第5の実施形態に係る画像判定装置は上記の構成に限られない。第5の実施形態の変形例に係る画像判定装置は、例えば、第1の実施形態に係る画像判定装置の変形例と同様に、複数の局所領域を選択して画像判定を行うこともできる。
ここで、第5の実施形態の変形例に係る画像判定装置は、上記条件5−1に加えて、例えば、画像の中心に近い局所領域順に複数の局所領域を選択することができるが、選択の手段は上記に限られない。例えば、局所領域の信頼度が2値ではなく0〜1の間の値で表される場合、第5の実施形態の変形例に係る画像判定装置は、上記条件5−1を満たし、かつ画像中心からの距離が等しい複数の局所領域に対して、信頼度が大きい局所領域順に複数の局所領域を選択することができる。
(画像判定に係るプログラム)
上述した本発明の第5の実施形態に係る画像判定装置500をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第6の実施形態)
上述した本発明の第1〜第5の実施形態に係る画像判定装置では、上記第1条件〜第5条件のいずれか一つを満たす局所領域を選択して画像判定を行う構成について説明した。しかしながら、本発明の実施形態に係る画像判定装置における局所領域の選択条件は、上記第1〜第5条件のいずれか一つを満たすことに限られない。そこで、次に、複数の選択条件を用いて局所領域の選択を行うことが可能な第6の実施形態に係る画像判定装置について説明する。
図12は、本発明の第6の実施形態に係る画像判定装置600を示すブロック図である。
図12を参照すると、本発明の第6の実施形態に係る画像判定装置600は、第4の実施形態に係る画像判定装置400の構成と基本的に同様の構成を有しているが、画像判定装置400と比較すると、局所領域選択部602における局所領域の選択条件が異なる。
また、画像判定装置600は、第4の実施形態に係る画像判定装置400と同様に、例えば、MPUなどで構成される制御部(図示せず)や、ROM(図示せず)、RAM(図示せず)、記憶部(図示せず)、受信部(図示せず)、操作部(図示せず)などを備えてもよい。
明るさ値設定部402、周波数帯域信号検出部102、ノイズ除去部104、平均値算出部106、標本数信頼度設定部108、平均値信頼度設定部110、局所領域信頼度設定部112、平均値選択部116、相対値算出部118、および画像判定部120は、第4の実施形態に係る画像判定装置400と同様の機能を有している。したがって、画像判定装置600は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
局所領域選択部602は、画像信号から導出される情報である画像情報を用いて、各局所領域の中から画像判定に用いる1の局所領域を選択することができる。具体的には、局所領域選択部602は、例えば、以下の第6条件を満たす局所領域を選択する。
<第6条件>
条件6−1:局所領域の信頼度(第3信頼度)が高い局所領域
条件6−2:最も大きなHD度(相対値)を算出可能な局所領域(=条件1−2)
条件6−3:画像信号が示す画像の中心に最も近い局所領域(=条件5−2)
条件6−4:明るさ値が明るさ基準値に最も近い値を有する局所領域(=条件4−2)
ここで、上記条件6−2は、第1の実施形態に係る上記条件1−2に対応し、また、上記条件6−3は、第5の実施形態に係る上記条件5−2に対応する。そして、上記条件6−4は、第4の実施形態に係る上記条件4−2に対応する条件である。したがって、局所領域選択部602は、第1の実施形態に係る局所領域選択部114、第5の実施形態に係る局所領域選択部502、および第4の実施形態に係る局所領域選択部404における局所領域の選択基準を組み合わせることによって、1の局所領域を選択することができる。
なお、第6の実施形態に係る選択条件は、上記第6条件に限られず、例えば、上記第1条件〜第5条件の任意の条件を組み合わせた条件とすることができる。以下では、局所領域選択部602における上記第6条件に基づく局所領域の選択方法の一例を示す。
〔局所領域選択部602における局所領域の選択方法の一例〕
図13は、本発明の第6の実施形態に係る画像判定装置600における局所領域の選択方法の一例を説明するための説明図である。ここで、図13は、画像信号が示す画像が5つの局所領域に分割され、局所領域信頼度設定部112において局所領域1〜4の信頼度が高く、局所領域5の信頼度が低く設定された場合を示している。
局所領域選択部602は、以下の(a)〜(f)の処理により局所領域を選択することができる。
(a)選択対象の除外(条件6−1の判定)
まず、局所領域選択部602は、局所領域信頼度設定部112が設定した各局所領域の信頼度(第3信頼度)に基づいて、信頼度が低く設定された局所領域を選択対象から除外する。図13では、信頼度が低く設定された局所領域5に対して後述する(b)〜(e)の処理が行われない例、すなわち、局所領域5が選択対象から除外された例を示している。
(b)選択基準1:相対値の大きさの判定(条件6−2の判定)
局所領域選択部602は、(a)の処理において上記条件6−1の判定を満たすと判定された局所領域それぞれについて相対値を算出する。そして、局所領域選択部602は、算出された局所領域それぞれの相対値に応じて、各局所領域に点数付けを行う。ここで、図13では、「点数=(信頼度が高い局所領域の数)−(相対値の大きさの順位)」という式に基づいて、相対値が大きい順により大きな点数が付けられている例を示しているが、上記に限られない。
また、(b)の処理において各局所領域に設定される点数は、例えば、局所領域選択部602の記憶部に記録することができる。ここで、局所領域選択部602が備える記憶部としては、例えば、SDRAM(Synchronous Dynamic Random Access Memory)やSRAM(Static Random Access Memory)などの揮発性メモリ(volatile memory)が挙げられるが、上記に限られず、例えば、フラッシュメモリなどの不揮発性メモリであってもよい。
(c)選択基準2:画像中心点からの距離の判定(条件6−3の判定)
局所領域選択部602は、(a)の処理において上記条件6−1の判定を満たすと判定された局所領域それぞれについて画像中心点からの距離を算出する。そして、局所領域選択部602は、算出された局所領域それぞれにおける画像中心点からの距離の値に応じて、各局所領域に点数付けを行う。ここで、図13では、「点数=(信頼度が高い局所領域の数)−(画像中心点からの距離の順位)」という式に基づいて、画像中心点からの距離の値が小さい順により大きな点数が付けられている例を示しているが、上記に限られない。また、(c)の処理において各局所領域に設定される点数は、例えば、局所領域選択部602の記憶部に記録することができる。
(d)選択基準3:明るさ基準値との差の判定(条件6−4の判定)
局所領域選択部602は、(a)の処理において上記条件6−1の判定を満たすと判定された局所領域それぞれについて、明るさ値設定部402が設定した明るさ値と明るさ基準値との差を算出する。そして、局所領域選択部602は、算出された局所領域それぞれにおける明るさ値と明るさ基準値との差の値に応じて、各局所領域に点数付けを行う。ここで、図13では、「点数=(信頼度が高い局所領域の数)−(明るさ値と明るさ基準値との差の値の順位)」という式に基づいて、明るさ値と明るさ基準値との差の値が小さい順により大きな点数が付けられている例を示しているが、上記に限られない。また、(d)の処理において各局所領域に設定される点数は、例えば、局所領域選択部602の記憶部に記録することができる。
(e)選択基準値の設定
局所領域選択部602は、(b)〜(d)の各処理において各局所領域に設定された点数に基づいて、局所領域の選択に用いる選択基準値を設定する。ここで、図13では、「選択基準値=(選択基準1において設定された点数)+(選択基準2において設定された点数)+(選択基準3において設定された点数)という式に基づいて選択基準値が設定された例を示している。なお、選択基準値の設定手段は、上記に限られず、例えば、各選択基準に重み付けを行って選択基準値を設定してもよい。
(f)局所領域の選択
局所領域選択部602は、(e)の処理において設定された選択基準値に基づいて局所領域の選択を行う。図13の例では、最も大きな選択基準値が設定されている局所領域3が選択されることとなる。なお、本発明の第6の実施形態に係る局所領域の選択は、上記に限られず、例えば、各選択基準における点数の付け方に応じて最も小さな選択基準値が設定された局所領域を選択することもできる。また、選択基準値が最も大きな局所領域が複数存在する場合には、局所領域選択部602は、例えば、予め規定された局所領域の優先度(例えば、局所領域の番号の昇順など)に応じて1の局所領域を選択することができる。
局所領域選択部602は、例えば、上記(a)〜(f)の処理により1の局所領域を選択することができる。
また、局所領域選択部602は、例えば、選択された局所領域に対応するインデックス番号を出力する。ここで、局所領域選択部602は、例えば、局所領域と局所領域のインデックス番号とが対応付けられたルックアップテーブルを用いて上記第6条件を満たす局所領域(選択した局所領域)に対応するインデックス番号を出力することができる。
したがって、画像判定装置600は、局所領域選択部602において上記第6条件を満たす局所領域に対して画像判定を行うことができる。
以上のように、本発明の第6の実施形態に係る画像判定装置600は、第4の実施形態に係る画像判定装置400と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第6の実施形態に係る画像判定装置600は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、画像判定装置600は、画像信号が示す画像を複数の局所領域に分割し、複数の画像情報を用いることによって、統計的に重要な情報が存在する可能性が高い領域を選択することができる。また、画像判定装置600は、選択された局所領域に対して画像判定を行うことができる。
したがって、画像判定装置600は、第4の実施形態に係る画像判定装置400と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。また、画像判定装置400は、“統計的に重要な情報が存在する可能性が高い領域”に基づいて画像判定を行うことができるので、例えば、画像判定装置600が判定した画像判定結果を用いて画像の補正を行う場合には、“統計的に重要な情報が存在する可能性が高い領域”に応じた補正を画像に対して行うことができる。
さらに、画像判定装置600は、第4の実施形態に係る画像判定装置400と同様に、(1)振幅特性値の標本数、(2)振幅特性値の平均値の値、という画像の判定結果の信頼度を低下させる要因に基づいて設定される「信頼度(第3信頼度)」を局所領域ごとに設定する。そして、画像判定装置600は、各局所領域に設定される「信頼度」に基づいて画像判定を行う局所領域を選択することができる。
したがって、画像判定装置600は、画像の判定における誤判定を低減することができる。
[第6の実施形態に係る画像判定装置600の変形例]
上述した第6の実施形態に係る画像判定装置600では、局所領域選択部602が1の局所領域を選択し、当該選択された局所領域に対して相対値を算出して画像判定を行う構成を示した。しかしながら、本発明の第6の実施形態に係る画像判定装置は上記の構成に限られない。第6の実施形態の変形例に係る画像判定装置は、例えば、第4の実施形態に係る画像判定装置の変形例と同様に、複数の局所領域を選択して画像判定を行うこともできる。
ここで、第6の実施形態の変形例に係る画像判定装置は、例えば、各局所領域に設定された選択基準値が大きい順に複数の局所領域を選択することができるが、選択の手段は上記に限られない。
(画像判定に係るプログラム)
上述した本発明の第6の実施形態に係る画像判定装置600をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
(第7の実施形態)
上述した本発明の第1〜第6の実施形態に係る画像判定装置では、標本数信頼度設定部108、平均値信頼度設定部110、および局所領域信頼度設定部112をそれぞれ備え、各局所領域の信頼度を設定して局所領域の選択に用いる構成を示した。しかしながら、本発明の実施形態に係る画像判定装置は、各局所領域の信頼度を設定して局所領域の選択に用いる構成に限られない。
上記構成であっても、第7の実施形態に係る画像判定装置は、第1の実施形態に係る画像判定装置100と同様に、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、第7の実施形態に係る画像判定装置は、従来の画像判定装置のように、SD解像度の画像がアップコンバートされるときにサイドパネルが付加されることを必要とはせず、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
また、第7の実施形態に係る画像判定装置は、第1の実施形態に係る画像判定装置100と同様に、画像信号が示す画像を複数の局所領域に分割し、画像情報を用いることによって局所領域を選択することができる。また、第7の実施形態に係る画像判定装置は、選択された局所領域に対して画像判定を行うことができる。
したがって、第7の実施形態に係る画像判定装置は、第1の実施形態に係る画像判定装置100と同様に、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。
(画像判定に係るプログラム)
上述した本発明の第7の実施形態に係る画像判定装置をコンピュータとして機能させるためのプログラムにより、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず、画像の判定を行うことができる。
以上、本発明の第1〜第7の実施形態として、画像判定装置を挙げて説明したが、本発明の第1〜第7の実施形態は、係る形態に限られず、テレビ受信機、有機ELディスプレイ(organic ElectroLuminescence display)とも呼ばれる。)やFED(Field Emission Display;電界放出ディスプレイ)あるいはPDP(Plasma Display Panel;プラズマディスプレイ)などの表示装置、PDA(Personal Digital Assistants)やUMPC(Ultra Mobile Personal Computer)などのコンピュータ、携帯電話やPHS(Personal Handyphone System)などの携帯型通信装置などに適用することができる。
(画像判定方法)
次に、本発明の実施形態に係る画像判定方法について説明する。図14は、本発明の実施形態に係る画像判定方法の一例を示す流れ図である。
まず、画像判定装置は、局所領域ごとに入力された画像信号から複数の周波数帯域の信号を検出する(S300)。ここで、上記信号の検出は、画素ごとに行うことができる。また、各局所領域は、例えば、予め設定された固定の領域であってもよいし、または、ユーザ入力に応じて適宜設定することもできる。
画像判定装置は、ステップS300において画素ごとに検出された複数の周波数帯域の信号ごとに、各局所領域における振幅特性値の平均値を算出する(S302)。ここで、上記振幅特性値は、振幅の値そのものであってもよいし、また、パワースペクトルとすることもできる。また、平均値の算出方法は、相加平均に限られず、例えば、相乗平均、あるいは、重み付け平均など、様々な算出方法を用いることができる。
画像判定装置は、複数の局所領域の中から少なくとも1の局所領域を選択する(S304)。ここで、ステップS304における局所領域の選択は、例えば、上記第1条件〜第6条件を満たすように行うことができる(1の局所領域を選択する場合)。
画像判定装置は、ステップS304で選択された局所領域において、複数の周波数帯域の信号ごとに算出された平均値のうち、一の平均値に対する他の平均値の相対値を算出する(S306)。ここで、相対値は、例えば、上記他の平均値を上記一の平均値で除算して求めることができるし、あるいは、上記他の平均値の対数をとった値から上記一の平均値の対数をとった値を減算して求めてもよい。
画像判定装置は、ステップS306において算出された相対値に基づいて画像を判定する(S308)。ここで、ステップS304において1の局所領域が選択された場合には、画像判定装置は、例えば、S306において算出された1の局所領域における相対値が所定の閾値以上であるか否かで画像を判定することができる。また、ステップS304において複数の局所領域が選択された場合には、画像判定装置は、例えば、S306において算出された相対値それぞれに対して相対値が所定の閾値以上であるか否かを判定し、当該判定結果の総数が多い結果を用いて画像を判定することができる。
以上のステップS300〜ステップS308に示すように、本発明の実施形態に係る画像判定方法は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用し、低域の周波数帯域における振幅特性値の平均値に対する中域の周波数帯域における振幅特性値の平均値の相対値に基づいて、画像の判定を行うことができる。
したがって、本発明の実施形態に係る画像判定方法は、従来の画像判定方法のように、アップコンバート時にサイドパネルが付加される必要はなく、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず画像の判定を行うことができる。
また、本発明の実施形態に係る画像判定方法は、画像信号が示す画像を複数の局所領域に分割し、画像情報を用いることによって重要な情報が存在する可能性が高い領域を選択することができる。また、本発明の実施形態に係る画像判定方法は、選択された局所領域に対して画像判定を行うことができる。
したがって、本発明の実施形態に係る画像判定方法を用いる画像判定装置は、全ての局所領域に対して画像判定を行う場合と比較して画像判定に係る処理を軽減することができ、また画像判定に係るリソースを低減することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、上記本発明の第1〜第7の実施形態に係る画像判定装置では、平均値を算出する平均値算出部を設ける構成を示したが、係る構成に限られず、中央値を算出する中央値算出部とすることもできる。相対値の算出を、平均値ではなく、中央値を用いて算出したとしても、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用することができるので、画像判定装置は、画像の判定を行うことができる。
また、上記本発明の第1〜第7の実施形態に係る画像判定装置では、ノイズ除去部を備える構成を示したが、係る構成に限られず、ノイズ除去部を備えない構成とすることもできる。上述のように、本発明の実施形態に係る画像判定装置は、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用して画像の判定を行うので、ノイズの影響を受けたとしても、画像がいかなるアップコンバートの方式によってアップコンバートされたかによらず画像の判定を行うことができる。
また、第1〜第7の実施形態に係る画像判定装置は、周波数帯域信号検出部が第1周波数帯域検出部および第2周波数帯域検出部により画像信号をフィルタリングする構成を示したが、本発明の実施形態は、かかる構成に限られない。例えば、本発明の実施形態に係る画像判定装置は、周波数帯域信号検出部が第1周波数帯域検出部〜第n周波数帯域検出部(ここで、nは、3以上の整数とする。)を備え、当該複数の周波数帯域検出部がフィルタリングした画像信号に基づいて数式1に示すHD度(相対値)を複数算出することもできる。かかる構成であっても、図2に示されるようなHD解像度の画像と擬似HD解像度の画像との周波数振幅特性の差異を利用することができるので、画像判定装置は、画像の判定を行うことができる。なお、複数算出されたHD度(相対値)を用いた画像判定方法としては、例えば、HD度(相対値)が所定の閾値未満の相対値の総数と、HD度(相対値)が所定の閾値以上のHD度(相対値)の総数とを比較して、どちらの総数が大きいかにより行うことができるが、上記に限られない。
さらに、第1〜第6の実施形態に係る画像判定装置は、各局所領域の信頼度(第3信頼度)を平均値の選択に用いる構成を示したが、かかる構成に限られず、選択された局所領域における信頼度を外部装置(例えば、画像判定装置が画像判定を行った画像を処理する画像処理)へ出力することもできる。
上述した構成は、本発明の実施形態の一例を示すものであり、当然に、本発明の技術的範囲に属するものである。
HD解像度の画像と、SD解像度の画像をアップコンバートした画像とを示す説明図である。 図1(a)に示すHD解像度の画像と、図1(c)に示す擬似HD解像度の画像との周波数振幅特性の差異を説明する説明図である。 本発明の実施形態に係る判定対象の一例を示す説明図である。 本発明の実施形態に係る判定処理の概要を説明するための説明図である。 本発明の第1の実施形態に係る画像判定装置を示すブロック図である。 本発明の第1の実施形態に係る画像判定装置における第1の局所領域選択方法の一例を示す流れ図である。 本発明の第1の実施形態に係る画像判定装置における第2の局所領域選択方法の一例を示す流れ図である。 本発明の第2の実施形態に係る画像判定装置を示すブロック図である。 本発明の第3の実施形態に係る画像判定装置を示すブロック図である。 本発明の第4の実施形態に係る画像判定装置を示すブロック図である。 本発明の第5の実施形態に係る画像判定装置を示すブロック図である。 本発明の第6の実施形態に係る画像判定装置を示すブロック図である。 本発明の第6の実施形態に係る画像判定装置における局所領域の選択方法の一例を説明するための説明図である。 本発明の実施形態に係る画像判定方法を示す流れ図である。
符号の説明
100、200、300、400、500、600 画像判定装置
102 周波数帯域信号検出部
104 ノイズ除去部
106 平均値算出部
108 標本数信頼度設定部
110 平均値信頼度設定部
112 局所領域信頼度設定部
114、202、302、404、502、602 局所領域選択部
116 平均値選択部
118 相対値算出部
120 画像判定部
402 明るさ値設定部

Claims (11)

  1. 画像信号が示す画像を複数の局所領域に分割し、前記局所領域ごとに画像信号から複数の周波数帯域の信号を検出する周波数帯域信号検出部と;
    前記周波数帯域信号検出部が検出した複数の周波数帯域の信号ごとに、各前記局所領域における振幅に相当する特性値の平均値を算出する平均値算出部と;
    少なくとも1以上の前記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択する局所領域選択部と;
    前記局所領域選択部において選択された局所領域に対応する前記平均値を選択する平均値選択部と;
    前記平均値選択部において選択された前記複数の周波数帯域ごとの前記平均値のうち、一の前記平均値に対する他の前記平均値の相対値を算出する相対値算出部と;
    前記相対値算出部が算出した前記相対値に基づいて、前記画像がアップコンバートされた画像であるかを判定する画像判定部と;
    を備えることを特徴とする、画像判定装置。
  2. 前記周波数帯域信号検出部が検出した複数の周波数帯域の信号ごとに、各前記局所領域における前記特性値の標本数に対する第1信頼度を設定する標本数信頼度設定部と;
    前記平均値算出部が算出した各前記局所領域における前記平均値に対する第2信頼度を設定する平均値信頼度設定部と;
    前記第1信頼度と前記第2信頼度に基づいて、前記局所領域に対する第3信頼度を前記局所領域ごとに設定する局所領域信頼度設定部と;
    をさらに備え、
    前記局所領域選択部は、さらに前記第3信頼度に基づいて少なくとも1の局所領域を選択することを特徴とする、請求項1に記載の画像判定装置。
  3. 前記局所領域選択部は、前記第3信頼度が所定の閾値以上の値を示す前記局所領域のうち、予め規定された基準位置からのユークリッド距離に基づいて少なくとも1の局所領域を選択することを特徴とする、請求項2に記載の画像判定装置。
  4. 前記画像情報は、前記平均値算出部が算出した各前記局所領域における前記複数の周波数帯域ごとの前記平均値であり、
    前記局所領域選択部は、前記局所領域ごとに前記画像情報に応じた前記相対値を算出し、前記局所領域ごとの前記相対値に基づいて少なくとも1の局所領域を選択することを特徴とする、請求項1に記載の画像判定装置。
  5. 前記画像情報は、前記平均値算出部が算出した各前記局所領域の前記複数の周波数帯域における一の前記平均値であり、
    前記局所領域選択部は、各前記局所領域における前記一の平均値の大きさに基づいて少なくとも1の局所領域を選択することを特徴とする、請求項1に記載の画像判定装置。
  6. 前記画像情報は、各前記局所領域の前記複数の周波数帯域における前記特性値の標本数であり、
    前記局所領域選択部は、各前記局所領域における前記標本数に基づいて少なくとも1の局所領域を選択することを特徴とする、請求項1に記載の画像判定装置。
  7. 前記画像信号から輝度情報に基づく明るさ値を前記局所領域ごとに設定する明るさ値設定部をさらに備え、
    前記局所領域選択部は、各前記局所領域における前記明るさ値に基づいて少なくとも1の局所領域を選択することを特徴とする、請求項1に記載の画像判定装置。
  8. 前記相対値算出部は、予め定めた所定の周波数帯域で算出された前記平均値と、前記予め定めた所定の周波数帯域よりも高域の周波数帯域で算出された前記平均値とに基づいて、前記相対値を算出することを特徴とする、請求項1に記載の画像判定装置。
  9. 前記予め定めた所定の周波数帯域の下限周波数は、標準解像度の画像からアップコンバートされた画像のナイキスト周波数に対するアップコンバート方式に応じた理論上有効な周波数の上限よりも低く、また、前記高域の周波数帯域の下限周波数は、標準解像度の画像からアップコンバートされた画像のナイキスト周波数に対するアップコンバート方式に応じた理論上有効な周波数の上限よりも高いことを特徴とする、請求項8に記載の画像判定装置。
  10. 画像信号が示す画像を複数の局所領域に分割し、前記局所領域ごとに画像信号から複数の周波数帯域の信号を検出するステップと;
    前記検出するステップにおいて検出された複数の周波数帯域の信号ごとに、各前記局所領域における振幅に相当する特性値の平均値を算出するステップと;
    少なくとも1以上の前記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択するステップと;
    前記局所領域を選択するステップにおいて選択された局所領域に対応する前記平均値を選択するステップと;
    前記平均値を選択するステップにおいて選択された前記複数の周波数帯域ごとの前記平均値のうち、一の前記平均値に対する他の前記平均値の相対値を算出するステップと;
    前記相対値を算出するステップにおいて算出された前記相対値に基づいて、前記画像がアップコンバートされた画像であるかを判定するステップと;
    を有することを特徴とする、画像判定方法。
  11. 画像信号が示す画像を複数の局所領域に分割し、前記局所領域ごとに画像信号から複数の周波数帯域の信号を検出するステップ;
    前記検出するステップにおいて検出された複数の周波数帯域の信号ごとに、各前記局所領域における振幅に相当する特性値の平均値を算出するステップ;
    少なくとも1以上の前記画像信号の画像情報に基づいて、少なくとも1の局所領域を選択するステップ;
    前記局所領域を選択するステップにおいて選択された局所領域に対応する前記平均値を選択するステップ;
    前記平均値を選択するステップにおいて選択された前記複数の周波数帯域ごとの前記平均値のうち、一の前記平均値に対する他の前記平均値の相対値を算出するステップ;
    前記相対値を算出するステップにおいて算出された前記相対値に基づいて、前記画像がアップコンバートされた画像であるかを判定するステップ;
    をコンピュータに実行させるためのプログラム。
JP2007205801A 2007-08-07 2007-08-07 画像判定装置、画像判定方法、およびプログラム Expired - Fee Related JP4760801B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007205801A JP4760801B2 (ja) 2007-08-07 2007-08-07 画像判定装置、画像判定方法、およびプログラム
US12/187,237 US8363975B2 (en) 2007-08-07 2008-08-06 Image determining device, image determining method, and program
CN2008101298169A CN101365092B (zh) 2007-08-07 2008-08-07 图像确定装置,图像确定方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007205801A JP4760801B2 (ja) 2007-08-07 2007-08-07 画像判定装置、画像判定方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2009044341A JP2009044341A (ja) 2009-02-26
JP2009044341A5 JP2009044341A5 (ja) 2010-04-30
JP4760801B2 true JP4760801B2 (ja) 2011-08-31

Family

ID=40346601

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007205801A Expired - Fee Related JP4760801B2 (ja) 2007-08-07 2007-08-07 画像判定装置、画像判定方法、およびプログラム

Country Status (3)

Country Link
US (1) US8363975B2 (ja)
JP (1) JP4760801B2 (ja)
CN (1) CN101365092B (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4244045B2 (ja) * 2005-09-08 2009-03-25 ソニー株式会社 記録装置および方法、並びにプログラム
US8995793B1 (en) * 2009-10-09 2015-03-31 Lockheed Martin Corporation Moving object super-resolution systems and methods
CN102045532B (zh) * 2009-10-13 2013-07-24 晨星软件研发(深圳)有限公司 影像处理方法及影像处理装置
US8965076B2 (en) 2010-01-13 2015-02-24 Illumina, Inc. Data processing system and methods
JPWO2011158419A1 (ja) 2010-06-18 2013-08-19 パナソニック株式会社 解像度判定装置、画像処理装置、及び画像表示装置
JP5582920B2 (ja) 2010-08-23 2014-09-03 三菱電機株式会社 画像処理装置
WO2013076885A1 (ja) * 2011-11-21 2013-05-30 パナソニック株式会社 解像度判定装置、画像処理装置及び画像表示装置
KR20140055133A (ko) * 2012-10-30 2014-05-09 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR102170689B1 (ko) * 2014-01-14 2020-10-27 한화테크윈 주식회사 영상 정합을 위한 특징점 샘플링 방법
CN103927749A (zh) * 2014-04-14 2014-07-16 深圳市华星光电技术有限公司 图像处理方法、装置和自动光学检测机
US9646224B2 (en) 2014-04-14 2017-05-09 Shenzhen China Star Optoelectronics Technology Co., Ltd. Image processing method, image processing device and automated optical inspection machine
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
JP7225600B2 (ja) * 2018-08-10 2023-02-21 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN114302051A (zh) * 2021-03-29 2022-04-08 海信视像科技股份有限公司 一种摄像头拍照的方法及显示设备

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348189A (ja) * 1999-06-01 2000-12-15 Matsushita Electric Ind Co Ltd 画像処理装置
JP4627940B2 (ja) * 2001-09-11 2011-02-09 パナソニック株式会社 ノイズ低減装置、及びノイズ低減方法
JP4175124B2 (ja) * 2003-01-24 2008-11-05 ソニー株式会社 画像信号処理装置
JP2004289753A (ja) * 2003-03-25 2004-10-14 Matsushita Electric Ind Co Ltd アップコンバート映像検出装置
JP2005026814A (ja) 2003-06-30 2005-01-27 Sharp Corp 映像表示装置
JP2005065195A (ja) * 2003-08-20 2005-03-10 Toshiba Corp 放送受信装置、デジタル放送受信装置、放送受信方法、デジタル放送受信方法
US7515765B1 (en) * 2004-01-30 2009-04-07 Apple Inc. Image sharpness management
JP4561482B2 (ja) * 2005-06-01 2010-10-13 株式会社日立製作所 映像表示装置
EP1895467A2 (en) * 2006-08-29 2008-03-05 Sony Corporation Image determination by frequency domain processing

Also Published As

Publication number Publication date
US8363975B2 (en) 2013-01-29
US20090041349A1 (en) 2009-02-12
JP2009044341A (ja) 2009-02-26
CN101365092A (zh) 2009-02-11
CN101365092B (zh) 2010-09-08

Similar Documents

Publication Publication Date Title
JP4760801B2 (ja) 画像判定装置、画像判定方法、およびプログラム
US8098329B2 (en) Image determination apparatus, image determination method, and program, and image processing apparatus, image processing method, and program
US8526765B2 (en) Super-resolution processor and super-resolution processing method
EP2003614B1 (en) Method and apparatus for contrast enhancement
JP5237968B2 (ja) デジタル画像中のバンド発生の識別
US20110242418A1 (en) Image processing apparatus and image processing method
US9025903B2 (en) Image processing device and image processing method
CN101010937A (zh) 图像修正处理系统以及图像修正处理方法
JP5056242B2 (ja) 画像判定装置、画像判定方法、およびプログラム
US8351739B2 (en) Device for removing mosquito noise and associated method
WO2015064672A1 (ja) 画像高画質化装置、画像表示装置、画像高画質化方法及びコンピュータプログラム
US8254717B2 (en) Picture enhancement by utilizing quantization precision of regions
US20150363666A1 (en) Image processing method and image processing device
CN110992264B (zh) 一种图像处理方法、处理装置、电子设备及存储介质
JP5121675B2 (ja) 画像処理装置、映像表示装置、撮像装置、画像処理方法
JP4936083B2 (ja) サムネイル画像生成方法及びその装置
WO2013161839A1 (ja) 画像処理方法、及び画像処理装置
JP2017174311A (ja) エッジ検出装置およびエッジ検出方法
JP2008060722A (ja) 画像処理装置、および画像処理方法
JP4467416B2 (ja) 階調補正装置
JP2011028640A (ja) 解像度変換装置および解像度変換方法
KR101544171B1 (ko) 혼합 특징 벡터를 적용한 초해상도 장치 및 그 방법
US10311546B2 (en) Edge detection apparatus and edge detection method
KR100888428B1 (ko) 영상의 노이즈 제거 장치 및 방법
WO2013161840A1 (ja) 画像処理方法、及び画像処理装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100315

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110202

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110412

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees