JP5464656B2 - 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム - Google Patents

画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム Download PDF

Info

Publication number
JP5464656B2
JP5464656B2 JP2010004256A JP2010004256A JP5464656B2 JP 5464656 B2 JP5464656 B2 JP 5464656B2 JP 2010004256 A JP2010004256 A JP 2010004256A JP 2010004256 A JP2010004256 A JP 2010004256A JP 5464656 B2 JP5464656 B2 JP 5464656B2
Authority
JP
Japan
Prior art keywords
image
image quality
quality evaluation
spatial frequency
spectral component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010004256A
Other languages
English (en)
Other versions
JP2011146806A (ja
Inventor
浩三 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Casio Mobile Communications Ltd
Original Assignee
NEC Casio Mobile Communications Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Casio Mobile Communications Ltd filed Critical NEC Casio Mobile Communications Ltd
Priority to JP2010004256A priority Critical patent/JP5464656B2/ja
Priority to US13/004,619 priority patent/US8717446B2/en
Publication of JP2011146806A publication Critical patent/JP2011146806A/ja
Priority to US13/776,168 priority patent/US8890963B2/en
Priority to US13/776,225 priority patent/US8692896B2/en
Application granted granted Critical
Publication of JP5464656B2 publication Critical patent/JP5464656B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/002Diagnosis, testing or measuring for television systems or their details for television cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules

Description

本発明は、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価装置、画質評価装置を備える端末装置、画質評価装置又は端末装置を備える画質評価システム、デジタルカメラや携帯電話等の端末装置で撮像された画像の画質を評価する画質評価方法及びコンピュータに実行させるプログラムに関する。
動画を表示する表示装置の動画解像度を評価する動画解像度評価装置が開示されている(例えば、特許文献1参照)。この動画解像度評価装置は、N回の繰り返しパターンで構成された周期パターンを含むバーストパターンをカメラで撮像することにより得られた画像データをフーリエ変換し、周期パターンのピークのレベル及び位置や、周期パターンの位相を、もとの画像のそれらと比較することにより、動画解像度を評価する。
特開2009−38431号公報
携帯電話などの端末装置で表示される画像には、画像のぼやけを防ぐべく、エッジ強調等の信号処理により高周波成分が強調されたものがある。このような画像の中には、高周波成分が強調されることによる弊害であるジャギー(エッジ部などで発生するギザギザ)やノイズ等が発生したものも存在する。
上記特許文献1に記載された動画解像度評価装置では、ジャギーやノイズによって総合的な画質が低下していても、それを評価結果に反映するのは困難である。
本発明は、上記実情に鑑みてなされたものであり、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の観点に係る画質評価装置は、
輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
前記フーリエ変換部により取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
を備える。
この場合、前記周期パターンは、矩形波状であり、
前記解析部は、
前記周期パターンが周期的に輝度が変動する方向に対応する第1の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
前記第1の方向に直交する第2の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
こととしてもよい。
また、前記画像は、
デジタルズームによる拡大画像であり、
前記解析部は、
前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
また、前記画像は、
原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
前記解析部は、
前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
こととしてもよい。
この場合、前記画像は、カラー画像を構成するR、G、Bの画像であり、
前記フーリエ変換部は、
前記R、G、Bの画像各々に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得し、
前記解析部は、
前記R、G、Bの画像各々の2次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
また、前記画像は、
所定の方式でのデジタル圧縮された画像であり、
前記解析部は、
前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
こととしてもよい。
また、前記解析部は、
全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピークにおけるスペクトル強度の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
こととしてもよい。
本発明の第2の観点に係る端末装置は、
撮像装置と、
本発明の画質評価装置と、
を備える。
本発明の第3の観点に係る画質評価システムは、
本発明の画質評価装置と、
輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
本発明の第4の観点に係る画質評価システムは、
本発明の端末装置と、
輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備える。
本発明の第5の観点に係る画質評価システムは、
本発明の画質評価装置と、
輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
を備え、
記掲示装置は、
前記周期パターンに、動きのある背景を重ねたパターンを掲示する
本発明の第の観点に係る画質評価方法は、
輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
前記フーリエ変換工程において取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
を含む。
本発明の第の観点に係るプログラムは、
輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
コンピュータを、
前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
前記フーリエ変換手段により取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
として機能させる。
本発明によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、端末装置で撮像された画像の画質を評価することができる。
本発明の実施形態1に係る画質評価システムの全体構成を示す斜視図である。 図1の携帯電話の内部構成を示すブロック図である。 図3(A)は、評価用パターンの一例を示す図である。図3(B)は、図3(A)のA−A’断面における評価用パターンPの輝度の変動を示すグラフである。図3(C)は、図3(A)のB−B’断面における評価用パターンPの輝度の変動を示すグラフである。 コンピュータの機能的な構成を示すブロック図である。 図5(A)は、図3(A)の評価用パターンの中央部分の一例である。図5(B)は、光学ズームにより撮像された中央部分の画像データの一例である。図5(C)は、デジタルズームにより撮像された中央部分の画像データの一例である。 図6(A)は、図5(B)の画像データの2次元周波数スペクトルを示すグラフである。図6(B)は、図5(C)の画像データの2次元周波数スペクトルを示すグラフである。 図7(A)は、図6(A)のα−α’断面に沿った空間周波数スペクトルである。図7(B)は、図6(A)のβ−β’断面に沿った空間周波数スペクトルである。 図8(A)は、ニアリストネイバー法を適用した場合の図6(B)のα−α’断面に沿った空間周波数スペクトルである。図8(B)は、バイリニア法を適用した場合の図6(B)のα−α’断面に沿った空間周波数スペクトルである。図8(C)は、図6(B)のβ−β’断面に沿った空間周波数スペクトルである。 コンピュータ3によって実行される画像解析評価処理のフローチャートである。 本発明の実施形態2に係るセンサにおけるRGB画素配列を示す図である。 図11(A)は、センサにおけるGの画素加算読み出しの動作を模式的に示す図である。図11(B)は、センサにおけるRの画素加算読み出しの動作を模式的に示す図である。図11(C)は、センサにおけるBの画素加算読み出しの動作を模式的に示す図である。 図12(A)は、センサから出力されるGの画像データの一例である。図12(B)は、センサから出力されるRの画像データの一例である。 図13(A)は、Gの画像の空間周波数スペクトルの一例である。図13(B)は、Rの画像データの空間周波数スペクトルの一例である。 図14(A)は、図13(A)のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。図14(B)は、図13(B)のβ−β’断面に沿った空間周波数スペクトルの一例を示す図である。 本発明の実施形態3に係る画質評価システム100の全体構成を示す斜視図である。 図16(A)及び図16(B)は、携帯電話によって撮像された画像データの一例を示す図である。 背景の動きによって、MPEGのデジタル圧縮による歪がオーバーレイされた画像の一例である。 図17の画像データに2次元フーリエ変換を行って得られる空間周波数スペクトルの一例である。 図19(A)は、図18のα−α’断面に沿った空間周波数スペクトルである。図19(B)は、図18のβ−β’断面に沿った空間周波数スペクトルである。
次に、本発明の実施形態について、図面を参照して詳細に説明する。
(実施形態1)
まず、本発明の実施形態1について説明する。本実施形態では、カメラ付き携帯電話で撮影された画像の画質を評価する画質評価システムについて説明する。
図1には、本実施形態に係る画質評価システム100の全体構成が示されている。図1に示すように、画質評価システム100は、携帯電話1、掲示装置2及びパーソナルコンピュータ(以下、「コンピュータ」と略述する)3を備える。
携帯電話1は、カメラ付きの携帯電話である。図2には、携帯電話1の内部構成が示されている。図2に示すように、携帯電話1は、通信アンテナ21、無線回路22、符号復号処理回路23、マイク24、レシーバ25、キー26、CPU(Central Processing Unit)バス27、メモリ28、DAC(Digital Analog Converter)29、スピーカ30、ビデオI/F31、LCD(Liquid Crystal Display)コントローラ32、ビデオI/F33、表示装置34及びCPU35を備える。
通信アンテナ21は、空中を伝送されてきた電波を受信し、高周波電気信号に変換する。変換された高周波電気信号は、無線回路22に供給される。また、通信アンテナ21は、無線回路22から供給された高周波電気信号を電波に変換して発信する。
無線回路22は、通信アンテナ21から供給された高周波電気信号を復調して、符号復号処理回路23に入力する。また、無線回路22は、符号復号処理回路23の出力信号を変調して高周波電気信号に変換し、その高周波電気信号を通信アンテナ21へ出力する。
符号復号処理回路23は、無線回路22の出力信号に対して復号処理を実行する。符号復号処理回路23は、この復号処理の結果得られた通話用音声信号をレシーバ25に出力する一方、同様にして得られた文字データや画像データ等をCPU35へ出力する。
さらに、符号復号処理回路23は、マイク24からの音声信号や、キー26の操作により入力されCPU35から出力された文字データや、メモリ28から読み取られCPU35から出力された画像データ等に対して符号化処理を実行する。この符号化処理の結果得られた各種データは、出力信号として無線回路22へ出力される。
マイク24は、ユーザの音声等を集音して、音声信号に変換して、符号復号処理回路23に出力する。レシーバ25は、符号復号処理回路23から出力された通話用音声信号に対応する音声を出力する。
キー26は、ユーザによって操作される操作キーである。CPUバス27は、メモリ28及びDAC29と、CPU35とを接続するデータバスである。
メモリ28には、各種制御用のプログラムが格納されている。また、メモリ28には、電話帳、アドレス帳などのデータ、着信メロディ、楽曲などの音声データ、動画や静止画などの画像データ等が格納されている。
DAC29は、CPUバス27を介してCPU35から出力される着信音や通話音声等のデジタル音声信号をアナログ信号に変換し、スピーカ30へ供給する。スピーカ30は、DAC29から供給されたアナログ信号に対応する着信音や通話音声等を音声出力する。
ビデオI/F31は、CPU35とLCDコントローラ32との間のインターフェイスである。ビデオI/F31としては、CMOSのパラレルバスを採用可能であるが、信号線数の削減やノイズ面での配慮から差動シリアルバスを採用するのが主流となっている。
LCDコントローラ32は、VRAM(Video RAM)36を内蔵している。VRAM36は、1画面分又は2画面分程度の画像を保持可能な容量を有する。LCDコントローラ32は、VRAM36を用いて、CPU35から、間欠的又は部分的に送られてきた画像データの片方又は両方を合成してフレーム画像を生成する。さらに、LCDコントローラ32は、そのフレーム画像を、60Hz程度の周波数で連続的に読み出して、ビデオI/F33を介して表示装置34へ出力する。
ビデオI/F33は、ビデオI/F31と同様に、差動シリアルバスであっても構わないが、本実施形態では、ビデオI/F33として、CMOSのパラレルバスが採用されている。
表示装置34としては、R(赤)、G(緑)、B(青)の3ピクセルで1画素を構成するストライプ形式のものが採用されている。より具体的には、QVGA(320×240×RGB)、VGA(640×480×RGB)、ワイドVGA(800×480×RGB)、フルワイドVGA(854×480×RGB)など、多様な画素数のデバイスを表示装置34として使用可能である。本実施形態では、VGA(640×480×RGB)を採用するものとする。また、本実施形態では、表示装置34を、液晶ディスプレイであるものとする。
CPU35は、CPUバス27を介してメモリ28からプログラムを読み出し、そのプログラムを実行することにより、上述の各構成要素を統括制御する。
例えば、CPU35は、キー26の操作内容の検出処理を行う。さらに、CPU35は、キー26の操作内容を検出し、検出されたキー操作に従って、無線回路22及び符号復号処理回路23を制御して、発信処理、音声通話処理、音楽や画像の再生処理等を行う。
一方、CPU35は、符号復号処理回路23、無線回路22を制御して、着信待ちに係る処理を行う。CPU35は、着信時に、メモリ28の電話帳から発信者の名前や着信メロディ、着信画像を読み出す。そして、CPU35は、音声データを、DAC29へ出力する一方、相手の電話番号や名前、画像データを、ビデオI/F31、LCDコントローラ32、ビデオI/F33を介して表示装置34に表示させる。キー操作により通話が選択されると、CPU35は、音声通話処理を行う。
以上の構成要素に加え、携帯電話1は、カメラモジュール40、メモリカード41及び外部インターフェイス(I/F)42をさらに備える。カメラモジュール40と、メモリカード41及び外部I/F42は、CPU35に接続されている。
カメラモジュール40は、レンズ43とセンサ44とを備える。レンズ43は、入射した光をセンサ44に結像させる。センサ44は光電変換により、入射した光を電気信号に変換する。センサ44としては、CMOS(Complementary Metal Oxide Semiconductor)タイプやCCD(Charge Coupled Device)タイプのものが使用可能である。一般には、センサ44の各画素には、R、G、Bのフィルタを設けたカラータイプのものが使用されるが、ここでは説明の簡略化のため、モノクロタイプのものが使用されるものとする。
センサ44から出力される電気信号は、CPU35の一部であるISP(Image Signal Processor)45に入力される。ISP45は、センサ44の出力にA/D(Analog to Digital)変換を施してデジタル信号に変換する。デジタル信号に変換された画像データには、ノイズ低減処理やガンマ補正、そして、所定の画素数へのリサイズ処理が施される。
CPU35は、ISP45の出力画像データに基づく画像を、ビデオI/F31、LCDコントローラ32、ビデオI/F33を介して表示装置34に表示させる。キー26の操作によって撮影が開始されると、CPU35は、その画像データをデジタル圧縮して、メモリ28又はメモリカード41に記録する。このデジタル圧縮のアルゴリズムとしては、汎用的なものを採用することができる。例えば静止画であればJPEG(Joint Photographic Experts Group)を採用し、動画であればMPEG(Moving Picture Experts Group)を採用することができる。CPU35は、画像データを、デジタル圧縮する前のデータ形式やRGB形式のままで、メモリ28またはメモリカード41に記録するようにしてもよい。
外部I/F42は、コンピュータ3と通信可能なものであればよいが、ここではUSB(Universal Serial Bus)が用いられる。外部I/F42は、コンピュータ3と接続されている。
掲示装置2は、携帯電話1のカメラモジュール40によって撮像される評価用パターンPを掲示する。
図3(A)には、評価用パターンPの一例が示されている。掲示装置2は、この評価用パターンPが印刷されたチャートを掲示する。図3(B)には、図3(A)のA−A’断面における評価用パターンPの輝度の変動を示すグラフが示されている。また、図3(C)には、図3(A)のB−B’断面における評価用パターンPの輝度の変動を示すグラフが示されている。図3(A)乃至図3(C)に総合的に示すように、評価用パターンPは、X軸に対して斜め45°のA−A’方向(第1の方向)には矩形波状に輝度が変化し、第1の方向に直交するB−B’方向(第2の方向)には周期的な輝度の変動のないパターンである。
コンピュータ3は、携帯電話1により撮像された評価用パターンPに対応する画像データを入力し、その画質を解析し、評価する。より具体的には、コンピュータ3は、携帯電話1による撮影により得られた画像データに2次元のフーリエ変換を施して、その画像データの周波数スペクトルを取得し、画像データの解析を行う。例えば、コンピュータ3は、画像データの解像感や、画像データにジャギーが発生しているか否かなどを解析する。
図4に示すように、コンピュータ3は、画像データ入力部50、フーリエ変換部51、解析部52、評価部53及び表示部54を備える。
画像データ入力部50は、携帯電話1で撮像された評価用パターンPの画像を含む画像データを入力する。フーリエ変換部51は、画像データ入力部50に入力された画像データに対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得する。
解析部52は、フーリエ変換部51により取得された2次元の空間周波数のスペクトル成分のうち、評価用パターンPに含まれるスペクトル成分に基づいて画像の解像感を解析し、それ以外のスペクトル成分に基づいて画像の劣化を解析する。
評価部53は、解析部52の解析結果に基づいて、携帯電話1で撮像された画像データの画質を総合的に評価する。表示部54は、その評価結果を表示する。
次に、本実施形態に係る画質評価システム100の動作について説明する。
本実施形態に係る画質評価システム100の評価対象となるのは、ズームによって拡大して撮像された画像データである。ズームの方式には、主として、光学ズームと電子ズーム(デジタルズーム)とがある。
光学ズームは、光学系の焦点距離を制御することによりセンサ44に入射する画角を変化させるため、図5(A)に示すように、評価用パターンPの中央部分Zを光学ズームにより拡大して撮像すると、図5(B)の画像データP1のように、画質を劣化させることなく中央部分Zを撮像することができる。
しかしながら、光学ズームは、光学系のコストが高く、レンズモジュールも大型になるため、携帯電話1のカメラモジュール40では、デジタルズームが採用されている。デジタルズームは、小型、低コストで実現できるメリットがある一方、画像の拡大により画質が劣化するおそれがある。
そこで、本実施形態では、まず、携帯電話1のカメラモジュール40等によってデジタルズームにより拡大して撮像された画像と、理想的なズーム(光学ズーム)によって撮影された撮影画像と比較しながら画質評価システム100の動作について説明する。
例えば、デジタルズームにより、3倍で画像が撮像されるものとする。デジタルズームでは、画像を3倍に拡大しようとすると、元の画像の1画素に対してフィルタ演算により求めた2画素を付加することで画素数が3倍化される。このため、画像にぼやけやジャギーが発生することがある。
例えば、同じ画素の値をコピーすることで画素数を3倍化するニアリストネイバー法を使用する場合について考える。ニアリストネイバー法は、物理的に距離が一番近い画素の輝度値をそのまま使用する方法である。ニアリストネイバー法を用いたデジタルズームによる3倍拡大画像データは、3画素周期で斜め線が変化するようになるため、図5(C)の画像データP2のように、エッジに3画素周期のジャギーが発生した画像データとなる。この画像データは、メモリカード41又は外部I/F43を介してコンピュータ3に取り込まれる。コンピュータ3は、2次元フーリエ変換を施して周波数スペクトルに変換し、画像の画質を解析する。
コンピュータ3は、次式を用いて、画像データの2次元フーリエ変換を行う。
図6(A)及び図6(B)には、上述の式(1)で求められる画像データの周波数スペクトルを2次元平面(uv平面)にプロットしたグラフが示されている。このグラフでは図3(A)の評価用パターンPのXY座標軸に対して、第1象限と第3象限と、第2象限と第4象限とが、それぞれ入れ換えられている。また、このグラフでは、原点(中心)が直流成分となっており、原点から離れれば離れるほど、すなわち周辺に行けば行くほど空間周波数が高くなっている。
図6(A)には、図5(B)に示す光学ズームにより撮像された画像の周波数スペクトルが示されている。図6(A)に示すように、光学ズームでは、2次元フーリエ変換による周波数スペクトルにおいて、0でないスペクトル成分は、評価用パターンP(図3(A)参照)のA−A’方向に対応するα−α’断面に表れている。α−α’断面の方向は、評価用パターンP(周期パターン)を波であると考えたときのその波の進む方向に等しい。周波数スペクトルが中心を原点とし、第2象限と第4象限に点対称で現れるのは、正と負の2つのフーリエ解が算出されるためである。コンピュータ3は、いずれの象限の周波数スペクトルのスペクトル成分を、画質の解析に用いるようにしてもよい。
図6(A)のα−α’断面に沿った光学ズーム画像の周波数スペクトルが、図7(A)に示されている。また、図6(A)のβ−β’断面に沿った光学ズーム画像の周波数スペクトルが図7(B)に示されている。図7(A)及び図7(B)では、縦軸はスペクトル強度、横軸は空間周波数である。
光学ズームの場合、拡大して撮像された画像のエッジに、ぼやけやジャギーが発生しないため、評価用パターンPの矩形波の状態が維持されている(図5(B)の画像データP1参照)。したがって、評価用パターンPにおける矩形波の空間周波数をfsとすると、その奇数次の高調波成分にあたる空間周波数3fs、5fsにスペクトル成分のピークが現れる。
一方、画像データP1(図5(B)参照)には、B−B’の方向には周期的なパターンが存在しないため、β−β’断面には、空間周波数fsの基本波及び空間周波数3fs、5fsの高周波のスペクトル成分が存在しない。したがって、図7(B)に示すように、β−β’の方向には、スペクトル成分として、直流成分のみが観測される。
一方、図6(B)には、デジタルズームにより撮像された画像の周波数スペクトルが示されている。また、図6(B)のα−α’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が図8(A)及び図8(B)に示されている。図8(A)には、ニアリストネイバー法を用いて画像を拡大した場合の周波数スペクトルが示されている。また、図8(B)には、バイリニア法を用いて画像を拡大した場合の周波数スペクトルが示されている。
ニアリストネイバー法を適用した場合には、画像のぼやけが少ないため、図8(A)に示すように、図7(A)と同様な周波数スペクトルを観測することができる。すなわち、ニアリストネイバー法を採用すると、図8(A)と同等の解像感が得られる。
これに対し、一般的に使用されているバイリニア法を適用した場合には、図8(B)に示すように、画像がぼやけたことにより空間周波数3fs、5fsの3次及び5次の高調波成分が小さくなる。
コンピュータ3は、このようにして、高調波のスペクトル成分のピークのレベルや位置(空間周波数)を比較することにより、画像の解像感を評価する。
図8(C)には、図6(B)のβ−β’断面に沿ったデジタルズーム画像の周波数スペクトルの一例が示されている。繰り返し発生しているジャギーのピークの繰り返し周波数が3画素であるため、図8(C)に示すように、空間周波数π/3において、ジャギーによるスペクトル成分のピークが現れている。このスペクトル成分は、理想的なズームの例である光学ズームのスペクトル(図7(B)参照)には見られないことから、画像の劣化成分であると言える。このように、コンピュータ3は、β−β’方向の周波数スペクトルのスペクトル成分を求めることにより、ジャギーによる画質劣化度を評価する。
図9には、コンピュータ3による画像解析評価処理のフローチャートが示されている。図9に示すように、まず、画像データ入力部50は、メモリカード41又は携帯電話1から送信された画像データを入力する(ステップS1)。続いて、フーリエ変換部51は、入力した画像データに対して2次元フーリエ変換を行う(ステップS2)。
続いて、解析部52は、2次元フーリエ変換により算出された2次元平面(u,v)のα−α’断面のスペクトル成分の解析を行う(ステップS3)。ここでは、解析部52は、例えば、図7(A)に示されるスペクトル成分と、2次元フーリエ変換により算出されたα−α’断面のスペクトル成分とを比較して、画像のぼやけが発生しているか否か、すなわち解像感について解析する。より具体的には、解析部52は、3次及び5次の高調波成分が閾値以上に低下しているか否かを判定する。
続いて、解析部52は、2次元フーリエ変換により算出された2次元平面(u,v)のβ−β’断面の空間周波数成分のスペクトル解析を行う(ステップS4)。ここでは、解析部52は、例えば、2次元フーリエ変換により算出されたβ−β’方向の空間周波数成分に基づいて、画像の劣化について解析する。より具体的には、解析部52は、β−β’断面のスペクトル成分に所定のレベル以上のピークがあるか否かにより、画像にシャギーやノイズが発生しているか否かを判定する。また、解析部52は、そのピークの空間周波数が、π/3(又は−π/3)であるか否かを調べることにより、画像にシャギーが発生しているか否かを判定する。π/3で調べる理由は画像が3倍に拡大されているため、空間周波数は1/3になるためである。
続いて、評価部53は、解析部52の解析結果に基づいて、携帯電話1によって撮像された画像データの画質を総合評価する(ステップS5)。例えば、α−α’断面における空間周波数3fs、5fsの高周波のスペクトル成分が小さくなっておらず、画像がぼやけていないものの、β−β’断面における空間周波数π/3に相当する部分で、所定レベルより大きいスペクトル成分のピークが無視できない場合には、評価部53は、ジャギーが発生しているため、画像の画質を低く評価する。
続いて、表示部54は、評価部53の評価結果を表示する(ステップS6)。
以上詳細に説明したように、本実施形態によれば、画像の解像感と画像の劣化とを両方評価することができるので、より見た目に近い状態で、携帯電話1で撮像された画像の画質を評価することができる。
より具体的には、本実施形態によれば、解析部52は、光学ズームによって拡大された図6(A)のα−α’断面における評価用パターンPの空間周波数スペクトルと、電子ズームによって拡大された図6(B)のα−α’断面における画像データの空間周波数スペクトルとを比較することにより、画像データにおける評価用パターンPの成分が劣化しているか否かを解析する。この解析により、画像がぼやけているか否かを判定し、画像の解像感を評価することができる。
また、コンピュータ3は、β−β’断面方向においても周波数スペクトル成分に基づいて、画像中に評価用パターンPに含まれていない成分(デジタルズームの拡大倍率に対応する成分)が含まれているか否かを解析する。この解析により、デジタルズームによりジャギーやノイズ等が発生しているか否かを判定し、すなわち画像が劣化を評価することができる。
このようにすれば、デジタルズームにより拡大して撮像された画像データに対してエッジ強調等の画質補正処理による解像感向上効果と、デジタルズームによるジャギーやノイズの増加による画質劣化との両面からの画質評価が可能となる。この結果、より見た目に近い状態で、携帯電話1で撮像された画像データの画質を評価することができる。
本実施形態では、周期的なスペクトル成分を本来有しないβ−β’断面のスペクトル成分を用いるので、ジャギーを高精度に検出することができる。
なお、本実施形態では、説明の簡略化のため、図6(B)に示すように、デジタルズームによるジャギーにより、第1象限及び第3象限において、周波数スペクトルのスペクトル成分のピークがそれぞれ1つずつ発生するものとした。しかしながら、実際には、第1象限及び第3象限において、スペクトル成分のピークが複数になる場合がある。さらに、第2象限及び第4象限にも、スペクトル成分のピークが発生する場合がある。
このような場合、コンピュータ3は、全てのスペクトル成分のピークを解析対象としてもよいし、スペクトル強度に閾値を設け、一定値以上のスペクトル強度を有するピークのみを解析対象としてもよい。
また、スペクトル成分の全て又は一部のピークにおけるスペクトル強度の合計値を用いて解析を行ってもよいし、ピーク値の平均値を用いて解析を行ってもよいし、光学ズームのスペクトルとの相関を解析してもよい。また、ピークの最大値(最大スペクトル強度)を代表値として解析を行ってもよい。また、光学ズーム画像であっても光学系の性能によって劣化を伴う場合があるため、電子的に作成した劣化の無い画像と比較してもよい。
(実施形態2)
次に、本発明の実施形態2について説明する。本実施形態に係る画質評価システム100の構成及び動作は、図1及び図9に示すものと同じである。
しかしながら、本実施形態では、携帯電話1のセンサ44の構成が異なる。上記実施形態1では、携帯電話1のセンサ44にモノクロタイプのものが用いられたが、本実施形態では、センサ44が、各画素にRGBのカラーフィルタが設けられたカラーセンサを有する。
図10には、センサ44におけるRGB画素配列が示されている。図10に示すように、この配列の1ライン目ではGとRが交互に配置されている。また、2ライン目では、BとGが交互に配置されている。さらに、3ライン目では、GとRが交互に配置されている。このような画素配列は、奇数ラインと偶数ラインでGが千鳥状に配置されることから一般にベイヤー配列と呼ばれている。ベイヤー配列は、Gの画素数に対してR、Bの画素数の1/2になっている点がストライプ配列とは異なっている。
携帯電話1は、センサ44を用いて静止画と動画の両方を撮影することができる。静止画を撮影する場合には、連写の場合を除いて、撮影の時間間隔が十分に長いので、センサ44からの画像の読み出し時間は、さほど問題とはならない。このことから、静止画を撮影する場合には、センサ44の全ての画素のデータを、時間をかけて読み出すことができる。
しかしながら、動画を撮影する場合には、通常、30fps(Frames Per Second)のフレームレートを維持しなければならない。フレームレートを維持するためには、1/30sの間に1フレーム分の画像データの読み出しを完了させる必要がある。そこで、センサ44から画素を間引いて読み出したり、周辺の数画素の輝度値を加算して、その加算値を輝度値として有する1つの画素に合成して読み出したりすることが一般的となっている。以下、センサ44から画素加算読み出しを行う場合を例にとって説明する。
図11(A)には、センサ44におけるGの画素加算読み出しの動作が模式的に示されている。図11(A)のGは、センサ44におけるGの画素位置を示している。画素加算読み出し動作では、上下、左右に隣接したGの4画素が加算され、太線で囲まれた位置の画素値として出力される。図11(B)、図11(C)にそれぞれ、RとBの画素加算読み出しの動作が模式的に示されている。両者とも、上下、左右に隣接したGの4画素が加算され、太線で囲まれた位置の画素値として出力される。
このような画素加算読み出しを用いて、評価用パターンP(図3(A)参照)を撮影した場合の画像データの一例が、図12(A)、図12(B)に示されている。図12(A)には、センサ44から出力されるGの画像データの一例が示されている。また、図12(B)には、センサ44から出力されるRの画像データの一例が示されている。センサ44から出力されるBの画像データについては、Rとほぼ同じなので説明を省略する。
Gの画像データでは、画素加算により水平及び垂直の解像度が1/2になるため、その画像データは、図12(A)に示すように、2画素周期のジャギーが発生した画像となる。一方、Rの画像データの画素数は、もともとGの画像データの1/4であるため、その画像データは、図12(B)に示すように、4画素周期のジャギーが発生した画像となる。
コンピュータ3によって取得された2次元空間周波数のスペクトルの一例が、図13(A)、図13(B)に示されている。
図13(A)には、Gの画像データ(図12(A)参照)の空間周波数スペクトルの一例が示されている。上記実施形態1と同様に、評価用パターンPの線を矩形波と考えると、矩形波の進む方向、すなわち、α−α’断面に沿って、評価用パターンPのスペクトル成分のピークが現れている。解析部52は、上記実施形態1と同様に、α−α’断面のスペクトル成分を解析することにより、画像の解像感を評価する。
また、図14(A)には、図13(A)のβ−β’断面のスペクトル成分が示されている。解析部52は、上記実施形態1と同様に、β−β’断面のスペクトル成分を解析することにより、画像の劣化を評価する。
上記実施形態1では、解析部52は、デジタルズームにより発生するジャギーを検出したが、本実施形態では、Gの画像データの画素加算によるジャギーを検出する。Gの画像データの画素加算によるジャギーは、2画素周期で発生するため、解析部52は、空間周波数π/2におけるスペクトル成分のピークを測定することにより、Gの画素加算によるジャギーの発生を検出する。
一方、図13(B)には、Rの画像データ(図12(B)参照)の空間周波数スペクトルの一例が示されている。図13(B)に示すように、α−α’断面に、評価用パターンPのスペクトル成分のピークが観測され、β−β’断面に、画素加算により発生するジャギーに対応するスペクトル成分が観測されている。
また、図14(B)には、図13(B)のβ−β’断面におけるスペクトル成分が示されている。
Rの画像データの画素加算によるジャギーは、4画素周期で発生するため、解析部52は、空間周波数π/4におけるスペクトル成分のピークを測定することにより、Rの画素加算によるジャギーの発生を検出する。
以上詳細に説明したように、本実施形態によれば、評価用パターンPを用いれば、スペクトル成分のピークが現れる空間周波数を予測することができるため、コンピュータ3は、画素加算と、それ以外の要因による空間周波数のスペクトル成分を個別に解析することができる。すなわち、画素加算とデジタルズームとを両方適用した場合にも、ジャギーによるスペクトル成分のピークを区別して解析することができる。
本実施形態に係る周波数スペクトルの解析は、YUV変換前のR、G、Bの画像データでも可能であるが。例えば、ISP45又はCPU35でYUV変換された画像であっても、コンピュータ3でR、G、Bの画像データに変換することでR、G、Bの色毎の解析が可能となる。また、ISP45又はCPU35でJPEGやMPEGに圧縮した画像であっても、コンピュータ3で伸張した後にR、G、Bの画像データに変換することで、色毎の解析が可能となる。
(実施形態3)
次に、本発明の実施形態3について説明する。
上記実施形態1では、デジタルズームによるジャギーに着目して画質を評価する場合について説明した。また、上記実施形態2では画素加算によるジャギーを評価する場合について説明した。これに対し、本実施形態では、デジタル圧縮により発生する歪(ブロックノイズ、モスキートノイズ)を評価する場合について説明する。
MPEGでは、水平16画素、垂直16画素から構成されるマクロブロックと呼ばれるブロック単位で画像データの圧縮処理が実施される。従って、この画像データでは、マクロブロック単位で歪が発生しやすい。このようなMPEGに起因する歪も、コンピュータ3の周波数スペクトル解析により評価することが可能である。
図15には、本発明の実施形態3に係る画質評価システム100の全体構成が示されている。図15に示すように、掲示装置2は、評価用パターンRを掲示するが、評価用パターンRは、斜め方向の矩形波状の周期パターンである評価用パターンPに、動きのある背景を重ねたパターンである。
この背景としては、例えば、人物が矢印aの方向に移動する様子を採用することができる。これにより、人物が矢印aの方向に移動する状態が、評価用パターンPに重ねられた状態で、携帯電話1により動画で撮影される。このように、評価用パターンPの背景画像に動きを与えるのは、画像における動き部分が多いほど、上記の歪が目立ち易くなるためである。なお、上述の各実施形態と同一の構成要素には同一符号を付し、重複する説明を省略する。
図16(A)及び図16(B)には、携帯電話1によって撮像された画像データR1の一例が示されている。背景の人物は、ある時刻t1において図16(A)に示す位置にあるとする。その後、人物はaの方向(図13参照)に動き、時刻t2には図16(B)に示すように、右側に移動する。一方、掲示装置2に掲示された評価用パターンPは動かないため、画面の同じ位置に表示されたまま(画像P1)となる。評価用パターンPは、掲示装置2の画面の中央付近に固定されているが、画面内のどの位置に固定されていてもよい。
携帯電話1のCPU35は、時刻t1からt2までの間、30fpsのフレームレートで撮影した画像データをMPEGで圧縮することにより、画像ファイルを作成し、メモリ28またはメモリカード41に保存する。この画像ファイルは、メモリカード41又は外部I/F42を介してコンピュータ3に取り込まれる。取り込まれた画像ファイルは、コンピュータ3で、圧縮画像を伸張され、任意の1フレームの画像データに対して2次元フーリエ変換を施し、周波数スペクトルを解析することにより、MPEGによる画像圧縮歪を評価する。
コンピュータ3で解析処理を行う画像R2の一例が図17に示されている。図17に示すように、画像R2は、背景の動きによって、評価用パターンPにMPEG圧縮による歪がオーバーレイされたような画像となる。この画像データに2次元フーリエ変換を施した結果が図18に示されている。
図18のα−α’断面のスペクトル成分が図19(A)に示されている。上述の実施形態と同様の矩形波のスペクトル成分のピークに加え、16画素単位の歪のため、空間周波数π/16にもスペクトル成分のピークが現れる。このピークは、周波数軸上で評価用パターンPによるピークと分離されているため、矩形波と分離して評価することができる。一方、β−β’断面のスペクトル成分についても、図19(B)に示すように、π/16に、MPEG圧縮による歪の成分が現れる。解析部52は、これらのスペクトルのピークを測定することによってMPEGによる圧縮歪を評価する。
なお、本実施形態では、デジタル圧縮方式としてMPEGを用いる場合について説明した。しかしながら、本発明は、これに限られるものでない。例えば、デジタル圧縮方式としてH.264を初めとするその他の方式を使用してもよい。また、静止画の場合には、JPEG等の静止画用のデジタル圧縮方式を採用すればよい。
以上詳細に説明したように、本実施形態によれば、評価すべき歪の画素単位によって、周波数スペクトルのピークが発生する空間周波数を予測することができるため、目的の要因による歪だけを抽出して評価することが可能である。従って、画像の拡大や画素加算、MPEGによる歪が混在した画像についても、拡大率、加算する画素数、マクロブロックの画素数が既知であれば、それぞれの要因毎に評価することが可能である。
また、π/16にピークを有するスペクトル成分が、中央の直流成分のスペクトルと重なって解析しにくい場合、直流成分の分布が小さくなるように、評価用パターンPのサイズを小さくしたり、撮影距離を伸ばすことにより、画角中の面積を小さくしたりしてもよい。また、コンピュータ3でスペクトル解析を行う画像のエリアを限定するようにしてもよい。
また、マクロブロックのサイズは、16画素単位に限られるものでなく、圧縮アルゴリズムに応じて如何様なサイズに規定されていてもよい。この場合、周波数スペクトルが観測し易いように評価用パターンPのサイズや撮影距離が調節されるようにするのが望ましい。
なお、上記各実施形態では、評価用パターンPの矩形波の方向は、45°であったが、必ずしも45°である必要はない。また、評価用パターンPは、透過型であってもよいし、反射型であってもよい。
また、上記各実施形態では、コンピュータ3により画像データの画質の評価を行ったが、携帯電話1で、画像でデータの画質の評価を行うようにしてもよい。
また、上記各実施形態では、表示装置34を、液晶ディスプレイとしたが、表示装置34は、自発光型の有機ELディスプレイであってもよい。
なお、上記各実施形態では、端末装置を、携帯電話1としたが、本発明はこれには限られない。例えば、端末装置を、映像撮影が可能な端末装置全般、例えばPHS(Personal Handy-phone System)、PDA(Personal Digital Assistant)、コンピュータ、デジタルカメラ、デジタルムービー、映像記録装置等としてもよい。
なお、上記実施の形態において、実行されるプログラムは、フレキシブルディスク、CD−ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto-Optical Disk)等のコンピュータ読み取り可能な記録媒体に格納して配布し、そのプログラムをインストールすることにより、上述の処理を実行するシステムを構成することとしてもよい。
また、プログラムをインターネット等の通信ネットワーク上の所定のサーバ装置が有するディスク装置等に格納しておき、例えば、搬送波に重畳させて、ダウンロード等するようにしてもよい。
また、上述の機能を、OS(Operating System)が分担して実現する場合又はOSとアプリケーションとの協働により実現する場合等には、OS以外の部分のみを媒体に格納して配布してもよく、また、ダウンロード等してもよい。
なお、本発明は、上記実施の形態及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で実施の形態及び図面に変更を加えることができるのはもちろんである。
本発明は、画像の解析評価に好適である。
1…携帯電話、2…掲示装置、3…パーソナルコンピュータ(コンピュータ)、21…通信アンテナ、22…無線回路、23…符号復号処理回路、24…マイク、25…レシーバ、26…キー、27…CPU、28…メモリ、29…DAC、30…スピーカ、31…ビデオI/F、32…LCDコントローラ、33…ビデオI/F、34…表示装置、35…CPU、36…VRAM、40…カメラモジュール、41…メモリカード、42…外部インターフェイス(I/F)、43…レンズ、44…センサ、45…ISP、50…画像データ入力部、51…フーリエ変換部、52…解析部、53…評価部、54…表示部、100…画質評価システム

Claims (13)

  1. 輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価装置であって、
    前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換部と、
    前記フーリエ変換部により取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析部と、
    を備える画質評価装置。
  2. 前記周期パターンは、矩形波状であり、
    前記解析部は、
    前記周期パターンが周期的に輝度が変動する方向に対応する第1の方向に関するスペクトル成分に基づいて、前記画像の解像感を解析し、
    前記第1の方向に直交する第2の方向に関するスペクトル成分に基づいて、前記画像の劣化を解析する、
    ことを特徴とする請求項1に記載の画質評価装置。
  3. 前記画像は、
    デジタルズームによる拡大画像であり、
    前記解析部は、
    前記画像の拡大倍率に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
    ことを特徴とする請求項1又は2に記載の画質評価装置。
  4. 前記画像は、
    原画像における各画素が周期的に間引きされた画像又は前記原画像における複数の画素が周期的に輝度加算された画像であり、
    前記解析部は、
    前記間引き又は前記輝度加算の周期に対応する空間周波数のスペクトル成分に基づいて、ジャギーが発生したか否かを判定する、
    ことを特徴とする請求項1乃至3のいずれか一項に記載の画質評価装置。
  5. 前記画像は、カラー画像を構成するR、G、Bの画像であり、
    前記フーリエ変換部は、
    前記R、G、Bの画像各々に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得し、
    前記解析部は、
    前記R、G、Bの画像各々の2次元の空間周波数のスペクトル成分に基づいて前記画像の解像感及び前記画像の劣化を解析する、
    ことを特徴とする請求項4に記載の画質評価装置。
  6. 前記画像は、
    所定の方式でのデジタル圧縮された画像であり、
    前記解析部は、
    前記デジタル圧縮の圧縮単位であるブロックに対応する空間周波数のスペクトル成分に基づいて、前記デジタル圧縮処理により前記画像が劣化しているか否かを判定する、
    ことを特徴とする請求項1乃至5のいずれか一項に記載の画質評価装置。
  7. 前記解析部は、
    全てのスペクトル成分のピーク、所定の閾値以上のスペクトル強度を有するピーク、前記スペクトル成分の全て又は一部のピーク値の平均値、合計値、最大値のいずれかに基づいて、前記画像の解像感及び前記画像の劣化を解析する、
    ことを特徴とする請求項1乃至6のいずれか一項に記載の画質評価装置。
  8. 撮像装置と、
    請求項1乃至7のいずれか一項に記載の画質評価装置と、
    を備える端末装置。
  9. 請求項1乃至7のいずれか一項に記載の画質評価装置と、
    輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
    を備える画質評価システム。
  10. 請求項8に記載の端末装置と、
    輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
    を備える画質評価システム。
  11. 請求項6に記載の画質評価装置と、
    輝度が一方向に周期的に変動する周期パターンを撮像可能に掲示する掲示装置と、
    を備え、
    前記掲示装置は、
    前記周期パターンに、動きのある背景を重ねたパターンを掲示する、
    質評価システム。
  12. 輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価する画質評価方法であって、
    前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換工程と、
    前記フーリエ変換工程において取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析工程と、
    を含む画質評価方法。
  13. 輝度が一方向に周期的に変動する周期パターンを含む撮像対象を撮像することにより得られる画像の画質を評価するプログラムであって、
    コンピュータを、
    前記画像に対して2次元フーリエ変換を行って2次元の空間周波数のスペクトル成分を取得するフーリエ変換手段と、
    前記フーリエ変換手段により取得された2次元の空間周波数のスペクトル成分のうち、前記周期パターンに含まれる空間周波数の第1のスペクトル成分に基づいて前記画像の解像感を解析し、前記第1のスペクトル成分以外の第2のスペクトル成分に基づいて前記画像の劣化を解析する解析手段と、
    として機能させるプログラム。
JP2010004256A 2010-01-12 2010-01-12 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム Expired - Fee Related JP5464656B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2010004256A JP5464656B2 (ja) 2010-01-12 2010-01-12 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム
US13/004,619 US8717446B2 (en) 2010-01-12 2011-01-11 Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs
US13/776,168 US8890963B2 (en) 2010-01-12 2013-02-25 Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs
US13/776,225 US8692896B2 (en) 2010-01-12 2013-02-25 Image quality evaluation device, terminal device, image quality evaluation system, image quality evaluation method and computer-readable recording medium for storing programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010004256A JP5464656B2 (ja) 2010-01-12 2010-01-12 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011146806A JP2011146806A (ja) 2011-07-28
JP5464656B2 true JP5464656B2 (ja) 2014-04-09

Family

ID=44258266

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010004256A Expired - Fee Related JP5464656B2 (ja) 2010-01-12 2010-01-12 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム

Country Status (2)

Country Link
US (3) US8717446B2 (ja)
JP (1) JP5464656B2 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8312267B2 (en) 2004-07-20 2012-11-13 Time Warner Cable Inc. Technique for securely communicating programming content
US8266429B2 (en) 2004-07-20 2012-09-11 Time Warner Cable, Inc. Technique for securely communicating and storing programming material in a trusted domain
US8520850B2 (en) 2006-10-20 2013-08-27 Time Warner Cable Enterprises Llc Downloadable security and protection methods and apparatus
US8732854B2 (en) 2006-11-01 2014-05-20 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US8621540B2 (en) 2007-01-24 2013-12-31 Time Warner Cable Enterprises Llc Apparatus and methods for provisioning in a download-enabled system
US9866609B2 (en) 2009-06-08 2018-01-09 Time Warner Cable Enterprises Llc Methods and apparatus for premises content distribution
US9602864B2 (en) 2009-06-08 2017-03-21 Time Warner Cable Enterprises Llc Media bridge apparatus and methods
US9906838B2 (en) 2010-07-12 2018-02-27 Time Warner Cable Enterprises Llc Apparatus and methods for content delivery and message exchange across multiple content delivery networks
EP2679015A4 (en) * 2011-06-07 2014-05-21 Huawei Tech Co Ltd DEVICE AND METHOD FOR CONTROLLING VIDEO SESSION IN A DATA NETWORK
JP2013098644A (ja) * 2011-10-28 2013-05-20 Sony Corp ノイズ検出装置、ノイズ検出方法及びプログラム
KR101324250B1 (ko) * 2011-12-29 2013-11-01 삼성테크윈 주식회사 영상 처리를 통한 광축 오차 보상 방법 및 시스템, 광축 오차 보상 기능이 구현된 줌 카메라
US9307230B2 (en) 2012-06-29 2016-04-05 Apple Inc. Line pair based full field sharpness test
JP5420049B1 (ja) * 2012-10-31 2014-02-19 Eizo株式会社 拡大率推定装置またはその方法
US9565472B2 (en) 2012-12-10 2017-02-07 Time Warner Cable Enterprises Llc Apparatus and methods for content transfer protection
US20140282786A1 (en) 2013-03-12 2014-09-18 Time Warner Cable Enterprises Llc Methods and apparatus for providing and uploading content to personalized network storage
US10368255B2 (en) 2017-07-25 2019-07-30 Time Warner Cable Enterprises Llc Methods and apparatus for client-based dynamic control of connections to co-existing radio access networks
US9066153B2 (en) 2013-03-15 2015-06-23 Time Warner Cable Enterprises Llc Apparatus and methods for multicast delivery of content in a content delivery network
US9313568B2 (en) 2013-07-23 2016-04-12 Chicago Custom Acoustics, Inc. Custom earphone with dome in the canal
JP6160329B2 (ja) * 2013-07-24 2017-07-12 船井電機株式会社 プロジェクタ
JP6199749B2 (ja) * 2014-01-16 2017-09-20 株式会社メガチップス ノイズ判定装置およびノイズ判定方法
US9621940B2 (en) 2014-05-29 2017-04-11 Time Warner Cable Enterprises Llc Apparatus and methods for recording, accessing, and delivering packetized content
US11540148B2 (en) 2014-06-11 2022-12-27 Time Warner Cable Enterprises Llc Methods and apparatus for access point location
US9935833B2 (en) 2014-11-05 2018-04-03 Time Warner Cable Enterprises Llc Methods and apparatus for determining an optimized wireless interface installation configuration
US9986578B2 (en) 2015-12-04 2018-05-29 Time Warner Cable Enterprises Llc Apparatus and methods for selective data network access
US9918345B2 (en) 2016-01-20 2018-03-13 Time Warner Cable Enterprises Llc Apparatus and method for wireless network services in moving vehicles
JP6646257B2 (ja) * 2016-02-08 2020-02-14 富士ゼロックス株式会社 端末装置、診断システムおよびプログラム
US10492034B2 (en) 2016-03-07 2019-11-26 Time Warner Cable Enterprises Llc Apparatus and methods for dynamic open-access networks
US10164858B2 (en) 2016-06-15 2018-12-25 Time Warner Cable Enterprises Llc Apparatus and methods for monitoring and diagnosing a wireless network
US10645547B2 (en) 2017-06-02 2020-05-05 Charter Communications Operating, Llc Apparatus and methods for providing wireless service in a venue
US10638361B2 (en) 2017-06-06 2020-04-28 Charter Communications Operating, Llc Methods and apparatus for dynamic control of connections to co-existing radio access networks
SG11202013015PA (en) 2018-07-02 2021-01-28 Huawei Tech Co Ltd Apparatus and method for filtering in video coding
WO2020264089A1 (en) * 2019-06-28 2020-12-30 Ceva Technologies, Inc. Gyroscope and optical flow sensor scale calibration
CN113670865A (zh) * 2020-05-13 2021-11-19 深圳华大智造科技有限公司 分辨率板、分辨率评估方法及相关设备

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5109425A (en) * 1988-09-30 1992-04-28 The United States Of America As Represented By The United States National Aeronautics And Space Administration Method and apparatus for predicting the direction of movement in machine vision
JP3388126B2 (ja) * 1997-01-16 2003-03-17 松下電器産業株式会社 光学系および撮像手段を有する装置における検査方法
JP2000138952A (ja) * 1998-10-30 2000-05-16 Canon Inc 解像力測定装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2000270208A (ja) * 1999-03-12 2000-09-29 Fuji Xerox Co Ltd 画像処理装置及び画像処理方法
US6888566B2 (en) * 1999-12-14 2005-05-03 Canon Kabushiki Kaisha Method and apparatus for uniform lineal motion blur estimation using multiple exposures
JP3701163B2 (ja) * 2000-01-19 2005-09-28 株式会社日立製作所 動画表示特性の評価装置
US20060133454A1 (en) * 2000-12-12 2006-06-22 Beckwith Robert W Wide band interoperable peer to peer wireless systems
JP2002229547A (ja) * 2001-02-07 2002-08-16 Hitachi Ltd 画像表示システム及び画像情報伝送方法
US6987530B2 (en) * 2001-05-29 2006-01-17 Hewlett-Packard Development Company, L.P. Method for reducing motion blur in a digital image
JP2003015026A (ja) * 2001-07-02 2003-01-15 Konica Corp 画像処理方法及び画像処理装置
JP2004002952A (ja) * 2002-04-02 2004-01-08 Jfe Steel Kk プラスチック系廃棄物の高炉原料化方法および高炉原料化装置
DE602004022865D1 (de) * 2003-12-01 2009-10-08 Koninkl Philips Electronics Nv Bewegungskompensierte invers-filterung mit bandpassfiltern für die bewegungsverschmierungsreduktion
US7990429B2 (en) * 2005-10-28 2011-08-02 Nikon Corporation Imaging device with blur enhancement
US7756407B2 (en) * 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
JP4823981B2 (ja) * 2007-07-31 2011-11-24 パナソニック株式会社 表示装置の動画解像度評価装置

Also Published As

Publication number Publication date
US8890963B2 (en) 2014-11-18
US20110169977A1 (en) 2011-07-14
JP2011146806A (ja) 2011-07-28
US8692896B2 (en) 2014-04-08
US20130169823A1 (en) 2013-07-04
US20130170745A1 (en) 2013-07-04
US8717446B2 (en) 2014-05-06

Similar Documents

Publication Publication Date Title
JP5464656B2 (ja) 画質評価装置、端末装置、画質評価システム、画質評価方法及びプログラム
US20080260291A1 (en) Image downscaling by binning
JP5775977B2 (ja) 画像処理装置、撮像装置、画像処理方法、及び画像処理プログラム
EP1793620A1 (en) Image processing device and method, imaging device, and computer program
JP5830186B2 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
WO2013005727A1 (ja) 撮像装置及び記録媒体
JP5870231B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US10559068B2 (en) Image processing device, image processing method, and program processing image which is developed as a panorama
WO2020187220A1 (zh) 一种图像超分辨重建方法、装置和终端设备
JP5680799B2 (ja) 画像処理システム、送信側装置および受信側装置
WO2014087804A1 (ja) 撮像装置、画像処理方法及びプログラム
US9363435B2 (en) Apparatus and method of determining how to perform low-pass filter processing as a reduction association processing when moire is suppressed in a captured image represented by image capture data according to an array of color filters and when the moire appears in the reduced image after processing the reduction processing on the image pickup data, on the basis of an acquisition result of the shooting condition data
US9361500B2 (en) Image processing apparatus, image processing method, and recording medium
JP5798696B2 (ja) 画像処理装置、方法、記録媒体及びプログラム並びに撮像装置
JPWO2003107684A1 (ja) 画像処理装置及び方法、画像出力装置、並びにこれらを用いたデジタルカメラ装置及び携帯情報端末
JP5680803B2 (ja) 画像処理装置および方法ならびに撮像装置
JP2004064535A (ja) カメラモジュール、携帯端末、撮影方法、撮影プログラム
WO2014050191A1 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2008131187A (ja) 色補間装置、電子機器、及び色補間プログラム
JP5858012B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012134681A (ja) 撮像装置、撮像方法及びプログラム
JP2012090212A (ja) 画像処理装置、携帯情報端末装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130625

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140116

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees