JPWO2014013792A1 - ノイズ評価方法、画像処理装置、撮像装置およびプログラム - Google Patents

ノイズ評価方法、画像処理装置、撮像装置およびプログラム Download PDF

Info

Publication number
JPWO2014013792A1
JPWO2014013792A1 JP2014525744A JP2014525744A JPWO2014013792A1 JP WO2014013792 A1 JPWO2014013792 A1 JP WO2014013792A1 JP 2014525744 A JP2014525744 A JP 2014525744A JP 2014525744 A JP2014525744 A JP 2014525744A JP WO2014013792 A1 JPWO2014013792 A1 JP WO2014013792A1
Authority
JP
Japan
Prior art keywords
value
noise
color difference
pixel
calculated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014525744A
Other languages
English (en)
Inventor
建行 藤井
建行 藤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2014013792A1 publication Critical patent/JPWO2014013792A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • H04N17/02Diagnosis, testing or measuring for television systems or their details for colour television signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213Circuitry for suppressing or minimising impulsive noise
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Analysis (AREA)

Abstract

ノイズ量を適切に算出する。基準値算出手順は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、評価対象領域の基準となる画素値を基準値として算出する。色差算出手順は、3次元色空間における色差を算出するための色差式を用いて、評価対象領域における各画素の画素値と、基準値との間における色差を画素ごとに算出する。ノイズ量算出手順は、算出された色差に基づいて、評価対象領域におけるノイズ量を算出する。

Description

本技術は、ノイズ評価方法に関する。詳しくは、画像に含まれるノイズの量を算出するノイズ評価方法、画像処理装置、撮像装置、および、当該方法をコンピュータに実行させるプログラムに関する。
近年、被写体を撮像する装置や撮像された画像を再生する装置が実現されている。このような装置では、ユーザーに見やすい画像を表示するように、画像について所定の画像処理を施した後にその画像を記録したり、このような画像処理が施された画像を再生したりする。
なお、このような画像処理を施すためには、画質を評価する必要がある。このような画質を評価する方法としては様々な方法が考えられる。例えば、均等色空間(L色空間)における各軸方向の値の標準偏差と、ユーザーがノイズを知覚する程度を実験により求めた係数である可変結合係数とからノイズ(画質)の評価値を算出する方法が提案されている(例えば、特許文献1参照。)。
特開2005−309985号公報
上述の従来技術では、ノイズの評価値(ノイズ量)を算出することができる。
なお、ノイズの評価値を算出する際に用いられる可変結合係数は、異なる明度の画像を用いて求められる。そして、ノイズの評価値を算出する際には、ノイズの評価値を算出する過程で求められた評価対象の領域の明度(L)の平均(L AVE)に基づいて、各軸方向の可変結合係数が決定される。
しかしながら、色度(u、v)の違いによっても、ノイズを知覚する程度は変わる。このため、明度(L)のみではなく、色度(u、v)も考慮してノイズを知覚する程度が設定されることが望ましい。
すなわち、実際の視覚を反映させることは難しく、視覚により知覚されるノイズをより考慮してノイズ量を適切に算出することが重要である。
本技術はこのような状況に鑑みて生み出されたものであり、ノイズ量を適切に算出することを目的とする。
本技術は、上述の問題点を解消するためになされたものであり、その第1の側面は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、上記算出された色差に基づいて、上記評価対象領域におけるノイズ量を算出するノイズ量算出手順とを具備するノイズ評価方法である。これにより、基準値と各画素の画素値との間の色差に基づいて、評価対象領域におけるノイズ量が算出されるという作用をもたらす。
また、この第1の側面において、上記ノイズ量算出手順は、上記評価対象領域における各画素の上記色差を用いて平均値を算出して上記平均値を上記ノイズ量とするようにしてもよい。これにより、評価対象領域における各画素の色差の平均値が、ノイズ量として算出されるという作用をもたらす。
また、この第1の側面において、上記3次元色空間は、均等色空間であり、上記色差算出手順は、上記均等色空間における距離関係に基づいて上記色差を算出するようにしてもよい。これにより、均等色空間における距離関係に基づいて色差が算出されるという作用をもたらす。
また、この第1の側面において、上記3次元色空間は、CIELABであり、上記色差算出手順は、CIE2000色差式を上記色差式として用いるようにしてもよい。これにより、CIE2000色差式を用いて色差が算出されるという作用をもたらす。
また、本技術の第2の側面は、画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出部と、上記算出された色差に基づいて、上記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部とを具備する画像処理装置である。これにより、基準値と各画素の画素値との間の色差に基づいて、評価対象領域におけるノイズ量が算出されるという作用をもたらす。
また、この第2の側面において、処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部をさらに具備するようにしてもよい。これにより、処理対象となる画像の画質を調整するためのパラメータがノイズ量に基づいて決定されるという作用をもたらす。
また、この第2の側面において、上記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを上記パラメータとして決定するようにしてもよい。これにより、画像処理装置における複数の画像処理うちの少なくとも1つの処理の度合いがノイズ量に基づいて決定されるという作用をもたらす。
また、本技術の第3の側面は、撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記3次元色空間における色差を算出するための色差式を用いて、上記評価対象領域における各画素の画素値と上記算出された基準値との間における色差を画素ごとに算出する色差算出部と、上記算出された色差に基づいて、上記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部とを具備する撮像装置である。これにより、撮像された画像における画質を調整するためのパラメータが、色差に基づいて算出されたノイズ量に基づいて決定されるという作用をもたらす。
また、本技術の第4の側面は、画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出手順と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順とを具備するノイズ評価方法である。これにより。基準値に基づいて算出された各軸方向の重み付け係数を用いてノイズ量が算出されるという作用をもたらす。
また、この第4の側面において、上記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて上記算出された基準値における上記感度情報を生成し、当該生成された感度情報に基づいて上記重み付け係数を算出するようにしてもよい。これにより、座標と感度情報とが関連付けられているテーブルを用いて重み付け係数が算出されるという作用をもたらす。
また、この第4の側面において、上記重み付け係数は、上記軸方向ごとに算出される値であり、上記係数算出手順は、算出対象の上記重み付け係数が重みを示す軸の方向において上記基準値に対しプラス側で最も近い座標の上記感度情報と、この軸の方向において上記基準値に対しマイナス側で最も近い座標の上記感度情報とのうちの少なくとも1つに基づいて上記算出対象の重み付け係数を算出するようにしてもよい。これにより、基準値に対しプラス側で最も近い座標の上記感度情報と、この軸の方向において基準値に対しマイナス側で最も近い座標の上記感度情報とのうちの少なくとも1つに基づいて重み付け係数が算出されるという作用をもたらす。
また、この第4の側面において、上記係数算出手順は、所定の座標とその座標における上記重み付け係数とが関連付けられているテーブルを用いて上記算出された基準値における上記重み付け係数を算出するようにしてもよい。これにより、所定の座標とその座標における重み付け係数とが関連付けられているテーブルを用いて基準値における重み付け係数が算出されるという作用をもたらす。
また、本技術の第5の側面は、画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出部と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部とを具備する画像処理装置である。これにより、基準値に基づいて算出された各軸方向の重み付け係数を用いてノイズ量が算出されるという作用をもたらす。
また、この第5の側面において、処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部をさらに具備するようにしてもよい。これにより、処理対象となる画像の画質を調整するためのパラメータがノイズ量に基づいて決定されるという作用をもたらす。
また、この第5の側面において、上記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを上記パラメータとして決定するようにしてもよい。これにより、画像処理装置における複数の画像処理うちの少なくとも1つの処理の度合いがノイズ量に基づいて決定されるという作用をもたらす。
また、本技術の第6の側面は、撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、上記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、上記評価対象領域におけるノイズ量算出のために用いられる係数であって上記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、上記算出された基準値に基づいて算出する係数算出部と、上記算出された重み付け係数と、上記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と処理対象となる画像の画質を調整するためのパラメータを上記算出されたノイズ量に基づいて決定する決定部とを具備する撮像装置である。これにより、撮像された画像における画質を調整するためのパラメータが、色差に基づいて算出されたノイズ量に基づいて決定されるという作用をもたらす。
本技術によれば、ノイズ量を適切に算出することができるという優れた効果を奏し得る。
本技術の第1の実施の形態における画像処理装置10の機能構成例の一例を示すブロック図である。 本技術の第1の実施の形態におけるノイズ量算出部110により行われる色差の算出を模式的に示す図である。 本技術の第1の実施の形態の画像処理部180により行われるノイズリダクションによる画像のボケの度合いの変動を示す表である。 本技術の第1の実施の形態における画像処理装置10により画像処理が行われる際の処理手順例を示すフローチャートである。 本技術の第1の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS920)の処理手順例を示すフローチャートである。 本技術の第1の実施の形態の画像処理手順におけるパラメータ決定処理(ステップS940)の処理手順例を示すフローチャートである。 色度図における実測により検出された色差が識別できない範囲を示すマクアダムの偏差楕円と、CIE2000色差式により算出される色差が識別できない範囲との間の関係の一例を示す図である。 本技術の第2の実施の形態における画像処理装置20の機能構成例の一例を示すブロック図である。 本技術の第2の実施の形態における色差識別感度情報を説明するための図である。 本技術の第2の実施の形態における色差識別感度情報保持部430が保持するテーブルの一例を示す図である。 色差識別感度予測部440により予測される基準色の感度情報の予測方法を模式的に示す図である。 本技術の第2の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS950)の処理手順例を示すフローチャートである。
以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(画像処理制御:色差に基づいてノイズ量を算出する例)
2.第2の実施の形態(画像処理制御:座標ごとに感度情報(色の差が区別できない範囲に関する情報)を予測してノイズ量を算出する例)
<1.第1の実施の形態>
[画像処理装置の機能構成例]
図1は、本技術の第1の実施の形態における画像処理装置10の機能構成例の一例を示すブロック図である。
なお、本技術の実施の形態では、画像処理装置10は、デジタルスチルカメラなどの撮像装置を想定して説明する。また、画像処理装置10は、外部から入力された静止画コンテンツを記録または表示させる映像視聴装置(例えば、ハードディスク内蔵型レコーダー)などにおいても適用可能である。
画像処理装置10は、画像入力部191と、信号処理部100と、画像出力部192とを備える。
画像入力部191は、画像を入力するものであり、入力された画像を信号処理部100に供給する。例えば、デジタルスチルカメラなどの撮像装置が画像処理装置10である場合には、撮像素子により取得された画像に所定の信号処理を施した画像が信号処理部100に供給される。なお、取得された画像への所定の信号処理とは、例えば、AD変換、黒レベル補正、欠陥補正、シェーディング補正、混色補正、ホワイトバランス補正、γ補正、デモザイク処理等が対応する。なお、図1では、画像入力部191は、RGB色空間における値が画素値とされていることを想定して説明する。
なお、画像処理装置10が映像視聴装置の場合には、画像入力部191は、記録媒体から読み出した画像を信号処理部100に供給する。
信号処理部100は、画像処理を行う際のパラメータを画像に含まれるノイズの量(ノイズ量)に基づいて決定し、その決定したパラメータを用いて画像処理を行うものである。この信号処理部100は、ノイズ量算出部110と、画像処理部180とを備える。
ノイズ量算出部110は、画像に含まれるノイズの量を示すノイズ量を、色差を用いて検出(定量化)するものである。ここで、色差とは、ユーザー(人間)の視覚により知覚される色の違いを定量的に示した値である。ノイズ量算出部110は、検出したノイズ量を画像処理部180に供給する。ノイズ量算出部110は、対象領域設定部120と、色空間変換部130と、基準色算出部140と、色差算出部150と、平均値算出部160とを備える。
対象領域設定部120は、ノイズ量を算出する際に画素値を用いる領域を、画像入力部191から供給された画像のうちから設定するものである。この対象領域設定部120は、例えば、撮像装置の性能を検出するために画像全体で均一な画素値となる被写体(例えば、単一の色で構成された画像)を撮像した画像が処理対象の画像である場合には、画像全体を対象領域に設定する。また、対象領域設定部120は、例えば、風景などの画素値が様々な被写体を撮像した画像である場合には、輝度値が比較的に画一化な領域を検出し、この検出した領域を対象領域に設定する。対象領域設定部120は、対象領域における各画素の画素値を、色空間変換部130に供給する。
色空間変換部130は、対象領域設定部120から供給された各画素の画素値を、RGB色空間における座標を示す値から、CIE(国際照明委員会:Commission Internationale de l'Eclairage)で規定されているL色空間(CIELAB)における座標を示す値に変換するものである。この色空間変換部130は、L色空間に変換した画素値を、基準色算出部140および色差算出部150に供給する。
基準色算出部140は、対象領域における色の基準となる色(基準色)を算出するものである。この基準色算出部140は、例えば、色空間変換部130から供給されたL色空間で表された画素値の平均値を基準色として算出する。基準色算出部140は、算出した基準色を、色差算出部150に供給する。なお、基準色算出部140は、特許請求の範囲に記載の基準値算出部の一例である。
色差算出部150は、対象領域における各画素と基準色との間の色差を算出するものである。この色差算出部150は、L色空間における色差を算出する式であるCIE2000色差式を用いて色差を算出する。なお、Lは明度であり、aおよびbは、クロマティクネス指数である。CIE2000色差式を用いた色差の算出については、図2を参照して説明するため、ここでの説明を省略する。色差算出部150は、対象領域における各画素の色差を算出し、算出した色差を平均値算出部160に供給する。
平均値算出部160は、色差算出部150から供給された色差の平均値を、対象領域のノイズ量として算出するものである。なお、算出式の一例については、図2を参照して説明するため、ここでの説明を省略する。平均値算出部160は、算出した平均値(ノイズ量)を、画像処理部180に供給する。なお、平均値算出部160は、特許請求の範囲に記載のノイズ量算出部の一例である。
画像処理部180は、平均値算出部160から供給されたノイズ量に基づいて画像処理のパラメータを決定し、この決定したパラメータに基づいて画像処理を行うものである。画像処理部180は、例えば、ノイズ量の大きさが大きいと強いノイズリダクションがかかるようにパラメータを決定し、この決定したパラメータに基づいて画像処理(ノイズリダクション)を行う。画像処理部180は、画像処理を行った画像を、画像出力部192に供給する。なお、画像処理部180は、特許請求の範囲に記載の決定部の一例である。
画像出力部192は、画像を出力するものである。例えば、デジタルスチルカメラなどの撮像装置が画像処理装置10である場合には、出力された画像は、例えば、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体に記録される。また、画像処理装置10が映像視聴装置の場合には、例えば、映像視聴装置に接続された表示装置に出力され、表示装置において表示される。
なお、図1では、画像処理部180は、算出されたノイズ量に応じてノイズリダクション効果が増減する例について説明するが、これに限定されるものではなく、他の処理の効果を増減させる場合も考えられる。例えば、処理対象の画像が動画における1フレームであり、映像視聴装置において再生する際の処理の場合には、パラメータの変更によりカラーマトリックスの色再現性を増減させる場合なども考えられる。低減させるノイズの量が少ない場合には、色再現性が高いカラーマトリックスを使用することにより、動画を表示する際の画質を向上させることができる。また、撮像装置において実施する場合には、ライブビュー用の画像において検出されたノイズ量に応じて撮像条件(例えば、露光条件)を設定することにより、記録する画像における画質を向上させることができる。
次に、色差の算出について、図2を参照して説明する。
[色空間における色差の説明]
図2は、本技術の第1の実施の形態におけるノイズ量算出部110により行われる色差の算出を模式的に示す図である。
図2aは、L色空間を3次元の色空間立体で示すイメージ図である。球体200は、球体200の中心が、L色空間における軸の原点(L=0、a=0、b=0)である。
なお、図2aでは、縦軸(上下方向)がLを示す軸であり、横軸(左右方向)がbを示す軸であり、垂直軸(図2aでは右上方向から左下方向へ伸びる斜線)がaを示す軸である。また、球体200の中に示されている灰色が付された1つの小さな丸(色座標210)は、基準色算出部140が算出した基準色の座標を模式的に示すものである。そして、球体200の中に示されている4つの小さな丸(色座標221乃至224)は、対象領域における4つの画素の画素値の座標を模式的に示すものである。
ここで、ノイズ量算出部110によるノイズ量算出部110の算出について説明する。まず、対象領域設定部120により対象領域が設定されると、その対象領域の画素の画素値の色空間が、色空間変換部130によりL色空間に変換される。そして、対象領域の全ての画素の画素値の平均値(座標の平均値)が基準色算出部140により算出され、基準色の座標(色座標210)が決定される。
その後、この基準色に対する各画素の画素値の色差が算出される。なお、CIE2000色差式を用いて色差(dE2000)を算出する場合には、次の式1を用いて算出される。
Figure 2014013792
ここで、上述の式1について説明する。なお、基準色の座標を(L ,a ,b )とし、色差の算出対象の座標を(L,a,b)とする。dL'は次の式2により算出が定義されている。
Figure 2014013792
また、dC'は、次の式3と、この式3を算出するために必要な式4に示す複数の式により算出が定義されている。
Figure 2014013792
また、dH'は、次の式5により算出が定義されている。
Figure 2014013792
また、重価係数(S,S,S)は、次の式6に示す複数の式と、これまでに示した数式や次の式7に示す複数の式とにより算出が定義されている。
Figure 2014013792
なお、上述の数式には、|h'+h'|が180°以下となる場合の例を示している。
なお、ローテーション関数(R)は、次の式8と、次の式9に示す複数の式とにより算出が定義されている。
Figure 2014013792
なお、標準的な条件で画像が撮像されたことを想定し、パラメトリック係数(k,k,k)は、全て「1」であることを想定する。
このように、色差算出部150では、CIE2000色差式を用いて色差が算出される。
なお、本技術の第1の実施の形態では、CIE2000色差式を用いて算出する例について説明するが、これに限定されるものではなく、CIE1994色差式を用いてもよい。
なお、色空間変換部130においてL色空間に変換されることを想定しているが、他の色空間に変換される場合には、色差算出部150は、その色空間に応じた色差式を用いて色差を算出する。例えば、L色空間に変換される場合には、L色空間における色差を算出するための色差式が用いられる。
なお、色空間変換部130が完全な均等色空間(L色空間は、不完全であるため、上述のCIE2000色差式などが必要)に変換できる場合には、色差は、基準色と、算出対象の色との間の距離となる。すなわち、基準色の座標を、(x,y,z)とし、色差の算出対象の座標を、(x,y,z)とすると、完全な色空間における色差(dE)は、次の式10となる。
Figure 2014013792
次に、算出された色差からのノイズ量(平均値)の算出について、図2bを参照して説明する。
図2bには、横軸を画素位置のX座標を示す軸とし、縦軸を色差(dE2000)を示す軸として、複数の画素の色差が模式的に示されている。なお、説明の便宜上、1行の画素の色差を示す。図2bで示す複数の小さな丸は、各画素の色差を示す。なお、図2bでは、グラフの左端から右へ4つ目までの色差に符号(色差231乃至色差234)と、色差の量を示す両矢印が付されている。
平均値算出部160では、ノイズ量の算出対象領域の全ての画素の色差から平均値を算出する。この平均値(N)の算出は、例えば、次の式11を用いて算出される。
Figure 2014013792
ここで、nは、対象領域の画素数である。
なお、上述の式11は、従来の算出方法によるノイズ量の値に対応させるための平均値の算出式である。ここで、従来の算出方法について説明する。従来は、L,a,bそれぞれについて標準偏差を算出し、原点(0,0,0)からその標準偏差が示す座標までの距離をノイズ量として算出していた。なお、この算出の際には、方向(L,a,b)ごとに重み付けが行われる。例えば、ノイズ量(Noise)は、例えば、次の式12を用いて算出されていた。
Figure 2014013792
ここで、σL,σa,σbは、L,a,bそれぞれの標準偏差である。また、α、β、γは、重み付けのための固定値である。
このように、従来では、標準偏差を用いて算出していた。これに対し、本技術の第1の実施の形態では、色差を用いて算出するため、人間の視覚により知覚される画質を考慮したノイズ量を算出することができる。
なお、ここでは、ノイズ量の算出方法として、平均値を算出する例について説明したが、これに限定されるものではない。色差を用いて算出すればよいため、例えば、標準偏差をノイズ量として算出する場合や、上述の式11の算出結果の値の平方根をノイズ量として算出するようにしてもよい。
[ノイズリダクション効果の一例]
図3は、本技術の第1の実施の形態の画像処理部180により行われるノイズリダクションによる画像のボケの度合いの変動を示す表である。
図3には、ノイズリダクション効果の度合い(列241)と、画像におけるボケの度合い(列242)との関係を示す表が示されている。
図3に示すように、ノイズリダクション効果の度合いが高くなるほど画像の加工の度合いが強くなる。すなわち、画像におけるボケの度合いは、ノイズリダクション効果の度合いが高くなるほど大きくなる。
このため、知覚されるノイズ量に適切なノイズリダクション効果となる画像処理パラメータを用いて画像処理を行うことにより、ノイズリダクション効果の度合いと、画像の解像度とが適切な画像を生成することができる。
ノイズ量算出部110は、人間の視覚による知覚が反映されている値である色差を用いてノイズ量を算出するため、知覚されるノイズ量が適切に算出できる。これにより、適切なノイズリダクション効果となる画像処理パラメータを用いて画像処理を行うことができる。
[画像処理装置の動作例]
次に、本技術の第1の実施の形態における画像処理装置10の動作について図面を参照して説明する。
図4は、本技術の第1の実施の形態における画像処理装置10により画像処理が行われる際の処理手順例を示すフローチャートである。
ここでは、デジタルスチルカメラなどの撮像装置が画像処理装置10であることを想定して説明する。
まず、撮像した画像の画像処理を開始するか否かが判断され(ステップS901)、画像処理を開始しないと判断された場合には画像処理を開始するまで待機する。なお、この判断は、例えば、撮像装置における制御部(図示せず)により行われ、撮像素子から画像が出力された場合には、この画像の画像処理を開始すると判断される。
一方、画像処理を開始すると判断された場合には(ステップS901)、ノイズ量を算出するノイズ量算出処理が行われる(ステップS920)。なお、ノイズ量算出処理(ステップS920)については、図5を参照して説明するため、ここでの説明を省略する。
次に、算出されたノイズ量を用いて、画像処理のパラメータが決定されるパラメータ決定処理が行われる(ステップS940)。その後、決定されたパラメータを用いた画像処理が画像処理部180により行われる(ステップS902)。そして、この画像処理が行われた画像が画像出力部192へ出力され(ステップS903)、画像処理の動作が終了する。
図5は、本技術の第1の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS920)の処理手順例を示すフローチャートである。
まず、画像処理の処理対象の画像のうちから、ノイズ量の算出の対象領域が対象領域設定部120により設定される(ステップS921)。その後、設定された対象領域における各画素の画素値(RGBの値)が、L色空間における値(座標)に、色空間変換部130により変換される(ステップS922)。そして、対象領域における各画素の値(L色空間における座標)が平均化されて基準色の値が算出される基準色算出処理が、基準色算出部140により行われる(ステップS923)。なお、ステップS923は、特許請求の範囲に記載の基準値算出手順の一例である。
その後、対象領域における各画素の値(L色空間における座標)と、基準色の値(L色空間における座標)とに基づいて、色差算出部150により色差が画素ごとに算出される(ステップS924)。そして、画素ごとに算出された色差を平均して、対象領域のノイズ量が平均値算出部160により算出され(ステップS925)、ノイズ量算出処理の処理手順は終了する。なお、ステップS924は、特許請求の範囲に記載の色差算出手順の一例である。また、ステップS925は、特許請求の範囲に記載のノイズ量算出手順の一例である。
図6は、本技術の第1の実施の形態の画像処理手順におけるパラメータ決定処理(ステップS940)の処理手順例を示すフローチャートである。
なお、ここでは、一例として、3つのパラメータ(強レベル、中レベル、弱レベル)から、算出したノイズ量に基づいてパラメータを選択する例について説明する。
まず、平均値算出部160により算出されたノイズ量が、強レベルのパラメータと中レベルのパラメータとの間の境界の値を示す閾値(閾値(高))の値より大きいか否かが、画像処理部180により判断される(ステップS941)。そして、閾値(高)よりもノイズ量が大きいと判断された場合には(ステップS941)、画像処理のパラメータが強レベルに設定され(ステップS942)、パラメータ決定処理の処理手順は終了する。
一方、閾値(高)よりもノイズ量が大きくない(小さい)と判断された場合には(ステップS941)、ノイズ量が、中レベルのパラメータと弱レベルのパラメータとの間の境界の値を示す閾値(閾値(中))の値より大きいか否かが、画像処理部180により算出される(ステップS943)。そして、閾値(中)よりもノイズ量が大きいと判断された場合には(ステップS943)、画像処理のパラメータが中レベルに設定され(ステップS944)、パラメータ決定処理の処理手順は終了する。
また、閾値(中)よりもノイズ量が大きくない(小さい)と判断された場合には(ステップS943)、画像処理のパラメータが弱レベルに設定され(ステップS945)、パラメータ決定処理の処理手順は終了する。
このように、本技術の第1の実施の形態によれば、色差を用いてノイズ量が算出されるため、ユーザーの視覚により知覚される色の差がノイズ量に適切に反映され、ノイズ量を適切に算出することができる。これにより、画像処理を行う際には、このノイズ量を用いて信号処理の強度を設定することにより、適切な強度の信号処理を実施することができる。
<2.第2の実施の形態>
本技術の第1の実施の形態では、基準色との差(色差)を画素値ごとに算出し、この算出した画素ごとの色差を用いてノイズ量を算出する例について説明した。なお、L色空間は完璧な色空間でないため、CIE2000色差式を用いても、人間の視覚により知覚される色差を正確には反映できない。このため、CIE2000色差式を用いて色差を算出しても、人間の視覚により知覚される色差(実際の色差)からずれてしまう可能性がある。そして、算出した色差が実際の色差からずれているため、ノイズ量も、人間の視覚により知覚されるノイズを反映しない値になってしまう可能性がある。
そこで、本技術の第2の実施の形態では、人間の視覚では色の差が区別できない色の範囲の実測値に基づいてノイズ量を算出する例について説明する。
まず、CIE2000色差式と、人間の視覚では色の差が区別できない色の範囲の実測値(マクアダム(MacAdam)の偏差楕円)との間における差について、図7を参照して説明する。
[CIE2000色差式と実測値との差の一例]
図7は、u色度図における実測により検出された色差が識別できない範囲を示すマクアダムの偏差楕円と、CIE2000色差式により算出される色差が識別できない範囲との間の関係の一例を示す図である。
なお、L色空間よりもL色空間の方がマクアダムの偏差楕円が綺麗である(楕円の形状が円形に近い)ため、図7では、CIE2000色差式により算出される色差が識別できない範囲をL色空間における座標で示したものを図示する。
図7において示す色度図では、Lの値(明度)が「50」の場合におけるuの値(色度座標)が示されている。この色度図において、太線により囲まれた領域(領域501)は、Lが「50」の場合に色が存在する座標の範囲(領域)を示す。また、細線により囲まれた領域(領域502)は、マクアダムの偏差楕円を示す。
そして、破線により囲まれた領域(領域503)は、この領域の中心付近の座標の色を含むマクアダムの偏差楕円における基準の色(偏差楕円の略中心付近の色)と略同じ色を基準として算出したdE2000が「3.5」よりも小さくなる領域を示す。
なお、dE2000の値の「3.5」は、マクアダムの偏差楕円の外周に対応する色差の度合いであることを想定して説明する。すなわち、同じ色を基準する領域502および領域503における範囲の差は、CIE2000色差式により算出される色差と、実測値における色差とのずれを示す。
図7に示す色度図に示すように、CIE2000色差式により算出される色差が識別できない範囲と、実際の色差が識別できない範囲とは、ずれることが多い。このずれは、色(座標)に応じてずれの度合いが異なる。
このように、CIE2000色差式により算出した色差と実際の色差との間には、ずれが生じる。なお、図7の色度図におけるマクアダムの偏差楕円に示すように、座標が近いマクアダムの偏差楕円は形状が類似する。このため、マクアダムの偏差楕円に関する情報が無い座標におけるマクアダムの偏差楕円を、座標が近い色のマクアダムの偏差楕円からある程度予測することができる。
そこで、本技術の第2の実施の形態における画像処理装置(画像処理装置20)では、座標位置が近い色のマクアダムの偏差楕円に関する情報から、算出対象の色(座標)におけるマクアダムの偏差楕円を予測し、この予測を用いてノイズ量を算出する例について説明する。
[画像処理装置の機能構成例]
図8は、本技術の第2の実施の形態における画像処理装置20の機能構成例の一例を示すブロック図である。
なお、図8において示す画像処理装置20のノイズ量算出部(ノイズ量算出部410)は、図1において示した画像処理装置10のノイズ量算出部110の変形例である。ノイズ量算出部410は、ノイズ量算出部110の色差算出部150および平均値算出部160に代えて、色差識別感度情報保持部430と、色差識別感度予測部440と、ノイズ量演算部450とを備える。なお、これら以外の構成は、図2において示したものと同様のものであるため、同一の符号を付してここでの説明を省略する。
なお、図8では、色空間変換部130は、CIEで規定されているL色空間(CIELUV)における座標を示す値に変換することとする。そして、L色空間における座標を用いてノイズ量の算出のための動作が行われる。例えば、基準色算出部140は、L色空間の座標を示す画素値を平均して基準色を算出する。
色差識別感度情報保持部430は、複数の座標における色差識別感度情報が格納されたテーブルを保持するものである。ここで、色差識別感度情報とは、座標(L,u,v)と、その座標における色に対して同一色とユーザーの視覚により知覚される色の座標の範囲(マクアダムの偏差楕円)に関する情報とを関連づけた情報である。なお、本技術の第2の実施の形態では、同一色とユーザーの視覚により知覚される色の座標の範囲に関する情報は、人間の視覚による色の知覚の能力(色差への感度)に応じた領域であるため、感度情報と称して説明する。また、所定の座標における色に対して同一色とユーザーの視覚により知覚される色の座標の範囲(マクアダムの偏差楕円)は、同一色認識領域と称して説明する。
なお、この感度情報は、例えば、同一色認識領域を、各軸方向の値(幅)で示した情報である。なお、この範囲を示す各軸方向の値は、ノイズ量の算出において用いられる各軸方向の重み付け係数と相関があるため、範囲を示す値の代わりに重み付け係数を感度情報として保持させることもできる。
なお、色差識別感度情報については図9を参照して説明する。また、色差識別感度情報保持部430が保持するテーブルについて、範囲を示す値が感度情報である例は図10aを参照して説明し、重み付け係数が感度情報である例は図10bを参照して説明するため、これらのここでの説明を省略する。色差識別感度情報保持部430は、保持するテーブルのうちから、色差識別感度の予測に用いられる色差識別感度情報を、色差識別感度予測部440に供給する。なお、本技術の第2の実施の形態では、範囲を示す値が感度情報であることを想定して説明する。
色差識別感度予測部440は、基準色算出部140から供給された基準色の色差識別感度情報を予測するものである。すなわち、範囲を示す値が感度情報である場合には、基準色の同一色認識領域の範囲が予測され、同一色認識領域に関する各軸方向の値(幅)が生成される。また、各軸方向の重み付け係数が感度情報である場合には、基準色の各軸方向の重み付け係数が予測される。この色差識別感度予測部440は、基準色と座標が近い位置の色差識別感度情報を用いて同一色認識領域を予測する。なお、本技術の第2の実施の形態では、L色空間の各軸方向(L方向,u方向,v方向)に対する同一色認識領域のサイズ(各軸方向の値(幅))を算出する例について説明する。なお、色差識別感度予測部440による同一色認識領域の予測方法については、図11を参照して説明するため、ここでの説明を省略する。色差識別感度予測部440は、予測した同一色認識領域に関する情報(感度情報)を、ノイズ量演算部450に供給する。
ノイズ量演算部450は、色差識別感度予測部440から供給された基準色の感度情報と、基準色算出部140から供給された基準色の座標と、色空間変換部130から供給されたノイズ量算出の対象領域の各画素の座標とに基づいて、ノイズ量を算出するものである。ノイズ量演算部450は、まず、L方向,u方向,v方向それぞれについてのばらつき(標準偏差)を算出する。また、ノイズ量演算部450は、ノイズ量の算出においてL方向,u方向,v方向それぞれに重み付けをするための係数(重み付け係数)を、基準色の感度情報に基づいて算出する。そして、ノイズ量演算部450は、算出した標準偏差と、算出した重み付け係数とに基づいて、ノイズ量を算出する。なお、ノイズ量演算部450によるノイズ量の算出については、図11を参照して説明するため、ここでの説明を省略する。なお、色差識別感度予測部440およびノイズ量演算部450は、特許請求の範囲に記載の係数算出部の一例である。また、ノイズ量演算部450は、特許請求の範囲に記載のノイズ量算出部の一例である。
次に、色差識別感度情報保持部430に保持される色差識別感度情報について、図9を参照して説明する。
[色差識別感度情報の例]
図9は、本技術の第2の実施の形態における色差識別感度情報を説明するための図である。
なお、図9では、L方向については考慮せずに、u色度図を用いて説明する。
図9aには、u色度図におけるマクアダムの偏差楕円が示されている。なお、u色度図に示されている複数のマクアダムの偏差楕円のうちの太線で示された偏差楕円(領域511)を用いて、図9bおよび図9cにおいて色差識別感度情報を説明する。
図9bには、領域511に関する色差識別感度情報を説明するための図が示されている。領域511は、この領域511の基準となる色(領域511の中心の座標(座標512))に対して人間には色の識別ができない色の範囲を示している。範囲を示す値が感度情報である場合には、この領域511の各軸方向の幅(u幅、v幅)が、感度情報として色差識別感度情報保持部430に保持される。すなわち、座標512の座標と、領域511を示す感度情報(u幅、v幅)とが関連付けられて、色差識別感度情報として色差識別感度情報保持部430に保持される。
図9cには、色差識別感度情報の一例が示されている。なお、図9cでは、L方向も考慮して色差識別感度情報を説明する。
図9cに示すように、色差識別感度情報は、同一色認識領域の中心位置の色の各座標(L座標,u座標,v座標)と、この色の同一色認識領域を示す各幅(L幅,u幅,v幅)とが関連付けられて保持される。
[色差識別感度情報保持部が保持するテーブルの一例]
図10は、本技術の第2の実施の形態における色差識別感度情報保持部430が保持するテーブルの一例を示す図である。
なお、図10aでは、同一色認識領域の座標と幅とが関連付けられた色差識別感度情報が保持されている例を示し、図10bでは、同一色認識領域の座標と係数とが関連付けられた色差識別感度情報が保持されている例を示す。
図10aに示すように、同一色認識領域の座標と幅とを関連付けた同一色認識領域をテーブルとして保持させることにより、色差識別感度予測部440は、基準色の同一色認識領域の幅を算出することができる。なお、基準色の同一色認識領域の幅の算出方法については、図11を参照して説明するためここでの説明を省略する。
また、図10bに示すように、同一色認識領域の座標と各方向への重み付け係数とを関連付けた同一色認識領域をテーブルとして保持させることにより、色差識別感度予測部440は、基準色の各方向への重み付け係数を算出することができる。なお、この算出方法は、同一色認識領域の座標と幅とを関連付けた同一色認識領域と同じである。
なお、全ての座標における色差識別感度情報を保持させることは不可能であるため、基準色に近接する座標の感度情報から予測する必要がある。そこで、この予測の方法については、様々な方法が考えられる。そこで、予測の方法について、図11を参照して説明する。
[色差識別感度予測部による予測の例]
図11は、色差識別感度予測部440により予測される基準色の感度情報の予測方法を模式的に示す図である。
図11aには、基準色の座標に対し+方向および−方向の座標に位置する色差識別感度情報が色差識別感度情報保持部430のテーブルに保持されている場合における基準色の座標の感度情報の予測方法を説明するための図が示されている。なお、図11では、説明の便宜上、u方向およびv方向の予測を行う例についてu空間を用いて説明する。なお、L方向は、u方向やv方向と同じように算出されるため説明を省略する。
図11aでは、u空間の上に、3つの座標(座標a(532)、座標b(534)、座標c(536))の同一色認識領域(領域533、領域535、領域537)が示されている。なお、座標a(532)は、予測対象の座標(基準色)である座標A(531)に対してv方向の+側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。また、座標b(534)は、座標A(531)に対してu方向の−側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。なお、座標c(536)は、座標A(531)に対してu方向の+側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標であるとともに、v方向の−側に位置する同一色認識領域の座標のうちの座標A(531)に最も近い座標である。
このような場合において、色差識別感度予測部440は、基準色に対してu方向の+側で最も近い同一色認識領域の座標およびu幅と、基準色に対してu方向の−側で最も近い同一色認識領域の座標およびu幅とを用いて、基準色の同一色認識領域のu幅(Su )を算出する。図11aでは、座標c(536)がu方向の+側で最も近く、座標b(534)がu方向の−側で最も近い。
色差識別感度予測部440は、例えば、次の式13を用いて、算出対象の座標(基準色)における同一色認識領域のu幅(Su )を算出する。
Figure 2014013792
ここで、Du Acは、座標A(531)と座標c(536)との間におけるu方向の座標の差(u方向の距離)である。同様に、Du Abは、座標A(531)と座標b(534)との間におけるu方向の距離である。また、Su は、座標b(534)の同一色認識領域のu方向における幅(u幅)であり、Su は、座標c(536)の同一色認識領域のu幅である。
色差識別感度予測部440は、算出対象の座標における同一色認識領域のv幅(Sv )についても、Su と同様にして算出する。なお、図11aでは、座標a(532))がv方向の+側で最も近く、座標c(536)がv方向の−側で最も近い。そこで、色差識別感度予測部440は、例えば、次の式14を用いて、算出対象の座標における同一色認識領域のv幅(Sv )を算出する。
Figure 2014013792
ここで、Dv Acは、座標A(531)と座標c(536)との間におけるv方向の座標の差(v方向の距離)である。同様に、Dv Aaは、座標A(531)と座標a(532)との間におけるv方向の距離である。また、Sv は、座標a(532)の同一色認識領域のv方向における幅(v幅)であり、Sv は、座標c(536)の同一色認識領域のv幅である。
なお、基本的には+側と−側とに、テーブルに保持されている同一色認識領域があるものの、色空間における縁付近の座標などが算出対象の座標である場合には、テーブルに保持されている同一色認識領域が一方にしかない場合がある。そこで、一方にしかない場合における予測方法について、図11bを参照して説明する。
図11bでは、u空間の上に、1つの座標(座標d(542))の同一色認識領域(領域543)と、予測対象の座標(基準色)である座標A(541)とが示されている。
図11bに示すように、予測に用いることができる同一色認識領域が、+側および−側のいずれかに1つしか存在しない場合には、この1つの同一色認識領域を用いて算出対象の座標における同一色認識領域のu幅およびv幅を算出する。色差識別感度予測部440は、例えば、次の式15を用いて、算出対象の座標における同一色認識領域のu幅(Su )を算出する。
Figure 2014013792
ここで、D0Aは、原点(L=0,u=0,v=0)から座標A(541)までの距離である。同様に、D0dは、原点から座標d(542)までの距離である。そして、Su は、座標d(542)の同一色認識領域のu幅である。
なお、v幅(Sv )の算出は、上述の式14で示したu幅(Su )の算出と同様のものであるため、ここでの説明を省略する。
このように、色差識別感度予測部440は、算出対象の座標に近接する色差識別感度情報に基づいて、算出対象の座標の感度情報を予測する。
なお、図11のここまでは、L幅を特に考慮しないで説明したが、これから説明するノイズ量の算出では、L幅もu幅およびv幅と同様にして算出されたこととして説明する。
色差識別感度予測部440は、基準色の感度情報(同一色認識領域)の予測を行った後に、各軸方向へのノイズの度合いとして、L方向、u方向、v方向それぞれに対して標準偏差を算出する。これにより、L方向のノイズ量を示す標準偏差(σL)と、u方向のノイズ量を示す標準偏差(σu)と、v方向のノイズ量を示す標準偏差(σv)とが算出される。
そして、予測された基準色の感度情報(L幅(SL )、u幅(Su ))、v幅(Sv )を正規化して、ノイズ量を算出する際に用いる重み付け係数に変換する。例えば、図10aおよび図10bに示すように、各幅を×1/100にした値を係数として用いる。なお、図10bに示すように、係数がテーブルに保持されている場合には、予測された値(重み付け係数)を重み付け係数としてそのまま使用する。
ノイズ量の算出は、例えば、上述の式12を用いて算出される。この場合において、αは、L幅(SL )から算出される重み付け係数であり、βは、u幅(Su ))から算出される重み付け係数であり、γは、v幅(Sv )から算出される重み付け係数である。すなわち、重み付け係数は、ノイズ量の算出での、各方向(L方向、u方向、v方向)の寄与の度合い(重み)を示している。
なお、ノイズ量の算出は、上述の式12の他にも、様々な方法が考えられ、例えば、次の式16を用いて算出することもできる。
Figure 2014013792
このように、それぞれの重み付け係数を実測値(色差識別感度情報)に基づいて算出することにより、人の視覚により知覚されるノイズ量が反映されたノイズ量を適切に算出することができる。
[画像処理装置の動作例]
次に、本技術の第2の実施の形態における画像処理装置20の動作について図面を参照して説明する。
図12は、本技術の第2の実施の形態の画像処理手順におけるノイズ量算出処理(ステップS950)の処理手順例を示すフローチャートである。
この図12で示すノイズ量算出処理(ステップS950)は、図5において示したノイズ量算出処理(ステップS920)の変形例であり、各画素の色差を算出してノイズ量を算出する代わりに、基準色の色差情報を算出してノイズ量を算出する点が異なる。そこで、図12では、図5と同一の手順については同一の符号を付してここでの説明を省略する。
ステップS921においてノイズ量の算出の対象領域が決定されると、設定された対象領域における各画素の画素値(RGBの値)が、L色空間における値(座標)に色空間変換部130により変換される(ステップS951)。
そして、対象領域における各画素の値(L色空間における座標)を平均して基準色の値が算出された後に(ステップS923)、基準色の座標と、基準色の近傍に位置する色差識別感度情報とに基づいて、基準色の感度情報が色差識別感度予測部440により予測される(ステップS952)。
その後、予測された基準色の感度情報に基づいて、ノイズ量の算出の際に用いられる各軸方向の重み付け係数が、色差識別感度予測部440により設定(算出)される(ステップS953)。なお、ステップS953において、各方向への重み付け係数が、色差識別感度情報保持部430に保持されており、基準色の感度情報として重み付け係数が予測された場合には、この予測された重み付け係数がそのまま用いられる。なお、ステップS952およびステップS953は、特許請求の範囲に記載の係数算出手順の一例である。
次に、各画素の座標を用いて、各軸方向のばらつき(標準偏差)が、色差識別感度予測部440により算出される(ステップS954)。そして、算出された重み付け係数と、算出された標準偏差とに基づいて、算出対象領域におけるノイズ量が、ノイズ量演算部450により算出され(ステップS955)、ノイズ量算出処理の処理手順は終了する。なお、ステップS955は、特許請求の範囲に記載のノイズ量算出手順の一例である。
このように、本技術の第2の実施の形態によれば、実測値(色差識別感度情報)に基づいて、ノイズ量の算出の際に用いられる重み付け係数を決定することにより、ノイズ量を適切に算出することができる。すなわち、ステップS952およびステップS953に示すように、基準色の座標から、ノイズ量を算出するのに適切な重み付け係数を算出することにより、ノイズ量を算出する際の各軸方向の重みが適切に設定されて、ノイズ量を適切に算出することができる。
このように、本技術の実施の形態によれば、ノイズ量を適切に算出することができる。すなわち、適切なノイズ量を算出することにより、画像に含まれるノイズを適切に評価することができる。
なお、本技術の実施の形態では、撮像装置や映像視聴装置を想定して説明したが、これに限定されるものではなく、例えば、撮像装置の機能を評価するための機器におけるノイズ評価の機能などにも適用可能である。この場合には、一面が均等な色のものを撮像し、この撮像により生成された画像全体を対象領域として行われ、算出されたノイズ量に基づいて、撮像装置の機能が評価される。
なお、本技術の第1の実施の形態では、L色空間に変換する例について説明し、本技術の第2の実施の形態では、L色空間に変換する例について説明したが、これに限定されるものではない。本技術の第1の実施の形態では、色差を算出することができる色空間であればよく、本技術の第2の実施の形態では、色差識別感度情報を色差識別感度情報保持部430に保持させることができる色空間であればよい。すなわち、本技術の第1の実施の形態で、L色空間と、L色空間における色差を算出する式(例えば、CIE1976)とを用いても実施することができる。また、本技術の第2の実施の形態では、L色空間と、L色空間におけるマクアダムの偏差楕円の情報とを用いても実施することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disc)、メモリカード、ブルーレイディスク(Blu-ray(登録商標)Disc)等を用いることができる。
なお、本技術は以下のような構成もとることができる。
(1) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
前記算出された色差に基づいて、前記評価対象領域におけるノイズ量を算出するノイズ量算出手順と
を具備するノイズ評価方法。
(2) 前記ノイズ量算出手順は、前記評価対象領域における各画素の前記色差を用いて平均値を算出して前記平均値を前記ノイズ量とする前記(1)に記載のノイズ評価方法。
(3) 前記3次元色空間は、均等色空間であり、
前記色差算出手順は、前記均等色空間における距離関係に基づいて前記色差を算出する
前記(1)または(2)に記載のノイズ評価方法。
(4) 前記3次元色空間は、CIELABであり、
前記色差算出手順は、CIE2000色差式を前記色差式として用いる
前記(3)に記載のノイズ評価方法。
(5) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
を具備する画像処理装置。
(6) 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する前記(5)に記載の画像処理装置。
(7) 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する前記(6)に記載の画像処理装置。
(8) 撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
を具備する撮像装置。
(9) 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出手順と
をコンピュータに実行させるプログラム。
(10) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
を具備するノイズ評価方法。
(11) 前記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて前記算出された基準値における前記感度情報を生成し、当該生成された感度情報に基づいて前記重み付け係数を算出する前記(10)に記載のノイズ評価方法。
(12) 前記重み付け係数は、前記軸方向ごとに算出される値であり、
前記係数算出手順は、算出対象の前記重み付け係数が重みを示す軸の方向において前記基準値に対しプラス側で最も近い座標の前記感度情報と、この軸の方向において前記基準値に対しマイナス側で最も近い座標の前記感度情報とのうちの少なくとも1つに基づいて前記算出対象の重み付け係数を算出する前記(11)に記載のノイズ評価方法。
(13) 前記係数算出手順は、所定の座標とその座標における前記重み付け係数とが関連付けられているテーブルを用いて前記算出された基準値における前記重み付け係数を算出する前記(10)に記載のノイズ評価方法。
(14) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
を具備する画像処理装置。
(15) 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する前記(14)に記載の画像処理装置。
(16) 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する前記(15)に記載の画像処理装置。
(17) 撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準色算出部と、
前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
を具備する撮像装置。
(18) 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
をコンピュータに実行させるプログラム。
100 信号処理部
110 ノイズ量算出部
120 対象領域設定部
130 色空間変換部
140 基準色算出部
150 色差算出部
160 平均値算出部
180 画像処理部
191 画像入力部
192 画像出力部
410 ノイズ量算出部
430 色差識別感度情報保持部
440 色差識別感度予測部
450 ノイズ量演算部

Claims (18)

  1. 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
    前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
    前記算出された色差に基づいて、前記評価対象領域におけるノイズ量を算出するノイズ量算出手順と
    を具備するノイズ評価方法。
  2. 前記ノイズ量算出手順は、前記評価対象領域における各画素の前記色差を用いて平均値を算出して前記平均値を前記ノイズ量とする請求項1記載のノイズ評価方法。
  3. 前記3次元色空間は、均等色空間であり、
    前記色差算出手順は、前記均等色空間における距離関係に基づいて前記色差を算出する
    請求項1記載のノイズ評価方法。
  4. 前記3次元色空間は、CIELABであり、
    前記色差算出手順は、CIE2000色差式を前記色差式として用いる
    請求項3記載のノイズ評価方法。
  5. 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
    前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
    前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
    を具備する画像処理装置。
  6. 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する請求項5記載の画像処理装置。
  7. 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する請求項6記載の画像処理装置。
  8. 撮像された画像における画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
    前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出部と、
    前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出部と
    処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
    を具備する撮像装置。
  9. 画質の評価対象領域における画素の画素値により特定される値であって色差が算出できる3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
    前記3次元色空間における色差を算出するための色差式を用いて、前記評価対象領域における各画素の画素値と前記算出された基準値との間における色差を画素ごとに算出する色差算出手順と、
    前記算出された色差に基づいて、前記評価対象領域のノイズの度合いを示すノイズ量を算出するノイズ量算出手順と
    をコンピュータに実行させるプログラム。
  10. 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
    前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
    前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
    を具備するノイズ評価方法。
  11. 前記係数算出手順は、所定の座標とその座標における色に対してユーザの知覚では区別できない色が位置する座標の範囲に関する感度情報とが関連付けられているテーブルを用いて前記算出された基準値における前記感度情報を生成し、当該生成された感度情報に基づいて前記重み付け係数を算出する請求項10記載のノイズ評価方法。
  12. 前記重み付け係数は、前記軸方向ごとに算出される値であり、
    前記係数算出手順は、算出対象の前記重み付け係数が重みを示す軸の方向において前記基準値に対しプラス側で最も近い座標の前記感度情報と、この軸の方向において前記基準値に対しマイナス側で最も近い座標の前記感度情報とのうちの少なくとも1つに基づいて前記算出対象の重み付け係数を算出する請求項11記載のノイズ評価方法。
  13. 前記係数算出手順は、所定の座標とその座標における前記重み付け係数とが関連付けられているテーブルを用いて前記算出された基準値における前記重み付け係数を算出する請求項10記載のノイズ評価方法。
  14. 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
    前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
    前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
    を具備する画像処理装置。
  15. 処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部をさらに具備する請求項14記載の画像処理装置。
  16. 前記決定部は、ノイズリダクションの度合いを調整するためのパラメータと、カラーマトリクスの色再現性度合いを調整するためのパラメータと、撮像の設定を調整するためのパラメータとのうちの少なくとも1つを前記パラメータとして決定する請求項15記載の画像処理装置。
  17. 撮像された画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出部と、
    前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出部と、
    前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出部と
    処理対象となる画像の画質を調整するためのパラメータを前記算出されたノイズ量に基づいて決定する決定部と
    を具備する撮像装置。
  18. 画質の評価対象領域における画素の画素値により特定される値であって3次元色空間における座標の値を平均化して、前記評価対象領域の基準となる画素値を基準値として算出する基準値算出手順と、
    前記評価対象領域におけるノイズ量算出のために用いられる係数であって前記3次元色空間における各軸方向の値のノイズ量算出での重みをそれぞれの方向について示す重み付け係数を、前記算出された基準値に基づいて算出する係数算出手順と、
    前記算出された重み付け係数と、前記評価対象領域における画素の画素値とに基づいてノイズ量を算出するノイズ量算出手順と
    をコンピュータに実行させるプログラム。
JP2014525744A 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム Pending JPWO2014013792A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012160079 2012-07-19
JP2012160079 2012-07-19
PCT/JP2013/064778 WO2014013792A1 (ja) 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Publications (1)

Publication Number Publication Date
JPWO2014013792A1 true JPWO2014013792A1 (ja) 2016-06-30

Family

ID=49948628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014525744A Pending JPWO2014013792A1 (ja) 2012-07-19 2013-05-28 ノイズ評価方法、画像処理装置、撮像装置およびプログラム

Country Status (3)

Country Link
JP (1) JPWO2014013792A1 (ja)
TW (1) TW201411553A (ja)
WO (1) WO2014013792A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12015883B2 (en) 2021-11-18 2024-06-18 Samsung Electronics Co., Ltd. Method and apparatus with color conversion

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427349B (zh) * 2015-11-18 2018-05-25 国家海洋局第一海洋研究所 遥感图像条带噪声定量评价方法
JP7106318B2 (ja) * 2018-03-26 2022-07-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
TWI743646B (zh) * 2020-01-07 2021-10-21 和碩聯合科技股份有限公司 一種導光柱影像的處理方法與裝置
KR20210107955A (ko) 2020-02-24 2021-09-02 삼성전자주식회사 컬러 스테인 분석 방법 및 상기 방법을 이용하는 전자 장치
CN113938597B (zh) * 2020-06-29 2023-10-10 腾讯科技(深圳)有限公司 一种脸部识别方法、装置、计算机设备和存储介质
CN112985605B (zh) * 2021-02-09 2022-04-26 珠海赛纳三维科技有限公司 三维物体色差计算方法及装置、三维物体色差计算系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006064913A1 (ja) * 2004-12-17 2006-06-22 Nikon Corporation 画像処理方法
JP5035029B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 信号処理装置および方法、並びにプログラム
JP5439210B2 (ja) * 2010-02-01 2014-03-12 日立コンシューマエレクトロニクス株式会社 画像処理装置
JP5541721B2 (ja) * 2010-10-05 2014-07-09 キヤノン株式会社 画像処理装置および画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12015883B2 (en) 2021-11-18 2024-06-18 Samsung Electronics Co., Ltd. Method and apparatus with color conversion

Also Published As

Publication number Publication date
WO2014013792A1 (ja) 2014-01-23
TW201411553A (zh) 2014-03-16

Similar Documents

Publication Publication Date Title
WO2014013792A1 (ja) ノイズ評価方法、画像処理装置、撮像装置およびプログラム
JP4264553B2 (ja) 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム
JP6643525B2 (ja) 画像パープルフリンジ除去システム、方法、コンピュータ読み取り可能な記録媒体及び撮像装置
JP5697353B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP5847471B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JPWO2007105359A1 (ja) 倍率色収差を画像解析する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法
JP5779089B2 (ja) エッジ検出装置、エッジ検出プログラム、およびエッジ検出方法
JP2005331929A (ja) 画像解析方法、画像解析プログラム、及びそれらを有する画素評価システム
US10321023B2 (en) Image processing apparatus and image processing method
JP5324508B2 (ja) 画像処理装置および方法,ならびに画像処理プログラム
JP5242248B2 (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
JP2015011058A (ja) 撮像装置及び撮像方法
JP5223912B2 (ja) 撮像装置、および焦点判定プログラム
JP4900373B2 (ja) 画像出力装置、画像出力方法およびプログラム
JP2016046701A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2011041094A5 (ja)
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
JP5159647B2 (ja) 画像処理装置及び画像処理方法
WO2020107196A1 (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备
JP5846100B2 (ja) 表示装置の欠陥検査方法
JP5957106B2 (ja) 画像処理装置、画像処理装置の制御方法及びプログラム
JP5963913B2 (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5602825B2 (ja) 画像処理装置及び画像処理方法
CN117764877A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质