JPWO2016084223A1 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

画像処理装置、画像処理方法および画像処理プログラム Download PDF

Info

Publication number
JPWO2016084223A1
JPWO2016084223A1 JP2016561187A JP2016561187A JPWO2016084223A1 JP WO2016084223 A1 JPWO2016084223 A1 JP WO2016084223A1 JP 2016561187 A JP2016561187 A JP 2016561187A JP 2016561187 A JP2016561187 A JP 2016561187A JP WO2016084223 A1 JPWO2016084223 A1 JP WO2016084223A1
Authority
JP
Japan
Prior art keywords
pixel
sum
pixels arranged
pixel values
target pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016561187A
Other languages
English (en)
Other versions
JP6441379B2 (ja
Inventor
武史 福冨
武史 福冨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of JPWO2016084223A1 publication Critical patent/JPWO2016084223A1/ja
Application granted granted Critical
Publication of JP6441379B2 publication Critical patent/JP6441379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することを目的とした、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部(4)と、該合計画素値算出部(4)により算出された一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、注目画素を軸上色収差の発生起点として検出する発生起点検出部(5)とを備える画像処理装置(1)である。

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関するものである。
通常の光学系を通して撮影された画像には軸上色収差が発生することが知られている。このような軸上色収差を画像処理で補正するための技術が提案されている(例えば、特許文献1参照。)。
この技術は、飽和閾値を上回る画素を有する近飽和領域、および画素の青および赤色の強度値が緑色の強度値を大幅に上回る画素を有する候補領域を発見し、近飽和領域に隣接する候補領域を軸上色収差領域として検出するものである。
特許第4447649号公報
しかしながら、軸上色収差は近飽和領域ではない暗い画素値の領域でも発生しているとともに、特許文献1の候補領域ではない画素の青および赤色の強度が緑色の強度を下回る画素を有する領域としても発生している。このため、特許文献1の技術では、軸上色収差領域を検出して精度よく補正を行うためには不十分である。
本発明は、上述した事情に鑑みてなされたものであって、近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的としている。
本発明の一態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部と、該合計画素値算出部により算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出部とを備える画像処理装置である。
本態様によれば、注目画素を挟む両側に一直線上に配列されている画素の画素値が合計画素値算出部によりそれぞれ算出され、算出された画素値の合計において、いずれか一方はGが多く他方はRまたはBが多い場合には、発生起点検出部により注目画素が軸上色収差の発生起点として検出される。これにより、近飽和領域ではない画素を軸上色収差の発生起点として検出することができる。
上記態様においては、前記発生起点検出部により検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定部を備えてもよい。
このようにすることで、近飽和領域ではない画素を発生起点としてその周辺に軸上色収差領域を設定することができる。
また、上記態様においては、前記領域判定部により判定された前記軸上色収差領域を補正する補正部を備えていてもよい。
このようにすることで、軸上色収差が発生している領域のみに補正処理を行うことができ、その他の領域での補正処理による色の変化を防止することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PrD1
PgD2<PrD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計である。
このようにすることで、フォーカス位置近傍における軸上色収差の発生起点を検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PbD1
PgD2<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計である。
このようにすることによっても、フォーカス位置近傍における軸上色収差の発生起点を検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PrD1
PgD2<PrD2
PgD2<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計である。
このようにすることで、他方向にパープルフリンジが発生し、一方向のRの画素値の合計が、Gの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PbD1
PgD2<PrD2
PgD2<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計である。
このようにすることによっても、他方向にパープルフリンジが発生し、一方向のBの画素値の合計が、Gの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PrD1
PgD1>PbD1
PgD2<PrD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計である。
このようにすることで、一方向にグリーンフリンジが発生し、他方向のRの画素値の合計がGの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PrD1
PgD1>PbD1
PgD2<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計である。
このようにすることによっても、一方向にグリーンフリンジが発生し、他方向のBの画素値の合計がGの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1+THR1>PrD1
PgD2−THR2<PrD2
PgD1+THB1>PbD1
PgD2−THB2<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、THR1,THR2,THB1,THB2は任意の定数である。
このようにすることで、THR1,THR2,THB1,THB2を適当に選択することにより、ノイズの影響を低減し、軸上色収差の発生起点を安定して検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1+TH>PrD1
PgD2+TH<PrD2
PgD1+TH>PbD1
PgD2+TH<PbD2
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、TH,THは任意の定数である。
このようにすることで、TH,THを適当に選択することにより、無彩色ではなく、色付き被写体上に発生した軸上色収差の発生起点を検出することができる。
また、上記態様においては、前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定してもよい。
PgD1>PrD1×K
PgD2<PrD2×K
PgD1>PbD1×K
PgD2<PbD2×K
ここで、PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、K,Kは任意の定数である。
このようにすることによっても、K,Kを適当に選択することにより、無彩色ではなく、色付き被写体上に発生した軸上色収差の発生起点を検出することができる。
また、上記態様においては、前記画像が、各画素にRGB全ての画素値を有していてもよい。
このようにすることで、各画素においてRGB全ての画素値を同時に取得する同時化された画像に対しても軸上色収差の発生起点を検出する処理を行うことができる。
また、上記態様においては、前記画像が、各画素においてRGBの少なくとも1つの画素値が欠落した画素値を有していてもよい。
このようにすることで、各画素においてRGB全ての画素値が同時に取得されない、同時化されていない画像に対しても軸上色収差の発生起点を検出することができ、検出時に同時化のための補間エラーの影響をなくすことができる。
また、本発明の他の態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、該合計画素値算出ステップにより算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとを含む画像処理方法である。
上記態様においては、前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップを含でいてもよい。
また、上記態様においては、前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップを含んでいてもよい。
また、本発明の他の態様は、画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、該合計画素値算出ステップにより算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとをコンピュータに実行させる画像処理プログラムである。
上記態様においては、前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップをコンピュータに実行させてもよい。
また、上記態様においては、前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップをコンピュータに実行させてもよい。
本発明によれば、近飽和領域以外の領域においても軸上色収差を検出して精度よく補正することができるという効果を奏する。
本発明の一実施形態に係る画像処理装置を示すブロック図である。 図1の画像処理装置を適用する光学系と軸上色収差との関係を模式的に示す図である。 図1の画像処理装置おいて設定される注目画素とその周辺画素との座標関係を示す図である。 図1の画像処理装置を用いた画像処理方法を説明するフローチャートである。 図2とは異なる態様で軸上色収差が発生している場合のステップエッジの第1の例を示す図である。 図2とは異なる態様で軸上色収差が発生している場合のステップエッジの第2の例を示す図である。 画像信号にノイズが含まれる場合の対応例をノイズのない場合および対応前の状態との比較で示す図である。 有彩色のステップエッジの場合の対応例を無彩色の場合および対応前の状態との比較で示す図である。 有彩色のステップエッジの場合の他の対応例を無彩色の場合および対応前の状態との比較で示す図である。 ベイヤ配列された撮像素子により取得された画像のRを注目画素とする場合の画素配列を示す図である。 ベイヤ配列された撮像素子により取得された画像のBを注目画素とする場合の画素配列を示す図である。 ベイヤ配列された撮像素子により取得された画像のGRを注目画素とする場合の画素配列を示す図である。 ベイヤ配列された撮像素子により取得された画像のGBを注目画素とする場合の画素配列を示す図である。
本発明の一実施形態に係る画像処理装置1および画像処理方法について、図面を参照して以下に説明する。
本実施形態に係る画像処理装置1は、図1に示されるように、カメラにより取得された入力画像中の軸上色収差が発生している領域を抽出する領域抽出部2と、該領域抽出部2により抽出された領域の軸上色収差を補正した出力画像を出力する収差補正部(補正部)3とを備えている。
領域抽出部2は、入力画像中の注目画素を設定し、設定された注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部4と、該合計画素値算出部4により算出された合計画素値に基づいて軸上色収差の発生起点を検出する発生起点検出部5と、該発生起点検出部5により検出された発生起点の周囲の所定の周辺領域を軸上色収差領域と判定する領域判定部6とを備えている。
本実施形態においては、カメラにより取得された入力画像は、図示しない撮像光学系を通して入射された光線が固体撮像素子において電気信号に変換され、固定ノイズパターン除去およびアナログゲイン調整等が行われた後に、A/D変換器でディジタル信号に変換され、各種画像処理が施された画像信号である。この入力画像は、各画素においてRGB全ての信号値が得られるフルカラー画像であり、三板撮像素子により取得された三板カラー画像、もしくは、単板撮像素子により取得された単板カラー画像を各画素でRGB値が得られるように補間処理された画像である。
発生起点検出部5により検出される軸上色収差の発生起点とは、図2に示されるように、注目画素を挟んで一直線に並ぶ一方向および他方向の色が異なる場合の注目画素を意味している。
すなわち、図2に示されるように、通常の光学系7では、波長の異なる光は光軸の奥行き方向に結像位置が異なることが知られている。一般にGに対して長波長のRは光軸方向の奥側に結像し、Gに対して短波長のBは光軸方向の手前側に結像する。このRGBの結像位置のずれが軸上色収差となって現れる。
無彩色のステップエッジを撮影した場合、像面ではGがステップエッジの形状を有するが、R,Bは結像せずにステップエッジの形状が鈍っている。一方、像面奥では、Gは結像しないためステップエッジの形状が鈍っているが、Rが結像してステップエッジの形状を保持している。BはGよりさらに鈍った形状となる。
逆に、像面手前では、Gは結像しないためステップエッジの形状が鈍り、Bが結像してステップエッジの形状を保持している。RはGよりさらに鈍った形状となる。
このように構成された本実施形態に係る画像処理装置1を用いた画像処理方法について、図面を参照して以下に説明する。
合計画素値算出部4は、入力画像において、図3および図4に示されるように、注目画素(0,0)を設定し(ステップS1)、この注目画素を中心として、縦方向、横方向、右斜め方向および左斜め方向の4方向について、注目画素を挟んで両側に並ぶ複数画素の画素値の合計を別々に算出するようになっている(合計画素値算出ステップS2)。
具体的には、数1に示す通りである。
Figure 2016084223
ここで、P(x,y)は、座標(x,y)に位置する画素の画素値、PcLは注目画素の左側の画素列の画素値の合計、PcRは注目画素の右側の画素列の画素値の合計、PcTは注目画素の上側の画素列の画素値の合計、PcBは注目画素の下側の画素列の画素値の合計、PcLTは注目画素の左上側の画素列の画素値の合計、PcLBは注目画素の左下側の画素列の画素値の合計、PcRTは注目画素の右上側の画素列の画素値の合計、PcRBは注目画素の右下側の画素列の画素値の合計である。また、添字cはカラーを意味し、r、g、bに置き換えることができる。また、i,mは正の整数である。
発生起点検出部5は、数1で算出された画素値の合計が、次の条件式(1)〜(4)を全て満たす場合に注目画素を軸上色収差の発生起点として検出するようになっている(発生起点検出ステップS3)。
PgD1>PrD1 ・・・(1)
PgD2<PrD2 ・・・(2)
PgD1>PbD1 ・・・(3)
PgD2<PbD2 ・・・(4)
ここで、PgD1は注目画素から一方向D1に配列している画素のGの画素値の合計、PgD2は注目画素から他方向D2に配列している画素のGの画素値の合計、PrD1は注目画素から一方向D1に配列している画素のRの画素値の合計、PrD2は注目画素から他方向D2に配列している画素のRの画素値の合計、PbD1は注目画素から一方向D1に配列している画素のBの画素値の合計、PbD2は注目画素から他方向D2に配列している画素のBの画素値の合計である。
添字のD1は注目画素からの一方向であることを示し、例えば、数1におけるL、T、LT、LBが該当する。また、添字のD2は注目画素からの他方向であることを示し、例えば、R、B、RT、RBが該当する。方向の定義は任意であるが、D1としてL、T、LT、LBを選択した場合にはD2はR、B、RT、RBとなる。
そして、発生起点検出部5は、条件式(1)〜(4)全てを満たして軸上色収差の発生起点であると検出された画素を「0」、それ以外の発生起点ではないと検出された画素を「1」のように検出情報を生成するようになっている(ステップS4)。
領域判定部6は、発生起点検出部5により、検出情報が「0」であった画素周辺の所定の領域を軸上色収差領域と判定するようになっている(領域判定ステップS5)。所定領域としては、例えば、検出情報が「0」である画素を中心とした7×7画素のように設定できる。
そして、全ての画素について処理が行われていない場合には、ステップS1に戻って注目画素がずらされてステップS2〜S5の工程が繰り返され(ステップS6)、全ての画素について処理が行われた場合に、領域判定部6により生成された軸上色収差領域について、収差補正部3により補正処理を実施し(補正ステップS7)、処理を終了する。
このように、本実施形態に係る画像処理装置1および画像処理方法によれば、注目画素を挟む両側の画素の色毎の画素値の合計の大小関係によって軸上色収差の発生起点を検出しているので、近飽和領域ではない画素を軸上色収差の発生起点として検出することができる。したがって、近飽和領域の存在しない画像についても軸上色収差を補正することができる。また、軸上色収差領域と判定された領域のみで収差補正を行うので、それ以外の領域で補正処理による色の変化を防ぐことができるという利点もある。
なお、本実施形態に係る画像処理装置1においては、条件式(1)〜(4)全てを満たす場合に軸上色収差の発生起点であるとして検出することとしたが、これに代えて、図5および図6に示されるように、条件式(1)および条件式(2)を満たす場合、または、条件式(3)および条件式(4)を満たす場合に、注目画素を軸上色収差の発生起点であるとして検出することにしてもよい。
このようにすることで、フォーカス位置より広い奥行き範囲で軸上色収差の発生起点を検出することができるという利点がある。
また、条件式(1)、(2)、(4)を全て満たす場合、または、条件式(2)、(3)、(4)を全て満たす場合に、注目画素を軸上色収差の発生起点として検出してもよい。
このようにすることで、他方向D2にパープルフリンジが発生し、一方向D1のRの画素値の合計またはBの画素値の合計が、Gの画素値の合計より小さく、色相環で反対色に近い色となってパープルフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、条件式(1)、(2)、(3)を全て満たす場合、または、条件式(1)、(3)、(4)を全て満たす場合に、注目画素を軸上色収差の発生起点として検出してもよい。
このようにすることで、一方向D1にグリーンフリンジが発生し、他方向D2のRの画素値の合計またはBの画素値の合計が、Gの画素値の合計より大きく、色相環で反対色に近い色となってグリーンフリンジが目立つ場所を軸上色収差の発生起点として検出することができる。
また、数1で算出された画素値の合計が、次の条件式(5)〜(8)を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
PgD1+THR1>PrD1 ・・・(5)
PgD2−THR2<PrD2 ・・・(6)
PgD1+THB1>PbD1 ・・・(7)
PgD2−THB2<PbD2 ・・・(8)
ここで、THR1,THR2,THB1,THB2は任意の定数である。
THR1,THR2,THB1,THB2としては、図7に示されるように、例えば、処理対象の画素位置におけるGとR、または、GとBのノイズ量を示す標準偏差の差を例示することができる。一方向D1および他方向D2のR,G,Bそれぞれのノイズ量をNrD1、NgD1、NbD1、NrD2、NgD2、NbD2として、
THR1=NrD1−NgD1
THR2=NrD2−NgD2
THB1=NbD1−NgD1
THB2=NbD2−NgD2
となる。
このようにすることで、ノイズの影響を低減し、安定して軸上色収差の発生起点を検出することができるという利点がある。
また、数1で算出された画素値の合計が、次の条件式(9)〜(12)を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
PgD1+TH>PrD1 ・・・(9)
PgD2+TH<PrD2 ・・・(10)
PgD1+TH>PbD1 ・・・(11)
PgD2+TH<PbD2 ・・・(12)
ここで、TH,THは任意の定数である。
定数TH,THとしては、図8に示されるように、例えば、処理対象の画素位置におけるGとR、または、GとBの画素値の差分を例示することができる。注目画素のR,G,Bのそれぞれの画素値をPr(0,0)、Pg(0,0)、Pb(0,0)とすると、
TH=Pg(0,0)−Pr(0,0)
TH=Pg(0,0)−Pb(0,0)
となる。
このようにすることで、無彩色ではなく、色つきの被写体上に発生した軸上色収差の発生起点を検出することができるという利点がある。
また、数1で算出された画素値の合計が、次の条件式(13)〜(16)を全て満たす場合に注目画素を軸上色収差の発生起点として検出することにしてもよい。
PgD1>PrD1×K ・・・(13)
PgD2<PrD2×K ・・・(14)
PgD1>PbD1×K ・・・(15)
PgD2<PbD2×K ・・・(16)
ここで、K,Kは任意の定数である。
定数K,Kとしては、図9に示されるように、例えば、処理対象の画素位置におけるGとR、または、GとBの画素値の比率を例示することができる。注目画素のR,G,Bのそれぞれの画素値をPr(0,0)、Pg(0,0)、Pb(0,0)とすると、
=Pg(0,0)/Pr(0,0)
=Pg(0,0)/Pb(0,0)
となる。
このようにすることによっても、無彩色ではなく、色つきの被写体上に発生した軸上色収差の発生起点を検出することができるという利点がある。
また、本実施形態においては、各画素においてRGB全ての信号値が得られるフルカラー画像が入力画像として入力される場合について例示したが、これに代えて、いわゆるベイヤ画像である場合に適用することにしてもよい。この場合、一方向D1の合計画素値算出部4における合計画素値の算出方法は数2〜数4の通りとなる。
図10Aに示されるように、注目画素がR(斜線部分)である場合には、数2および数3に示される数式により合計画素値が算出される。
Figure 2016084223
Figure 2016084223
図10Bに示されるように、注目画素がB(斜線部分)である場合には、数4および数5に示される数式により合計画素値が算出される。
Figure 2016084223
Figure 2016084223
図10Cに示されるように、注目画素がGR(斜線部分)である場合には、数6および数7に示される数式により合計画素値が算出される。
Figure 2016084223
Figure 2016084223
図10Dに示されるように、注目画素がGB(斜線部分)である場合には、数8および数9に示される数式により合計画素値が算出される。
Figure 2016084223
Figure 2016084223
このようにすることで、同時化されていない画像に対しても軸上色収差の発生起点を検出することができ、検出時に同時化のための補間エラーの影響をなくすことができる。
本実施形態に係る画像処理装置1は、放送用据え置き型カメラ、ENGカメラ、民生用ハンディカメラ、デジタルカメラ等の製品に搭載して使用される。また、動画を扱う画像信号補正プログラム(CGプログラム)や画像編集装置等にも用いることができる。また、本実施形態に係る画像処理方法をコンピュータ(例えば、パーソナルコンピュータ)に実行させる画像処理プログラムとして用いることもできる。
1 画像処理装置
3 収差補正部(補正部)
4 合計画素値算出部
5 発生起点検出部
6 領域判定部
S2 合計画素値算出ステップ
S3 発生起点検出ステップ
S5 領域判定ステップ
S7 補正ステップ

Claims (20)

  1. 画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出部と、
    該合計画素値算出部により算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出部とを備える画像処理装置。
  2. 前記発生起点検出部により検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定部を備える請求項1に記載の画像処理装置。
  3. 前記領域判定部により判定された前記軸上色収差領域を補正する補正部を備える請求項2に記載の画像処理装置。
  4. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PrD1
    PgD2<PrD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計
    である。
  5. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PbD1
    PgD2<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計
    である。
  6. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PrD1
    PgD2<PrD2
    PgD2<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計
    である。
  7. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PbD1
    PgD2<PrD2
    PgD2<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計
    である。
  8. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PrD1
    PgD1>PbD1
    PgD2<PrD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計
    である。
  9. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PrD1
    PgD1>PbD1
    PgD2<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計
    である。
  10. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1+THR1>PrD1
    PgD2−THR2<PrD2
    PgD1+THB1>PbD1
    PgD2−THB2<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、
    THR1,THR2,THB1,THB2は任意の定数である。
  11. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1+TH>PrD1
    PgD2+TH<PrD2
    PgD1+TH>PbD1
    PgD2+TH<PbD2
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、
    TH,THは任意の定数である。
  12. 前記発生起点検出部が、以下の条件式を満足する場合に、前記注目画素を軸上色収差の発生起点であると判定する請求項1から請求項3のいずれかに記載の画像処理装置。
    PgD1>PrD1×K
    PgD2<PrD2×K
    PgD1>PbD1×K
    PgD2<PbD2×K
    ここで、
    PgD1は前記注目画素から前記一方向に配列している画素のGの画素値の合計、
    PgD2は前記注目画素から前記他方向に配列している画素のGの画素値の合計、
    PrD1は前記注目画素から前記一方向に配列している画素のRの画素値の合計、
    PrD2は前記注目画素から前記他方向に配列している画素のRの画素値の合計、
    PbD1は前記注目画素から前記一方向に配列している画素のBの画素値の合計、
    PbD2は前記注目画素から前記他方向に配列している画素のBの画素値の合計、
    ,Kは任意の定数である。
  13. 前記画像が、各画素にRGB全ての画素値を有する請求項1から請求項3のいずれかに記載の画像処理装置。
  14. 前記画像が、各画素においてRGBの少なくとも1つの画素値が欠落した画素値を有する請求項1から請求項3のいずれかに記載の画像処理装置。
  15. 画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、
    該合計画素値算出ステップにより算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとを含む画像処理方法。
  16. 前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップを含む請求項15に記載の画像処理方法。
  17. 前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップを含む請求項16に記載の画像処理方法。
  18. 画像中の注目画素を挟んで一方向および他方向に配列している画素の画素値をそれぞれ色毎に合計する合計画素値算出ステップと、
    該合計画素値算出ステップにより算出された前記一方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とRの画素値の合計との大小関係と逆である場合、または、前記一方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係が、前記他方向に配列している画素のGの画素値の合計とBの画素値の合計との大小関係と逆である場合に、前記注目画素を軸上色収差の発生起点として検出する発生起点検出ステップとをコンピュータに実行させる画像処理プログラム。
  19. 前記発生起点検出ステップにより検出された軸上色収差の発生起点を起点とした所定の周辺領域を軸上色収差領域と判定する領域判定ステップをコンピュータに実行させる請求項18に記載の画像処理プログラム。
  20. 前記領域判定ステップにより判定された前記軸上色収差領域を補正する補正ステップをコンピュータに実行させる請求項19に記載の画像処理プログラム。
JP2016561187A 2014-11-28 2014-11-28 画像処理装置、画像処理方法および画像処理プログラム Active JP6441379B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/081536 WO2016084223A1 (ja) 2014-11-28 2014-11-28 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2016084223A1 true JPWO2016084223A1 (ja) 2017-09-21
JP6441379B2 JP6441379B2 (ja) 2018-12-19

Family

ID=56073838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016561187A Active JP6441379B2 (ja) 2014-11-28 2014-11-28 画像処理装置、画像処理方法および画像処理プログラム

Country Status (3)

Country Link
US (1) US10489890B2 (ja)
JP (1) JP6441379B2 (ja)
WO (1) WO2016084223A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107534758B (zh) 2015-05-12 2019-05-28 奥林巴斯株式会社 图像处理装置、图像处理方法和记录介质
JP7051373B2 (ja) * 2017-11-02 2022-04-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN111082517A (zh) * 2019-10-14 2020-04-28 上海大学 一种基于云计算的智能电气设备管理装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205477A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 画像処理装置および方法,ならびに画像処理プログラム
JP2012022286A (ja) * 2010-06-17 2012-02-02 Nikon Corp 撮像装置、および焦点判定プログラム
JP2014086932A (ja) * 2012-10-25 2014-05-12 Sony Corp 画像処理装置、画像処理方法、および画像処理プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4487902B2 (ja) 2005-11-09 2010-06-23 ソニー株式会社 画像処理装置および方法、並びにプログラム
US7577292B2 (en) 2005-12-30 2009-08-18 Microsoft Corporation Automatic removal of purple fringing from images
US8958009B2 (en) 2010-01-12 2015-02-17 Nikon Corporation Image-capturing device
JP5552956B2 (ja) 2010-08-12 2014-07-16 株式会社ニコン 画像処理装置、画像処理方法およびプログラム
JP5847471B2 (ja) 2011-07-20 2016-01-20 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2013172402A (ja) 2012-02-22 2013-09-02 Nikon Corp 画像処理装置、撮像装置および画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205477A (ja) * 2010-03-26 2011-10-13 Fujifilm Corp 画像処理装置および方法,ならびに画像処理プログラム
JP2012022286A (ja) * 2010-06-17 2012-02-02 Nikon Corp 撮像装置、および焦点判定プログラム
JP2014086932A (ja) * 2012-10-25 2014-05-12 Sony Corp 画像処理装置、画像処理方法、および画像処理プログラム

Also Published As

Publication number Publication date
US10489890B2 (en) 2019-11-26
JP6441379B2 (ja) 2018-12-19
WO2016084223A1 (ja) 2016-06-02
US20170262964A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
US11422356B2 (en) Information processing apparatus, imaging control method, program, digital microscope system, display control apparatus, display control method, and program including detection of a failure requiring reimaging
JP6633624B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20150278996A1 (en) Image processing apparatus, method, and medium for generating color image data
JP6600936B2 (ja) 画像処理装置、画像処理方法、画像処理システム、プログラム、及び記録媒体
JP2015211319A5 (ja) 画像処理装置、画像処理方法、およびプログラム
US8988546B2 (en) Image processing device, image processing method, image capturing device, and program
JP2014086932A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP6441379B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
WO2009098827A1 (ja) 画像処理装置及び画像処理プログラム
JP5718138B2 (ja) 画像信号処理装置及びプログラム
JP6415093B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP2015211343A5 (ja)
KR101810393B1 (ko) 화상처리장치, 촬상장치, 화상처리방법 및 기억매체
JP6175878B2 (ja) 画像処理回路、画像処理装置及び画像処理方法
TWI479455B (zh) 全對焦影像之建立方法
JP6891403B2 (ja) 変化度合い導出装置、変化度合い導出システム、変化度合い導出方法、これに用いる色既知体及びプログラム
JP6552248B2 (ja) 画像処理装置及び方法、撮像装置、並びにプログラム
JP2016057068A (ja) パターン欠陥検査装置及びパターン欠陥検査方法
JP4629629B2 (ja) デジタルカメラの偽色評価方法、デジタルカメラの偽色評価装置及びデジタルカメラの偽色評価プログラム
CN105359517A (zh) 图像处理装置和图像处理方法
JP2014158165A (ja) 画像処理装置、画像処理方法およびプログラム
JP6033182B2 (ja) 画像読取装置
JP5733706B2 (ja) 画像処理装置、方法、及びプログラム
JP2017201248A (ja) 変化度合い導出装置、変化度合い導出方法及びプログラム
JP2002218484A (ja) 画像補間装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181121

R151 Written notification of patent or utility model registration

Ref document number: 6441379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250