JP4947105B2 - 画像処理装置、画像処理プログラムおよび撮像装置 - Google Patents

画像処理装置、画像処理プログラムおよび撮像装置 Download PDF

Info

Publication number
JP4947105B2
JP4947105B2 JP2009170367A JP2009170367A JP4947105B2 JP 4947105 B2 JP4947105 B2 JP 4947105B2 JP 2009170367 A JP2009170367 A JP 2009170367A JP 2009170367 A JP2009170367 A JP 2009170367A JP 4947105 B2 JP4947105 B2 JP 4947105B2
Authority
JP
Japan
Prior art keywords
brightness
region
value
unit
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009170367A
Other languages
English (en)
Other versions
JP2011028322A (ja
Inventor
優 宮脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009170367A priority Critical patent/JP4947105B2/ja
Priority to EP10170159A priority patent/EP2287807A1/en
Priority to CN201010234441.XA priority patent/CN101964873B/zh
Priority to US12/839,621 priority patent/US8665347B2/en
Publication of JP2011028322A publication Critical patent/JP2011028322A/ja
Application granted granted Critical
Publication of JP4947105B2 publication Critical patent/JP4947105B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physics & Mathematics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、撮像された画像に含まれるゴミ影の領域を抽出する画像処理装置、画像処理プログラムおよび撮像装置に関する。
電子カメラなどの撮像装置によって撮像を行なう際、撮像素子の近傍に配置された光学フィルタ等の光学部材における撮像光路上にゴミが付着していると、付着したゴミにより生じた影が撮像画像に写り込む場合がある。特にレンズ交換式の撮像装置では、レンズ交換時などに塵や埃などのゴミがカメラボディ内に侵入して付着する場合がある。例えば特許文献1に示される技術では、このように画像に写り込んだゴミ影を検出して補正を行なうために、一様面においてゴミ影の写り込んだ基準画像を予め撮像してゴミ位置の座標を算出する。そして、補正対象の撮像画像における基準画像のゴミ位置に対応する位置について、ゴミ影を削除する補正を行なう。また、特許文献1には、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する技術が記載されている。
特開2004−220553号公報
しかしながら、特許文献1の技術により基準画像に基づいてゴミ影の補正を行なう場合には、基準画像と補正対象の画像との複数画像に対して処理を行うため、処理が複雑になり相当の撮像装置の処理性能や処理時間が必要となる。一方、補正対象の画像に含まれる各画素の輝度情報の変化に基づいてゴミ影を抽出する場合では、被写体の色合いによる輝度の変化を誤ってゴミ影として抽出してしまう場合があった。ここで、画像に写り込んだゴミを抽出する場合には、より少ない処理で効率良く行なうとともに、ゴミ影の誤検出を低減させることが望ましい。
本発明は、このような状況に鑑みてなされたもので、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供する。
上述した課題を解決するために、本発明は、画像に含まれる画素の明るさの標準偏差を演算する演算部と、画素の明るさの標準偏差が第1閾値より大きい第1領域を決定する決定部と、第1領域内の各部分における明るさを示す第1の明るさ値と、各部分の周辺における明るさを示す第2の明るさ値との差が第1判定閾値より大きいか否かを判定する第1判定部と、各部分における色相を示す第1の色相値と、各部分の周辺における色相を示す第2の色相値との差が第2判定閾値より小さいか否かを判定する第2判定部と、各部分の周辺における画素の明るさの標準偏差が第3判定閾値より小さいか否かを判定する第3判定部と、第1判定部により第1の明るさ値と第2の明るさ値との差が第1判定閾値より大きいと判定され、第2判定部により第1の色相値と第2の色相値との差が第2判定閾値より小さいと判定され、第3判定部により各部分の周辺における画素の明るさの標準偏差が第3判定閾値より小さいと判定されたときに、部分からなる領域を抽出する領域抽出部と、を備えることを特徴とする画像処理装置である。
また、本発明は、上述の画像処理装置が、抽出部によって抽出された領域のコントラストを強調して表示部に表示させるコントラスト調整部を備えることを特徴とする。
また、本発明は、上述の領域抽出部が、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域を抽出することを特徴とする。
また、本発明は、上述の領域抽出部が、抽出した領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
また、本発明は、上述の領域抽出部が、抽出した領域の明るさ値と領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、条件を満たす領域を抽出することを特徴とする。
以上説明したように、本発明によれば、画像に写り込んだゴミ影を効率良く正確に抽出する画像処理装置、画像処理プログラムおよび撮像装置を提供することができる。
本発明の一実施形態による撮像装置の構成例を示す図である。 本発明の一実施形態による撮像装置の構成例を示すブロック図である。 本発明の一実施形態によるコントラスト調整の概念を示すブロック図である。 本発明の一実施形態による撮像装置の動作例を示すフローチャートである。 本発明の一実施形態によりゴミ影が検出される画像データの例を示す図である。 本発明の一実施形態による画像処理装置の構成例を示す図である。
以下、本発明の一実施形態について、図面を参照して説明する。
図1は、本実施形態による撮像装置100の構成を示す図である。撮像装置100は、レンズ交換式の電子カメラであり、複数の光学レンズ群であるレンズ102を有する光学系101を備える。光学系101が設置されるカメラボディ103は、シャッター106、光学フィルタ105などの光学部材や撮像素子104を備えている。撮像素子4は、CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)等であり、光学系101を介して露光され自身の結像面に結像された像を電気信号に変換し、変換した電気信号である画像信号を出力する。出力された画像信号は画像データに変換され、カメラボディ103に備えられるモニター108に表示される。モニター108は、例えばLCD(Liquid Crystal Display)などの液晶ディスプレイである。
ここで、光学系101はカメラボディ103に対して着脱可能であり、着脱時にカメラボディ103の内部にゴミが侵入し、撮像光路上にゴミが付着する場合がある。図には、光学フィルタ105に付着したゴミ107を示している。このようなゴミ107は、光学系101を介して入射する光を遮って、撮像素子104に結像される像に影を形成する。これにより、撮像装置100により生成される画像データにはゴミ影が写り込むこととなる。本実施形態における撮像装置100は、画像データに写り込んだこのようなゴミ影を検出して削除する補正を行なう。
図2は、本実施形態による撮像装置100の構成を示すブロック図である。撮像装置100は、自身の記憶領域に予め記憶されたプログラムに基づいて各部の動作を制御するマイコンやCPU(Central Processing Unit)を有し、入力部110と、撮像部111と、画像記憶部112と、明るさ算出部113と、色相値算出部114と、変化量算出部115と、領域抽出部116と、ゴミ補正部117と、コントラスト調整部118と、表示部119とを備えている。
入力部110は、ユーザからの操作情報の入力を受け付ける。入力部110には、例えば、主に撮像時のシャッタースピードを調整する情報の入力を受け付けるコマンドダイヤル、主に撮像時の絞り値を調整する情報の入力を受け付けるサブコマンドダイヤル、撮像して記憶された画像を再生する要求入力を受け付ける再生ボタン、撮像して記憶された画像を削除する要求入力を受け付ける削除ボタン、表示部119に表示されるメニュー項目を選択する決定ボタンなどが含まれる。
撮像部111は、定められた制御手順により光学系101を駆動させ、撮像素子104から出力される画像信号に基づいて画像データを生成することにより、画像を撮像する。ここでは、撮像部111が生成する画像データは、各画素の色がRGB表色系によって表された情報である。
画像記憶部112には、撮像部111によって生成された画像データが記憶される。
明るさ算出部113は、画像記憶部112に記憶された画像データに含まれる定められた領域内における明るさの度合いを示す第1の明るさ値と、その領域の周辺における明るさの度合いを示す第2の明るさ値とを算出する。ここで、領域の周辺とは、例えば定められた領域の画素から周辺の5ピクセル以内の画素などである。ここでは、明るさ算出部113は、画像データに含まれる画素のRGB値に基づいて、明るさの度合いを示す輝度情報(Y)を算出する。ここで、明るさ算出部113は、RGB値に基づいて以下式(1)により輝度情報を算出する。
上記式(1)により、明るさ算出部113は、画像記憶部112に記憶された画像データに含まれる各画素について輝度情報を算出し、画像データに対応する輝度平面を生成する。ここでは、明るさ算出部113は、画素の明るさの度合いを示す情報として輝度情報を算出する例を説明するが、例えば明度などを算出して適用しても良い。
色相値算出部114は、定められた領域内における色相を示す第1の色相値と、その領域の周辺における色相を示す第2の色相値とを算出する。色相値算出部114は、画像データに含まれる画素のRGB値に基づいて、色相値(Hue)を算出する。ここでは、色相値算出部114は、画像データに含まれる画素のRGB値をHSV表色系に変換することにより、色相値を算出する。HSV表色系は、H(Hue:色相)、S(saturation:彩度)、V(Value:明度)により色を表すモデルである。色相値算出部114は、以下式(2)により色相値(H)を算出する。
ここで、H<0の場合はHに2πを加え、Vmax=0の場合は、S=0、H=不定となる。上記式(2)により、色相値算出部114は、画像記憶部112に記憶された画像データに含まれる各画素について色相値を算出する。
変化量算出部115は、画像データに含まれる画素毎に、画素の明るさ値(輝度情報)と、画素の周辺における明るさ値(輝度情報)との差を示す変化量を算出することにより、画像データにおける明るさのバラツキを取得する。ここでは、変化量算出部115は、明るさ算出部113によって算出された輝度平面について、定められた区画毎にマトリックスを生成し、そのマトリックスの中心を注目画素とした標準偏差(Ystd)を算出することにより、明るさのバラツキを取得する。ここで、定められた区画とは、例えば、5行5列の画素のマトリックスである。変化量算出部115は、以下式(3)により標準偏差を算出する。
ここで、nはマトリックスの要素数、xiはマトリックスの要素の値、バー( ̄)が付されたxは処理対象のマトリックスに含まれる全要素の平均値である。変化量算出部115は、明るさ算出部113によって算出された輝度平面のそれぞれの画素について標準偏差を算出し、標準偏差平面を生成する。標準偏差平面における標準偏差の値は、輝度のバラツキが大きい領域では相対的に高い値を示し、バラツキが少ない部分では相対的に低い値となる。これにより、Ystdは、ゴミ影の影響により輝度が変化している領域では高い値を示し、空などの一様平面では低い値を示す。この例では、変化量算出部115が算出するマトリックスの大きさを5行5列としたが、マトリックスの大きさは適当な任意の大きさを適用して良い。例えば、これよりも大きな領域のマトリックスを処理対象とした場合には、平均化効果などにより、輝度情報に含まれるノイズを排除した標準偏差平面を得ることとなる。ここでは、標準偏差を求めることにより画像データの明るさのバラツキを算出する例を示したが、標準偏差を二乗して得られる分散を用いても良い。
領域抽出部116は、処理対象の画像データからゴミ影が写り込んでいる可能性が高い領域を抽出する。ここで、領域抽出部116の記憶領域には、ゴミ影の領域を抽出するために定められた複数の条件が予め記憶されている。領域抽出部116は、定められた条件に基づいてゴミ影が写り込んでいる可能性が高い領域を絞り込んでいき、全ての条件を満たす領域を、ゴミ影が写り込んだ領域であると判定する。
まず、領域抽出部116は、変化量算出部115によって算出された変化量が予め定められた閾値以上であることを条件として、画像データから条件を満たす領域を抽出する。ここで、領域抽出部116は、変化量算出部115によって生成された標準偏差平面に含まれる画素の標準偏差と、予め定められた標準偏差の閾値とを比較する。領域抽出部116は、標準偏差平面に含まれる画素の標準偏差が定められた閾値以上である場合には、その画素の値を1とし、標準偏差平面に含まれる画素の標準偏差が定められた閾値未満である場合には、その画素の値を0として二値画像を生成する。すなわち、二値画像においては、周辺画素との輝度の変化量が大きく標準偏差が閾値以上である領域の画素を1とし、周辺画素との輝度の変化量が小さく標準偏差が閾値未満である領域の画素を0とする。領域抽出部116は、生成した二値画像から、画素の値が1である領域を抽出する。領域抽出部116は、抽出した領域がゴミ影であるか否かについて定められた条件に基づいて、以下の条件判定処理を行う。ここで、領域抽出部116は、隣接しない複数の画素群の領域を抽出した場合には、抽出したそれぞれの領域について、以下の条件判定処理を行う。
また、領域抽出部116は、撮像装置100の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いて、抽出した領域がゴミ影であるか否かを判定する。すなわち、領域抽出部116は、明るさ算出部113によって生成された輝度平面を参照し、抽出領域における画素の輝度と抽出領域周辺における画素の輝度との差が予め定められた閾値以上であり、かつ、抽出領域の画素について色相値算出部114によって算出された色相値と、抽出領域の周辺の画素について色相値算出部114によって算出された色相値との差が予め定められた閾値以上でないことを条件として、抽出した領域が条件を満たすか否かを判定する。領域抽出部116は、抽出した領域がこの条件を満たす場合、その領域がゴミ影であると判定する。抽出した領域がこの条件を満たさない場合、その領域がゴミ影でないと判定する。ここでは、抽出領域における画素の輝度が、抽出領域周辺における画素の輝度よりも小さいことをさらに条件とすることができる。抽出領域または抽出領域周辺の画素について、複数の画素を処理対象とする場合には、それぞれの領域に含まれる画素の値の平均値によって比較することができる。
また、領域抽出部116は、抽出領域の大きさによって、抽出領域がゴミ影であるか否かを判定する。例えば、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の下限値とを比較して、下限値未満である場合は、その領域はゴミ影でないと判定する。抽出領域が小さすぎる場合は、ノイズによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。一方、抽出領域に含まれる画素の画素数と、ゴミ影として定められた画素数の範囲の上限値とを比較して、上限値以上である場合にも、その領域はゴミ影でないと判定する。抽出領域が大きすぎる場合は、被写体が存在することによりその領域の標準偏差が閾値以上であると判定されたと考えられるためである。このように、領域抽出部116は、抽出した領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、範囲内であると判定したことをさらに条件として、条件を満たす領域をゴミ影であると判定し、抽出する。
また、領域抽出部116は、抽出した領域の周辺の領域の明るさ値(輝度情報)が予め定められた閾値以上であることをさらに条件として判定処理を行う。領域抽出部116は、抽出領域の周辺の領域の輝度情報と、予め定められた閾値とを比較して、輝度情報が閾値以上である場合にその領域をゴミ影であると判定し、輝度情報が閾値以上でない場合にその領域をゴミ影でないと判定する。
また、領域抽出部116は、抽出した領域の周辺の領域の明るさの変化量が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部116は、変化量算出部115によって生成された標準偏差平面を参照して、標準偏差が閾値以下である場合にその領域をゴミ影であると判定し、標準偏差が閾値以下でない場合にその領域をゴミ影でないと判定する。
また、領域抽出部116は、抽出した領域の明るさ値とその領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として判定処理を行う。領域抽出部116は、明るさ算出部113によって生成された輝度平面を参照して、抽出領域の輝度とその周辺の領域の輝度との比を算出し、算出した比が閾値以下である場合にその領域をゴミ影であると判定し、比が閾値以下でない場合にその領域をゴミ影でないと判定する。
また、領域抽出部116は、上述の条件判定処理を行い、抽出領域をゴミ影であると判定した場合には、画像データにおける抽出領域の中心座標を算出する。例えば、領域抽出部116は、表示部119に表示された画像データにおいて、算出した中心座標の箇所に、定められた大きさの矩形状の枠を表示させる。ユーザは、表示された枠を視認することにより、ゴミ影として判定された領域を確認することができる。
ゴミ補正部117は、領域抽出部116によって抽出された領域に写り込んだゴミ影を削除するゴミ補正処理を行う。ここで、上述のように、ゴミ影が写り込んだ抽出領域は、周辺の領域と比較して色相に変化がなく、輝度に変化が存在する。そこで、ゴミ補正部117は、例えば、抽出領域の画素の輝度を、周辺の画素の輝度と同程度になるように増加させることより、抽出領域のゴミ影を削除する。
コントラスト調整部118は、画像データのコントラストを際立たせる処理を行う。例えば、ゴミ影が薄く、ゴミ影の領域の画素と周辺の画素との輝度の差が、人間の目によっては確認することが困難である程度に小さい場合には、ユーザはゴミ影の存在を確認しづらい。そこで、コントラスト調整部118は、画像データにおけるゴミ影の領域とその周辺の領域のコントラストを強くすることで薄いゴミ影を強調し、表示部119に表示させる。これにより、ユーザはゴミ影を視認しやすくなる。例えば、図3は、領域抽出部116によって抽出された抽出領域のヒストグラムとトーンカーブの例を示す図である。図3(a)において、Y1は輝度の最小値、Y2は輝度の最大値、YmidはY1とY2との中間値を示す。ここで、コントラスト調整部118は、Y1とY2との間の輝度値を0−1の値に再分布する。これにより、図3(b)に示すように、トーンカーブの傾きが1/(Y2−Y1)となる。ここで、コントラスト調整部118はユーザから入力される操作情報に応じて、Y1とY2との間の間隔を変換させることで、コントラストを調整することができる。
表示部119は、画像データを表示するディスプレイであり、図1におけるモニター108である。
次に、図4のフローチャートを参照して、撮像装置100によってゴミ影が写り込んだ領域を抽出する動作例を説明する。ここでは、撮像部111によって画像が撮像されて画像データが生成され、画像記憶部112に記憶されている。入力部110は、ユーザからゴミ検出を行ないたい画像データの選択を受付けると、選択された画像データが画像記憶部112から読み出され表示部119に表示される。ここで、ユーザから入力される操作情報に応じて、例えば画像再生モードが「ゴミ検出結果表示モード」に変更されると、撮像装置100は、画像データからのゴミ検出処理を開始する。まず、色相値算出部114は、画像データのHSV変換を行なって色相値(Hue)を算出する(ステップS1)。明るさ算出部113は、画像データのRGB値に基づいて輝度情報(Y)を算出し、輝度平面を生成する(ステップS2)。変化量算出部115は、ステップS2において明るさ算出部113が算出した輝度平面における各画素の輝度情報についての標準偏差を算出し、標準偏差平面を生成する(ステップS3)。
領域抽出部116は、生成した標準偏差平面において標準偏差(Ystd)が閾値以上である領域を抽出する(ステップS4)。そして、領域抽出部116は、抽出した領域に含まれる画素数が、定められた範囲内であるか否かを判定する(ステップS5)。ここで、領域抽出部116は、抽出した領域に含まれる画素数が定められた範囲内でないと判定すれば、(ステップS5:NO)処理を終了する一方、領域抽出部116は、抽出した領域に含まれる画素数が定められた範囲内であると判定すれば、ステップS6に進む。
また、領域抽出部116は、ステップS4において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないか否かを判定する(ステップS6)。領域抽出部116は、領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上でないか、あるいは領域内の色相値と領域の周辺の色相値との差が定められた閾値以上であると判定すると(ステップS6:NO)、処理を終了する。一方、領域抽出部116が、ステップS4において抽出した領域内の輝度値と、領域の周辺の輝度値との差が定められた閾値以上であり、かつ、領域内の色相値と領域の周辺の色相値との差が定められた閾値以上でないと判定すると、ステップS7に進む。
そして、領域抽出部116は、ステップS3において生成した輝度平面を参照して、ステップS4において抽出した領域の周辺の輝度情報が、定められた閾値以上であるか否かを判定する(ステップS7)。領域抽出部116が、ステップS4において抽出した領域の周辺の輝度情報は、定められた閾値以上でないと判定すると(ステップS7:NO)、処理を終了する。一方、領域抽出部116が、抽出した領域の周辺の明るさ値は、定められた閾値以上であると判定すると(ステップS7:YES)、ステップS8に進む。
次に、領域抽出部116は、領域周辺の標準偏差が閾値以内であるか否かを判定する(ステップS8)。領域抽出部116が、領域周辺の標準偏差は閾値以内でないと判定すると(ステップS8:NO)、処理を終了する。一方、領域抽出部116が、領域周辺の標準偏差は閾値以内であると判定すると(ステップS8:YES)、ステップS9に進む。また、領域抽出部116は、領域周辺の輝度比が閾値以内であるか否かを判定する(ステップS9)。領域抽出部116が、領域周辺の輝度比は閾値以内でないと判定すると(ステップS9:NO)、処理を終了する。一方、領域抽出部116が、領域周辺の輝度比は閾値以内であると判定すると(ステップS9:YES)、ステップS10に進む。領域抽出部116は、抽出した領域にはゴミ影が写り込んでいると判定し、抽出した領域の座標値を算出して出力する(ステップS10)。
領域抽出部116は、表示部119に表示された画像データのうち、ゴミ影として判定した抽出領域に矩形状の枠を表示させる。ここで、領域抽出部116が複数の領域をゴミ影の領域として抽出した場合には、複数の枠を表示させる。これにより、ユーザは検出されたゴミ影の量を視認できるため、検出されたゴミの量に応じて光学部材の清掃のタイミングを図ることができる。また、入力部110に、ユーザから抽出領域が選択されたことを示す情報が入力されると、コントラスト調整部118は、選択された抽出領域のコントラストを強調して表示部119に表示させる。これにより、ユーザは、抽出されたゴミ影が薄い場合にも視認しやすくなる。また、入力部110に、ユーザからゴミ補正を行なう要求を示す操作情報が入力されると、ゴミ補正部117は、選択された抽出領域のゴミ補正処理を行う。
図5は、本実施形態におけるゴミ影領域の抽出処理の対象となる画像データの例を示す図である。ここでは、符号aに示す画像を補正対象の画像データであるとして、画像データにおける符号bに示す領域からゴミ影の領域が抽出される概念を示している。符号cは、符号bの領域について明るさ算出部113によって輝度が算出された例を示す。符号dは、符号bの領域について色相値算出部114によって色相値が算出された例を示す。符号eは、変化量算出部115によって標準偏差が算出された例を示す。符号fは、変化量算出部115によって算出された標準偏差に基づく二値画像を示す。これらの情報に基づいて、領域抽出部116によって条件判定処理が行われ、符号gに示すようなゴミ影が抽出される。
ここでは、撮像装置100によってゴミ影の抽出処理と補正処理とを行なう例を説明したが、撮像装置100とは異なるコンピュータ装置がこれらの処理を行う構成としても良い。図6は、このような構成による撮像装置200と画像処理装置300とを示すブロック図である。撮像装置200は、被写体を撮像して画像データを生成する電子カメラである。画像処理装置300は、撮像装置200が生成した画像データについてのゴミ影の抽出処理と補正処理とを行なうコンピュータ装置であり、入力部310と、画像記憶部312と、明るさ算出部313と、色相値算出部314と、変化量算出部315と、領域抽出部316と、ゴミ補正部317と、コントラスト調整部318と、表示部319とを備えている。
画像処理装置300が備える各部は、上述の撮像装置100が備える同名の各部と同様の構成である。ただし、入力部310は、キーボードやマウスなどのデバイスである。画像記憶部312には、撮像装置200によって撮像され生成された画像データが記憶される。表示部319は、液晶ディスプレイなどのデバイスである。
なお、本実施形態におけるゴミ影の抽出処理は、画像データを圧縮(例えば、1/4)して、圧縮後の画像データに対して行なうようにしても良い。また、画像データを領域分割(例えば、8×16)して、分割した領域のそれぞれについてゴミ影の抽出処理を行うようにしても良い。これにより、処理対象の画像データ量を減らし、より負荷を低くして処理を行うことができる。
以上説明したように、本実施形態によれば、撮像装置100内の撮像光路上に付着したゴミにより形成されるゴミ影は、その画像の輝度に影響を与える一方、色相に変化を与えないという特性を用いることで、画像に写り込んだゴミ影を効率よく正確に抽出することが可能となる。
なお、画像記憶部112(画像記憶部312)は、ハードディスク装置や光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、CR−ROM等の読み出しのみが可能な記憶媒体、RAM(Random Access Memory)のような揮発性のメモリ、あるいはこれらの組み合わせにより構成されるものとする。
なお、明るさ算出部113(明るさ算出部313)、色相値算出部114(色相値算出部314)、変化量算出部115(変化量算出部315)、領域抽出部116(領域抽出部316)、ゴミ補正部117(ゴミ補正部317)、コントラスト調整部118(コントラスト調整部318)は専用のハードウェアにより実現されるものであってもよく、または、メモリおよびCPU(中央演算装置)により構成され、各処理部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。
また、各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各部により実行される処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
100…撮像装置、111…撮像部、113…明るさ算出部、114…色相値算出部、115…変化量算出部、116…領域抽出部、300…画像処理装置、313…明るさ算出部、314…色相値算出部、315…変化量算出部、316…領域抽出部

Claims (7)

  1. 画像に含まれる画素の明るさの標準偏差を演算する演算部と、
    前記画素の明るさの標準偏差が第1閾値より大きい第1領域を決定する決定部と、
    前記第1領域内の各部分における明るさを示す第1の明るさ値と、前記各部分の周辺における明るさを示す第2の明るさ値との差が第1判定閾値より大きいか否かを判定する第1判定部と、
    前記各部分における色相を示す第1の色相値と、前記各部分の周辺における色相を示す第2の色相値との差が第2判定閾値より小さいか否かを判定する第2判定部と、
    前記各部分の周辺における前記画素の明るさの標準偏差が第3判定閾値より小さいか否かを判定する第3判定部と、
    前記第1判定部により前記第1の明るさ値と前記第2の明るさ値との差が前記第1判定閾値より大きいと判定され、前記第2判定部により前記第1の色相値と前記第2の色相値との差が前記第2判定閾値より小さいと判定され、前記第3判定部により前記各部分の周辺における前記画素の明るさの標準偏差が前記第3判定閾値より小さいと判定されたときに、前記部分からなる領域を抽出する領域抽出部と、
    を備えることを特徴とする画像処理装置。
  2. 前記抽出部によって抽出された前記領域のコントラストを強調して表示部に表示させるコントラスト調整部
    を備えることを特徴とする請求項1に記載の画像処理装置。
  3. 前記領域抽出部は、抽出した前記領域に含まれる画素の画素数が、予め定められた画素数の範囲内であるか否かを判定し、当該範囲内であると判定したことをさらに条件として、当該条件を満たす前記領域を抽出する
    ことを特徴とする請求項1または請求項2に記載の画像処理装置。
  4. 前記領域抽出部は、抽出した前記領域の周辺の領域の明るさ値が予め定められた閾値以上であることをさらに条件として、当該条件を満たす前記領域を抽出する
    ことを特徴とする請求項1から請求項3のいずれか1項に記載の画像処理装置。
  5. 前記領域抽出部は、抽出した前記領域の明るさ値と当該領域の周辺の領域の明るさ値との比が予め定められた閾値以下であることをさらに条件として、当該条件を満たす前記領域を抽出する
    ことを特徴とする請求項1から請求項のいずれか1項に記載の画像処理装置。
  6. コンピュータに、
    画像に含まれる画素の明るさの標準偏差を演算する演算ステップと、
    前記画素の明るさの標準偏差が第1閾値より大きい第1領域を決定する決定ステップと、
    前記第1領域内の各部分における明るさを示す第1の明るさ値と、前記各部分の周辺における明るさを示す第2の明るさ値との差が第1判定閾値より大きいか否かを判定する第1判定ステップと、
    前記各部分における色相を示す第1の色相値と、前記各部分の周辺における色相を示す第2の色相値との差が第2判定閾値より小さいか否かを判定する第2判定ステップと、
    前記各部分の周辺における前記画素の明るさの標準偏差が第3判定閾値より小さいか否かを判定する第3判定ステップと、
    前記第1判定ステップにより前記第1の明るさ値と前記第2の明るさ値との差が前記第1判定閾値より大きいと判定され、前記第2判定ステップにより前記第1の色相値と前記第2の色相値との差が前記第2判定閾値より小さいと判定され、前記第3判定ステップにより前記各部分の周辺における前記画素の明るさの標準偏差が前記第3判定閾値より小さいと判定されたときに、前記部分からなる領域を抽出する領域抽出ステップと、
    を実行させるための画像処理プログラム。
  7. 画像を撮像する撮像部と、
    前記撮像部によって撮像された前記画像に含まれる画素の明るさの標準偏差を演算する演算部と、
    前記画素の明るさの標準偏差が第1閾値より大きい第1領域を決定する決定部と、
    前記第1領域内の各部分における明るさを示す第1の明るさ値と、前記各部分の周辺における明るさを示す第2の明るさ値との差が第1判定閾値より大きいか否かを判定する第1判定部と、
    前記各部分における色相を示す第1の色相値と、前記各部分の周辺における色相を示す第2の色相値との差が第2判定閾値より小さいか否かを判定する第2判定部と、
    前記各部分の周辺における前記画素の明るさの標準偏差が第3判定閾値より小さいか否かを判定する第3判定部と、
    前記第1判定部により前記第1の明るさ値と前記第2の明るさ値との差が前記第1判定閾値より大きいと判定され、前記第2判定部により前記第1の色相値と前記第2の色相値との差が前記第2判定閾値より小さいと判定され、前記第3判定部により前記各部分の周辺における前記画素の明るさの標準偏差が前記第3判定閾値より小さいと判定されたときに、前記部分からなる領域を抽出する領域抽出部と、
    を備えることを特徴とする撮像装置。
JP2009170367A 2009-07-21 2009-07-21 画像処理装置、画像処理プログラムおよび撮像装置 Expired - Fee Related JP4947105B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2009170367A JP4947105B2 (ja) 2009-07-21 2009-07-21 画像処理装置、画像処理プログラムおよび撮像装置
EP10170159A EP2287807A1 (en) 2009-07-21 2010-07-20 Image processing device, image processing program, and imaging device
CN201010234441.XA CN101964873B (zh) 2009-07-21 2010-07-20 图像处理装置、图像处理程序及摄像装置
US12/839,621 US8665347B2 (en) 2009-07-21 2010-07-20 Image processing device, image processing program, and imaging device computing brightness value and color phase value

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009170367A JP4947105B2 (ja) 2009-07-21 2009-07-21 画像処理装置、画像処理プログラムおよび撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012051672A Division JP5316662B2 (ja) 2012-03-08 2012-03-08 画像処理装置、画像処理プログラムおよび撮像装置

Publications (2)

Publication Number Publication Date
JP2011028322A JP2011028322A (ja) 2011-02-10
JP4947105B2 true JP4947105B2 (ja) 2012-06-06

Family

ID=43637036

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009170367A Expired - Fee Related JP4947105B2 (ja) 2009-07-21 2009-07-21 画像処理装置、画像処理プログラムおよび撮像装置

Country Status (1)

Country Link
JP (1) JP4947105B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105208937B (zh) 2013-05-10 2018-04-03 株式会社岛津制作所 图像处理装置
JP6832224B2 (ja) * 2017-04-28 2021-02-24 株式会社デンソーテン 付着物検出装置および付着物検出方法
DE102017129812A1 (de) * 2017-09-29 2019-04-04 Festool Gmbh Mobile Werkzeugmaschine

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3759842B2 (ja) * 1998-09-17 2006-03-29 大日本スクリーン製造株式会社 画像上の傷部分判定装置、方法および記憶媒体
US6233364B1 (en) * 1998-09-18 2001-05-15 Dainippon Screen Engineering Of America Incorporated Method and system for detecting and tagging dust and scratches in a digital image
JP4419479B2 (ja) * 2003-08-29 2010-02-24 株式会社ニコン 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
JP2011028322A (ja) 2011-02-10

Similar Documents

Publication Publication Date Title
US20090141937A1 (en) Subject Extracting Method, Subject Tracking Method, Image Synthesizing Method, Computer Program for Extracting Subject, Computer Program for Tracking Subject, Computer Program for Synthesizing Images, Subject Extracting Device, Subject Tracking Device, and Image Synthesizing Device
US8643728B2 (en) Digital photographing device, method of controlling the digital photographing device, and computer-readable storage medium for determining photographing settings based on image object motion
JP6720881B2 (ja) 画像処理装置及び画像処理方法
JP4466015B2 (ja) 画像処理装置および画像処理プログラム
CN110519485A (zh) 图像处理方法、装置、存储介质及电子设备
JP5301694B2 (ja) 画像処理装置、画像処理方法、プログラムおよびその記録媒体
US10313649B2 (en) Image processing apparatus, control method thereof, and storage medium
US10311327B2 (en) Image processing apparatus, method of controlling the same, and storage medium
JP5949559B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP4947105B2 (ja) 画像処理装置、画像処理プログラムおよび撮像装置
JP2011029710A (ja) 画像処理装置、画像処理プログラムおよび撮像装置
US20170365063A1 (en) Image processing apparatus and method for controlling the same
KR20220025552A (ko) 영상처리장치 및 그의 영상보정방법
JP5316662B2 (ja) 画像処理装置、画像処理プログラムおよび撮像装置
JP4438363B2 (ja) 画像処理装置および画像処理プログラム
JP5167236B2 (ja) 被写体追跡装置及びその制御方法
JP4964850B2 (ja) 画像解析装置、画像解析方法、撮像装置、画像解析プログラムおよび記録媒体
JP6099973B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP5786544B2 (ja) 画像処理装置、撮像装置、及びプログラム
JP2015233202A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2006180078A (ja) 電子カメラ、画像処理装置および画像処理プログラム
JP4466016B2 (ja) 画像処理装置および画像処理プログラム
US20180240254A1 (en) Image processing apparatus, image processing method, and storage medium to correct pixels using singular value decomposition
EP2624210B1 (en) Multi-touch recognition apparatus and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4947105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees