JP5165611B2 - 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 - Google Patents
高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 Download PDFInfo
- Publication number
- JP5165611B2 JP5165611B2 JP2009024057A JP2009024057A JP5165611B2 JP 5165611 B2 JP5165611 B2 JP 5165611B2 JP 2009024057 A JP2009024057 A JP 2009024057A JP 2009024057 A JP2009024057 A JP 2009024057A JP 5165611 B2 JP5165611 B2 JP 5165611B2
- Authority
- JP
- Japan
- Prior art keywords
- luminance value
- image
- light source
- illuminance
- specular reflection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Studio Devices (AREA)
Description
この方法は、反射光の輝度Iを、鏡面反射成分の輝度Isと、拡散反射成分の輝度Idとの和により(数1)のように表す二色性反射モデルに基づいて、鏡面反射成分を除去している。
I=Is+Id (数1)
また、この鏡面反射成分を除去する計算を高速で行うため、色空間を図12のようにモデル化している。この色空間は(Ix,Iy,Iz)の要素から成り、I、Is及びIdは、Ix、Iy、Izの要素で表される。この色空間では、(Ix,Iy)平面上でIx軸とのなす角度が色相(hue)を表し、同じく(Ix,Iy)平面上で原点からの距離が彩度(saturation)を表し、また、Iz軸が輝度(intensity)を表している。
この色空間とRGBとは、(数2)に示す関係にある。
hue=arctan(Iy/Ix) (数3)
saturation=(Ix 2+Iy 2)1/2 (数4)
intensity=Iz (数5)
インバータ式でない蛍光灯は、商用電源(交流)の2倍の周波数で照度が変動する。インバータ式の蛍光灯は、商用電源の交流から独自の交流を作り出しており、作り出した交流の2倍の周波数で照度が変動する。
白熱灯は、フィラメントが常時発光しているため、蛍光灯ほど顕著では無いが、やはり交流電源の周波数に依存する周波数で照度が変動している。
高速度カメラは、被写体を照らす変動光源の照度が変化する1周期の間に複数枚の画像を撮影することができる。これら複数枚の画像の輝度値は、鏡面反射が発生している箇所でも発生していない箇所でも、撮影時点の変動光源の照度に関係している。そのため、これらの画像における輝度値の推移から変動光源の照度が0のときの輝度値を推定することができ、その推定値を基に変動光源による鏡面反射を除去した画像の輝度値を生成することができる。
変動光源の照度に連動して変化する各画素の輝度値は、略直線状に分布していると見られる。そのため、分布する輝度値の最大値と最小値とを結ぶ直線によって輝度値の分布を近似することができ、変動光源の照度が0のときの輝度値は、この直線上の点として推定することができる。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が0のときの輝度値を、より正確に求めることができる。
変動光源の照度を0としたときの画像の輝度値は、撮影された画像の輝度値よりも低くなるため、この輝度値に係数βを乗算して補整する。
この高速度カメラ装置は、撮影した画像から、蛍光灯などで生じたハレーション部分を除去することができる。
変動光源の照度に連動して変化する各画素の輝度値の分布を、最大値と最小値とを結ぶ直線によって近似することにより、演算が簡略化できる。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が0のときの輝度値を、より正確に求めることができる。
変動光源の照度を0としたときの各画素の輝度値に対して、一様に係数βを乗算して、変動光源による鏡面反射の無い画像を生成する。
この画像処理方法では、画面上の各画素について、変動光源の照度が0のときの輝度値を推定し、その輝度値を一様に補整することにより、変動光源による鏡面反射を除去した画像の各画素における輝度値を求めている。
この画像処理方法は、短時間での処理が可能である。
輝度値の分布曲線を最小二乗法によって求めることにより、変動光源の照度が0のときの輝度値を、より正確に求めることができる。
この装置10は、蛍光灯のように照度が周期的に変動する変動光源51、及び、その他の光源52により照らされた被写体40を撮影する高速度カメラ装置20から各フレームの画像を取得する画像取得手段11と、各フレームの画像から変動光源51の照度が0のときの各画素の輝度値を推定する輝度値推定手段12と、輝度値推定手段12が推定した輝度値を用いて、変動光源51による鏡面反射を除去した画像の輝度値を算出する鏡面反射除去画像生成手段13とを備えており、各画素の輝度値が鏡面反射除去画像生成手段13により設定された画像(即ち、変動光源51による鏡面反射が除去された画像)が表示装置30に表示される。
その他の光源52は、変動光源51を消灯しても暗闇にならない明るさを与えるものであり、その照度が変動光源51と同期して周期的に変動するものでなければ、どのような光源を用いても良い。例えば、窓からの自然光、インバータ式蛍光灯、白熱灯、天井に設置された複数の照明の合成光などが、その他の光源52として使用できる。
図2は、それを示している。図2では、図11で用いた配色板を図1の被写体40として、これを1200fpsの高速度カメラ20で撮影し、得られた各フレームの画像から特定の画素におけるIx、Iy、Izの時間的変化を求めている。図2の各グラフの横時は時間(秒)を表し、縦軸は、その画素のRGBの値から(数2)を用いて計算したIx、Iy、Izの値を表している。図2(a)は鏡面反射している白色箇所の画素、図2(b)は鏡面反射していない白色箇所の画素、図2(c)は鏡面反射している赤色箇所の画素、また、図2(d)は鏡面反射していない赤色箇所の画素について、それぞれ調べている。
図2の結果が示すように、変動光源51に照らされている被写体40の画像では、鏡面反射が発生している箇所でも、発生していない箇所でも、変動光源51のフリッカに連動して輝度値が変化している。
図3から、変動光源51のフリッカに連動する輝度値の変化は、略直線状になると想定できる。図3(a)〜(d)の各図に引いた直線は、輝度値の変化を表す近似直線を示している。
原理上は、この近似直線を延伸した先に変動光源51の照度が0になったときの輝度値の点が存在している。
この演算を簡略化するため、輝度値推定手段12は、各画素について、図3の輝度値の分布からIzが最大となる輝度値と最小となる輝度値とを求め、輝度値が最大の点と最小の点とを結ぶ線を近似直線とする。
そして、Izが最大となるときのI(Ix,Iy,Iz)をImax、Izが最小となるときのIをIminとして、変動光源51の照度が0となったときの輝度値Ioを次式(数6)により算出する。
Io=Imax−{1/(1−α)}(Imax−Imin) (数6)
ここで、αは最大照度に対する最小照度の比を表している。Imax、Imin、Ioとαとの関係は、図4のようになる。
これを補整するため、鏡面反射除去画像生成手段13は、輝度値推定手段12が算出した各画素の輝度値Ioに係数βを乗算する。補整された輝度値Irは次式(数7)により算出される。
Ir=βIo=β[Imax−{1/(1−α)}(Imax−Imin)] (数7)
ここで、βは、変動光源51が無くなった際の照度に対する実際の照度の比に相当している。
鏡面反射除去画像生成手段13は、画像の各画素における輝度値Irを(数7)により算出する。そして、この輝度値Irに対応するRGBの色空間での位置を算出し、変動光源51による鏡面反射を除去した画像を生成する。
画像取得手段11は、高速度カメラ20からnフレーム分のフレーム画像を取得する(ステップ1)。
輝度値推定手段12は、各フレーム画像の画素i(i=1,2,・・・)の輝度値を順番に配列し、これを全ての画素について行う(ステップ2)。
次に、着目する画素iの輝度値の配列から最大値と最小値とを取得し(ステップ3)、(数6)により、最大値及び最小値を結ぶ直線の延長線上に乗る、変動光源51の照度が0のときの輝度値Ioを算出する(ステップ4)。
ステップ3からステップ5の手順を全ての画素に対して行い(ステップ6)、変動光源51による鏡面反射を除去した画像を生成する(ステップ7)。
高速度カメラ20が撮影した更なるフレーム画像が有る場合は、ステップ1からの手順を繰り返す(ステップ8)。
こうした手順により、高速度カメラ20の画像から、蛍光灯などに因る鏡面反射を除去することができる。
図6(a)は、(数7)のα=0.0とした場合の画像、即ち、蛍光灯の照度が最も低いときの実画像である。写真では明確でないが、矢印の位置に蛍光灯の鏡面反射像が写っている。
図6(b)は、α=0.3と推定して求めた画像であり、図6(c)は、α=0.5と推定して求めた画像である。α=0.3の時(図6(b))には、若干の鏡面反射光が残っているが、α=0.5の時(図6(c))には、鏡面反射光が視認されず、ほぼ完全に除去されていることが確認された。
このように、適切なαの値を選択することにより、画像から鏡面反射光を、視認できない程度に除去することができる。蛍光灯を光源とする場合は、α=0.5と設定することで、鏡面反射光をほぼ除去することができる。
このように、白熱灯を光源とする場合は、α=0.85と設定することで、鏡面反射光をほぼ除去することができる。
図9は、この高速度カメラ装置20の構成を示している。この装置20は、変動光源51の照度の周波数よりも2倍以上高いフレームレートで被写体40を撮影する撮影手段21と、撮影手段21で撮影された各フレームの画像を保持する画像記録手段22と、画像記録手段22で保持された各フレームの画像から変動光源51の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から変動光源51の照度が0のときの各画素の輝度値を推定する輝度値推定手段23と、輝度値推定手段23が推定した輝度値を基に、変動光源51による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段24とを備えている。
この高速度カメラ装置20は、照度が周期的に変動する変動光源51と、その他の光源52とで照らされた被写体を撮影して、変動光源51による鏡面反射を除いた画像を生成することができ、生成した画像を表示装置30に表示させることができる。
また、この高速度カメラ装置20は、動画を撮影する高速度ビデオカメラ装置であっても良い。
また、「その他の光源52」が存在しない場合には、変動光源51の照度が0となったときの推定輝度は原理上0となる。そのため変動光源51以外の光源が必要である。
また、画像処理装置10や高速度カメラ装置20の輝度値推定手段12、23及び鏡面反射除去画像生成手段13、24は、画像処理の高速化に役立つビジョンチップを複数個用いて実現しても良い。各画素の処理を複数のビジョンチップにより並列処理することで、処理時間を大幅に短縮できる。
11 画像取得手段
12 輝度値推定手段
13 鏡面反射除去画像生成手段
20 高速度カメラ装置
21 撮影手段
22 画像記録手段
23 輝度値推定手段
24 鏡面反射除去画像生成手段
30 表示装置
40 被写体
51 変動光源
52 その他の光源
Claims (11)
- 照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理装置であって、
前記変動光源の照度の周波数よりも2倍以上高いフレームレートで撮影された前記高速度カメラの各フレームの画像を取得する画像取得手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が0のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が0のときの輝度値を求めることを特徴とする画像処理装置。
- 請求項1に記載の画像処理装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が0のときの輝度値を求めることを特徴とする画像処理装置。
- 請求項1から3のいずれかに記載の画像処理装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする画像処理装置。
- 照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した画像から前記変動光源による鏡面反射を除去する高速度カメラ装置であって、
前記変動光源の照度の周波数よりも2倍以上高いフレームレートで前記被写体を撮影する撮影手段と、
前記撮影手段により撮影された各フレームの画像を保持する画像記録手段と、
前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求め、前記推移から前記変動光源の照度が0のときの各画素の輝度値を推定する輝度値推定手段と、
前記輝度値推定手段が推定した輝度値を基に、前記変動光源による鏡面反射を除去した画像を生成する鏡面反射除去画像生成手段と、
を備えることを特徴とする高速度カメラ装置。 - 請求項5に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の最大値と最小値とを求め、前記最大値及び最小値を結ぶ直線の延長線上に、前記変動光源の照度が0のときの輝度値を求めることを特徴とする高速度カメラ装置。
- 請求項5に記載の高速度カメラ装置であって、前記輝度値推定手段が、前記各フレームの画像から、各画素における輝度値の分布を求め、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記曲線の延長線上に、前記変動光源の照度が0のときの輝度値を求めることを特徴とする高速度カメラ装置。
- 請求項5から7のいずれかに記載の高速度カメラ装置であって、前記鏡面反射除去画像生成手段は、前記輝度値推定手段が求めた前記輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を生成することを特徴とする高速度カメラ装置。
- 照度が周期的に変動する変動光源と、その他の光源とを照明源として被写体を撮影した高速度カメラの画像から前記変動光源による鏡面反射を除去する画像処理方法であって、
前記変動光源の照度の周波数よりも2倍以上高いフレームレートで撮影された高速度カメラの各フレームの画像を取得する第1のステップと、
第1のステップで取得した前記各フレームの画像から前記変動光源の照度に連動して変化している各画素の輝度値の推移を求める第2のステップと、
第2のステップで求めた前記推移から前記変動光源の照度が0のときの各画素の輝度値を推定する第3のステップと、
第3のステップで求めた前記輝度値を基に、前記変動光源による鏡面反射を除去した画像の輝度値を求める第4のステップと、
を備えることを特徴とする画像処理方法。 - 請求項9に記載の画像処理方法であって、前記第2のステップで、前記各フレームの画像から各画素の輝度値の最大値と最小値とを求め、前記第3のステップで、前記最大値及び最小値を結ぶ直線の延長線上に前記変動光源の照度が0のときの輝度値を求め、前記第4のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
- 請求項9に記載の画像処理方法であって、前記第2のステップで、前記各フレームの画像から、各画素における輝度値の分布を求めて、前記輝度値の分布を表す曲線を最小二乗法によって算出し、前記第3のステップで、前記曲線の延長線上に前記変動光源の照度が0のときの輝度値を求め、前記第4のステップで、当該輝度値に係数βを乗算して、前記変動光源による鏡面反射を除去した画像の輝度値を求めることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024057A JP5165611B2 (ja) | 2009-02-04 | 2009-02-04 | 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009024057A JP5165611B2 (ja) | 2009-02-04 | 2009-02-04 | 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010183279A JP2010183279A (ja) | 2010-08-19 |
JP5165611B2 true JP5165611B2 (ja) | 2013-03-21 |
Family
ID=42764481
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009024057A Expired - Fee Related JP5165611B2 (ja) | 2009-02-04 | 2009-02-04 | 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5165611B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5204291B1 (ja) | 2011-12-02 | 2013-06-05 | 株式会社東芝 | ホスト装置、装置、システム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10334211A (ja) * | 1997-05-29 | 1998-12-18 | Nireco Corp | 画像内の光沢除去方法と装置 |
US6989860B2 (en) * | 2001-10-30 | 2006-01-24 | Hewlett-Packard Development Company, L.P. | Method and apparatus for auto-exposure control in the presence of artificial illumination |
JP4113570B2 (ja) * | 2005-08-19 | 2008-07-09 | 松下電器産業株式会社 | 画像処理方法、画像処理システムおよび画像処理プログラム |
-
2009
- 2009-02-04 JP JP2009024057A patent/JP5165611B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2010183279A (ja) | 2010-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4113570B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
JP4337353B2 (ja) | フリッカ検出装置、フリッカ補正装置、撮像装置、フリッカ検出プログラムおよびフリッカ補正プログラム | |
JP2011530911A (ja) | 欠陥目を高精度で検知するインカメラに基づいた方法 | |
JP2003110880A (ja) | 画像からフリッカを除去する方法 | |
US20080278603A1 (en) | Method and apparatus for reducing flicker of image sensor | |
CN111368819B (zh) | 光斑检测方法和装置 | |
JP2016086246A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2023500510A (ja) | 環境光画像補正を実施するためのシステム | |
JP2017531829A (ja) | 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法 | |
JP5296112B2 (ja) | フリッカ補正装置、フリッカ補正方法、およびフリッカ補正プログラム | |
JP2013030150A (ja) | 画像処理装置、情報処理装置、方法、プログラムおよび記録媒体 | |
TWI670686B (zh) | 影像擷取系統及其擷取流程調整之方法 | |
US20140354859A1 (en) | Automatic banding correction in an image capture device | |
JP5165611B2 (ja) | 高速度カメラの画像処理装置、画像処理方法及び高速度カメラ装置 | |
JP6900395B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 | |
JP2002290988A5 (ja) | ||
JP6401473B2 (ja) | 撮像システムおよび撮像装置 | |
JP6827782B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および記録媒体 | |
JP2015192345A (ja) | フリッカ低減装置およびそのプログラム、ならびに、フリッカ低減システム | |
WO2023001373A1 (en) | Device and method for processing image data | |
CN110266964A (zh) | 影像撷取系统及其撷取流程调整的方法 | |
JP2009042098A (ja) | 画像処理式物体検出装置 | |
JP2008170378A (ja) | シンチレーション評価方法およびシンチレーション評価装置 | |
JP2015126281A (ja) | プロジェクタ、情報処理方法及びプログラム | |
JP6591176B2 (ja) | 保護フィルムのギラツキ評価値算出方法及び保護フィルムのギラツキ評価値算出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121130 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121218 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121219 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151228 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |