JP6159227B2 - 目視検査方法およびその装置 - Google Patents

目視検査方法およびその装置 Download PDF

Info

Publication number
JP6159227B2
JP6159227B2 JP2013225736A JP2013225736A JP6159227B2 JP 6159227 B2 JP6159227 B2 JP 6159227B2 JP 2013225736 A JP2013225736 A JP 2013225736A JP 2013225736 A JP2013225736 A JP 2013225736A JP 6159227 B2 JP6159227 B2 JP 6159227B2
Authority
JP
Japan
Prior art keywords
image
resolution
moving image
inspection
noise
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013225736A
Other languages
English (en)
Other versions
JP2015087238A5 (ja
JP2015087238A (ja
Inventor
細谷 直樹
直樹 細谷
宮本 敦
敦 宮本
中平 健治
健治 中平
貴史 渡邊
貴史 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi GE Nuclear Energy Ltd
Original Assignee
Hitachi GE Nuclear Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi GE Nuclear Energy Ltd filed Critical Hitachi GE Nuclear Energy Ltd
Priority to JP2013225736A priority Critical patent/JP6159227B2/ja
Priority to PCT/JP2014/077566 priority patent/WO2015064373A1/ja
Publication of JP2015087238A publication Critical patent/JP2015087238A/ja
Publication of JP2015087238A5 publication Critical patent/JP2015087238A5/ja
Application granted granted Critical
Publication of JP6159227B2 publication Critical patent/JP6159227B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8803Visual inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、光学カメラにより映像を取得して検査を行う技術に関し、検査対象物の動画を取得して目視検査を行うのに適した検査方法およびその装置に関する。
原子力発電設備等のプラントや道路等の交通インフラその他では、高い安全性が求められており、定期的に十分な検査を実施しなければならない。例えば原子力プラント等では、検査対象物としては、例えば、原子炉圧力容器や、容器内にあるシュラウド、炉心支持板、燃料集合体等の構造物について検査が行われる。また、原子炉の外に保管された燃料集合体の検査など、原子炉内以外の検査もある。
検査方法の一つとして、光学カメラを用いて検査対象物の表面を撮影して得た動画を目視で検査する方法がある。この目視検査では、カメラを対象物に近づけて撮影する。カメラからはカラーまたはグレースケールの動画を取得する。取得した動画をディスプレイに表示して、検査員が目視で検査する。また、取得した動画を後で確認できるように記録している。また、撮影箇所を移動できるように、カメラに駆動装置が付いていて遠隔操作できる機能が付けられているか、離れた場所から検査員が手動でカメラを操作できる機構を備えている。
より詳細に観察する必要がある場合には、カメラを対象物に近づける必要がある。しかし、他の構造物などの周囲環境の関係で、カメラを近づけられない場合がある。その場合においても高い分解能でかつ視認性の良い画像を得たいという要求がある。
この課題については、例えば取得した動画へ分解能を向上する処理を施す方法が、特開2011−16045号公報(特許文献1)に開示されている。この公報には、「〜前記位置ずれ量と前記基準画像と前記参照画像及び変形画像の情報とに基づき、加算画像と重み画像を生成する〜前記加算画像を前記重み画像で除算することにより、高解像度グリッド画像を生成する〜」と記載されている。
特開2011−165045号公報
特許文献1に記載されている方法は、撮影した動画の中から複数の画像を用い、画像間の相対位置を計算して高解像度画像上での座標を計算し、複数の画像の対応する画素の輝度値から高解像度画像の各画素の輝度値を求めるという方法で、低解像度による視認性の低下を補償するための分解能を向上する処理を施している。しかしながら、検査環境によっては、低解像度の他に、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等の複数の画像劣化が発生する場合がある。前述の方法ではこれらの画像劣化を考慮していないためそれらに起因する視認性低下を抑制することはできない。
本発明では、前記課題を解決することを目的とし、複数の画像劣化を補償することを可能とするため、複数の画像劣化過程を考慮した分解能向上処理をできるようにし、その定義に必要な検査条件を入力できるようにした。また、画像劣化要因毎に異なる調整用動画を用いて検査条件調整を容易に行うことを可能とした。また、高解像動画の評価値を算出し、検査条件の良否を判断可能とした。
これにより、複数の画像劣化がある動画に適切な分解能向上処理を施して、視認性の向上を図ることが可能な目視検査方法を提供する。また、分解能向上処理の各検査条件について容易に調整できる目視検査方法を提供する。また、分解能向上処理の各検査条件について、その良し悪しを容易に判断できる目視検査方法を提供する。
(1)本願は上記課題を解決する方法を複数含んでいるが、その一例を挙げるならば、二つ以上の画像劣化過程から使用する画像劣化過程を選択し、画像劣化過程を定義する検査条件を入力する入力ステップと、対象物を撮影して撮影動画を取得する撮影ステップと、検査条件を用いて撮影動画から高解像動画を作る合成ステップと、動画と検査条件を出力する出力ステップとを有する目視検査方法である。
特許文献1に記載されている方法が対象としている画像劣化要因である低解像度の場合は、カメラの画素数が不十分なため画像の高周波成分が失われてしまう。一方、前述のように、検査対象によっては目視検査の動画には、低解像度以外にも画像劣化が生じている場合がある。例えば、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等である。ノイズの場合は、例えばカメラの電子回路に生じる熱によって対応する画素の値が異常となる。形状変化の場合は、検査対象物とカメラとの相対的な位置姿勢の変化に伴い、連続した複数のフレーム間で検査対象物に見かけ上の伸縮や歪が生じる。デフォーカスの場合は、画像の高周波成分が失われてぼやけてしまう。異物には上方から落下する水滴、水中で下方から浮上する気泡、周囲に浮遊する塵、カメラレンズに付着する汚れ等があり、いずれの場合も検査対象物が局所的に遮蔽されてしまう。カメラ劣化の場合は、放射線等でカメラの電子回路が損傷し、対応する画素の値が異常となる。
本発明では、複数の画像劣化要因に対応する分解能向上処理を提供する。対象とする画像劣化要因の一つであるノイズは、ランダムに発生するものであり、ランダムに発生する画像劣化の補償には統計的な手法を用いることが望ましい。そこで、実測データから未知の量を統計的に推定する手法として一般的に知られている、MAP(Maximum A Posteriori)推定手法を導入する。まず、次式により複数の撮影画像に対して最大事後確率を満たす高解像画像を求めることを考える。
Figure 0006159227
X:高解像画像ベクトル
Yk:k番目の撮影画像ベクトル
P(X|Yk):Ykに対してXが発生する事後確率
これを変換すると次式となる。
Figure 0006159227
P(Yk|X):Xに対してYkが発生する事後確率
P(X):Xが発生する確率
この最小化問題を満たすXを1回の演算で求めることは困難であるため、次式に基づき反復演算を行うと良い。
Figure 0006159227
Xn:n回目の復元結果
ε:1より小さい適切な値
本発明では、複数の画像劣化要因に対応するため、画像劣化モデルであるP(Yk|X)を次式のように複数の画像劣化過程の関数で定義することとする。
Figure 0006159227
Gi:i番目の画像劣化過程
ここで、複数の画像劣化は常に発生するとは限らない。例えば、カメラに冷却機構等のハード的なノイズ対策を施している場合は、ノイズという画像劣化要因を考慮する必要が無い。また、カメラを概ね静止させた状態で使用する場合には、形状変化という画像劣化要因を考慮する必要が無い。また、カメラをジャストフォーカスで使用する場合には、デフォーカスという画像劣化要因を考慮する必要が無い。また、良く管理された検査環境で水滴、気泡、塵、汚れ等が無い場合には、異物という画像劣化要因を考慮する必要が無い。また、カメラに対する放射線照射の恐れが無い検査環境の場合には、カメラ劣化という画像劣化要因を考慮する必要が無い。
本発明では、前式の各画像劣化過程について使用するか否かを選択可能とする。これにより、各画像劣化要因の有無に応じて適切な分解能向上処理を施すことが可能となる。
例えば、使用する画像劣化過程として低解像度とノイズとを選択した場合を説明する。撮影画像はばらつきを有しており正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、画像劣化モデルをノイズのばらつきと正常範囲のばらつきとの項に分けて次式で表すこととする。
Figure 0006159227
Vk:正常範囲度合いベクトル
n00:正常範囲の確率分布
n01:ノイズの確率分布
高解像画像に低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
Figure 0006159227
G1:低解像度による画像劣化過程
G2:ノイズによる画像劣化過程
また、分解能向上処理を用いる場合、分解能向上の度合いをパラメータで調整するのが一般的である。パラメータの調整具合によっては、分解能向上処理後の動画において十分な視認性が得られるとは限らない。
本発明では、前式の関数は撮影画像ベクトルYとパラメータ値の関数で定義することとし、パラメータ値は検査条件として入力することとする。これにより、各画像劣化の程度に応じて適切な分解能向上処理を施すことが可能となる。また、必要が無い画像劣化過程を使用しない選択をすれば、対応するパラメータを調整する手間を省くことも可能となる。
本発明では、動画データと検査条件との両方をモニタやHDD等に出力することとする。 これにより、複数の画像劣化がある動画について適切な分解能向上処理を選択して施し、視認性の向上を図ることが可能となる。また、高解像動画データと使用した検査条件を関連付けて確認することが可能となる。
(2)上記課題を解決する方法の他の例を挙げるならば、前記対象物が放射線環境下の構造物であり、前記画像劣化要因は形状変化とデフォーカスと低解像度と放射線ノイズとを含む、目視検査方法である。
前記(1)では、分解能向上処理を導入するために生じる課題を解決するための枠組みについて述べたが、その中でも原子力プラントなど、遠隔操作で放射線環境下における検査で特に有効と思われる方法の一例について以下で説明する。原子力プラント内の構造物を検査する場合は、低解像度に加えて主に以下の三つの画像劣化要因を考慮する必要がある。カメラには遠隔操作して撮影箇所を移動できる機能が付いているため、形状変化も考慮する必要がある。また、原子力プラント内は立体的で複雑な構造であり、カメラを設置できる領域が限られることもあり、ジャストフォーカスで使用できるとは限らない場合もあるため、デフォーカスも考慮する必要がある。また、放射線が多い環境で行われるため、放射線ノイズを考慮する必要がある。
本発明では、上述の画像劣化要因に対応するため、分解能向上処理を形状変化とデフォーカスと低解像度と放射線ノイズとに対応する画像劣化過程の関数で定義することとする。
形状変化は画像上で発生している箇所とそうでない箇所がある。そこで形状変化による画像劣化過程を定義するため、画像劣化モデルを形状変化部と形状保存部との項に分けて次式で表すこととする。
Figure 0006159227
Wk:形状保存度合いベクトル
n0:形状保存部の確率分布
n1:形状変化部の確率分布
また形状保存部であってもばらつきを有しており、正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、形状保存部をノイズのばらつきと正常範囲のばらつきとの項に分けて画像劣化モデルを次式で表すこととする。
Figure 0006159227
Vk:正常範囲度合いベクトル
n00:形状保存部の正常範囲の確率分布
n01:形状保存部のノイズの確率分布
形状保存部においては、高解像画像にデフォーカスと低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
Figure 0006159227
G1:低解像度による画像劣化過程
G2:ノイズによる画像劣化過程
G4:デフォーカスによる画像劣化過程
形状変化部においては、高解像動画に形状変化による画像劣化過程を加えたものが撮影画像になることから、n1を次式で定義する。
Figure 0006159227
G3:形状変化による画像劣化過程
以上により、遠隔操作でかつ放射線環境下で想定される画像劣化を補償した分解能向上処理が可能となる。
(3)上記課題を解決する方法の他の例を挙げるならば、前記検査条件は放射線ノイズの定義に用いられる、正常範囲度合いパラメータと通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含む、目視検査方法である。
前記(2)では、放射線ノイズによる画像劣化過程の定義には、正常範囲度合いベクトルVkと形状保存部の放射線ノイズの確率分布n01とを画像劣化モデル式に用いることを述べた。さらにVkとn01の定義に用いるパラメータについて以下で説明する。
Vkは、当該画素がエッジであれば大きくなり、エッジでなければ小さくなる関数で定義することが望ましい。本発明では、当該画素にエッジ抽出フィルタを適用しその抽出値の関数でVkを定義することとする。エッジ抽出フィルタには、例えば、一般的に知られているキャニー法を用いると良い。キャニー法ではエッジ抽出の感度をフィルタに用いるガウシアンの標準偏差値で調整する。そこでこの標準偏差値をVkの定義に用いるパラメータとする。
n01は放射線ノイズの確率分布である。通常のノイズの確率分布はガウス分布で近似できる。しかしながら放射線ノイズは通常のノイズとは異なり、放射線が照射された画素値は大きな値をとる確率が高く、ガウス分布では近似できない。そこで、通常ノイズ確率分布と非通常ノイズ確率分布との重み付き合成でn01を定義することとする。非通常ノイズ確率分布は例えば一様分布が好ましい。放射線ノイズの近似度合は重みで調整できるため、この重みをn01の定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、放射線ノイズによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
(4)上記課題を解決する方法の他の例を挙げるならば、前記検査条件は形状変化の定義に用いられる、誤差許容値パラメータを含む、目視検査方法である。
前記(2)では、形状変化による画像劣化過程の定義には、形状保存度合いベクトルWkと形状変化部の確率分布n1とを画像劣化モデル式に用いることを述べた。さらにWkとn1の定義に用いるパラメータについて以下で説明する。
Wkは、撮影動画の複数のフレームの当該画素間で誤差が大きければ小さくなる関数で定義することが望ましい。例えば、一般に知られているbiweight関数を用いると良い。biweight関数では誤差の感度を誤差の許容値で調整する。そこでこの誤差許容値をWkの定義に用いるパラメータとする。
n1は形状変化部の確率分布である。形状変化部の確率分布はXに依存しないと考えられる。そこで、一様分布でn1を定義することとする。
以上のパラメータを検査条件に用いることにより、形状変化による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
(5)上記課題を解決する方法の他の例を挙げるならば、前記検査条件はデフォーカスの定義に用いられる、分散値パラメータを含む目視検査方法である。
前記(2)では、デフォーカスによる画像劣化過程を画像劣化モデル式に用いることを述べた。デフォーカスの定義に用いるパラメータについて以下で説明する。
デフォーカスは、画像の高周波成分が失われる現象でありローパス関数で定義するのが望ましい。例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。そこでこの分散値をデフォーカスの定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、デフォーカスによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
(6)上記課題を解決する方法の他の例を挙げるならば、前記検査条件は低解像度の定義に用いられる、解像度倍率パラメータを含む目視検査方法である。
前記(2)では、低解像度による画像劣化過程を画像劣化モデル式に用いることを述べた。低解像度の定義に用いるパラメータについて以下で説明する。
低解像度は、カメラの画素数が不十分なため画像が量子化されてしまう現象でありローパス関数とサンプリング数で定義するのが望ましい。ローパス関数は、例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。サンプリング数は解像度倍率で決まる。そこでこの分散値と解像度倍率を低解像度の定義に用いるパラメータとする。
以上のパラメータを検査条件に用いることにより、低解像度による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
(7)上記課題を解決する方法の他の例を挙げるならば、前記出力ステップは検査条件と撮影動画と高解像動画とを保存する保存ステップを有し、前記保存ステップは検査条件調整用の調整用撮影動画を保存し、前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように設定する、目視検査方法である。
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整するのが一般的である。分解能向上処理は複数のパラメータを組み合わせた複雑なアルゴリズムとなっている。通常は、それらのパラメータを調整するのは容易ではない。パラメータ調整を行うには分解能向上処理を熟知している検査員が対応する必要がある。
一方、検査環境によっては、想定される画像劣化要因は複数ある。それぞれの画像劣化は常に生じているとは限らない。ある画像劣化が生じていない動画に対して、その画像劣化の補償に感度を持つパラメータを調整することは難しい。例えば、ノイズがほとんど無い動画を用いてデフォーカスや低解像度による画像劣化の補償のパラメータ調整を行うことは有効であるが、ノイズによる画像劣化の補償のパラメータ調整には適切ではない。その結果、分解能向上処理後の視認性が不十分となる可能性がある。
これらのパラメータ調整には、適切な調整用の動画を用いて視認性を確認しながら調整することが望ましい。
そこで本発明では、画像劣化要因毎に異なる調整用撮影動画を用いてパラメータ調整を行う。例えば、画像劣化要因はノイズ、形状変化、デフォーカスがある。それぞれに対応して、カメラにノイズが生じている状態で撮影したノイズ動画、カメラを移動しながら検査対象物を撮影したカメラ移動動画、カメラのフォーカスがずれた状態で撮影したデフォーカス動画を用いる。また、各画像劣化の補償に感度を持つパラメータは定まっているので、そのパラメータ毎にどの撮影動画を調整に用いるかを関係付けて設定する。また、調整に使用する撮影動画を調整用撮影動画として保存する。また、分解能向上処理に使用された検査条件と分解能向上処理の結果を検査後にも確認できるように、検査条件と処理前の撮影動画と処理後の高解像動画とを保存する。
これにより、検査条件を、画像劣化要因毎に、容易に調整し視認性を確認することが可能となる。
(8)上記課題を解決する方法の他の例を挙げるならば、前記出力ステップは検査条件と高解像動画とを表示する表示ステップを有し、前記合成ステップは高解像動画の評価値を算出し、前記表示ステップは検査条件と評価値とを関係付けて表示する、目視検査方法である。
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整する。パラメータの調整毎に新たな検査条件が設定され、新たな高解像動画が作成されることになる。結果として多数の検査条件と超解像動画が存在し、それらを同時に確認することは困難である。よって、どの高解像動画が最も視認性の良いものかを判断することは容易ではない。また、各高解像動画がどのような検査条件で作成されたものかを管理することも必要である。
そこで本発明では、高解像動画を合成した際にその高解像動画の評価値を算出する。その評価値は、例えば、(2)で述べたn01の定義に使用する、Yk−G1(G4(X)) の値を用いると良い。形状変化の影響を無視すればこの値が小さいほど画像劣化を補償した高解像動画が作成されたことになる。よって、カメラ移動が小さい場合には、視認性が良い高解像動画が作成されていることが期待できる。また、この評価値と高解像動画とそれに使用した検査条件とをモニタに表示する。
これにより、表示された高解像動画と検査条件とを関連付けて確認できるとともに、同時に表示された評価値によって高解像動画の視認性の良し悪しを判断する上で参考とすることが可能となる。
(9)上記課題を解決する構成の例を挙げるならば、対象物を撮影して撮影動画を取得する撮影手段と、形状変化とデフォーカスと低解像度とノイズとを含む画像劣化過程から使用する二つ以上の画像劣化過程を選択し、画像劣化要因過程を定義する検査条件を入力する入力手段と、検査条件を用いて撮影動画から高解像動画を作る合成手段と、動画と検査条件を出力する出力手段とを有する、目視検査装置である。
(1)〜(8)では、分解能向上処理を導入するために生じる課題を解決するための方法について複数の例を述べたが、それらの方法を実施するのに有効と思われる装置構成の一例について以下で説明する。
まず検査対象物を撮影する手段を設ける。撮影手段には例えば、光学カメラを使用すると良い。
カメラを対象物に近づけられない場合に生じる低解像度、及びその他に生じる場合があるノイズ、形状変化、デフォーカス等による画像劣化を補償するために分解能向上処理を施す。ここで、分解能向上処理の度合いを調整するのに必要な検査条件を入力可能な入力手段を設ける。入力手段は、例えば、モニタに入力用GUIを設けて、キーボード、マウス等で入力可能とすると良い。入力する検査条件は複数のパラメータからなる。各画像劣化の補償に感度を持つパラメータは定まっているので、画像劣化過程と対応するパラメータを関連付けてGUI上に配置する。即ち、ノイズの画像劣化過程に対しては正常範囲と重みづけとのパラメータを対応付けし、形状変化に対しては誤差許容値パラメータを対応付けし、デフォーカスに対しては分散値パラメータを対応付けし、低解像度に対しては解像度倍率パラメータを対応付けする。さらに各画像劣化過程についてそれを使用するか否か選択可能なスイッチをGUI上に設ける。
また、入力手段で設定された検査条件を用いて撮影手段で取得した撮影動画に対して分解能向上処理を施し高解像動画を作成する合成手段を設ける。合成手段は、例えば、演算処理器を含むコンピュータから成り、撮影手段、入力手段、出力手段との通信・制御も行う。この合成手段において、入力された検査条件で定義される画像劣化モデルに基づいて分解能向上処理を行う。
さらに、動画と検査条件とを出力する出力手段を設ける。出力手段は、例えば、HDD等の保存装置やモニタ等の表示装置から成る。HDDには撮影動画及び高解像動画と検査条件とを保存する。撮影動画には調整用撮影動画を含み、検査条件調整に使用できるよう画像劣化過程と関連付けておく。高解像動画は使用した検査条件を確認できるように関連付けておく。モニタは入力手段のモニタと共用であっても良い。モニタには高解像動画を表示しユーザが検査するために提供する。また、検査条件を一緒に表示しても良い。また、撮影動画を一緒に表示しても良い。また、合成手段で算出した評価値を一緒に表示しても良い。これにより分解能向上処理に用いた検査条件、分解能向上処理の目視効果、分解能向上処理の数値評価結果をユーザが確認することが可能となる。
以上の構成により、検査対象物の動画を取得して行う目視検査で想定される画像劣化を適切に補償した高解像動画を得ることが可能となる。
本発明によれば、複数の画像劣化が発生する場合でも、それらの画像劣化を補償し、視認性の良い高解像動画を用いた検査が可能となった。
目視検査装置の基本的な手順の例を示す図である。 分解能向上処理の基本的な概念の例を示す図である。 放射線環境下の構造物を対象とした分解能向上処理の基本的な概念の例を示す図である。 画像劣化過程の選択方法の例を示す図である。 放射線ノイズパラメータの定義方法の例を示す図である。 形状変化パラメータの定義方法の例を示す図である。 デフォーカスパラメータの定義方法の例を示す図である。 低解像度パラメータの定義方法の例を示す図である。 目視検査方法の発展的な手順の例を示す図である。 検査前調整ステップの詳細なフローチャートの例である。 検査ステップの詳細なフローチャートの例である。 再確認ステップの詳細なフローチャートの例である。 画像劣化過程と調整用動画との対応関係を設定する方法の例を示す図である。 検査前調整ステップでの画面表示の例を示す図である。 検査前調整ステップの別の詳細なフローチャートの例である。 再確認ステップの別の詳細なフローチャートの例である。 動画出力ステップの表示の例を示す図である。 評価値グラフの拡大図の例である。 目視検査装置の基本的な構成の例を示す図である。 検査条件入力手段の例を示す図である。 モニタへの表示の例を示す図である。 画像劣化過程の選択方法の例を示す図である。 検査条件定義方法の例を示す図である。 モニタへの出力の例を示す図である。
以下、実施例を図面を用いて説明する。
本実施例では、二つ以上の画像劣化過程から使用する画像劣化過程を選択し、画像劣化過程を定義する検査条件を入力する入力ステップと、対象物を撮影して撮影動画を取得する撮影ステップと、検査条件を用いて撮影動画から高解像動画を作る合成ステップと、動画と検査条件を出力する出力ステップとを有する目視検査方法を説明する。
特許文献1に記載されている方法が対象としている画像劣化要因である低解像度の場合は、カメラの画素数が不十分なため画像の高周波成分が失われてしまう。一方、前述のように、検査対象によっては目視検査の動画には、低解像度以外にも画像劣化が生じている場合がある。例えば、ノイズ、形状変化、デフォーカス、異物、カメラ劣化等である。ノイズの場合は、例えばカメラの電子回路に生じる熱によって対応する画素の値が異常となる。形状変化の場合は、検査対象物とカメラとの相対的な位置姿勢の変化に伴い、連続した複数のフレーム間で検査対象物に見かけ上の伸縮や歪が生じる。デフォーカスの場合は、画像の高周波成分が失われてぼやけてしまう。異物には上方から落下する水滴、水中で下方から浮上する気泡、周囲に浮遊する塵、カメラレンズに付着する汚れ等があり、いずれの場合も検査対象物が局所的に遮蔽されてしまう。カメラ劣化の場合は、放射線等でカメラの電子回路が損傷し、対応する画素の値が異常となる。
本発明では、複数の画像劣化要因に対応する分解能向上処理を提供する。対象とする画像劣化要因の一つであるノイズは、ランダムに発生するものであり、ランダムに発生する画像劣化の補償には統計的な手法を用いることが望ましい。そこで、実測データから未知の量を統計的に推定する手法として一般的に知られている、MAP(Maximum A Posteriori)推定手法を導入する。まず、次式により複数の撮影画像に対して最大事後確率を満たす高解像画像を求めることを考える。
Figure 0006159227
X:高解像画像ベクトル
Yk:k番目の撮影画像ベクトル
P(X|Yk):Ykに対してXが発生する事後確率
これを変換すると次式となる。
Figure 0006159227
P(Yk|X):Xに対してYkが発生する事後確率
P(X):Xが発生する確率
この最小化問題を満たすXを1回の演算で求めることは困難であるため、次式に基づき反復演算を行うと良い。
Figure 0006159227
Xn:n回目の復元結果
ε:1より小さい適切な値
本発明では、複数の画像劣化要因に対応するため、画像劣化モデルであるP(Yk|X)を次式のように複数の画像劣化過程の関数で定義することとする。
Figure 0006159227
Gi:i番目の画像劣化過程
ここで、複数の画像劣化は常に発生するとは限らない。例えば、カメラに冷却機構等のハード的なノイズ対策を施している場合は、ノイズという画像劣化要因を考慮する必要が無い。また、カメラを概ね静止させた状態で使用する場合には、形状変化という画像劣化要因を考慮する必要が無い。また、カメラをジャストフォーカスで使用する場合には、デフォーカスという画像劣化要因を考慮する必要が無い。また、良く管理された検査環境で水滴、気泡、塵、汚れ等が無い場合には、異物という画像劣化要因を考慮する必要が無い。また、カメラに対する放射線照射の恐れが無い検査環境の場合には、カメラ劣化という画像劣化要因を考慮する必要が無い。
本発明では、前式の各画像劣化過程について使用するか否かを選択可能とする。これにより、各画像劣化要因の有無に応じて適切な分解能向上処理を施すことが可能となる。
例えば、使用する画像劣化過程として低解像度とノイズとを選択した場合を説明する。撮影画像はばらつきを有しており正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、画像劣化モデルをノイズのばらつきと正常範囲のばらつきとの項に分けて次式で表すこととする。
Figure 0006159227
Vk:正常範囲度合いベクトル
n00:正常範囲の確率分布
n01:ノイズの確率分布
高解像画像に低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
Figure 0006159227
G1:低解像度による画像劣化過程
G2:ノイズによる画像劣化過程
また、分解能向上処理を用いる場合、分解能向上の度合いをパラメータで調整するのが一般的である。パラメータの調整具合によっては、分解能向上処理後の動画において十分な視認性が得られるとは限らない。
本発明では、前式の関数は撮影画像ベクトルYとパラメータ値の関数で定義することとし、パラメータ値は検査条件として入力することとする。これにより、各画像劣化の程度に応じて適切な分解能向上処理を施すことが可能となる。また、必要が無い画像劣化過程を使用しない選択をすれば、対応するパラメータを調整する手間を省くことも可能となる。
本発明では、動画データと検査条件との両方をモニタやHDD等に出力することとする。
図1は目視検査方法の基本的な手順を示す。まず画像劣化過程選択ステップ101で使用する画像劣化過程をユーザが選択する。次に、検査条件入力ステップ102で分解能向上処理のパラメータをユーザが入力する。次に、動画入力ステップ103で検査対象物を撮影して撮影動画を取得する。次に高解像動画作成ステップ104で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ105で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ103から動画出力ステップ105は終了ステップ106を選択するまで繰り返す。次に終了ステップ107が選択されなければ画像劣化過程選択ステップ101に戻り、必要に応じて使用する画像劣化過程をユーザが選択しなおす。終了ステップ107が選択されれば手順終了になる。
図2は分解能向上処理の基本的な概念を示す。本分解能向上処理では、画像劣化モデル201をカメラ撮像時の複数の画像劣化過程の関数で定義する。高解像動画X202は、例えば画像劣化過程の一つである低解像度G1203によって解像度の低い低解像画像204に変換される。さらにノイズG2205によってノイズが重畳された撮像画像Y206に変換される。分解能向上処理207は画像劣化モデル201から導いた劣化復元式208に基づいて反復演算を行い、高解像動画を作成する。ここで撮像動画Y206の連続するkフレームを分解能向上処理に用いる。
図16Aは画像劣化過程の選択方法の例を示す。本発明では画像劣化過程選択手段1601を設ける。選択手段上には画像劣化過程の選択肢として、例えば、形状変化1602とデフォーカス1603と低解像度1604とノイズ1605と異物1606とカメラ劣化1607とを含む。各過程を使用するか否かをそれぞれのチェックボックス1608で選択可能とする。ユーザが分解能向上処理に使用する画像劣化過程に対応するチェックボックスをチェックすることでその画像劣化過程が選択される。
図16Bは検査条件定義方法の例を示す。本発明では検査条件定義手段1609を設ける。定義手段上には形状変化パラメータとして、例えば形状変化パラメータ11610、形状変化パラメータ21611を含む。同様に、デフォーカスパラメータ11612、デフォーカスパラメータ21613、低解像度パラメータ11614、低解像度パラメータ21615、ノイズパラメータ11616、ノイズパラメータ21617、異物パラメータ11618、異物パラメータ21619、カメラ劣化パラメータ11620、カメラ劣化パラメータ21621も含む。各パラメータの値は入力ボックス1622やスライドバー1623で設定可能とする。ユーザが入力ボックス1622に値を入力またはスライドバー1623を動かすことでパラメータの値が入力される。入力されたパラメータを用いて画像劣化過程の関数が算出される。また、画像劣化過程選択で選択されなかった画像劣化過程のパラメータについては、インアクティブ表示にして調整の手間を省くようにしても良い。
図17はモニタへの出力の例を示す。表示画面1701上には撮像動画1702と高解像動画1703と画像劣化過程選択手段1601と検査条件定義手段1609とを表示する。画像劣化過程選択手段1601の構成は図16Aの説明と同様であり、検査条件定義手段1609の構成は図16Bの説明と同様である。
これにより、複数の画像劣化がある動画について適切な分解能向上処理を選択して施し、視認性の向上を図ることが可能となる。また、高解像動画データと使用した検査条件を関連付けて確認することが可能となる。
本実施例では、前記対象物が放射線環境下の構造物であり、前記画像劣化要因は形状変化とデフォーカスと低解像度と放射線ノイズとを含む目視検査方法を説明する。
前記実施例1では、分解能向上処理を導入するために生じる課題を解決するための枠組みについて述べたが、その中でも原子力プラントなど、遠隔操作で放射線環境下における検査で特に有効と思われる方法の一例について以下で説明する。原子力プラント内の構造物を検査する場合は、低解像度に加えて主に以下の三つの画像劣化要因を考慮する必要がある。カメラには遠隔操作して撮影箇所を移動できる機能が付いているため、形状変化も考慮する必要がある。また、原子力プラント内は立体的で複雑な構造であり、カメラを設置できる領域が限られることもあり、ジャストフォーカスで使用できるとは限らない場合もあるため、デフォーカスも考慮する必要がある。また、放射線が多い環境で行われるため、放射線ノイズを考慮する必要がある。
本実施例では、上述の画像劣化要因に対応するため、分解能向上処理を形状変化とデフォーカスと低解像度と放射線ノイズとに対応する画像劣化過程の関数で定義することとする。
形状変化は画像上で発生している箇所とそうでない箇所がある。そこで形状変化による画像劣化過程を定義するため、画像劣化モデルを形状変化部と形状保存部との項に分けて次式で表すこととする。
Figure 0006159227
Wk:形状保存度合いベクトル
n0:形状保存部の確率分布
n1:形状変化部の確率分布
また形状保存部であってもばらつきを有しており、正常範囲内のものとノイズによるものとがある。ノイズによる画像劣化過程を定義するため、形状保存部をノイズのばらつきと正常範囲のばらつきとの項に分けて画像劣化モデルを次式で表すこととする。
Figure 0006159227
Vk:正常範囲度合いベクトル
n00:形状保存部の正常範囲の確率分布
n01:形状保存部のノイズの確率分布
形状保存部においては、高解像画像にデフォーカスと低解像度とノイズとによる画像劣化過程を加えたものが撮影画像になることから、n01を次式で定義する。
Figure 0006159227
G1:低解像度による画像劣化過程
G2:ノイズによる画像劣化過程
G4:デフォーカスによる画像劣化過程
形状変化部においては、高解像動画に形状変化による画像劣化過程を加えたものが撮影画像になることから、n1を次式で定義する。
Figure 0006159227
G3:形状変化による画像劣化過程
図3は放射線環境下の構造物を対象とした分解能向上処理の基本的な概念を示す。本分解能向上処理では、画像劣化モデル201をカメラ撮像時の複数の画像劣化過程の関数で定義する。高解像動画X202は、画像劣化過程の一つである形状変化G3301によってフレーム間で局所的な歪が生じる。次に画像劣化過程の一つであるデフォーカスG4302によってぼやけてデフォーカス動画303に変換される。その次に画像劣化過程の一つである低解像度G1203によって解像度の低い低解像動画204に変換される。さらに画像劣化過程の一つであるノイズG2205によってノイズが重畳され撮像動画Y206に変換される。分解能向上処理207は画像劣化モデル201から導いた劣化復元式208に基づいて反復演算を行い、高解像動画を作成する。ここで撮像動画Y206は連続するkフレームを扱う。
図4は画像劣化過程の選択方法の例を示す。本発明では画像劣化過程選択手段401を設ける。選択手段上には画像劣化過程の選択肢として、形状変化402とデフォーカス403と低解像度404とノイズ405とを含む。各過程を使用するか否かをそれぞれのチェックボックス406で選択可能とする。ユーザが分解能向上処理に使用する画像劣化過程に対応するチェックボックスをチェックすることでその画像劣化過程が選択される。
以上により、遠隔操作でかつ放射線環境下で想定される画像劣化を補償した分解能向上処理が可能となる。
本実施例では、前記検査条件は放射線ノイズの定義に用いられる、正常範囲度合いパラメータと通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含む目視検査方法を説明する。
前記実施例2では、放射線ノイズによる画像劣化過程の定義には、正常範囲度合いベクトルVkと形状保存部の放射線ノイズの確率分布n01とを画像劣化モデル式に用いることを述べた。さらにVkとn01の定義に用いるパラメータについて以下で説明する。
Vkは、当該画素がエッジであれば大きくなり、エッジでなければ小さくなる関数で定義することが望ましい。本実施例では、当該画素にエッジ抽出フィルタを適用しその抽出値の関数でVkを定義することとする。エッジ抽出フィルタには、例えば、一般的に知られているキャニー法を用いると良い。キャニー法ではエッジ抽出の感度をフィルタに用いるガウシアンの標準偏差値で調整する。そこでこの標準偏差値をVkの定義に用いるパラメータとする。
n01は放射線ノイズの確率分布である。通常のノイズの確率分布はガウス分布で近似できる。しかしながら放射線ノイズは通常のノイズとは異なり、放射線が照射された画素値は大きな値をとる確率が高く、ガウス分布では近似できない。そこで、通常ノイズ確率分布と非通常ノイズ確率分布との重み付き合成でn01を定義することとする。非通常ノイズ確率分布は例えば一様分布が好ましい。放射線ノイズの近似度合は重みで調整できるため、この重みをn01の定義に用いるパラメータとする。
図5は放射線ノイズパラメータの定義方法の例を示す。本実施例では放射線ノイズ定義手段501を設ける(図5(a))。定義手段上には放射線ノイズパラメータとして、標準偏差値σ502、重みw503を含む。各パラメータの値を入力ボックス504やスライドバー505で設定可能とする。ユーザが入力ボックス504に値を入力またはスライドバー505を動かすことでパラメータの値が入力される。入力された標準偏差値σ502に応じてエッジ抽出フィルタに用いるガウシアン506の形状が定義される(図5(c))。このエッジ抽出フィルタで算出されたエッジ度507に応じてVkの定義関数508から正常範囲度合Vk509が算出される(図5(b))。また、入力された重みw503に応じて通常ノイズ確率分布510と非通常ノイズ確率分布511との重み付き合成で放射線ノイズの確率分布n01512が定義される(図5(d))。
以上のパラメータを検査条件に用いることにより、放射線ノイズによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
本実施例では、前記検査条件は形状変化の定義に用いられる、誤差許容値パラメータを含む目視検査方法を説明する。
前記実施例2では、形状変化による画像劣化過程の定義には、形状保存度合いベクトルWkと形状変化部の確率分布n1とを画像劣化モデル式に用いることを述べた。さらにWkとn1の定義に用いるパラメータについて以下で説明する。
Wkは、撮影動画の複数のフレームの当該画素間で誤差が大きければ小さくなる関数で定義することが望ましい。例えば、一般に知られているbiweight関数を用いると良い。biweight関数では誤差の感度を誤差の許容値で調整する。そこでこの誤差許容値をWkの定義に用いるパラメータとする。
n1は形状変化部の確率分布である。形状変化部の確率分布はXに依存しないと考えられる。そこで、一様分布でn1を定義することとする。
図6は形状変化パラメータの定義方法を示す。本発明では形状変化定義手段601を設ける(図6(a))。定義手段上には形状変化パラメータとして、誤差許容値a602を含む。各パラメータの値を入力ボックス603やスライドバー604で設定可能とする。ユーザが入力ボックス603に値を入力またはスライドバー604を動かすことでパラメータの値が入力される。入力された標準偏差値a602に応じてWkの定義関数605から形状保存度合Wk606が算出される(図6(b))。
以上のパラメータを検査条件に用いることにより、形状変化による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
本実施例では、前記検査条件はデフォーカスの定義に用いられる、分散値パラメータを含む目視検査方法を説明する。
前記実施例2では、デフォーカスによる画像劣化過程を画像劣化モデル式に用いることを述べた。デフォーカスの定義に用いるパラメータについて以下で説明する。
デフォーカスは、画像の高周波成分が失われる現象でありローパス関数で定義するのが望ましい。例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。そこでこの分散値をデフォーカスの定義に用いるパラメータとする。
図7はデフォーカスパラメータの定義方法を示す。本発明ではデフォーカス定義手段701を設ける(図7(a))。定義手段上には形状変化パラメータとして、分散値d702を含む。各パラメータの値を入力ボックス703やスライドバー704で設定可能とする。ユーザが入力ボックス703に値を入力またはスライドバー704を動かすことでパラメータの値が入力される。入力された分散値d702に応じてデフォーカスの定義関数705が定義される(図7(b))。
以上のパラメータを検査条件に用いることにより、デフォーカスによる画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
本実施例では、前記検査条件は低解像度の定義に用いられる、解像度倍率パラメータを含む目視検査方法を説明する。
前記実施例2では、低解像度による画像劣化過程を画像劣化モデル式に用いることを述べた。低解像度の定義に用いるパラメータについて以下で説明する。
低解像度は、カメラの画素数が不十分なため画像が粗く量子化されてしまう現象でありローパス関数とサンプリング数で定義するのが望ましい。ローパス関数は、例えば、一般的に使用される正規分布を用いると良い。正規分布ではローパス特性を分散の大きさで調整する。サンプリング数は解像度倍率で決まる。そこでこの分散値と解像度倍率を低解像度の定義に用いるパラメータとする。
図8は低解像度パラメータの定義方法の例を示す。本発明では低解像度定義手段801を設ける(図8(a))。定義手段上には低解像度パラメータとして、分散値σ802、解像度倍率r803を含む。各パラメータの値を入力ボックス804やスライドバー805で設定可能とする。ユーザが入力ボックス804に値を入力またはスライドバー805を動かすことでパラメータの値が入力される。入力された分散値σ802に応じてローパス関数806の形状が定義される(図8(b))。また、入力された解像度倍率r803と高解像動画の画素数HD807から撮像動画のサンプリング数SD808が算出される(図8(c))。
以上のパラメータを検査条件に用いることにより、低解像度による画像劣化の補償具合を適切に調整した分解能向上処理が可能となる。
本実施例では、前記出力ステップは検査条件と撮影動画と高解像動画とを保存する保存ステップを有し、前記保存ステップは検査条件調整用の調整用撮影動画を保存し、前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように設定する目視検査方法を説明する。
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整するのが一般的である。分解能向上処理は複数のパラメータを組み合わせた複雑なアルゴリズムとなっている。通常は、それらのパラメータを調整するのは容易ではない。パラメータ調整を行うには分解能向上処理を熟知している検査員が対応する必要がある。
一方、検査環境によっては、想定される画像劣化要因は複数ある。それぞれの画像劣化は常に生じているとは限らない。ある画像劣化が生じていない動画に対して、その画像劣化の補償に感度を持つパラメータを調整することは難しい。例えば、ノイズがほとんど無い動画を用いてデフォーカスや低解像度による画像劣化の補償のパラメータ調整を行うことは有効であるが、ノイズによる画像劣化の補償のパラメータ調整には適切ではない。その結果、分解能向上処理後の視認性が不十分となる可能性がある。
これらのパラメータ調整には、適切な調整用の動画を用いて視認性を確認しながら調整することが望ましい。
そこで本実施例では、画像劣化要因毎に異なる調整用撮影動画を用いてパラメータ調整を行う。例えば、画像劣化要因はノイズ、形状変化、デフォーカスがある。それぞれに対応して、カメラにノイズが生じている状態で撮影したノイズ動画、カメラを移動しながら検査対象物を撮影したカメラ移動動画、カメラのフォーカスがずれた状態で撮影したデフォーカス動画を用いる。また、各画像劣化の補償に感度を持つパラメータは定まっているので、そのパラメータ毎にどの撮影動画を調整に用いるかを関係付けて設定する。また、調整に使用する撮影動画を調整用撮影動画として保存する。また、分解能向上処理に使用された検査条件と分解能向上処理の結果を検査後にも確認できるように、検査条件と処理前の撮影動画と処理後の高解像動画とを保存する。
図9Aは目視検査方法の発展的な手順を示す。目視検査の手順は大きく検査前調整ステップ901と検査ステップ902と再確認ステップ903とに分かれる。検査前調整ステップ901ではあらかじめ検査条件を調整しておく。検査ステップ902では調整済みの検査条件を用いて検査を行う。再確認ステップ903では必要に応じて検査条件を再調整して再度確認を行う。
図9Bは検査前調整ステップ901の詳細を示す。まず画像劣化過程選択ステップ101で使用する画像劣化過程をユーザが選択する。次に調整用動画選択ステップ904で調整に使う動画を選択する。次に、検査条件入力ステップ102で分解能向上処理のパラメータをユーザが入力する。次に、動画入力ステップ103で選択した調整用動画を入力する。次に高解像動画作成ステップ104で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ105で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ103から動画出力ステップ105は終了ステップ106を選択するまで繰り返す。次に終了ステップ107が選択されなければ画像劣化過程選択ステップ101に戻り、必要に応じて使用する画像劣化過程をユーザが選択しなおす。終了ステップ107が選択されれば検査条件保存ステップ905で入力した検査条件を保存し手順終了になる。ここで調整用動画選択ステップ904では、前ステップの画像劣化選択ステップ101で選択した画像劣化過程に対応した調整用動画を選択する。画像劣化過程と調整用動画との対応関係はあらかじめ設定しておくものとする。
図9Cは検査ステップ902の詳細を示す。動画入力ステップ103で検査対象物を撮影して撮影動画を取得する。次に高解像動画作成ステップ104で保存済みの検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ105で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ103から高解像動画出力ステップ105は終了ステップ106を選択するまで繰り返す。ここで動画出力ステップ105は保存ステップ906を有し、撮像動画を保存することを可能とする。保存された撮像動画は調整用動画として使用することも可能とする。
図9Dは再確認ステップ903の詳細を示す。まず画像劣化過程選択ステップ101で使用する画像劣化過程をユーザが必要に応じて再選択する。次に、検査条件入力ステップ102で分解能向上処理のパラメータをユーザが必要に応じて再入力する。次に、動画入力ステップ103で保存済みの撮像動画を入力する。次に高解像動画作成ステップ104で検査条件を用いて撮影動画から高解像動画を作る。次に動画出力ステップ105で高解像動画と検査条件をモニタやHDD等に出力する。動画入力ステップ103から動画出力ステップ105は終了ステップ106を選択するまで繰り返す。次に終了ステップ107が選択されなければ画像劣化過程選択ステップ101に戻り、使用する画像劣化過程をユーザが選択しなおす。終了ステップ107が選択されれば検査条件保存ステップ905で再入力した検査条件を保存し手順終了になる。
図10Aは画像劣化過程と調整用動画との対応関係を設定する方法の一例を示す。各画像劣化過程1001について調整に適した調整動画1002を対応させる。また、各調整画像を識別し易いようにそれぞれの検査情報1003を付帯させることも好ましい。例えば、形状変化の調整に適した調整動画は構造物走査動画であり、その動画の検査情報は配管12/06/02という名称で識別できるようになっている。
図10Bは検査前調整ステップ901での画面表示の例を示す。表示画面1004上には撮像動画1005と高解像動画1006と調整用動画設定1007とを表示する。調整用動画設定1007の構成は図10Aの説明と同様である。例えば、画像劣化過程選択ステップ101で画像劣化過程として放射線ノイズを選択した場合は、調整用動画選択ステップ904においてこの調整用動画設定1007を参照して放射線ノイズ動画を選択する。
これにより、検査条件を、画像劣化要因毎に、容易に調整し視認性を確認することが可能となる。
本実施例では、前記出力ステップは検査条件と高解像動画とを表示する表示ステップを有し、前記合成ステップは高解像動画の評価値を算出し、前記表示ステップは検査条件と評価値とを関係付けて表示する目視検査方法を説明する。
前述のように、分解能向上処理を用いる場合、画像劣化の補償具合をパラメータで調整する。パラメータの調整毎に新たな検査条件が設定され、新たな高解像動画が作成されることになる。結果として多数の検査条件と超解像動画が存在し、それらを同時に確認することは困難である。よって、どの高解像動画が最も視認性の良いものかを判断することは容易ではない。また、各高解像動画がどのような検査条件で作成されたものかを管理することも必要である。
そこで本発明では、高解像動画を合成した際にその高解像動画の評価値を算出する。その評価値は、例えば、実施例2で述べたn01の定義に使用する、Yk−G1(G4(X)) の値を用いると良い。形状変化の影響を無視すればこの値が小さいほど画像劣化を補償した高解像動画が作成されたことになる。よって、カメラ移動が小さい場合には、視認性が良い高解像動画が作成されていることが期待できる。また、この評価値と高解像動画とそれに使用した検査条件とをモニタに表示する。
図11Aは検査前調整ステップ901の別の詳細の例を示す。基本的には図9Bと同様であるが、高解像動画作成ステップ104は評価値を算出する。また、動画出力ステップ105は表示ステップ1101を有し、評価値と高解像動画と検査条件とを表示することを可能とする。
図11Bは再確認ステップ901の別の詳細の例を示す。基本的には図9Dと同様であるが、高解像動画作成ステップ104は評価値を算出する。また、動画出力ステップ105は表示ステップ1101を有し、評価値と高解像動画と検査条件とを表示することを可能とする。
図12Aは動画出力ステップ105の表示の例を示す。表示手段1201上には撮像動画1202と高解像動画1203と評価値グラフ1204とを有している。図12Bは評価値グラフ1204の拡大図を示す。評価値グラフ1204は複数の検査条件を識別する検査条件No.1205を横軸に表示し、各検査条件での評価値1206を縦軸に表示し、評価値の推移を折れ線グラフ1207で表示する。
これにより、表示された高解像動画と検査条件とを関連付けて確認できるとともに、同時に表示された評価値によって高解像動画の視認性の良し悪しを判断する上で参考とすることが可能となる。
本実施例では、対象物を撮影して撮影動画を取得する撮影手段と、形状変化とデフォーカスと低解像度とノイズとを含む画像劣化過程から使用する二つ以上の画像劣化過程を選択し、画像劣化要因過程を定義する検査条件を入力する入力手段と、検査条件を用いて撮影動画から高解像動画を作る合成手段と、動画と検査条件を出力する出力手段とを有する目視検査装置を説明する。
実施例1乃至実施例8では、分解能向上処理を導入するために生じる課題を解決するための方法について複数の例を述べたが、それらの方法を実施するのに有効と思われる装置構成の一例について以下で説明する。
まず検査対象物を撮影する手段を設ける。撮影手段には例えば、光学カメラを使用すると良い。
カメラを対象物に近づけられない場合に生じる低解像度、及びその他に生じる場合があるノイズ、形状変化、デフォーカス等による画像劣化を補償するために分解能向上処理を施す。ここで、分解能向上処理の度合いを調整するのに必要な検査条件を入力可能な入力手段を設ける。入力手段は、例えば、モニタに入力用GUIを設けて、キーボード、マウス等で入力可能とすると良い。入力する検査条件は複数のパラメータからなる。各画像劣化の補償に感度を持つパラメータは定まっているので、画像劣化過程と対応するパラメータを関連付けてGUI上に配置する。即ち、ノイズの画像劣化過程に対しては正常範囲と重みづけとのパラメータを対応付けし、形状変化に対しては誤差許容値パラメータを対応付けし、デフォーカスに対しては分散値パラメータを対応付けし、低解像度に対しては解像度倍率パラメータを対応付けする。さらに各画像劣化過程についてそれを使用するか否か選択可能なスイッチをGUI上に設ける。
また、入力手段で設定された検査条件を用いて撮影手段で取得した撮影動画に対して分解能向上処理を施し高解像動画を作成する合成手段を設ける。合成手段は、例えば、演算処理器を含むコンピュータから成り、撮影手段、入力手段、出力手段との通信・制御も行う。この合成手段において、入力された検査条件で定義される画像劣化モデルに基づいて分解能向上処理を行う。
さらに、動画と検査条件とを出力する出力手段を設ける。出力手段は、例えば、HDD等の保存装置やモニタ等の表示装置から成る。HDDには撮影動画及び高解像動画と検査条件とを保存する。撮影動画には調整用撮影動画を含み、検査条件調整に使用できるよう画像劣化過程と関連付けておく。高解像動画は使用した検査条件を確認できるように関連付けておく。モニタは入力手段のモニタと共用であっても良い。モニタには高解像動画を表示しユーザが検査するために提供する。また、検査条件を一緒に表示しても良い。また、撮影動画を一緒に表示しても良い。また、合成手段で算出した評価値を一緒に表示しても良い。これにより分解能向上処理に用いた検査条件、分解能向上処理の目視効果、分解能向上処理の数値評価結果をユーザが確認することが可能となる。
図13は目視検査装置の基本的な構成を示す。目視検査装置1301は撮影手段1302と入力手段1303と合成手段1304と出力手段1305とからなる。撮影手段1302は例えばCCDカメラから成り、検査対象を撮影し撮像動画を取得する。撮像動画は合成手段に伝送される。入力手段は例えばモニタ1306とキーボード1307とマウス1308とから成り、モニタ1306上に検査条件入力手段を表示しキーボード1307とマウス1308とを用いてユーザーが検査条件を入力可能とし、検査条件は合成手段に伝送される。合成手段1304は例えばPCから成り、撮像動画に対して検査条件を用いて分解能向上処理を施し高解像動画を作成する。撮像動画と高解像動画と検査条件とは出力手段1305に伝送される。また合成手段1304は検査装置全体を司り、撮影手段1302、入力手段1303、出力手段1305との通信・制御も行う。出力手段1305は例えばモニタ1309とHDD1310とから成り、モニタ1309は撮像動画と高解像動画と検査条件とを表示し、HDD1310は撮像動画と高解像動画と検査条件とを保存する。また、前述の検査前調整ステップや再確認ステップでは、HDD1310は撮像動画と検査条件とを必要に応じて合成手段1304に伝送する。なおモニタ1306とモニタ1309は共通化しても良い。
図14は前述の検査条件入力手段の例を示す。検査条件入力手段1401は画像劣化過程選択手段401とパラメータ入力手段1402とから成る。画像劣化過程選択手段401の構成及び動作は図4で説明したものと同様である。パラメータ入力手段1402は検査条件No.入力手段1403とノイズ定義手段501と形状変化定義手段601とデフォーカス定義手段701低解像度定義手段801とから成る。検査条件No.入力手段1403は複数の検査条件を識別するための番号をユーザが入力可能とする。またそれぞれの定義手段の構成及び動作は図5〜7で説明したものと同様である。
図15は前述のモニタ1309への表示の例を示す。表示手段1201上には撮像動画1501と高解像動画1502と拡張表示欄1503と条件入力ボタン1504と画像選択ボタン1505と評価値ボタン1506とを設ける。ユーザが条件入力ボタンを押した場合は、拡張表示欄1503に図14で示したような検査条件入力手段1401を表示する。ユーザが画像選択ボタンを押した場合は、図10Bに示したように拡張表示欄1503に調整用動画設定1007を表示する。ユーザが評価値ボタンを押した場合は、図12Aに示したように拡張表示欄1503に評価値グラフ1204を表示する。それぞれの動作は図14、10B、12で示したのと同様である。
以上の構成により、検査対象物の動画を取得して行う目視検査で想定される画像劣化を適切に補償した高解像動画を得ることが可能となる。
101…画像劣化過程選択ステップ、
102…検査条件入力ステップ、
103…撮影動画入力ステップ、
104…高解像動画作成ステップ、
105…高解像動画出力ステップ、
106…終了ステップ、
107…終了ステップ、
201…画像劣化モデル、
202…高解像動画X、
203…低解像度G1、
204…低解像動画、
205…ノイズG2、
206…撮像動画Y、
207…分解能向上処理、
208…劣化復元式、
301…形状変化G3、
302…デフォーカスG4、
303…デフォーカス動画、
401…画像劣化過程の選択手段、
402…形状変化、
403…デフォーカス、
404…低解像度、
405…ノイズ、
406…チェックボックス、
501…放射線ノイズ定義手段、
502…標準偏差値σ、
503…重みw、
504…入力ボックス、
505…スライドバー、
506…ガウシアン、
507…エッジ度、
508…Vkの定義関数、
509…正常範囲度合Vk、
510…通常ノイズ確率分布、
511…非通常ノイズ確率分布、
512…放射線ノイズの確率分布n01、
601…形状変化定義手段、
602…誤差許容値a、
603…入力ボックス、
604…スライドバー、
605…Wkの定義関数、
606…形状保存度合Wk、
701…デフォーカス定義手段、
702…分散値d、
703…入力ボックス、
704…スライドバー、
705…G3の定義関数、
801…低解像度定義手段、
802…分散値σ、
803…解像度倍率r、
804…入力ボックス、
805…スライドバー、
806…ローパス関数、
807…高解像動画の画素数HD、
808…撮像動画のサンプリング数SD、
901…検査前調整ステップ、
902…検査ステップ、
903…再確認ステップ、
904…調整用動画選択ステップ、
905…検査条件保存ステップ、
906…保存ステップ、
1001…画像劣化過程、
1002…調整動画、
1003…検査情報、
1004…表示画面、
1005…撮像動画、
1006…高解像動画、
1007…調整用動画設定、
1101…表示ステップ、
1201…表示手段、
1202…撮像動画、
1203…高解像動画、
1204…評価値グラフ、
1205…検査条件No.、
1206…評価値、
1207…折れ線グラフ、
1301…目視検査装置、
1302…撮影手段、
1303…入力手段、
1304…合成手段、
1305…出力手段、
1306…モニタ、
1307…キーボード、
1308…マウス、
1309…モニタ、
1310…HDD、
1401…検査条件入力手段、
1402…パラメータ入力手段、
1403…検査条件No.入力手段、
1501…撮像動画、
1502…高解像動画、
1503…拡張表示欄、
1504…条件入力ボタン、
1505…画像選択ボタン、
1506…評価値ボタン、
1601…画像劣化過程の選択手段、
1602…形状変化、
1603…デフォーカス、
1604…低解像度、
1605…ノイズ、
1606…異物、
1607…カメラ劣化、
1608…チェックボックス、
1609…検査条件定義手段、
1610…形状変化パラメータ1、
1611…形状変化パラメータ2、
1612…デフォーカスパラメータ1、
1613…デフォーカスパラメータ2、
1614…低解像度パラメータ1、
1615…低解像度パラメータ1、
1616…ノイズパラメータ1、
1617…ノイズパラメータ2、
1618…異物パラメータ1、
1619…異物パラメータ2、
1620…カメラ劣化パラメータ1、
1621…カメラ劣化パラメータ2、
1622…入力ボックス、
1623…スライドバー、
1701…表示画面、
1702…撮像動画、
1703…高解像動画。

Claims (9)

  1. 複数の画像劣化過程から使用する画像劣化過程を選択し、選択した前記画像劣化過程を定義する検査条件を入力する入力ステップと、
    検査対象物を撮影して撮影動画を取得する撮影ステップと、
    前記検査条件を用いて前記撮影動画から高解像動画を作成する合成ステップと、
    前記撮影動画、前記高解像動画、及び前記検査条件を出力する出力ステップとを有することを特徴とする目視検査方法。
  2. 前記検査対象物が放射線環境下の構造物であり、
    前記画像劣化過程は形状変化デフォーカス低解像度、及び放射線ノイズとを含むことを特徴とする請求項1に記載の目視検査方法。
  3. 前記検査条件は前記放射線ノイズの定義に用いられる正常範囲度合いパラメータ、及び通常ノイズ確率分布と非通常ノイズ確率分布との重み付けパラメータとを含むことを特徴とする請求項2に記載の目視検査方法。
  4. 前記検査条件は前記形状変化の定義に用いられる誤差許容値パラメータを含むことを特徴とする請求項に記載の目視検査方法。
  5. 前記検査条件は前記デフォーカスの定義に用いられる分散値パラメータを含むことを特徴とする請求項に記載の目視検査方法。
  6. 前記検査条件は前記低解像度の定義に用いられる解像度倍率パラメータを含むことを特徴とする請求項に記載の目視検査方法。
  7. 前記出力ステップは前記検査条件、前記撮影動画、及び前記高解像動画を保存する保存ステップを更に有し、
    前記保存ステップは検査条件調整用の調整用撮影動画を更に保存するステップであり、
    前記入力ステップは画像劣化要因毎に調整用撮影動画を関係付けるように更に設定するステップであることを特徴とする請求項1乃至6のいずれかの請求項に記載の目視検査方法。
  8. 前記出力ステップは前記検査条件、及び前記高解像動画を表示する表示ステップを更に有し、
    前記合成ステップは前記高解像動画の評価値を更に算出するステップであり、
    前記表示ステップは前記検査条件と前記評価値とを関係付けて前記評価値を更に表示するステップであることを特徴とする請求項1乃至7のいずれかの請求項に記載の目視検査方法。
  9. 検査対象物を撮影して撮影動画を取得する撮影手段と、
    形状変化デフォーカス低解像度、及びノイズを含む画像劣化過程から使用する複数の画像劣化過程を選択し、選択した前記画像劣化過程を定義する検査条件を入力する入力手段と、
    前記検査条件を用いて前記撮影動画から高解像動画を作成する合成手段と、
    前記撮影動画、前記高解像動画、及び前記検査条件を出力する出力手段とを有することを特徴とする目視検査装置。
JP2013225736A 2013-10-30 2013-10-30 目視検査方法およびその装置 Active JP6159227B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013225736A JP6159227B2 (ja) 2013-10-30 2013-10-30 目視検査方法およびその装置
PCT/JP2014/077566 WO2015064373A1 (ja) 2013-10-30 2014-10-16 目視検査方法およびその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013225736A JP6159227B2 (ja) 2013-10-30 2013-10-30 目視検査方法およびその装置

Publications (3)

Publication Number Publication Date
JP2015087238A JP2015087238A (ja) 2015-05-07
JP2015087238A5 JP2015087238A5 (ja) 2016-11-04
JP6159227B2 true JP6159227B2 (ja) 2017-07-05

Family

ID=53003982

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013225736A Active JP6159227B2 (ja) 2013-10-30 2013-10-30 目視検査方法およびその装置

Country Status (2)

Country Link
JP (1) JP6159227B2 (ja)
WO (1) WO2015064373A1 (ja)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9736346B2 (en) * 2006-05-09 2017-08-15 Stereo Display, Inc Imaging system improving image resolution of the system with low resolution image sensor
JP5057839B2 (ja) * 2007-04-27 2012-10-24 株式会社東芝 構造物の目視検査装置およびその検査方法
JP5164754B2 (ja) * 2008-09-08 2013-03-21 株式会社日立ハイテクノロジーズ 走査型荷電粒子顕微鏡装置及び走査型荷電粒子顕微鏡装置で取得した画像の処理方法
JP5645052B2 (ja) * 2010-02-12 2014-12-24 国立大学法人東京工業大学 画像処理装置
JP5602530B2 (ja) * 2010-07-29 2014-10-08 日立Geニュークリア・エナジー株式会社 目視検査装置及び目視検査用映像の作成方法
JP5745438B2 (ja) * 2012-02-15 2015-07-08 日立Geニュークリア・エナジー株式会社 検査方法および検査装置

Also Published As

Publication number Publication date
WO2015064373A1 (ja) 2015-05-07
JP2015087238A (ja) 2015-05-07

Similar Documents

Publication Publication Date Title
Köhler et al. Toward bridging the simulated-to-real gap: Benchmarking super-resolution on real data
JP2007189589A (ja) 情報処理装置および情報処理方法、学習装置および学習方法、並びにプログラム
Molina et al. Bayesian multichannel image restoration using compound Gauss-Markov random fields
JP6236259B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10229481B2 (en) Automatic defective digital motion picture pixel detection
JP2007503605A (ja) 画像処理のための画像プロセッサ及び方法
US20200167885A1 (en) Image processing apparatus, image processing system, imaging apparatus, image processing method, and storage medium
JP2017045166A (ja) ワークの処理方法、基準画像の作成方法、基準画像の作成装置、ワークの処理装置、プログラム、及び記録媒体
JP2010134700A (ja) 画像評価装置および画像評価方法
JP2009294170A (ja) 欠陥検出装置、欠陥検出方法、欠陥検出プログラム、及び、記録媒体
KR101760639B1 (ko) 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법
Du et al. The spatial resolution enhancement for a thermogram enabled by controlled subpixel movements
JP5745438B2 (ja) 検査方法および検査装置
JP5657141B2 (ja) 液体媒体中の乱流の影響を含む画像データの処理
JP6242742B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP6159227B2 (ja) 目視検査方法およびその装置
US7705305B2 (en) Sample observation method and transmission electron microscope
JP2007201572A (ja) 学習装置および学習方法、信号処理装置および信号処理方法、並びにプログラム
JP2008287329A (ja) 画像評価装置、および画像評価プログラム
JP2005017136A (ja) 光学系評価装置
JP2018067868A (ja) 撮像装置
JP2011114537A (ja) 画像処理装置
JP2011003124A (ja) 画像処理装置および画像処理プログラム
JP5907659B2 (ja) 検査方法
JP2012068761A (ja) 画像処理装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170606

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170609

R150 Certificate of patent or registration of utility model

Ref document number: 6159227

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150