JP6991600B2 - 画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体 - Google Patents

Description

本発明は、被写界深度が深い全視野画像を得ることが可能な画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体に関する。

微小な計測対象物を観察するために光学顕微鏡がよく使われている。光学顕微鏡の視野は、倍率が高ければ高いほど狭くなり、広い奥行き範囲の観測を実現するために、レンズの焦点を頻繁に調節する必要がある。

レンズの焦点距離を調節することにより、異なる焦点距離の写真を複数枚撮影し、レンズ焦点法という三次元画像計測の原理に基づいて計測対象物表面の三次元写真を生成することができる。しかし、高精度にレンズの焦点距離を調節する必要があるので、コストが高い。また、レンズの電動調節機能がついている顕微鏡は体積が大きく、重量が重いので、通常は実験室に設置されており、現場に持って行って、現場で使用するのは困難である。

最近、例えば特許文献１に記載のような干渉法に基づく顕微鏡を用いた三次元形状計測方法が提案されている。また、特許文献２に記載のような複数の拡大倍率の異なる写真による合成手法も提案されている。

特開２０１８－４０６４４号公報 特開２０１４－２１９６２３号公報

上記特許文献１に記載の三次元形状計測方法では、光学システムの構成が複雑であるという問題がある。また、上記特許文献２に記載の合成手法では、レンズの拡大倍率の調節や分光システムを具備する必要がある。

そこで、本発明においては、撮影領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を得ることが可能な画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体を提供することを目的とする。

本発明の画像計測システムは、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、計測用画像生成手段により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段とを含むものである。

本発明の画像計測方法は、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影すること、計算機により、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成すること、計算機により、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成することを含むことを特徴とする。

これらの発明によれば、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成することができる。

また、本発明の画像計測システムは、計測対象物に照明する照明装置と、照明装置により計測対象物に照明する連続または不連続なリング状の照明パターンを生成する照明パターン生成手段とを含むものであることが望ましい。これにより、照明パターン生成手段により生成された照明パターンに基づいて照明装置を制御し、計測対象物の必要な部分に必要な照度の照明を加えることができる。

また、本発明の画像計測システムは、全視野画像生成手段により生成された全視野画像の合成誤差を生じている画素の色強度値を補正する全視野画像補正手段を含むものであることが望ましい。これにより、全視野画像生成手段により生成された全視野画像の画素の不連続や欠損などの不自然な部分を滑らかにすることができる。

また、本発明の画像計測システムは、計測対象物の表面の三次元座標が分かる三次元画像を生成する三次元画像生成手段を含むものであることが望ましい。これにより、計測対象物の表面形状の三次元画像を得ることができる。

また、本発明の画像計測システムは、三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含むものであることが望ましい。これにより、三次元画像生成手段により生成された三次元画像の不連続や欠損などの不自然な部分を滑らかにすることができる。

本発明の画像計測システムは、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、計測用画像生成手段により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段としてコンピュータを機能させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の画像計測システムと同様の作用、効果を奏することができる。

（１）イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する構成により、低廉なイメージセンサおよび可変焦点レンズを用いて被写界深度が深い全視野画像を得ることが可能となる。

（２）計測対象物に照明する照明装置と、照明装置により計測対象物に照明する連続または不連続なリング状の照明パターンを生成する照明パターン生成手段とを含む構成により、計測対象物の必要な部分に必要な照度の照明を加えて、計測対象物の写真撮影の際に生じるハイライトや反射不足などの問題を解決することができる。

（３）全視野画像生成手段により生成された全視野画像の合成誤差を生じている画素の色強度値を補正する全視野画像補正手段を含む構成により、全視野画像生成手段により生成された全視野画像の画素の不連続や欠損などの不自然な部分を滑らかにすることができ、自然な全視野画像が得られる。

（４）計測対象物の表面の三次元座標が分かる三次元画像を生成する三次元画像生成手段を含む構成により、計測対象物の表面形状の三次元画像を得ることができる。

（５）三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含む構成により、三次元画像生成手段により生成された三次元画像の不連続や欠損などの不自然な部分を滑らかにすることができ、自然な三次元画像が得られる。

本発明の実施の形態における画像計測システムの概略構成図である。 図１の照明装置の下面の発光部分の説明図である。 図１の画像計測システムのブロック図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 図１の画像計測システムによる計測の流れを示すフロー図である。 図８のステップＳ１０１の処理の詳細を示すフロー図である。 異なる焦点距離画像による全視野画像生成のイメージ図である。 各焦点距離の計測用画像から鮮明に撮影された画素を抽出するイメージ図である。 全視野画像補正のイメージ図である。 本実施形態における画像計測システムによる全視野画像および三次元画像の生成例を示す図である。

図１は本発明の実施の形態における画像計測システムの概略構成図、図２は図１の照明装置の下面の発光部分の説明図、図３は図１の画像計測システムのブロック図である。

図１において、本実施形態における画像計測システムは、計測対象物Ｘの顕微鏡写真を撮影するカメラ装置１と、計測対象物に照明する照明装置２と、各部の制御や演算処理等を行うパーソナルコンピュータ（ＰＣ）などの計算機３と、計算機３とカメラ装置１との通信ケーブル４などより構成される。なお、計算機３とカメラ装置１との通信は、通信ケーブル４に代えて、Wi-Fi（商標）、Bluetooth（商標）や赤外線などの無線通信を用いることも可能である。

カメラ装置１は、イメージセンサ１Ａおよび可変焦点レンズ１Ｂを有する。イメージセンサ１Ａは、照明装置２により照明した計測対象物Ｘを可変焦点レンズ１Ｂを介して撮影するものである。可変焦点レンズ１Ｂは、電気信号により焦点距離を変化させることが可能な電動レンズや液体レンズなどのレンズである。本実施形態においては、カメラ装置１は顕微鏡である。

照明装置２は、計測対象物Ｘの表面の凹凸の全ての面に照明するため、下面に図２に示すように複数の発光部２Ａ～２Ｈがリング状に配設されたものである。各発光部２Ａ～２Ｈには、ＬＥＤ（Light Emitting Diode）等の素子が用いられている。各発光部２Ａ～２Ｈは、それぞれ独立に点灯、消灯および明るさ調節が可能となっている。

計算機３は、本発明の実施の形態における画像計測プログラムを実行することにより、図３に示す照明パターン生成手段１０、撮影手段１１、計測用画像生成手段１２、全視野画像生成手段１３、全視野画像補正手段１４、三次元画像生成手段１５、三次元画像補正手段１６、キャリブレーション手段１７、計測結果出力手段１８および記憶手段１９として機能するコンピュータである。画像計測プログラムは、コンピュータ読み取り可能な記録媒体により計算機１に読み取られ、実行される。

［照明パターン生成手段１０］
照明パターン生成手段１０は、照明装置２の各発光部２Ａ～２Ｈの点灯、消灯および明るさ調節により、本実施形態における顕微鏡計測に必要な照明パターン、例えば、図４～図７に示すような連続または不連続なリング状の照明パターンを生成するものである。照明パターン生成手段１０により生成するデフォルトの照明パターンは、すべての発光部２Ａ～２Ｈを全点灯する全照明パターンである。

なお、計測対象物Ｘの反射が強い場合、デフォルトの全照明パターンではハイライトを生じやすい。また、写真撮影の際、ハイライトのところで画像が飽和しやすく、反射の弱い部分や形状により反射光がイメージセンサ１に届きにくい部分では光量不足が生じやすいという問題がある。これらの問題を解決するために、本実施形態においては、図４～図７のような照明パターンを使用する。図４～図７での各図において、白い部分は点灯、灰色部分は消灯を意味する。

図４の例は、（Ａ）～（Ｄ）に示すように、照明装置２のリング状に配置された全ての発光部２Ａ～２Ｈを２つずつ２つおきに順番に点灯、すなわち全体の１／４ずつを順番に点灯する照明パターンである。（Ａ）では発光部２Ｇ、２Ｈを点灯し、発光部２Ａ～２Ｆを消灯する。（Ｂ）では発光部２Ａ，２Ｂを転送し、発光部２Ｃ～２Ｈを消灯する。（Ｃ）では発光部２Ｃ，２Ｄを点灯し、発光部２Ａ，２Ｂ，２Ｅ～２Ｈを消灯する。（Ｄ）では発光部２Ｅ，２Ｆを点灯し、発光部２Ａ～２Ｄ，２Ｇ，２Ｈを消灯する。

図５の例は、（Ａ）～（Ｄ）に示すように、全ての発光部２Ａ～２Ｈを６つずつ２つおきに順番に点灯、すなわち全体の３／４ずつを順番に点灯する照明パターンである。（Ａ）では６つの発光部２Ａ～２Ｆを点灯し、２つの発光部２Ｇ，２Ｈを消灯する。（Ｂ）では６つの発光部２Ｃ～２Ｈを点灯し、２つの発光部２Ａ，２Ｂを消灯する。（Ｃ）では６つの発光部２Ｅ～２Ｈ，２Ａ，２Ｂを点灯し、２つの発光部２Ｃ，２Ｄを消灯する。（Ｄ）では６つの発光部２Ａ～２Ｄ，２Ｇ，２Ｈを点灯し、２つの発光部２Ｅ，２Ｆを消灯する。

図６の例は、（Ａ），（Ｂ）に示すように、全ての発光部２Ａ～２Ｈの対向する２つずつを交互に点灯、すなわち全体の対面する１／２の部分を２つずつ点灯する照明パターンである。（Ａ）では対向するそれぞれ２つの発光部２Ａ，２Ｂと発光部２Ｅ，２Ｆとを消灯し、対向するそれぞれ２つの発光部２Ｃ，２Ｄと発光部２Ｇ，２Ｈとを点灯する。（Ｂ）では対向するそれぞれ２つの発光部２Ｃ，２Ｄと発光部２Ｇ，２Ｈとを消灯し、対向するそれぞれ２つの発光部２Ａ，２Ｂと発光部２Ｅ，２Ｆとを点灯する。

図７の例は、（Ａ），（Ｂ），・・・，（Ｈ）に示すように、全ての発光部２Ａ～２Ｈを１つずつ順番に点灯、すなわち全体の１／８ずつを順番に点灯する照明パターンである。（Ａ）では１つの発光部２Ｈを点灯し、残りの発光部２Ａ～２Ｇを消灯する。（Ｂ）では１つの発光部２Ａを点灯し、残りの発光部２Ｂ～２Ｈを消灯する。（Ｈ）では１つの発光部２Ｇを点灯し、残りの発光部２Ｈ，２Ａ～２Ｆを消灯する。

［撮影手段１１］
撮影手段１１は、カメラ装置１を用いて計測対象物Ｘに対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が深い写真を撮影する。撮影手段１１は、可変焦点レンズ１Ｂの焦点距離をＮ回変更し、各焦点距離において、照明パターン生成手段１０で生成した照明パターンを用い、一枚もしくはＭ枚の写真を撮影する。

撮影手段１１は、まずデフォルトの全照明パターンを用い、計測対象物Ｘの写真を一枚撮影する。撮影手段１１は、この写真の色強度分布を解析し、画素のＲＧＢ各チャンネルにおける強度分布を計算し、飽和や不足があるかどうかを判断する。撮影手段１１は、飽和と不足がほとんどなく、強度変化が大体線形的に分布している状態であれば計測に使えると判断し、この焦点距離での写真撮影がこの一回で完了する。

なお、光沢の強い計測対象物Ｘの場合、写真にはハイライトが生じやすい。ハイライトが生じた場合には、全照明パターンで撮影した画像は、色強度の飽和や不足が生じやすく、計測に使いにくくなることが多い。そこで、全照明パターンで撮影した画像が計測に使いにくいと判断された場合には、撮影手段１１は、前述の図４から図７までの照明パターンを選び、照明パターンを変更しながら写真撮影を行う。

撮影手段１１は、図４～図７のような照明パターンを用いて写真撮影を行う場合、（Ａ）～（Ｈ）のそれぞれで１枚ずつ、計Ｍ枚の画像を撮影する。すなわち、撮影手段１１は、Ｎ個の焦点距離において、合計Ｎ×Ｍ枚の撮影画像を得る。これらのＭ枚の写真は、異なる方向から照明しているので、計測対象物Ｘの表面のどの部分にも色強度の飽和と不足が生じにくいので、計測に使えることが保証される。すなわち、本実施形態における画像計測システムでは、照明パターン生成手段１０により生成した照明パターンと上記撮影手段１１の融合により、計測対象物Ｘの写真撮影の際に生じるハイライトや反射不足などの問題を解決することができる。

［計測用画像生成手段１２］
計測用画像生成手段１２は、撮影手段１１により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する。撮影手段１１において各焦点距離（各焦点ｎ）の写真撮影が一回だけの場合、計測用画像生成手段１２は、この撮影写真を各焦点距離（各焦点ｎ）の計測用画像とする。計測用画像生成手段１２は、各焦点距離でＭ枚の写真が撮影された場合、ハイライトにより生じた飽和を防ぐために、画像の色強度値が高域限界と呼ばれるある閾値を超えた画素は使用しない。同様に、色強度値の不足を防ぐために、画像の色強度値が低域限界と呼ばれるある閾値を下回った画素は使用しない。

すなわち、計測用画像生成手段１２は、撮影手段１１においてＭ枚の写真が撮影された場合、それらのＭ枚の撮影写真において、各画素のＲＧＢチャンネルの色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を取って、各画素の色強度値とする。計測用画像生成手段１２は、こうして生成した画像を各焦点ｎの計測用画像とする。

［全視野画像生成手段１３］
全視野画像生成手段１３は、計測用画像生成手段１２により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する。顕微鏡を用いて計測対象物Ｘの写真を撮影する際、計測表面物Ｘの奥行き変化がある場合には、異なる焦点距離に対して、焦点が合う部分しか鮮明に撮影できず、焦点が合わない部分はぼやけており鮮明に撮影できない。

そこで、全視野画像生成手段１３では、計測用画像生成手段１２により得られた各焦点距離におけるＮ枚の計測用画像を用い、各焦点距離の計測画像における一番鮮明に撮影された画素を抽出し、各焦点距離の計測用画像から抽出した鮮明な画素を足し合わせ、各画素が鮮明に撮影された被写界深度が深い全視野画像を生成する。

図１０は異なる焦点距離画像による全視野画像生成のイメージ図である。全視野画像生成手段１３は、図１０に示すような焦点距離が異なる複数の焦点ｎ（図示例では、ｎ＝１～５の５つの焦点）の計測用画像から全視野画像を生成する。以下、焦点ｎで撮影して生成した計測用画像を焦点ｎ画像と称す。例として、焦点１で撮影して生成した計測用画像（焦点１画像）では、鮮明に撮影された画素は灰色で表示された画素だけであり、他の白色で表示された画素は鮮明に撮影されてない。そこで、全視野画像生成手段１３は、焦点１画像から灰色で表示された画素だけを抽出し、焦点１鮮明画素とする。

焦点２画像では、鮮明に撮影された画素は格子状の模様で表示されている画素だけであり、他の白色で表示された画素は鮮明に撮影されてない。そこで、全視野画像生成手段１３は、焦点２画像から格子状模様で表示された画素だけを抽出し、焦点２鮮明画素とする。同様に、残りの焦点３～５の鮮明画素を抽出する。全視野画像生成手段１３は、すべての焦点１～５の画像から抽出した焦点１～５の鮮明画素を足し合わせ、全視野画像、すなわちすべての焦点距離にピントが合い、鮮明に撮影されたような全焦点画像を生成する。

次に、各焦点距離の計測用画像から、鮮明に撮影された画素を抽出する方法について説明する。各焦点距離の計測用画像では、焦点に合う部分の画素が鮮明に撮影され、焦点が合わない部分の画素がぼやけており、鮮明に撮影されていない。鮮明に撮影されている画素は、周辺の画素との差が、鮮明に撮影されてない部分より大きいので、この特徴により鮮明に撮影されている画素を抽出する。全視野画像生成手段１３は、まず、各焦点距離の計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化し、Ｎ枚の特徴強度画像とする。次に、各画素に対し、Ｎ枚の特徴強度画像から特徴強度の一番強い画像（焦点距離ｋである画像）の色強度値を選び、鮮明に撮影された画素の候補とする。

図１１は各焦点距離の計測用画像から鮮明に撮影された画素を抽出するイメージ図である。この例では、Ｎ＝５、すなわち焦点距離の異なる５枚の計測用画像があるとする。図１１は、上からそれぞれ焦点１の計測用画像である焦点１画像から焦点５の計測用画像である焦点５画像までの各画像のあるｙ座標（例えば、ｙ１）におけるｘ座標方向の正規化した特徴強度の分布を表している。ｘ座標（ｘ１）においては、焦点３画像の特徴強度の値が一番大きいので、焦点３画像のｘ座標（ｘ１）にある画素は鮮明に撮影された画素として抽出し、焦点３画像の座標（ｘ１，ｙ１）の画素の色強度値を全焦点画像の画像座標（ｘ１，ｙ１）の色強度値とする。

同様に、ｘ座標（ｘ２）においては、焦点４画像の特徴強度の値が一番大きいので、焦点４画像のｘ座標（ｘ２）にある画素は鮮明に撮影された画素として抽出し、焦点４画像の座標（ｘ２，ｙ１）の画素の色強度値を全焦点画像の画像座標（ｘ２，ｙ１）の色強度値とする。同様に、画像座標（ｘ３，ｙ１）は焦点１画像の座標（ｘ３，ｙ１）の色強度値、画像座標（ｘ４，ｙ１）は焦点２画像の座標（ｘ４，ｙ１）の色強度値、画像座標（ｘ５，ｙ１）)は焦点５画像の色強度値をそれぞれ用いる。

全視野画像生成手段１３は、このような処理により、すべての画素の色強度値をそれぞれの焦点距離の計測用画像から取得することができ、これらの取得した画素を足し合わせると、一枚の全視野画像、すなわちすべての焦点距離にピントが合い、すべての画素が鮮明に撮影されたような全焦点画像を生成することができる。

［全視野画像補正手段１４］
上記全視野画像生成手段１３により生成した全視野画像には、各焦点距離の計測用画像から抽出した鮮明に撮影された画素の不連続性や誤抽出などにより生じた全視野画像合成誤差がある。このような合成誤差を軽減するために、その合成誤差を生じている該当画素の色強度を補正することが望ましい。そこで、本実施形態においては、全視野画像生成手段１３により生成した全視野画像における画素に何らかの原因で欠損や異常が生じた場合、全視野画像補正手段１４によって、該当画素の周囲の画素の色強度値を用い、該当画素の色強度値を補正することにより、全視野画像生成手段１３により生成された全視野画像の画素の不連続や欠損などの不自然な部分を滑らかにする。

図１２は全視野画像補正のイメージ図である。図１２に示す例では、全視野画像生成手段１３により生成した全視野画像に何等かの原因により、３行２列の画素のところに欠損が存在し、画像の色強度が真っ黒になっている。各焦点距離の画像においても、真っ黒の画素はないので、この真っ黒の画素が欠損画素であることが分かる。全視野画像生成手段１３は、画素の色強度変化の連続性から、この画素の周りの８画素、すなわち左上、真上、右上、左、右、左下、真下および右下の画素の値を用い、この真っ黒の画素の色強度値を算出して補正する。

［三次元画像生成手段１５］
三次元画像生成手段１５、計測対象物Ｘの表面の三次元座標が分かる三次元画像を生成する。三次元画像生成手段１５は、各画素が鮮明に撮影されたときの焦点距離と、この鮮明に撮影された各画素に対応する計測対象物Ｘの表面の計測点の奥行きとの対応関係により、全視野画像の各画像の撮影時の焦点距離の値から各画素に対応する計測点の奥行き距離値を計算し、計測対象物Ｘの表面形状の三次元画像を生成する。三次元画像における各画素に対応する計測点の三次元座標は下記のように計算される。

ここで、（Ｘ，Ｙ，Ｚ）は計測される計測対象物Ｘの表面の計測点の三次元座標、（ｘ，ｙ）は該当計測点の全視野画像における画像座標、（Ｘ₀，Ｙ₀，Ｚ₀）は該当計測点の三次元座標の初期値、ｆは該当画素の写真撮影時の焦点距離、ｋ_x，ｋ_y，ｋ_fはレンズの焦点距離や計測用画像の画像座標と計測点の三次元座標との対応関係を示す係数である。

上記式１から分かるように、三次元画像生成手段１５により算出された計測対象物Ｘの表面の三次元座標のＸ値は画像座標のｘ値に、Ｙ値は画像座標のｙ値に、奥行き方向のＺ値は撮影する際の焦点距離ｆ値にそれぞれ線形的な関係を持つ。これにより、撮影した画像の画像座標（ｘ，ｙ）と撮影時の焦点距離ｆの値から、簡単に計測対象物Ｘの表面の三次元座標（Ｘ，Ｙ，Ｚ）を算出することができる。

［三次元画像補正手段１６］
三次元画像補正手段１６は、三次元画像生成手段１５により生成した三次元画像の座標値が異常な部分を補正する。前述のような全視野画像における画素の不連続や誤抽出などの欠損は、三次元画像を生成する際にも生じる。このような欠損の補正は、全視野画像補正と類似する手法を用いる。すなわち、三次元画像補正手段１６は、三次元座標の異変がある画素を除外し、周囲の画素の三次元座標を用い、その異変がある画素の三次元画像を補正する。例えば、三次元画像補正手段１６は、注目欠損画素の周囲の８近傍の画素の奥行き距離値を用い、その注目欠損画素の奥行き距離値を補正する。

［キャリブレーション手段１７］
キャリブレーション手段１７は、画像計測精度を向上するために、カメラ装置１のキャリブレーションを行う。ここでいうキャリブレーションは、主に（式１）におけるｋ_x，ｋ_y，ｋ_f およびＸ₀，Ｙ₀，Ｚ₀の値を求めることである。

［計測結果出力手段１８］
計測結果出力手段１８は、生成された全視野画像や三次元画像を、画像形式やＣＧ形式などのファイル形式で出力する。計測結果出力手段１８により出力されるファイルは、本実施形態における画像計測プログラムはもちろん、市販のソフトウエアやフリーソフトウエアなどでも閲覧可能である。

［記憶手段１９］
記憶手段１９は、主に計算機１の内蔵メモリや、ＳＳＤ（ソリッドステートドライブ）やＨＤＤ（ハードディスクドライブ）などのデータ保存装置により構成される。図３に示すように、記憶手段１９は、主に照明パターン生成手段１０、撮影手段１１、計測用画像生成手段１２、全視野画像生成手段１３、全視野画像補正手段１４、三次元画像生成手段１５、三次元画像補正手段１６、キャリブレーション手段１７および計測結果出力手段１８により、照明装置２とカメラ装置１の制御、カメラ装置１により撮影画像の取り込みと画像処理、処理結果の保存と出力、カメラ装置１のキャリブレーションなどに利用される。

図８は図１の画像計測システムによる計測の流れを示すフロー図である。計測にはまず計測対象物Ｘをカメラ装置１の可変焦点レンズ１Ｂの下に設置する（Ｓ１００）。続いて、撮影手段１１はカメラ装置１によりテスト撮影を行い、計測対象物Ｘの反射特性を調べ、計測のために焦点距離が異なる各焦点ｎにおいてデフォルトの全照明の状態で一枚の写真撮影で十分かどうかを判断する。一枚の全照明画像が十分でない場合は、必要な照明パターンと必要な撮影枚数Ｍを決定する（Ｓ１０１）。

次に、撮影手段１１は可変焦点レンズ１Ｂの焦点距離を調節し、各焦点距離ｎでの撮影を準備する（Ｓ１０２）。撮影手段１１は各焦点距離ｎにおいてデフォルトの全照明パターンで一枚の写真を撮影するか照明パターンを変更しながらＭ枚の画像を撮影する（Ｓ１０３）。カメラ装置１は撮影した一枚もしくはＭ枚の写真を計算機３に送信し（Ｓ１０４）、計算機３は計測用画像生成手段１２により各焦点ｎの計測用画像を生成する（Ｓ１０５）。

その後、計測に必要な全ての焦点距離での撮影が終わったかどうかを調べ（Ｓ１０６）、終わっていない場合は、可変焦点レンズ１Ｂの焦点距離を調節することにより撮影のための焦点ｎを更新し（Ｓ１０７）、新たな写真撮影を準備する（Ｓ１０２）。必要な写真撮影が全部終わった場合、全視野画像生成手段１３により計Ｎ枚の各焦点距離の被写界深度が浅い計測用画像に基づき、被写界深度が深い全視野画像を生成する（Ｓ１０８）。また、全視野画像を生成する際に、画素の欠損などの問題が生じる可能性があるため、必要に応じて全視野画像補正手段１４により全視野画像を補正する（Ｓ１０９）。

また、計算機３は、三次元画像生成手段１５により、各焦点距離で撮影した写真の各画素の鮮明度と撮影時の焦点距離との対応関係より、各画素の三次元座標における奥行き距離値を算出し、三次元画像を生成する（Ｓ１１０）。なお、前述の全視野画像補正と同じ理由により、必要に応じて三次元画像補正手段１６により三次元画像を補正する（Ｓ１１１）。最後に、計測結果を画像方式やテキスト方式などの方式で出力する（Ｓ１１２）。

図９は図８のステップＳ１０１の照明パターンと撮影枚数Ｍを決定する処理の詳細を示すフロー図である。まず、デフォルトの全照明パターンを生成し、計測対象物Ｘを照明する（Ｓ２００）。このデフォルト照明において写真撮影し（Ｓ２０１）、カメラ装置１から計算機３に画像を送信する（Ｓ２０２）。計算機では、このデフォルト照明写真を解析し、計測に適した画像かどうかを判断する（Ｓ２０３）。

このとき、ハイライトや照明不足なところが存在せず、計測に適した画像であると判断されれば、計測用の照明パターンをデフォルトの全照明パターンとし、各焦点距離での計測に必要な撮影回数を１回とする（Ｓ２０５）。当該画像にハイライトや照明不足なところが存在する場合は、この画像が計測に適してないと判断し、照明パターンを更新し（Ｓ２０３）、異なる方向と異なる明るさの照明環境での画像を複数枚撮影し、一枚の計測に適した画像を生成する。これらの照明パターンを計測に必要な照明パターンとし、撮影回数は各焦点距離での計測に必要な撮影回数Ｍとする（Ｓ２０５）。

図１３は本実施形態における画像計測システムによる全視野画像および三次元画像の生成例を示す図である。計測対象物は同図（Ａ）に示すネジの先端部分であり、計測範囲は横幅２ｍｍ程度である。

図１３（Ｂ）～（Ｄ）は計測用画像生成手段１２により生成された３つの異なる焦点距離画像であり、（Ｂ）は背景が鮮明に撮影された画像、（Ｃ）は中央部分が鮮明に撮影された画像、（Ｄ）は前景が鮮明に撮影された画像である。図１３（Ｅ）は、これらの３つの異なる焦点距離画像から全視野画像生成手段１３により生成された全視野画像である。図１４（Ｆ）は三次元画像生成手段１５により生成された三次元画像である。

以上のように、本実施形態における画像計測システムでは、イメージセンサ１Ａおよび可変焦点レンズ１Ｂを有するカメラ装置１を用いて計測対象物Ｘに対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する構成により、低廉なイメージセンサおよび可変焦点レンズを用いて被写界深度が深い全視野画像を得ることが可能となる。例えば、本実施形態における画像計測システムは、カメラ装置１として廉価なハンディ型などの小型顕微鏡を用い、照明装置２として廉価なＬＥＤ照明を用いることができ、体積が小さく、重量が軽い、現場での使用も容易なシステムを実現できる。

本発明の画像計測システム、画像計測方法、画像計測プログラムおよび記録媒体は、ハンディ型などの小型顕微鏡をカメラ装置として使用して、電化製品、ＩＣＴ機器、文物や工業製品などの表面の高精度な品質検査や欠損検査に適用できる。具体的な応用例としては、自動車の車体やタイヤのキズ、ヘコミ、塗装ムラや亀裂などの損傷検査、大型計測物の一部の精密検査、印刷基盤などの生産ラインにおける品質検査、スマートフォンの表面の微小キズのサイズと深さの検査、頭皮や皮膚などの精密検査、骨董などの鑑定、名画解析などに応用できる。

１ カメラ装置
１Ａ イメージセンサ
１Ｂ 可変焦点レンズ
２ 照明装置
３ 計算機
４ 通信ケーブル
１０ 照明パターン生成手段
１１ 撮影手段
１２ 計測用画像生成手段
１３ 全視野画像生成手段
１４ 全視野画像補正手段
１５ 三次元画像生成手段
１６ 三次元画像補正手段
１７ キャリブレーション手段
１８ 計測結果出力手段
１９ 記憶手段

Claims (11)

1. 計測対象物に照明する照明装置であり、複数の発光部がリング状に配設された照明装置と、
   前記照明装置の各発光部の点灯、消灯および明るさ調節により前記計測対象物に照明する連続または不連続なリング状の照明パターンを生成する照明パターン生成手段と
   イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて前記計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段であり、前記可変焦点レンズの焦点距離をＮ回変更し、各焦点距離において、前記照明パターン生成手段で生成した連続なリング状の照明パターンを用い、前記照明装置を全点灯する全照明パターンで一枚の写真を撮影し、合計Ｎ枚の撮影画像を得る、もしくは前記全照明パターンで撮影した画像に色強度の飽和または不足があり、計測に使いにくいと判断された場合に、前記照明パターン生成手段で生成した不連続なリング状の照明パターンを変更しながら当該不連続なリング状の照明パターンで計Ｍ枚の画像を撮影し、合計Ｎ×Ｍ枚の撮影画像を得る撮影手段と、
   前記撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段であり、前記撮影手段において各焦点距離の写真撮影が一回だけの場合、その撮影写真を前記各焦点距離の計測用画像とし、Ｍ枚の写真が撮影された場合、それらのＭ枚の撮影写真の各画素の色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を各画素の色強度の値として生成した画像を前記各焦点距離の計測用画像とする計測用画像生成手段と、
   前記計測用画像生成手段により生成された各焦点距離の計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化した特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と
   を含む画像計測システム。
2. 前記カメラ装置は、顕微鏡である請求項１記載の画像計測システム。
3. 前記全視野画像生成手段により生成された全視野画像の合成誤差を生じている画素の色強度値を補正する全視野画像補正手段を含む請求項１から２のいずれか１項に記載の画像計測システム。
4. 前記全視野画像補正手段は、前記合成誤差を生じている画素についてその周囲の画素の色強度値を用いて補正するものである請求項３記載の画像計測システム。
5. 計測対象物の表面の三次元座標が分かる三次元画像を生成する三次元画像生成手段を含む請求項１から４のいずれか１項に記載の画像計測システム。
6. 前記三次元画像生成手段は、各画素が鮮明に撮影されたときの焦点距離と、この各画素に映される計測対象物の表面の計測点の奥行きとの対応関係により、前記全視野画像の各画素の撮影時の焦点距離の値から各画素に対応する計測点の奥行き値を計算し、前記計測対象物の表面形状の三次元画像を生成するものである請求項５記載の画像計測システム。
7. 前記三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含む請求項５または６に記載の画像計測システム。
8. 前記三次元画像補正手段は、三次元座標の異変がある画素を除外し、周囲の画素の三次元座標を用い、その異変がある画素の三次元座標を補正するものである請求項７記載の画像計測システム。
9. イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影するに際し、前記可変焦点レンズの焦点距離をＮ回変更し、各焦点距離において、計測対象物に照明する照明装置であり、複数の発光部がリング状に配設された照明装置の各発光部の点灯、消灯および明るさ調節により前記計測対象物に照明する連続または不連続なリング状の照明パターンを生成する照明パターン生成手段で生成した連続なリング状の照明パターンを用い、前記照明装置を全点灯する全照明パターンで一枚の写真を撮影し、合計Ｎ枚の撮影画像を得る、もしくは前記全照明パターンで撮影した画像に色強度の飽和または不足があり、計測に使いにくいと判断された場合に、前記照明パターン生成手段で生成した不連続なリング状の照明パターンを変更しながら当該不連続なリング状の照明パターンで計Ｍ枚の画像を撮影し、合計Ｎ×Ｍ枚の撮影画像を得ること、
   計算機により、前記各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成するに際し、前記各焦点距離の写真撮影が一回だけの場合、その撮影写真を前記各焦点距離の計測用画像とし、Ｍ枚の写真が撮影された場合、それらのＭ枚の撮影写真の各画素の色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を各画素の色強度の値として生成した画像を前記各焦点距離の計測用画像とすること、
   計算機により、前記生成された各焦点距離の計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化した特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成すること
   を含む画像計測方法。
10. 計測対象物に照明する照明装置であり、複数の発光部がリング状に配設された照明装置と、
    前記照明装置の各発光部の点灯、消灯および明るさ調節により前記計測対象物に照明する連続または不連続なリング状の照明パターンを生成する照明パターン生成手段と
    イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて前記計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段であり、前記可変焦点レンズの焦点距離をＮ回変更し、各焦点距離において、前記照明パターン生成手段で生成した連続なリング状の照明パターンを用い、前記照明装置を全点灯する全照明パターンで一枚の写真を撮影し、合計Ｎ枚の撮影画像を得る、もしくは前記全照明パターンで撮影した画像に色強度の飽和または不足があり、計測に使いにくいと判断された場合に、前記照明パターン生成手段で生成した不連続なリング状の照明パターンを変更しながら当該不連続なリング状の照明パターンで計Ｍ枚の画像を撮影し、合計Ｎ×Ｍ枚の撮影画像を得る撮影手段と、
    前記撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段であり、前記撮影手段において各焦点距離の写真撮影が一回だけの場合、その撮影写真を前記各焦点距離の計測用画像とし、Ｍ枚の写真が撮影された場合、それらのＭ枚の撮影写真の各画素の色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を各画素の色強度の値として生成した画像を前記各焦点距離の計測用画像とする計測用画像生成手段と、
    前記計測用画像生成手段により生成された各焦点距離の計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化した特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と
    としてコンピュータを機能させるための画像計測プログラム。
11. 請求項１０に記載の画像計測プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images