JP7262800B2 - 三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体 - Google Patents

Description

本発明は、被写界深度が深い全視野画像を得て三次元画像を生成する三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体に関する。

微小な計測対象物を観察するために光学顕微鏡がよく使われている。光学顕微鏡の視野は、倍率が高ければ高いほど狭くなり、広い奥行き範囲の観測を実現するために、レンズの焦点を頻繁に調節する必要がある。

レンズの焦点距離を調節することにより、異なる焦点距離の写真を複数枚撮影し、レンズ焦点法という三次元画像計測の原理に基づいて計測対象物表面の三次元写真を生成することができる。しかし、高精度にレンズの焦点距離を調節する必要があるので、コストが高い。また、レンズの電動調節機能がついている顕微鏡は体積が大きく、重量が重いので、通常は実験室に設置されており、現場に持って行って、現場で使用するのは困難である。

最近、例えば特許文献１に記載のような干渉法に基づく顕微鏡を用いた三次元形状計測方法が提案されている。また、特許文献２に記載のような複数の拡大倍率の異なる写真による合成手法も提案されている。

特開２０１８－４０６４４号公報 特開２０１４－２１９６２３号公報

上記特許文献１に記載の三次元形状計測方法では、光学システムの構成が複雑であるという問題がある。また、上記特許文献２に記載の合成手法では、レンズの拡大倍率の調節や分光システムを具備する必要がある。

そこで、本発明においては、撮影領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を得て三次元画像を生成することが可能な三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体を提供することを目的とする。

本発明の三次元画像生成システムは、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、計測用画像生成手段により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と、全視野画像生成手段により生成された全視野画像の各画素に対応する計測対象物の表面の三次元世界座標を算出して三次元画像を生成する三次元画像生成手段とを含むものである。

本発明の三次元画像生成方法は、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影すること、計算機により、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成すること、計算機により、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成すること、計算機により、生成された全視野画像の各画素に対応する計測対象物の表面の三次元世界座標を算出して三次元画像を生成することを含むことを特徴とする。

これらの発明によれば、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成し、この生成された全視野画像の各画素に対応する計測対象物の表面の三次元世界座標を算出して三次元画像を生成し、計測対象物の表面形状の三次元画像を得ることができる。

また、本発明の三次元画像生成システムは、三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含むものであることが望ましい。これにより、三次元画像生成手段により生成された三次元画像の不連続や欠損などの不自然な部分を滑らかにすることができる。

本発明の三次元画像生成プログラムは、イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、計測用画像生成手段により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と、全視野画像生成手段により生成された全視野画像の各画素に対応する計測対象物の表面の三次元世界座標を算出して三次元画像を生成する三次元画像生成手段としてコンピュータを機能させるためのものである。このプログラムを実行したコンピュータによれば、上記本発明の三次元画像生成システムと同様の作用、効果を奏することができる。

（１）イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成し、生成された全視野画像の各画素に対応する計測対象物の表面の三次元世界座標を算出して三次元画像を生成する構成により、低廉なイメージセンサおよび可変焦点レンズを用いて被写界深度が深い全視野画像を得て計測対象物の表面形状の三次元画像を得ることが可能となる。

（２）三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含む構成により、三次元画像生成手段により生成された三次元画像の不連続や欠損などの不自然な部分を滑らかにすることができ、自然な三次元画像が得られる。

本発明の実施の形態における三次元画像生成システムの概略構成図である。 図１の照明装置の下面の発光部分の説明図である。 図１の三次元画像生成システムのブロック図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 照明パターンの一例を示す説明図である。 異なる焦点距離画像による全視野画像生成のイメージ図である。 各焦点距離の計測用画像から鮮明に撮影された画素を抽出するイメージ図である。 全視野画像補正のイメージ図である。 図１の三次元画像生成システムによる計測の流れを示すフロー図である。 図１１のステップＳ１０１の処理の詳細を示すフロー図である。 図１１のステップＳ１１０の処理の詳細を示すフロー図である。 図１の三次元画像生成システムにおいて計測用画像位置補正処理を行う場合の計測の流れを示すフロー図である。 本実施形態における三次元画像生成システムによる全視野画像および三次元画像の生成例を示す図である。

図１は本発明の実施の形態における三次元画像生成システムの概略構成図、図２は図１の照明装置の下面の発光部分の説明図、図３は図１の三次元画像生成システムのブロック図である。

図１において、本実施形態における三次元画像生成システムは、計測対象物５の顕微鏡写真を撮影するカメラ装置１と、計測対象物に照明する照明装置２と、各部の制御や演算処理等を行うパーソナルコンピュータ（ＰＣ）などの計算機３と、計算機３とカメラ装置１との通信ケーブル４などより構成される。なお、計算機３とカメラ装置１との通信は、通信ケーブル４に代えて、Wi-Fi（商標）、Bluetooth（商標）や赤外線などの無線通信を用いることも可能である。

カメラ装置１は、イメージセンサ１Ａおよび可変焦点レンズ１Ｂを有する。イメージセンサ１Ａは、照明装置２により照明した計測対象物５を可変焦点レンズ１Ｂを介して撮影するものである。可変焦点レンズ１Ｂは、電気信号により焦点距離を変化させることが可能な電動レンズや液体レンズなどのレンズである。本実施形態においては、カメラ装置１は顕微鏡である。

照明装置２は、計測対象物５の表面の凹凸の全ての面に照明するため、下面に図２に示すように複数の発光部２Ａ～２Ｈがリング状に配設されたものである。各発光部２Ａ～２Ｈには、ＬＥＤ（Light Emitting Diode）等の素子が用いられている。各発光部２Ａ～２Ｈは、それぞれ独立に点灯、消灯および明るさ調節が可能となっている。

計算機３は、本発明の実施の形態における画像計測プログラムを実行することにより、図３に示す照明パターン生成手段１０、撮影手段１１、計測用画像生成手段１２、全視野画像生成手段１３、全視野画像補正手段１４、三次元画像生成手段１５、三次元画像補正手段１６、キャリブレーション手段１７、計測結果出力手段１８、計測用画像位置調節手段１９および記憶手段２０として機能するコンピュータである。画像計測プログラムは、コンピュータ読み取り可能な記録媒体により計算機３に読み取られ、実行される。

［照明パターン生成手段１０］
照明パターン生成手段１０は、照明装置２の各発光部２Ａ～２Ｈの点灯、消灯および明るさ調節により、本実施形態における顕微鏡計測に必要な照明パターン、例えば、図４～図７に示すような連続または不連続なリング状の照明パターンを生成するものである。照明パターン生成手段１０により生成するデフォルトの照明パターンは、すべての発光部２Ａ～２Ｈを全点灯する全照明パターンである。

なお、計測対象物５の反射が強い場合、デフォルトの全照明パターンではハイライトを生じやすい。また、写真撮影の際、ハイライトのところで画像が飽和しやすく、反射の弱い部分や形状により反射光がイメージセンサ１Ａに届きにくい部分では光量不足が生じやすいという問題がある。これらの問題を解決するために、本実施形態においては、図４～図７のような照明パターンを使用する。図４～図７での各図において、白い部分は点灯、灰色部分は消灯を意味する。

図４の例は、（Ａ）～（Ｄ）に示すように、照明装置２のリング状に配置された全ての発光部２Ａ～２Ｈを２つずつ２つおきに順番に点灯、すなわち全体の１／４ずつを順番に点灯する照明パターンである。（Ａ）では発光部２Ｇ、２Ｈを点灯し、発光部２Ａ～２Ｆを消灯する。（Ｂ）では発光部２Ａ，２Ｂを点灯し、発光部２Ｃ～２Ｈを消灯する。（Ｃ）では発光部２Ｃ，２Ｄを点灯し、発光部２Ａ，２Ｂ，２Ｅ～２Ｈを消灯する。（Ｄ）では発光部２Ｅ，２Ｆを点灯し、発光部２Ａ～２Ｄ，２Ｇ，２Ｈを消灯する。

図５の例は、（Ａ）～（Ｄ）に示すように、全ての発光部２Ａ～２Ｈを６つずつ２つおきに順番に点灯、すなわち全体の３／４ずつを順番に点灯する照明パターンである。（Ａ）では６つの発光部２Ａ～２Ｆを点灯し、２つの発光部２Ｇ，２Ｈを消灯する。（Ｂ）では６つの発光部２Ｃ～２Ｈを点灯し、２つの発光部２Ａ，２Ｂを消灯する。（Ｃ）では６つの発光部２Ｅ～２Ｈ，２Ａ，２Ｂを点灯し、２つの発光部２Ｃ，２Ｄを消灯する。（Ｄ）では６つの発光部２Ａ～２Ｄ，２Ｇ，２Ｈを点灯し、２つの発光部２Ｅ，２Ｆを消灯する。

図６の例は、（Ａ），（Ｂ）に示すように、全ての発光部２Ａ～２Ｈの対向する２つずつを交互に点灯、すなわち全体の対面する１／２の部分を２つずつ点灯する照明パターンである。（Ａ）では対向するそれぞれ２つの発光部２Ｃ，２Ｄと発光部２Ｇ，２Ｈとを点灯し、対向するそれぞれ２つの発光部２Ａ，２Ｂと発光部２Ｅ，２Ｆとを消灯する。（Ｂ）では対向するそれぞれ２つの発光部２Ａ，２Ｂと発光部２Ｅ，２Ｆとを点灯し、対向するそれぞれ２つの発光部２Ｃ，２Ｄと発光部２Ｇ，２Ｈとを消灯する。

図７の例は、（Ａ），（Ｂ），・・・，（Ｈ）に示すように、全ての発光部２Ａ～２Ｈを１つずつ順番に点灯、すなわち全体の１／８ずつを順番に点灯する照明パターンである。（Ａ）では１つの発光部２Ｈを点灯し、残りの発光部２Ａ～２Ｇを消灯する。（Ｂ）では１つの発光部２Ａを点灯し、残りの発光部２Ｂ～２Ｈを消灯する。（Ｈ）では１つの発光部２Ｇを点灯し、残りの発光部２Ｈ，２Ａ～２Ｆを消灯する。

［撮影手段１１］
撮影手段１１は、カメラ装置１を用いて計測対象物５に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が深い写真を撮影する。撮影手段１１は、可変焦点レンズ１Ｂの焦点距離をＮ回変更し、各焦点距離において、照明パターン手段１０で生成した照明パターンを用い、一枚もしくはＭ枚の写真を撮影する。

撮影手段１１は、まずデフォルトの全照明パターンを用い、計測対象物５の写真を一枚撮影する。撮影手段１１は、この写真の色強度分布を解析し、画素のＲＧＢ各チャンネルにおける強度分布を計算し、飽和や不足があるかどうかを判断する。撮影手段１１は、飽和と不足がほとんどなく、強度変化が大体線形的に分布している状態であれば計測に使えると判断し、この焦点距離での写真撮影がこの一回で完了する。

なお、光沢の強い計測対象物５の場合、写真にはハイライトが生じやすい。ハイライトが生じた場合には、全照明パターンで撮影した画像は、色強度の飽和や不足が生じやすく、計測に使いにくくなることが多い。そこで、全照明パターンで撮影した画像が計測に使いにくいと判断された場合には、撮影手段１１は、前述の図４から図７までの照明パターンを選び、照明パターンを変更しながら写真撮影を行う。

撮影手段１１は、図４～図７のような照明パターンを用いて写真撮影を行う場合、（Ａ）～（Ｈ）のそれぞれで１枚ずつ、計Ｍ枚の画像を撮影する。すなわち、撮影手段１１は、Ｎ個の焦点距離において、合計Ｎ×Ｍ枚の撮影画像を得る。これらのＭ枚の写真は、異なる方向から照明しているので、計測対象物５の表面のどの部分にも色強度の飽和と不足が生じにくいので、計測に使えることが保証される。すなわち、本実施形態における三次元画像生成システムでは、照明パターン生成手段１０により生成した照明パターンと上記撮影手段１１の融合により、計測対象物５の写真撮影の際に生じるハイライトや反射不足などの問題を解決することができる。

［計測用画像生成手段１２］
計測用画像生成手段１２は、撮影手段１１により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する。撮影手段１１において各焦点距離（各焦点ｎ）の写真撮影が一回だけの場合、計測用画像生成手段１２は、この撮影写真を各焦点距離（各焦点ｎ）の計測用画像とする。計測用画像生成手段１２は、各焦点距離でＭ枚の写真が撮影された場合、ハイライトにより生じた飽和を防ぐために、画像の色強度値が高域限界と呼ばれるある閾値を超えた画素は使用しない。同様に、色強度値の不足を防ぐために、画像の色強度値が低域限界と呼ばれるある閾値を下回った画素は使用しない。

すなわち、計測用画像生成手段１２は、撮影手段１１においてＭ枚の写真が撮影された場合、それらのＭ枚の撮影写真において、各画素のＲＧＢチャンネルの色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を取って、各画素の色強度値とする。計測用画像生成手段１２は、こうして生成した画像を各焦点ｎの計測用画像とする。

［全視野画像生成手段１３］
全視野画像生成手段１３は、計測用画像生成手段１２により生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する。顕微鏡を用いて計測対象物５の写真を撮影する際、計測表面物Ｘの奥行き変化がある場合には、異なる焦点距離に対して、焦点が合う部分しか鮮明に撮影できず、焦点が合わない部分はぼやけており鮮明に撮影できない。

そこで、全視野画像生成手段１３では、計測用画像生成手段１２により得られた各焦点距離におけるＮ枚の計測用画像を用い、各焦点距離の計測画像における一番鮮明に撮影された画素を抽出し、各焦点距離の計測用画像から抽出した鮮明な画素を足し合わせ、各画素が鮮明に撮影された被写界深度が深い全視野画像を生成する。

図８は異なる焦点距離画像による全視野画像生成のイメージ図である。全視野画像生成手段１３は、図８に示すような焦点距離が異なる複数の焦点ｎ（図示例では、ｎ＝１～５の５つの焦点）の計測用画像から全視野画像を生成する。以下、焦点ｎで撮影して生成した計測用画像を焦点ｎ画像と称す。例として、焦点１で撮影して生成した計測用画像（焦点１画像）では、鮮明に撮影された画素は灰色で表示された画素だけであり、他の白色で表示された画素は鮮明に撮影されてない。そこで、全視野画像生成手段１３は、焦点１画像から灰色で表示された画素だけを抽出し、焦点１鮮明画素とする。

焦点２画像では、鮮明に撮影された画素は格子状の模様で表示されている画素だけであり、他の白色で表示された画素は鮮明に撮影されてない。そこで、全視野画像生成手段１３は、焦点２画像から格子状模様で表示された画素だけを抽出し、焦点２鮮明画素とする。同様に、残りの焦点３～５の鮮明画素を抽出する。全視野画像生成手段１３は、すべての焦点１～５の画像から抽出した焦点１～５の鮮明画素を足し合わせ、全視野画像、すなわちすべての焦点距離にピントが合い、鮮明に撮影されたような全焦点画像を生成する。

次に、各焦点距離の計測用画像から、鮮明に撮影された画素を抽出する方法について説明する。各焦点距離の計測用画像では、焦点に合う部分の画素が鮮明に撮影され、焦点が合わない部分の画素がぼやけており、鮮明に撮影されていない。鮮明に撮影されている画素は、周辺の画素との差が、鮮明に撮影されてない部分より大きいので、この特徴により鮮明に撮影されている画素を抽出する。全視野画像生成手段１３は、まず、各焦点距離の計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化し、Ｎ枚の特徴強度画像とする。次に、各画素に対し、Ｎ枚の特徴強度画像から特徴強度の一番強い画像（焦点距離ｋである画像）の色強度値を選び、鮮明に撮影された画素の候補とする。

図９は各焦点距離の計測用画像から鮮明に撮影された画素を抽出するイメージ図である。この例では、Ｎ＝５、すなわち焦点距離の異なる５枚の計測用画像があるとする。図９は、上からそれぞれ焦点１の計測用画像である焦点１画像から焦点５の計測用画像である焦点５画像までの各画像のあるｙ座標（例えば、ｙ１）におけるｘ座標方向の正規化した特徴強度の分布を表している。ｘ座標（ｘ１）においては、焦点３画像の特徴強度の値が一番大きいので、焦点３画像のｘ座標（ｘ１）にある画素は鮮明に撮影された画素として抽出し、焦点３画像の座標（ｘ１，ｙ１）の画素の色強度値を全焦点画像の画像座標（ｘ１，ｙ１）の色強度値とする。

同様に、ｘ座標（ｘ２）においては、焦点４画像の特徴強度の値が一番大きいので、焦点４画像のｘ座標（ｘ２）にある画素は鮮明に撮影された画素として抽出し、焦点４画像の座標（ｘ２，ｙ１）の画素の色強度値を全焦点画像の画像座標（ｘ２，ｙ１）の色強度値とする。同様に、画像座標（ｘ３，ｙ１）は焦点１画像の座標（ｘ３，ｙ１）の色強度値、画像座標（ｘ４，ｙ１）は焦点２画像の座標（ｘ４，ｙ１）の色強度値、画像座標（ｘ５，ｙ１）は焦点５画像の色強度値をそれぞれ用いる。

全視野画像生成手段１３は、このような処理により、すべての画素の色強度値をそれぞれの焦点距離の計測用画像から取得することができ、これらの取得した画素を足し合わせると、一枚の全視野画像、すなわちすべての焦点距離にピントが合い、すべての画素が鮮明に撮影されたような全焦点画像を生成することができる。

［全視野画像補正手段１４］
上記全視野画像生成手段１３により生成した全視野画像には、各焦点距離の計測用画像から抽出した鮮明に撮影された画素の不連続性や誤抽出などにより生じた全視野画像合成誤差がある。このような合成誤差を軽減するために、その合成誤差を生じている該当画素の色強度を補正することが望ましい。そこで、本実施形態においては、全視野画像生成手段１３により生成した全視野画像における画素に何らかの原因で欠損や異常が生じた場合、全視野画像補正手段１４によって、該当画素の周囲の画素の色強度値を用い、該当画素の色強度値を補正することにより、全視野画像生成手段１３により生成された全視野画像の画素の不連続や欠損などの不自然な部分を滑らかにする。

図１０は全視野画像補正のイメージ図である。図１０に示す例では、全視野画像生成手段１３により生成した全視野画像に何等かの原因により、３行２列の画素のところに欠損が存在し、画像の色強度が真っ黒になっている。各焦点距離の画像においても、真っ黒の画素はないので、この真っ黒の画素が欠損画素であることが分かる。全視野画像生成手段１３は、画素の色強度変化の連続性から、この画素の周りの８画素、すなわち左上、真上、右上、左、右、左下、真下および右下の画素の値を用い、この真っ黒の画素の色強度値を算出して補正する。

［三次元画像生成手段１５］
三次元画像生成手段１５は、計測対象物５の表面の形状や三次元世界座標が分かる三次元画像を生成する。三次元画像生成手段１５は、計測対象物５の表面の計測点と撮影された画像におけるこの計測点に対応する画素の二次元座標との射影関係と、各画素が鮮明に撮影されたときの焦点距離と、この鮮明に撮影された各画素に対応する計測対象物５の表面の計測点の奥行き距離値との対応関係に基づき、全視野画像の各画素に対応する計測点の三次元世界座標を計算し、計測対象物の表面形状の三次元画像を生成する。三次元画像における各画素に対応する計測点の三次元世界座標を求めるために、下記（式１）の数学モデルを用いる。

ここで、（Ｘ，Ｙ，Ｚ）は計測される計測対象物５の表面の計測点の三次元世界座標、（ｘ，ｙ）は該当計測点の全視野画像における画像座標、（Ｘ₀，Ｙ₀，Ｚ₀）は該当計測点の三次元世界座標の初期値、ｆは該当画素の写真撮影時の焦点距離、ｋ_x，ｋ_y，ｋ_fはレンズの焦点距離や計測用画像の画像座標と計測点の三次元世界座標との対応関係を示す係数である。

なお、（Ｘ₀，Ｙ₀，Ｚ₀）は、カメラ装置１の固有パラメータである。この固有パラメータは、三次元画像の生成過程において変化しないので、事前のキャリブレーションにより求めることができる。キャリブレーションの一例としては、チェスボートなどの模様を印刷した紙をカメラ装置１の可変焦点レンズ１Ｂの下に置いて撮影し、撮影画像の中心位置とチェスボードなどの模様の中心位置との対応関係よりＸ₀とＹ₀の値を決める。また、チェスボードなどの模様を印刷した紙の印刷面とカメラ装置１の可変焦点レンズ１Ｂの中心との間の距離値は、該当画像を撮影する際の焦点距離に対応するＺ₀の値（奥行きの基準値）とする。

ｋ_x，ｋ_y，ｋ_fは、カメラ装置１の可変焦点レンズ１Ｂの固有パラメータである。この固有パラメータも三次元画像の生成過程において変化しないので、事前のキャリブレーションにより決められる。ｋ_x，ｋ_yは、上記Ｘ₀，Ｙ₀を求めた際の撮影方法を用い、撮影画像におけるチェスボードの大きさと実際のチェスボードの寸法との対応関係により求める。ｋ_fは、カメラ装置１の可変焦点レンズ１Ｂの焦点距離と計測対象物５の奥行き変化、すなわち高さの変化との比例関係を示すものである。高さが既知のサンプルに対し、異なる焦点距離において撮影を行い、焦点が合う画素の撮影時の焦点距離と高さとの関係に基づき、それぞれの焦点距離ｆに対応するｋ_fを求める。

次に、全視野画像から三次元画像を生成する方法について説明する。全視野画像における計測点の画素座標を（ｘ，ｙ）とし、算出された三次元世界座標を（Ｘ，Ｙ，Ｚ）とする。全視野画像において、該当画素（ｘ，ｙ）がどの焦点距離での計測用画像を用いたものであるかを調べ、その計測用画像を撮影したときの焦点距離をｆとする。この（ｘ，ｙ）とｆの値を式１に代入し、該当画素の三次元世界座標（Ｘ，Ｙ，Ｚ）を求める。これにより、撮影した画像の画像座標（ｘ，ｙ）と撮影時の焦点距離ｆの値とから、簡単に計測対象物５の表面の三次元世界座標（Ｘ，Ｙ，Ｚ）を算出することができる。

［三次元画像補正手段１６］
三次元画像補正手段１６は、三次元画像生成手段１５により生成した三次元画像の座標値が異常な部分を補正する。前述のような全視野画像における画素の不連続や誤抽出などの欠損は、三次元画像を生成する際にも生じる。このような欠損の補正は、全視野画像補正と類似する手法を用いる。すなわち、三次元画像補正手段１６は、三次元世界座標の異変がある画素を除外し、周囲の画素の三次元世界座標を用い、その異変がある画素の三次元画像を補正する。例えば、三次元画像補正手段１６は、注目欠損画素の周囲の８近傍の画素の奥行き距離値を用い、その注目欠損画素の奥行き距離値を補正する。

［キャリブレーション手段１７］
キャリブレーション手段１７は、画像計測精度を向上するために、カメラ装置１のキャリブレーションを行う。ここでいうキャリブレーションは、主に（式１）におけるｋ_x，ｋ_y，ｋ_f およびＸ₀，Ｙ₀，Ｚ₀の値を求めることである。

［計測結果出力手段１８］
計測結果出力手段１８は、生成された全視野画像や三次元画像を、画像形式やＣＧ形式などのファイル形式で出力する。計測結果出力手段１８により出力されるファイルは、本実施形態における画像計測プログラムはもちろん、市販のソフトウエアやフリーソフトウエアなどでも閲覧可能である。

［計測用画像位置調節手段１９］
カメラ装置１の性能にもよるが、異なる焦点距離での撮影画像における対象物のサイズや位置が微妙に変化することがある。このサイズや位置の微妙な変化は画像計測の精度に影響する。計測用画像位置調節手段１９では、画像計測の精度を向上させるために、各焦点距離での撮影画像にアフィン変換処理を加え、各焦点距離の計測用画像の微小な位置ずれを、微小な拡大、縮小、回転、平行移動の処理を行い調節する。調節は下記の数式を用いる。

ここで、（ｘ，ｙ）は各焦点距離における撮影画像の画素座標、（ｘ’，ｙ’）は調節後の画素座標、ａ，ｂ，ｃ，ｄ，ｔ_x，ｔ_yは位置調節用パラメータである。

まず、前述のキャリブレーションの際に奥行きの基準値Ｚ₀を取得するときに使用された焦点距離で撮影した計測用画像を調節基準画像とする。この調節基準画像より複数個の特徴点を抽出し、基準特徴点とする。次に、各焦点距離の計測用画像からもそれぞれ複数個の特徴点を抽出し、これらの特徴点と調節基準画像から抽出した基準特徴点との間の空間距離を最小にするように、式２の位置調節用パラメータａ，ｂ，ｃ，ｄ，ｔ_x，ｔ_yを逆算する。最後に、逆算された位置調節用パラメータを用い、式２により、各焦点距離の計測用画像の位置を微調節し、計測対象物の寸法が均一である調節後計測用画像を求める。この調節後計測用画像を用い、三次元画像を求める。

もし各焦点距離の計測用画像における計測対象物のサイズや位置の変化が、ある閾値以内であれば、この計測用画像位置調節手段１９を省略することが可能である。また、この計測用画像位置調節手段１９は前述の全視野画像生成にも使用可能である。

［記憶手段２０］
記憶手段２０は、主に計算機１の内蔵メモリや、ＳＳＤ（ソリッドステートドライブ）やＨＤＤ（ハードディスクドライブ）などのデータ保存装置により構成される。図３に示すように、記憶手段２０は、主に照明パターン生成手段１０、撮影手段１１、計測用画像生成手段１２、全視野画像生成手段１３、全視野画像補正手段１４、三次元画像生成手段１５、三次元画像補正手段１６、キャリブレーション手段１７、計測結果出力手段１８および計測用画像位置調節手段１９により、照明装置２とカメラ装置１の制御、カメラ装置１により撮影画像の取り込みと画像処理、処理結果の保存と出力、カメラ装置１のキャリブレーションなどに利用される。

図１１は図１の三次元画像生成システムによる計測の流れを示すフロー図である。計測にはまず計測対象物５をカメラ装置１の可変焦点レンズ１Ｂの下に設置する（Ｓ１００）。続いて、撮影手段１１はカメラ装置１によりテスト撮影を行い、計測対象物５の反射特性を調べ、計測のために焦点距離が異なる各焦点ｎにおいてデフォルトの全照明の状態で一枚の写真撮影で十分かどうかを判断する。一枚の全照明画像が十分でない場合は、必要な照明パターンと必要な撮影枚数Ｍを決定する（Ｓ１０１）。

次に、撮影手段１１は可変焦点レンズ１Ｂの焦点距離を調節し、各焦点距離ｎでの撮影を準備する（Ｓ１０２）。撮影手段１１は各焦点距離ｎにおいてデフォルトの全照明パターンで一枚の写真を撮影するか照明パターンを変更しながらＭ枚の画像を撮影する（Ｓ１０３）。カメラ装置１は撮影した一枚もしくはＭ枚の写真を計算機３に送信し（Ｓ１０４）、計算機３は計測用画像生成手段１２により各焦点ｎの計測用画像を生成する（Ｓ１０５）。

その後、計測に必要な全ての焦点距離での撮影が終わったかどうかを調べ（Ｓ１０６）、終わっていない場合は、可変焦点レンズ１Ｂの焦点距離を調節することにより撮影のための焦点ｎを更新し（Ｓ１０７）、新たな写真撮影を準備する（Ｓ１０２）。必要な写真撮影が全部終わった場合、全視野画像生成手段１３により計Ｎ枚の各焦点距離の被写界深度が浅い計測用画像に基づき、被写界深度が深い全視野画像を生成する（Ｓ１０８）。また、全視野画像を生成する際に、画素の欠損などの問題が生じる可能性があるため、必要に応じて全視野画像補正手段１４により全視野画像を補正する（Ｓ１０９）。

また、計算機３は、三次元画像生成手段１５により、各焦点距離で撮影した写真の各画素の鮮明度と撮影時の焦点距離との対応関係より、各画素の三次元世界座標における奥行き距離値を算出し、三次元画像を生成する（Ｓ１１０）。なお、前述の全視野画像補正と同じ理由により、必要に応じて三次元画像補正手段１６により三次元画像を補正する（Ｓ１１１）。最後に、計測結果を画像方式やテキスト方式などの方式で出力する（Ｓ１１２）。

図１２は図１１のステップＳ１０１の照明パターンと撮影枚数Ｍを決定する処理の詳細を示すフロー図である。まず、デフォルトの全照明パターンを生成し、計測対象物５を照明する（Ｓ２００）。このデフォルト照明において写真撮影し（Ｓ２０１）、カメラ装置１から計算機３に画像を送信する（Ｓ２０２）。計算機では、このデフォルト照明写真を解析し、計測に適した画像かどうかを判断する（Ｓ２０３）。

このとき、ハイライトや照明不足なところが存在せず、計測に適した画像であると判断されれば、計測用の照明パターンをデフォルトの全照明パターンとし、各焦点距離での計測に必要な撮影回数を１回とする（Ｓ２０５）。当該画像にハイライトや照明不足なところが存在する場合は、この画像が計測に適してないと判断し、照明パターンを更新し（Ｓ２０３）、異なる方向と異なる明るさの照明環境での画像を複数枚撮影し、一枚の計測に適した画像を生成する。これらの照明パターンを計測に必要な照明パターンとし、撮影回数は各焦点距離での計測に必要な撮影回数Ｍとする（Ｓ２０５）。

図１３は図１１のステップＳ１１０の三次元画像生成の詳細を示すフロー図である。まず、図１１のステップＳ１０８とステップＳ１０９より生成された全視野画像を左上から右下へ画素ごとに走査し（Ｓ３００）、該当画素を撮影する際に使っている焦点距離ｆを特定する（Ｓ３０１）。次に、事前のキャリブレーション（Ｓ３０５）により求められたカメラ装置１のパラメータと焦点距離ｆを用い、式１により該当画素の三次元世界座標を算出する（Ｓ３０２）。

その後、全視野画像のすべての画素について上記の処理を行ったかどうか、すなわち走査が完了したかどうかを判定し（Ｓ３０３）、走査完了の場合は、上記の処理で算出された各画素の三次元世界座標を合わせて三次元画像を生成する（Ｓ３０４）。走査が完了してない場合は、ステップＳ３００の処理に戻り、走査が完了するまで、ステップＳ３００、ステップＳ３０１およびステップＳ３０２の処理を繰り返し行う。

図１４は図１の三次元画像生成システムにおいて計測用画像位置補正処理を行う場合の計測の流れを示すフロー図である。図１１のフロー図との違いは、ステップＳ１０６の撮影終了の後、ステップＳ１０８の全視野画像生成の前に、計測用画像調節処理（Ｓ４０８、Ｓ４０９、Ｓ４１０）を入れたものである。

具体的には、ステップＳ１０６の撮影終了の後、まず各計測用画像の特徴点と標準画像の特徴点との位置ズレを求め（Ｓ４０８）、各画像の位置調節の必要性を判定する（Ｓ４０９）。位置調節が必要と判定された場合、各計測用画像に対し、式２の手法を用いて拡大縮小・回転・平行移動の処理を行い、位置を調節する（Ｓ４１０）。その後、全視野画像生成の処理（Ｓ１０８）を行う。位置調節の必要性がない場合、計測画像位置調節の処理（Ｓ４１０）を行わず、全視野画像生成の処理（Ｓ１０８）を行う。

図１５は本実施形態における三次元画像生成システムによる全視野画像および三次元画像の生成例を示す図である。計測対象物は同図（Ａ）に示すネジの先端部分であり、計測範囲は横幅２ｍｍ程度である。

図１５（Ｂ）～（Ｄ）は計測用画像生成手段１２により生成された３つの異なる焦点距離画像であり、（Ｂ）は背景が鮮明に撮影された画像、（Ｃ）は中央部分が鮮明に撮影された画像、（Ｄ）は前景が鮮明に撮影された画像である。図１５（Ｅ）は、これらの３つの異なる焦点距離画像から全視野画像生成手段１３により生成された全視野画像である。図１５（Ｆ）は三次元画像生成手段１５により生成された三次元画像である。

以上のように、本実施形態における三次元画像生成システムでは、イメージセンサ１Ａおよび可変焦点レンズ１Ｂを有するカメラ装置１を用いて計測対象物５に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影し、各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成し、生成された各焦点距離の計測用画像に基づき撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する構成により、低廉なイメージセンサおよび可変焦点レンズを用いて被写界深度が深い全視野画像を得ることが可能となる。例えば、本実施形態における三次元画像生成システムは、カメラ装置１として廉価なハンディ型などの小型顕微鏡を用い、照明装置２として廉価なＬＥＤ照明を用いることができ、体積が小さく、重量が軽い、現場での使用も容易なシステムを実現できる。

本発明の三次元画像生成システム、三次元画像生成方法、三次元画像生成プログラムおよび記録媒体は、ハンディ型などの小型顕微鏡をカメラ装置として使用して、電化製品、ＩＣＴ機器、文物や工業製品などの表面の高精度な品質検査や欠損検査に適用できる。具体的な応用例としては、自動車の車体やタイヤのキズ、ヘコミ、塗装ムラや亀裂などの損傷検査、大型計測物の一部の精密検査、印刷基盤などの生産ラインにおける品質検査、スマートフォンの表面の微小キズのサイズと深さの検査、頭皮や皮膚などの精密検査、骨董などの鑑定、名画解析などに応用できる。

１ カメラ装置
１Ａ イメージセンサ
１Ｂ 可変焦点レンズ
２ 照明装置
３ 計算機
４ 通信ケーブル
５ 計測対象物
１０ 照明パターン生成手段
１１ 撮影手段
１２ 計測用画像生成手段
１３ 全視野画像生成手段
１４ 全視野画像補正手段
１５ 三次元画像生成手段
１６ 三次元画像補正手段
１７ キャリブレーション手段
１８ 計測結果出力手段
１９ 計測用画像位置調節手段
２０ 記憶手段

Claims (11)

1. イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、
   前記撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、
   前記計測用画像生成手段により生成された各焦点距離の計測用画像に微小な拡大、縮小、回転、平行移動の処理を行い、前記各焦点距離の計測用画像の微小な位置ずれを調節し、計測対象物の寸法が均一である調節後計測用画像を求める計測用画像位置調節手段と、
   前記計測用画像位置調節手段により生成された各焦点距離の調節後計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化したＮ枚の特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と、
   前記全視野画像生成手段により生成された全視野画像の各画素に対応する前記計測対象物の表面の三次元世界座標を算出して三次元画像を生成する三次元画像生成手段と
   を含む三次元画像生成システム。
2. 前記三次元画像生成手段は、前記計測対象物の表面の計測点と撮影された画像におけるこの計測点に対応する画素の二次元座標との射影関係と、各画素が鮮明に撮影されたときの焦点距離と、この鮮明に撮影された各画素に対応する前記計測対象物の表面の計測点の奥行き距離値との対応関係に基づき、前記全視野画像の各画素に対応する計測点の三次元世界座標を計算し、前記計測対象物の表面形状の三次元画像を生成するものである請求項１記載の三次元画像生成システム。
3. 前記計測用画像位置調節手段は、前記カメラ装置のキャリブレーション際に奥行きの基準値を取得するときに使用された焦点距離で撮影した計測用画像を調節基準画像とし、各焦点距離の計測用画像からそれぞれ複数個の特徴点を抽出し、これらの特徴点と調節基準画像から抽出した基準特徴点との間の空間距離を最小にするように位置調節用パラメータを求め、この位置調節用パラメータを用い、各焦点距離の計測用画像の位置を微調節するものである請求項１または２に記載の三次元画像生成システム。
4. 前記計測用画像生成手段は、前記撮影手段において各焦点距離の写真撮影が一回だけの場合、その撮影写真を前記各焦点距離の計測用画像とし、Ｍ枚の写真が撮影された場合、それらのＭ枚の撮影写真の各画素の色強度値に対し、高域限界以上の値と低域限界以下の値を除いた画素の平均値を各画素の色強度の値とするものである請求項１から３のいずれか１項に記載の三次元画像生成システム。
5. 前記全視野画像生成手段により生成された全視野画像の合成誤差を生じている画素の色強度値を補正する全視野画像補正手段を含む請求項１から４のいずれか１項に記載の三次元画像生成システム。
6. 前記全視野画像補正手段は、前記合成誤差を生じている画素についてその周囲の画素の色強度値を用いて補正するものである請求項５記載の三次元画像生成システム。
7. 前記三次元画像生成手段により生成された三次元画像の座標値が異常な部分を補正する三次元画像補正手段を含む請求項６記載の三次元画像生成システム。
8. 前記三次元画像補正手段は、三次元世界座標の異変がある画素を除外し、周囲の画素の三次元世界座標を用い、その異変がある画素の三次元世界座標を補正するものである請求項７記載の三次元画像生成システム。
9. イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影すること、
   計算機により、前記各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成すること、
   計算機により、前記生成された各焦点距離の計測用画像に微小な拡大、縮小、回転、平行移動の処理を行い、前記各焦点距離の計測用画像の微小な位置ずれを調節し、計測対象物の寸法が均一である調節後計測用画像を求めること、
   計算機により、前記生成された各焦点距離の調節後計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化したＮ枚の特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成すること、
   計算機により、前記生成された全視野画像の各画素に対応する前記計測対象物の表面の三次元世界座標を算出して三次元画像を生成すること
   を含む三次元画像生成方法。
10. イメージセンサおよび電気的信号により焦点距離を変化させることが可能な可変焦点レンズを有するカメラ装置を用いて計測対象物に対して複数の異なる焦点距離にピントを合わせ、各焦点距離において一枚もしくは複数枚の被写界深度が浅い写真を撮影する撮影手段と、
    前記撮影手段により各焦点距離で撮影された一枚もしくは複数枚の写真から各焦点距離の計測用画像を生成する計測用画像生成手段と、
    前記計測用画像生成手段により生成された各焦点距離の計測用画像に微小な拡大、縮小、回転、平行移動の処理を行い、前記各焦点距離の計測用画像の微小な位置ずれを調節し、計測対象物の寸法が均一である調節後計測用画像を求める計測用画像位置調節手段と、
    前記計測用画像位置調節手段により生成された各焦点距離の調節後計測用画像の特徴点を抽出し、特徴強度を０％～１００％に正規化したＮ枚の特徴強度画像から、各画素に対し、特徴強度の一番強い画像の色強度値を選ぶことにより、撮影された領域のすべての焦点距離にピントが合う被写界深度が深い全視野画像を生成する全視野画像生成手段と、
    前記全視野画像生成手段により生成された全視野画像の各画素に対応する前記計測対象物の表面の三次元世界座標を算出して三次元画像を生成する三次元画像生成手段と
    としてコンピュータを機能させるための三次元画像生成プログラム。
11. 請求項１０に記載の三次元画像生成プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images