JP3963219B2 - 非接触式形状計測装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、高解像度画像を用いた計測装置に係り、特に非接触式計測装置のデータ欠落部の補間方法（データ処理方法）および高解像度画像情報の取得とそれを実現する計測装置の改良に関する。
【０００２】
【従来の技術】
計測対象物（測定対象）に対してスリット光源からのスリット光を照射して、投影された計測対象物のスリット画像を撮像手段で所定角度あるいは等ピッチで撮像して、計測対象物の三次元形状を測定する技術が種々に提案されている（特開平３−１３８５０７号、特開平５−２０３４２３号、および特開平９−１０２９１３号公報参照）。
【０００３】
この種の非接触式の立体形状計測装置として、ラインレーザと一軸移動台、ＣＣＤカメラを用いた装置が既に提案されている（特開平１１−１８３１２５号公報参照）。図６に示すように、この立体形状計測装置では、左右レーザ光源ａ１，ａ２から出射されるスリット光ｂ１，ｂ２で光の面（光面）をＸ−Ｙ面に構成する。そして、この光面を一軸移動台上ｃに設置した計測対象物ｄをＺ方向に通過させて、計測対象物ｄのスリット光と当った部分のライン画像の映像を計測対象物ｄの前面（Ｚ方向前面）に設けたＣＣＤカメラｅで撮影する構成となっている。なお、撮影画像データはアナログ信号であり、アナログ／デジタル変換用コンバータｆを介してデジタル信号となってコンピュータｇに入力され、デジタル／アナログ変換コンバータｈによりアナログ信号となってテレビジョンモニタに処理画像を表示する。
計測対象物ｄが光面を通過する際に得られる画像は、計測対象物ｄの部分的な外形をあらわす線画像として計測対象物ｄの断面情報（以下、「断面画像」と称する）が取得されるが、この断面画像から断面部分の平面座標を算出し一軸移動台ｃの移動量を奥行き情報として付加することで立体形状を計測することになる。
また、各断面情報を重ね合わせ明るい色を優先して表現することで正射投影画像（以下、「外観画像」と称する）の作成が実現する。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記公報記載の発明においては、スリット光で構成される光の面を通過した部分のみデータ化しており、そのため、図７に示すような状態においては、計測対象物ｄの凹んだ部分ｊ１や先端部分ｊ２においてスリット光がとどかずに光量不足によるデータ欠落が発生するという欠点がある。図８は、光量不足によるデータ欠落の実例を示す。この欠点を改善するため、当該部分の画像処理による色調整（輝度値補正）方法を前記公報記載の技術で提案している。しかるに、前記技術では、光量不足によりデータそのものが作成されないなどの欠点は解消できないものであった。
【０００５】
本発明は、前記従来の問題点を解消するためなされたものであって、光量不足によるデータ欠落の問題をなくし、また、詳細な色情報の記録を行なうことが可能な非接触式形状計測装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、スリット光の照射された計測対象物を撮像し、前記スリット光によって前記計測対象物の表面にライン状に現れるライン光をライン画像として取り込む第１の撮像手段と、前記計測対象物が第１の撮像手段に対して所定間隔相対移動する毎に前記第１の撮像手段で得た各ライン画像に基いて前記計測対象物の測定面上における各ライン画像毎の平面座標を算出し、前記位置検出手段により検出した前記計測対象物の各移動位置及び各ライン画像ごとに算出した前記平面座標に基いて、前記計測対象物の表面の３次元データを算出する３次元データ算出手段とを有し、前記計測対象物をその正面位置から撮影して中心投影画像を取得する第２の撮像手段と、前記計測対象物の正面から一定間隔を置いた横方向位置で計測対象物を撮影して中心投影画像を取得する第３の撮像手段と、前記算出された計測対象物の３次元データと前記第１の撮像手段の位置および姿勢などの撮影情報に基き、前記第２の撮像手段で取得した中心投影画像と同様の擬似中心投影画像を作成する手段と、前記擬似中心投影画像を前記中心投影画像を比較して前記擬似中心投影画像のデータが欠落し補間すべき部位を判定するための手段と、前記第２の撮像手段により取得した中心投影画像および前記第３の撮像手段で撮影した中心投影画像および各撮像手段の位置および姿勢などの撮影情報（例えば撮像手段情報）に基き、補間すべき部位の立体形状を算出しかつ当該部位を補間する演算手段とを有することを特徴とする非接触式形状計測装置である。
本発明によれば、計測対象物の３次元データと第１の撮像手段の位置および姿勢などの撮影情報に基き擬似中心投影画像を作成する。この擬似中心投影画像では前記図７に示したようにスリット光の当らない凸部や凹部にデータの欠落した部分になるので、その欠落部分を特定するため、擬似中心投影画像と前記中心投影画像とを比較してデータ欠落部位を判定する。そして、前記第２の撮像手段により取得した中心投影画像および前記第３の撮像手段で撮影した中心投影画像および各撮像手段の位置および姿勢などの撮影情報に基き、補間すべき部位の立体形状を算出しかつ当該部位を補間することにより、完全な形での３次元データ（３次元位置データ）すなわち、立体形状データを取得できるようにしたものである。
なお、本発明においては、第２の撮像手段で取得した中心投影画像の色情報を補間の終了した擬似中心投影画像の色情報として用いて、擬似中心投影画像を投影している３次元形状データに中心投影の色情報を与える手段を備えることが好適である。このようにすれば、擬似中心投影画像を構成している立体形状データへ中心投影の色情報を与えることが可能であり、結果として詳細に色情報を持つ立体形状データと外観画像を作成することができる。
【０００７】
【発明の実施の形態】
以下、図面を参照して本発明に係る非接触式立体形状計測装置の実施形態を説明する。
図１は、本発明に係る非接触式立体形状計測装置の一実施形態を示した構成説明図である。図１に示すように、計測対象物は、測定台１２上に載置される。同図では計測対象物１０として縄文土器などの遺跡出土品を示しているが、計測対象物１０は遺跡出土品に限らず他の物品とすることは当然可能である。
【０００８】
また、上記計測対象物１０を載置する測定台１２は、図示しない駆動機構によって一軸方向（Ｚ方向）に移動可能に設けられる。この駆動機構は、後述するパーソナルコンピュータ（以下、「パソコン」と略記する）２４から駆動信号を受けてＺ方向の前後に測定台１２を移動させるようになっている。従って、パソコン２４からの駆動信号によって測定台１２上の計測対象物１０が測定台１２の移動とともに前記Ｚ方向に移動する。
【０００９】
上記測定台１２の両側部には、左右対称に光源１４、１６が配設される。この光源１４、１６は、上記測定台１２の移動方向であるＺ方向と垂直に交わる（Ｘ、Ｙ）座標で表される面（以下、この面を測定面と称す。）内において平面的に広がる照明光を出射する。光源１４、１６は、例えば、点光源からスリットを介してレーザ光などの照明光を出射するものにできる。計測対象の形状によっては、上部方向などの左右対称な位置以外に光源を設置することも可能である。
これにより、測定面内において両側部から計測対象物１０の表面にライン状に照明光が照射される（以下、この照明光をスリット光と称す。）。このスリット光によって照明された部分は計測対象物１０を測定面で切断した場合の断面の輪郭形状（ライン画像）を示す。
【００１０】
なお、ライン画像取得に際しては、光源１４、１６から出射されたスリット光以外の光は、この測定装置の周辺において遮光されているため、スリット光が照射される計測対象物１０の表面以外の部分には光が照射されないようになっている。また、測定面内には同図Ｘ、Ｙ方向の平面座標を決定するための基準点を示すマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄが設置される。これらのマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄは互いの位置関係が明確に設定され、後述するように、測定面における計測対象物１０の輪郭形状の平面座標を検出する際の基準となる。また、このマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄの位置を検出することにより画面の歪みを補正する。
【００１１】
一方、上記測定台１２のＺ方向の前方には、高解像度デジタルカメラを測定対象物１０に正対して、従来の図６と同様に測定対象物の正面に据え付けられたカメラ２０を主位置とし（以下、メインカメラ位置２０Ａとする）、スリット画像の連続撮影前に一定間隔で横方向にスライド（移動）可能に設置されている（以下、補助カメラ位置２０Ｂとする）。カメラ２０により前記ライン画像の連続撮影開始前に、このカメラ２０が横方向の補助カメラ位置にある場合に（第３の撮像手段に相当）測定台１２の撮影開始位置に置かれた計測対象物１０を撮影して投影画像を取得すると共に長さや座標系の基準となるマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄを撮影する試験撮影を実施する。また、カメラ２０を前記主位置に戻して、前記測定台１４の撮影開始位置に置かれた計測対象物１０を撮影して中心投影画像を取得すると共に長さや座標系の基準となるマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄを撮影する試験撮影を実施する。
このカメラ２０は、中心投影画像および投影画像及びマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄの撮影時（試験撮影時）には、計測対象物１０が全体的に影やハイライトの生じないようにライティングがされ、全体にピントが合うように絞り込むことが好ましい。
【００１２】
また、前記カメラ２０は、ライン画像の連続撮影時には、上記測定面の位置にピントが合うようにピント調整され、測定面に垂直な方向から計測対象物１０及びマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄを撮影する。これにより、計測対象物１０で反射したスリット光は、ＣＣＤカメラ２０においてその反射位置に対応する画素によって受光される。従って、カメラ２０によって得られる画像から、測定面における測定対象物１０の断面の輪郭形状を検出することができる。
なお、実施形態では、デジタルカメラは、１台を用いて、正面位置（メインカメラ位置２０Ａ）および横方向位置（補助カメラ位置２０Ｂ）で投影画像を撮影し、かつ、正面位置でライン画像を撮影したが、デジタルカメラを２台備えて、正面位置と補助位置で夫々撮影することができる。また、さらに投影画像取得のカメラとは別にライン画像の撮影用のカメラを設けても良い。また、図６の従来技術では、画像入力手段としてＣＣＤカメラを挙げているが、デジタル画像を入手可能な撮像手段であればデジタルカメラやビデオカメラなどの種々の手段を用いることができ、特に機器の種別を限定するものではない。
【００１３】
上記カメラ２０によって撮像された画像は、デジタルの画像信号（以下、画像データと称す。）として、パソコン２４に入力される。パソコン２４は、計測対象物１０の試験撮影時にカメラ２０の位置をメインカメラ位置２０Ａと補助カメラ位置２０Ｂに一定間隔に移動支持を出力して、かつカメラ２０にシャッタ制御信号を出力して各位置で投影画像を撮影する。また、計測対象物１０の外観形状を計測する際に、上述したように駆動信号を上記測定台１２の駆動装置に出力して測定台１２を移動させるとともに、測定台１２の基準位置からの移動量を検出し、例えば計測対象物１０を後方から前方に撮影範囲（測定範囲）内で所定間隔ずつ移動させる。また、測定台１２を所定間隔移動させる毎に上記カメラ２０から送られるデジタル画像データを入力する。尚、測定台１２の移動間隔は、例えば、上記光源１４、１６から出射されるスリット光の幅とする。
【００１４】
これにより、Ｚ方向の所定間隔毎に計測対象物１０の輪郭形状を示す画像データが得られる。尚、以下においてＺ方向の所定間隔毎に得られる計測対象物１０の画像を断面画像と称する。パソコン２４は、これらの断面画像の画像データに基づいて各断面における計測対象物１０の表面のＸ、Ｙの平面座標を得るとともに、その画像データを取得した時の測定台１２の位置（基準位置からの移動量）に基づいてＺ方向の座標を得る。これにより各断面における計測対象物１０の表面の３次元座標を得ることができ、これによって得られた各断面における計測対象物１０の表面の３次元座標をまとめて計測対象物１０の表面全体（撮影範囲）の各点の３次元座標を検出することができる。
【００１５】
また、パソコン２４は、上記３次元座標を検出すると同時に断面画像の画像データに光量調整等のデータ処理を施し、各断面画像の画像データを合成することにより、計測対象物１０の外観画像の画像データを生成する。これにより生成された画像データは、Ｄ／Ａコンバータを介してＴＶモニタ等に出力され、外観画像がＴＶモニタの画面に表示可能になる。
【００１６】
次に、上記非接触式立体形状計測装置による形状計測手順について図２のフローチャートを用いて説明する。まず、計測対象物１０の試験撮影を行う（ステップＳ１０）。この試験撮影においては、連続撮影時の撮影開始位置に測定対象物１０を置き、測定対象物１０の正面に据え付けられたカメラ２０を主位置にして測定対象を撮像し（メインカメラ）、カメラ２０を横方向に一定距離スライド（移動）して（補助カメラ）撮像する。いずれの場合も、マーク１８Ａ〜１８Ｄを撮影する。
【００１７】
そして、測定台１２を計測対象物１０を撮影開始点から移動させ（ステップＳ１４）、その撮影開始位置から所定間隔の移動毎に計測対象物の断面画像をカメラ２０によって撮影する（ステップＳ１６）。上記パソコン２４は、カメラ２０から撮影した所定間隔の移動毎の断面画像の画像データを入力し、まず、入力した画像データから基準点のマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄを検出する。そして、これらのマーク１８Ａ、１８Ｂ、１８Ｃ、１８Ｄの位置関係からＣＣＤカメラ２０の撮影光学系の歪みを検出し、画像データを処理して画像の歪みを修正する（ステップＳ１８）。この修正により、計測精度を向上させる。また、撮影画像が基準の明るさより暗く撮影されており、部分的に画像の欠落が起きているようであればこの部分についてのみ、明るさ（輝度値）を基準値程度まで嵩上げすることができる。
【００１８】
以上の画像データの修正処理を行った後に、断面画像の画像データからその断面における計測対象物１０の輪郭形状の平面座標を算出する（ステップＳ２０）。即ち、断面画像の画像データにおいて所定輝度よりも明るい画素の点を検出し、その画素の点と対応する測定面上の座標を算出する。また、測定台１２の撮影開始点から移動量を検出し、この移動量に基づいて計測対象物１０に固定された座標系における断面画像のＺ方向（奥行き方向）の座標を上記平面座標に付加する（ステップＳ２２）。これにより、前記測定面上の座標とＺ方向の座標に基き、画像を撮影した断面における計測対象物１０の輪郭形状の３次元座標を得ることができる。なお前記のように撮影画像が暗く撮影された対策として、明るさの嵩上げをすることができる。
【００１９】
次に、撮影した断面画像を合成する（ステップＳ２４）。即ち、初期値を黒一色とする基本画像と撮影した断面画像の各画素の間で明るさ（輝度値）の比較を行い、明るい画素の輝度値を基準画像に配置する。これにより、計測対象物１０の各断層画像から計測対象物１０の外観画像（正面画像）を合成することができる。尚、断面画像の合成は、初期値を黒一色とする基本画像を設定し、撮影画像を取得する。この処理は前記図２のステップＳ１６の断面画像取得処理に対応する。そして、撮影画像を取得した後に、上記基本画像と撮影断面画像の各画素間で明るさ（輝度値）の比較を行ない、基本画像より明るい画素の輝度値を基本画像に配置する。これにより、各断面画像から計測対象物１０の外観画像（正面画像）を合成することができる。
【００２０】
以上の処理が終了した後、測定台１２が撮影終了位置か否かを判定する（ステップＳ２５）。ＮＯの場合には、測定台１２をスリット光の幅分だけ前方に移動させ（ステップＳ２６）、上記ステップＳ１６からＳ２５の処理を繰り返し実行する。一方、ＹＥＳの場合には、撮影（測定）を終了し（ステップＳ２７）、上記ステップＳ１０によって作成した計測対象物１０のメインカメラと補助カメラの投影画像と、上記ステップＳ２２、ステップＳ２４によって算出した各断面の輪郭形状、即ち、計測対象物１０の表面の３次元座標（即ち、計測対象物１０の表面の３次元座標、立体形状データ）をパソコン２４の外部記録媒体に一時記録する（ステップＳ２８）。
【００２１】
次いで、前記合成した立体の外観画像（正射投影画像）と前記カメラの位置、姿勢情報などの撮影情報によって、メインカメラ位置で撮影したのと同じ内容の画像（擬似中心投影画像）を作成する（ステップＳ３０）。そして、連続撮影開始前にステップＳ１０の試験撮影においてメインカメラで撮影した中心投影画像をと比較して補間すべきデータ欠落部の判定を行なう（ステップＳ３２）。図４に欠落部判定過程を示すように、擬似中心投影画像には、光量不足によりデータの欠落した部分があり、この擬似中心投影画像を試験撮影した中心投影画像と比較することにより、画像処理により輝度値の差分量をとることにより容易にデータ欠落部を判定できる。
次いで、補間すべき部位についてメインカメラ位置と補助カメラ位置で撮影した２枚の画像と各カメラの位置、姿勢情報などを用いて立体形状（３次元位置情報）を算出し、記録する。この作業は補間すべき部位全てに対して行なう。このように算出された立体形状に基き、前記断面形状を合成した３次元形状を補間する（ステップＳ３４）。この場合には、後に説明するように、中心投影座標の色情報を擬似中心投影座標の色情報として与える。補間後の外観記録画像と立体形状の記録をする（ステップＳ３６）。
【００２２】
ステップＳ２８〜Ｓ３６の補間作業について詳細に説明する。
まず、外観記録画像と立体形状の一時保持をする（ステップＳ４０）。次いで、立体形状情報とカメラ情報（カメラの姿勢、位置などの情報）を用いて擬似中心投影画像を作成をする（ステップＳ４２）。メインカメラ位置での試験撮影画像（中心投影画像）と擬似中心投影画像の比較をする（ステップＳ４４）。これらの中心投影画像と擬似中心投影画像同士の色情報を比較して色に差異がある部分（データ欠落部）を判定をする（ステップＳ４６）。
判定の結果、データ欠落部があったならば（ステップＳ４８：ＹＥＳ）、欠落部の特定をする（ステップＳ５０）。次いで、データ欠落部位のみを前記試験撮影で撮影した２枚の試験画像から立体形状を算出する（ステップＳ５２）。特定された部位全てに、前記算出された立体形状により埋め込み処理（補間処理）をする（ステップＳ５４）。この場合の補間処理は、種々の技術を用いることができ、その詳細は省略するが、補間処理の公知例としては、例えば「著者：穴井哲治、近津博文、論文名：『遺物のモデリングとバーチャル博物館への応用』、掲載文献：社団法人日本写真測量学会発行『写真測量とリモートセンシング、ｖｏｌ．３７、Ｎｏ．５、４７〜５３ページ』、１９９８年発行」がある。
次いで、補間された立体形状から擬似中心投影画像を再作成する（ステップＳ５６）。そして、中心投影画像の色情報を擬似中心投影画像に転記する（ステップＳ５８）。次いで、色情報の転記された擬似中心投影画像から外観画像を作成する（ステップＳ６０）。作成された外観画像と立体形状の記録をする（ステップ６２）。
【００２３】
上記の補間作業は、補完すべき部位全てに対して実施する。さらに補間作業終了後に中心投影画像の色情報を擬似中心投影の色情報として複写することで、擬似中心投影画像を構成している立体形状データに色情報を与えることが可能となり、結果として詳細な色情報を持つ立体形状データを外観画像を作成することができる。図５は、図４の計測対象物１０の擬似中心投影画像と中心投影画像を処理した外観画像（正射投影画像）を示すものである。
【００２４】
【発明の効果】
以上説明したとおり、本発明によれば、非接触式形状計測において、光量不足によるデータの欠落が無く、また、詳細な色情報の記録を行なうことができる。
即ち、本発明の非接触式形状計測装置によれば、立体形状を基に作成した擬似中心投影画像と中心投影画像を比較することにより欠落部分を検索し、当該部分のデータを補間することで、光量不足に起因するデータの部分欠落が解消できる。これにより、従来装置のデータ欠落が解消できる。また、補間作業で用いられる複数舞の画像から全ての立体画像を算出する方法に比較して、作業時間が短縮されるという効果を奏する。
また、中心投影画像を用いることで、レーザで照明される画像を用いて従来の計測結果に比べて構細密な色情報を取得可能になる。
【図面の簡単な説明】
【図１】本発明に係る非接触式立体形状計測装置の一実施形態を示した構成説明図である。
【図２】図１の非接触式立体形状計測装置による形状計測手順を説明するフローチャートである。
【図３】図２の形状計測手順における補間作業の手順を説明するフローチャートである。
【図４】実施形態に係る非接触式立体形状計測装置によるデータ欠落判別用画像の説明図であり、（ａ）は擬似中心投影画像の例の説明図、（ｂ）は中心投影画像の例の説明図である。
【図５】同じく、実施形体の非接触式立体形状計測装置で作成した外観画像データの例の説明図である。
【図６】従来の立体形状計測装置の例の説明図である。
【図７】光量不足によるデータ欠落の発生状況説明図である。
【図８】データ欠落を含む外観画像の例の説明図である。
【符号の説明】
１０ 計測対象物
１２ 測定台
１４、１６ スリット光の光源
１８Ａ、１８Ｂ、１８Ｃ、１８Ｄ マーク
２０ カメラ
２０Ａ メインカメラ位置
２０Ｂ 補助カメラ位置
２４ パーソナルコンピュータ（パソコン）

Claims (2)

1. スリット光の照射された計測対象物を撮像し、前記スリット光によって前記計測対象物の表面にライン状に現れるライン光をライン画像として取り込む第１の撮像手段と、
   前記計測対象物が第１の撮像手段に対して所定間隔相対移動する毎に前記第１の撮像手段で得た各ライン画像に基いて前記計測対象物の測定面上における各ライン画像毎の平面座標を算出し、前記位置検出手段により検出した前記計測対象物の各移動位置及び各ライン画像ごとに算出した前記平面座標に基いて、前記計測対象物の表面の３次元データを算出する３次元データ算出手段とを有し、
   前記計測対象物をその正面位置から撮影して中心投影画像を取得する第２の撮像手段と、
   前記計測対象物の正面から一定間隔を置いた横方向位置で計測対象物を撮影して中心投影画像を取得する第３の撮像手段と、
   前記算出された計測対象物の３次元データと前記第１の撮像手段の位置および姿勢などの撮影情報に基き、前記第２の撮像手段で取得した中心投影画像と同様の擬似中心投影画像を作成する手段と、
   前記擬似中心投影画像を前記中心投影画像を比較して前記擬似中心投影画像のデータが欠落し補間すべき部位を判定するための手段と、
   前記第２の撮像手段により取得した中心投影画像および前記第３の撮像手段で撮影した中心投影画像および各撮像手段の位置および姿勢などの撮影情報に基き、補間すべき部位の立体形状を算出しかつ当該部位を補間する演算手段とを有することを特徴とする非接触式形状計測装置。
2. 第２の撮像手段で取得した中心投影画像の色情報を補間の終了した擬似中心投影画像の色情報として用いて、擬似中心投影画像を投影している３次元形状データに中心投影の色情報を与える手段を備えることを特徴とする請求項１に記載の非接触式形状計測装置。

Images