JP3639869B2 - 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 - Google Patents
対象物表面の色を再現した立体画像を作成する立体観察装置および方法 Download PDFInfo
- Publication number
- JP3639869B2 JP3639869B2 JP2002164224A JP2002164224A JP3639869B2 JP 3639869 B2 JP3639869 B2 JP 3639869B2 JP 2002164224 A JP2002164224 A JP 2002164224A JP 2002164224 A JP2002164224 A JP 2002164224A JP 3639869 B2 JP3639869 B2 JP 3639869B2
- Authority
- JP
- Japan
- Prior art keywords
- observation object
- observation
- light sources
- light
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Spectrometry And Color Measurement (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、市販のデジタルカメラやデジタル顕微鏡などの画像取得機器を通じて取得された観察対象物のデジタル画像イメージにより立体構造を表示する立体観察装置および方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタル顕微鏡においては、立体的な構造を観察する場合、被写界深度により観察対象物のほとんどの部分がぼやけてしまうことがある。この場合には、観察対象物そのものを回転・移動させ、再度焦点を合わせることにより、観察したい立体構造を明らかにする作業を行わなければならない。
【０００３】
ところが、従来の技術において、顕微鏡などでは、被写界深度が極めて浅いため、観察対象物の像がボケた部分がほとんどとなってしまい、観察対象物に存在する３次元構造や表面の色構造を観察対象物の全体に渡って観察することができない。そのため、従来においては、まず、観察対象物全体について焦点のあった画像を得る技術への要求が存在した。
【０００４】
さらに、小型の昆虫や機械部品等の細かく入り組んだ観察対象物を、顕微鏡などを用いて観察する場合、得られる２次元画像からその立体構造を観察することは困難であった。
このような観察対象物の２次元画像から立体的な画像を得る技術については、たとえば、論文、Ｓｈｒｅｅ Ｋ．Ｎａｙａｒ「Shape from focus system 」（Proc.of CVPR,pp.302-308，1992）に開示されているように、観察対象物の合焦点部分を抽出することによって、顕微鏡等のレンズからの相対的位置を得るといった方法が存在する。この方法では観察対象物の合焦点部分を抽出手段として、その２次元デジタル画像に複雑なアルゴリズムを用いたコンピュータ処理をほどこして合焦点のピクセルを求めようとしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では合焦点の周囲の明るい部分から光が干渉等によって合焦点部分に入り込み、その領域がボケるため、合焦点部分へノイズとして影響してしまう。そのため、取得された２次元画像より合焦点部分を鮮明な形で抽出することは極めて難しかったのである。さらに、３次元化のプロセス自体、合焦点部分抽出の精度に依存するため、正確な３次元画像を生成することは困難であった。そこで、上述の従来の技術の問題を鑑みてなされた特願２０００−３７１８８７号では、デジタルカメラやデジタル顕微鏡によって取得される観察対象物の２次元デジタル画像より、３次元情報を抽出し、観察対象物の観察したい領域を、高精細な立体画像として観察することを可能とする立体観察装置を提供した。
【０００６】
しかし、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力し、表示していたが、スリット照明の特性上、観察対象物本来の正確な色情報を取得することが困難であった。そこで、上記の課題を解決するために、本発明を提供することとした。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、
観察対象物のデジタル画像を取得する画像取得手段と、
観察対象物の合焦点を含む限定された領域を照射するスリット照明手段と、
観察対象物の観察側表面の全領域を照射する外部照明手段と、
観察対象物を前記画像取得手段に対して相対的に移動する移動手段と、
前記画像取得手段と前記スリット照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出手段と、
前記画像取得手段と前記外部照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出手段で抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出手段と、
前記３次元情報抽出手段から得られた３次元情報と前記色情報抽出手段から得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成手段と、
前記立体情報生成手段により得られた情報を表示する立体画像表示手段と
を有する立体観察装置である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【０００８】
請求項２記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の光源から構成され、
かつ前記複数の光源は同一の輪状具に等間隔に配置され、
かつ複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【０００９】
請求項３記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の線状光源から構成され、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１０】
請求項４記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域に対して光を照射することを特徴とする請求項１記載の立体観察装置である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１１】
請求項５記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域を均一に照射する複数の光源群からなる
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１２】
請求項６記載の発明は、
前記外部照明手段は、観察対象物の全領域を均一に照射する複数の光源からなり、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１３】
請求項７記載の発明は、
観察対象物のデジタル画像を取得する画像取得ステップと、
観察対象物の合焦点を含む限定された領域を照射するスリット照明ステップと、
観察対象物の観察側表面の全領域を照射する外部照明ステップと、
観察対象物を前記画像取得ステップに対して相対的に移動する移動ステップと、
前記画像取得ステップと前記スリット照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出ステップと、
前記画像取得ステップと前記外部照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出ステップで抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出ステップと、
前記３次元情報抽出ステップから得られた３次元情報と前記色情報抽出ステップから得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成ステップと、
前記立体情報生成ステップにより得られた情報を表示する立体画像表示ステップと
を有する立体観察方法である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【００１４】
請求項８記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の光源より光を照射し、
かつ前記複数の光源を同一の輪状具に等間隔に配置し、
かつ前記複数の光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１５】
請求項９記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の線状光源より光を照射し、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１６】
請求項１０記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項７記載の立体観察方法である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１７】
請求項１１記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域を均一に照射する複数の光源より光を照射する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１８】
請求項１２記載の発明は、
前記外部照明ステップは、観察対象物の全領域を均一に照射する複数の光源より光を照射し、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１９】
【発明の実施の形態】
特願２０００−３７１８８７号に基づいて、スリット光源を図３のように改良した。従来観察対象物に対して４個各々９０度ずつずらして設置していたスリット光源を同一の輪状の固定具に８個４５度ずつずらして設置することで、各照明と観察対象物の水平性の精度が向上され、最終的に出力される画像・距離データの品質向上を実現した。
【００２０】
また、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力していた。しかし、スリット照明の特性上、観察対象物の表面の本来の正確な色情報を取得することが困難であった。そこで、図４に示されるドーム型照明を設計、追加した。このドーム型照明内部には、高輝度白色ＬＥＤが多数取り付けられており、ドーム内部に対して均等に拡散光が発せられるようになっている。このドーム型照明下で撮影された画像は通常微小物体をカメラで撮影した場合と同様に大部分がフォーカス外であり、ピントの合っている部分は僅かしかない。そこで、スリット光源下で取得された画像を合成することで得られる深さ情報を利用することで、ドーム型照明下で取得された画像群から必要とされる合焦部分を抽出する。通常、焦点の合っている部分は、カメラからの距離に依存するが、予め観察対象物の形状・奥行きがスリット照明下で取得された深さ情報より明らかであるので、この深さ情報とドーム型照明下で取得された画像群とを比較することで容易に合焦部分を抽出し、合成することが可能である。画像群の合成後に得られる全焦点画像は、全ての部分に均等に光線が照射された観察対象物の表面の本来の色情報を正確に捉えた画像として出力される。それでは、以下の実施例にて、より詳しく説明する。
【００２１】
【実施例】
（実施例１）図１に示すように、本発明の立体観察装置の１実施例は、例えば数ｍｍ〜数ｃｍの小形の観察対象物１を撮影する、例えばデジタルカメラからなる撮像手段２と、この観察対象物１にこれより小さい、例えば５ｍｍの所定幅に対するスリット光（光源に光ファイバーを用い、この光源の出力側に５ｍｍ幅のスリットを設けて、平面光源としている）を観察対象物１に照射する複数のスリット光源群が同一輪状具に固定されているスリット照明手段３と、観察対象物１のスリット光が照射している領域を撮像手段２の合焦点領域に保持するとともに、例えば下方から上方へ所定距離、例えば０．１ｍｍずつ移動する、例えばステップモーター（製品名ＳＰＦ６０ｂ１０−３ＳＭ、オリエンタルモータ社製）が取り付けてある対象物操作アームからなる移動手段４と、水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤを複数取り付けたドーム型照明からなる外部照明手段５（以下、このようにスリット光源群とは異なり、観察対象物１の撮影面全体に照射する光源を外部照明手段という）とを有する。さらに、スリット照明手段３を用いて撮像手段２で得られた観察対象物１のデジタル画像を構成する各ピクセルについて合焦点を見つけ、合焦したピクセルの撮像手段２からの距離を求めて深さ情報を得る。また、外部照明手段５を用いて撮像手段２で得られた観察対象物１の表面の色情報を有する画像群から、前記の深さ情報に対応する合焦部分を抽出する。これらの深さ情報と色情報より、対象物本来の色情報を正確に有する３次元情報を合成し、この３次元情報に基づいて立体画像を表示する画像処理コンピュータ６とを設ける。
【００２２】
それでは、図１の本発明の立体観察装置の動作を、図２の処理手順を参照しながら説明しよう。
まず、初期設定ステップＳ１において、撮像手段２とスリット照明手段３と移動手段４、及び外部照明手段５を設定する。図３の上部の図はスリット照明手段３の構成を示す図であり、その下部の図はスリット照明手段３の断面を示す図である。スリット照明手段３は、従来観察対象物に対して４個各々９０度ずつずらして設置していた各々独立したスリット光源を水平な同一輪状具に８個４５度ずつずらして設置することで、各スリット光源と観察対象物１との水平性の精度が向上した。従来は、それぞれのスリットが同一の固定具に固定されておらず独立していたので、図３の下部に示すスリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが困難であった。さらに、複数のスリット光源を使用する場合には、よりいっそう上記の調整をするのは困難であった。このように水平性を欠いた状態では、スリット光源３ａ−観察対象物１−スリット光源３ｂを結ぶ線と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直とならず、観察対象物の正確な深さ情報を求めることが困難であった。本発明では、従来それぞれ独立して設置していたスリット光源を同一の輪状の固定具に設置することにした。このように、スリット光源を同一の輪状の固定具に設置することで、スリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが容易となり、さらに複数のスリット光源を当該同一輪状の固定具に設置する場合も調整することが容易となる。
【００２３】
また、複数のスリット光源を用いて、これらの複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差するように調整し、前記光線群の存在する水平面に対して観察対象物１が垂直に前記交点で交わるように移動手段４を調整する。そして、この交点は輪状具の輪の中心に存在するのがよい。なぜなら、各スリット光源から交点までの距離をすべて等しくし、照射環境をすべて均一にするためである。このとき、複数のスリット光源は、同一輪状具に等間隔で設置する。これにより、各スリット光源より照射された光の観察対象物１に対する照射環境がすべて同一となり、観察対象物１に対する光照射の偏りが解消される。さらに、スリット光源を増やすと、観察対象物１に対する光が照射されていない部分が減少する。従って、スリット光源を等間隔で増やすほど、観察対象物１に対する光照射の偏りが解消され、最終的に出力される３次元情報の精度を向上させることができ、好ましくは同一輪状具に隙間なくスリット光源を敷き詰め、観察対象物１に対して３６０度全ての方向から光を照射するのがよいが、実用的には４５度の等間隔で設置した８個のスリット光源で十分である。
【００２４】
次に、撮像手段２の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直となる位置に撮像手段２を設置し、かつ、観察対象物１にスリット光源より照射される光線が当たる部分にピントが合うように合焦点位置を調整する。
【００２５】
また、移動手段４の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面に対して、垂直方向に観察対象物１を移動させるように設定する。そして、スリット照明手段３の水平面内での観察対象物１の位置が、スリット照明手段３の円の中心、すなわち各スリット光源から照射された光線が一点で交わる点と一致するようにする。これは、観察対象物１に対する各スリット光源から照射された光線の照射環境を均一にするためである。
【００２６】
それでは、この外部照明手段５の設定について説明する。この外部照明手段５の構造は、図４の上部に示すように水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤが複数取り付けられており、取り付けたＬＥＤをすべて点灯させると、ドーム内部に対して拡散光を照射する。後述するストロボ光源を外部照明手段として用いて昆虫などの光沢質の物体を撮影した場合、サチュレーションや映り込みが入ってしまい、その後取得される画像データの質の低下を引き起こしていたが、この照明装置によりドーム内に存在する観察対象物１に対して、均等に全方向から均等に光線を当てることが可能となり、光沢質のものに対しても高品質の色画像データ（後ほど説明する）を生成することが可能となる。
【００２７】
また、ドームの上方部分は、撮像手段２による撮影の妨げとならないように、穴を空けてあるが、これに限らず、撮像の妨げとならないものであれば、例えばこの部分を透明な素材で構成されていてもよい。
また、ドームの形状は、ドーム内の観察対象物１の観察側表面の全領域に対して均等に全方向から均等に光線を当てることができれば、特にこだわらないが、実用的には半球状に近い形状となる。
【００２８】
次にスリット照明点灯ステップＳ２において、上記で設定した同一輪状具に設置している全てのスリット光源（以下、スリット照明手段３）を点灯させる。このとき、各スリット光源から観察対象物１への光線を妨げないように、外部照明手段５をこのときだけ取り除いても良いし、または、外部照明手段５を、例えば、スリット光源から観察対象物１への光線を妨げる側面部分のみ穴を空けたり、その部分を透明の素材で構成しても良い。もし、このようにドーム型照明５の側面部分を変更した場合、その部分にのみＬＥＤが取り付けられていない。
【００２９】
次にスリット照明撮影ステップＳ３において、撮像手段２を用いて、スリット照明手段３照射下での第１枚目のデジタル画像イメージ（以下、スライス画像という）を取得し、この取得したスライス画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。スライス画像イメージのデータ保存後、スリット照明手段３を消灯する。
【００３０】
次に外部照明点灯ステップＳ４において、ドーム内に取り付けてある全てのＬＥＤ光源（以下、外部照明手段５）を点灯させる。これらのＬＥＤ光源群は、図４下部に示すように、外部照明制御手段７によって一斉に点灯・消灯を行うことができる。外部照明手段５の制御は、外部照明制御コンピュータから外部照明制御手段７にＯＮ／ＯＦＦ信号を送ることで可能であるが、この装置の制御手段はこれに限らず、例えば、外部照明制御コンピュータとして画像処理コンピュータ６を用いても良いし、それ以外の図示されていない他のコンピュータを用いても良いし、または、コンピュータを用いずに直接この外部照明制御手段７を操作して制御しても良い。
【００３１】
次に外部照明撮影ステップＳ５において、撮像手段２を用いて、外部照明手段５照射下での第１枚目のデジタル画像イメージ（以下、ＲＧＢ画像という）を取得し、この取得したＲＧＢ画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。ＲＧＢ画像イメージのデータ保存後、外部照明手段５を消灯する。
【００３２】
次に対象物移動ステップＳ６において、移動手段４を用いて、観察対象物１を立体化する際に必要とする深度最小単位分に相当する量たとえば０．１ｍｍだけ観察対象物１を上方へ移動させる。次に再びスリット照明点灯ステップＳ２において、スリット照明手段３を点灯させる。そして観察対象物１の全ての部位を撮像するまでステップＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６を繰り返す。
【００３３】
上記の繰り返しの処理により、それぞれ順番に観察対象物１の上部から下部までの全ての部分がスリット照明手段３からのスリット光により部分的に照明された複数のスライス画像と、外部照明手段５により均一に照明された複数のＲＧＢ画像とが、例えばそれぞれ１００枚取得される。
【００３４】
次に輝度計算ステップＳ７において、ステップＳ３で取得した複数のスライス画像イメージより３次元情報を抽出する。撮影された例えば１００枚のスライス画像のうちの一つのピクセルに関する輝度の変化を図５の実線で示す。この図５には従来方式による輝度の変化の一例も同時に点線で示してある。横軸は撮影の順番であり、これが深さ方向の長さに対応する（例えば０．１ミリずつ移動するとすると、１０枚目は１ミリの深さになる）。本発明では、合焦点を含む限定された合焦領域のみを照射する照明装置を備えているため、合焦点位置検索に有用なデータは、上記限定された領域に対応する枚数のデータ（例えば１０枚）のみである。これに対して、従来の方法では図５の点線で示すように撮影した全ての領域で高い輝度の情報が存在するので、例えば１００枚すべてが合焦点位置検索のためのデータとなる。このため、本発明では従来方式に比べ、合焦点位置検索に要する計算時間の大幅な削減と周囲ピクセルからの干渉の除去が可能となったのである。
【００３５】
本発明の合焦点位置検索は、上記照明装置に照射された限定された領域（例えば１０枚）について、例えばもっとも輝度の高いものを抽出するアルゴリズムにより実施する。この検索をデジタルカメラのすべてのピクセルにおいて実施する。その結果、デジタルカメラのすべてのピクセルにおいて、最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さ情報を得ることが出来る。従来は図４の点線に示すようにある１つのピクセルにおいて輝度が高いところ（すなわち山部分）が合焦点となるとは限らないので、１００枚の画像の中から合焦点をみつけるアルゴリズムも複雑であった。さらに、合焦点以外の観察対象物の全領域からの外乱光が合焦部分に入射するので合焦点を正確に見つけることもできなかった。
【００３６】
次にデプス・形状情報ステップＳ８において、ステップＳ７の合焦点位置検索で検索された観察対象物の全領域の3次元情報（深さ情報）を取得する。
次にコンパレート合成ステップＳ９において、ステップＳ８で取得した合焦点位置のピクセル情報を基に、ステップＳ５で撮影したＲＧＢ画像から前記の合焦点位置を示す３次元空間座標位置と同一の位置に存在するピクセルの色情報を取り出す。例えば、ステップＳ８で取得した合焦点位置がスライス画像群の１０枚目の座標位置（５，８）であった場合、ＲＧＢ画像群の１０枚目の座標位置（５，８）のピクセルの色情報を取得することである（この時、スライス画像群、ＲＧＢ画像群は、それぞれ撮影順に整列しているものとする）。
【００３７】
次に全焦点ＲＧＢ画像作成ステップＳ１０において、ステップＳ８，９で得られた観察対象物の全領域の深さ情報と色情報とにより、観察対象物本来の色情報を有した３次元情報を作成する。その様子を図６により説明する。ステップＳ７で得られた最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さなどのデータを、深さ情報をパラメータに並べ替えてみよう。ピクセルグループＬ１は、深さＬ１のピクセルの集合であり、ピクセルグループＬ２は、深さＬ２のピクセルの集合である。図６に示すようにピクセルグループＬ１により、立体ボクセルV1が生成される。さらに、ピクセルグループＬ２により立体ボクセルＶ２が生成される。このようにして、取得された全ての画像イメージより、立体ボクセルを作り出す。立体ボクセルＶ２は立体ボクセルＶ１よりも観察対象物１の１回の移動距離たとえば０．１ｍｍだけ、離れたデジタル画像から深度が０．１ｍｍだけ大きくなる値を有する。したがって、ボクセルＶ１，Ｖ２・・・を合成することにより、立体情報として合成済立体データＶ０を得ることが出来る。
【００３８】
図６では観察対象物１が円錐台形のものを用いているが観察対象物１が複雑な形状のときは、取得画像イメージＬ１において全てのピクセルの輝度が最大となるわけではないので、立体ボクセルＶ１のうち、ピクセルの輝度が最大となっていないピクセルに対応したボクセルは欠けることになる。これによって、撮像手段２からの焦点深さに対応した３次元情報を生成できる。
【００３９】
図７は観察対象物１のデジタル画像のうち対象ピクセルＰ１とこれに対応したボクセルとの関係を拡大して示したものである。観察対象物１が０．１ｍｍづつ移動するときには、対象ボクセルの高さは０．１ｍｍとなる。
そして、各ボクセルの位置に対応するＳ９で取得した色情報を合成していく。
【００４０】
最後に立体画像出力ステップＳ１１において、Ｓ１０ステップで作成した立体画像を画面などの出力装置に出力して、表示する。
ところで、上記で説明した当該実施例１の処理手順は、単なる１例であってこれに限定するものではない。例えば、先に外部照明手段５を用いてＲＧＢ画像を取得し、その後スリット照明手段３を用いてスライス画像を取得しても良い。
【００４１】
（実施例２）図８は本発明の他の実施例を示す。実施例１に対して、対象物回転ステップＳ７aにおいて、観察対象物１を１８０度回転させ、その裏面についても撮像することを追加したものである。表裏両面の対応する部分を対応付けするために３次元画像合成ステップＳ１１aで３次元画像処理をすることにより観察対象物１の全体的な画像を生成することができる。これにより観察対象物１を裏返して観察することもできる。この観察対象物１を回転させる手段を図９に示す。この回転手段８は、移動手段４の先端にモータを設け回転軸を回転させて観察対象物１を回転させる。また、この回転角度は自由に調整することができる。当該実施例２では、回転角度を１８０度に設定してあるが、観察状況によっては、例えば、４５度、９０度など設定することができる。
【００４２】
（実施例３）図１０は本発明の他の実施例を示し、実施例１のスリット照明手段３と外部照明手段５であるドーム型照明とを、それぞれ面状ライトとストロボなどの通常の照明装置に置き換えたものである。面状ライトからなるスリット照明手段３は、細長い支柱に観察対象物１より小さな幅の光を照射する線状光源が取り付けてあり、この線状光源を２本用意してそれぞれの支柱に取り付けてある線状光源が互いに向き合い、それぞれの線状光源から照射された光線は同一平面に存在し、その結果図１０に示すように光の面を形成するようにしたものである。線状光源は、「それぞれの線状光源から照射された光線は同一平面に存在する」という条件を満たすならば、複数でも構わない。また、ストロボ光源からなる外部照明手段５は、観察対象物１に対して満遍なく光が照射され、かつ、撮像手段２の撮影を妨げない場所、例えば、観察対象物１の撮影面の斜め前などに配置する。当該実施例３は、実施例１と同様に動作する。当該実施例３では、ストロボ光源を使用しているため、昆虫などの光沢質の対象物体を撮影した場合、サチュレーションや映り込みが入ってしまい正確な色情報を取得することはできない。しかし、光沢質ではない対象物体を撮影する場合、簡易的な外部照明手段として当該実施例３を利用することができる。
【００４３】
（実施例４）図１１は本発明の他の実施例を示し、面状ライトからなるスリット照明手段３、可動台からなる移動手段４、デジタルカメラからなる撮像手段２、画像処理コンピュータ６より構成される装置に、点光源などで構成した全空間を被う照明装置からなる外部照明手段５と各点光源の点灯を制御する外部照明制御手段７と実施例２で説明した観察対象物の回転手段８とを付加する。これは、実施例２のスリット照明手段３とドーム型照明５とを、それぞれ面状ライトと曲面に取り付けられている複数の点光源からなる照明装置とに置き換えたものである。当該実施例４は、実施例２とほとんど同様に動作するが、異なる点がある。その相違点とは、観察対象物１を回転させるステップにおいて、観察対象物に対する点光源群から照射される光線の照明環境が変化しないように、回転手段８の回転ベクトルに対応して、点光源群の位置を変化させることである。また、もう１つの相違点は観察対象物の表面の全領域に対して外部照明手段から光が照射されていることである。これは、上記の回転手段８に起因するものである。なぜなら、回転手段８により観察対象物を回転させると、それに伴って外部照明手段５も移動するが、回転後の観察対象物の観察側表面に対しても光が照射されていなければならないからである。そのために、撮影開始時に撮影対象外である観察対象物表面に対しても、予め外部照明手段５により光を照射するのである。
【００４４】
（実施例５）図１２は本発明の他の実施例を示し、スリット照明３の様々な形状を提案した。実施例１の輪状具の形状は、必ずしも円である必要はなく、例えば図１２に描写したような形状をしていてもよい。図１２には３つの形状を図示している。これらの形状に共通しているのは、観察対象物をスリット照明の中心に置いたとき、観察対象物に対する各スリット光源の照射環境が全て均一で、かつ各スリット光源の相対的位置が常に同一であるということである。
【００４５】
【発明の効果】
本発明によれば、スリット光源を複数設けることで、スリット光源から照射される光線と観察対象物との接点を増やし、かつ観察対象物に対するそれぞれの光線の照射環境を等しくし、さらにそれぞれを光源を同一の固定具に設置することで、各照明と撮影対象物との水平性の精度が向上した。また、スリット照明下で撮影した画像より取得した深さ情報と、外部照明手段下で撮影した画像より取得した色情報とより、対象物表面の本来の色情報を正確に再現した立体画像を表示することが可能となった。
【００４６】
以上より，超高解像度３次元画像の精度・品質を高度に向上させることが可能となった。
【図面の簡単な説明】
【図１】本発明の立体観察装置の一実施例の構成図である。
【図２】図１に示した立体観察装置の処理手順を示す図である。
【図３】スリット照明の構成図である。
【図４】ドーム型照明の構成図である。
【図５】１つのピクセルについての画像枚数と輝度との関係を示す図である。
【図６】図２のステップＳ１０における３次元データ抽出プロセスの説明図である。
【図７】図２のステップＳ１０で用いられる３次元データ構造の拡大図である。
【図８】実施例２の処理手順を示す図である。
【図９】実施例２で用いる移動手段における、観察対象物を回転させる部分を示す図である。
【図１０】実施例３の装置構成を示す図である。
【図１１】実施例４の装置構成を示す図である。
【図１２】実施例５の様々なスリット照明の形状の１例を示す図である。
【符号の説明】
１ 観察対象物
２ 撮像手段
３ スリット照明手段
３ａ スリット光源
３ｂ スリット光源
４ 移動手段
５ 外部照明手段
６ 画像処理コンピュータ
７ 外部照明制御手段
８ 回転手段
【発明の属する技術分野】
本発明は、市販のデジタルカメラやデジタル顕微鏡などの画像取得機器を通じて取得された観察対象物のデジタル画像イメージにより立体構造を表示する立体観察装置および方法に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタル顕微鏡においては、立体的な構造を観察する場合、被写界深度により観察対象物のほとんどの部分がぼやけてしまうことがある。この場合には、観察対象物そのものを回転・移動させ、再度焦点を合わせることにより、観察したい立体構造を明らかにする作業を行わなければならない。
【０００３】
ところが、従来の技術において、顕微鏡などでは、被写界深度が極めて浅いため、観察対象物の像がボケた部分がほとんどとなってしまい、観察対象物に存在する３次元構造や表面の色構造を観察対象物の全体に渡って観察することができない。そのため、従来においては、まず、観察対象物全体について焦点のあった画像を得る技術への要求が存在した。
【０００４】
さらに、小型の昆虫や機械部品等の細かく入り組んだ観察対象物を、顕微鏡などを用いて観察する場合、得られる２次元画像からその立体構造を観察することは困難であった。
このような観察対象物の２次元画像から立体的な画像を得る技術については、たとえば、論文、Ｓｈｒｅｅ Ｋ．Ｎａｙａｒ「Shape from focus system 」（Proc.of CVPR,pp.302-308，1992）に開示されているように、観察対象物の合焦点部分を抽出することによって、顕微鏡等のレンズからの相対的位置を得るといった方法が存在する。この方法では観察対象物の合焦点部分を抽出手段として、その２次元デジタル画像に複雑なアルゴリズムを用いたコンピュータ処理をほどこして合焦点のピクセルを求めようとしていた。
【０００５】
【発明が解決しようとする課題】
しかしながら、この方法では合焦点の周囲の明るい部分から光が干渉等によって合焦点部分に入り込み、その領域がボケるため、合焦点部分へノイズとして影響してしまう。そのため、取得された２次元画像より合焦点部分を鮮明な形で抽出することは極めて難しかったのである。さらに、３次元化のプロセス自体、合焦点部分抽出の精度に依存するため、正確な３次元画像を生成することは困難であった。そこで、上述の従来の技術の問題を鑑みてなされた特願２０００−３７１８８７号では、デジタルカメラやデジタル顕微鏡によって取得される観察対象物の２次元デジタル画像より、３次元情報を抽出し、観察対象物の観察したい領域を、高精細な立体画像として観察することを可能とする立体観察装置を提供した。
【０００６】
しかし、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力し、表示していたが、スリット照明の特性上、観察対象物本来の正確な色情報を取得することが困難であった。そこで、上記の課題を解決するために、本発明を提供することとした。
【０００７】
【課題を解決するための手段】
請求項１記載の発明は、
観察対象物のデジタル画像を取得する画像取得手段と、
観察対象物の合焦点を含む限定された領域を照射するスリット照明手段と、
観察対象物の観察側表面の全領域を照射する外部照明手段と、
観察対象物を前記画像取得手段に対して相対的に移動する移動手段と、
前記画像取得手段と前記スリット照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出手段と、
前記画像取得手段と前記外部照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出手段で抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出手段と、
前記３次元情報抽出手段から得られた３次元情報と前記色情報抽出手段から得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成手段と、
前記立体情報生成手段により得られた情報を表示する立体画像表示手段と
を有する立体観察装置である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【０００８】
請求項２記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の光源から構成され、
かつ前記複数の光源は同一の輪状具に等間隔に配置され、
かつ複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【０００９】
請求項３記載の発明は、
前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の線状光源から構成され、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項１記載の立体観察装置である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１０】
請求項４記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域に対して光を照射することを特徴とする請求項１記載の立体観察装置である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１１】
請求項５記載の発明は、
前記外部照明手段は、観察対象物の観察側表面の全領域を均一に照射する複数の光源群からなる
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１２】
請求項６記載の発明は、
前記外部照明手段は、観察対象物の全領域を均一に照射する複数の光源からなり、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項１記載の立体観察装置である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１３】
請求項７記載の発明は、
観察対象物のデジタル画像を取得する画像取得ステップと、
観察対象物の合焦点を含む限定された領域を照射するスリット照明ステップと、
観察対象物の観察側表面の全領域を照射する外部照明ステップと、
観察対象物を前記画像取得ステップに対して相対的に移動する移動ステップと、
前記画像取得ステップと前記スリット照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出ステップと、
前記画像取得ステップと前記外部照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出ステップで抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出ステップと、
前記３次元情報抽出ステップから得られた３次元情報と前記色情報抽出ステップから得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成ステップと、
前記立体情報生成ステップにより得られた情報を表示する立体画像表示ステップと
を有する立体観察方法である。これにより、観察対象物の表面の色情報を含んだ高精細な立体画像を取得することができる。
【００１４】
請求項８記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の光源より光を照射し、
かつ前記複数の光源を同一の輪状具に等間隔に配置し、
かつ前記複数の光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１５】
請求項９記載の発明は、
前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の線状光源より光を照射し、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項７記載の立体観察方法である。これにより、最終的に出力される画像及び距離データの品質の向上を図ることができる。
【００１６】
請求項１０記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項７記載の立体観察方法である。この光源の下で撮影された観察対象物の表面の色情報を、３次元画像データの表面の色情報として利用することができる。
【００１７】
請求項１１記載の発明は、
前記外部照明ステップは、観察対象物の観察側表面の全領域を均一に照射する複数の光源より光を照射する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物に対して均等に全方向から均等の光線を当てることが可能となり、光沢質の観察対象物に対しても高品質の色画像データを取得することが可能となる。
【００１８】
請求項１２記載の発明は、
前記外部照明ステップは、観察対象物の全領域を均一に照射する複数の光源より光を照射し、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項７記載の立体観察方法である。これにより、観察対象物が回転した場合でも、外部照明手段はその回転ベクトルに従って移動するので、観察対象物に対する外部照明光源群の相対的な照射環境に変化がなくなり、観察対象物の回転前と同一の環境で観察することができる。
【００１９】
【発明の実施の形態】
特願２０００−３７１８８７号に基づいて、スリット光源を図３のように改良した。従来観察対象物に対して４個各々９０度ずつずらして設置していたスリット光源を同一の輪状の固定具に８個４５度ずつずらして設置することで、各照明と観察対象物の水平性の精度が向上され、最終的に出力される画像・距離データの品質向上を実現した。
【００２０】
また、この特願２０００−３７１８８７号では、スリット照明の下で取得される色情報を合成したものを最終的な色情報として出力していた。しかし、スリット照明の特性上、観察対象物の表面の本来の正確な色情報を取得することが困難であった。そこで、図４に示されるドーム型照明を設計、追加した。このドーム型照明内部には、高輝度白色ＬＥＤが多数取り付けられており、ドーム内部に対して均等に拡散光が発せられるようになっている。このドーム型照明下で撮影された画像は通常微小物体をカメラで撮影した場合と同様に大部分がフォーカス外であり、ピントの合っている部分は僅かしかない。そこで、スリット光源下で取得された画像を合成することで得られる深さ情報を利用することで、ドーム型照明下で取得された画像群から必要とされる合焦部分を抽出する。通常、焦点の合っている部分は、カメラからの距離に依存するが、予め観察対象物の形状・奥行きがスリット照明下で取得された深さ情報より明らかであるので、この深さ情報とドーム型照明下で取得された画像群とを比較することで容易に合焦部分を抽出し、合成することが可能である。画像群の合成後に得られる全焦点画像は、全ての部分に均等に光線が照射された観察対象物の表面の本来の色情報を正確に捉えた画像として出力される。それでは、以下の実施例にて、より詳しく説明する。
【００２１】
【実施例】
（実施例１）図１に示すように、本発明の立体観察装置の１実施例は、例えば数ｍｍ〜数ｃｍの小形の観察対象物１を撮影する、例えばデジタルカメラからなる撮像手段２と、この観察対象物１にこれより小さい、例えば５ｍｍの所定幅に対するスリット光（光源に光ファイバーを用い、この光源の出力側に５ｍｍ幅のスリットを設けて、平面光源としている）を観察対象物１に照射する複数のスリット光源群が同一輪状具に固定されているスリット照明手段３と、観察対象物１のスリット光が照射している領域を撮像手段２の合焦点領域に保持するとともに、例えば下方から上方へ所定距離、例えば０．１ｍｍずつ移動する、例えばステップモーター（製品名ＳＰＦ６０ｂ１０−３ＳＭ、オリエンタルモータ社製）が取り付けてある対象物操作アームからなる移動手段４と、水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤを複数取り付けたドーム型照明からなる外部照明手段５（以下、このようにスリット光源群とは異なり、観察対象物１の撮影面全体に照射する光源を外部照明手段という）とを有する。さらに、スリット照明手段３を用いて撮像手段２で得られた観察対象物１のデジタル画像を構成する各ピクセルについて合焦点を見つけ、合焦したピクセルの撮像手段２からの距離を求めて深さ情報を得る。また、外部照明手段５を用いて撮像手段２で得られた観察対象物１の表面の色情報を有する画像群から、前記の深さ情報に対応する合焦部分を抽出する。これらの深さ情報と色情報より、対象物本来の色情報を正確に有する３次元情報を合成し、この３次元情報に基づいて立体画像を表示する画像処理コンピュータ６とを設ける。
【００２２】
それでは、図１の本発明の立体観察装置の動作を、図２の処理手順を参照しながら説明しよう。
まず、初期設定ステップＳ１において、撮像手段２とスリット照明手段３と移動手段４、及び外部照明手段５を設定する。図３の上部の図はスリット照明手段３の構成を示す図であり、その下部の図はスリット照明手段３の断面を示す図である。スリット照明手段３は、従来観察対象物に対して４個各々９０度ずつずらして設置していた各々独立したスリット光源を水平な同一輪状具に８個４５度ずつずらして設置することで、各スリット光源と観察対象物１との水平性の精度が向上した。従来は、それぞれのスリットが同一の固定具に固定されておらず独立していたので、図３の下部に示すスリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが困難であった。さらに、複数のスリット光源を使用する場合には、よりいっそう上記の調整をするのは困難であった。このように水平性を欠いた状態では、スリット光源３ａ−観察対象物１−スリット光源３ｂを結ぶ線と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直とならず、観察対象物の正確な深さ情報を求めることが困難であった。本発明では、従来それぞれ独立して設置していたスリット光源を同一の輪状の固定具に設置することにした。このように、スリット光源を同一の輪状の固定具に設置することで、スリット光源３ａ−観察対象物１−スリット光源３ｂの３点を結ぶ線を水平に調整することが容易となり、さらに複数のスリット光源を当該同一輪状の固定具に設置する場合も調整することが容易となる。
【００２３】
また、複数のスリット光源を用いて、これらの複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差するように調整し、前記光線群の存在する水平面に対して観察対象物１が垂直に前記交点で交わるように移動手段４を調整する。そして、この交点は輪状具の輪の中心に存在するのがよい。なぜなら、各スリット光源から交点までの距離をすべて等しくし、照射環境をすべて均一にするためである。このとき、複数のスリット光源は、同一輪状具に等間隔で設置する。これにより、各スリット光源より照射された光の観察対象物１に対する照射環境がすべて同一となり、観察対象物１に対する光照射の偏りが解消される。さらに、スリット光源を増やすと、観察対象物１に対する光が照射されていない部分が減少する。従って、スリット光源を等間隔で増やすほど、観察対象物１に対する光照射の偏りが解消され、最終的に出力される３次元情報の精度を向上させることができ、好ましくは同一輪状具に隙間なくスリット光源を敷き詰め、観察対象物１に対して３６０度全ての方向から光を照射するのがよいが、実用的には４５度の等間隔で設置した８個のスリット光源で十分である。
【００２４】
次に、撮像手段２の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面と撮像手段２−観察対象物１を結ぶ線との交差角度が垂直となる位置に撮像手段２を設置し、かつ、観察対象物１にスリット光源より照射される光線が当たる部分にピントが合うように合焦点位置を調整する。
【００２５】
また、移動手段４の設定について説明する。上述の通り、観察対象物１を同一平面に含むスリット照明手段３の水平面に対して、垂直方向に観察対象物１を移動させるように設定する。そして、スリット照明手段３の水平面内での観察対象物１の位置が、スリット照明手段３の円の中心、すなわち各スリット光源から照射された光線が一点で交わる点と一致するようにする。これは、観察対象物１に対する各スリット光源から照射された光線の照射環境を均一にするためである。
【００２６】
それでは、この外部照明手段５の設定について説明する。この外部照明手段５の構造は、図４の上部に示すように水平に備え付けられたドーム型の蓋の内部に満遍なく高輝度白色ＬＥＤが複数取り付けられており、取り付けたＬＥＤをすべて点灯させると、ドーム内部に対して拡散光を照射する。後述するストロボ光源を外部照明手段として用いて昆虫などの光沢質の物体を撮影した場合、サチュレーションや映り込みが入ってしまい、その後取得される画像データの質の低下を引き起こしていたが、この照明装置によりドーム内に存在する観察対象物１に対して、均等に全方向から均等に光線を当てることが可能となり、光沢質のものに対しても高品質の色画像データ（後ほど説明する）を生成することが可能となる。
【００２７】
また、ドームの上方部分は、撮像手段２による撮影の妨げとならないように、穴を空けてあるが、これに限らず、撮像の妨げとならないものであれば、例えばこの部分を透明な素材で構成されていてもよい。
また、ドームの形状は、ドーム内の観察対象物１の観察側表面の全領域に対して均等に全方向から均等に光線を当てることができれば、特にこだわらないが、実用的には半球状に近い形状となる。
【００２８】
次にスリット照明点灯ステップＳ２において、上記で設定した同一輪状具に設置している全てのスリット光源（以下、スリット照明手段３）を点灯させる。このとき、各スリット光源から観察対象物１への光線を妨げないように、外部照明手段５をこのときだけ取り除いても良いし、または、外部照明手段５を、例えば、スリット光源から観察対象物１への光線を妨げる側面部分のみ穴を空けたり、その部分を透明の素材で構成しても良い。もし、このようにドーム型照明５の側面部分を変更した場合、その部分にのみＬＥＤが取り付けられていない。
【００２９】
次にスリット照明撮影ステップＳ３において、撮像手段２を用いて、スリット照明手段３照射下での第１枚目のデジタル画像イメージ（以下、スライス画像という）を取得し、この取得したスライス画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。スライス画像イメージのデータ保存後、スリット照明手段３を消灯する。
【００３０】
次に外部照明点灯ステップＳ４において、ドーム内に取り付けてある全てのＬＥＤ光源（以下、外部照明手段５）を点灯させる。これらのＬＥＤ光源群は、図４下部に示すように、外部照明制御手段７によって一斉に点灯・消灯を行うことができる。外部照明手段５の制御は、外部照明制御コンピュータから外部照明制御手段７にＯＮ／ＯＦＦ信号を送ることで可能であるが、この装置の制御手段はこれに限らず、例えば、外部照明制御コンピュータとして画像処理コンピュータ６を用いても良いし、それ以外の図示されていない他のコンピュータを用いても良いし、または、コンピュータを用いずに直接この外部照明制御手段７を操作して制御しても良い。
【００３１】
次に外部照明撮影ステップＳ５において、撮像手段２を用いて、外部照明手段５照射下での第１枚目のデジタル画像イメージ（以下、ＲＧＢ画像という）を取得し、この取得したＲＧＢ画像イメージを、例えば画像処理コンピュータ６のデータ記憶手段を用いて保存する。ＲＧＢ画像イメージのデータ保存後、外部照明手段５を消灯する。
【００３２】
次に対象物移動ステップＳ６において、移動手段４を用いて、観察対象物１を立体化する際に必要とする深度最小単位分に相当する量たとえば０．１ｍｍだけ観察対象物１を上方へ移動させる。次に再びスリット照明点灯ステップＳ２において、スリット照明手段３を点灯させる。そして観察対象物１の全ての部位を撮像するまでステップＳ２，Ｓ３，Ｓ４，Ｓ５，Ｓ６を繰り返す。
【００３３】
上記の繰り返しの処理により、それぞれ順番に観察対象物１の上部から下部までの全ての部分がスリット照明手段３からのスリット光により部分的に照明された複数のスライス画像と、外部照明手段５により均一に照明された複数のＲＧＢ画像とが、例えばそれぞれ１００枚取得される。
【００３４】
次に輝度計算ステップＳ７において、ステップＳ３で取得した複数のスライス画像イメージより３次元情報を抽出する。撮影された例えば１００枚のスライス画像のうちの一つのピクセルに関する輝度の変化を図５の実線で示す。この図５には従来方式による輝度の変化の一例も同時に点線で示してある。横軸は撮影の順番であり、これが深さ方向の長さに対応する（例えば０．１ミリずつ移動するとすると、１０枚目は１ミリの深さになる）。本発明では、合焦点を含む限定された合焦領域のみを照射する照明装置を備えているため、合焦点位置検索に有用なデータは、上記限定された領域に対応する枚数のデータ（例えば１０枚）のみである。これに対して、従来の方法では図５の点線で示すように撮影した全ての領域で高い輝度の情報が存在するので、例えば１００枚すべてが合焦点位置検索のためのデータとなる。このため、本発明では従来方式に比べ、合焦点位置検索に要する計算時間の大幅な削減と周囲ピクセルからの干渉の除去が可能となったのである。
【００３５】
本発明の合焦点位置検索は、上記照明装置に照射された限定された領域（例えば１０枚）について、例えばもっとも輝度の高いものを抽出するアルゴリズムにより実施する。この検索をデジタルカメラのすべてのピクセルにおいて実施する。その結果、デジタルカメラのすべてのピクセルにおいて、最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さ情報を得ることが出来る。従来は図４の点線に示すようにある１つのピクセルにおいて輝度が高いところ（すなわち山部分）が合焦点となるとは限らないので、１００枚の画像の中から合焦点をみつけるアルゴリズムも複雑であった。さらに、合焦点以外の観察対象物の全領域からの外乱光が合焦部分に入射するので合焦点を正確に見つけることもできなかった。
【００３６】
次にデプス・形状情報ステップＳ８において、ステップＳ７の合焦点位置検索で検索された観察対象物の全領域の3次元情報（深さ情報）を取得する。
次にコンパレート合成ステップＳ９において、ステップＳ８で取得した合焦点位置のピクセル情報を基に、ステップＳ５で撮影したＲＧＢ画像から前記の合焦点位置を示す３次元空間座標位置と同一の位置に存在するピクセルの色情報を取り出す。例えば、ステップＳ８で取得した合焦点位置がスライス画像群の１０枚目の座標位置（５，８）であった場合、ＲＧＢ画像群の１０枚目の座標位置（５，８）のピクセルの色情報を取得することである（この時、スライス画像群、ＲＧＢ画像群は、それぞれ撮影順に整列しているものとする）。
【００３７】
次に全焦点ＲＧＢ画像作成ステップＳ１０において、ステップＳ８，９で得られた観察対象物の全領域の深さ情報と色情報とにより、観察対象物本来の色情報を有した３次元情報を作成する。その様子を図６により説明する。ステップＳ７で得られた最適合焦点位置における輝度情報・色情報及び合焦点位置より導き出される深さなどのデータを、深さ情報をパラメータに並べ替えてみよう。ピクセルグループＬ１は、深さＬ１のピクセルの集合であり、ピクセルグループＬ２は、深さＬ２のピクセルの集合である。図６に示すようにピクセルグループＬ１により、立体ボクセルV1が生成される。さらに、ピクセルグループＬ２により立体ボクセルＶ２が生成される。このようにして、取得された全ての画像イメージより、立体ボクセルを作り出す。立体ボクセルＶ２は立体ボクセルＶ１よりも観察対象物１の１回の移動距離たとえば０．１ｍｍだけ、離れたデジタル画像から深度が０．１ｍｍだけ大きくなる値を有する。したがって、ボクセルＶ１，Ｖ２・・・を合成することにより、立体情報として合成済立体データＶ０を得ることが出来る。
【００３８】
図６では観察対象物１が円錐台形のものを用いているが観察対象物１が複雑な形状のときは、取得画像イメージＬ１において全てのピクセルの輝度が最大となるわけではないので、立体ボクセルＶ１のうち、ピクセルの輝度が最大となっていないピクセルに対応したボクセルは欠けることになる。これによって、撮像手段２からの焦点深さに対応した３次元情報を生成できる。
【００３９】
図７は観察対象物１のデジタル画像のうち対象ピクセルＰ１とこれに対応したボクセルとの関係を拡大して示したものである。観察対象物１が０．１ｍｍづつ移動するときには、対象ボクセルの高さは０．１ｍｍとなる。
そして、各ボクセルの位置に対応するＳ９で取得した色情報を合成していく。
【００４０】
最後に立体画像出力ステップＳ１１において、Ｓ１０ステップで作成した立体画像を画面などの出力装置に出力して、表示する。
ところで、上記で説明した当該実施例１の処理手順は、単なる１例であってこれに限定するものではない。例えば、先に外部照明手段５を用いてＲＧＢ画像を取得し、その後スリット照明手段３を用いてスライス画像を取得しても良い。
【００４１】
（実施例２）図８は本発明の他の実施例を示す。実施例１に対して、対象物回転ステップＳ７aにおいて、観察対象物１を１８０度回転させ、その裏面についても撮像することを追加したものである。表裏両面の対応する部分を対応付けするために３次元画像合成ステップＳ１１aで３次元画像処理をすることにより観察対象物１の全体的な画像を生成することができる。これにより観察対象物１を裏返して観察することもできる。この観察対象物１を回転させる手段を図９に示す。この回転手段８は、移動手段４の先端にモータを設け回転軸を回転させて観察対象物１を回転させる。また、この回転角度は自由に調整することができる。当該実施例２では、回転角度を１８０度に設定してあるが、観察状況によっては、例えば、４５度、９０度など設定することができる。
【００４２】
（実施例３）図１０は本発明の他の実施例を示し、実施例１のスリット照明手段３と外部照明手段５であるドーム型照明とを、それぞれ面状ライトとストロボなどの通常の照明装置に置き換えたものである。面状ライトからなるスリット照明手段３は、細長い支柱に観察対象物１より小さな幅の光を照射する線状光源が取り付けてあり、この線状光源を２本用意してそれぞれの支柱に取り付けてある線状光源が互いに向き合い、それぞれの線状光源から照射された光線は同一平面に存在し、その結果図１０に示すように光の面を形成するようにしたものである。線状光源は、「それぞれの線状光源から照射された光線は同一平面に存在する」という条件を満たすならば、複数でも構わない。また、ストロボ光源からなる外部照明手段５は、観察対象物１に対して満遍なく光が照射され、かつ、撮像手段２の撮影を妨げない場所、例えば、観察対象物１の撮影面の斜め前などに配置する。当該実施例３は、実施例１と同様に動作する。当該実施例３では、ストロボ光源を使用しているため、昆虫などの光沢質の対象物体を撮影した場合、サチュレーションや映り込みが入ってしまい正確な色情報を取得することはできない。しかし、光沢質ではない対象物体を撮影する場合、簡易的な外部照明手段として当該実施例３を利用することができる。
【００４３】
（実施例４）図１１は本発明の他の実施例を示し、面状ライトからなるスリット照明手段３、可動台からなる移動手段４、デジタルカメラからなる撮像手段２、画像処理コンピュータ６より構成される装置に、点光源などで構成した全空間を被う照明装置からなる外部照明手段５と各点光源の点灯を制御する外部照明制御手段７と実施例２で説明した観察対象物の回転手段８とを付加する。これは、実施例２のスリット照明手段３とドーム型照明５とを、それぞれ面状ライトと曲面に取り付けられている複数の点光源からなる照明装置とに置き換えたものである。当該実施例４は、実施例２とほとんど同様に動作するが、異なる点がある。その相違点とは、観察対象物１を回転させるステップにおいて、観察対象物に対する点光源群から照射される光線の照明環境が変化しないように、回転手段８の回転ベクトルに対応して、点光源群の位置を変化させることである。また、もう１つの相違点は観察対象物の表面の全領域に対して外部照明手段から光が照射されていることである。これは、上記の回転手段８に起因するものである。なぜなら、回転手段８により観察対象物を回転させると、それに伴って外部照明手段５も移動するが、回転後の観察対象物の観察側表面に対しても光が照射されていなければならないからである。そのために、撮影開始時に撮影対象外である観察対象物表面に対しても、予め外部照明手段５により光を照射するのである。
【００４４】
（実施例５）図１２は本発明の他の実施例を示し、スリット照明３の様々な形状を提案した。実施例１の輪状具の形状は、必ずしも円である必要はなく、例えば図１２に描写したような形状をしていてもよい。図１２には３つの形状を図示している。これらの形状に共通しているのは、観察対象物をスリット照明の中心に置いたとき、観察対象物に対する各スリット光源の照射環境が全て均一で、かつ各スリット光源の相対的位置が常に同一であるということである。
【００４５】
【発明の効果】
本発明によれば、スリット光源を複数設けることで、スリット光源から照射される光線と観察対象物との接点を増やし、かつ観察対象物に対するそれぞれの光線の照射環境を等しくし、さらにそれぞれを光源を同一の固定具に設置することで、各照明と撮影対象物との水平性の精度が向上した。また、スリット照明下で撮影した画像より取得した深さ情報と、外部照明手段下で撮影した画像より取得した色情報とより、対象物表面の本来の色情報を正確に再現した立体画像を表示することが可能となった。
【００４６】
以上より，超高解像度３次元画像の精度・品質を高度に向上させることが可能となった。
【図面の簡単な説明】
【図１】本発明の立体観察装置の一実施例の構成図である。
【図２】図１に示した立体観察装置の処理手順を示す図である。
【図３】スリット照明の構成図である。
【図４】ドーム型照明の構成図である。
【図５】１つのピクセルについての画像枚数と輝度との関係を示す図である。
【図６】図２のステップＳ１０における３次元データ抽出プロセスの説明図である。
【図７】図２のステップＳ１０で用いられる３次元データ構造の拡大図である。
【図８】実施例２の処理手順を示す図である。
【図９】実施例２で用いる移動手段における、観察対象物を回転させる部分を示す図である。
【図１０】実施例３の装置構成を示す図である。
【図１１】実施例４の装置構成を示す図である。
【図１２】実施例５の様々なスリット照明の形状の１例を示す図である。
【符号の説明】
１ 観察対象物
２ 撮像手段
３ スリット照明手段
３ａ スリット光源
３ｂ スリット光源
４ 移動手段
５ 外部照明手段
６ 画像処理コンピュータ
７ 外部照明制御手段
８ 回転手段
Claims (12)
- 観察対象物のデジタル画像を取得する画像取得手段と、
観察対象物の合焦点を含む限定された領域を照射するスリット照明手段と、
観察対象物の観察側表面の全領域を照射する外部照明手段と、
観察対象物を前記画像取得手段に対して相対的に移動する移動手段と、
前記画像取得手段と前記スリット照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出手段と、
前記画像取得手段と前記外部照明手段とを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出手段で抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出手段と、
前記３次元情報抽出手段から得られた３次元情報と前記色情報抽出手段から得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成手段と、
前記立体情報生成手段により得られた情報を表示する立体画像表示手段と
を有する立体観察装置。 - 前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の光源から構成され、
かつ前記複数の光源は同一の輪状具に等間隔に配置され、
かつ複数の前記光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項１記載の立体観察装置。 - 前記スリット照明手段は、観察対象物より小さな幅の光を照射する複数の線状光源から構成され、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項１記載の立体観察装置。 - 前記外部照明手段は、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項１記載の立体観察装置。 - 前記外部照明手段は、観察対象物の観察側表面の全領域を均一に照射する複数の光源群からなる
ことを特徴とする請求項１記載の立体観察装置。 - 前記外部照明手段は、観察対象物の全領域を均一に照射する複数の光源からなり、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項１記載の立体観察装置。 - 観察対象物のデジタル画像を取得する画像取得ステップと、
観察対象物の合焦点を含む限定された領域を照射するスリット照明ステップと、
観察対象物の観察側表面の全領域を照射する外部照明ステップと、
観察対象物を前記画像取得ステップに対して相対的に移動する移動ステップと、
前記画像取得ステップと前記スリット照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から３次元情報を抽出する３次元情報抽出ステップと、
前記画像取得ステップと前記外部照明ステップとを用いて、前記観察対象物の移動に伴って得られた複数枚のデジタル画像から、前記3次元情報抽出ステップで抽出された３次元空間座標位置と同一の３次元空間座標位置に存在するピクセルの色情報を抽出する色情報抽出ステップと、
前記３次元情報抽出ステップから得られた３次元情報と前記色情報抽出ステップから得られた色情報とより、観察対象物表面の色情報を有する立体情報を生成する立体情報生成ステップと、
前記立体情報生成ステップにより得られた情報を表示する立体画像表示ステップと
を有する立体観察方法。 - 前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の光源より光を照射し、
かつ前記複数の光源を同一の輪状具に等間隔に配置し、
かつ前記複数の光源から照射されたすべての光線は同一平面に存在し、前記光線のすべてが一点で交差する
ことを特徴とする請求項７記載の立体観察方法。 - 前記スリット照明ステップは、観察対象物より小さな幅の光を照射する複数の線状光源より光を照射し、
前記複数の線状光源は相互に向き合い、
前記それぞれの光源から照射されたすべての光線は同一平面に存在する
ことを特徴とする請求項７記載の立体観察方法。 - 前記外部照明ステップは、観察対象物の観察側表面の全領域に対して光を照射する
ことを特徴とする請求項７記載の立体観察方法。 - 前記外部照明ステップは、観察対象物の観察側表面の全領域を均一に照射する複数の光源より光を照射する
ことを特徴とする請求項７記載の立体観察方法。 - 前記外部照明ステップは、観察対象物の全領域を均一に照射する複数の光源より光を照射し、
前記観察対象物が回転した場合、前記複数の光源も前記回転ベクトルに従って移動する
ことを特徴とする請求項７記載の立体観察方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164224A JP3639869B2 (ja) | 2002-06-05 | 2002-06-05 | 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164224A JP3639869B2 (ja) | 2002-06-05 | 2002-06-05 | 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015297A JP2004015297A (ja) | 2004-01-15 |
| JP3639869B2 true JP3639869B2 (ja) | 2005-04-20 |
Family
ID=30432429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002164224A Expired - Fee Related JP3639869B2 (ja) | 2002-06-05 | 2002-06-05 | 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3639869B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102316355A (zh) * | 2011-09-15 | 2012-01-11 | 丁少华 | 3d机器视觉信号的生成方法及3d机器视觉传感器 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5177489B2 (ja) * | 2006-10-31 | 2013-04-03 | 独立行政法人産業技術総合研究所 | Ｌｅｄ照明光源装置 |
| JP2019143972A (ja) * | 2016-06-20 | 2019-08-29 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、複製システム、及び複製方法 |
| WO2018020533A1 (ja) * | 2016-07-29 | 2018-02-01 | パナソニックＩｐマネジメント株式会社 | 画像処理装置、複製システム、及び複製方法 |
| CN106596550B (zh) * | 2016-12-14 | 2019-03-26 | 河南工业大学 | 一种微小昆虫标本图像采集系统 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2929701B2 (ja) * | 1990-10-30 | 1999-08-03 | オムロン株式会社 | 表面性状観測装置 |
| JP3568252B2 (ja) * | 1994-10-13 | 2004-09-22 | オリンパス株式会社 | 立体静止画撮像システム |
| JP3377027B2 (ja) * | 1997-12-19 | 2003-02-17 | 日立プラント建設株式会社 | 非接触式立体形状計測装置 |
| JP2000315257A (ja) * | 1999-04-30 | 2000-11-14 | Shiseido Co Ltd | 皮膚状態の三次元画像生成方法 |
| JP3706504B2 (ja) * | 1999-06-14 | 2005-10-12 | 博明 土屋 | 高さ計測装置 |
| JP2001116525A (ja) * | 1999-10-19 | 2001-04-27 | Sumitomo Wiring Syst Ltd | ３次元形状計測装置および３次元形状計測方法 |
-
2002
- 2002-06-05 JP JP2002164224A patent/JP3639869B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102316355A (zh) * | 2011-09-15 | 2012-01-11 | 丁少华 | 3d机器视觉信号的生成方法及3d机器视觉传感器 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004015297A (ja) | 2004-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107526156B (zh) | 光片显微镜以及用于运行光片显微镜的方法 | |
| JP6307770B2 (ja) | 撮像素子 | |
| US11665307B2 (en) | Background display system | |
| US20060072123A1 (en) | Methods and apparatus for making images including depth information | |
| US20140340648A1 (en) | Projecting device | |
| CN110235045A (zh) | 用于对样品进行显微检查的显微镜和方法 | |
| JPH0560528A (ja) | 立体情報入力装置 | |
| EP2291606A1 (en) | Optical inspection probe | |
| JP2012185053A (ja) | パノラマ画像作成方法及び３次元レーザスキャナ | |
| CN103744172B (zh) | 一种具备空间光调制照明的共聚焦显微成像方法 | |
| US6233035B1 (en) | Image recording apparatus and image reproducing apparatus | |
| JP6739061B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
| JP5799473B2 (ja) | 撮影装置とその撮影方法 | |
| JPH10513287A (ja) | 物体のイメージ、画像を記録、撮像のための方法及び装置 | |
| ES2239809T3 (es) | Imagenes en tres dimensiones con barrido lineal. | |
| JP2009537915A (ja) | 画像情報生成方法 | |
| JP3639869B2 (ja) | 対象物表面の色を再現した立体画像を作成する立体観察装置および方法 | |
| JP2002031513A (ja) | ３次元測定装置 | |
| US20240267500A1 (en) | Camera module | |
| JP2002113786A (ja) | 三次元物体の生成方法 | |
| JP6767689B2 (ja) | 画像生成システム及び画像生成方法 | |
| JP4971155B2 (ja) | ３次元対象物の表面構造を画像化するための装置 | |
| JP4197898B2 (ja) | 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体 | |
| US10168523B2 (en) | Image generating system, image generating method, and image generating apparatus | |
| KR20080114550A (ko) | 자외선 현미경 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041126 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041207 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041221 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090128 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |