JP5440363B2 - 情報処理装置及び方法、並びにプログラム - Google Patents
情報処理装置及び方法、並びにプログラム Download PDFInfo
- Publication number
- JP5440363B2 JP5440363B2 JP2010102120A JP2010102120A JP5440363B2 JP 5440363 B2 JP5440363 B2 JP 5440363B2 JP 2010102120 A JP2010102120 A JP 2010102120A JP 2010102120 A JP2010102120 A JP 2010102120A JP 5440363 B2 JP5440363 B2 JP 5440363B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- dot
- movement amount
- imaging device
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
平行ステレオ画像方式では、ステレオカメラの配置間隔と、ステレオカメラが対象物体を撮像した結果得られる各々の撮像画像内の特定部位の見え方の差(視差)とに基づいて、対象物体とカメラとの間の距離(奥行き)が求められる。そして、この距離に基づいて、対象物体の3Dモデルが構築される。
さらに、精度良い3Dモデルを得るためには、撮影画像として、テクスチャ画像の他、ドットパターンを投影した対象物体をカメラが撮像することで得られる画像(以下、「ドット投影画像」と呼ぶ)も必要になる。
ここで、「ドットパターン」とは、2次元平面状に離散的に分布する複数のドット(点)により形成されるパターン(模様)をいう。
このようなドットパターンが形成された平面板(膜含む)、具体的には、ドットの部分で光を遮蔽し、他の部分で光を通過させる平面板を用いて、当該平面板の一方の面の前方に対象物体が存在する状態で、当該平面板の他方の面から光を照射することによって、ドットパターンが対象物体に投影される。このようなドットパターンが投影された対象物体の像を含む画像が、ドット投影画像である。
さらにまた、3Dモデルの精度をより向上させるためには、カメラが露出を複数回変化させて対象物体を撮像した結果得られる複数のドット投影画像が必要になる。なお、以下、露出をN回(Nは、2以上の整数値)変化させた場合に、K回目(Kは、1乃至Nのうちの何れかの整数値)に撮像されたドット投影画像を、以下、「第Kドット画像」と呼ぶ。
この場合、精度良い3Dモデルを得るためには、3枚の撮像画像間で対象物体の像の位置が一致していることが要求される。
しかしながら、これら3枚の撮像画像は時間的に離間して各々撮像されたものであるため、その間に対象物体が動いてしまうと、当該要求に応えることができない。即ち、3枚の撮像画像間では、対象物体の像は一致せずに位置ズレが生じてしまう。このような3枚の撮像画像間の位置ズレがたとえ微小であっても、3Dモデルの精度に悪影響を及ぼすことになる。
ところが、微小な位置ズレの要因となる実世界での対象物体の微妙な動きは、人間が撮像中に視認することは非常に困難であり、さらに、対象物体の微妙な動きの結果生ずる微小な位置ズレも、人間が撮影画像を見比べた程度で視認することは非常に困難である。
従って、3Dモデルの精度に悪影響を及ぼす位置ズレは、3Dモデルが実際に作成された後に発見される場合が多い。この場合には、新たな3枚の撮像画像の撮り直しが必要になるため、精度良い3Dモデルを得る観点からすると非常に効率が悪い。
露光の変更を含む第1撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第1の露出で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第1ドット画像のデータとして出力させる、第1ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第2の露出で前記第1撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第2ドット画像のデータとして出力させる、第2ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第1ドット画像撮像制御処理で出力された前記第1ドット画像及び第2ドット画像撮像制御処理で出力された前記第2ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第1ドット画像との間の前記対象物体の像の第1の移動量、及び、前記テクスチャ画像と前記第2ドット画像との間の前記対象物体の像の第2の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第1の移動量及び前記第2の移動量の総和が最も小さくなるテクスチャ画像並びに第1ドット画像及び第2ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置を提供する。
図1は、本発明の第1実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
ここで、3Dモデル画像セット取得処理とは、平行ステレオ画像方式による対象物体の3Dモデルを構築する場合に利用される複数の撮像画像のデータの集合体(以下、「3Dモデル画像セット」と呼ぶ)を取得するまでの一連の処理をいう。
撮像装置12は、ステレオカメラの構成を取っており、制御装置11の制御の下、対象物体(図示せず)を撮像し、その結果得られる撮像画像のデータを制御装置11に供給する。
投影装置13は、制御装置11の制御の下、対象物体にドットパターンを投影する。
図2は、投影装置13が対象物体に対して投影するドットパターンの画像の一例を示している。
また、撮像制御部21は、露光の変更を含む撮像装置12の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置13の動作を制御する。
具体的には本実施形態では、撮像制御部21は、上述のテクスチャ画像撮像制御処理と、第1ドット画像撮像制御処理と、第2ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す。撮像画像取得部22は、撮像装置12から順次出力されてくる、テクスチャ画像、第1ドット画像、及び第2ドット画像の3枚の撮像画像の各データをまとめて、3Dモデル画像セットとして撮像画像記憶部23に記憶させる。
なお、テクスチャ画像、第1ドット画像、及び第2ドット画像の順番で撮像装置12から各データが出力される必要は特に無く、撮像装置12から出力される各データの順番は任意で良い。
ここで、3Dモデル画像セットは、3枚の撮像画像間で対象物体の像の位置ズレが生じた各データの集合体である。ただし、この位置ズレの度合は、撮像画像記憶部23に記憶された複数の3Dモデル画像セット毎に異なっている。この場合、位置ズレの度合が大きい3Dモデル画像セットを用いて3Dモデルを構築すると、当該3Dモデルの精度が悪化してしまう。
このため、詳細については後述するが、本実施形態では、撮像画像記憶部23に記憶された複数の3Dモデル画像セットの中から、位置ズレの度合が最も小さいものが、3Dモデルの構築に実際に用いられる3Dモデル画像セットとして選抜される。
そこで、選抜後の3Dモデル画像セット、即ち3Dモデルの構築に実際に用いられる3Dモデル画像セットと明確に区別すべく、撮像画像記憶部23に記憶されている段階の複数の3Dモデル画像セットの各々を、以下、「3Dモデル画像候補」と呼ぶ。即ち、撮像画像記憶部23は、複数の3Dモデル画像セット候補を記憶する。
移動量検出部24は、注目セットについて、テクスチャ画像における対象物体の像の位置を基準位置として、第1ドット画像における対象物体の像の位置と基準位置との偏差を、移動量m1として検出する。
同様に、移動量検出部24は、注目セットについて、第2ドット画像における対象物体の像の位置と基準位置との偏差を、移動量m2として検出する。
そして、移動量検出部24は、注目セットについて検出した移動量1及び移動量2の総和(移動量m1+移動量m2)を、注目セットについての総移動量として検出する。
移動量検出部24は、撮像画像記憶部23に記憶された複数の3Dモデル画像セット候補の各々を注目セットに順次設定して、上述した一連の処理を繰り返す。その結果、撮像画像記憶部23に記憶された複数の3Dモデル画像セット候補毎に、総移動量がそれぞれ検出される。
なお、総移動量の検出手法は、特に限定されない。本実施形態で採用されている手法については、後述する図3のステップS3乃至S7の処理の説明として後述する。
即ち、3Dモデル画像セット選抜部25は、所定の3Dモデル画像セット候補についての総移動量は、当該3Dモデル画像セット候補における位置ズレの度合を示す指標として用いる。そして、3Dモデル画像セット選抜部25は、総移動量が最も小さい3Dモデル画像セット候補を、位置ズレの度合が最も低い3Dモデル画像セット候補、即ち位置ズレがほぼ生じていない3Dモデル画像セット候補として認識する。そこで、3Dモデル画像セット選抜部25は、当該3Dモデル画像セット候補を、3Dモデル画像セットとして選抜する。
ただし、上述した機能的構成、特に制御装置11の機能的構成は例示にしか過ぎない。即ち、3Dモデル画像セット処理を実行可能であれば、情報処理システム、特に制御装置11は、任意の機能的構成を取ることができる。
3Dモデル画像セット取得処理は、例えば、制御装置11の電源が投入されて、ユーザが操作部(図1には図示せず。後述する図10の入力部116参照)を操作して処理の開始指示をしたことを契機として開始する。
設定セット数は、特に限定されず、制御装置11に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補が撮像画像記憶部23に記憶されていない場合、ステップS2においてNOであると判定されて、処理はステップS1に戻される。即ち、ステップS1,S2(NO)のループ処理が繰り返されて、その都度、撮像装置12によって撮像された3Dモデル画像セット候補が撮像画像記憶部23に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部23に記憶されると、次のステップS2においてYESであると判定されて、処理はステップS3に進む。
図4は、3Dモデル画像セット候補の一例を示している。
図4に示す3Dモデル画像セット候補51は、人物(上半身)を対象物体として撮像装置12によって撮像された3枚の撮像画像、即ち、テクスチャ画像31、第1ドット画像32、及び第2ドット画像33のデータから構成されている。
なお、特徴点の抽出手法は、特に限定されず、例えばSIFT(Scale-Invariant Feature Transform)やSURF(Speeded Up Robust Features)等、任意の手法を採用することができる。
即ち、移動量検出部24は、テクスチャ画像から抽出された特徴点を基準点とし、第1ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
同様に、移動量検出部24は、第2ドット画像内の、基準点の配置位置と対応する位置の周囲を探索範囲として、探索範囲内でテンプレートマッチングすることによって、基準点と同一種類の特徴点を探索する。
即ち、移動量検出部24は、テクスチャ画像31から目を示す特徴点41を抽出して基準点として、基準点と同一種類の特徴点42を第1ドット画像32から探索し、基準点と同一種類の特徴点43を第2ドット画像33から探索する。即ち、テクスチャ画像31、第1ドット画像32、及び、第2ドット画像33の各データから、目を示す同一種類の特徴点41乃至43の組が検出される。
しかしながら、ユーザ(人間)が視認できる程度に大きな位置ズレが生じている3枚の撮像画像のデータからなる3Dモデル画像セット候補については、3Dモデル画像セット処理の処理対象から除外することが容易にできる。即ち、そのような3Dモデル画像セット候補が得られた場合には、当該3Dモデル画像セット候補を廃棄して、直ちに撮像装置12が撮り直せばよい。
その結果、3Dモデル画像セット処理の処理対象となっている3Dモデル画像セット候補については、2枚の画像間での対象物体の像の大きな位置ズレは生じない。即ち、位置ズレの度合は数ドット程度になる。これに伴い、移動量検出部24は、探索範囲を狭めてテンプレートのサイズを小さくすること、即ち、テンプレートのサイズをドット間隔に比べて充分小さくすることが可能になる。
これにより、投影されたドットパターンはテンプレートの中に入り込まなくなり、移動量検出部24は、テクスチャ画像の特徴点(基準点)と同一種類の特徴点を第1ドット画像及び第2ドット画像の各々から容易に探索することが可能になる。
即ち、移動量検出部24は、テクスチャ画像31内の特徴点41の位置を基準位置として、第1ドット画像32内の特徴点42の位置と、基準位置との偏差を、移動量m1として検出する。
同様に、移動量検出部24は、第2ドット画像33内の特徴点43の位置と、基準位置との偏差を、移動量m2として検出する。
そして、移動量検出部24は、移動量m1及び移動量m2の総和(移動量m1+移動量m2)を、注目セットについての総移動量として検出する。
設定セット数分の3Dモデル画像セット候補の中に、未だ注目セットに設定されていないものが存在する場合には、ステップS7においてNOであると判定されて、処理はステップS3に戻され、それ以降の処理が繰り返される。
即ち、ステップS3乃至S7のループ処理が繰り返されることによって、設定セット数分の3Dモデル画像セット候補の各々が注目セットに順次設定され、各々の総移動量が順次検出される。
設定セット数分の3Dモデル画像セット候補の全てについての総移動量が検出されると、ステップS7においてYESであると判定されて、処理はステップS8に進む。
ステップS9において、3Dモデル画像セット選抜部25は、図5に示すように、3Dモデル画像セット候補のうち総移動量が一番小さい候補を、3Dモデル画像セットとして選抜し、3Dモデル画像セット記憶部26に記憶させる。
図5の例では、設定数は「3」とされており、3組の3Dモデル画像セット候補51−1乃至51−3が撮像画像記憶部23に記憶されている。
ステップS3の処理で3Dモデル画像セット候補51−K(Kは、1乃至3のうちの何れかの整数値)が注目セットに設定されると、3Dモデル画像セット候補51−Kを処理対象とするステップS4乃至S6の処理が実行される。その結果、テクスチャ画像31−Kと第1ドット画像32―Kとの間の移動量m1が検出され、テクスチャ画像31−Kと第2ドット画像33―Kとの間の移動量m2が検出され、その総和(移動量m1+移動量m2)が、3Dモデル画像セット候補51−Kについての総移動量として検出される。
このような一連の処理が3回繰り返され、即ち、ステップS3乃至S7のループ処理が3回繰り返されると、3Dモデル画像セット候補51−1乃至51−3の各々についての総移動量(移動量m1+移動量m2)が検出される。
そして、ステップS8,S9の処理が実行され、3Dモデル画像セット候補51−1乃至51−3のうち総移動量が一番小さいものが、3Dモデル画像セットとして選抜され、3Dモデル画像セット記憶部26に記憶される。
しかしながら、ステレオカメラは、ノイズの少ない高品質の撮像画像のデータを出力することが要求される。このような要求を満たすステレオカメラを3組も用意するコストは非常に高く、システム全体の高コスト化に繋がる。さらに、3組のステレオカメラセットを設置することは、非常に大がかりなシステムになることを意味する。
これに対して、本実施形態の情報処理システムでは、上述の如く、1組のステレオカメラ、即ち1組の撮像装置12を用意するだけで足りる。即ち、従来よりも精度良い3Dモデルの構築ができる情報処理システムを、低コストかつ簡素な構成で実現することが可能になる。
これに対して、本実施形態の情報処理システムの制御装置11は、ユーザの操作を介在させることなく自律的な判断で、即ち自動的に、3枚の撮影画像のデータの組(3Dモデル画像セット候補)の中で最適な組を3Dモデル画像セットとして選抜することができる。これにより、精度良い3Dモデルを、安定して、かつ効率良く構築することが可能になる。
次に、本発明の第2実施形態に係る情報処理システムについて説明する。
第2実施形態に係る情報処理システムの機能的構成は、第1実施形態に係る情報処理システムの機能的構成と同様である。即ち、図1はそのまま、本発明の第2実施の形態に係る情報処理システムの機能的構成を示している。よって、本発明の第2実施の形態に係る情報処理システムの機能的構成の説明は省略する。
第2実施形態の3Dモデル画像セット取得処理は、フローチャートとしては図示しないが、図6に示す3Dモデル画像セットの選抜の手法を用いて次のように実行される。
即ち、図3のステップS1及びS2と同様のループ処理が繰り返し実行されて、設定セット数分の3Dモデル画像セット候補が撮像画像記憶部23に記憶される。図6の例では、図5の例と同様に、設定数は「3」とされており、3つの3Dモデル画像セット候補51−1乃至51−3が撮像画像記憶部23に記憶される。
次に、移動量検出部24は、3つの3Dモデル画像セット候補51−1乃至51−3の全セット分について、図6の実線の矢印で示す全組み合わせの移動量m1及び移動量m2を総あたりで検出する。
そして、3Dモデル画像セット選抜部25は、総移動量(移動量m1+移動量m2)が一番小さくなる、テクスチャ画像31−P、第1ドット画像32―Q、及び第2ドット画像33―Rの各データの組み合わせを探索する。3Dモデル画像セット選抜部25は、探索した当該組み合わせを、3Dモデル画像セットとして選抜して3Dモデル画像セット記憶部26に記憶させる。ここで、P,Q,Rは、相互に独立した整数値であって、図6の場合には1乃至3の何れかの整数値である。
よって、例えば、3Dモデル画像セット候補51−1のテクスチャ画像31−1、3Dモデル画像セット候補51−2の第1ドット画像32―2、及び、3Dモデル画像セット候補51−3の第2ドット画像32―3の各データの組み合わせが、3Dモデル画像セットとして選抜される場合もあり得る。
次に、本発明の第3実施形態に係る情報処理システムについて説明する。
図7は、本発明の第3実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
ここで、第1ドット画像と第2ドット画像との明るさが極端に違う場合、例えば一方のドット投影撮像画像が白とびしている場合を想定してみる。このような場合に、第1実施形態や第2実施形態と同様に、制御装置11と、撮像装置12と、投影装置13とのみから情報処理システムが構成されているときには、テクスチャ画像と同一種類の特徴点を、第1ドット画像及び第2ドット画像の各々から探索することは非常に困難になる。
そこで、このような場合であっても、テクスチャ画像と同一種類の特徴点を第1ドット画像及び第2ドット画像の両方から容易に探索すべく、第3実施形態に係る情報処理システムには、画像ズレ検出用撮像装置61がさらに設けられている。
具体的には、画像ズレ検出用撮像装置61は、撮像装置12によるテクスチャ画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置11に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第1画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置61は、撮像装置12による第1ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置11に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第2画像のデータ」と呼ぶ。
また、画像ズレ検出用撮像装置61は、撮像装置12による第2ドット画像の撮像とほぼ同時に、対象物体を撮像し、その結果得られる撮像画像のデータを制御装置11に出力する。このような撮像画像のデータを、以下、「画像ズレ検出用第3画像のデータ」と呼ぶ。
図8の例の3Dモデル画像セット取得処理も、図3の例と同様に、例えば、制御装置11の電源が投入されて、ユーザが操作部(図7には図示せず。後述する図10の入力部116参照)を操作して処理の開始指示をしたことを契機として開始する。
即ち、投影装置13によってドットパターンが投影された場合と投影されない場合とでは、画像ズレ検出用撮像装置61の画角内の明るさが変化する。この場合、画像ズレ検出用撮像装置61の露出が一定であると不具合が生ずるときがある。
例えば、投影装置13によってドットパターンが投影されていない場合には適正な露出であっても、投影装置13によってドットパターンが投影された場合にも同一の露出で、画像ズレ検出用撮像装置61が対象物体を撮像すると、その結果得られる撮像画像においては、対象物体の像が白とびを起こすという不具合が生ずる。
このため、画角内の明るさの変化を考慮して、画像ズレ検出用撮像装置61の露出を、白飛びを発生させない程度に変化させる必要、即ち露出が過多とならないように制御する必要がある。そこで、撮像制御部21は、ステップS21の処理として、投影装置13によってドットパターンが投影された場合と投影されない場合との光の強さに応じて、即ち、投影装置13の動作の有無に応じて、画像ズレ検出用撮像装置61の露出を、白飛びを発生させない程度に設定する。
なお、この場合には、画像ズレ検出用撮像装置61は、例えばブラケット撮像機能等を用いて、ドットパターンが投影された場合と投影されない場合との各々において、ステップ21の処理の設定結果に従って露出を変化させて、対象物体を撮像する。
設定セット数は、図3の例と同様に、特に限定されず、制御装置11に予め設定された固定数であってもよいし、ユーザにより任意に設定可能な可変数であってもよい。
設定セット数分の3Dモデル画像セット候補及び特徴点検出用セットが撮像画像記憶部23に記憶されていない場合、ステップS21においてNOであると判定されて、処理はステップS21に戻される。即ち、ステップS21乃至S23のループ処理が繰り返されて、その都度、撮像装置12によって撮像された3Dモデル画像セット候補と、画像ズレ検出用撮像装置61によって撮像された特徴点検出用セットと、が対応付けられて撮像画像記憶部23に順次記憶されていく。
そして、設定セット数分の3Dモデル画像セット候補及び画像ズレ検出用撮像装置61が撮像画像記憶部23に記憶されると、次のステップS23においてYESであると判定されて、処理はステップS24に進む。
ただし、注目セットについての総移動量を検出する処理、即ち図8のステップS24乃至S28のループ処理と、図3のステップS3乃至S7のループ処理とでは、処理対象が異なる。即ち、図8のステップS24の処理で、特徴点検出用セットの1つが注目セットに設定されるのに対して、図3のステップS3の3Dモデル画像セット候補の1つが注目セットに設定される点が差異点である。
この差異点のため、図8の3Dモデル画像セット取得処理では、移動量m1及び移動量m2の検出対象が、図3の3Dモデル画像セット取得処理とは異なることになる。即ち、図8の3Dモデル画像セット取得処理では、画像ズレ検出用第1画像と画像ズレ検出用第2画像との間で移動量m1が検出され、画像ズレ検出用第1画像と画像ズレ検出用第3画像との間で移動量m2が検出される。そして、これらの移動量m1及び移動量m2の総和(移動量m1+移動量m2)が、総移動量として検出される。
それ以外の図8の3Dモデル画像セット取得処理は、図3の3Dモデル画像セット取得処理の対応する処理と同様であるため、ここではその説明は省略する。
次に、本発明の第4実施形態に係る情報処理システムについて説明する。
図9は、本発明の第4実施形態に係る情報処理システムの機能的構成を示す機能ブロック図である。
ここで、図8のステップS26のマッチング処理で用いる照合用のテンプレート(当該テンプレートの説明は、図3のステップS5参照)の大きさに比べて、撮像画像に投影されたドットパターンの密度が高い場合を想定してみる。このような場合には、ドットパターンが邪魔をして撮像画像間の特徴点の照合(検索)が非常に困難になるときがある。
そこで、このような場合であっても、投影ドットパターンの影響を無くして撮像画像間の特徴点の照合(検索)を容易かつ確実に行うべく、図9にかっこ書で示しているように、画像ズレ検出用撮像装置61は、近赤外カメラにより構成されている。より具体的には、画像ズレ検出用撮像装置61は、Siフォトダイオードを用いた一般的なカメラに対して、近赤外線だけを通すフィルタを装着することによって、近赤外カメラとして具現化することができる。
この場合、対象物体に赤外線を照射すべく、赤外線照射装置71も情報処理システムに設けられている。
さらに、投影装置13は、図9にかっこ書きで示すように、赤外カットフィルタを付けており、当該赤外カットフィルタを介してドットパターンを対象物体に投影する。
これにより、ドットパターンの影響を全く受けずに、図8のステップS26のマッチング処理が実行できるので、撮像画像間の特徴点の照合(検索)を容易かつ確実に行うことが可能になる。
さらに、第3実施形態のように、投影装置13によってドットパターンが投影された場合と投影されない場合とで、画像ズレ検出用撮像装置61の露出を変化させる必要が無くなる。即ち、図8のステップS21の処理を省略することができる。
即ち、
露光の変更を含む第1撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第1の露出で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第1ドット画像のデータとして出力させる、第1ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第2の露出で前記第1撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第2ドット画像のデータとして出力させる、第2ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第1ドット画像撮像制御処理で出力された前記第1ドット画像及び第2ドット画像撮像制御処理で出力された前記第2ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第1ドット画像との間の前記対象物体の像の第1の移動量、及び、前記テクスチャ画像と前記第2ドット画像との間の前記対象物体の像の第2の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第1の移動量及び前記第2の移動量の総和が最も小さくなるテクスチャ画像並びに第1ドット画像及び第2ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能と、
を有する電子機器一般に対して、本発明は広く適用することができ、
例えば、本発明は、パーソナルコンピュータ等に幅広く適用可能である。
RAM113にはまた、CPU111が各種の処理を実行する上において必要なデータ等も適宜記憶される。
また例えば、撮像画像記憶部23及び3Dモデル画像セット記憶部26は、RAM303若しくは記憶部307の一領域として構成することができる。
Claims (6)
- 露光の変更を含む第1撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御手段であって、
前記投影装置が動作していない状態で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第1の露出で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第1ドット画像のデータとして出力させる、第1ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第2の露出で前記第1撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第2ドット画像のデータとして出力させる、第2ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御手段と、
前記撮像制御手段の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第1ドット画像撮像制御処理で出力された前記第1ドット画像及び第2ドット画像撮像制御処理で出力された前記第2ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第1ドット画像との間の前記対象物体の像の第1の移動量、及び、前記テクスチャ画像と前記第2ドット画像との間の前記対象物体の像の第2の移動量を検出する移動量検出手段と、
前記取得手段により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出手段により検出された前記第1の移動量及び前記第2の移動量の総和が最も小さくなるテクスチャ画像並びに第1ドット画像及び第2ドット画像の組を、3Dモデル画像セットとして選抜する選抜手段と、
を備える情報処理装置。 - 前記移動量検出手段は、前記3Dモデル画像セット候補毎に前記第1の移動量及び前記第2の移動量を検出し、
前記選抜手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補のうち、前記第1の移動量及び前記第2の移動量の総和が最も小さくなる3Dモデル画像セット候補を、前記3Dモデル画像セットとして選抜する、
請求項1に記載の情報処理装置。 - 前記撮像制御手段は、さらに、第2撮像装置の動作を制御して、
前記第1撮像装置による前記前記テクスチャ画像又は前記第1ドット画像若しくは前記第2ドット画像の撮像が行われる度に、前記投影装置の動作の有無に応じて、前記対象物体の像に白飛びを発生させない露光を設定して前記第2撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第1撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第1ドット画像及び前記第2ドット画像の各データが前記第1撮像装置から出力される毎に前記第2撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第1の移動量及び前記第2の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項1又は2に記載の情報処理装置。 - 前記投影装置は、赤外カットフィルタを有しており、
前記撮像制御手段は、さらに、赤外線照射装置を制御して前記対象物体に赤外線を照射している状態で、近赤外カメラとして構成される第2撮像装置を制御して、
前記第1撮像装置による前記前記テクスチャ画像又は前記第1ドット画像若しくは前記第2ドット画像の撮像が行われる度に、前記第2撮像装置に前記対象物体を撮像させ、
前記取得手段は、前記第1撮像装置による前記3Dモデル画像セット候補に加えてさらに、前記3Dモデル画像セット候補に含まれる前記テクスチャ画像並びに前記第1ドット画像及び前記第2ドット画像の各データが前記第1撮像装置から出力される毎に前記第2撮像装置から各々出力された撮像画像のデータの組を、検出用セットとして取得し、
前記移動量検出手段は、前記取得手段により取得された前記複数の3Dモデル画像セット候補の代わりに、前記取得手段により取得された複数の前記検出用セットを用いて、前記第1の移動量及び前記第2の移動量を検出し、
前記選抜手段は、前記移動量検出手段の検出結果に基づいて、前記取得手段により取得された前記複数の3Dモデル画像セット候補の中から、前記3Dモデル画像セットを選抜する、
請求項1又は2に記載の情報処理装置。 - 前記移動量検出手段は、
前記第1撮像装置又は前記第2撮像装置による3回分の撮像画像の各々から1種類以上の特徴点をさらに検出し、
前記特徴点の種類毎に、前記第1撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第2撮像装置の撮像画像から検出された前記特徴点と、前記第1撮像装置の前記第1ドット画像又は前記第1ドット画像に対応する前記第2撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第1の移動量として検出し、前記第1撮像装置の前記テクスチャ画像又は前記テクスチャ画像に対応する前記第2撮像装置の撮像画像から検出された前記特徴点と、前記第1撮像装置の前記第2ドット画像又は前記第2ドット画像に対応する前記第2撮像装置の撮像画像から検出された同一種類の前記特徴点との位置の偏差を、前記第2の移動量として検出する、
請求項1乃至4の何れか1項に記載の情報処理装置。 - 対象物体の3Dモデルの構築に必要な3Dモデル画像セットを取得する情報処理装置を制御するコンピュータに、
露光の変更を含む第1撮像装置の動作を制御すると共に、3Dモデルの構築の元になる対象物体に対して所定のドットパターンを投影する投影装置の動作を制御する撮像制御機能であって、
前記投影装置が動作していない状態で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータをテクスチャ画像のデータとして出力させるテクスチャ画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第1の露出で前記第1撮像装置に前記対象物体を撮像させて、その結果得られる撮像画像のデータを第1ドット画像のデータとして出力させる、第1ドット画像撮像制御処理と、
前記投影装置が前記対象物体に所定のドットパターンを投影している状態で第2の露出で前記第1撮像装置に前記対象物体を撮像させ、その結果得られる撮像画像のデータを第2ドット画像のデータとして出力させる、第2ドット画像撮像制御処理と、からなる一連の制御処理を複数回繰り返す撮像制御機能と、
前記撮像制御機能の前記一連の制御処理が繰り返される毎に、前記テクスチャ画像撮像制御処理で出力された前記テクスチャ画像並びに前記第1ドット画像撮像制御処理で出力された前記第1ドット画像及び第2ドット画像撮像制御処理で出力された前記第2ドット画像のデータの組を、3Dモデル画像セット候補として取得する処理を繰り返すことによって、複数の3Dモデル画像セット候補を取得する取得機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補について、前記テクスチャ画像と前記第1ドット画像との間の前記対象物体の像の第1の移動量、及び、前記テクスチャ画像と前記第2ドット画像との間の前記対象物体の像の第2の移動量を検出する移動量検出機能と、
前記取得機能により取得された前記複数の3Dモデル画像セット候補に含まれる複数の撮像画像のデータのうち、前記移動量検出機能により検出された前記第1の移動量及び前記第2の移動量の総和が最も小さくなるテクスチャ画像並びに第1ドット画像及び第2ドット画像の組を、3Dモデル画像セットとして選抜する選抜機能
を実現させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010102120A JP5440363B2 (ja) | 2010-04-27 | 2010-04-27 | 情報処理装置及び方法、並びにプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010102120A JP5440363B2 (ja) | 2010-04-27 | 2010-04-27 | 情報処理装置及び方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011232150A JP2011232150A (ja) | 2011-11-17 |
JP5440363B2 true JP5440363B2 (ja) | 2014-03-12 |
Family
ID=45321610
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010102120A Active JP5440363B2 (ja) | 2010-04-27 | 2010-04-27 | 情報処理装置及び方法、並びにプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5440363B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014188095A (ja) * | 2013-03-26 | 2014-10-06 | Kitasato Institute | 遠隔診断システム |
CN105829829B (zh) * | 2013-12-27 | 2019-08-23 | 索尼公司 | 图像处理装置和图像处理方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4110501B2 (ja) * | 1999-11-22 | 2008-07-02 | ソニー株式会社 | ランダムパターン生成装置とその方法、距離画像生成装置とその方法、およびプログラム提供媒体 |
US6287647B1 (en) * | 1999-12-03 | 2001-09-11 | Minolta Co., Ltd. | Liquid crystal composition and liquid crystal display using the same |
JP4761670B2 (ja) * | 2001-08-27 | 2011-08-31 | 三洋電機株式会社 | 動立体モデル生成装置及び方法 |
JP2007271530A (ja) * | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | 3次元形状検出装置及び3次元形状検出方法 |
-
2010
- 2010-04-27 JP JP2010102120A patent/JP5440363B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011232150A (ja) | 2011-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200394751A1 (en) | Image feature combination for image-based object recognition | |
JP5362087B2 (ja) | 距離情報を決定するための方法、距離マップを決定するための方法、コンピュータ装置、撮影システム、コンピュータプログラム | |
US9245307B2 (en) | Structured light projection for motion detection in augmented reality | |
JP4938093B2 (ja) | 2d−to−3d変換のための2d画像の領域分類のシステム及び方法 | |
KR101333871B1 (ko) | 멀티-카메라 교정을 위한 방법 및 장치 | |
JP2010079570A5 (ja) | ||
CN110321768A (zh) | 用于生成头部相关传递函数滤波器的布置 | |
JP2002081922A (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JP6541920B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
WO2016110012A1 (zh) | 一种选择对焦区域的方法及装置、计算机可读存储介质 | |
CN102100063A (zh) | 视频处理 | |
JP2016181068A (ja) | 学習サンプル撮影装置 | |
US9912840B2 (en) | Apparatus and method for sampling images | |
JP6429466B2 (ja) | 画像処理装置およびその制御方法、撮像装置、プログラム | |
JP5440363B2 (ja) | 情報処理装置及び方法、並びにプログラム | |
KR101578891B1 (ko) | 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법 | |
KR20100127027A (ko) | 어안렌즈를 이용한 hdri파노라마 영상 생성장치 및 방법 | |
JP6554820B2 (ja) | 画像処理プログラム、画像処理装置、及び画像処理方法 | |
KR20180069312A (ko) | 라이트 필드 동영상을 이용한 물체 추적 방법 및 장치 | |
JP5713655B2 (ja) | 映像処理装置、映像処理方法及びプログラム | |
JP2021049262A (ja) | 画像処理システム及びその制御方法 | |
JP2021049248A (ja) | 画像処理システム及びその制御方法 | |
CN111435430B (zh) | 对象识别方法、对象识别装置和电子设备 | |
US9710726B2 (en) | Correlation using overlayed patches | |
JP2004132759A (ja) | 三次元画像生成用データ撮像装置、および三次元画像生成用データ撮像方法、並びにコンピュータ・プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130321 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131112 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5440363 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |