JPWO2016158856A1 - 撮像システム、撮像装置、撮像方法、及び撮像プログラム - Google Patents

撮像システム、撮像装置、撮像方法、及び撮像プログラム Download PDF

Info

Publication number
JPWO2016158856A1
JPWO2016158856A1 JP2017509976A JP2017509976A JPWO2016158856A1 JP WO2016158856 A1 JPWO2016158856 A1 JP WO2016158856A1 JP 2017509976 A JP2017509976 A JP 2017509976A JP 2017509976 A JP2017509976 A JP 2017509976A JP WO2016158856 A1 JPWO2016158856 A1 JP WO2016158856A1
Authority
JP
Japan
Prior art keywords
unit
information
imaging
pattern
reference pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017509976A
Other languages
English (en)
Other versions
JP6531823B2 (ja
Inventor
武昭 杉村
武昭 杉村
源洋 中川
源洋 中川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2016158856A1 publication Critical patent/JPWO2016158856A1/ja
Application granted granted Critical
Publication of JP6531823B2 publication Critical patent/JP6531823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects
    • G06V2201/121—Acquisition of 3D measurements of objects using special illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Projection Apparatus (AREA)

Abstract

【課題】複数の視野間の対応関係を示す情報が得られる撮像システムを提供する。【解決手段】撮像システム（１）は、第１本体部（１４）に設けられ、対象物（ＯＢ）を撮像する第１撮像部（１５）と、第１本体部に設けられ、第１撮像部の撮像結果をもとに第１モデル情報を算出する第１情報算出部（１２）と、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部（１７）と、参照パターンを対象物に向けて投影する第１投影部（１８）と、第２本体部（３１）に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部（３４）と、第２本体部に設けられ、第２撮像部の撮像結果をもとに第２モデル情報を算出する第２情報算出部（３３）と、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出するパターン抽出部（３６）と、を備える。

Description

本発明は、撮像システム、撮像装置、撮像方法、及び撮像プログラムに関する。
対象物の三次元形状を取得する技術が提案されている（例えば、下記の特許文献１参照）。三次元形状を取得するには、例えば、複数の視野で対象物を検出し、第１の視野での検出結果から得られる部分モデルと、第２の視野での検出結果から得られる部分モデルとを統合する。
特開２０１０−１３４５４６号公報
ところで、例えば、第１の視野と第２の視野との対応関係を示す情報が不足していると、第１の視野で得られる情報と第２の視野で得られる情報とを高精度に関連付けることが難しくなる。
本発明の第１の態様に従えば、第１本体部と、第１本体部に設けられ、対象物を撮像する第１撮像部と、第１本体部に設けられ、第１撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出する第１情報算出部と、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部と、参照パターンを対象物に向けて投影する第１投影部と、第２本体部と、第２本体部に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部と、第２本体部に設けられ、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する第２情報算出部と、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出するパターン抽出部と、を備える撮像システムが提供される。
本発明の第２の態様に従えば、本体部と、本体部に設けられ、対象物と該対象物に投影された参照パターンとを撮像する撮像部と、撮像部の撮像結果から、対象物に投影された参照パターンを抽出するパターン抽出部と、本体部に設けられ、撮像部の撮像結果とパターン抽出部が抽出した参照パターンとを用いて、対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置が提供される。
本発明の第３の態様に従えば、第１本体部に設けられる第１撮像部によって、対象物を撮像することと、第１本体部に設けられる第１情報算出部によって、第１撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出することと、第１情報算出部が算出した第１モデル情報の少なくとも一部を示す参照パターンを対象物に向けて投影することと、第２本体部に設けられる第２撮像部によって、参照パターンが投影されている対象物を撮像することと、第２本体部に設けられる第２情報算出部によって、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出することと、第２撮像部の撮像結果から、第１投影部により投影された参照パターンを抽出することと、を含む撮像方法が提供される。
本発明の第４の態様に従えば、本体部と、本体部に設けられ、対象物の表面に設けられた特徴部分を撮像する撮像部と、撮像部の撮像結果から対象物の特徴部分を抽出するパターン抽出部と、本体部に設けられ、撮像の撮像結果と特徴部分とを用いて対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置が提供される。
本発明の第５の態様に従えば、第１本体部と、第１本体部に設けられ、対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報の少なくとも一部を示す参照パターンを対象物に向けて投影する第１投影部と、第２本体部と、第２本体部に設けられ、参照パターンが投影されている対象物を撮像する第２撮像部と、第２撮像部の撮像結果をもとに対象物の形状情報及びテクスチャ情報の少なくとも一部を含む第２モデル情報を算出する情報算出部と、第２撮像部の撮像結果から第１投影部により投影された参照パターンを抽出するパターン抽出部と、を備える撮像システムが提供される。
本発明の第６の態様に従えば、コンピュータに、本体部に設けられる撮像部によって、対象物の表面に設けられた特徴部分を撮像することと、撮像部の撮像結果から対象物の特徴部分を抽出することと、本体部に設けられる情報算出部によって、撮像の撮像結果と特徴部分とを用いて対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出することと、を実行させる撮像プログラムが提供される。
第１実施形態に係る撮像システムを示す図である。 第１実施形態に係る撮像システムを示すブロック図である。 第１実施形態に係る第１撮像部および第１投影部の例を示す図である。 第１実施形態に係る参照パターンの例を示す図である。 第１実施形態に係る撮像方法を示すフローチャートである。 第１実施形態に係る撮像システムの動作の例を示す図である。 第１実施形態に係る撮像システムの動作の他の例を示す図である。 第１実施形態に係る撮像システムの動作の他の例を示す図である。 第２実施形態に係る撮像システムを示すブロック図である。 第２実施形態に係る撮像方法を示すフローチャートである。
［第１実施形態］
第１実施形態について説明する。図１は、本実施形態に係る撮像システム１を示す図である。撮像システム１は、例えば、複数の撮像装置２、情報処理装置３、入力装置４、及び表示装置５を備える。複数の撮像装置２は、例えば、第１撮像装置２ａおよび第２撮像装置２ｂを含む。
第１撮像装置２ａは、例えば、照明装置からの光や室内灯からの光、あるいは自然光などで照らされている対象物ＯＢを撮像し、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第１撮像装置２ａは、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から第１撮像装置２ａまでの距離（デプス、深度）とを関連付けた情報（例、距離情報）を含む。デプス情報は、例えば、対象物ＯＢを含んだ領域のデプスの分布（例、デプスマップ）を示す情報である。
第１撮像装置２ａは、上記のデプス情報を使って、対象物ＯＢに関する情報の演算処理を行う。第１撮像装置２ａは、演算処理によって、対象物ＯＢの少なくとも一部をモデル化し（モデル化処理）、形状情報又はテクスチャ情報を含むモデル情報（モデルデータ）を算出する。モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報と、対象物ＯＢの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、対象物ＯＢの表面上の複数の点のそれぞれの３次元座標、複数の点の間の関連情報、複数の点の三次元座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。
例えば、図１の対象物ＯＢは角柱状の部材と球面を有する球状のボール（例、サッカーボール）を含み、形状情報は、角柱状の部材の表面（例、平面）の情報、及びボールの表面（例、球面）の情報を含む。テクスチャ情報は、例えば、ボールの表面における、文字、図形（例、黒の５角形、白の６角形）、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。
第１撮像装置２ａは、例えば、対象物ＯＢのうち第１撮像装置２ａの視野に入る部分（視野領域）の第１モデル情報を算出する。この第１モデル情報は、例えば、対象物ＯＢの全周を表すモデル（以下、全周モデルという）の一部を表すモデル（以下、第１部分モデルという）の情報である。例えば、全周モデルは、表面が閉じたモデルであり、第１部分モデルは表面が閉じていないモデルである。第１撮像装置２ａは、演算処理により算出された情報（例、第１モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第１撮像装置２ａは、第１モデル情報の少なくとも一部を情報処理装置３に供給する。
第２撮像装置２ｂは、対象物ＯＢを撮影できる領域において第１撮像装置２ａと異なる位置に配置される。従って、第２撮像装置２ｂは、第１撮像装置２ａと異なる視点から対象物ＯＢを検出する。例えば、第２撮像装置２ｂは、第１撮像装置２ａの視野外のモデル情報の算出に使われる情報を取得する。第２撮像装置２ｂは、例えば、対象物ＯＢの撮像画像（例、可視光画像、赤外光画像）のデータを取得する。また、第２撮像装置２ｂは、例えば、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出し、対象物ＯＢのデプス情報を取得する。
本実施形態において、第１撮像装置２ａは、所定の情報を含んだパターンを投影し、第２撮像装置２ｂは、第１撮像装置２ａが投影したパターンを検出することにより、所定の情報を取得する。所定の情報は、例えば、モデル情報の算出に使われる情報、モデル統合に使われる情報、複数の撮像装置２のうち１つの撮像装置と他の撮像装置との識別に使われる情報、及び複数の撮像装置２のうち少なくとも２つの撮像装置の動作のタイミングを示す情報の少なくとも１つを含む。
例えば、第１撮像装置２ａは、第１モデル情報の少なくとも一部を示す参照パターンＲＰを対象物ＯＢに向けて投影する。参照パターンＲＰは、例えば、第１撮像装置２ａが検出した対象物の第１部分モデルにおける特徴部分（以下、特徴点という）を示すパターン（例、図１中の星印）を含む。第２撮像装置２ｂは、対象物ＯＢ上の参照パターンＲＰを検出することで、第１撮像装置２ａが検出した特徴点の情報（例、位置）を取得する。
第２撮像装置２ｂは、例えば第１撮像装置２ａと同様の構成であり、対象物ＯＢのうち第２撮像装置２ｂの視野に入る部分の第２モデル情報を算出する。第２モデル情報は、全周モデルの一部を表す部分モデル（以下、第２部分モデルという）の情報である。第２部分モデルは、例えば、その一部が第１部分モデルと重複し、他の部分が第１部分モデルと重複しない。
第２撮像装置２ｂは、第１部分モデルと第２部分モデルとの重複部分に投影されている参照パターンを検出する。検出した参照パターンを用いると、例えば、第１撮像装置２ａが検出した対象物ＯＢの特徴点と、第２部分モデルとの対応関係を示す情報が得られる。この情報は、例えば、第１撮像装置２ａの視野（例、視点、視線、画角）と、第２撮像装置２ｂの視野（例、視点、視線、画角）との対応関係を示す情報として利用してもよい。
第２撮像装置２ｂは、例えば、検出した参照パターンを用いて第２モデル情報を算出する。第２撮像装置２ｂは、演算処理により算出された情報（例、第２モデル情報）の少なくとも一部を、外部装置に供給可能である。例えば、第２撮像装置２ｂは、第２モデル情報の少なくとも一部を情報処理装置３に供給する。
情報処理装置３は、例えば、コンピュータシステムを含む。情報処理装置３は、有線または無線によって、第１撮像装置２ａと通信可能に接続される。例えば、情報処理装置３は、通信ケーブルを介して第１撮像装置２ａと接続されていてもよいし、インターネット回線を介して第１撮像装置２ａと接続されていてもよい。また、情報処理装置３は、電波または赤外線などを用いた近距離通信手段により第１撮像装置２ａと通信可能であってもよい。情報処理装置３は、第２撮像装置２ｂと通信可能に接続される。情報処理装置３と第２撮像装置２ｂとの間の通信の形態は、情報処理装置３と第１撮像装置２ａとの間の通信の形態と同じであってもよいし異なっていてもよい。また、第１撮像装置２ａは、第２撮像装置２ｂと通信可能に接続される。第１撮像装置２ａと第２撮像装置２ｂとの間の通信の形態は、情報処理装置３と第１撮像装置２ａとの間の通信の形態と同じであってもよいし、情報処理装置３と第１撮像装置２ａとの間の通信の形態と異なっていてもよい。
情報処理装置３は、第１撮像装置２ａとの間の通信により、第１撮像装置２ａから情報を取得する。情報処理装置３は、第２撮像装置２ｂとの間の通信により、第２撮像装置２ｂから情報を取得する。情報処理装置３は、第１撮像装置２ａから取得した情報、及び第２撮像装置２ｂから取得した情報を使って、情報処理を行う。例えば、情報処理装置３は、この情報処理において、第１撮像装置２ａによる第１部分モデルと第２撮像装置２ｂによる第２部分モデルとを統合するモデル統合処理を行う。
また、情報処理装置３は、例えば統合したモデルの情報を使って、情報処理として画像処理（例、レンダリング処理、モデル情報を用いた認識処理など）を実行する。例えば、情報処理装置３は、ユーザにより入力装置４に入力された視点（撮像方向）の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。
入力装置４は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含み、情報処理装置３と接続されている。入力装置４は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置３に供給する。表示装置５は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置３と接続されている。表示装置５は、例えば、情報処理装置３から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。
なお、複数の撮像装置２のうち少なくとも１つの撮像装置（例、第１撮像装置２ａ）は、例えば、携帯可能な情報端末であってもよいし、所定位置に固定された定点カメラであってもよく、手動または自動で視野を変更可能なカメラであってもよい。複数の撮像装置２に含まれる撮像装置の数は、任意に設定され、３以上であってもよい。撮像システム１は、例えば、複数の撮像装置２のうち少なくとも１つの撮像装置を移動させる移動装置を備えていてもよい。この移動装置は、撮像装置を移動させることにより、この撮像装置の視野を変更してもよい。この移動装置を制御する制御部は、撮像システム１に設けられていてもよく、例えば、撮像装置に設けられていてもよいし、情報処理装置３に設けられていてもよい。また、この移動装置を制御する制御部は、撮像システム１の外部の装置に設けられていてもよい。
なお、複数の撮像装置２のうち少なくとも１つの撮像装置（例、第１撮像装置２ａ）はモデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能であってもよい。このデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報を、ディスプレイに表示可能であってもよいし、紙などの媒体に印字可能であってもよい。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、そのリーダー部を介して上記のデジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、撮像システム１は、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。例えば、第１撮像装置２ａは、上記のデジタル装置およびリーダー装置の少なくとも一部を備えていてもよい。
次に、複数の撮像装置２の各部および情報処理装置３の各部について説明する。図２は、本実施形態に係る撮像システム１を示すブロック図である。第１撮像装置２ａは、第１情報算出部１２と、第１本体部１４と、第１撮像部１５と、特徴抽出部１６と、パターン設定部１７と、第１投影部１８と、第１制御部１９とを備える。
最初に、第１撮像装置２ａの各部の一例について説明する。第１本体部１４は、例えば、カメラボディ、ケース、筐体などである。第１本体部１４は、例えば、例えば三脚、天吊り治具、ステージなどの支持部材に支持されていてもよい。この支持部材は、第１本体部１４の一部であってもよい。
第１撮像部１５は、第１本体部１４に設けられている。第１撮像部１５は、対象物を撮像する。第１投影部１８は、例えば、第１本体部１４に設けられる。第１投影部１８は、対象物ＯＢに向けてパターンを投影可能である。第１撮像部１５および第１投影部１８は、例えばプロジェクタカメラである。第１撮像装置２ａは、第１投影部１８から対象物ＯＢ上に投影されたパターンを第１撮像部１５によって検出し、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出可能である。
図３は、第１撮像部１５および第１投影部１８の例を示す図である。本実施形態において、第１撮像装置２ａは、第１検出部１１を備える。第１検出部１１は、第１撮像部１５を含み、第１撮像装置２ａから物体（例、対象物ＯＢ）までの距離を検出可能である。第１検出部１１は、例えば、第１撮像部１５および第１投影部１８を含む。第１検出部１１は、所定の強度分布を有する光（例、パターン光、構造化光、テクスチャ）を、第１投影部１８から対象物ＯＢに照射しながら、第１撮像部１５によって対象物ＯＢを撮像する。第１撮像装置２ａは、第１撮像部１５による撮像画像に写っている対象物ＯＢ上の光の強度分布を使って、対象物ＯＢと第１撮像装置２ａとの間の距離を検出する。なお、例えば、第１検出部１１は、第１撮像部１５によって撮像される撮像画像の画素ごとに自身（第１検出部１１）から対象物ＯＢまでの距離を検出するために、同一の対象物ＯＢに対してフォーカス距離が異なる複数の撮像画像から相対的なボケ量を求め、画像のボケ量と距離との相関関係を用いたデプス・フロム・デフォーカス（Depth from Defocus; DFD）処理を実施して該距離を検出するように構成しても良い。
第１撮像部１５は、例えば、可視光画像および赤外光画像をそれぞれ撮像可能である。第１撮像部１５は、例えば、イメージセンサ２０ａ、イメージセンサ２０ｂ、ダイクロイックミラー２１、及び結像光学系２２（撮像光学系）を備える。イメージセンサ２０ａ、及びイメージセンサ２０ｂは、それぞれ、ＣＭＯＳイメージセンサあるいはＣＣＤイメージセンサなどのイメージセンサである。イメージセンサは、例えば、複数の画素が二次元的に配列され、各画素にフォトダイオードなどの光電変換素子が配置された構造である。
イメージセンサ２０ａは、例えば、可視光の波長帯域（例、３８０ｎｍ以上７５０ｎｍ以下）に感度を有する。イメージセンサ２０ａの撮像結果は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。イメージセンサ２０ａは、例えば、撮像結果（検出結果）をフルカラー画像のデータ形式で出力する。フルカラー画像は、例えば、各画素の赤（Ｒ）、緑（Ｇ）、青（Ｂ）のそれぞれが階調値（例、２５６階調）で表される画像である。イメージセンサ２０ｂは、例えば、赤外光の波長帯域に感度を有する。イメージセンサ２０ａは、例えば、撮像結果（検出結果）をグレー画像のデータ形式で出力する。グレー画像は、例えば、各画素の明るさが階調値（例、２５６階調）で表される画像である。
結像光学系２２は、例えば、複数のレンズを含み、物体面（例、対象物ＯＢ）の像を形成する。結像光学系２２は、例えば鏡筒内に保持され、鏡筒とともに第１本体部１４に取り付けられる。結像光学系２２および鏡筒は、例えば交換レンズであり、第１本体部１４から取り外し可能である。鏡筒は、第１本体部１４の一部であってもよく、第１本体部１４から取り外し不能であってもよい。
ダイクロイックミラー２１は、イメージセンサ２０ａが感度を有する波長帯域の光（例、可視光）が透過し、イメージセンサ２０ｂが感度を有する波長帯域の光（例、赤外光）が反射する特性を有する。結像光学系２２からの光のうち可視光は、ダイクロイックミラー２１を通ってイメージセンサ２０ａに入射する。イメージセンサ２０ａは、この可視光を検出することにより、可視光画像を撮像する。また、結像光学系２２からの光のうち赤外光は、ダイクロイックミラー２１で反射してイメージセンサ２０ｂに入射する。イメージセンサ２０ｂは、この赤外光を検出することにより、赤外光画像を撮像する。
なお、第１撮像部１５において、結像光学系２２は、可視光画像を形成する第１光学系と、赤外光画像を形成する第２光学系とを兼ねているが、この第２光学系は、第１光学系と別に設けられていてもよい。また、第１撮像部１５は、可視光画像と赤外光画像の一方を取得し、他方を取得しなくてもよい。例えば、第１撮像部１５は、可視光画像を取得するイメージセンサ２０ａを備え、赤外光画像を取得するイメージセンサ２０ｂを備えていなくてもよい。
第１投影部１８は、例えば、可視光画像および赤外光画像をそれぞれ投影可能である。第１投影部１８は、例えば、第１光源２２ａ、第１光学エンジン２３ａ、第２光源２２ｂ、第２光学エンジン２３ｂ、ダイクロイックミラー２１ｂ、及び投影光学系２４を含む。第１光源２２ａは、イメージセンサ２０ａが感度を有する波長帯の光（例、可視光）を発する。第１光学エンジン２３ａは、第１光源２２ａからの光により可視光画像（パターン）を形成する。第２光源２２ｂは、イメージセンサ２０ｂが感度を有する波長帯の光（例、赤外光）を発する。第２光学エンジン２３ｂは、第２光源２２ｂからの光により赤外光画像（パターン）を形成する。投影光学系２４は、第１光学エンジン２３ａが形成した画像、第２光学エンジン２３ｂが形成した画像をそれぞれ投影可能である。ダイクロイックミラー２１ｂは、第１光学エンジン２３ａと投影光学系２４との間の光路に配置されている。ダイクロイックミラー２１ｂは、第１光源２２ａからの光が透過し、第２光源２２ｂからの光が反射する特性を有する。例えば、第１光学エンジン２３ａは、デジタルマイクロミラーデバイス（例、ＤＭＤ）と、反射ミラーあるいはレンズとを有し、上記パターンを生成することが可能である。また、例えば、第２光学エンジン２３ｂは、デジタルマイクロミラーデバイス（例、ＤＭＤ）と、反射ミラーあるいはレンズとを有し、上記パターンを生成することが可能である。
第１光学エンジン２３ａから射出される可視光は、ダイクロイックミラー２１を通って投影光学系２４を介して、対象物ＯＢに向けて照射される。これにより、第１投影部１８は、可視光によるパターン（可視光画像）を対象物ＯＢに向けて投影する。また、第２光学エンジン２３ｂから射出される光（例、赤外光）は、ダイクロイックミラー２１ｂで反射し、投影光学系２４を介して、対象物ＯＢに向けて照射される。これにより、第１投影部１８は、赤外光によるパターン（赤外光画像）を対象物ＯＢに向けて投影する。また、例えば、第１投影部１８は、光走査によって、該パターンを対象物ＯＢの表面に描画することも可能である。
第１投影部１８が可視光のパターンを投影する場合、第１撮像部１５は、可視光のパターンが投影された対象物ＯＢを、イメージセンサ２０ａにより撮像する。第１投影部１８が赤外光のパターンを投影する場合、第１撮像部１５は、赤外光のパターンが投影された対象物ＯＢを、イメージセンサ２０ｂにより撮像する。第１撮像装置２ａは、例えば、対象物ＯＢに投影されたパターンを検出することにより、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出することができる。
例えば、第１撮像装置２ａが対象物ＯＢとの距離を検出する際に、第１投影部１８は、第１の測距用パターンを投影する。第１の測距用パターンは、例えば、第１方向に平行なグリッド線と、第１方向と異なる第２方向に平行なグリッド線とを含むグリッドパターンに設定される。この場合、例えば、対象物ＯＢの表面上の各点において、その周囲のグリッド線の間隔が第１撮像部１５による撮像画像上でいくつのピクセルに相当するかを検出すること等により、この点と第１撮像装置２ａとの距離を算出することができる。また、撮像画像におけるグリッド線の傾き、湾曲を検出することによって、対象物ＯＢの表面の傾き、湾曲を検出することができる。
また、例えば、第１の測距用パターンは、例えば、複数のドットを含むドットパターンに設定される。この場合、例えば、対象物ＯＢの表面上の各点において、ドットが形成するスポットのサイズが第１撮像部１５の撮像画像においていくつのピクセルに相当するかを検出すること等により、この点と第１撮像装置２ａとの距離を算出することができる。また、ドットの歪を検出することによって、対象物ＯＢの表面の傾き、湾曲を検出することができる。
なお、第１撮像部１５は、第１投影部１８によるパターンの投影と並行して撮像することができる。例えば、第１撮像部１５は、第１投影部１８から赤外光によるパターンが投影されている期間に、イメージセンサ２０ａによって可視光画像を取得しながら、イメージセンサ２０ｂによって赤外光画像を取得してもよい。第１撮像部１５は、第１投影部１８によるパターンの投影と重複しない期間に撮像してもよい。例えば、第１撮像部１５は、第１投影部１８から赤外光のパターンが投影されていない期間に、イメージセンサ２０ａによって可視光画像を取得してもよい。
なお、第１投影部１８は、可視光画像および赤外光画像をそれぞれ投影可能であるが、可視光画像と赤外光画像の一方のみを投影してもよい。例えば、第１投影部１８は、可視光画像を投影し、赤外光画像を投影しなくてもよい。この場合、第１投影部１８は、第２光源２２ｂ、第２光学エンジン２３ｂ、及びダイクロイックミラー２１ｂを備えていなくてもよい。また、第１投影部１８が赤外光画像を投影しない場合、第１撮像部１５は、赤外画像を撮像しなくてもよく、ダイクロイックミラー２１およびイメージセンサ２０ｂを備えていなくてもよい。第１投影部１８は、例えば走査型のプロジェクタを含んでいてもよい。例えば、第１投影部１８は、レーザー光源などからの光を走査ミラーによって偏向し、この光で対象物ＯＢを走査することによって、対象物ＯＢ上にパターンを描画（表示）するものでもよい。
なお、第１撮像装置２ａは、プロジェクタカメラ以外の手法によって、第１撮像装置２ａから対象物ＯＢの表面上の各点までの距離を検出してもよい。例えば、第１検出部１１は、ToF（Time of Flight）センサを含み、ToF法により距離を検出してもよい。また、第１検出部１１は、例えばステレオカメラを含み、対象物ＯＢを複数の視野で検出した検出結果を視差画像として、対象物ＯＢと第１撮像装置２ａとの間の距離を検出してもよい。
なお、第１検出部１１は、対象物ＯＢにパターンを投影することなく対象物ＯＢとの距離を検出する場合、第１投影部１８は、第１検出部１１と別に設けられていてもよい。例えば、第１投影部１８は、ユニット化されて第１本体部１４に外付けされていてもよいし、第１本体部１４から離れた位置に配置されていてもよい。
図２の説明に戻り、第１情報算出部１２は、例えば、デジタルシグナルプロセッサ（Digital Signal Processor; DSP）を含む。第１情報算出部１２は、第１検出部１１の検出結果を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。第１情報算出部１２は、形状情報として、対象物ＯＢの表面上の複数の点の座標（例、点群データ）と、複数の点間の連結情報を含むサーフェス情報とを算出する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。
まず、第１情報算出部１２は、第１検出部１１の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、第１情報算出部１２は、デプス情報が示す距離画像から平面画像への透視変換などにより、点群データを算出する。
そして、第１情報算出部１２は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理、サーフェース化処理）。第１情報算出部１２は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。
次に、第１情報算出部１２は、例えばインバースレンダリングの手法により、テクスチャ情報を算出する。テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす光の光源情報、及び対象物ＯＢの表面の光学特性（例、反射率、散乱率）を示す光学特性情報の少なくとも１項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも１項目の情報を含む。
第１情報算出部１２は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出する。例えば、第１情報算出部１２は、第１撮像部１５が撮像した画像の各画素の画素値のうち、対象物ＯＢで拡散した光に由来する成分と対象物ＯＢで正反射した成分とを推定する。また、第１情報算出部１２は、例えば、対象物ＯＢで正反射した成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出する。第１情報算出部１２は、例えば、算出した光源情報および形状情報を使って対象物ＯＢの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、第１情報算出部１２は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、パターン情報を算出する。
特徴抽出部１６は、第１情報算出部１２により算出された第１モデル情報のうち他の部分と識別可能な特徴点（例、特徴点、特異点）を抽出する。例えば、対象物ＯＢは、そのエッジまたは稜線が直線部を含む場合がある。この場合、エッジの直線部と、エッジの他の直線部との交点は、他の部分と識別可能であり、例えば、このエッジに囲まれる面の角に相当する点である判定することができる。また、エッジ上の複数の角が検出される場合、角と角の間の所定の分点（例、中点）の位置は、２つの角の座標から算出可能であり、他の部分と識別可能である。また、エッジまたは稜線が曲線部を含む場合、例えば、その接線の傾きが所定の閾値以上に変化する点は、各点における傾きを算出すること等により他の部分と識別可能である。特徴抽出部１６は、各種のアルゴリズムに従って、例えば、第１モデル情報から複数の特徴点を抽出する。
なお、対象物の形状情報とテクスチャ情報の少なくとも一方から抽出される特徴点における特徴量を示す特徴点データは、第１モデル情報に含まれていてもよい。例えば、特徴抽出部１６は、第１情報算出部１２の一部であってもよく、第１情報算出部１２が第１モデル情報を算出する処理の一部として、特徴抽出部１６は、特徴点における特徴量を示す第１特徴点データを算出してもよい。
パターン設定部１７は、第１情報算出部１２が算出した第１モデル情報の少なくとも一部を示す参照パターンを設定する。参照パターンは、第１投影部１８によって対象物ＯＢの全体又は一部に投影され、例えば、第２撮像装置２ｂに検出されることによって、第２撮像装置２ｂに情報を伝えることに利用される。例えば、参照パターンは、第１投影部１８によって対象物ＯＢ上に投影されることで、第１モデル情報に規定される第１部分モデルの一部（以下、参照部分という）を、対象物ＯＢ上に表示することに使われる。
図４は、参照パターンの例を示す図である。パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ１（例、平面）と定義されている部分にコードＲＰ１（例、「Ａ」）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうちコードＲＰ１が第２撮像装置２ｂにより検出された場合、例えば、第１撮像装置２ａが検出結果における面ＲＰ１と、第２撮像装置２ｂの検出結果における面ＲＰ１との対応関係（例、位置関係）を示す情報が得られる。参照パターンは、例えば、実空間の対象物ＯＢにおいて参照部分がどの部分であるかを示すことに使われる。この場合、例えば、参照パターンが投影されている対象物ＯＢを第２撮像装置２ｂにより検出することにより、第２モデル情報に規定される第２部分モデルにおいて参照部分がどの位置に相当するかを検出できる。
また、パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ１と別の面ＳＦ２（例、平面）と定義されている部分にコードＲＰ２（例、「Ｂ」）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうちコードＲＰ２が第２撮像装置２ｂにより検出されない場合、面ＳＦ２は、第１撮像装置２ａの視野内かつ第２撮像装置２ｂの視野外に存在することが分かる。
また、パターン設定部１７は、対象物ＯＢのうちサーフェス情報に定義された面のエッジ、稜線と定義されている部分にコードＲＰ３（例、線）を表示するパターンを、参照パターンに設定してもよい。また、パターン設定部１７は、対象物ＯＢのうちサーフェス情報に面の角（例、頂点）と定義されている部分にコードＲＰ４（例、矩形、矢印などの図形）を表示するパターンを、参照パターンに設定してもよい。
パターン設定部１７は、例えば、対象物ＯＢのうちサーフェス情報に面ＳＦ３（例、曲面）と定義されている部分にコードＳＦ５（例、メッシュ、グリッド）を表示するパターンを、参照パターンに設定してもよい。この参照パターンが投影されている対象物ＯＢのうち第２撮像装置２ｂによりコードＲＰ５が検出される領域は、例えば、面ＳＦ３のうち、第１撮像装置２ａの視野内かつ第２撮像装置２ｂに視野内に存在する領域であることがわかる。この領域は、例えば、第１部分モデルと第２部分モデルとの重複部分に相当する。
なお、参照パターンは、例えば、第１モデル情報に規定される第１部分モデルと、実空間の対象物ＯＢとの比較などに使用可能である。この場合、例えば、対象物ＯＢ上に投影されている参照部分と、対象物ＯＢとのずれを検出することにより、第１モデル情報の精度を評価することなどができる。また、参照パターンは、例えば、第１撮像装置２ａの動作タイミングを示す情報（信号）として使用可能である。例えば、パターン設定部１７は、第１撮像装置２ａが所定の処理を実行するタイミングを示す情報（例、時間同期情報）をエンコードしたパターンを、参照パターンの一部に設定することができる。第２撮像装置２ｂは、このパターンを検出し、デコードすることによって、上記のタイミングを示す情報を取得することができる。
パターン設定部１７は、例えば図４に示したように、参照部分を他の部分と識別可能に示すパターンを参照パターンに設定する。パターン設定部１７は、例えば、第１情報算出部１２が形状情報を算出した場合、参照パターンを、形状情報の少なくとも一部を示すパターンに設定する。パターン設定部１７は、例えば、第１情報算出部１２がテクスチャ情報を算出した場合、例えば参照パターンを、テクスチャ情報の少なくとも一部を示すパターンに設定する。例えば、パターン設定部１７は、第１情報算出部１２が形状情報およびテクスチャ情報を算出した場合、参照パターンを、形状情報の少なくとも一部とテクスチャ情報の少なくとも一部の一方または双方を示すパターンに設定する。
パターン設定部１７は、例えば、参照パターンを、特徴抽出部１６が抽出した特徴点の情報と関連付けられるパターンに設定する。この場合、参照部分は、例えば、特徴抽出部１６が抽出した特徴点（例、角、エッジ、稜線、凸部、凹部）を含む。また、パターン設定部１７は、例えば、参照パターンを、第１情報算出部１２が算出したサーフェス情報と関連付けられるパターンに設定する。この場合、参照部分は、例えば、サーフェス情報に定義された点（例、角）、線（例、エッジ、稜線）、または面に相当する部分を含む。
パターン設定部１７は、例えば、参照パターンを、光強度の分布が空間的に変化するパターンに設定する。例えば、パターン設定部１７は、参照パターンを、参照部分を示すコード（符号）を含むパターンに設定する。このコードは、図形（例、線、矢印、多角形、円形）、文字（例、数字、アルファベット、記号）、二次元や三次元のバーコード、メッシュやグリッドなどのテクスチャのうち、１種を含んでいてもよいし、２種以上を含んでいてもよい。また、パターン設定部１７は、例えば、光強度の分布が時間的に変化するパターンを、参照パターンに設定してもよい。例えば、パターン設定部１７は、参照部分を点滅するパターン又は参照部分を色（例、複数の色）で示し、参照部分を他の部分と区別可能としてもよい。
パターン設定部１７は、複数の撮像装置２のうち１つの撮像装置（例、第１撮像装置２ａ）を他の撮像装置（例、第２撮像装置２ｂ）と区別する識別情報（例、番号、コード、ＩＤ）と関係付けられるパターンを、参照パターンに設定してもよい。例えば、複数の撮像装置２のうち第１撮像装置２ａを識別するコードが「１」である場合、パターン設定部１７は、「１」を含むパターンを参照パターンに設定してもよい。例えば、この参照パターンを第２撮像装置２ｂが検出した場合、第２撮像装置２ｂは、この参照パターンを設定した装置が第１撮像装置２ａであることを識別することができる。また、第２撮像装置２ｂは、例えば、この参照パターンを投影した装置が第１撮像装置２ａであることを識別することができる。
パターン設定部１７は、例えば、参照パターンを示す画像のデータを生成する。例えば、参照パターンに含まれるコードの種別（例、図形、文字）は、参照部分の種別（例、角、エッジ、面）と関連付けられて、記憶部２７（後述する）に記憶されている。例えば、コードの種別がアルファベットである場合、このコードに対応する参照部分は面であるというに、予め定められている。パターン設定部１７は、例えば、参照部位の種別に対応するパターンの種別を記憶部２７から読み出し、この種別のコードを、参照部位の位置に応じた画像上の位置に配置することにより、参照パターンを示す画像のデータ（以下、参照画像データという）を生成する。パターン設定部１７は、例えば、生成した参照画像データを記憶部２７に記憶させる。
パターン設定部１７は、例えば、参照パターンに含まれるコードと、このコードが示す参照部分とを関連付けた照合データを生成する。例えば、パターン設定部１７は、第１部分モデルのうち第１の特徴点に第１のコードを割り付けた場合、第１部分モデルにおける第１の特徴点の位置情報と第１のコードの種別とを関連付けて、照合データを生成する。パターン設定部１７は、例えば、照合データを記憶部２７に記憶させる。
本実施形態に係る第１撮像装置２ａは、表示部２５、入力部２６、記憶部２７、及び通信部２８を更に備える。表示部２５（図１参照）は、例えば、第１本体部１４に設けられた液晶ディスプレイ又はタッチパネル型ディスプレイである。表示部２５は、例えば、第１検出部１１の検出結果（例、第１撮像部１５による可視光画像）、第１情報算出部１２の算出結果（例、デプスマップ）、及び各種設定情報の少なくとも一部を表示する。
入力部２６は、例えば、第１本体部１４に設けられた操作ボタン、表示部２５に設けられたタッチパネル、ユーザなどの音声を認識する音声入力機、レリーズボタンなどである。入力部２６は、例えば、ユーザによる操作を検出し、ユーザからの情報の入力を受け付ける。入力部２６は、入力された情報を第１制御部１９に送信する。
記憶部２７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部２７は、第１撮像装置２ａに内蔵される記憶デバイスを含んでいてもよいし、第１撮像装置２ａからリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。第１情報算出部１２は、例えば、形状情報およびテクスチャ情報の少なくとも一方を含む情報にヘッダ情報（例、番号やコードなどの識別情報）を付けたモデル情報を生成する。そして、通信部２８はそのモデル情報を送信する。記憶部２７は、例えば、モデル情報を項目ごとに記憶する。例えば、記憶部２７は、形状情報、テクスチャ情報、光源情報、対象物ＯＢの光学特性情報、及びパターン情報の各項目の情報を個別のデータテーブルにそれぞれ記憶する。
なお、上記のヘッダ情報は、識別情報、第１撮像装置２ａの位置（位置情報）、第１撮像部１５による撮像タイミング、第１撮像部１５による撮像時間、対象物ＯＢの光学特性情報、および撮像環境情報（例、光源情報、対象物ＯＢなどに対する照明条件）のうち少なくとも１つを含んでいてもよい。第１情報算出部１２は、例えば、ヘッダ情報を有するモデル情報を所定のデータフォーマットに基づいて生成し、そのモデル情報を通信部２８によって送信させることが可能である。
通信部２８は、例えば、ＵＳＢポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも１つを含む。通信部２８は、第１制御部１９に制御され、記憶部２７に記憶されている情報を読み出し、読み出した情報を外部の装置に送信する。例えば、通信部２８は、第１情報算出部１２の算出結果（例、モデル情報）の少なくとも一部を、情報処理装置３に送信する。また、通信部２８は、例えば、外部の装置からの指令を含む情報を受信する。通信部２８は、受信した情報を記憶部２７に記憶させること、受信した情報を第１制御部１９に供給することができる。なお、第１撮像装置２ａが上記のデジタル装置を備える場合には、通信部２８はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。そして、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。
第１制御部１９は、第１本体部１４に保持されている。第１制御部１９は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、第１撮像装置２ａの各部を制御する。例えば、第１制御部１９は、第１検出部１１に上記の検出処理を実行させる。この検出処理は、例えば、第１撮像部１５による撮像処理、及び第１検出部１１による距離検出処理を含む。例えば、距離検出処理において、第１制御部１９は、第１投影部１８を制御し、第１投影部１８により対象物ＯＢに第１の測距用パターンを投影させる。また、第１制御部１９は、第１撮像部１５を制御し、第１の測距用パターンが投影された対象物ＯＢを第１撮像部１５に撮像させる。第１制御部１９は、例えば、第１撮像部１５による撮像画像の少なくとも一部を記憶部２７に記憶させる。
そして、第１制御部１９は、例えば、第１情報算出部１２を制御し、第１の測距用パターンが投影された対象物ＯＢを第１撮像部１５によって撮像した撮像画像をもとに、第１モデル情報を算出させる。第１制御部１９は、例えば、第１情報算出部１２が算出した第１モデル情報の少なくとも一部を記憶部２７に記憶させる。第１制御部１９は、例えば、特徴抽出部１６を制御し、第１モデル情報から特徴点を抽出する特徴抽出処理を実行させる。
また、第１制御部１９は、例えば第１モデル情報が算出された後あるいは上記特徴抽出処理が実行された後、パターン設定部１７を制御し、参照パターンの設定処理を実行させる。例えば、第１制御部１９は、参照画像データを生成する処理を、パターン設定部１７に実行させる。第１制御部１９は、例えば、参照画像データを記憶部２７に記憶させる。第１制御部１９は、第１投影部１８の投影条件を示す情報を、第２撮像装置２ｂに供給する。第１投影部１８の投影条件は、例えば、第１投影部１８による投影のタイミングを含む。第１投影部１８の投影条件は、第１投影部１８により投影するパターンの情報（例、参照画像データ）を含んでいてもよい。第１制御部１９は、例えば、第１投影部１８を制御し、参照画像データをもとに第１投影部１８に参照パターンを投影させる。
第１制御部１９は、例えば、記憶部２７に記憶されている情報の少なくとも一部を示す画像を、表示部２５に表示させる。第１制御部１９は、通信部２８を制御し、通信部２８を介して情報の送信、情報の受信を実行させる。
続いて、対象物ＯＢを撮影できる領域において第１撮像装置２ａと異なる位置に配置される第２撮像装置２ｂの各部の一例について説明する。第２撮像装置２ｂは、第２本体部３１、第２情報算出部３３、第２撮像部３４、第２投影部３５、パターン抽出部３６、及び第２制御部３７を備える。第２本体部３１は、例えば、カメラボディ、ケース、筐体などである。第２本体部３１は、第１本体部１４から離れた位置に配置される。
第２撮像部３４は、第２本体部３１に設けられている。第２撮像部３４は、対象物ＯＢを撮像する。第２投影部３５は、例えば、第２本体部３１に設けられる。第２投影部３５は、対象物ＯＢに向けてパターンを投影可能である。第２撮像部３４および第２投影部３５は、例えばプロジェクタカメラである。第２撮像装置２ｂは、第２投影部３５から対象物ＯＢ上に投影されたパターン（第２の測距用パターン）を第２撮像部３４によって検出し、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出可能である。第２撮像部３４および第２投影部３５を含む第２検出部は、例えば、図３に示した第１検出部１１と同様の構成でもよい。
第２撮像部３４は、第１投影部１８によって参照パターンが投影されている対象物ＯＢを撮像する。第２撮像部３４は、第１投影部１８から射出される光の波長帯に感度を有するイメージセンサを含む。例えば、第１投影部１８が参照パターンとして可視光画像を投影する場合、第２撮像部３４は、可視光の波長帯域に感度を有するイメージセンサを含む。また、例えば、第１投影部１８が参照パターンとして赤外光画像を投影する場合、第２撮像部３４は、赤外光の波長帯域に感度を有するイメージセンサを含む。
パターン抽出部３６は、第２撮像部３４の参照パターンを含む撮像結果から、第１投影部１８により対象物ＯＢに投影された参照パターンを抽出（検出）する。例えば、第２撮像部３４は、第１投影部１８から参照パターンが投影されていない非投影状態と、第１投影部１８から参照パターンが投影されている投影状態とのそれぞれにおいて、対象物ＯＢを撮像する。パターン抽出部３６は、例えば、非投影状態において第２撮像部３４が取得した画像と、投影状態において第２撮像部３４が取得した画像との差分を算出することにより、対象物ＯＢに投影された参照パターンを抽出する。この場合、例えば、パターン抽出部３６は、参照パターンを対象物ＯＢのテクスチャと分離することができる。
パターン抽出部３６は、例えば、参照パターンに文字、図形などのコードが含まれる場合、抽出した参照パターンにＯＣＲ処理、パターン認識処理などを行うことにより、参照パターンに含まれるコードを読み取る。例えば、パターン抽出部３６は、参照パターンに用いられるコードの情報を、コードの情報を記憶する記憶部から取得する。パターン抽出部３６は、コードの情報と抽出した参照パターンとを照合することによって、参照パターンに含まれるコードを読み取る。コードの情報は、第２撮像装置２ｂの記憶部３９（後述する）に予め記憶されていてもよい。また、コードの情報は、第２撮像装置２ｂの外部の装置（例、第１撮像装置２ａの記憶部２７）に記憶されていてもよく、この場合、パターン抽出部３６は、外部の装置との通信などによりコードの情報を取得してもよい。パターン抽出部３６は、例えば、抽出した参照パターンを示す参照情報を生成し、参照情報を記憶部３９に記憶させる。
第２情報算出部３３は、第２本体部３１に設けられている。第２情報算出部３３は、第２撮像部３４の撮像結果を使って、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する。第２モデル情報を算出するために、第２情報算出部３３は、第２投影部３５により対象物ＯＢに投影された第２の測距用パターンを第２撮像部３４によって撮像した撮像画像をもとに、第２撮像装置２ｂから対象物ＯＢの表面上の各点までの距離を検出する。第２モデル情報を算出する第２の測距用パターンは、第１の測距用パターンと同様のパターンであってもよいし、第１の測距用パターンと異なるパターンであってもよい。
第２情報算出部３３は、例えば、パターン抽出部３６が抽出した参照パターンを用いて、第２モデル情報を算出する。例えば、パターン抽出部３６が形状情報に関する特徴点を示すコードを検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像において少なくともコードの位置およびその周囲の形状情報を算出する。例えば、パターン抽出部３６がテクスチャ情報に関する特徴点を示すコードを検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像において少なくともコードの位置およびその周囲のテクスチャ情報を算出する。参照パターンに特徴点を示すコードが含まれる場合、第２情報算出部３３は、例えば、特徴点を抽出する処理の負荷を減らすこと、特徴点の抽出精度を高くする（特徴点を認識しやすくする）ことなどができる。また、本実施形態によれば、第１撮像装置２ａから特徴点の情報を通信で取得する場合と比べて、例えば、通信の負荷を減らすことができる。
第２情報算出部３３は、例えば、図４に示したコードＲＰ３（例、対象物ＯＢの面のエッジ）をパターン抽出部３６が検出した場合、第２情報算出部３３は、第２撮像部３４の撮像画像におけるコードの位置またはその近傍にエッジが存在すると仮定して、対象物ＯＢの形状情報を算出することができる。また、パターン抽出部３６がコードＲＰ１（例、平面）を検出した場合、コードＲＰ１の周囲のコードＲＰ３に囲まれる部分が平面であると仮定して、対象物ＯＢの形状情報を算出することができる。
なお、第２撮像装置２ｂは、第２情報算出部３３を備えていなくてもよい。この場合、第２撮像装置２ｂは、第２撮像部３４の検出結果を外部の装置に供給し、この外部の装置は、第２撮像部３４の検出結果を使って、第２モデル情報を算出してもよい。この外部の装置は、例えば、情報処理装置３であってもよいし、第１撮像装置２ａであってもよく、撮像システム１の外部の装置（例、クラウドコンピュータ）であってもよい。
また、第２撮像装置２ｂは、入力部３８、記憶部３９、通信部４０、及び表示部４１を更に備える。通信部４０、表示部４１、入力部３８、及び記憶部３９は、それぞれ、例えば第１撮像装置２ａの通信部２８、表示部２５、入力部２６、及び記憶部２７と同様の構成でよい。
第２制御部３７は、第２本体部３１に保持されている。第２制御部３７は、例えば、ユーザまたは外部装置（例、情報処理装置３）からの指令（制御信号）により、第２撮像装置２ｂの各部を制御する。例えば、第２制御部３７は、第２撮像部３４を含む第２検出部に、対象物ＯＢを検出する検出処理を実行させる。例えば、この検出処理において、第２制御部３７は、第２投影部３５を制御し、第２投影部３５により対象物ＯＢ上に第２の測距用パターンを投影させる。また、この検出処理において、第２制御部３７は、第２撮像部３４を制御し、第２の測距用パターンが投影された対象物ＯＢを第２撮像部３４に撮像させる。第２制御部３７は、例えば、第２撮像部３４による撮像画像の少なくとも一部を記憶部３９に記憶させる。
第２制御部３７は、例えば、通信部４０を制御し、第１投影部１８の投影条件を示す情報を、第１撮像装置２ａから取得する。第１投影部１８の投影条件は、例えば、第１投影部１８が参照パターンを投影するタイミング（参照パターンの投影タイミング）を含む。第２制御部３７は、参照パターンを投影するタイミングに基づいて、例えば、第２撮像部３４を制御し、参照パターンが投影されている対象物ＯＢを撮像させる。第２制御部３７は、例えば、パターン抽出部３６を制御し、第２撮像部３４による撮像画像から参照パターンを抽出する抽出処理を、パターン抽出部３６に実行させる。第２制御部３７は、例えば、パターン抽出部３６が抽出した参照パターンの情報を記憶部３９に記憶させる。
そして、第２制御部３７は、例えば、第２情報算出部３３を制御し、第２の測距用パターンが投影された対象物ＯＢを第２撮像部３４によって撮像した撮像画像、及びパターン抽出部３６が抽出した参照パターンの情報をもとに、第２モデル情報を算出させる。第２制御部３７は、例えば、第２情報算出部３３が算出した第２モデル情報の少なくとも一部を記憶部３９に記憶させる。
次に、情報処理装置３の各部の一例について説明する。
情報処理装置３は、例えば、通信部５１、記憶部５２、モデル統合部５３、レンダリング処理部５４、及び制御部５５を備える。通信部５１は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５１は、第１撮像装置２ａの通信部２８および第２撮像装置２ｂの通信部４０のそれぞれと通信可能である。
記憶部５２は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５２は、例えば、通信部５１を介して受信した情報の少なくとも一部のデータ、複数の撮像装置２を制御する撮像制御プログラム、情報処理装置３の各処理を実行させる処理プログラム、などを記憶する。
モデル統合部５３は、対象物ＯＢを第１方向から検出した結果（第１の検出結果）を元に算出される第１モデル情報と、対象物ＯＢを第２方向から検出した結果（第２の検出結果）を元に算出される第２モデル情報とを統合して、統合モデル情報を生成する。モデル統合部５３は、例えば、第１撮像装置２ａから供給される第１モデル情報および照合データ、並びに第２撮像装置２ｂから供給される第２モデル情報および参照パターンの情報を使って、対象物ＯＢに関するモデル統合処理を行う。
モデル統合部５３は、例えば、第１モデル情報が示す第１部分モデルと、第２モデル情報が示す第２部分モデルとで共通する特徴点の情報を参照パターンの情報から取得することができる。モデル統合部５３は、例えば、この特徴点の情報を使って、第１部分モデルと第２部分モデルとを関連付けることができる。例えば、モデル統合部５３は、第１部分モデルと第２部分モデルとで共通する特徴点を探索する処理の負荷を減らすこと、あるいはこの処理を省略することができる。
モデル統合処理において、モデル統合部５３は、例えば、第１撮像装置２ａからの照合データと、第２撮像装置２ｂからの参照パターンの情報とを照合し、第１モデル情報における特徴点と第２モデル情報における特徴点とをマッチングする。例えば、照合データには、参照パターンの第１のコードが第１部分モデルの第１の特徴点に対応することが示されている。モデル統合部５３は、例えば、第２撮像装置２ｂが検出した参照パターンから第１のコードを検索することによって、第２部分モデルにおいて第１の特徴点に相当する部分を検出することができる。モデル統合部５３は、例えば、第１部分モデルと第２部分モデルとで第１の特徴点を重ねることにより、第１部分モデルと第２部分モデルとを含む統合モデルを生成し、統合モデルを示す統合モデル情報を算出する。
レンダリング処理部５４は、第１モデル情報の少なくとも一部および第２モデル情報の少なくとも一部の一方または双方をもとに、レンダリング処理を行う。例えば、レンダリング処理部５４は、第１モデル情報および第２モデル情報をもとにモデル統合部５３が算出した統合モデル情報を使って、レンダリング処理を行う。
レンダリング処理部５４は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５４は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５４は、例えば、レンダリング処理において、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
レンダリング処理部５４は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５４は、例えば、第１モデル情報の少なくとも一部（例、形状情報）を使って、描画処理を行う。レンダリング処理部５４は、第２モデル情報（例、形状情報）の少なくとも一部を使って、描画処理を行うこともできる。また、レンダリング処理部５４は、第１モデル情報の少なくとも一部および第２モデル情報の少なくとも一部を使って描画処理を行ってもよいし、例えば、統合モデル情報の少なくとも一部を使って描画処理を行ってもよい。
レンダリング処理部５４は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５４は、例えば、算出した推定画像のデータを記憶部５２に記憶させる。複数の撮像装置２は、それぞれ、モデル情報の少なくとも一部を情報処理装置３に送信可能であるので、例えば、情報処理装置３は、レンダリング処理の負荷を減らすことができる。また、例えば、複数の撮像装置２は、第１撮像部１５によって撮像された全ての撮像画像を情報処理装置３に送信しなくてもよく、第１情報算出部１２が算出したモデル情報の少なくとも一部（例、形状情報およびテクスチャ情報）を情報処理装置３に送信することができる。このため、本実施形態に係る複数の撮像装置２は、それぞれ、レンダリング処理部５４の描画処理に必要な情報の通信負荷を低減することができる。
また、レンダリング処理部５４は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５４は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。
レンダリング処理部５４は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５４は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
制御部５５は、例えば、情報処理装置３の各部、複数の撮像装置２、入力装置４、及び表示装置５を制御する。制御部５５は、例えば、通信部５１を制御し、複数の撮像装置２のそれぞれに、指令（制御信号）や設定情報を送信させる。制御部５５は、例えば、通信部５１が複数の撮像装置２から受信した情報を、記憶部５２に記憶させる。制御部５５は、例えば、レンダリング処理部５４を制御し、レンダリング処理を実行させる。
制御部５５は、例えば、通信部５１を介して複数の撮像装置２に指令（信号）を送ることで、複数の撮像装置２を制御する。例えば、制御部５５は、通信部５１を制御し、所定の情報の送信を要求する指令（要求信号）を複数の撮像装置２に送信する。制御部５５は、複数の撮像装置２に各処理を実行させる指令を、複数の撮像装置２に送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１検出部１１に検出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。例えば、制御部５５は、第１撮像装置２ａの第１情報算出部１２にモデル情報の算出処理を実行させる指令を、第１撮像装置２ａに送信してもよい。また、情報処理装置３の制御部５５は、第１撮像装置２ａの第１撮像部１５に対象物ＯＢの撮像を実行させる指令、及び対象物ＯＢの撮像条件を設定させる指令を、第１撮像装置２ａに送信してもよい。情報処理装置３の制御部５５は、第１撮像装置２ａに第２撮像装置２ｂの識別情報を検出する処理を実行させる指令を、第１撮像装置２ａに送信してもよい。
通信部２８は、例えば、第１情報算出部１２が算出した情報を、項目ごとに選択的に送信する。例えば、記憶部２７に記憶されている設定情報は、モデル情報の各項目の情報を送信するか否かを定めた送信項目情報、及び各項目の情報を送信する順番を定めた送信順番情報を含む。この設定情報は、例えば、入力部２６の操作、情報処理装置３からの指令などにより更新可能である。第１制御部１９は、例えば、通信部２８を制御し、送信項目情報に定められた項目の情報を、送信順番情報に定められた順に送信させる。なお、第１制御部１９は、例えば、通信部２８を制御して、送信項目情報に定められた項目の情報（例、形状情報およびテクスチャ情報）を所定のデータフォーマットに基づいて一度に送信してもよい。
送信項目情報は、例えば、情報処理装置３のレンダリング処理に使われるか否かに応じて設定されていてもよい。例えば、レンダリング処理において、対象物ＯＢの形状に、対象物ＯＢと異なるテクスチャを合成する場合がある。この場合、情報処理装置３は、例えば、対象物ＯＢの形状情報を使うとともに、対象物ＯＢのテクスチャ情報を使わないで、レンダリング処理を実行できる。送信項目情報は、例えば、形状情報を送信するが、テクスチャ情報を送信しないことを定めた情報に設定される。この場合、第１情報算出部１２は、テクスチャ情報を算出しなくてもよい。
また、例えば、レンダリング処理において、対象物ＯＢに対する照明条件を変更した画像を算出する場合がある。情報処理装置３は、例えば、対象物ＯＢの形状情報、パターン情報、及び光学特性情報を使うとともに、光源情報を使わないで、レンダリング処理を実行できる。この場合、送信項目情報は、例えば、形状情報、パターン情報、及び光学特性情報を送信し、光源情報を送信しないことを定めた情報に設定される。また、例えば、送信項目情報は、形状情報、テクスチャ情報、パターン情報、光源情報および光学特性情報のうち少なくとも１つの情報を送信することを定めた情報に設定される。複数の撮像装置２は、例えばモデル情報のうち一部を送信する場合、通信の負荷を減らすことができる。
送信順番情報は、例えば、情報処理装置３のレンダリング処理における優先順位に応じて設定されていてもよい。例えば、送信順番情報は、レンダリング処理において先に使われる項目の情報を先に送るように設定されていてもよい。例えば、レンダリング処理において、視点を変えながらテクスチャがない対象物ＯＢを見た画像を算出し、視点を定めた後、この視点から、テクスチャがある対象物ＯＢを見た画像を算出する場合がある。情報処理装置３は、例えば、形状情報を使うとともにテクスチャ情報を使わないで、テクスチャがない対象物ＯＢを、視点を変えて見た画像を算出できる。送信項目情報は、例えば、形状情報を先に送信し、テクスチャ情報を形状情報よりも後で送信することを定めた情報に設定される。複数の撮像装置２は、例えば、モデル情報の各項目の情報を情報処理装置３のレンダリング処理における優先順位に応じた順に送信する場合、情報処理装置３のレンダリング処理の一部と並行してそれらの情報を送信することができる。また、例えば、第１撮像装置２ａの第１制御部１９は、第１情報算出部１２によるモデル情報の算出の少なくとも一部と通信部２８による情報の送信処理とを並行して実行させることができる。
情報処理装置３の制御部５５は、例えば、入力装置４に入力された情報を、記憶部５２に記憶させる。入力装置４に入力される情報は、例えば、レンダリング処理の設定情報を含む。この設定情報は、例えば、描画処理の対象のデータ（例、モデル情報の形状情報）、描画処理における視点の情報、テクスチャマッピング処理においてテクスチャを貼り付ける物体のデータ、テクスチャマッピング処理において貼り付けるテクスチャの情報（例、モデル情報のテクスチャ情報）、シェーディング処理における光源の情報（例、モデル情報の光源情報）の少なくとも一つを含む。レンダリング処理部５４は、例えば、設定情報に従って、レンダリング処理を実行する。
制御部５５は、例えば、記憶部５２に記憶される各種情報を示す画像を、表示装置５に表示させる。例えば、制御部５５は、レンダリング処理の設定情報を表示装置５に表示させ、入力装置４により設定情報の変更を受け付ける。また、制御部５５は、記憶部５２に記憶させている推定画像のデータが示す画像を、表示装置５に表示させる。
なお、情報処理装置３は、レンダリング処理によって得られた推定画像を表示装置５に表示させなくてもよく、この場合に、撮像システム１は、表示装置５を備えていなくてもよい。例えば、情報処理装置３は、レンダリング処理により算出される推定画像のデータの少なくとも一部を他の装置（再生デバイス）に通信部５１を介して送信し、他の装置がこの画像を表示してもよい。例えば、情報処理装置３は、推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部２８へ送信してもよく、第１撮像装置２ａは、通信部２８を介して受信した推定画像のデータを元に推定画像を表示部２５に表示させてもよい。例えば、再生デバイスは、レンダリング処理により算出された情報（推定画像）を取得して、その情報を表示部に表示する。
なお、情報処理装置３は、各種の設定情報を他の装置から通信部５１を介して受信してもよく、この場合に、撮像システム１は、入力装置４を備えていなくてもよい。例えば、第１撮像装置２ａは、レンダリング処理の設定情報（例、推定画像の元になる視点の情報）を、通信部２８を介して情報処理装置３の通信部５１に送信してもよい。また、情報処理装置３は、第１撮像装置２ａから受信したレンダリング処理の設定情報に従ってレンダリング処理を実行してもよい。
なお、第１撮像装置２ａは、レンダリング処理により算出される推定画像のデータを要求する指令を、通信部２８を介して情報処理装置３の通信部５１へ送信してもよい。情報処理装置３は、第１撮像装置２ａからの指令に対する応答として推定画像のデータを、通信部５１を介して第１撮像装置２ａの通信部２８へ送信してもよい。第１撮像装置２ａは、上記の要求指令をレンダリング処理の設定情報の一部として送信してもよいし、レンダリング処理の設定情報と別の指令（例、制御信号）として送信してもよい。
なお、第１撮像装置２ａは、情報処理装置３に制御されて上記の各種処理を実行する場合、第１制御部１９、記憶部２７、表示部２５、及び入力部２６の少なくとも一部を備えていなくてもよい。第２撮像装置２ｂについても同様である。また、第１撮像装置２ａは、例えば、ユーザの操作によって上記の各種処理を実行し、情報処理装置３に制御されなくてもよい。例えば、第１撮像装置２ａは、外部の装置からの指令（制御信号）を受けることなく上記の各種処理を実行してもよく、ユーザの操作、あるいは予め定められた処理スケジュールに従って上記の各種処理を実行してもよい。第１撮像装置２ａは、第１情報算出部１２の算出結果（例、モデル情報など）を、情報処理装置３の他の装置に通信部２８を介して送信してもよい。
次に、撮像システム１の動作に基づき、本実施形態に係る撮像方法について説明する。図５は、本実施形態に係る撮像方法を示すフローチャートである。撮像システム１は、ステップＳ１において、第１撮像装置２ａにより対象物を検出する。例えば、第１制御部１９は、第１撮像部１５を制御し、第１撮像部１５に対象物ＯＢを撮像させる。撮像システム１は、ステップＳ２において、第１モデル情報を算出する。例えば、第１制御部１９は、第１情報算出部１２を制御し、第１撮像部１５の撮像結果をもとに対象物ＯＢの第１モデル情報を算出させる。撮像システム１は、ステップＳ３において、第２撮像装置２ｂにより対象物を検出する。例えば、第２制御部３７は、第２撮像部３４を制御し、第２撮像部３４に対象物ＯＢを撮像させる。
撮像システム１は、ステップＳ４において、第１撮像装置２ａにより参照パターンを投影させる。例えば、第１制御部１９は、特徴抽出部１６を制御し、第１モデル情報から特徴点を抽出させ、パターン設定部１７を制御して、抽出した特徴点の情報と関連付けられるパターンを参照パターンに設定させる。また、第１制御部１９は、参照パターンを対象物ＯＢに投影させる指示を示す制御信号を第１投影部１８に送信して第１投影部１８を制御し、パターン設定部１７が設定した参照パターンを対象物ＯＢに向けて投影させる。
撮像システム１は、ステップＳ５において、第２撮像装置２ｂにより参照パターンを検出する。例えば、第２制御部３７は、第２撮像部３４を制御し、参照パターンが投影されている対象物ＯＢを撮像させる。また、第２制御部３７は、パターン抽出部３６を制御し、第２撮像部３４による撮像画像から参照パターンを抽出させる。
撮像システム１は、ステップＳ６において、第２モデル情報を算出する。例えば、第２制御部３７は、第２情報算出部３３を制御し、ステップＳ３の第２撮像部３４の撮像結果、及びステップＳ５の参照パターンの検出結果をもとに、対象物ＯＢの第２モデル情報を算出させる。
撮像システム１は、ステップＳ７において、第１モデル情報と第２モデル情報を統合する。例えば、情報処理装置３の制御部５５は、第１撮像装置２ａから第１モデル情報を取得し、第２撮像装置２ｂから第２モデル情報を取得する。制御部５５は、モデル統合部５３を制御し、第１モデル情報と第２モデル情報を統合させる。モデル統合部５３は、例えば、第２撮像装置２ｂが検出した参照パターンの検出結果を使ってモデル統合処理を実行し、統合モデル情報を算出する。
次に、撮像システム１の動作の例について説明する。図６は、本実施形態に係る撮像システム１の動作の例を示すシーケンス図である。第１撮像装置２ａの第１投影部１８は、ステップＳ１１において、第１の測距用パターンを対象物ＯＢに投影する。第１撮像装置２ａの第１撮像部１５は、ステップＳ１２において、第１の測距用パターンが投影されている対象物ＯＢを撮像する。第１撮像装置２ａの通信部２８は、ステップＳ１３において、撮像が終了したことを示す通知（例、信号）を、第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ１４において、ステップＳ１３の通知を受信する。
第２撮像装置２ｂの第２投影部３５は、ステップＳ１３の通知を受信した後に、ステップＳ１５において、第２の測距用パターンを対象物ＯＢに投影する。第２撮像装置２ｂの第２撮像部３４は、ステップＳ１６において、第２の測距用パターンが投影されている対象物ＯＢを撮像する。第２撮像装置２ｂの通信部４０は、ステップＳ１７において、撮像が終了したことを示す通知を第１撮像装置２ａの通信部２８に送信する。通信部２８は、ステップＳ１８において、ステップＳ１７の通知を受信する。
第１撮像装置２ａの第１情報算出部１２は、ステップＳ１３の通知が送信された後に、第１モデル情報を算出する。第１情報算出部１２または特徴抽出部１６は、ステップＳ１３において、少なくとも特徴点を抽出する処理を行う。第１撮像装置２ａのパターン設定部１７は、ステップＳ１４において、例えば特徴点の情報と関連付けられるパターンを、参照パターンに設定する。
第１撮像装置２ａの通信部２８は、ステップＳ１７の通知を受信した後に、ステップＳ２１において、参照パターンの投影条件を第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ２２において、参照パターンの投影条件を受信する。第１撮像装置２ａの第１投影部１８は、ステップＳ２３において、投影条件に定められたスケジュールに従って参照パターンを対象物ＯＢに向けて投影する。第２撮像装置２ｂの第２撮像部３４は、ステップＳ２４において、投影条件に定められたスケジュールに従って、参照パターンが投影されている対象物ＯＢを撮像する。
第１撮像装置２ａの通信部２８は、ステップＳ２５において、第１モデル情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ２６において、第１モデル情報を受信する。第２撮像装置２ｂのパターン抽出部３６は、ステップＳ２７において、ステップＳ２４の第２撮像部３４の撮像画像から参照パターンを抽出する。第２撮像装置２ｂの第２情報算出部３３は、ステップＳ２８において、第２モデル情報を算出する。第２撮像装置２ｂの通信部４０は、ステップＳ２９において、第２モデル情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ３０において、第２モデル情報を受信する。情報処理装置３のモデル統合部５３は、ステップＳ３１において、第１モデル情報と第２モデル情報を統合する。
図７は、本実施形態に係る撮像システム１の動作の他の例を示すシーケンス図である。なお、図６と共通する処理については、その説明を省略又は簡略化する。第１撮像装置２ａは、ステップＳ４１において対象物ＯＢを検出し、ステップＳ４２において第１モデル情報を算出する。第１撮像装置２ａは、ステップＳ４３において第１モデル情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ４４において第１モデル情報を受信する。第２撮像装置２ｂは、ステップＳ４５において対象物ＯＢを検出し、ステップＳ４６において第２モデル情報を算出する。第２撮像装置２ｂは、ステップＳ４７において第２モデル情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ４８において第２モデル情報を受信する。
情報処理装置３のモデル統合部５３は、ステップＳ４９において、第１モデル情報から特徴点を抽出し、特徴点における特徴量を示す特徴点データ（第１特徴点データ）を生成する。情報処理装置３の通信部５１は、ステップＳ５０において、特徴点データを第１撮像装置２ａの通信部２８に送信する。通信部２８は、ステップＳ５１において、特徴点データを受信する。第１撮像装置２ａのパターン設定部１７は、ステップＳ５２において、特徴点データをもとに参照パターンを設定する。第１撮像装置２ａの通信部２８は、ステップＳ５３において、参照パターンの投影条件を第２撮像装置２ｂの通信部４０に送信する。通信部４０は、ステップＳ５４において、参照パターンの投影条件を受信する。第１撮像装置２ａの第１投影部１８は、ステップＳ５５において参照パターンを投影し、第２撮像装置２ｂの第２撮像部３４は、ステップＳ５６において、参照パターンが投影されている対象物ＯＢを撮像する。第２撮像装置２ｂのパターン抽出部３６は、ステップＳ５７において、参照パターンを抽出し、抽出した参照パターンを示す参照情報を生成する。第２撮像装置２ｂの通信部４０は、ステップＳ５８において、参照情報を情報処理装置３の通信部５１に送信する。通信部５１は、ステップＳ５９において、参照情報を受信する。参照情報には、例えば、第２モデル情報における特徴点のデータ（第２特徴点データ）が含まれる。情報処理装置３のモデル統合部５３は、ステップＳ６０において、第１モデル情報、第１特徴点データ、第２モデル情報、及び参照情報（第２特徴点データ）を使って、モデル統合処理を行う。
このように、第１撮像装置２ａは、第１モデル情報から特徴点を抽出しなくてもよく、情報処理装置３が特徴点を抽出してもよい。また、第２撮像装置２ｂは、参照パターンを検出した結果を使うことなく第２モデル情報を算出してもよい。
図８は、本実施形態に係る撮像システム１の動作の他の例を示すシーケンス図である。なお、図６、図７と共通する処理については、その説明を簡略化する。第１撮像装置２ａは、ステップＳ６１において対象物ＯＢを検出し、ステップＳ６２において第１モデル情報を算出（少なくとも特徴点を抽出）する。第１撮像装置２ａは、ステップＳ６５において、参照パターンを設定する。第１撮像装置２ａは、ステップＳ６６において参照パターンの投影条件を第２撮像装置２ｂに送信し、第２撮像装置２ｂは、ステップＳ６７において参照パターンの投影条件を受信する。第１撮像装置２ａは、ステップＳ６８において参照パターンを投影し、第２撮像装置２ｂは、ステップＳ６９において、参照パターンが投影されている対象物ＯＢを撮像する。
第１撮像装置２ａは、ステップＳ７０において特徴点データ（第１特徴点データ）を情報処理装置３に送信し、情報処理装置３は、ステップＳ７１において特徴点データを受信する。第２撮像装置２ｂは、ステップＳ７２においてステップＳ６９の撮像画像から参照パターンを抽出する。第２撮像装置２ｂは、ステップＳ７３において参照情報を情報処理装置３に送信し、情報処理装置３は、ステップＳ７４において参照情報を受信する。参照情報は、第２撮像装置２ｂが検出した参照パターンから得られる情報であり、例えば、第２モデル情報における特徴点のデータ（第２特徴点データ）を含む。
情報処理装置３のモデル統合部５３は、ステップＳ７５において、第１特徴点データに含まれる特徴点と、参照情報（第２特徴点データ）に示される特徴点とをマッチングする。情報処理装置３は、ステップＳ７６において、統合モデル情報のうち、第１撮像装置２ａからの第１モデル情報に担当させる第１担当領域と、第２撮像装置２ｂからの第２モデル情報に担当させる第２担当領域とを決定して設定する。例えば、モデル統合部５３は、第１担当領域と第２担当領域とが重複しないように、各担当領域を選択する。
情報処理装置３の制御部５５は、ステップＳ７７において、通信部５１を制御し、第１担当領域における第１モデル情報の送信を要求する指令（第１要求信号）を、第１撮像装置２ａの通信部２８に送信する。以下、第１担当領域における第１モデル情報を、第１指定情報という。第１指定情報は、例えば、第１モデル情報が示す形状の一部の形状に関する情報である。第１撮像装置２ａの通信部２８は、ステップＳ７８において、ステップＳ７７の指令を受信する。第１撮像装置２ａの第１情報算出部１２は、ステップＳ７９において、第１モデル情報のうち第１指定情報を抽出する。第１撮像装置２ａの通信部２８は、ステップＳ８０において第１指定情報を情報処理装置３の通信部５１に送信し、通信部５１は、第１指定情報を受信する。
情報処理装置３の制御部５５は、ステップＳ７７の処理の後のステップＳ８２において、通信部５１を制御し、第２担当領域における第２モデル情報の送信を要求する指令（第２要求信号）を、第２撮像装置２ｂの通信部４０に送信する。以下、第２担当領域における第２モデル情報を、第２指定情報という。第２指定情報は、例えば、第２モデル情報が示す形状の一部の形状に関する情報である。第２撮像装置２ｂの通信部４０は、ステップＳ８３において、ステップＳ８２の指令を受信する。第２撮像装置２ｂの第２情報算出部３３は、ステップＳ８４において、第２モデル情報のうち第２指定情報を抽出する。第２撮像装置２ｂの通信部４０は、ステップＳ８５において、第２指定情報を情報処理装置３の通信部５１に送信し、通信部５１は、ステップＳ８６において第２指定情報を受信する。モデル統合部５３は、ステップＳ８７において、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを統合し、統合モデル情報を算出する。また、上述したように、本実施形態における撮像装置２は、本体部（１４、３１）と、本体部（１４、３１）に設けられ、対象物ＯＢと該対象物ＯＢに投影された参照パターンとを撮像する撮像部（１５、３４）と、撮像部（１５、３４）の撮像結果から、対象物ＯＢに投影された参照パターンを抽出するパターン抽出部３６と、本体部（１４、３１）に設けられ、撮像部（１５、３４）の撮像結果とパターン抽出部３６が抽出した参照パターンとを用いて、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部（１２、３３）と、を備える。例えば、第２撮像装置２ｂは、第２本体部３１と、第２本体部３１に設けられ、対象物ＯＢと該対象物ＯＢに投影された参照パターンとを同時に又は１つの画像として撮像する第２撮像部３４と、第２撮像部３４の撮像結果から、対象物ＯＢに投影された参照パターンを抽出するパターン抽出部３６と、第２本体部３１に設けられ、第２撮像部３４の撮像結果とパターン抽出部３６が抽出した参照パターンとを用いて、対象物ＯＢの形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する第２情報算出部３３と、を備える。また、上述したように、上記参照パターンは、情報算出部（例、第２情報算出部３３）が算出した第２モデル情報とは異なり別の情報算出部（例、第１情報算出部１２）が算出した第１モデル情報の少なくとも一部を示すパターンである。
ところで、第２撮像装置２ｂにより検出した参照パターン（図４のコードＲＰ５参照）を用いると、第１モデル情報に規定される第１部分モデルと第２モデル情報に規定される第２部分モデルとの重複部分を検出することができる。例えば、モデル統合部５３は、重複部分の情報を使って、ステップＳ７６において担当領域を決定することができる。この場合、第１モデル情報の一部である第１指定情報と、第２モデル情報の一部である第２指定情報とを使ってモデル統合処理を行うことにより互いの重複部分を容易に検出できるため、例えば、通信の負荷を減らすこと、モデル統合処理の負荷を減らすことができる。
［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図１０は、第２実施形態に係る撮像システム１を示すブロック図である。
一例として、撮像システム１は、対象物ＯＢの窪んだ部分、開口などの空隙の検出を失敗することがあり得る。例えば、撮像システム１は、開口の内壁と、開口を塞ぐ仮想面とを区別できない場合がある。このような場合に、第１モデル情報をもとにワイヤフレームなどを対象物に投影すると、例えば開口の内壁と、開口の外側とでワイヤフレームが不連続になることで、撮像システム１は第１モデル情報で精度が不足する部分を検出できる。
本実施形態に係る撮像システム１は、モデル情報の評価に使われる情報を算出する比較部５６を備える。比較部５６は、例えば、情報処理装置３に設けられるが、複数の撮像装置２の少なくとも一つ（例、第１撮像装置２ａ）に設けられていてもよいし、他の装置に設けられていてもよい。比較部５６は、対象物ＯＢを撮像した撮像画像から得られるモデル情報と、このモデル情報を元に設定される第２の参照パターンが投影されている対象物ＯＢを撮像した撮像画像から得られる情報とを比較する。
例えば、情報処理装置３のレンダリング処理部５４は、第１撮像装置２ａから第１モデル情報を取得し、レンダリング処理を行う。レンダリング処理部５４は、例えば、対象物ＯＢの表面をワイヤフレームで表した画像（例、対象物ＯＢの表面にワイヤフレームのテクスチャを付加した推定画像）のデータを生成する。パターン設定部１７は、例えば、レンダリング処理部５４の処理結果をもとに、対象物ＯＢの表面にワイヤフレームを表示する第２の参照パターンを設定する。第１撮像部１５は、例えば、第２の参照パターンが投影されている投影状態と、第２の参照パターンが投影されていない非投影状態のそれぞれにおいて、対象物ＯＢを撮像する。
比較部５６は、例えば、第１撮像部１５が取得した投影状態の撮像画像と非投影状態の撮像画像との差分を演算し、第１撮像部１５の視野における対象物ＯＢ上の第２の参照パターンを検出する。また、比較部５６は、例えば、レンダリング処理において付加されたテクスチャと、第１撮像部１５の視野で検出した第２の参照パターンとのずれ量を算出する。比較部５６は、例えば、算出したずれ量が閾値よりも大きい部分において第１モデル情報の精度が不十分であると判定（評価）してもよい。
また、第２撮像部３４は、例えば、第２の参照パターンが投影されている投影状態と、第２の参照パターンが投影されていない非投影状態とのそれぞれにおいて、対象物ＯＢを撮像する。比較部５６は、例えば、第２撮像部３４が取得した投影状態の撮像画像と非投影状態の撮像画像との差分を演算し、第２撮像部３４の視野における対象物ＯＢ上の第２の参照パターンを検出する。比較部５６は、例えば、第２撮像部３４の視野で検出した第２の参照パターンのずれ量を算出し、算出したずれ量が閾値よりも大きい部分において第１モデル情報の精度が不十分であると判定（評価）してもよい。例えば、第１撮像装置２ａにより投影される第２の参照パターンを検出する場合、第１モデル情報におけるレンダリング非対称領域を、第２撮像装置２ｂの検出結果から取得することができる。
撮像システム１は、例えば、第１撮像部１５の視野で検出した第２の参照パターンのずれ量と、第２撮像部３４の視野で検出した第２の参照パターンのずれ量の少なくとも一方を用いて、モデル情報（例、第１モデル情報、第２モデル情報、統合モデル情報）を補正してもよい。例えば、第１撮像装置２ａは、パターン設定部１７によって、第２の参照パターンを変化させることで対象物ＯＢに付加されるテクスチャを変化させながら、第１撮像部１５によって対象物ＯＢを撮像する。比較部５６は、例えば、第２の参照パターンに変化に伴う第１撮像部１５の視野で検出した第２の参照パターンのずれ量の変化を監視する。撮像システム１は、例えば、第２の参照パターンのずれ量が減少する際の第２の参照パターンをもとに、モデル情報を補正してもよい。この場合、参照パターンの照射と撮像により、モデル情報の精度を高めることができる。
次に、撮像システム１の動作に基づき、本実施形態に係る撮像方法について説明する。図１０は、本実施形態に係る撮像方法を示すフローチャートである。撮像システム１は、ステップＳ９１において、第１撮像装置２ａにより対象物ＯＢを検出（撮像）する。撮像システム１は、ステップＳ９２において、ステップＳ９１の撮像結果をもとに第１モデル情報を算出する。撮像システム１は、ステップＳ９３において、第２撮像装置２ｂにより対象物ＯＢを検出（撮像）する。撮像システム１は、ステップＳ９４において、ステップＳ９３の撮像結果をもとに第２モデル情報を算出する。
撮像システム１は、ステップＳ９５において、モデル情報（例、第１モデル情報）をもとに、レンダリング処理部５４によりレンダリング処理を行う。撮像システム１は、ステップＳ９６において、ステップＳ９５のレンダリング処理の結果をもとに、パターン設定部１７により参照パターンを設定する。撮像システム１は、ステップＳ９７において、第１撮像装置２ａ（例、第１投影部１８）により参照パターンを対象物ＯＢに向けて投影する。撮像システム１は、ステップＳ９８において、第１撮像装置２ａと第２撮像装置２ｂの少なくとも一方により対象物ＯＢを撮像し、対象物ＯＢ上の参照パターンを検出する。撮像システム１は、ステップＳ９９において、比較部５６により参照パターンの検出結果とモデル情報とを比較する。撮像システム１は、ステップＳ１００において、ステップＳ９９の比較結果をもとにモデル情報（例、第１モデル情報）を補正する。撮像システム１は、ステップＳ１０１において、ステップＳ９９で補正したモデル情報を使って、モデル統合部５３によりモデル統合処理を行う。
なお、第１投影部１８は、モデル情報をもとに設定される参照パターンを、投影倍率を変更しながら投影してもよい。例えば、パターン設定部は、対象物ＯＢの輪郭を示すパターンを参照パターンに設定し、第１投影部１８は、参照パターンを拡大または縮小して投影してもよい。例えば、第１投影部１８は、まず、対象物ＯＢの輪郭を示すパターンが対象物ＯＢ上に表示される投影倍率に設定する。第１投影部１８は、投影倍率を上げながらパターンを投影し、第１撮像部１５は、対象物ＯＢの輪郭を示すパターンの変化を検出する。この場合、例えば、投影倍率により、対象物ＯＢのスケール（例、実寸）を推定することができる。また、例えば、輪郭を示すパターンの一部が対象物ＯＢ上に表示されない場合、表示されない部分の情報を、モデリング結果の妥当性を評価に利用することができる。
また、上述の実施形態によれば、例えば、撮像装置２は、複数の視野間の対応関係（位置関係）を示す情報を得ることができ、第１の視野で得られる情報と第２の視野で得られる情報とを高精度に関連付けることが可能である。
なお、本発明の技術範囲は、上記の実施形態あるいは変形例に限定されるものではない。上述の実施形態における制御部は、例えば、記憶装置（例、記憶部）に記憶されている撮像プログラムを読み出し、この撮像プログラムに従って上述した各種の処理を実行する。この撮像プログラムは、例えば、コンピュータに上述した各種の処理を実行させる。また、この撮像プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。例えば、上記の実施形態あるいは変形例で説明した要件の１つ以上は、省略されることがある。また、上記の実施形態あるいは変形例で説明した要件は、適宜組み合わせることができる。
なお、上述の実施形態において、複数の撮像装置２は、投影条件を通信することにより、参照パターンの投影と撮像を同期して行うが、投影条件の通信を行わなくてもよい。例えば、複数の撮像装置２は、予め定められたスケジュールに従って、投影処理、撮像処理などの各種処理を行ってもよい。このスケジュールを示すスケジュール情報は、複数の撮像装置２のそれぞれの記憶に記憶されていてもよい。また、複数の撮像装置２の少なくとも１つの撮像装置（例、第１撮像装置２ａ）は、スケジュール情報を示すパターン（例、コード）を投影してもよい。この場合、他の撮像装置（例、第２撮像装置２ｂ）は、このパターンを撮像により検出し、パターンに含まれる情報をデコードにより取得することで、スケジュール情報を取得してもよい。また、複数の撮像装置２の少なくとも一つの撮像装置（例、第２撮像装置２ｂ）は、他の撮像装置（例、第１撮像装置２ａ）が視野に入る場合、第１撮像装置２ａの動作（例、照明の発光、投影時の発光）を撮像などにより検出し、その検出結果を同期信号に使って、他の撮像装置との同期をとってもよい。
１ 撮像システム、２ａ 第１撮像装置、２ｂ 第２撮像装置、３ 情報処理装置、４ 入力装置、５ 表示装置、１２ 第１情報算出部、１４ 第１本体部、１５ 第１撮像部、１６ 特徴抽出部、１７ パターン設定部、１８ 第１投影部、１９ 第１制御部、３１ 第２本体部、３３ 第２情報算出部、３４ 第２撮像部、３５ 第２投影部、３６ パターン抽出部、３７ 第２制御部、５３ モデル統合部、５４ レンダリング処理部、５５ 制御部、５６ 比較部

Claims (23)

  1. 第１本体部と、
    前記第１本体部に設けられ、対象物を撮像する第１撮像部と、
    前記第１本体部に設けられ、前記第１撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出する第１情報算出部と、
    前記第１情報算出部が算出した前記第１モデル情報の少なくとも一部を示す参照パターンを設定するパターン設定部と、
    前記参照パターンを前記対象物に向けて投影する第１投影部と、
    第２本体部と、
    前記第２本体部に設けられ、前記参照パターンが投影されている前記対象物を撮像する第２撮像部と、
    前記第２本体部に設けられ、前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出する第２情報算出部と、
    前記第２撮像部の撮像結果から、前記第１投影部により投影された前記参照パターンを抽出するパターン抽出部と、を備える撮像システム。
  2. 前記第２情報算出部は、前記パターン抽出部が抽出した前記参照パターンを用いて、前記第２モデル情報を算出する、請求項１に記載の撮像システム。
  3. 前記第１情報算出部により算出された前記第１モデル情報のうち他の部分と識別可能な特徴部分を抽出する特徴抽出部を備え、
    前記パターン設定部は、前記特徴部分の情報と関連付けられるパターンを、前記参照パターンに設定する、請求項１又は請求項２に記載の撮像システム。
  4. 前記第１情報算出部が算出した前記第１モデル情報と、前記第２情報算出部が算出した前記第２モデル情報とを統合するモデル統合部を備える、請求項１から請求項３のいずれか一項に記載の撮像システム。
  5. 前記第１情報算出部は、前記形状情報として、前記対象物の表面上の複数の点の座標と前記複数の点間の連結情報とを含むサーフェス情報を算出し、
    前記パターン設定部は、前記サーフェス情報と関連付けられるパターンを、前記参照パターンに設定する、請求項１から請求項４のいずれか一項に記載の撮像システム。
  6. 前記第１モデル情報の少なくとも一部および前記２モデル情報の少なくとも一部の一方または双方をもとにレンダリング処理を行うレンダリング処理部を備え、
    前記パターン設定部は、前記レンダリング処理部の処理結果をもとに前記対象物の形状情報とテクスチャ情報との少なくとも一方に対して関連付けられるパターンを、前記参照パターンに設定する、請求項１から請求項５のいずれか一項に記載の撮像システム。
  7. 前記パターン設定部は、前記第１撮像部の識別情報と関係付けられるパターンを、前記参照パターンに設定する、請求項１から請求項６のいずれか一項に記載の撮像システム。
  8. 前記パターン設定部は、光強度の分布が時間的に変化するパターンを、前記参照パターンに設定する、請求項１から請求項７のいずれか一項に記載の撮像システム。
  9. 前記パターン設定部は、前記参照パターンの情報を、前記パターン抽出部に供給する、請求項１から請求項８のいずれか一項に記載の撮像システム。
  10. 前記参照パターンが投影されている前記対象物を撮像した撮像画像から得られる前記対象物の情報と、前記参照パターンが投影されていない前記対象物を撮像した撮像画像から得られる前記対象物の情報とを比較する比較部を備える、請求項１から請求項９のいずれか一項に記載の撮像システム。
  11. 前記第１情報算出部は、前記第１投影部により前記対象物に投影された第１の測距用パターンを前記第１撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する、請求項１から請求項８のいずれか一項に記載の撮像システム。
  12. 前記第１本体部に保持され、前記第１投影部を制御する第１制御部と、
    前記第２本体部に保持され、前記第２撮像部を制御する第２制御部と、を備え、
    前記第１制御部は、前記第１投影部の投影条件を示す情報を、前記第２制御部に供給する、請求項１から請求項１１のいずれか一項に記載の撮像システム。
  13. 前記第２本体部に保持され、前記対象物に向けて第２の測距用パターンを投影する第２投影部を備え、
    前記第２情報算出部は、前記第２投影部により前記対象物に投影された前記第２の測距用パターンを前記第２撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出する、請求項１２に記載の撮像システム。
  14. 前記投影条件は、前記第１投影部の投影のタイミングを含み、
    前記第２制御部は、前記第１投影部と異なるタイミングで、前記第２投影部に投影させる、請求項１３に記載の撮像システム。
  15. 前記第１制御部は、前記第１投影部により前記対象物に第１の測距用パターンを投影させ、
    前記第１情報算出部は、前記第１の測距用パターンが投影された前記対象物を前記第１撮像部によって撮像した撮像画像をもとに、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を算出し、
    前記第２制御部は、前記第１の測距用パターンが投影されてから前記参照パターンが投影されるまでの間に、前記第２の測距用パターンを前記第２投影部によって投影させる、請求項１４に記載の撮像システム。
  16. 本体部と、
    前記本体部に設けられ、対象物と該対象物に投影された参照パターンとを撮像する撮像部と、
    前記撮像部の撮像結果から、前記対象物に投影された前記参照パターンを抽出するパターン抽出部と、
    前記本体部に設けられ、前記撮像部の撮像結果と前記パターン抽出部が抽出した前記参照パターンとを用いて、前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、を備える撮像装置。
  17. 前記参照パターンは、前記情報算出部が算出した前記モデル情報とは異なり別の情報算出部が算出したモデル情報の少なくとも一部を示すパターンである、請求項１６に記載の撮像装置。
  18. 第１本体部に設けられる第１撮像部によって、対象物を撮像することと、
    前記第１本体部に設けられる第１情報算出部によって、前記第１撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報を算出することと、
    前記第１情報算出部が算出した前記第１モデル情報の少なくとも一部を示す参照パターンを前記対象物に向けて投影することと、
    第２本体部に設けられる第２撮像部によって、前記参照パターンが投影されている前記対象物を撮像することと、
    前記第２本体部に設けられる第２情報算出部によって、前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第２モデル情報を算出することと、
    前記第２撮像部の撮像結果から、前記第１投影部により投影された前記参照パターンを抽出することと、を含む撮像方法。
  19. 本体部と、
    前記本体部に設けられ、対象物の表面に設けられた特徴部分を撮像する撮像部と、
    前記撮像部の撮像結果から前記対象物の前記特徴部分を抽出するパターン抽出部と、
    前記本体部に設けられ、前記撮像の撮像結果と前記特徴部分とを用いて前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出する情報算出部と、
    を備える撮像装置。
  20. 前記特徴部分は前記対象物の特徴点を含むパターンである、請求項１９に記載の撮像装置。
  21. 前記特徴部分は前記対象物に投影されるパターンを含む、請求項１９又は請求項２０に記載の撮像装置。
  22. 第１本体部と、
    前記第１本体部に設けられ、対象物の形状情報及びテクスチャ情報の少なくとも一方を含む第１モデル情報の少なくとも一部を示す参照パターンを前記対象物に向けて投影する第１投影部と、
    第２本体部と、
    前記第２本体部に設けられ、前記参照パターンが投影されている前記対象物を撮像する第２撮像部と、
    前記第２撮像部の撮像結果をもとに前記対象物の形状情報及びテクスチャ情報の少なくとも一部を含む第２モデル情報を算出する情報算出部と、
    前記第２撮像部の撮像結果から前記第１投影部により投影された前記参照パターンを抽出するパターン抽出部と、
    を備える撮像システム。
  23. コンピュータに、
    本体部に設けられる撮像部によって、対象物の表面に設けられた特徴部分を撮像することと、
    前記撮像部の撮像結果から前記対象物の前記特徴部分を抽出することと、
    前記本体部に設けられる情報算出部によって、前記撮像の撮像結果と前記特徴部分とを用いて前記対象物の形状情報及びテクスチャ情報の少なくとも一方を含むモデル情報を算出することと、を実行させる撮像プログラム。
JP2017509976A 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム Active JP6531823B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015075564 2015-04-02
JP2015075564 2015-04-02
PCT/JP2016/059907 WO2016158856A1 (ja) 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Publications (2)

Publication Number Publication Date
JPWO2016158856A1 true JPWO2016158856A1 (ja) 2018-02-01
JP6531823B2 JP6531823B2 (ja) 2019-06-19

Family

ID=57005039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017509976A Active JP6531823B2 (ja) 2015-04-02 2016-03-28 撮像システム、撮像装置、撮像方法、及び撮像プログラム

Country Status (3)

Country Link
US (2) US20180017380A1 (ja)
JP (1) JP6531823B2 (ja)
WO (1) WO2016158856A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017161370A (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
US10282902B1 (en) * 2016-06-24 2019-05-07 Amazon Technologies, Inc. Real-time textured 3D models
WO2019028184A1 (en) 2017-08-01 2019-02-07 Sigma Labs, Inc. SYSTEMS AND METHODS FOR RADIANT THERMAL ENERGY MEASUREMENT DURING ADDITIVE MANUFACTURING OPERATION
KR102338576B1 (ko) * 2017-08-22 2021-12-14 삼성전자주식회사 이미지를 이용하여 획득된 깊이 정보의 속성에 따라 이미지와 연관하여 깊이 정보를 저장하는 전자 장치 및 전자 장치 제어 방법
US11517984B2 (en) 2017-11-07 2022-12-06 Sigma Labs, Inc. Methods and systems for quality inference and control for additive manufacturing processes
CN114643367A (zh) 2018-02-21 2022-06-21 西格马实验室公司 用于在增材制造操作期间测量辐射热能的系统和方法
DE112019000521B4 (de) * 2018-02-21 2022-02-03 Sigma Labs, Inc. Additives Fertigungssystem und additives Fertigungsverfahren
ES2938471T3 (es) * 2018-04-28 2023-04-11 Guangdong Oppo Mobile Telecommunications Corp Ltd Método de procesamiento de datos, dispositivo electrónico y medio de almacenamiento legible por ordenador
JP7285470B2 (ja) * 2018-05-17 2023-06-02 パナソニックＩｐマネジメント株式会社 投影システム、投影装置及び投影方法
US10867408B1 (en) * 2018-07-23 2020-12-15 Apple Inc. Estimation of spatial relationships between sensors of a multi-sensor device
WO2020054293A1 (ja) * 2018-09-14 2020-03-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 判定方法、及び判定装置
ES2831149T3 (es) * 2018-10-15 2021-06-07 Fraunhofer Ges Forschung Sistema y procedimiento para comprobar la forma de un objeto de prueba
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
US11487968B2 (en) * 2019-12-16 2022-11-01 Nvidia Corporation Neural network based facial analysis using facial landmarks and associated confidence values
CN111143270B (zh) * 2019-12-23 2023-05-05 武汉轻工大学 距离投影的计算方法、装置、计算设备及存储介质
US11132804B2 (en) * 2020-01-07 2021-09-28 Himax Technologies Limited Hybrid depth estimation system
US20220103732A1 (en) * 2020-09-29 2022-03-31 Aac Optics Solutions Pte. Ltd. Imaging assembly and camera
CN116067283B (zh) * 2023-04-03 2023-08-04 成都飞机工业（集团）有限责任公司 一种深腔测量方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
JP2005284403A (ja) * 2004-03-26 2005-10-13 Olympus Corp ３次元情報出力システム、サーバ並びにクライアント
JP2009069146A (ja) * 2007-09-10 2009-04-02 Steinbichler Optotechnik Gmbh 対象物を３次元デジタル化する方法及び装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150493A (ja) * 1990-10-12 1992-05-22 Fujitsu Ltd 両眼立体視装置の照明制御方法および装置
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP5002144B2 (ja) * 2005-09-30 2012-08-15 株式会社トプコン 三次元計測用投影装置及びシステム
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による３次元形状復元装置、３次元形状復元方法および３次元形状復元プログラム
JP5290865B2 (ja) * 2009-05-18 2013-09-18 キヤノン株式会社 位置姿勢推定方法および装置
JP5460341B2 (ja) * 2010-01-06 2014-04-02 キヤノン株式会社 ３次元計測装置及びその制御方法
JP2011175477A (ja) * 2010-02-24 2011-09-08 Canon Inc ３次元計測装置、処理方法及びプログラム
JP5834602B2 (ja) * 2010-08-10 2015-12-24 旭硝子株式会社 回折光学素子及び計測装置
KR101816170B1 (ko) * 2010-12-22 2018-01-09 한국전자통신연구원 3차원 깊이 정보 획득 장치 및 그 방법
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP6097903B2 (ja) * 2011-07-15 2017-03-22 有限会社テクノドリーム二十一 ３次元形状の取得装置、処理方法およびプログラム
US8937725B2 (en) * 2012-06-14 2015-01-20 Nikon Corporation Measurement assembly including a metrology system and a pointer that directs the metrology system
JP2014115109A (ja) * 2012-12-06 2014-06-26 Canon Inc 距離計測装置及び方法
JP2014225182A (ja) * 2013-05-17 2014-12-04 株式会社リコー 画像投影システム、画像処理装置およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003006618A (ja) * 2001-06-27 2003-01-10 Minolta Co Ltd ３次元モデルの生成方法および装置並びにコンピュータプログラム
JP2005284403A (ja) * 2004-03-26 2005-10-13 Olympus Corp ３次元情報出力システム、サーバ並びにクライアント
JP2009069146A (ja) * 2007-09-10 2009-04-02 Steinbichler Optotechnik Gmbh 対象物を３次元デジタル化する方法及び装置

Also Published As

Publication number Publication date
US20180020207A1 (en) 2018-01-18
WO2016158856A1 (ja) 2016-10-06
US20180017380A1 (en) 2018-01-18
JP6531823B2 (ja) 2019-06-19
US10638113B2 (en) 2020-04-28

Similar Documents

Publication Publication Date Title
JP6531823B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US10706571B2 (en) Imaging device, image processing device, storage medium, and imaging system
US7627196B2 (en) Image processing device and image capturing device
US10204404B2 (en) Image processing device and image processing method
JP6352208B2 (ja) 三次元モデル処理装置およびカメラ校正システム
US20150369593A1 (en) Orthographic image capture system
US11629950B2 (en) Detection device, detection system, detection method, and storage medium
US20210232858A1 (en) Methods and systems for training an object detection algorithm using synthetic images
JP6045378B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2016158855A1 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
US11109006B2 (en) Image processing apparatus and method
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
WO2016035181A1 (ja) 撮像装置、情報処理装置、及び撮像システム
JP2023115289A (ja) 検出装置、情報処理装置、及びシステム
WO2019198446A1 (ja) 検出装置、検出方法、情報処理装置、及び情報処理プログラム
JP7228112B2 (ja) 投影制御装置、投影装置、投影方法及びプログラム
US11682134B2 (en) Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
JP2022130613A (ja) 検出装置、検出方法、情報処理装置、及び処理プログラム
JP2017161370A (ja) 検出装置、検出システム、検出方法、及び検出プログラム
JP7197211B2 (ja) 三次元グラフィックスデータ作成方法、プログラム及び三次元グラフィックスデータ作成システム
JP2008224328A (ja) 位置演算システム、位置演算装置および位置演算方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180619

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180730

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181011

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190423

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190506

R150 Certificate of patent or registration of utility model

Ref document number: 6531823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250