JP6662449B2 - 検出装置、検出システム、検出方法、及び検出プログラム - Google Patents

検出装置、検出システム、検出方法、及び検出プログラム Download PDF

Info

Publication number
JP6662449B2
JP6662449B2 JP2018504412A JP2018504412A JP6662449B2 JP 6662449 B2 JP6662449 B2 JP 6662449B2 JP 2018504412 A JP2018504412 A JP 2018504412A JP 2018504412 A JP2018504412 A JP 2018504412A JP 6662449 B2 JP6662449 B2 JP 6662449B2
Authority
JP
Japan
Prior art keywords
information
unit
viewpoint
detection
light source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018504412A
Other languages
English (en)
Other versions
JPWO2017154707A1 (ja
Inventor
源洋 中川
源洋 中川
武昭 杉村
武昭 杉村
芳之 山陸
芳之 山陸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JPWO2017154707A1 publication Critical patent/JPWO2017154707A1/ja
Application granted granted Critical
Publication of JP6662449B2 publication Critical patent/JP6662449B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518—Projection by scanning of the object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4804—Auxiliary means for detecting or identifying lidar signals or the like, e.g. laser illuminators
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/514—Depth or shape recovery from specularities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

本発明は、検出装置、検出システム、検出方法、及び検出プログラムに関する。
複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている（例えば、特許文献１参照）。
特開２０１０−１３４５４６号公報
上述のような技術においては、複数の検出装置間の相対位置を取得可能であることが望まれる。
本発明の態様に従えば、対象物を第１視点から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、照明光の照射方向を求める光源算出部と、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、照明光の照射方向を用いて第１視点と対象物との位置関係を算出する位置算出部と、を備える検出装置が提供される。
本発明の態様に従えば、対象物を第１位置から検出する検出部と、検出部の検出結果を用いて、第１位置における対象物の形状情報又はテクスチャ情報を含む第１モデル情報を算出する情報算出部と、光源から対象物に対して光が照射される照射方向に基づいて、第１位置と対象物との位置関係を算出する位置算出部と、を備え、第１位置とは異なる第２位置における対象物の第２モデル情報を、第１位置における対象物に対する照射方向と第２位置における対象物に対する照射方向とを用いて、第１モデル情報と同じ座標系に変換する検出装置が提供される。
本発明の態様に従えば、上記態様の検出装置と、第２視点から対象物を検出して対象物の形状情報を含む第２モデル情報を算出し、照明光の照射方向と対象物の位置と視点との位置との関係を示す第２位置情報、及び第２モデル情報を送信する他の検出装置と、位置算出部が算出した第１視点と対象物との位置関係を示す第１位置情報と、第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合するモデル統合部と、を備える検出システムが提供される。
本発明の態様に従えば、対象物を第１視点から検出することと、検出の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、照明光の照射方向を求めることと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、照明光の照射方向を用いて第１視点と対象物との位置関係を算出することと、を含む検出方法が提供される。
本発明の態様に従えば、コンピュータに、対象物を第１視点から検出した検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、照明光の照射方向を求めることと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、照明光の照射方向を用いて第１視点と対象物との位置関係を算出することと、を実行させる検出プログラムが提供される。
本発明の態様に従えば、上記態様の検出装置と、検出装置から出力される情報を処理する情報処理装置と、を備える検出システムが提供される。
本発明の第１の態様に従えば、対象物を第１視点から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出する光源算出部と、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出する位置算出部と、を備える検出装置が提供される。
本発明の第２の態様に従えば、対象物を第１位置から検出する検出部と、検出部の検出結果を用いて、第１位置における対象物の形状情報又はテクスチャ情報を含む第１モデル情報を算出する情報算出部と、光源から対象物に対して光が照射される照射方向に基づいて、第１位置と対象物との位置関係を算出する位置算出部と、を備える検出装置が提供される。
本発明の第３の態様に従えば、第１の態様の第１検出装置と、第２視点から対象物を検出して対象物の形状情報を含む第２モデル情報を算出し、照明光の照射方向と対象物の位置と視点との位置との関係を示す第２位置情報、及び第２モデル情報を送信する第２の検出装置と、位置算出部が算出した第１視点と対象物との位置関係を示す第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合するモデル統合部と、を備える検出システムが提供される。
本発明の第４の態様に従えば、対象物を第１視点から検出することと、検出の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出することと、を含む検出方法が提供される。
本発明の第５の態様に従えば、コンピュータに、対象物を第１視点から検出した検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光を照射する光源と対象物とを含む空間を撮像した第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との位置関係を算出することと、を実行させる検出プログラムが提供される。
本発明の第６の態様に従えば、第１の態様または第２の態様の検出装置と、検出装置から出力される情報を処理する情報処理装置と、を備える検出システムが提供される。
第１実施形態に係る検出装置、検出システムを示す図である。 第１実施形態に係る第１撮像画像を示す図である。 第１実施形態に係る検出部および照明装置を示す図である。 実施形態に係る検出方法を示すフローチャートである。 実施形態に係る第１撮像画像の撮像処理の例、光源情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の例を示すフローチャートである。 実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。 第２実施形態に係る検出装置、検出システムを示す図である。
［第１実施形態］
第１実施形態について説明する。図１は、実施形態に係る検出装置、検出システムを示す図である。検出システム５０は、複数の検出装置（検出装置１ａ、検出装置１ｂ）、及び照明装置ＩＬを備える。照明装置ＩＬは、対象物ＯＢに照明光Ｌ１を照射する。本実施形態における対象物ＯＢには、照明装置ＩＬによって制御される照明光Ｌ１の他に、例えば、室内灯からの光、自然光などの環境光Ｌ２が照射される。検出装置１ａ（第１検出装置）は、視点Ｖｐ１（第１視点）から対象物ＯＢを検出し、視点Ｖｐ１から見た対象物ＯＢのモデル情報（第１モデル情報）を算出する。検出装置１ｂ（第２検出装置）は、視点Ｖｐ１と異なる視点Ｖｐ２から対象物ＯＢを検出し、視点Ｖｐ２から見た対象物ＯＢのモデル情報（第２モデル情報）を算出する。検出システム５０は、第１モデル情報と第２モデル情報とを統合する。
検出装置１ａおよび検出装置１ｂの少なくとも一方は、例えば撮像装置であり、検出領域（例、視野）内の対象物ＯＢを検出する。検出装置１ａおよび検出装置１ｂの少なくとも一方は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよく、携帯可能な情報端末（例、スマートフォン、タブレット、カメラ付き携帯電話）でもよい。検出装置１ａおよび検出装置１ｂは、それぞれ、対象物ＯＢを検出した結果を使って対象物ＯＢに関する情報の演算処理を行う。検出装置１ａおよび検出装置１ｂは、それぞれ、自端末の演算処理によって、対象物ＯＢの少なくとも一部をモデル化し、モデル情報（モデルデータ）を算出する。例えば、検出装置１ａおよび検出装置１ｂは、それぞれ、コンピュータグラフィック処理（ＣＧ処理）を実行し、モデル情報（例、ＣＧモデルデータ）を算出する。
モデル情報は、例えば、対象物ＯＢの三次元形状を示す形状情報を含む。モデル情報は、対象物ＯＢのテクスチャ情報を含んでもよい。また、例えば、モデル情報は、３次元の点座標、その点座標の関連情報、該点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、及び形状情報としてのポリゴンデータの少なくとも一つを含む。テクスチャ情報は、例えば、対象物ＯＢの表面の文字や図形、パターン、凹凸を規定する情報、特定の画像、及び色彩（例、有彩色、無彩色）の少なくとも１つの情報を含む。検出装置１ａは、例えば、視点Ｖｐ１（例、所定の視点、第１視点、単一の視点、１方向）から見た対象物ＯＢを示すモデル情報を算出する。また、例えば、検出装置１ａは、対象物ＯＢに対して所定の角度における第１視点から見た対象物ＯＢを示すモデル情報を算出する。
検出装置１ａは、例えば、撮像部２Ａと、検出部２Ｂと、情報算出部３と、光源算出部４と、特性算出部５と、位置算出部３１と、モデル統合部３２と、記憶部７と、通信部８と、制御部９と、本体部１０とを備える。本体部１０は、例えば、カメラボディ、ケース、筐体などである。検出部２Ｂ、情報算出部３、光源算出部４、特性算出部５、位置算出部３１、及びモデル統合部３２は、例えば、本体部１０に設けられる。
撮像部２Ａ（第１撮像部）は、対象物ＯＢに対して照明光を照射する光源１９（後に図３に示す）と対象物とを含む空間を撮像する。撮像部２Ａの撮像結果（第１撮像画像）は、例えば全天画像を含む。例えば、撮像部２Ａは、全天球カメラであり、全天画像として３６０°のパノラマ画像を撮像する。全天画像は、撮像部２Ａの視点から、この視点を極とする極座標における２つの偏角方向（緯度方向および経度方向）のそれぞれについて３６０°の範囲を見渡した画像である。撮像部２Ａは、例えば、撮像した全天画像のデータ（全天画像データ）を記憶部７に記憶させる。以下の説明では、第１撮像画像が全天画像であるものとするが、第１撮像画像は、全天画像の一部でもよく、例えば、撮像部２Ａの視点を中心とする球の半分に相当する半球状の範囲にわたって撮像した画像でもよいし、該半球状の範囲以上で３６０°より小さい範囲で撮像した画像でもよい。また、第１撮像画像は、全天画像でなくてもよいし、全天画像の一部でなくてもよい。撮像部２Ａは、本体部１０に設けられてもよいし、本体部１０と別に設けられてもよい。また、検出装置１ａは撮像部２Ａを備えなくてもよく、例えば、検出システム５０において検出装置１ａと別の撮像装置であってもよい。
図２は、全天画像を示す概念図である。全天画像Ｉｍａは、例えば、水平方向における対象物の周囲を３６０°の範囲にわたって撮像した画像である。例えば、全天画像Ｉｍａは、撮像部２Ａの視点とする球（天球）を全方位（経度方向、緯度方向のそれぞれにおいて３６０°の範囲）にわたって撮像した画像である。図中の符号Ｉｍ１〜Ｉｍ５は、それぞれ、対象物の周囲の０°、９０°、１８０°、２７０°、３６０°の角度位置である。全天画像Ｉｍｂは、全天画像Ｉｍａにおける０°の角度位置Ｉｍ１と３６０°の角度位置Ｉｍ５とを一致させるように、全天画像Ｉｍａを円柱面に投影した画像である。また、全天画像Ｉｍｃは、全天画像Ｉｍｂの角度位置Ｉｍ１〜Ｉｍ４の鉛直方向の上端が一致し、かつ、全天画像Ｉｍｂの角度位置Ｉｍ１〜Ｉｍ４の鉛直方向の下端が一致するように、全天画像Ｉｍｂを球面に投影した画像である。
図１の説明に戻り、検出部２Ｂは、例えば、視点Ｖｐ１から対象物ＯＢを光学的に検出する。検出部２Ｂは、例えば、視点Ｖｐ１から対象物ＯＢを見た画像と、視点Ｖｐ１から対象物ＯＢ上の各点までの距離との少なくとも一方を取得する。検出部２Ｂは、例えば、所定の視角で対象物ＯＢを検出してもよい。検出部２Ｂは、例えば、所定の視線（例、単一の視線）で対象物ＯＢを検出してもよい。
図３（Ａ）は、検出部２Ｂの一例を示す図である。検出部２Ｂは、例えば、撮像部１１（第２撮像部）および測距部１２を含む。撮像部１１は、視点Ｖｐ１から対象物ＯＢを撮像して、検出結果として対象物ＯＢの画像（第２撮像画像）のデータなどを出力する。撮像部２Ａ（第１撮像部）の撮像範囲（例、視野、画角）は、例えば、撮像部１１（第１撮像部）の撮像範囲（例、視野、画角）よりも広い。検出部２Ｂの検出結果は、例えば、検出した対象物ＯＢの画像データを含む。測距部１２は、視点Ｖｐ１（図１参照）から対象物ＯＢ上の各点までの距離を検出する。なお、検出部２Ｂは、撮像部１１または測距部１２を含まなくてもよい。例えば、検出システム５０は、撮像部１１の代わりに撮像部２Ａを用いるものでもよい。また、撮像部１１は、対象物ＯＢに対して照明光を照射する光源と対象物ＯＢとを含む空間を撮像してもよい。この場合、検出システム５０は、撮像部１１の撮像結果を第１撮像画像として用いてもよく、例えば撮像部２Ａを備えなくてもよい。
撮像部１１は、結像光学系１３および撮像素子１４を備える。結像光学系１３は、対象物ＯＢの像を形成する。結像光学系１３は、例えば鏡筒内に保持され、鏡筒とともに本体部１０（図１参照）に取り付けられる。結像光学系１３および鏡筒は、例えば交換レンズであり、本体部１０から取り外し可能である。結像光学系１３および鏡筒は、内蔵レンズでもよく、例えば鏡筒は、本体部１０の一部でもよいし、本体部１０から取り外し不能でもよい。
撮像素子１４は、例えば、複数の画素が二次元的に配列されたＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１４は、例えば本体部１０に収容される。撮像素子１４は、結像光学系１３が形成した像を撮像する。撮像素子１４の撮像結果（検出結果）は、例えば、各画素の色ごとの階調値の情報（例、ＲＧＢデータ）を含む。撮像素子１４は、例えば、撮像結果をフルカラー画像のデータ形式で出力する。なお、撮像部１１は、例えば、ライトフィールドカメラのように対象物ＯＢからの光線の方向および強度を検出するものでもよい。
測距部１２は、対象物ＯＢの表面上の各点からの距離を検出する。測距部１２は、例えば、TOF（time of flight）法により距離を検出する。測距部１２は、その他の手法で距離を検出するものでもよい。例えば、測距部１２は、レーザスキャナを含み、レーザスキャンにより距離を検出するものでもよい。例えば、測距部１２は、対象物ＯＢに所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するものでもよい。また、測距部１２は、位相差センサを含み、位相差法により距離を検出するものでもよい。また、測距部１２は、DFD(depth from defocus)法により距離を検出するものでもよい。DFD法などのように撮像を用いる場合、測距部１２は、撮像部１１の結像光学系１３と撮像素子１４との少なくとも一方を用いるものでもよい。
測距部１２は、例えば、照射部１５、結像光学系１６、撮像素子１７、及びコントローラ１８を備える。照射部１５は、対象物ＯＢに赤外光を照射可能である。照射部１５は、コントローラ１８に制御される。コントローラ１８は、照射部１５から照射される赤外光の強度を時間変化させる（例、振幅変調する）。結像光学系１６は、対象物ＯＢの像を形成する。結像光学系１６は、結像光学系１３と同様に、交換レンズの少なくとも一部でもよいし、内蔵レンズの少なくとも一部でもよい。撮像素子１７は、例えば、ＣＭＯＳイメージセンサ、あるいはＣＣＤイメージセンサである。撮像素子１７は、少なくとも照射部１５が照射する光の波長帯に感度を有する。撮像素子１７は、例えば、コントローラ１８に制御され、対象物ＯＢで反射散乱した赤外光を検出する。例えば、撮像素子１７は、結像光学系１６が形成した像を撮像する。
コントローラ１８は、撮像素子１７による検出結果を使って、対象物ＯＢの表面の各点から撮像素子１７までの距離（デプス）を検出する。例えば、対象物ＯＢの表面上の点から撮像素子１７に入射する光の飛行時間は、この点のデプスに応じて変化する。撮像素子１７の出力は飛行時間に応じて変化し、コントローラ１８は、例えば、撮像素子１７の出力をもとにデプスを算出する。コントローラ１８は、例えば、撮像素子１７が撮像した画像の一部の領域（例、１画素、複数の画素）ごとにデプスを算出し、この領域の位置とデプスとを関連付けて、デプス情報を算出（生成）する。デプス情報は、例えば、対象物ＯＢの表面上の点の位置と、この点から検出装置１ａ（例、測距部１２）までの距離（デプス、深度）とを関連付けた情報を含む。デプス情報は、例えば、対象物ＯＢにおけるデプスの分布（例、デプスマップ）を示す情報（例、デプス画像）を含む。
次に、図３（Ｂ）および図３（Ｃ）は、照明装置ＩＬを示す図である。照明装置ＩＬは、対象物ＯＢを含む空間に照明光Ｌ１を照射する。照明装置ＩＬは、対象物ＯＢに対する照明光Ｌ１の照射方向が可変である。例えば、照明装置ＩＬは、ＬＥＤマトリクスのように複数の光源１９を備え、複数の光源１９のうち点灯する光源を切り替えることによって、照射方向を変化させる。例えば、図３（Ｂ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ａが点灯しており、他の光源が消灯している。また、図３（Ｃ）において、照明装置ＩＬは、複数の光源１９のうち光源１９ｂが点灯しており、他の光源が消灯している。また、例えば、照明装置ＩＬは、照射する照明光Ｌ１の点灯及び消灯、照射方向および照度などを制御可能である。
照明装置ＩＬは、例えば、検出装置１ａの制御部９（図１参照）と有線または無線によって通信可能に接続される。制御部９は、例えば、照明装置ＩＬに対して制御信号を供給し、照明装置ＩＬは、例えば、制御部９からの制御信号に基づいて複数の光源１９のそれぞれの点灯、消灯を切り替える。また、制御部９は、例えば、照明光Ｌ１の照射と同期して撮像部２Ａおよび検出部２Ｂの撮像部１１のそれぞれに撮像を実行させる。制御部９は、例えば、撮像部２Ａおよび撮像部１１のそれぞれからの撮像画像データと、照明装置ＩＬの照射条件とを関連付けて記憶部７に記憶させる。照明装置ＩＬの照射条件は、例えば、照明光Ｌ１の照射方向（例、点灯させた光源の識別情報）を含む。例えば、制御部９は、照明装置ＩＬから照明光Ｌ１を照射させない状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データを記憶部７に記憶させる。また、制御部９は、照明装置ＩＬから照明光Ｌ１を照射された状態で、撮像部２Ａおよび撮像部１１のそれぞれに対象物ＯＢの撮像を実行させ、撮像画像データと照明光Ｌ１を照射した光源の識別情報とを関連付けて記憶部７に記憶させる。なお、照明装置ＩＬは、その位置と姿勢との少なくとも一方を変化させることで、照明光Ｌ１の照射方向を変化させるものでもよい。
対象物ＯＢに照射された照明光Ｌ１は、例えば、その少なくとも一部が反射して対象物ＯＢから放射される。この反射光Ｌ３の光量と照明光Ｌ１との比率は、例えば、物体表面の光学特性（反射率、散乱率、吸収率、透過率など）によって変化する。反射光Ｌ３は、例えば、正反射成分Ｌ３ａと散乱成分Ｌ３ｂとを含む。散乱成分Ｌ３ｂは、例えば、物体（例、対象物ＯＢ）における照明光Ｌ１の入射位置での物体表面の法線方向を中心として、光強度分布がガウス分布などで表される。正反射成分Ｌ３ａは、例えば、物体における入射位置に対して照明光Ｌ１の照射方向と正反射の関係になる方向における光強度が極大となり、散乱成分Ｌ３ｂよりも角度分散が小さい（例、半値幅が小さい）分布である。
物体上の入射位置の周囲の各方向（角度方向）へ向かう反射光Ｌ３の強度は、例えば、散乱成分Ｌ３ｂと正反射成分Ｌ３ａとの比率によって変化する。反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、例えば、物体表面の光学特性（例、散乱率、散乱係数）に応じて変化する。例えば、反射光Ｌ３に占める散乱成分Ｌ３ｂの比率は、物体表面が粗い（粗度が高い）場合に高くなり、物体表面が平滑面（例、鏡面）に近い場合に低くなる。撮像部１１が撮像した撮像画像における物体表面の明るさは、例えば、照明光Ｌ１の照射方向によって変化する。例えば、図３（Ｂ）において、正反射成分Ｌ３ａは撮像部１１に入射せず、散乱成分Ｌ３ｂの一部が撮像部１１に入射する。また、図３（Ｃ）において、正反射成分Ｌ３ａ、及び散乱成分Ｌ３ｂの一部が入射する。例えば、撮像部１１が撮像した撮像画像において、物体における照明光Ｌ１入射位置に相当する部分の明るさは、図３（Ｃ）の場合に図３（Ｂ）よりも明るい。
図１の説明に戻り、情報算出部３は、例えば、デジタルシグナルプロセッサ（digital signal processor; DSP）を含む。情報算出部３は、検出部２Ｂの検出結果（例、デプス情報）を使って、対象物ＯＢの形状情報およびテクスチャ情報の少なくとも一方を算出する。なお、図３（Ａ）の説明では測距部１２がデプス情報を生成するものとしたが、情報算出部３は、測距部１２が検出したデプスをもとにデプス情報を生成してもよい。
情報算出部３は、例えば、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標を含む点群データを算出する。情報算出部３は、測距部１２の検出結果（例、デプス情報）を使って、点群データを算出する（点群データ処理）。例えば、情報算出部３は、デプス情報が示す距離画像（デプス画像）から平面画像への透視変換などにより、点群データを算出する。情報算出部３は、例えば、算出した点群データを記憶部７に記憶させる。なお、情報算出部３は、撮像部１１と測距部１２とで視野が異なる場合、例えば、測距部１２の検出結果を透視変換（射影変換）などによって、撮像部１１の視野から対象物ＯＢを検出した結果に変換してもよい。情報算出部３は、例えば、撮像部１１の視野と測距部１２の視野との位置関係（例、視点の位置、視線の向き）に依存するパラメータを使って、透視変換を実行してもよい。
また、情報算出部３は、形状情報として、検出部２Ｂの検出結果をもとに対象物ＯＢ上の複数の点の座標と複数の点間の連結情報とを含むサーフェス情報を生成する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物ＯＢの稜線（例、エッジ）に相当する線の両端の点を互いに関連付ける情報、及び対象物ＯＢの面の輪郭に相当する複数の線を互いに関連付ける情報を含む。情報算出部３は、例えば、点群データに含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する（サーフェス処理）。情報算出部３は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。情報算出部３は、例えば、算出したサーフェス情報を記憶部７に記憶させる。
光源算出部４は、対象物ＯＢに対して照明光Ｌ１を照射する光源１９と対象物ＯＢとを含む空間を撮像した第１撮像画像（例、全天画像）を用いて、照明光を照射する光源１９の光源情報を算出して推定する。光源情報は、例えば、対象物を基準とした照明光Ｌ１を照射する光源の位置、該光源から対象物へ光が照射される方向（照射方向）、該光源から照射される光の波長、該光源の種類のうち少なくとも１項目の情報を含む。光源算出部４は、例えば、対象物に対する、照明光Ｌ１を照射する光源（例、図３の光源１９）の相対的な位置を推定する。光源算出部４は、例えば、全天画像に写っている照明装置ＩＬの光源１９を検出する。光源算出部４は、例えば、撮像部２Ａの視点を中心とする球面上に投影した全天画像を用いて、撮像部２Ａの視点に対する光源１９の方位を検出する。光源算出部４は、例えば、撮像部２Ａの視点に対する光源１９の方位、及び撮像部２Ａの視点の位置情報を用いて、光源１９の位置情報を算出する。撮像部２Ａの視点の位置情報は、例えば、撮像部２Ａの配置によって定まり、予め分かっている情報である。
なお、光源算出部４は、例えば、ランバート反射を仮定したモデル、アルベド（Albedo）推定を含むモデルなどを利用して、光源情報を算出してもよい。例えば、光源算出部４は、撮像部１１が撮像した画像の各画素の画素値を用いて、対象物ＯＢからの散乱成分Ｌ３ｂ（図３参照）と、対象物ＯＢからの正反射成分Ｌ３ａ（図３参照）とを推定してもよい。また、光源算出部４は、例えば、対象物ＯＢで正反射成分の推定結果、及び形状情報を使って、光源から対象物ＯＢへ光が入射してくる方向を算出してもよい。
光源算出部４は、例えば、照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１が照射された状態の全天画像と、照明光Ｌ１が照射されていない状態の全天画像とを比較して演算することによって、光源情報を算出する。例えば、光源算出部４は、照明光Ｌ１の照射を停止した状態の全天画像と、照明光Ｌ１を照射した状態の全天画像とで差分をとることによって、対象物ＯＢに対する照明光Ｌ１の影響を抽出（環境光Ｌ２の影響を排除）する。この場合、検出装置１ａは、例えば、対象物ＯＢを暗室などで検出しなくてもよく、簡易に光源情報を取得することができる。光源算出部４は、例えば、算出した光源情報を記憶部７に記憶させる。
光源算出部４は、複数の全天画像から照明光Ｌ１の影響を低減した画像を生成してもよい。光源算出部４は、例えば、全天画像から照明光Ｌ１の影響を低減した画像のデータを記憶部７に記憶させる。通信部８は、照明光Ｌ１が照射されていない状態の全天画像と、全天画像から照明光Ｌ１の影響を低減した画像との少なくとも一方を外部へ送信してもよい。このような画像は、例えば、対象物ＯＢの周囲の情報を含んだグローバルイルミネーション情報（シーン情報）であり、モデル化された対象物ＯＢをレンダリングする際の背景などに利用可能である。
特性算出部５は、対象物ＯＢの表面特性情報を算出する。表面特性情報は、例えば、対象物ＯＢの部分ごとの光学特性を含み、光学特性は、反射率、透過率、散乱率、及び吸収率の少なくとも１つを含む。表面特性情報は、例えば、テクスチャ情報の一部であり、テクスチャ情報は、例えば、対象物ＯＢの表面の模様を示すパターン情報、対象物ＯＢを照らす照明光Ｌ１の光源情報、及び対象物ＯＢの表面の光学特性を示す表面特性情報の少なくとも１項目の情報を含む。
特性算出部５は、例えば、表面特性情報として、ＢＲＤＦ（Bi-directional Reflectance Distribution Function）とＳＶＢＲＤＦ(Spatially Varying Bidirectional Reflectance Distribution Function）との少なくとも一方を算出する。特性算出部５は、光源情報、形状情報、及び照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像を用いて、表面特性情報を算出する。特性算出部５は、対象物ＯＢの部分ごとに、形状情報が示す形状（例、対象物ＯＢの各部の表面における法線方向）、光源情報が示す照明光Ｌ１の照射方向、及び照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。特性算出部５は、例えば、照明光Ｌ１の光源情報として光源算出部４の算出結果（例、照明光Ｌ１の照射方向）を用いる。特性算出部５は、例えば、形状情報として情報算出部３の算出結果を用いる。特性算出部５は、例えば、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部１１の撮像結果を用いる。撮像部１１がライトフィールドカメラのように光線の方向（照明光Ｌ１の照射方向）と強度とを検出する場合、照明光Ｌ１の照射方向を複数の方向に変化させて各照射方向について撮像を行う場合と比較して、同等の情報を１回の撮像で取得することができる。この場合、例えば、複数の撮像を行う場合と比較して、撮像を行う間に照明装置ＩＬと対象物ＯＢと視点Ｖｐ１との相対的な位置ずれの影響を減らすことができる。特性算出部５は、照明光Ｌ１の照射方向を変化させて対象物ＯＢを撮像した撮像画像として、撮像部２Ａの撮像結果（例、全天画像）を用いてもよい。特性算出部５は、例えば、照明光Ｌ１の照射方向に応じた撮像画像を用いて表面特性情報を算出する。
特性算出部５は、例えば、インバースレンダリングの手法によって表面特性情報を算出する。特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式を解くことによって、表面特性情報を算出する。例えば、特性算出部５は、インバースレンダリングの基本式からSVBRDFを未知数として立式された関係式を解くことによって、表面特性情報を算出する。ここで、既知材料のＢＤＲＦベクトルを下記の式（１）に示すチルダー付きのρｊで表す。ｊは、材料の種類を表す添え字であり、ｍは材料の種類の数である。例えば、物体を極とする極座標の緯度方向における視点Ｖｐの偏角、緯度方向における光源の偏角、及び経度方向における視点Ｖｐと光源との間の偏角をそれぞれ９０段階（例、１°刻み）とし、ＲＧＢの各色に対する光学特性を定義する場合、上記のＢＲＤＦベクトルは、９０×９０×９０×３次元のベクトルになる。
Figure 0006662449
上記のｍ個のＢＲＤＦベクトルの基底ベクトルＫｉは、例えば、主成分分析（ＰＣＡ）によって、下記の式（２）を最小化するベクトルとして求められる。
Figure 0006662449
対象物ＯＢにおいて表面特性情報を算出する対象の部分（以下、算出対象部という）の情報を取得する手法としては、例えば、光源（例、照明光Ｌ１）の照射方向を変化させて照射方向ごとに撮像した複数の撮像画像を用いて、算出対象部に相当する同一の画素から画素データ（観測画素データ）を取得する手法である。また、他の手法としては、例えば、１つの照射方向で撮像した撮像画像を用いて、対象物ＯＢ上で光学特性（表面特性）が算出対象部と同一とみなせる部分と算出対象部とのそれぞれに相当する画素から複数の画素データ（観測画素データ）を取得する手法である。また、上記の２つの手法を組み合わせる手法も用いられる。撮像画像の領域（例、１画素、複数の画素）に対応する対象物ＯＢの各部分に関して、例えば、光源との位置関係（例、照射方向）は、光源情報によって既知であり、対象物ＯＢの各部分における法線方向は、形状情報によって既知であり、対象物ＯＢの各部分と視点Ｖｐ１との位置関係は、形状情報によって既知である。下記の式（３）は、同一の反射特性の観測画素データである。式（３）は、例えば、視点Ｖｐ１から見た対象物ＯＢの各部分について、対象物ＯＢの各部分と視点Ｖｐ１との距離の法線方向に対するコサイン成分、及び対象物ＯＢの各部分と光源との距離法線方向に対するコサイン成分を補正することによって、得られる。
Figure 0006662449
下記の式（４）は、表面特性情報の算出に用いられる式である。式（４）の左辺は、式（３）の観測画素データに相当する。式（４）の右辺の行列は、式（２）に示した基底ベクトルＫｉを列ベクトルとして、行方向に配列したものである。式（４）は、観測画素の数（左辺のベクトルの要素数）が基底ベクトルの数（右辺の行列の列数）以上であれば、係数Ｗｎのベクトルが求まる。係数Ｗｎのベクトルは、例えば、最小二乗法などの最適化を用いた手法で算出されてもよい。係数Ｗｎのベクトルが求まると、基底ベクトルＫｉを用いて任意の角度に対するＢＤＲＦが算出可能である。
Figure 0006662449
このように、特性算出部５は、例えば、対象物ＯＢの部分ごとの光学特性を未知数として、光学特性と形状情報と光源情報との関係式（例、式（４））を解くことによって、表面特性情報を算出する。特性算出部５は、例えば、算出した表面特性情報を記憶部７に記憶させる。特性算出部５は、例えば、対象物ＯＢのうち第１部分に関して、関係式を解くことによって表面特性情報を算出する。第１部分は、例えば、関係式を解くのに必要な情報（例、観測画素）が充足している部分である。また、特性算出部５は、例えば、対象物ＯＢのうち第１部分と異なる第２部分に関して、関係式による表面特性情報の算出を行わない。第２部分は、例えば、関係式を解くのに必要な情報（例、観測画素の数）が不足している部分である。特性算出部５は、第２部分に関して、第１部分の光学特性を用いた補間によって光学特性を算出してもよい。また、特性算出部５は、関係式を解くのに必要な情報（例、観測画素）が得られる場合、表面特性情報（例、撮像視点の異なる複数の表面特性情報）から照明光Ｌ１の照射方向を算出してもよい。なお、検出装置１は、対象物ＯＢの表面特性情報を算出しなくてもよく、特性算出部５を備えなくてもよい。
位置算出部３１は、光源情報を用いて、対象物ＯＢと視点Ｖｐ１との位置関係を示す第１位置情報を算出して推定する。第１位置情報は、第１モデル情報と、視点Ｖｐ２（第２視点）から対象物ＯＢを検出して得られる形状情報を含む第２モデル情報との統合に用いられる。位置算出部３１は、例えば、光源情報として対象物ＯＢに対する照明光Ｌ１の照射方向を用いて第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係を算出する。例えば、撮像部２Ａ（例、第１撮像画像）の視点と検出部２Ｂの視点との位置関係は予めわかっており、光源情報から撮像部２Ａの視点から光源の方位がわかるので、位置算出部３１は、検出部２Ｂの視点（視点Ｖｐ）に対する光源１９の位置を推定することができる。また、情報算出部３は、例えば、第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係を算出し、位置算出部３１は、情報算出部３が算出する第１視点（視点Ｖｐ）と対象物ＯＢとの位置関係と、視点Ｖｐと光源１９との位置関係とを用いることで、視点Ｖｐと対象物ＯＢと光源１９との位置関係を推定することもできる。なお、位置算出部３１は、照明光Ｌ１の照射方向が異なる複数の第１撮像画像（例、全天画像）から得られる複数の光源情報を用いて、上述の位置関係を算出してもよい。また、位置算出部３１が用いる第１撮像画像は、照明光Ｌ１の照射方向が１種類の１枚の撮像画像でもよく、例えば、照明光Ｌ１の照射方向は１方向でもよい。また、撮像部２Ａは、対象物ＯＢと検出装置（例、検出装置１ａ）とを含む撮像画像（例、全天画像）を取得し、位置算出部３１は、この撮像画像から得られる情報を用いて上述の位置関係を算出してもよい。また、撮像部２Ａは、光源１９と視点Ｖｐ（例、検出装置１ａ）とを含む撮像画像（例、全天画像）を取得し、位置算出部３１は、この撮像画像から得られる情報を用いて上述の位置関係を算出してもよい。検出装置１ｂは、例えば、検出装置１ａと同様の構成である。検出装置１ｂは、検出装置１ａと同様に、対象物ＯＢと視点Ｖｐ２との位置関係を示す第２位置情報を算出する。検出装置１ａの通信部Ａは、検出装置１ｂから第２モデル情報および第２位置情報を受信する。なお、位置算出部３１は、光源情報を用いて、照明装置ＩＬ（光源１９）と視点Ｖｐ１との位置関係を算出してもよい。また、検出装置１ｂは、光源情報を用いて、照明装置ＩＬ（光源１９）と視点Ｖｐ２との位置関係を算出してもよい。この場合、モデル統合部３２は、例えば、照明装置ＩＬ（光源１９）に対する視点Ｖｐ１、視点Ｖｐ２の位置関係から、視点Ｖｐ１と視点Ｖｐ２との位置関係を算出してもよい。モデル統合部３２は、算出した視点Ｖｐ１と視点Ｖｐ２との位置関係を用いて、第１モデル情報と第２モデル情報とを統合してもよい。
モデル統合部３２は、第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合する。モデル統合部３２は、例えば、検出装置１ａの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係と、検出装置１ｂの位置算出部３１が算出した対象物ＯＢと照明光Ｌ１の所定の照射方向との関係とが整合するように、第２モデル情報を第１モデル情報と同じ座標系に変換する。モデル統合部３２は、例えば、第１モデル情報と、座標変換した第２モデル情報との足し合わせによってモデル情報を統合する。モデル統合部３２は、例えば、統合したモデル情報を記憶部Ａに記憶させる。
なお、モデル統合部３２は、第１モデル情報が示す形状の特徴点と、第２モデル情報が示す形状の特徴点とのマッチングによって、第１モデル情報と第２モデル情報とを統合してもよい。例えば、モデル統合部３２は、第１位置情報と第２位置情報とを用いることで、第１モデル情報における特徴点と類似する第２モデル情報における特徴点を探索する範囲を絞ることができ、処理の負荷を低減することができる。
記憶部７は、例えばＵＳＢメモリ、メモリカードなどの不揮発性メモリであり、各種情報を記憶する。記憶部７は、検出装置１ａに内蔵される記憶デバイスを含んでいてもよいし、検出装置１ａからリリース可能な記憶デバイスを接続可能なポートを含んでいてもよい。
通信部８は、例えば、ＵＳＢポートあるいはＬＡＮポートなどのＩ／Ｏポート、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部８は、制御部９に制御され、記憶部７に記憶されている情報を読み出し、読み出した情報を外部装置に送信する。例えば、通信部８は、情報算出部３の算出結果（例、形状情報）と、光源算出部４の算出結果（例、光源情報）と、特性算出部５の算出結果（例、表面特性情報）と、位置算出部３１の算出結果（例、第１位置情報）と、モデル統合部３２の処理結果との少なくとも一部を、外部装置（例、後に図８に示す情報処理装置５１）に送信する。また、通信部８は、例えば、外部装置からの指令を含む情報を受信する。通信部８は、受信した情報を記憶部７に記憶させること、受信した情報を制御部９に供給することができる。
制御部９は、例えば、ユーザまたは外部装置からの指令（制御信号）により、検出装置１ａの各部を制御する。制御部９は、照明装置ＩＬを制御し、照明光Ｌ１の照射と同期して、撮像部１１による撮像処理、及び検出部２Ｂによる検出処理を実行させる。この検出処理は、例えば、撮像部１１による撮像処理、及び測距部１２による距離検出処理を含む。制御部９は、例えば、撮像部１１の検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、検出部２Ｂの検出結果の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、情報算出部３にモデル情報（例、形状情報）を算出させ、情報算出部３が算出したモデル情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、光源算出部４に光源情報を算出させ、光源算出部４が算出した光源情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、特性算出部５に表面特性情報を算出させ、特性算出部５が算出した表面特性情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、位置算出部３１に位置情報を算出させ、位置算出部３１が算出した位置情報の少なくとも一部を記憶部７に記憶させる。制御部９は、例えば、モデル統合部３２にモデル統合処理を実行させ、その処理結果を記憶部Ａに記憶させる。制御部９は、例えば、通信部８を制御し、記憶部７に記憶されている情報の少なくとも一部を外部装置へ送信させる。
また、例えば、検出装置１ａは、モデル情報の少なくとも一部を、バーコードや２次元コードのようなデジタル情報を入出力できるデジタル装置に出力可能である。このようなデジタル装置は、モデル情報の少なくとも一部を含むデジタル情報をディスプレイや紙などに表示する又は印字することができる。表示された又は印字されたデジタル情報を読み取れるリーダー部（例、光学式リーダー）を備えるリーダー装置は、該リーダー部を介して該デジタル情報を自装置の記憶領域などに入力することができる。また、リーダー装置は、後述のレンダリング処理部を更に備えていてもよい。なお、上記の検出システム５０は、上記のデジタル装置やリーダー部を備えるリーダー装置を備える構成であってもよい。また、検出装置１ａは、上記のデジタル装置やリーダー装置を備える構成であってもよい。検出装置１ａが上記のデジタル装置を備える場合に、通信部６はモデル情報の少なくとも一部を上記のデジタル装置に送信してもよい。また、上記のデジタル装置は、受信したモデル情報をもとにデジタル情報を生成し、このデジタル情報を紙などの媒体に出力してもよい。
次に、上述の構成の検出装置１ａの動作に基づき、本実施形態に係る検出方法について説明する。図４は、実施形態に係る検出方法の一例を示すフローチャートである。検出装置１は、対象物ＯＢに対して照明光Ｌ１を照射する光源１９と対象物ＯＢとを含む空間を撮像した第１撮像画像を用いて、照明光を照射する光源の光源情報を算出する。例えば、検出装置１は、ステップＳ１からステップＳ５の処理によって、照明光Ｌ１の照射方向を変えながら、各照射方向に応じた光源１９と対象物ＯＢとを含む空間の第１撮像画像（例、全天画像）および一視点から見た対象物ＯＢの撮像画像（例、第２撮像画像）を取得し、各照射方向に応じた複数の光源情報を算出する。なお、ステップＳ１の処理に先立ち、撮像部２Ａは、照明光Ｌ１の照射が停止された状態で対象物ＯＢを含む空間の複数の全天画像を撮像してもよい。
図５は、光源情報の算出処理（図４のステップＳ４）の例を示すフローチャートである。図５のステップＳ２１において、光源算出部４は、記憶部７から第１撮像画像（例、全天画像）のデータを取得する。ステップＳ２２において、光源算出部４は、全天画像を球面上の画像（図２参照）に変換する。ステップＳ２３において、光源算出部４は、対象物ＯＢに照射される光（照明光Ｌ１、環境光Ｌ２）のうち照明光Ｌ１を環境光Ｌ２と分離して照明光Ｌ１の光源情報を得る。例えば、光源算出部４は、照明光Ｌ１が照射された状態で撮像された全天画像から、照明光Ｌ１が照射されていない状態で撮像された全天画像を差し引くことで、全天画像上の照明光Ｌ１を環境光Ｌ２と分離する。なお、ステップＳ２２の処理とステップＳ２３の処理は、順番が入れ替えられてもよく、全天画像上の照明光Ｌ１を環境光Ｌ２と分離した後に、全天画像を球面上の画像に変換してもよい。ステップＳ２４において、光源算出部４は、球面上の全天画像を用いて対象物ＯＢにおける照明光Ｌ１の光源情報を算出する。
図４のステップＳ５において、制御部９は、照明光Ｌ１の照射方向を変更するか否かを判定する。制御部９は、例えば、予め定められた複数の照射方向の一部について全天画像の撮像が終了していない場合に、照明光Ｌ１の照射方向を変更すると判定する（ステップＳ５；Ｙｅｓ）。制御部９は、照明光Ｌ１の照射方向を変更すると判定した場合（ステップＳ５；Ｙｅｓ）、ステップＳ１の処理に戻り、照射方向を次の方向に設定し、ステップＳ１以降の処理を繰り返し行う。このように、制御部９は、照明光Ｌ１の照射方向を切り替えつつ、撮像部２Ａは、照射方向ごとに全天画像を撮像し、光源算出部４は、照射方向ごとに光源情報を算出する。なお、ステップＳ４の処理（光源情報算出処理）は、複数の照射方向のそれぞれについて全天画像を取得した後に行われてもよい。例えば、検出装置１は、ステップＳ４の処理を除いたステップＳ１からステップＳ５の処理を繰り返し行って全天画像のデータを蓄積し、光源算出部４は、蓄積された全天画像のデータを用いて各照射方向の光源情報を順に算出してもよい。
ステップＳ５において、制御部９は、例えば、予め定められた複数の照射方向について全天画像の撮像が終了した場合に、照明光Ｌ１の照射方向を変更しないと判定する（ステップＳ５；Ｎｏ）。照明光Ｌ１の照射方向を変更しないと判定された場合（ステップＳ５；Ｎｏ）、ステップＳ６において、位置算出部３１は、光源情報を用いて位置情報（第１位置情報）を算出する。
ステップＳ７において、検出部２Ｂは、対象物ＯＢを視点Ｖｐ１から検出する。例えば、制御部９は、撮像部２Ａによる撮像と並行（同期）して、撮像部１１に撮像処理を実行させる。また、制御部９は、対象物ＯＢまでの距離を測距部１２に検出させる。測距部１２による距離の検出処理は、撮像部２Ａによる撮像処理あるいは撮像部１１による撮像処理と並行して行われてもよいし、並行しないで行われてもよい。ステップＳ８において、情報算出部３は、検出部２の検出結果を用いて、視点Ｖｐ１から見た対象物ＯＢの形状情報を算出する。例えば、情報算出部３は、測距部１２の検出結果（例、デプス情報）を用いて点群データを算出し、点群データを用いてサーフェス情報を算出する。
ステップＳ９において、特性算出部５は、情報算出部３が算出した形状情報、光源算出部４が算出した光源情報、及び照射方向を変えながら対象物ＯＢを撮像した複数の撮像画像を用いて、対象物ＯＢの表面特性情報を算出する。上記の複数の撮像画像は、例えば、ステップＳ２において撮像部１１が撮像した画像であるが、ステップＳ１において撮像部２Ａが撮像した全天画像でもよく、撮像部２Ａによる撮像画像と撮像部１１による撮像画像とを含んでもよい。
図６は、実施形態に係る表面特性情報の算出処理（ステップＳ９）の例を示すフローチャートである。ステップＳ３１において、特性算出部５は、対象物ＯＢのうち算出対象の部分を設定する。算出対象の部分は、例えば、撮像画像の１画素または複数の画素でもよいし、点群データに含まれる３つ以上の点を順に結んだ線に囲まれるメッシュ領域でもよいし、サーフェス情報に含まれる３つ以上の線に囲まれる面でもよい。ステップＳ３２において、特性算出部５は、算出対象の部分の形状情報、照明光Ｌ１の各照射方向についての光源情報、及び各照射方向に対応する対象物ＯＢの撮像画像（例、撮像部１１による撮像画像）を記憶部７から取得する。
ステップ３３において、特性算出部５は、関係式（例、上記の式（４））を解く情報が充足しているか否かを判定する。例えば、式（４）について説明したように、特性算出部５は、観測画素の数が基底ベクトルの数以上である場合、関係式を解く情報が充足していると判定する（ステップＳ３３；Ｙｅｓ）。特性算出部５は、関係式を解く情報が充足していると判定した場合（ステップＳ３３；Ｙｅｓ）、ステップＳ３４において、表面特性情報を未知数とする関係式を解く。ステップＳ３５において、特性算出部５は、評価関数を用いて未知数を最適化する。この評価関数は、例えば、上記の関係式の解を用いたレンダリング処理によって得られる対象物ＯＢの画像と、関係式を解く際に使われた撮像画像との差分である。例えば、特性算出部５は、上記の評価関数の値が最少化されるように、未知数を最適化する。
ステップＳ３３において、関係式を得情報が充足していない（不足する）と判定された場合（ステップＳ３３；Ｎｏ）、又はステップＳ３５の処理の終了後に、ステップＳ３６において、特性算出部５は、次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ３６；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３１の処理に戻り、次の算出対象の部分を設定し、ステップＳ３２以降の処理を繰り返し行う。ステップＳ３６において、特性算出部５は、例えば、予め定められた部分についてステップＳ３１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ３６；Ｎｏ）、一連の処理を終了する。
図７は、実施形態に係る表面特性情報の算出処理の他の例を示すフローチャートである。図７の処理において、特性算出部５は、上記の関係式を解くことで得られた光学特性を用いた補間によって、他の部分の光学特性を算出する。図７の処理は、例えば、図６のステップＳ３６の処理の後に行われる。ステップＳ４１において、特性算出部５は、算出対象の部分を設定する。ステップＳ４２において、特性算出部５は、算出対象の部分に関して光学特性を算出済であるか否かを判定する。特性算出部５は、算出対象の部分に関して光学特性を算出済でないと判定した場合（ステップＳ４２；Ｎｏ）、光学特性を補間で算出するか否かを判定する。特性算出部５は、例えば、算出対象の部分の周囲に光学特性が算出された部分が補間を行うことが可能な数だけ存在する場合、光学特性を補間で算出すると判定する（ステップＳ４３；Ｙｅｓ）。特性算出部５は、光学特性を補間で算出すると判定した場合（ステップＳ４３；Ｙｅｓ）、ステップＳ４４において光学特性を補間で算出する。
特性算出部５は、ステップＳ４４の処理後、ステップＳ３２において光学特性が算出済であると判定した場合（ステップＳ４２；Ｎｏ）、又はステップＳ４３において光学特性を補間で算出しないと判定した場合（ステップＳ４３；Ｎｏ）に、ステップＳ４５において次の算出対象の部分があるか否かを判定する。特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了していない場合、次に算出対象の部分があると判定する（ステップＳ４５；Ｙｅｓ）。特性算出部５は、次に算出対象の部分があると判定した場合（ステップＳ４５；Ｙｅｓ）、ステップＳ４１の処理に戻り、次の算出対象の部分を設定し、ステップＳ４２以降の処理を繰り返し行う。ステップＳ４５において、特性算出部５は、例えば、予め定められた部分についてステップＳ４１の処理が完了した場合、次に算出対象の部分がないと判定し（ステップＳ４５；Ｎｏ）、一連の処理を終了する。
なお、上記したように、例えば、本実施形態における検出装置１ａは、対象物を第１視点（例、一視点）から検出する検出部と、検出部の検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出する情報算出部と、対象物に対する照明光の照射方向を変化させて対象物を含む空間を撮像した複数の全天画像を用いて、照明光の光源情報を算出する光源算出部と、第１モデル情報と、第１視点と異なる視点（例、第２視点）から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて視点間の相対位置を算出する位置算出部と、を備えていても良い。このように、本実施形態によれば、例えば、全天画像から照明光を照射する光源の位置を推定し、複数の全天画像を利用して検出装置間の相対位置を特定することが可能となる。
［第２実施形態］
第２実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図８は、実施形態に係る検出装置、検出システムを示す図である。検出システムＡは、検出装置１ａから出力される情報と検出装置１ｂから出力される情報との少なくとも一方を処理する情報処理装置Ａを備える。情報処理装置５１には、例えば、入力装置５２および表示装置５３が設けられる。
情報処理装置５１は、検出装置１ａとの間の通信により、検出装置１ａから情報を取得する。情報処理装置５１は、検出装置１ｂとの間の通信により、検出装置１ｂから情報を取得する。情報処理装置５１は、例えば、検出装置１ａから取得した情報および検出装置１ｂから取得した情報の少なくとも一部を使って、レンダリング処理を実行する。例えば、情報処理装置５１は、ユーザにより入力装置５２に入力された視点の設定情報を元に、この視点から対象物ＯＢを見た推定画像のデータを算出する。情報処理装置５１は、例えば、推定画像のデータを表示装置５３に供給し、表示装置５３に推定画像を表示させる。
入力装置５２は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置５２は、情報処理装置５１と接続される。入力装置５２は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置５１に供給する。表示装置５３は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置５１と接続されている。表示装置５３は、例えば、情報処理装置５１から供給される画像データにより、画像（例、レンダリング処理による推定画像）を表示する。
情報処理装置５１は、通信部５５、記憶部５６、モデル統合部３２、レンダリング処理部５７、及び制御部５８を備える。通信部５５は、例えば、ＵＳＢポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部５５は、検出装置１ａの通信部８および検出装置１ｂの通信部８のそれぞれと通信可能である。
記憶部５６は、例えば、ＵＳＢメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部５６は、例えば、通信部５５を介して受信した情報の少なくとも一部のデータ、検出装置１ａと検出装置１ｂとの少なくとも一方を制御する撮像制御プログラム、情報処理装置５１の各処理を実行させる処理プログラム、などを記憶する。
モデル統合部３２は、第１実施形態と同様である。情報処理装置５１は、例えば、検出装置１ａから第１モデル情報および第１位置情報を受信し、検出装置１ｂから第２モデル情報および第２位置情報を受信する。モデル統合部３２は、第１位置情報と第２位置情報とを用いて、第１モデル情報と第２モデル情報とを統合する。なお、検出装置１ａは、モデル統合部３２を備えてもよいし、モデル統合部３２を備えなくてもよい。
レンダリング処理部５７は、例えば、グラフィックス プロセッシング ユニット（Graphics Processing Unit; GPU）を含む。なお、レンダリング処理部５７は、ＣＰＵおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部５７は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
レンダリング処理部５７は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像（例、再構築画像）を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部５７は、例えば、描画処理によって、モデル情報（例、形状情報）からモデル形状（例、推定画像）を再構成できる。レンダリング処理部５７は、第１モデル情報と第２モデル情報とを統合したモデル情報に含まれる表面特性情報を用いて、レンダリング処理を行う。レンダリング処理部５７は、例えば、算出した推定画像のデータを記憶部５６に記憶させる。また、レンダリング処理部５７は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部５７は、推定画像上の物体の表面に、対象物ＯＢと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部５７は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部５７は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
制御部５８は、例えば、情報処理装置５１の各部、検出装置１ａ、検出装置１ｂ、照明装置ＩＬ、入力装置５２、及び表示装置５３を制御する。制御部５８は、例えば、通信部５５を制御し、検出装置１ａ、検出装置１ｂに指令（制御信号）や設定情報を送信させる。制御部５８は、例えば、通信部５５が検出装置１ａ、検出装置１ｂから受信した情報を、記憶部５６に記憶させる。制御部５８は、例えば、レンダリング処理部５７を制御し、レンダリング処理を実行させる。
なお、検出システム５０は、入力装置５２を備えなくてもよい。例えば、検出システム５０は、各種の指令、情報が通信部８を介して入力される形態でもよい。また、検出システム５０は、表示装置５３を備えなくてもよい。例えば、検出システム５０は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。
上述の実施形態において、情報算出部３、光源算出部４、及び位置算出部３１を含む算出部は、例えばコンピュータシステムを含む。この算出部は、例えば、記憶部７に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、例えば、コンピュータに、対象物を第１視点から検出した検出結果を用いて、第１視点における対象物の形状情報を含む第１モデル情報を算出することと、対象物に対して照明光（例、照明光Ｌ１）を照射する光源と対象物とを含む空間を撮像した複数の第１撮像画像を用いて、光源の光源情報を算出することと、第１モデル情報と、第１視点と異なる第２視点から対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、光源情報を用いて第１視点と対象物との絶対的な又は相対的な位置関係を算出することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の１つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
１ａ、１ｂ・・・検出装置、２Ａ・・・撮像部、２Ｂ・・・検出部、３・・・情報算出部、４・・・光源算出部、５・・・特性算出部、８・・・通信部、９・・・制御部、１１・・・撮像部、１２・・・測距部、３１・・・位置算出部、３２・・・モデル統合部、５０・・・検出システム、ＩＬ・・・照明装置、Ｌ１・・・照明光、Ｌ２・・・環境光、ＯＢ・・・対象物、Ｖｐ１・・・視点、Ｖｐ２・・・視点

Claims (18)

  1. 対象物を第１視点から検出する検出部と、
    前記検出部の検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出する情報算出部と、
    前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記照明光の照射方向を求める光源算出部と、
    前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記照明光の照射方向を用いて前記第１視点と前記対象物との位置関係を算出する位置算出部と、
    を備える検出装置。
  2. 前記対象物に対する前記照明光の表面特性情報を算出し、前記照明光の照射方向を算出する特性算出部を備える、請求項１に記載の検出装置。
  3. 前記光源算出部は、前記照明光を環境光と分離して前記対象物に対する前記照明光の照射方向を算出する、請求項１又は請求項２に記載の検出装置。
  4. 前記光源算出部は、前記照明光が照射された状態の前記第１撮像画像と、前記照明光が照射されていない状態の前記第１撮像画像とを比較して、前記照明光の照射方向を算出する、請求項３に記載の検出装置。
  5. 前記第１撮像画像と、前記第１撮像画像から前記照明光の影響を低減した画像との少なくとも一方を外部へ送信する通信部を備える、請求項１から請求項４のいずれか一項に記載の検出装置。
  6. 前記第１撮像画像は、前記光源と前記対象物とを含む空間の全天画像を含む、請求項１から請求項５のいずれか一項に記載の検出装置。
  7. 前記第１撮像画像を撮像する第１撮像部を備える、請求項１から請求項６のいずれか一項に記載の検出装置。
  8. 前記検出部は、前記対象物を撮像する第２撮像部を備え、
    前記第１撮像部の撮像範囲は、前記第２撮像部の撮像範囲よりも広い、請求項７に記載の検出装置。
  9. 前記光源を備える照明装置に対して制御信号を供給する制御部を備える、請求項１から請求項８のいずれか一項に記載の検出装置。
  10. 前記第２モデル情報、及び前記第２視点と前記対象物との位置関係を受信する通信部と、
    前記位置算出部が算出した前記第１視点と前記対象物との位置関係と、前記通信部が受信した前記第２視点と前記対象物との位置関係と、を用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部を備える、請求項１から請求項９のいずれか一項に記載の検出装置。
  11. 対象物を第１位置から検出する検出部と、
    前記検出部の検出結果を用いて、前記第１位置における前記対象物の形状情報又はテクスチャ情報を含む第１モデル情報を算出する情報算出部と、
    光源から前記対象物に対して光が照射される照射方向に基づいて、前記第１位置と前記対象物との位置関係を算出する位置算出部と、を備え、
    前記第１位置とは異なる第２位置における前記対象物の第２モデル情報を、前記第１位置における前記対象物に対する前記照射方向と前記第２位置における前記対象物に対する前記照射方向とを用いて、前記第１モデル情報と同じ座標系に変換する検出装置。
  12. 前記検出部の検出結果を用いて前記第１位置から見た前記照射方向を算出する光源算出部を備える、請求項１１に記載の検出装置。
  13. 前記第１位置と前記対象物との位置関係及び前記第２位置と前記対象物との位置関係を用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部を備える、請求項１１又は請求項１２に記載の検出装置。
  14. 請求項１から請求項９のいずれか一項に記載の検出装置と、
    前記第２視点から前記対象物を検出して前記対象物の形状情報を含む第２モデル情報を算出し、前記照明光の照射方向と前記対象物の位置と前記視点との位置との関係を示す第２位置情報、及び前記第２モデル情報を送信する他の検出装置と、
    前記位置算出部が算出した前記第１視点と前記対象物との位置関係を示す第１位置情報と、前記第２位置情報とを用いて、前記第１モデル情報と前記第２モデル情報とを統合するモデル統合部と、を備える検出システム。
  15. 前記検出装置から出力される情報と前記他の検出装置から出力される情報との少なくとも一方を処理する情報処理装置を備える請求項１４に記載の検出システム。
  16. 対象物を第１視点から検出することと、
    前記検出の検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出することと、
    前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記照明光の照射方向を求めることと、
    前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記照明光の照射方向を用いて前記第１視点と前記対象物との位置関係を算出することと、を含む検出方法。
  17. コンピュータに、
    対象物を第１視点から検出した検出結果を用いて、前記第１視点における前記対象物の形状情報を含む第１モデル情報を算出することと、
    前記対象物に対して照明光を照射する光源と前記対象物とを含む空間を撮像した第１撮像画像を用いて、前記照明光の照射方向を求めることと、
    前記第１モデル情報と、前記第１視点と異なる第２視点から前記対象物を検出して得られる形状情報を含む第２モデル情報との統合に用いられる情報として、前記照明光の照射方向を用いて前記第１視点と前記対象物との位置関係を算出することと、を実行させる検出プログラム。
  18. 請求項１から請求項１３のいずれか一項に記載の検出装置と、
    前記検出装置から出力される情報を処理する情報処理装置と、を備える検出システム。
JP2018504412A 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム Active JP6662449B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016046343 2016-03-09
JP2016046343 2016-03-09
PCT/JP2017/008166 WO2017154707A1 (ja) 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム

Publications (2)

Publication Number Publication Date
JPWO2017154707A1 JPWO2017154707A1 (ja) 2019-01-24
JP6662449B2 true JP6662449B2 (ja) 2020-03-11

Family

ID=59790478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018504412A Active JP6662449B2 (ja) 2016-03-09 2017-03-01 検出装置、検出システム、検出方法、及び検出プログラム

Country Status (3)

Country Link
US (2) US11629950B2 (ja)
JP (1) JP6662449B2 (ja)
WO (1) WO2017154707A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10887500B2 (en) * 2017-01-24 2021-01-05 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Optical inspection system
US20180357819A1 (en) * 2017-06-13 2018-12-13 Fotonation Limited Method for generating a set of annotated images
JP7078056B2 (ja) * 2017-11-30 2022-05-31 株式会社ニコン 検出装置、処理装置、装着物、検出方法、及び検出プログラム
KR20220048109A (ko) * 2020-10-12 2022-04-19 삼성전자주식회사 전자 장치 및 제어 방법
KR20230007807A (ko) * 2021-07-06 2023-01-13 삼성전자주식회사 이미지 프로세싱을 위한 전자 장치 및 그 동작 방법
EP4266693A4 (en) 2021-07-06 2024-07-17 Samsung Electronics Co Ltd ELECTRONIC IMAGE PROCESSING DEVICE AND OPERATING METHOD THEREFOR
JP2023178760A (ja) * 2022-06-06 2023-12-18 株式会社ソニー・インタラクティブエンタテインメント 画像投影システムおよび画像投影方法
CN115184282B (zh) * 2022-09-13 2023-01-17 北京理工大学 一种包含对比板的成像式散射属性测量系统及测量方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1079029A (ja) * 1996-09-02 1998-03-24 Canon Inc 立体情報検出方法及びその装置
US7003134B1 (en) * 1999-03-08 2006-02-21 Vulcan Patents Llc Three dimensional object pose estimation which employs dense depth information
JP3907891B2 (ja) 1999-11-11 2007-04-18 富士フイルム株式会社 画像撮像装置及び画像処理装置
CA2306515A1 (en) * 2000-04-25 2001-10-25 Inspeck Inc. Internet stereo vision, 3d digitizing, and motion capture camera
JP2002164066A (ja) * 2000-11-22 2002-06-07 Mitsubishi Heavy Ind Ltd 積層型熱交換器
JP2004093504A (ja) * 2002-09-03 2004-03-25 Topcon Corp 測量装置
JP3744002B2 (ja) * 2002-10-04 2006-02-08 ソニー株式会社 表示装置、撮像装置、および撮像／表示システム
JP3779308B2 (ja) 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム
JP2006071434A (ja) * 2004-09-01 2006-03-16 Fuji Xerox Co Ltd ３次元画像入力装置および方法
WO2006123615A1 (ja) * 2005-05-19 2006-11-23 Olympus Corporation 距離計測装置、距離計測方法および距離計測プログラム
GB2434541B (en) * 2006-01-30 2009-06-17 Mailling Wright Products Ltd Method of preparing a medical restraint
JP5291140B2 (ja) * 2006-02-23 2013-09-18 株式会社神戸製鋼所 形状測定装置、形状測定方法
US9459784B2 (en) * 2008-07-25 2016-10-04 Microsoft Technology Licensing, Llc Touch interaction with a curved display
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による３次元形状復元装置、３次元形状復元方法および３次元形状復元プログラム
CN102395994B (zh) * 2010-03-18 2015-06-10 松下电器产业株式会社 全景图像处理装置及全景图像处理方法
US8428342B2 (en) * 2010-08-12 2013-04-23 At&T Intellectual Property I, L.P. Apparatus and method for providing three dimensional media content
US9686532B2 (en) * 2011-04-15 2017-06-20 Faro Technologies, Inc. System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices
JP2012242322A (ja) * 2011-05-23 2012-12-10 Kansai Electric Power Co Inc:The 空中物位置測定装置、空中物位置測定システム及び空中物位置測定方法
CN104380036A (zh) * 2012-06-13 2015-02-25 株式会社岛精机制作所 用于三维测量装置的合成参数的生成装置
JP5829980B2 (ja) * 2012-06-19 2015-12-09 トヨタ自動車株式会社 路側物検出装置
JP6167622B2 (ja) * 2013-04-08 2017-07-26 オムロン株式会社 制御システムおよび制御方法
DE102014220585A1 (de) * 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
KR102384175B1 (ko) * 2015-07-29 2022-04-08 주식회사 만도모빌리티솔루션즈 차량의 카메라 장치
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT

Also Published As

Publication number Publication date
WO2017154707A1 (ja) 2017-09-14
JPWO2017154707A1 (ja) 2019-01-24
US11629950B2 (en) 2023-04-18
US20230221110A1 (en) 2023-07-13
US20190017812A1 (en) 2019-01-17

Similar Documents

Publication Publication Date Title
JP6662449B2 (ja) 検出装置、検出システム、検出方法、及び検出プログラム
US10638113B2 (en) Imaging system, imaging device, method of imaging, and storage medium
US20150369593A1 (en) Orthographic image capture system
US10204404B2 (en) Image processing device and image processing method
US11151733B2 (en) Detection device, information processing device, detection method, storage medium, and detection system
US20140307100A1 (en) Orthographic image capture system
US20190005668A1 (en) Imaging device, image processing device, storage medium, and imaging system
TW202030697A (zh) 電子裝置及恢復深度圖的方法
JP6601489B2 (ja) 撮像システム、撮像装置、撮像方法、及び撮像プログラム
JP6045378B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11967094B2 (en) Detecting device, information processing device, detecting method, and information processing program
US11151783B2 (en) Image pickup device, information processing device, and image pickup system
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP2023115289A (ja) 検出装置、情報処理装置、及びシステム
JP2017161370A (ja) 検出装置、検出システム、検出方法、及び検出プログラム
US11682134B2 (en) Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
JP7099506B2 (ja) 検出装置、検出方法、情報処理装置、及び処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190514

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200127

R150 Certificate of patent or registration of utility model

Ref document number: 6662449

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250