JP7180646B2 - 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム - Google Patents

検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム Download PDF

Info

Publication number
JP7180646B2
JP7180646B2 JP2020140615A JP2020140615A JP7180646B2 JP 7180646 B2 JP7180646 B2 JP 7180646B2 JP 2020140615 A JP2020140615 A JP 2020140615A JP 2020140615 A JP2020140615 A JP 2020140615A JP 7180646 B2 JP7180646 B2 JP 7180646B2
Authority
JP
Japan
Prior art keywords
information
accuracy
detection
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020140615A
Other languages
English (en)
Other versions
JP2021002358A (ja
Inventor
源洋 中川
武昭 杉村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Publication of JP2021002358A publication Critical patent/JP2021002358A/ja
Application granted granted Critical
Publication of JP7180646B2 publication Critical patent/JP7180646B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/507Depth or shape recovery from shading
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/543Depth or shape recovery from line drawings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Description

本発明は、検出装置、情報処理装置、検出方法、検出プログラム、及び検出システムに関する。
複数の撮像装置により対象物を検出し、得られた複数の画像をコンピュータに入力し、対象物の三次元形状を取得する技術が提案されている(例えば、特許文献1参照)。
特開2010-134546号公報
上述のような技術においては、対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報、あるいはモデル情報の生成に使われる情報を容易に処理できることが望まれる。
本発明の態様に従えば、対象物を含む検出領域内の複数の検出点までの距離を検出する検出部と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、複数の検出点のデータを用いて、対象物のモデル情報を算出する情報算出部と、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、を備え、情報処理部は、検出部の検出結果から得られるデプス情報を第1の情報として用い、デプス情報のうち第2の情報に含める情報を確度情報に基づいて選定し、確度算出部は、デプス情報に関する確度情報を算出し、情報処理部は、デプス情報に関する確度情報に基づいて、デプス情報のうち第2の情報に含める情報を選定し、デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を確度情報における確度の値に応じて決定し、情報算出部は、第2の情報に含まれるデプス情報に基づいて点群データを算出し、確度算出部は、点群データを基に点群データに含まれる点の情報に関する確度情報である点確度情報を算出し、情報処理部は、点群データを第1の情報として用い、点群データのうち第2の情報に含める情報を点確度情報に基づいて選定し、情報算出部は、第2の情報に含まれた点群データに基づいて、線の情報を算出し、確度算出部は、線の端点の点確度情報に基づいて線の情報に関する確度情報である線確度情報を算出する、検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出する検出部と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、複数の検出点のデータを用いて、対象物のモデル情報を算出する情報算出部と、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、を備え、検出部は、検出領域内の複数の検出点までの距離を検出し、情報処理部は、検出部の検出結果から得られるデプス情報を前記第1の情報として用い、デプス情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定し、前記確度算出部は、前記デプス情報に関する前記確度情報を算出し、前記情報処理部は、前記デプス情報に関する前記確度情報に基づいて、前記デプス情報のうち前記第2の情報に含める情報を選定し、前記デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を前記確度情報における確度の値に応じて決定する、検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出する検出部と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、複数の検出点のデータを用いて、対象物のモデル情報を生成する情報算出部と、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、第1視点から対象物を検出し、情報算出部で生成された対象物の第1モデル情報と、確度算出部で算出された第1モデル情報に対する確度情報である第1確度情報とを外部装置へ出力する出力部を備え、第1確度情報は、第2視点から対象物を検出して生成された対象物の第2モデル情報と、第1モデル情報との統合に用いられる検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出する検出部と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、複数の検出点のデータを用いて、対象物のモデル情報を算出する情報算出部と、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、を備え、情報算出部は、モデル情報として、対象物の形状を示す点の情報、対象物の形状を示す線の情報、対象物の形状を示す面の情報を算出し、確度算出部は、点の情報に関する前記確度情報、線の情報に関する確度情報、面の情報に関する前記確度情報をそれぞれ算出する検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出する検出部と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、複数の検出点のデータを用いて、対象物のモデル情報を算出する情報算出部と、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、を備える検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出して得られる対象物のモデル情報および検出領域内の複数の検出点のデータの少なくとも一方を含む第1の情報と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報とを用いて、第1の情報からデータ量を低減した第2の情報を生成する情報処理装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出することと、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出することと、複数の検出点のデータを用いて、対象物のモデル情報を算出することと、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成することと、を含む検出方法が提供される。
本発明の態様に従えば、コンピュータに、対象物を含む検出領域を検出することと、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出することと、複数の検出点のデータを用いて、対象物のモデル情報を算出することと、確度情報を用いて、モデル情報および複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成することと、を実行させる検出プログラムが提供される。
本発明の態様に従えば、上記態様に記載の検出装置と、検出装置から出力された情報を処理する情報処理装置と、を備える検出システムが提供される。
本発明の第1の態様に従えば、対象物を一視点から検出する検出部と、一視点における対象物の確度情報を算出する確度算出部と、検出部の検出結果を用いて、一視点における対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報を算出する情報算出部と、モデル情報またはモデル情報の生成に使われる元データを含む第1の対象物情報と、確度情報とを用いて、モデル情報または元データのデータ量を低減した第2の対象物情報を生成する情報処理部と、を備える検出装置が提供される。
本発明の態様に従えば、対象物を含む検出領域を検出して得られる対象物のモデル情報および検出領域内の複数の検出点のデータの少なくとも一方を含む第1の情報と、検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報とを用いて、第1の情報からデータ量を低減した第2の情報を生成するに際して、検出領域内の複数の検出点までの距離の検出結果から得られるデプス情報を第1の情報として用い、デプス情報のうち前記第2の情報に含める情報を確度情報に基づいて選定し、デプス情報に関する確度情報を算出し、デプス情報に関する確度情報に基づいて、デプス情報のうち第2の情報に含める情報を選定し、デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を確度情報における確度の値に応じて決定する、情報処理装置が提供される。
本発明の第2の態様に従えば、一視点における対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報またはモデル情報の生成に使われる元データを含む第1の対象物情報と、一視点における対象物の確度情報とを用いて、モデル情報または元データのデータ量を低減した第2の対象物情報を生成する情報処理装置が提供される。
本発明の態様に従えば、検出部により対象物を含む検出領域内の複数の検出点までの距離を検出することと、検出部の検出結果に基づいて、確度算出部により検出領域内の複数の検出点が対象物の特徴点であるかの確からしさを示す確度情報を算出することと、検出部の検出結果である複数の検出点のデータを用いて、情報算出部により前記対象物のモデル情報を算出することと、確度算出部により確度算出部による前記確度情報を用いて、モデル情報および前記複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を情報処理部で生成することと、を含む検出方法であって、検出部の検出結果から得られるデプス情報を第1の情報として用い、情報処理部によりデプス情報のうち第2の情報に含める情報を確度情報に基づいて選定することと、確度算出部によりデプス情報に関する確度情報を算出することと、情報処理部により、デプス情報に関する確度情報に基づいて、デプス情報のうち第2の情報に含める情報を選定し、デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を確度情報における確度の値に応じて決定することと、情報算出部により、第2の情報に含まれるデプス情報に基づいて点群データを算出することと、確度算出部により、点群データを基に点群データに含まれる点の情報に関する確度情報である点確度情報を算出することと、情報処理部により、点群データを第1の情報として用い、点群データのうち第2の情報に含める情報を点確度情報に基づいて選定することと、情報算出部により、第2の情報に含まれた点群データに基づいて、線の情報を算出することと、確度算出部により、線の端点の点確度情報に基づいて線の情報に関する確度情報である線確度情報を算出することと、を含む検出方法が提供される。
本発明の態様に従えば、検出部により対象物を含む検出領域を検出することと、検出部の検出結果に基づいて、確度算出部により前記検出領域内の複数の検出点が前記対象物の特徴点であるかの確からしさを示す確度情報を算出することと、前記検出部の検出結果である前記複数の検出点のデータを用いて、情報算出部により前記対象物のモデル情報を算出することと、前記確度算出部により前記確度算出部による前記確度情報を用いて、前記モデル情報および前記複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を情報処理部で生成することと、を含む検出方法であって、前記検出部により前記検出領域内の複数の検出点までの距離を検出することと、前記検出部の検出結果から得られるデプス情報を前記第1の情報として用い、前記情報処理部により前記デプス情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定することと、前記確度算出部により前記デプス情報に関する前記確度情報を算出することと、前記情報処理部により、前記デプス情報に関する前記確度情報に基づいて、前記デプス情報のうち前記第2の情報に含める情報を選定し、前記デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を前記確度情報における確度の値に応じて決定することと、を含む検出方法が提供される。
本発明の第3の態様に従えば、対象物を一視点から検出することと、一視点における対象物の確度情報を算出することと、一視点からの対象物の検出結果を用いて、一視点における対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報を算出することと、モデル情報またはモデル情報の生成に使われる元データを含む第1の対象物情報と、確度情報とを用いて、モデル情報または元データのデータ量を低減した第2の対象物情報を生成することと、を含む検出方法が提供される。
本発明の態様に従えば、コンピュータに、対象物を含む検出領域を検出することと、前記検出領域内の複数の検出点が前記対象物の特徴点であるかの確からしさを示す確度情報を算出することと、前記複数の検出点のデータを用いて、前記対象物のモデル情報を算出することと、前記確度情報を用いて、前記モデル情報および前記複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成することと、を実行させる検出プログラムであって、前記検出領域内の複数の検出点までの距離を検出することと、検出結果から得られるデプス情報を前記第1の情報として用い、前記デプス情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定することと、前記デプス情報に関する前記確度情報を算出することと、前記デプス情報に関する前記確度情報に基づいて、前記デプス情報のうち前記第2の情報に含める情報を選定し、前記デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を前記確度情報における確度の値に応じて決定することと、を実行させる検出プログラムが提供される。
本発明の第4の態様に従えば、コンピュータに、一視点における対象物の確度情報を算出することと、一視点からの対象物の検出結果を用いて、一視点における対象物の形状情報とテクスチャ情報との少なくとも一方を含むモデル情報を算出することと、モデル情報またはモデル情報の生成に使われる元データを含む第1の対象物情報と、確度情報とを用いて、モデル情報または元データのデータ量を低減した第2の対象物情報を生成することと、を実行させる検出プログラムが提供される。
本発明の第5の態様に従えば、一方向から対象物を検出する検出部と、検出部の検出結果に基づき、一方向における対象物の形状情報又はテクスチャ情報を含むモデル情報を算出する情報算出部と、モデル情報又はモデル情報の生成に使われる元データを含む第1の対象物情報と、一方向における対象物の確度情報とを用いて、モデル情報又は元データのデータ量を低減した第2の対象物情報を生成する情報処理部と、を備える検出装置が提供される。
本発明の第6の態様に従えば、上記態様の検出装置と、検出装置から出力された情報を処理する情報処理装置と、を備える検出システムが提供される。
第1実施形態に係る検出装置の一例を示す図である。 第1実施形態に係る情報処理部の処理を示す概念図である。 第1実施形態に係る検出部の一例を示す図である。 第1実施形態に係る情報算出部、確度算出部、情報処理部、及び記憶部を示すブロック図である。 第1実施形態に係る検出部の光学特性に基づく確度情報の説明図である。 第1実施形態に係る距離に基づいた確度情報の説明図である。 第1実施形態に係る距離の分布に基づいた確度情報の説明図である。 第1実施形態に係る情報処理部の処理を示す概念図である。 第1実施形態に係る検出方法を示すシーケンス図である。 図9から続くシーケンス図である。 第2実施形態に係る検出システムを示す図である。 第2実施形態に係る検出システムを示すブロック図である。 第3実施形態に係る検出システムを示す図である。 第3実施形態に係る検出システムを示すブロック図である。 本実施形態におけるモデル統合処理の一例を示す概念図である。
[第1実施形態]
第1実施形態について説明する。図1(A)は、本実施形態に係る検出装置1の一例を示す概念図である。検出装置1は、例えば撮像装置であり、検出領域A1(例、視野)内の対象物OBを検出する。検出装置1は、例えば、定点カメラでもよいし、手動または自動で視野を変更可能なカメラでもよく、携帯可能な情報端末(例、スマートフォン、タブレット、カメラ付き携帯電話)でもよい。検出装置1は、対象物OBを検出した結果を使って、対象物OBに関する情報の演算処理を行う。検出装置1は、自端末の演算処理によって、対象物OBの少なくとも一部をモデル化し、モデル情報(モデルデータ)を算出する。例えば、検出装置1は、演算処理によって、対象物OBの少なくとも一部をコンピュータグラフィック処理(CG処理)し、モデル情報(例、CGモデルデータ)を算出する。モデル情報は、例えば、対象物OBの三次元形状を示す形状情報と、対象物OBの表面の模様を示すテクスチャ情報の少なくとも一方を含む。また、例えば、モデル情報は、3次元の点座標、その点座標の関連情報、3次元の点座標及びその関連情報で規定された面のテクスチャ情報、画像全体の照明条件や光源情報などの画像の空間情報、並びに形状情報としてのポリゴンデータの少なくとも一つを含む。テクスチャ情報は、例えば、対象物OBの表面の文字や図形、パターン、凹凸を規定する情報、特定の画像、及び色彩(例、有彩色、無彩色)の少なくとも1つの情報を含む。検出装置1は、例えば、視点Vp(例、一視点、単一の視点、1方向)から見た対象物OBを示すモデル情報を算出する。また、例えば、検出装置1は、対象物OBに対して所定の角度における一視点から見た対象物OBを示すモデル情報を算出する。
図1(B)は、検出装置1の構成の一例を示すブロック図である。検出装置1は、例えば、検出部2と、確度算出部3と、情報算出部4と、情報処理部5と、記憶部6と、通信部7と、制御部8と、本体部9とを備える。本体部9は、例えば、カメラボディ、ケース、筐体などである。検出部2、確度算出部3、情報算出部4、及び情報処理部5は、例えば、本体部9に設けられる。検出部2、確度算出部3、情報算出部4、及び情報処理部5は、例えば、本体部9に設けられることでユニット化される。
検出部2は、視点Vpから対象物OBを光学的に検出する。例えば、検出部2は、視点Vpから対象物OBを撮像して、検出結果として対象物OBの画像データなどを出力する。確度算出部3は、視点Vpにおける対象物OBの確度情報を算出する。確度算出部3は、例えば、検出部2の検出した画像データを用いて視点Vpに応じた対象物OBの確度情報を算出する。確度情報は、例えば、対象物OBを含む領域(例、検出部2の検出領域A1、視野)の各位置に物体が存在する確率、確率分布、及び期待値の少なくとも一つを含む。この確率分布は、例えば、検出部2の検出領域の一部の領域の確度と、その周辺の領域との確度との関係を示す情報である。確度情報は、例えば、対象物OBを含む領域(例、検出部2の検出領域、視野)の各位置に対する、検出部2の検出結果の信頼度を含む。例えば、確度は、各位置のデータの正確さ(正確度、精度、信頼度)、または不確かさ(曖昧さ、不明瞭さ)を数値化したものであり、確度情報は、複数の位置における確度の分布を含む。例えば、確度が高いことは、正確さが高いこと、あるいは不確かさが低いことに相当する。例えば、確度が低いことは、正確さが低いこと、あるいは不確かさが高いことに相当する。
情報算出部4は、検出部2の検出結果を用いてモデル情報を算出する。モデル情報は、視点Vpにおける対象物OBの形状情報とテクスチャ情報との少なくとも一方を含む。例えば、情報算出部4は、視点Vpから見た場合の対象物OBの形状情報とテクスチャ情報との少なくとも一方を算出する。例えば、検出部2は、視点Vpから対象物OB上の各点までの距離を検出し、情報算出部4は、検出部2が検出した距離を用いて、対象物OBの点群データを算出する。また、情報算出部4は、例えば、点群データを用いて対象物OBのサーフェス情報を算出する。
図2は、情報処理部5の処理を示す概念図である。情報処理部5は、第1の対象物情報D1と確度情報Dpとを用いて、第2の対象物情報D2を生成する。図2(A)には、第1の対象物情報D1、第2の対象物情報D2、及び確度情報Dpを概念的に示した。図2において符号Mはデータ点(例、点データ)であり、各データ点Mは、データ量が固定の固定長データである。確度情報Dpは、例えば、対象物OBの部分ごとに異なる第1の対象物情報D1(例、D1a、D1b)の確度(例、Dpa、Dpb)を含み、情報処理部5は、例えば、対象物OBの部分ごとに異なる確度を含む確度情報Dpを用いて第2の対象物情報D2を生成する。例えば、対象物OBは、位置が互いに異なる第1部分および第2部分を含み、図2では、第1の対象物情報D1のうち第1部分に関する情報を符号D1aで表し、第1の対象物情報D1のうち第2部分に関する情報を符号D1bで表す。また、第2の対象物情報D2のうち第2部分に関する情報を符号D2aで表し、第2の対象物情報D2のうち第2部分に関する情報を符号D2bで表す。
なお、第2部分は、視点Vpから見た場合に、第1部分と一部が重なる部分でもよいし、第1部分に隣接する部分でもよく、第1部分と重ならない部分でもよい。第1部分と第2部分の少なくとも一方は、対象物OBの特徴点を含む部分(特徴部分)でもよいし、対象物OBのうち解析(例、形状解析)の対象の部分でもよく、対象物OBのうちモデル情報を算出する対象の部分でもよい。
第1の対象物情報D1(情報処理部5への入力データ)は、モデル情報または該モデル情報の生成に使われる元データ(モデル情報を生成するための情報)を含む。第1の対象物情報D1は、例えば、対象物OBを検出した検出データ、視点Vpから対象物OB上の各点までの距離を示すデプス情報、対象物OBの点群データ、対象物OBのサーフェス情報、及び対象物OBのテクスチャ情報から選択される。上記の検出データは、例えば、対象物OBからの光を受光したデータを含み、対象物OBを撮像した撮像画像データを含んでもよい。第2の対象物情報D2(情報処理部5からのの出力データ)は、第1の対象物情報D1に含まれるモデル情報または元データのデータ量を低減した情報である。例えば、第1の対象物情報D1は、対象物OBの点群データであり、第2の対象物情報D2は、第1の対象物情報D1よりもデータ量を低減した点群データである。情報処理部5は、例えば、第1の対象物情報D1を圧縮した第2の対象物データD2を生成する。情報処理部5は、例えば、第1の対象物情報D1を第2の対象物データD2に更新(変換)する。
情報処理部5は、例えば、取得した確度情報Dpを用いて、視点Vpにおいて相対的に又は閾値(基準値)よりも確度の低いデータ点(例、点データ)を削除(又はマスク)して、第1の対象物情報D1からデータ点を減らす(例、間引く)ことでデータ量を低減し、第2の対象物情報D2を生成する。情報処理部5は、例えば、データ点の少なくとも一部のデータ量を低減してもよい。例えば、情報処理部5は、第1の対象物情報D1において64ビット(例、倍精度小数点数)で表されるデータを32ビット(例、単精度小数点数)で表すことで、データ量を低減してもよい。情報処理部5は、第1の対象物情報D1を非可逆圧縮(不可逆圧縮)することで、第2の対象物情報D2を生成してもよい。
確度情報Dpは、例えば、対象物OBの部分(例、点、線、面)ごとの第1の対象物情報D1の確度を含む。例えば、確度情報Dpは、対象物OB上の各点に対応させた、対象物OBのうちデータ点Mごとの第1の対象物情報D1の確度を含む。図2(A)において、確度情報Dpのうち、第1部分に関する確度を符号Dpaで表し、第2部分に関する確度を符号Dpbで表す。情報処理部5は、例えば、第1の対象物情報D1における確度の比較によって、第2の対象物情報D2を生成する。例えば、情報処理部5は、第1部分に関する第1の対象物情報D1(情報D1a)の確度と、第2部分に関する第1の対象物情報(情報D1b)の確度Dpbとの比較によって、第1部分または第2部分に関するデータ量の低減量を決定する。例えば、第1部分に関する確度Dpaが第2部分に関する確度Dpbよりも低い場合、情報処理部5は、第1部分に関する情報Dpbのデータ量を、第2部分に関する情報Dpaのデータ量よりも相対的に又は絶対的に少なくする。例えば、第1の対象物情報D1において、第1部分に関する情報Dpaおよび第2部分に関する情報Dpbは、それぞれ、4つのデータ点Mを含み、情報処理部5は、第2の対象物情報D2において、第1部分に関する情報D2aを1つのデータ点で表すことによって、データ量を低減する。また、図2に示すように、例えば、確度情報Dpは、各データ点Mの確度が各データ点Mに対応して配列された参照データである。情報処理部5は、第1の対象物情報D1の各データ点Mに対応させて上記の参照データを各データ点Mにマッチングさせて、参照データ内の各確度に応じて、データ点Mごとにデータ量を低減する。
また、情報処理部5は、対象物OBの第1部分に関する第1の対象物情報D1(情報D1a)の確度Dpaと閾値との比較によって、第1部分におけるデータ低減量を決定してもよい。図2(B)には、確度とデータ量の低減量の関係の一例を示した。情報処理部5は、第1部分の確度Dpaが閾値Vt1以上である場合、データ量の低減量(例、圧縮率)を値R1に決定する。値R1は、情報D1aのデータ量に対する比率が0%(例、無圧縮)でもよいし、0%よりも大きい任意の値でもよい。また、情報処理部5は、第1部分の確度Dpaが閾値Vt1未満閾値Vt2以上である場合、データ量の低減量を値R2に決定する。値R2は、値R1よりも大きい値(例、高圧縮率)である。また、情報処理部5は、第1部分の確度Dpaが閾値Vt2未満である場合、データ量の低減量を値R3に決定する。値R3は、値R2よりも大きい値(例、高圧縮率)である。値R3は、データ削除に相当する値でもよいし、情報D1aのデータ量に対する比率が100%よりも小さい任意の値でもよい。
なお、図2(B)では2つの閾値Vt1、閾値Vt2を用いる例を示したが、閾値の数は1つでもよいし、3つ以上の任意の数でもよい。また、閾値は、予め定められた固定値でもよいし、第1の対象物情報D1の確度に応じた可変値でもよい。例えば、閾値は、確度の分布に基づいて算出(決定)されてもよい。例えば、閾値は、第1の対象物情報D1に関する確度情報Dpにおける確度の統計量(例、平均値、最頻値、標準偏差)を用いて決定されてもよい。
次に、検出装置1の各部について説明する。図3は、検出部2の一例を示す図である。検出部2は、例えば、一視点から対象物OBを見た画像と、一視点から対象物OB上の各点までの距離との少なくとも一方を取得する。検出部2は、例えば、所定の視角で対象物OBを検出してもよい。検出部2は、例えば、所定の視線(例、単一の視線)で対象物OBを検出してもよい。検出部2は、例えば、撮像部11および測距部12を含む。撮像部11は、対象物OBを撮像する。測距部12は、視点Vp(図1(A)参照)から対象物OB上の各点までの距離を検出する。なお、検出部2は、撮像部11または測距部12を含まなくてもよい。
撮像部11は、結像光学系13および撮像素子14を備える。結像光学系13は、対象物OBの像を形成する。結像光学系13は、例えば鏡筒内に保持され、鏡筒とともに本体部9(図1参照)に取り付けられる。結像光学系13および鏡筒は、例えば交換レンズであり、本体部9から取り外し可能である。結像光学系13および鏡筒は、内蔵レンズでもよく、例えば鏡筒は、本体部9の一部でもよいし、本体部9から取り外し不能でもよい。
撮像素子14は、例えば、複数の画素が二次元的に配列されたCMOSイメージセンサ、あるいはCCDイメージセンサである。撮像素子14は、例えば本体部9に収容される。撮像素子14は、結像光学系13が形成した像を撮像する。撮像素子14の撮像結果(検出結果)は、例えば、各画素の色ごとの階調値の情報(例、RGBデータ)を含む。撮像素子14は、例えば、撮像結果をフルカラー画像のデータ形式で出力する。
測距部12は、対象物OBの表面上の各点からの距離を検出する。測距部12は、例えば、TOF(time of flight)法により距離を検出する。測距部12は、その他の手法で距離を検出するものでもよい。例えば、測距部12は、レーザスキャナを含み、レーザスキャンにより距離を検出するものでもよい。例えば、測距部12は、対象物OBに所定のパターンを投影し、このパターンの検出結果をもとに距離を測定するものでもよい。また、測距部12は、位相差センサを含み、位相差法により距離を検出するものでもよい。また、測距部12は、DFD(depth from defocus)法により距離を検出するものでもよい。DFD法を用いる場合、測距部12は、撮像部11の結像光学系13と撮像素子14の少なくとも一方を用いるものでもよい。
測距部12は、例えば、照射部15、結像光学系16、撮像素子17、及びコントローラ18を備える。照射部15は、対象物OBに赤外光を照射可能である。照射部15は、コントローラ18に制御される。コントローラ18は、照射部15から照射される赤外光の強度を時間変化させる(例、振幅変調する)。結像光学系16は、対象物OBの像を形成する。結像光学系16は、結像光学系13と同様に、交換レンズの少なくとも一部でもよいし、内蔵レンズの少なくとも一部でもよい。撮像素子17は、例えば、CMOSイメージセンサ、あるいはCCDイメージセンサである。撮像素子17は、少なくとも照射部15が照射する光の波長帯に感度を有する。撮像素子17は、例えば、コントローラ18に制御され、対象物OBで反射散乱した赤外光を検出する。例えば、撮像素子17は、結像光学系16が形成した像を撮像する。
コントローラ18は、撮像素子17による検出結果を使って、対象物OBの表面の各点から撮像素子17までの距離(デプス)を検出する。例えば、対象物OBの表面上の点から撮像素子17に入射する光の飛行時間は、この点のデプスに応じて変化する。撮像素子17の出力は飛行時間に応じて変化し、コントローラ18は、例えば、撮像素子17の出力をもとにデプスを算出する。コントローラ18は、例えば、撮像素子17が撮像した画像の一部の領域(例、1画素、複数の画素)ごとにデプスを算出し、この領域の位置とデプスとを関連付けて、デプス情報を算出(生成)する。デプス情報は、例えば、対象物OBの表面上の点の位置と、この点から検出装置1までの距離(デプス、深度)とを関連付けた情報を含む。デプス情報は、例えば、対象物OBにおけるデプスの分布(例、デプスマップ)を示す情報(例、デプス画像)を含む。
図4は、実施形態に係る情報算出部4、確度算出部3、情報処理部5、及び記憶部6を示すブロック図である。記憶部6は、例えば不揮発性メモリを含む。記憶部6は、例えば、検出部2の検出結果(例、撮像画像データD11、デプス情報D12)、情報算出部4の算出結果(点群データD13、サーフェス情報D14、テクスチャ情報D15)、確度算出部3の算出結果(確度情報Dp)、情報処理部5が生成(更新、調整)した情報、デバイス特性情報D16、設定情報、及び処理を実行させるプログラム等を記憶する。
情報算出部4は、例えば、デジタルシグナルプロセッサ(digital signal processor; DSP)を含む。なお、図3の説明では測距部12がデプス情報を生成するものとしたが、情報算出部4は、測距部12が検出したデプスをもとにデプス情報を生成してもよい。情報算出部4は、点群データ生成部21、サーフェス情報生成部22、及びテクスチャ情報生成部23を備える。点群データ生成部21は、例えば、形状情報として、検出部2の検出結果をもとに対象物OB上の複数の点の座標を含む点群データD13を算出する。情報算出部4は、測距部12の検出結果(例、デプス情報)を使って、点群データD13を算出する(点群データ処理)。例えば、点群データ生成部21は、デプス情報が示す距離画像(デプス画像)から平面画像への透視変換などにより、点群データを算出する。なお、点群データ生成部21は、撮像部11と測距部12とで視野が異なる場合、例えば、測距部12の検出結果を透視変換(射影変換)などによって、撮像部11の視野から対象物OBを検出した結果に変換してもよい。点群データ生成部21は、例えば、撮像部11の視野と測距部12の視野との位置関係(例、視点の位置、視線の向き)に依存するパラメータを使って、透視変換を実行してもよい。情報算出部4は、算出した点群データD13を記憶部6に記憶させる。
また、サーフェス情報生成部22は、形状情報として、検出部2の検出結果をもとに対象物OB上の複数の点の座標と複数の点間の連結情報とを含むサーフェス情報を生成する。サーフェス情報は、例えばポリゴンデータ、ベクタデータ、ドローデータなどである。連結情報は、例えば、対象物OB上の2点を結ぶ線の情報(線情報D21)、及び対象物OB上の3つ以上線に囲まれる面の情報(面情報D22)を含む。線情報D21は、例えば、対象物OBの稜線(例、エッジ)に相当する線の両端の点を互いに関連付ける情報である。面情報D22は、対象物OBの面の輪郭に相当する複数の線を互いに関連付ける情報である。
サーフェス情報生成部22は、線情報生成部25および面情報生成部26を備える。線情報生成部25は、例えば、点群データD13を用いて、線情報D21を生成する。面情報生成部26は、例えば、線情報D21を用いて、面情報D22を生成する。情報算出部4は、例えば、点群データD13に含まれる複数の点から選択される点とその近傍の点との間の面を推定し、点群データを点間の平面情報を持つポリゴンデータに変換する(サーフェス処理)。情報算出部4は、例えば、最小二乗法を用いたアルゴリズムにより、点群データをポリゴンデータへ変換する。このアルゴリズムは、例えば、点群処理ライブラリに公開されているアルゴリズムを適用したものでもよい。情報算出部4は、算出したサーフェス情報を記憶部6に記憶させる。
テクスチャ情報生成部23は、例えばインバースレンダリングの手法により、テクスチャ情報D15を算出する。テクスチャ情報D15は、例えば、対象物OBの表面の模様を示すパターン情報、対象物OBを照らす光の光源情報、及び対象物OBの表面の光学特性(例、反射率、散乱率、透過率)を示す光学特性情報の少なくとも1項目の情報を含む。光源情報は、例えば、光源の位置、光源から対象物へ光が照射される方向、光源から照射される光の波長、光源の種類のうち少なくとも1項目の情報を含む。
テクスチャ情報生成部23は、例えば、ランバート反射を仮定したモデル、アルベド(Albedo)推定を含むモデルなどを利用して、光源情報を算出する。例えば、情報算出部4は、撮像部11が撮像した画像の各画素の画素値のうち、対象物OBで拡散した光に由来する成分と対象物OBで正反射した成分とを推定する。また、テクスチャ情報生成部23は、例えば、対象物OBで正反射した成分の推定結果、及び形状情報を使って、光源から対象物OBへ光が入射してくる方向を算出する。テクスチャ情報生成部23は、例えば、算出した光源情報および形状情報を使って対象物OBの反射特性を推定し、反射特性の推定結果を含む光学特性情報を算出する。また、情報算出部4は、例えば、算出した光源情報および光学特性情報を使って、可視光画像のデータから照明光の影響を除去して、テクスチャ情報D15(パターン情報)を算出する。情報算出部4は、算出したテクスチャ情報D15を記憶部6に記憶させる。
確度算出部3は、例えば、デバイス特性情報D16に基づいて、確度情報を算出する。デバイス特性情報D16は、検出装置1に設けられる各部の特性を示す情報である。デバイス特性情報D16は、例えば、検出部2に設けられる光学系(例、結像光学系13、結像光学系16)の光学特性(例、収差)、測距部12の測距レンジなどの特性を含む。
図5は、デバイス特性情報D16に基づく確度情報の説明図である。図5(A)は、撮像部11による撮像画像Im1の一例を示す概念図である。結像光学系13(図3参照)は、例えば、光軸13aから離れるほど収差が大きくなる。例えば、結像光学系13の光軸13aは撮像部11の視野中心14aに対応し、撮像部11は、撮像素子14において視野中心14aから離れた領域(例、1画素、複数画素)であるほど、この領域を用いた検出結果の信頼度が低下する。図5(A)において、符号Imcは、撮像部11の視野中心に相当する撮像画像Im1上の位置である。撮像画像Im1は、例えば、位置Imcから離れるにつれて収差の影響が大きくなり、ボケ等により被写体の再現性(検出結果の信頼度)が低くなる。確度算出部3は、例えば、撮像画像Im1の領域(例、1画素、複数画素)ごとに、位置Imcからの距離に基づいて確度情報を算出する。
図5(B)は、撮像画像Im1上の撮像部11の視野中心(位置Imc)からの距離に応じた確度の一例を示す概念図である。図5(B)において、縦軸は確度P1であり、横軸は撮像画像Im1上の位置である。確度P1は、例えば、位置Imcにおいて極大をとり、位置Imcから離れるにつれて減少する。確度P1と撮像部11の視野中心からの距離との関係は、例えば、結像光学系13による収差の撮像素子14上の分布に基づいて定められる。ここでは、確度P1は、位置Imcからの距離に対して非線形に変化するが、位置Imcからの距離に対して線形に変化してもよいし、不連続に(例、ステップ的に)変化してもよい。
確度P1と、撮像画像Im1上の撮像部11の視野中心からの距離との関係を示す情報(以下、第1関係情報という)は、例えば、上記のデバイス特性情報D16に含まれ、記憶部6(図4参照)に予め記憶される。確度算出部3は、例えば、撮像画像Im1の領域(例、1画素、複数画素)ごとに位置Imcからの距離を算出する。確度算出部3は、算出した距離を第1関係情報と照合して、この領域における確度P1を算出する。確度算出部3は、例えば、確度情報として、各領域の位置と確度P1とを関連付けた情報(以下、確度P1の情報という)を算出する。
なお、確度算出部3は、結像光学系13の収差(例、収差の分布)に基づいて確度情報を算出してもよい。また、確度算出部3は、結像光学系13の収差および視野中心からの距離に基づいて確度情報を算出してもよい。また、確度算出部3は、測距部12の検出結果に対して、測距部12の視野中心からの距離と結像光学系16の収差の少なくとも一方に基づいて、確度情報を算出してもよい。
また、撮像画像Im1は、例えば、対象物OBからの反射光により、その一部の領域において明るさが飽和することがある。また、対象物OB上には、例えば、他の物体の影がある場合など、視点Vpから見て暗い部分ができる場合がある。確度算出部3は、例えば、撮像画像Im1における明るさ(明暗)に基づいて確度情報を算出してもよい。図5(C)は、撮像画像Im1における明るさに応じた確度P2の一例を示す概念図である。図5(C)において、縦軸は確度P2であり、横軸は明るさ(例、画素の階調値)である。ここでは、明るさが所定の範囲BR内である場合に一定であり、明るさが範囲BRよりも低下する(暗くなる)につれて確度P2が低くなり、また明るさが範囲BRよりも増加する(明るくなる)につれて確度P2が低くなる。明るさと確度との関係は、例えば実験やシミュレーションなどに基づいて任意に設定される。例えば、確度P2は、明るさに対して非線形に変化してもよいし、線形に変化してもよく、不連続に(例、ステップ的に)変化してもよい。
明るさと確度との関係を示す情報(以下、第2関係情報という)は、例えば、記憶部6(図4参照)に予め記憶される。確度算出部3は、撮像画像の領域(例、1画素、複数画素)ごとの明るさ(例、階調値)を上記の第2関係情報と照合し、この領域における確度P2を算出する。確度算出部3は、例えば、確度情報として、各領域の位置と確度P2とを関連付けた情報(以下、確度P2の情報という)を算出する。
上述の確度P1の情報と確度P2の情報との少なくとも一方は、撮像画像のデータと同じファイルに格納されてもよい。例えば、この情報のデータ構造(データ形式、データフォーマット)は、例えば、画素の階調値(R、G、Bの各階調値)と、確度(例、確度P1と確度P2との少なくとも一方)とを組にした構造でもよい。また、確度P1の情報と確度P2の情報との少なくとも一方は、撮像画像のデータと別のファイルに格納されてもよい。例えば、確度P1の情報のデータ構造は、撮像画像の画素配列に対応させて、各画素の確度の値を配列した構造でもよい。なお、確度算出部3は、検出部2に設けられる光学系(例、結像光学系13、結像光学系16)の光学特性に基づいた確度情報の算出を行わなくてもよい。例えば、確度算出部3は、上述の確度P1と確度P2の少なくとも一方を算出しなくてもよい。
また、確度算出部3は、例えば、測距部12が検出した距離に基づいて確度情報Dpを算出する。図6は、測距部12が検出した距離に基づいた確度情報の説明図である。図6(A)は、デプス情報(デプス画像Im2)の一例を示す概念図である。図6(A)において、対象物OBを点線で表し、検出部2の検出領域A1に含まれる領域(例、デプス画像Im2の1画素、複数画素)ごとの距離をグレースケールで表した。デプス画像Im2において、階調値が高い(白に近い)部分は視点Vpからの距離が近く、階調値が低い(黒に近い)部分は視点Vpから遠い。
図6(B)は、距離と確度P3との関係の一例を示す図である。測距部12は、例えば、視点Vpから遠い位置であるほどその検出結果の信頼度(例、検出精度)が低下する場合がある。このような場合、確度算出部3は、例えば、確度情報として距離に対して負の相関をもつ値の確度P3を算出する。図6(B)において、確度P3は、視点Vpからの距離が遠くなるにつれて減少する。確度P3と視点Vpからの距離との関係を示す情報(以下、第3関係情報)は、例えば、予め記憶部6(図4参照)に記憶される。確度算出部3は、例えば、デプス画像Im2(図5(A)参照)上の領域(例、1画素、複数画素)ごとに、領域における視点Vpまでの距離を第3関係情報に照合して、この領域の確度P3を算出する。確度算出部3は、例えば、確度情報として、各領域の位置と確度P3とを関連付けた情報(以下、確度P3の情報という)を算出する。
図5(C)は、距離と確度P3との関係の他の例を示す図である。測距部12は、例えば所定の測距範囲(測距レンジ)を有し、測距範囲の中心から離れるほど検出結果の信頼度(例、検出精度)が低下する場合がある。このような場合、確度算出部3は、例えば、確度情報として、測距範囲の中心と、所定の視点からの距離とのずれ量に基づいて、確度情報を算出してもよい。図5(C)において、確度P3は、測距範囲の中心で極大となり、距離が測距範囲の中心からずれるほど低下する。図5(B)および図5(C)に示したように、距離と確度P3との関係は、例えば測距部12の特性に応じて適宜設定される。
また、確度算出部3は、測距部12が検出した距離の分布に基づいて、確度情報を算出してもよい。図7は、距離の分布に基づいた確度情報の説明図である。図7(A)は、デプス情報(デプス画像Im2)の一例および対象物OBを示す概念図である。図7において、符号X1~X5は、デプス画像Im2上の1方向の位置を示す。位置X1はデプス画像Im2の一端の位置であり、位置X2はデプス画像Im2の他端の位置である。位置X1から位置X3の区間は、対象物OBの背景(例、床、壁)の部分である。位置X3から位置X4の区間は、対象物OBの前面OB1の部分である。位置X4から位置X5の区間は、前面OB1と段差を有する面OB2の部分である。位置X5と位置X2の区間は、対象物OBの背景の部分である。位置X3は、前面OB1に対する側面OB3の部分であり、位置X4は、前面OB1と面OB2との間の側面OB4の部分である。位置X5は、面OB2に対する側面OB5の部分である。側面OB3、側面OB4、側面OB5は、例えば、視点Vpからの視線に対して、平行に近い面であり、検出結果の信頼度が低い場合がある。
図7(B)は、図7(A)の線Imd上における距離の分布を示す概念図である。図7(B)において、視点Vpからの距離は、位置X3、位置X4、位置X5のそれぞれにおいて、ステップ的に変化する。測距部12の検出結果の信頼度は、例えば、距離の変化量が閾値よりも大きい位置(例、段差の近傍)で低下する。このような場合、確度算出部3は、例えば、確度情報として、距離の変化量に応じた確度を算出してもよい。例えば、確度算出部3は、確度情報として、距離の変化量に対して負の相関の値の確度を算出してもよい。例えば、確度算出部3は、距離の変化量が相対的に小さい領域について、測距部12の検出結果の信頼度が高いことを示す確度を算出してもよい。また、例えば、確度算出部3は、距離の変化量が相対的に大きい領域について、測距部12の検出結果の信頼度が低いことを示す確度を算出してもよい。
図7(C)は、距離の変化量に基づいた確度P4の分布の一例を示す概念図である。ここでは、図7(B)の距離の分布に応じた確度P4の分布を概念的に示した。距離の変化量は、例えば、検出部2の視点を通る視線と、対象物OB上の面との傾きに応じた量である。例えば、距離の変化量が大きい場合、視線に対して対象物OB上の面が平行に近く、距離の変化量が小さい場合、視線に対して対象物OB上の面が垂直に近い。図7(C)において、距離の変化量が大きい位置(例、位置X3,X4、位置X5)において確度P4が相対的に低い。確度算出部3は、例えば、デプス画像Im2の領域ごとに距離の変化量(例、隣接する2つの領域におけるデプスとの差分)を算出し、算出した変化量と閾値とを比較する。確度算出部3は、例えば、距離の変化量が閾値以下である場合に、この領域の確度P4をハイレベルとする。確度算出部3は、距離の変化量が閾値よりも大きい場合に、この領域の確度P4をローレベルとする。
図7(D)は、距離の変化量と確度P4との関係の一例を示す概念図である。図7(D)において、確度P4は、距離の変化量が閾値Dth以下の範囲において一定であり、距離の変化量が閾値Dthを超える範囲において減少する。なお、確度P4は、距離の変化量に対して、非線形に変化してもよいし、線形に変化してもよく、不連続に(例、ステップ的に)変化してもよい。確度P4と、視点Vpからの距離の変化量との関係を示す情報(以下、第4関係情報)は、例えば、予め記憶部6(図1参照)に記憶される。確度算出部3は、例えば、デプス画像Im2(図7(A)参照)上の領域(例、1画素、複数画素)ごとに、視点Vpまでの距離の変化量を算出し、この変化量を第4関係情報に照合して各領域の確度P4を算出する。確度算出部3は、例えば、確度情報として、各領域の位置と確度P4とを関連付けた情報(以下、確度P4の情報という)を算出する。
上述の確度P3の情報と確度P4の情報との少なくとも一方は、デプス情報と同じファイルに格納されてもよい。例えば、この情報のデータ構造(データ形式、データフォーマット)は、例えば、検出領域A1の一部の領域ごとに、確度(確度P3と確度P4との少なくとも一方)とデプスとを組にした構造でもよい。例えば、この情報は、デプス画像Im2の領域(例、1画素、複数画素)ごとに、デプスの値と確度とを組にした形式で表されてもよい。また、確度P3の情報と確度P4の情報との少なくとも一方は、デプス情報と別のファイルに格納されてもよい。例えば、確度P1の情報のデータ構造と確度P2の情報のデータ構造の少なくとも一方は、デプス情報における各領域の距離のデータ配列に対応させて、各領域の確度の値を配列した構造でもよい。
なお、確度算出部3は、確度P3の情報と確度P4の情報との少なくとも一方を算出しなくてもよい。また確度算出部3は、検出部2(例、測距部12)が検出した距離に基づいた確度情報の算出を行わなくてもよい。なお、確度算出部3は、上記の確度P1~確度P4の2つ以上を組み合わせた確度を算出してもよい。例えば、確度算出部3は、上記の確度P1~確度P4の2つ以上を用いた重み付け(加重平均(weighted average)の算出)を行って、確度を算出してもよい。また、確度算出部3は、確度P1~確度P4のうち2つ以上の相加平均と相乗平均との少なくとも一方を、確度として算出してもよい。
なお、情報算出部4は、確度情報Dpを用いて点群データD13を算出してもよい。例えば、情報算出部4は、デプス画像において確度が相対的に高い領域を選択して、デプス画像から平面画像への透視変換を行ってもよい。例えば、情報算出部4は、デプス画像において確度が相対的に低い領域の少なくとも一部の透視変換を省略してもよい。また、情報算出部4は、例えば、デプス画像において確度が相対的に高い領域を用いて、確度が相対的に低い領域を補間し、デプス画像から平面画像への透視変換を行ってもよい。情報算出部4は、例えば、点群データD13と確度情報Dpとを関連付けた情報を生成してもよい。例えば、情報算出部4は、点群データD13に含まれる3次元の点座標と、この点に対応するデプス画像上の点の確度(点確度情報Dp1)とを関連付けた情報を算出してもよい。この情報のデータ構造は、例えば、3次元の点座標と確度とを組にした構造でもよい。情報算出部4は、例えば、点群データD13と点確度情報Dp1とを関連付けた情報を、記憶部6に記憶させてもよい。
図4の説明に戻り確度算出部3は、例えば、情報算出部4が生成した点群データD13を用いて、点群データD13に含まれる点の情報に関する確度情報(点確度情報Dp1)を算出する。例えば、確度算出部3は、点群データD13に含まれる2点間の距離情報に基づいて、点確度情報Dp1を算出してもよい。例えば、確度算出部3は、点群データD13から隣接する2点を選択し、これら2点間の距離を閾値と比較して、点確度情報Dp1を算出してもよい。また、確度算出部3は、点群データD13に含まれる複数の点の空間周波数情報(例、点の空間分布の粗密)に基づいて、点確度情報Dp1を算出してもよい。また、確度算出部3は、点群データD13に含まれる2点を結ぶベクトル情報に基づいて、点確度情報Dp1を算出してもよい。例えば、確度算出部3は、点群データD13から隣接する2点を選択し、これら2点を結ぶベクトルと、検出装置1の位置情報とを用いて、点確度情報Dp1を算出してもよい。検出装置1の位置情報は、例えば、視点Vpの向き(検出方向、視線、光学系の光軸の方向)を含む。確度算出部3は、例えば、点群データD13に含まれる2点を結ぶベクトルと視点Vpの向きとの角度に応じて、点確度情報Dp1を算出してもよい。例えば、確度算出部3は、上記のベクトルと視点Vpの向きとの角度が0°あるいは180°に近い場合、上記のベクトルの始点と終点との少なくとも一方の確度を相対的に低くしてもよい。また、例えば、確度算出部3は、上記のベクトルと視点Vpの向きとの角度が90°あるいは270°に近い場合、確度を相対的に高くしてもよい。
なお、確度算出部3が点確度情報Dp1の算出に用いる情報は、上記の距離情報、空間周波数情報、ベクトル情報、及び検出装置1の位置情報のうち、1種類でもよいし、2種類以上でもよい。確度算出部3が点確度情報Dp1の算出に用いる点群データD13は、情報算出部4が確度情報Dpを用いて生成したものでもよいし、情報算出部4が確度情報Dpを用いないで生成したものでもよい。
また、確度算出部3は、例えば、線の情報に関する確度情報Dp(線確度情報Dp2)を算出する。例えば、例えば、確度算出部3は、線の端点に相当する2点の点確度情報Dp1を用いた相加平均、相乗平均、あるいは加重平均によって、線確度情報Dp2を算出してもよい。また、例えば、確度算出部3は、2つの端点の確度のうち低い方の値を閾値と比較して、線の確度を算出(評価)してもよい。また、確度算出部3は、線情報D21を用いて線確度情報を算出してもよい。例えば、確度算出部3は、上述の点群データD13を用いた点確度情報Dp1の算出と同様に、上記の距離情報、ベクトル情報、及び検出装置1の位置情報の少なくとも1つを用いて、線確度情報Dp2を算出してもよい。確度算出部3は、算出した線確度情報Dp2を記憶部6に記憶させる。
また、確度算出部3は、例えば、面の情報に関する確度情報Dp(面確度情報Dp3)を算出する。例えば、確度算出部3は、面の外周線に相当する線の線確度情報Dp2を用いた相加平均、相乗平均、あるいは加重平均によって、面確度情報Dp3を算出してもよい。また、確度算出部3は、面の法線方向と、検出装置1の位置情報(例、視点Vpの向き)とを用いて、確度情報を算出してもよい。例えば、確度算出部3は、例えば、面の法線ベクトルと視点Vpの向きとの角度に応じて、面確度情報Dp3を算出してもよい。例えば、確度算出部3は、面の法線ベクトルと視点Vpの向きとの角度が0°あるいは180°に近い場合(例、面と視線が平行に近い場合)、面の確度を相対的に低くしてもよい。また、例えば、確度算出部3は、面の法線ベクトルと視点Vpの向きとの角度が90°あるいは270°に近い場合(面と視線が垂直に近い場合)、面の確度を相対的に高くしてもよい。確度算出部3は、算出した面確度情報Dp3を記憶部6に記憶させる。
なお、情報算出部4は、例えば、確度情報Dpを用いてサーフェス情報を算出してもよい。例えば、情報算出部4は、確度が閾値あるいは相対値よりも低い点の情報を除いて、線情報D21を算出してもよい。また、情報算出部4は、確度が閾値以上あるいは相対値以上の点の情報を用いて点群データD13を補間し、線情報D21を算出してもよい。また、情報算出部4は、例えば、線情報D21と線確度情報Dp2とを関連付けた情報を生成してもよい。例えば、情報算出部4は、線情報D21に含まれる線の端点のインデックスあるいは3次元座標と、線の確度(線確度情報Dp2)とを関連付けた情報を算出してもよい。この情報のデータ構造は、例えば、端点のインデックスあるいは3次元座標と確度とを組にした構造でもよい。情報算出部4は、例えば、線情報D21と線確度情報Dp2とを関連付けた情報を、記憶部6に記憶させてもよい。また、情報算出部4は、確度が閾値あるいは相対値よりも低い線情報D21を除いて、面情報D22を算出してもよい。また、情報算出部4は、確度が閾値以上あるいは相対値以上の線情報D21を用いて線情報D21を補間し、面情報D22を算出してもよい。また、情報算出部4は、例えば、面情報D22と面確度情報Dp3とを関連付けた情報を生成してもよい。例えば、情報算出部4は、面情報D22の外周線の線情報D21と、外周線の確度(線確度情報Dp2)とを関連付けた情報を算出してもよい。この情報のデータ構造は、例えば、外周線のインデックスと確度とを組にした構造でもよい。情報算出部4は、例えば、面情報D22と面確度情報Dp3とを関連付けた情報を、記憶部6に記憶させてもよい。
なお、情報算出部4は、サーフェス情報D14を生成する際に確度情報Dpを用いなくてもよい。例えば、情報算出部4は、確度情報Dpを用いて点群データD13を生成し、この点群データD13をもとにサーフェス情報D14を生成する際に、確度情報Dpを用いなくてもよい。また、情報算出部4は、点確度情報Dp1を用いて線情報D21を生成し、この線情報D21をもとに面情報D22を生成する際に、線確度情報Dp2を用いなくてもよい。
情報処理部5は、図2に示したように第1の対象物情報D1(入力データ)と確度情報Dpとを用いて、第1の対象物情報D1よりもデータ量が少ない第2の対象物情報D2(出力データ)を生成する。情報処理部5は、例えば、測距部12の検出結果から得られるデプス情報D12を第1の対象物情報として用いる。例えば、情報処理部5は、デプス情報調整部31を備え、デプス情報調整部31は、デプス情報D12(第1の対象物情報)のうち第2の対象物情報に含める情報を確度情報に基づいて選定する。デプス情報調整部31は、例えば、確度情報Dpに基づいて、デプス情報D12で表されるデータ空間の領域(例、デプス画像の1画素または複数の画素)ごとに、データ量を低減するか否かを判定する。デプス情報調整部31は、例えば、デプス情報D12で表されるデータ空間の領域(例、デプス画像の1画素または複数の画素)ごとに、データ量の低減量を確度の値に応じて決定する。デプス情報調整部31は、例えば、デプス情報(デプス画像)のうち、確度が閾値よりも低い部分あるいは他の部分よりも低い部分の解像度を下げることで、データ量を低減したデプス情報を第2の対象物情報として生成する。デプス情報調整部31は、例えば、データ量を低減したデプス情報D12を記憶部6に記憶させる(上書きする)ことで、デプス情報D12を更新する。
また、情報処理部5は、例えば、点群データD13を第1の対象物情報(入力データ)として点群データD13を用い、データ量が低減された点群データD13を第2の対象物情報(出力データ)として生成する。例えば、情報処理部5は、点群データ調整部32を備え、点群データ調整部32は、点群データD13のうち第2の対象物情報に含める情報を確度情報Dpに基づいて選定する。点群データ調整部32は、例えば、点群データD13に関する点確度情報Dp1に基づいて、点群データD13のうち第2の対象物情報に含める情報を選定する。
図8(A)は、点群データ調整部32の処理を示す概念図である。点群データD13a(第1の対象物情報)は、点Q1、点Q2、点Q3、点Q4、・・・、点Qnのそれぞれの3次元座標を含む。ここでは、点Q1の3次元座標をQ1(x1,y1,z1)で表し、点Q2~Qnについても同様に表す。点確度情報Dp1は、点Q2~Qnのそれぞれの確度を含む。ここでは、点Q1の確度をQ1(Pq1)で表し、点Q2~Qnについても同様に表す。点群データ調整部32は、例えば、確度Q1(Pq1)を閾値と比較し、確度Q1(Pq1)が閾値以上である場合にQ1(x1,y1,z1)を点群データD13bに含めると判定する。また、点群データ調整部32は、例えば、確度Q1(Pq1)が閾値未満である場合にQ1(x1,y1,z1)を点群データD13bに含めないと判定する。例えば、図8(A)では、点Q2の確度Q2(Pq2)が閾値未満であり、点群データ調整部32は、点Q2の3次元座標Q2(x2,y2,z2)を除外して点群データD13bを生成する。点群データ調整部32は、例えば、第2の対象物情報において、点群データD13bに含まれる点の数を第1の対象物情報の点群データD13aよりも減らす。
なお、点群データ調整部32は、対象物OBの第1部分(例、点Q1)と、第2部分(例、点Q1以外の1点または複数点)とで確度を比較し、第1部分(例、点Q1)の3次元座標を点群データD13bに含めるか否かを判定してもよい。また、点群データ調整部32は、第2の対象物情報において点群データD13bに含まれる少なくとも一部の点の座標を第1の対象物情報の点群データD13aよりも少ないデータ量(例、ビット数)で表してもよい。例えば、点群データ調整部32は、点の3次元座標を点群データD13bから除外する代わりに、この点の3次元座標のデータ量(ビット数)を減らすことで、点群データD13bに含める情報を選定してもよい。例えば、点群データ調整部32は、図8(A)において、点Q2の3次元座標を表す情報(x2、y2、z2)のビット数を減らして点群データD13bに含めることで、点群データD13bに含める情報を選定してもよい。
図4の説明に戻り、点群データ調整部32は、データ量が低減された点群データD13(図8(A)の点群データD13b)を記憶部6に記憶させる。例えば、点群データ調整部32は、記憶部6に記憶されている点群データD13を、データ量が低減された点群データD13に更新する。情報算出部4は、例えば、データ量が低減された(更新された)点群データD13を用いて、サーフェス情報D14を算出する。この場合、例えば、情報算出部4の負荷を減らすことができる。また、情報処理部5は、確度情報に基づいて演算の精度を調整してもよい。例えば、情報処理部5は、確度が閾値以上あるいは相対値以上である場合に第1精度(例、倍精度浮動小数点数)で演算を行い、確度が閾値未満あるいは相対値未満である場合に第1精度よりも低い第2精度(例、単精度浮動小数点数)で演算を行ってもよい。この場合、例えば、情報算出部4の負荷を減らすことができる。例えば、情報算出部4の負荷が低減される場合、情報算出部4を持ち運び可能な機器などへ適用しやすい。
また、情報処理部5は、例えば、第1の対象物情報(入力データ)としてサーフェス情報D14を用い、データ量が低減されたサーフェス情報D14を第2の対象物情報(出力データ)として生成する。例えば、情報処理部5は、線情報調整部33を備え、線情報調整部33は、第1の対象物情報として線情報D21を用いて、線情報D21のうち第2の対象物情報に含める情報を確度情報Dpに基づいて選定する。線情報調整部33は、例えば、線確度情報Dp2に基づいて、線情報D21のうち第2の対象物情報に含める情報を選定する。また、情報処理部5は、例えば、面情報調整部34を備え、面情報調整部34は、第1の対象物情報として面情報D22を用いて、面情報D22のうち第2の対象物情報に含める情報を確度情報に基づいて選定する。
図8(B)は、線情報調整部33の処理の例を示す概念図である。線情報D21a(第1の対象物情報)は、例えば、線Labの情報、線Lbcの情報を含む。例えば、線Labの情報は、その端点(点Qa、点Qb)の連結情報を含み、点Qaのインデックスと点Qbのインデックスとを組にした情報を含む。線Lbcの情報は、線Labの情報と同様であり、点Qbのインデックスと点Qcのインデックスとを組にした情報を含む。図8(B)では、線Labの情報を符号Lab(Qa,Qb)で表し、他の線についても同様に表す。
線情報調整部33は、線情報D21aと確度情報Dpとを用いて、線情報D21b(第2の対象物情報)を生成する。ここで用いる確度情報Dpは、例えば、図4に示した点確度情報Dp1と線確度情報Dp2の少なくとも一方である。線情報調整部33は、例えば、第2の対象物情報において、線情報D21bに含まれる線の数を第1の対象物情報の線情報D1aよりも減らす。例えば、線情報調整部33は、点確度情報Dp1のうち点Qbの確度を閾値と比較し、点Qbの確度が閾値未満である場合に、点Qbを含む線Labおよび線Lbcの情報を削除する。線情報調整部33は、例えば、線Lab、線Lbcのうち点Qb以外の端点である点Qaと点Qcとを結ぶ線Lacの情報を生成し、線Lacの情報を線情報D21bに含める。点Qaから点Qcに至る線の情報は、線情報D21aでは線Labの情報および線Lbcの情報であったのに対して、線情報D21bでは線Lacの情報であり、線情報D21bは線情報D21aよりもデータ量が低減される。
上述の説明において、線情報調整部33は、確度が閾値未満である点Qbを含む線Labおよび線Lbcの情報を削除するが、線確度情報Dp2を用いて、確度が閾値未満である線Labおよび線Lbcの情報を削除してもよい。この場合、線情報調整部33は、線Lacの情報を線情報D21bに含めてもよいし、含めなくてもよい。線Lacの情報は、線情報調整部33が算出してもよいし、情報算出部4が算出してもよい。例えば、情報算出部4は、線Labおよび線Lbcの情報が削除された線情報D21b、あるいは点Qbの情報が削除された点群データD13を用いて、線情報D21を再度算出してもよい。
線情報調整部33は、データ量が低減された線情報D21bを記憶部6に記憶させる。例えば、線情報調整部33は、記憶部6に記憶されている線情報D21aを、データ量が低減された線情報D21bに更新する。情報算出部4は、例えば、データ量が低減された(更新された)線情報D21bを用いて、面情報D22を算出する。この場合、例えば、情報算出部4の負荷を減らすことができる。また、情報処理部5は、確度情報に基づいて演算の精度を調整してもよい。例えば、情報処理部5は、確度が閾値以上あるいは相対値以上である場合に第1精度(例、倍精度浮動小数点数)で演算を行い、確度が閾値未満あるいは相対値未満である場合に第1精度よりも低い第2精度(例、単精度浮動小数点数)で演算を行ってもよい。この場合、例えば、情報算出部4の負荷を減らすことができる。例えば、情報算出部4の負荷が低減される場合、情報算出部4を持ち運び可能な機器などへ適用しやすい。
図8(C)は、面情報調整部34の処理の例を示す概念図である。面情報D22a(第1の対象物情報)は、例えば、面Sdefの情報と、面Sedの情報と、面Sdfgの情報と、面degの情報とを含む。面defは、線Lde、線Lef、及び線Ldfを外周とする面であり、例えば、線Ldeのインデックス、線Lefのインデックス、及び線Ldfのインデックスを含む。ここでは、面defの情報をSdef(Lde,Lef,Ldf)で表し、他の面についても同様に表す。
面情報調整部34は、面情報D22aと確度情報Dpとを用いて、面情報D22b(第2の対象物情報)を生成する。ここで用いる確度情報Dpは、例えば、図4に示した点確度情報Dp1、線確度情報Dp2、及び面確度情報Dp3の少なくとも1つである。面情報調整部34は、第2の対象物情報において、面情報D22bに含まれる面の数を第1の対象物情報の面情報D22aよりも減らす。例えば、面情報調整部34は、点確度情報Dp1のうち点Qdの確度を閾値と比較し、点Qdの確度が閾値未満である場合に、点Qdを含む面Sdefの情報、面Sdfgの情報、及び面Sdegの情報を削除する。線情報調整部33は、例えば、面Sdefの外周線、面Sdfgの外周線、及び面Sdegの外周線のうち点Qdを含まない線Lef、線Lfg、及線Legに囲まれる面Sefgの情報を生成し、面Sefgの情報を面情報D22bに含める。点Qfを含む面の情報は、面情報D22aでは、面Sdefの情報、面Sdfgの情報、及び面Sdegの情報であったのに対して、面情報D22bでは面Sefgであり、面情報D22bは面情報D22aよりもデータ量が低減される。
上述の説明において、面情報調整部34は、確度が閾値未満である点Qdを含む点Qdを含む面Sdefの情報、面Sdfgの情報、及び面Sdegの情報を削除するが、線確度情報Dp2を用いて、確度が閾値未満である線Lde、線Ldf、及び線Ldgの少なくとも1つを含む面の情報を削除してもよい。また、面情報調整部34は、面確度情報Dp3を用いて、確度が閾値未満である面Sdefの情報、面Sdfgの情報、及び面Sdegの情報の少なくとも1つを削除してもよい。この場合、面情報調整部34は、面Sefgの情報を面情報D22bに含めてもよいし、含めなくてもよい。面Sefgの情報は、面情報調整部34が算出してもよいし、情報算出部4が算出してもよい。例えば、情報算出部4は、線Lde、線Ldf、及び線Ldgが削除された線情報D21b、あるいは点Qdの情報が削除された点群データD13を用いて、面情報D22を再度算出してもよい。面情報調整部34は、データ量が低減された面情報D22bを記憶部6に記憶させる。この場合、例えば、面情報D22を外部へ出力する際の通信量を低減すること、面情報D22を用いる処理(レンダリング処理)の負荷を減らすこと等ができる。
図4の説明に戻り、情報処理部5は、例えば、テクスチャ情報D15を第1の対象物情報として用いる。例えば、情報処理部5は、テクスチャ情報調整部35を備え、テクスチャ情報調整部35は、確度情報Dpに基づいて、テクスチャ情報D15の圧縮率を対象物OBの部分ごとに調整する。例えば、テクスチャ情報調整部35は、面確度情報Dp3を用いて、各面に対応するテクスチャ情報D15の圧縮率を調整する。例えば、テクスチャ情報調整部35は、確度が閾値以上の面に貼られるテクスチャ情報を第1の圧縮率(例、無圧縮)とし、確度が閾値未満の面に貼られるテクスチャ情報を第1の圧縮率よりも高い第2の圧縮率とする。テクスチャ情報調整部35は、例えば、第2の対象物情報において、対象物OBの少なくとも一部に関するテクスチャ情報に用いられる色の数を第1の対象物情報のテクスチャ情報よりも減らす。例えば、第1の対象物情報のテクスチャ情報において、対象物OBの部分ごとの画像(テクスチャ)は、RGBのそれぞれが8ビット(256階調)で表される(256×256×256)種類の色で表される。テクスチャ情報調整部35は、例えば、対象物OBのうち確度が相対的に低い部分について、RGBの少なくとも1つのビット数(階調)減らすことによって、第2の対象物情報における色の数を減らす。例えば、テクスチャ情報調整部35は、対象物OBのうち確度が相対的に低い部分の画像(テクスチャ)を、RGBのそれぞれが4ビット(16階調)で表される(16×16×16)種類の色で表す。テクスチャ情報調整部35は、データ量が低減されたテクスチャ情報D15を記憶部6に記憶させる。テクスチャ情報調整部35は、例えば、データ量を低減したテクスチャ情報D15を上書きすることで、テクスチャ情報D15を更新する。
なお、確度算出部3は、デプス確度情報Dp4、点確度情報Dp1、線確度情報Dp2、及び面確度情報Dp3の一部を算出しなくてもよい。また、情報処理部5は、デプス情報調整部31、点群データ調整部32、線情報調整部33、面情報調整部34,及びテクスチャ情報調整部35の一部を備えなくてもよい。情報算出部4は、情報処理部5によって情報が更新された後、更新された情報を用いてモデル情報の少なくとも一部を再度算出してもよい。
次に、上述の検出装置1の構成に基づき、実施形態に係る検出方法の一例について説明する。図9、図10は、実施形態に係る検出方法の一例を示すシーケンス図である。本実施形態においては、モデル情報の算出に先立ち制御部8が検出部2を制御して対象物OBを検出させ、例えば、記憶部6は、ステップS1において、検出部2の検出結果としてデプス情報D12を記憶する。制御部8は、ステップS2において、確度の算出指令を確度算出部3に送信する。ステップS3において、確度算出部3は、例えば、記憶部6に予め記憶されているデバイス特性情報D16し、ステップS4において記憶部6からデプス情報D12を取得する。確度算出部3は、ステップS5においてデバイス特性情報D16とデプス情報D12の少なくとも一方を用いて、デプス確度情報Dp4を算出し、記憶部6は、ステップS6においてデプス確度情報Dp4を記憶する。制御部8は、ステップS7において、情報の処理指令を情報処理部5に送信する。情報処理部5は、ステップS8において記憶部6からデプス情報D12を取得し、ステップS9において記憶部6からデプス確度情報Dp4を取得する。情報処理部5、ステップS10において、デプス情報D12を調整する。例えば、情報処理部5は、デプス情報D12を第1の対象物情報に用いて、デプス確度情報Dp4に基づいて第2の対象物情報を生成する。記憶部6は、ステップS11において、デプス情報D12を、情報処理部5が調整したデプス情報D12に更新する。
制御部8は、ステップS12において、点群データD13の算出指令を情報算出部4に供給する。情報算出部4は、ステップS13において、記憶部6からデプス情報D12を取得する。情報算出部4は、ステップS14において、デプス情報D12を用いて点群データD13を算出し、記憶部6は、ステップS15において点群データD13を記憶する。制御部8は、ステップS16において、確度の算出指令を確度算出部3に送信する。確度算出部3は、ステップS17において点群データD13を記憶部6から取得し、ステップS18において点確度情報Dp1を算出する。記憶部6は、ステップS19において、点確度情報Dp1を記憶する。制御部8は、ステップS20において、情報の処理指令を情報処理部5に送信する。情報処理部5は、ステップS21において点群データD13を取得し、ステップS22において点確度情報Dp1を取得する。情報処理部5は、ステップS23において、点群データD13を調整する。例えば、情報処理部5は、点群データD13を第1の対象物情報に用いて、点確度情報Dp1に基づいて第2の対象物情報を生成する。記憶部6は、ステップS24において、点群データD13を、情報処理部5が調整した点群データD13に更新する。
制御部8は、図10のステップS25において、線情報D21の算出指令を情報算出部4に供給する。情報算出部4は、ステップS26において、記憶部6から点群データD13を取得する。情報算出部4は、ステップS27において、点群データD13を用いて線情報D21を算出し、記憶部6は、ステップS28において線情報D21を記憶する。制御部8は、ステップS29において、確度の算出指令を確度算出部3に送信する。確度算出部3は、ステップS30において線情報D21を記憶部6から取得し、ステップS31において線確度情報Dp2を算出する。記憶部6は、ステップS32において、線確度情報Dp2を記憶する。制御部8は、ステップS33において、情報の処理指令を情報処理部5に送信する。情報処理部5は、ステップS34において線情報D21を取得し、ステップS35において線確度情報Dp2を取得する。情報処理部5は、ステップS36において、線情報D21を調整する。例えば、情報処理部5は、線情報D21を第1の対象物情報に用いて、線確度情報Dp2に基づいて第2の対象物情報を生成する。記憶部6は、ステップS37において、線情報D21を、情報処理部5が調整した線情報D21に更新する。
制御部8は、ステップS38において、面情報D22の算出指令を情報算出部4に供給する。情報算出部4は、ステップS39において、記憶部6から線情報D21を取得する。情報算出部4は、ステップS40において、線情報D21を用いて面情報D22を算出し、記憶部6は、ステップS41において面情報D22を記憶する。制御部8は、ステップS42において、確度の算出指令を確度算出部3に送信する。確度算出部3は、ステップS43において面情報D22を記憶部6から取得し、ステップS44において面確度情報Dp3を算出する。記憶部6は、ステップS45において、面確度情報Dp3を記憶する。制御部8は、ステップS46において、情報の処理指令を情報処理部5に送信する。情報処理部5は、ステップS47において面情報D22を取得し、ステップS48において面確度情報Dp3を取得する。情報処理部5は、ステップS49において、面情報D22を調整する。例えば、情報処理部5は、面情報D22を第1の対象物情報に用いて、面確度情報Dp3に基づいて第2の対象物情報を生成する。記憶部6は、ステップS50において、面情報D22を、情報処理部5が調整した面情報D22に更新する。
なお、情報処理部5(情報処理装置)は、検出装置1に設けられているが、検出装置1の外部に設けられてもよい。例えば、実施形態に係る情報処理装置は、第1の対象物情報および確度情報を外部の装置から受信し、受信した第1の対象物情報および確度情報を用いて第2の対象物情報を生成してもよい。また、実施形態に係る情報処理装置は、図4の情報算出部4および情報処理部5を備え、第1の対象物情報を自装置で算出し、確度情報を外部の装置から受信してもよい。また、検出装置1は、外部の装置(例、後に図12に示す情報処理装置51)、サーバから受信した確度情報を用いるものでもよい。この場合、確度算出部3は省略可能である。
[第2実施形態]
第2実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。
上述の実施形態において、情報算出部4および情報処理部5は、例えばコンピュータシステムを含む。情報算出部4および情報処理部5は、記憶部6に記憶されている検出プログラムを読み出し、この検出プログラムに従って各種の処理を実行する。この検出プログラムは、例えば、コンピュータに、視点Vpにおける対象物OBの確度情報を算出することと、視点Vpからの対象物OBの検出結果を用いて、視点Vpにおける対象物OBの形状情報とテクスチャ情報との少なくとも一方を含むモデル情報を算出することと、モデル情報またはモデル情報の生成に使われる元データを含む第1の対象物情報と、確度情報とを用いて、モデル情報または元データのデータ量を低減した第2の対象物情報を生成することと、を実行させる。この検出プログラムは、コンピュータ読み取り可能な記憶媒体に記録されて提供されてもよい。
[第3実施形態]
第3実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図11は、本実施形態に係る検出システム50の一例を示す図である。検出システム50は、検出装置1と、検出装置1から出力される情報を処理する情報処理装置51と、を備える。情報処理装置51には、例えば、入力装置52および表示装置53が設けられる。
情報処理装置51は、検出装置1との間の通信により、検出装置1から情報を取得する。情報処理装置51は、例えば、検出装置1から取得した情報(例、モデル情報、確度情報)を使って、レンダリング処理を実行する。例えば、情報処理装置51は、ユーザにより入力装置52に入力された視点の設定情報を元に、この視点から対象物OBを見た推定画像のデータを算出する。情報処理装置51は、例えば、推定画像のデータを表示装置53に供給し、表示装置53に推定画像を表示させる。
入力装置52は、例えば、キーボード、マウス、タッチパネル、加速度センサなどのセンサ、音声入力機、タッチ型ペンなどの少なくとも一つを含む。入力装置52は、情報処理装置51と接続される。入力装置52は、例えばユーザから情報の入力を受け付け、入力された情報を情報処理装置51に供給する。表示装置53は、例えば、液晶ディスプレイ又はタッチパネル型ディスプレイを含み、情報処理装置51と接続されている。表示装置53は、例えば、情報処理装置51から供給される画像データにより、画像(例、レンダリング処理による推定画像)を表示する。
図12は、本実施形態に係る検出システム50の一例を示すブロック図である。情報処理装置51は、通信部55、記憶部56、レンダリング処理部57、及び制御部58を備える。通信部55は、例えば、USBポート、ネットワークカード、電波または赤外線の無線通信を行う通信器のうち少なくとも一つを含む。通信部55は、検出装置1の通信部7と通信可能である。
記憶部56は、例えば、USBメモリなどの取り外し可能な記憶媒体、外付け型あるいは内蔵型のハードディスクなどの大容量記憶装置を含む。記憶部56は、例えば、通信部55を介して受信した情報の少なくとも一部のデータ、検出装置1を制御する撮像制御プログラム、情報処理装置51の各処理を実行させる処理プログラム、などを記憶する。
レンダリング処理部57は、例えば、グラフィックス プロセッシング ユニット(Graphics Processing Unit; GPU)を含む。なお、レンダリング処理部57は、CPUおよびメモリが画像処理プログラムに従って各処理を実行する態様でもよい。レンダリング処理部57は、例えば、描画処理、テクスチャマッピング処理、シェーディング処理の少なくとも一つの処理を行う。
レンダリング処理部57は、描画処理において、例えば、モデル情報の形状情報に定められた形状を任意の視点から見た推定画像(例、再構築画像)を算出できる。以下の説明において、形状情報が示す形状をモデル形状という。レンダリング処理部57は、例えば、描画処理によって、モデル情報(例、形状情報)からモデル形状(例、推定画像)を再構成できる。レンダリング処理部57は、例えば、算出した推定画像のデータを記憶部56に記憶させる。また、レンダリング処理部57は、テクスチャマッピング処理において、例えば、推定画像上の物体の表面に、モデル情報のテクスチャ情報が示す画像を貼り付けた推定画像を算出できる。レンダリング処理部57は、推定画像上の物体の表面に、対象物OBと別のテクスチャを貼り付けた推定画像を算出することもできる。レンダリング処理部57は、シェーディング処理において、例えば、モデル情報の光源情報が示す光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。また、レンダリング処理部57は、シェーディング処理において、例えば、任意の光源により形成される陰影を推定画像上の物体に付加した推定画像を算出できる。
レンダリング処理部57は、例えば、検出装置1が生成した確度情報を用いて、レンダリング処理を行う。例えば、レンダリング処理部57は、モデル形状のうち確度が相対的に高い領域の解像度を、確度が相対的に低い領域の解像度よりも高くしてもよい。例えば、レンダリング処理部57は、モデル形状のうち確度が相対的に低い領域の解像度を落として(例、ぼかして)、推定画像を生成してもよい。例えば、レンダリング処理部57は、モデル形状のうち確度が相対的に低い領域のレンダリング処理を、省略あるいは簡略化してもよい。例えば、レンダリング処理部57は、モデル形状のうち確度が相対的に低い領域を、確度が相対的に高い領域を用いて補間して、レンダリング処理を行ってもよい。
制御部58は、例えば、情報処理装置51の各部、検出装置1、入力装置52、及び表示装置53を制御する。制御部58は、例えば、通信部55を制御し、検出装置1に指令(制御信号)や設定情報を送信させる。制御部58は、例えば、通信部55が検出装置1から受信した情報を、記憶部56に記憶させる。制御部58は、例えば、レンダリング処理部57を制御し、レンダリング処理を実行させる。
なお、検出システム50は、入力装置52を備えなくてもよい。例えば、検出システム50は、各種の指令、情報が通信部7を介して入力される形態でもよい。また、検出システム50は、表示装置53を備えなくてもよい。例えば、検出システム50は、レンダリング処理により生成された推定画像のデータを外部の表示装置へ出力し、この表示装置が推定画像を表示してもよい。
[第4実施形態]
第4実施形態について説明する。本実施形態において、上述の実施形態と同様の構成については、同じ符号を付してその説明を省略あるいは簡略化する。図13は、本実施形態に係る検出システム50を示す図である。検出システム50は、複数の検出装置(第1検出装置1a、第2検出装置1b)と、複数の撮像装置から出力される情報を処理する情報処理装置51とを備える。
情報処理装置51は、第1検出装置1aとの間の通信により、対象物OBに対して第1視点の位置に配置された第1検出装置1aから情報(例、モデル情報、確度情報)を取得する。情報処理装置51は、対象物OBに対して第2視点の位置に配置された第2検出装置1bとの間の通信により、第2検出装置1bから情報(例、モデル情報、確度情報)を取得する。情報処理装置51は、第1視点から対象物OBを検出する第1検出装置1aから取得した情報、及び第2視点から対象物OBを検出する第2検出装置1bから取得した情報を使って、情報処理を行う。例えば、第1検出装置1aおよび第2検出装置1bは、それぞれ、自装置の視点(1視点、単一視点、1方向)から見た対象物OBを表すモデル情報を、情報処理装置51に供給する。情報処理装置51は、第1検出装置1aの視点(第1視点)から見た対象物OBを表す第1モデル情報と、第2検出装置1bの視点(第1視点とは異なる第2視点)から見た対象物を表す第2モデル情報とを統合するモデル統合処理を行う。
図14は、本実施形態に係る検出システム50を示すブロック図である。第1検出装置1aおよび第2検出装置1bは、それぞれ、例えば図1に示した検出装置1と同様の構成である。情報処理装置51は、モデル統合処理を行うモデル統合部59を備える。モデル統合部59は、例えば、第1検出装置1aからの第1モデル情報が示す形状から特徴点を抽出する。また、モデル統合部59は、第2検出装置1bからの第2モデル情報が示す形状から特徴点を抽出する。特徴点は、各モデル情報が示す形状のうち他の部分と識別可能な部分である。例えば、サーフェス情報において面に定義されている部分は、その外周の形状などにより、他の面と識別可能である。例えば、モデル統合部59は、各モデル情報に含まれる形状情報とテクスチャ情報とのうち少なくとも一方を使って特徴点を抽出する。また、モデル統合部59は、例えば、第1モデル情報と第2モデル情報とで特徴点をマッチングし、第1モデル情報と第2モデル情報とで共通する特徴点を検出する。また、モデル統合部59は、第1モデル情報と第2モデル情報とで共通する特徴点を用いて、第1モデル情報が示す形状と第2モデル情報が示す形状との相対位置、相対姿勢を算出し、第1モデル情報と第2モデル情報とを統合する。
モデル統合部59は、例えば、第1検出装置1aから供給される確度情報(第1確度情報)と、第2検出装置1bから供給される確度情報(第2確度情報)の少なくとも一部を用いて、モデル統合処理を行う。モデル統合部59は、例えば、確度情報に基づいて、モデル情報から統合に用いる情報を選択する。例えば、モデル統合部59は、モデル情報が示す形状から特徴点を抽出する際に、この形状のうち相対的に確度が高い領域から特徴点を抽出する。また、モデル統合部59は、例えば、第1モデル情報が示す形状と第2モデル情報が示す形状とで重複部分がある場合、第1確度情報と第2確度情報とを用いて重複部分における第1モデル情報の確度と第2モデル情報の確度とを比較し、相対的に確度が高い方のモデル情報を用いて重複部分の形状を表す。また、モデル統合部59は、例えば、上記の重複部分について、第1モデル情報と第2モデル情報とに重み付け(加重平均の算出)を行って、形状情報を統合してもよい。加重平均は、例えば、相加平均、相乗平均、または指数平均(指数加重移動平均)を含む。この重み付けの係数は、例えば、重複部分における第1モデル情報の確度、及び重複部分における第2モデル情報の確度に基づいて、決定される。
図15は、モデル統合処理の一例を示す概念図である。符号MF1は、第1検出装置1aの視点(第1視点)Vp1からの検出結果をもとに生成されるモデル形状である。符号MF2は、第2検出装置1bの視点(第2視点)Vp2からの検出結果をもとに生成されるモデル形状である。符号MF3は、統合したモデル形状(統合モデル形状)である。
視点Vp1から見たモデル形状MF1において、例えば、面Aa、面Ba、及び面Caは、視点Vp1からの検出結果の信頼度(確度)が高い。モデル形状MF1において、例えば、面Daおよび面Eaは、視点Vp1からの検出結果の信頼度(確度)が低い。また、対象物OBに対して視点Vp1と異なる方向の視点Vp2から見たモデル形状MF2において、例えば、面Cb、面Db、及び面Ebは、視点Vp2からの検出結果の信頼度(確度)が高い。また、モデル形状MF2において、例えば、面Abおよび面Bbは、視点Vp2からの検出結果の信頼度(確度)が低い。このような場合、モデル統合部59は、例えば、モデル形状MF1の面Aaおよび面Abをモデル形状MF3の生成に用い、モデル形状MF2の面Dbおよび面Ebをモデル形状MF3の生成に用いる。また、モデル統合部59は、例えば、モデル形状MF1の面Caとモデル形状MF2の面Cbに重み付けを行い、モデル形状MF3のCに用いる。
なお、モデル統合部59が第1モデル情報と第2モデル情報とを統合する手法は、上述の例に限定されない。例えば、モデル統合部59は、第1検出装置1aと第2検出装置1bとの相対的な位置および相対的な姿勢を用いて、モデル統合処理を行ってもよい。また、モデル統合部59は、第1検出装置1aの視点と第2検出装置1bの視点との相対的な位置、及び第1検出装置1aの視点の向き(視線)と第2検出装置1bの視点の向き(視線)との関係を用いて、モデル統合処理を行ってもよい。また、情報処理装置51は、モデル統合部59を備え、レンダリング処理部57を備えなくてもよい。例えば、情報処理装置51は、モデル統合処理の結果を外部装置へ出力し、この外部装置に設けられるレンダリング処理部がレンダリング処理を実行してもよい。
なお、本発明の技術範囲は、上述の実施形態などで説明した態様に限定されるものではない。上述の実施形態などで説明した要件の1つ以上は、省略されることがある。また、上述の実施形態などで説明した要件は、適宜組み合わせることができる。また、法令で許容される限りにおいて、上述の実施形態などで引用した全ての文献の開示を援用して本文の記載の一部とする。
1・・・検出装置、2・・・検出部、3・・・確度算出部、4・・・情報算出部、5・・・情報処理部、11・・・撮像部、12・・・測距部、21・・・点群データ生成部、22・・・サーフェス情報生成部、23・・・テクスチャ情報生成部、25・・・線情報生成部、26・・・面情報生成部、31・・・デプス情報調整部、32・・・点群データ調整部、33・・・線情報調整部、34・・・面情報調整部、35・・・テクスチャ情報調整部

Claims (7)

  1. 対象物を含む検出領域内の複数の検出点までの距離を検出する検出部と、
    前記検出領域内の複数の検出点が前記対象物の特徴点であるかの確からしさを示す確度情報を算出する確度算出部と、
    前記複数の検出点のデータを用いて、前記対象物のモデル情報を算出する情報算出部と、
    前記確度情報を用いて、前記モデル情報および前記複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を生成する情報処理部と、
    を備え、
    記情報処理部は、前記検出部の検出結果から得られるデプス情報を前記第1の情報として用い、前記デプス情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定し、
    前記確度算出部は、前記デプス情報に関する前記確度情報を算出し、
    前記情報処理部は、前記デプス情報に関する前記確度情報に基づいて、前記デプス情報のうち前記第2の情報に含める情報を選定し、前記デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を前記確度情報における確度の値に応じて決定し、
    前記情報算出部は、前記第2の情報に含まれる前記デプス情報に基づいて点群データを算出し、
    前記確度算出部は、前記点群データを基に前記点群データに含まれる点の情報に関する前記確度情報である点確度情報を算出し、
    前記情報処理部は、前記点群データを前記第1の情報として用い、前記点群データのうち前記第2の情報に含める情報を前記点確度情報に基づいて選定し、
    前記情報算出部は、前記第2の情報に含まれた前記点群データに基づいて、線の情報を算出し、
    前記確度算出部は、前記線の端点の前記点確度情報に基づいて前記線の情報に関する前記確度情報である線確度情報を算出する、検出装置。
  2. 前記情報算出部は、前記検出部の検出結果をもとに前記対象物上の複数の点の座標と前記複数の点間の連結情報とを含むサーフェス情報を生成するサーフェス情報生成部を備え、
    前記情報処理部は、前記第1の情報として前記サーフェス情報を用いる、請求項1に記載の検出装置。
  3. 前記サーフェス情報生成部は、前記対象物上の2点を結ぶ線の情報を生成する線情報生成部を備え、
    前記情報処理部は、前記線の情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定する線情報調整部を備える、請求項2に記載の検出装置。
  4. 前記サーフェス情報生成部は、前記対象物上の3以上の線に囲まれる面の情報を生成する面情報生成部を備え、
    前記情報処理部は、前記面の情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定する面情報調整部を備える、請求項2または請求項3に記載の検出装置。
  5. 前記モデル情報は、テクスチャ情報を含み、
    前記情報処理部は、前記確度情報に基づいて、前記テクスチャ情報の圧縮率を前記対象物の部分ごとに調整するテクスチャ情報調整部を備える、請求項1から請求項4のいずれか一項に記載の検出装置。
  6. 前記情報処理部は、前記確度情報に基づいて演算の精度を調整する、請求項1から請求項5のいずれか一項に記載の検出装置。
  7. 検出部により対象物を含む検出領域内の複数の検出点までの距離を検出することと、
    前記検出部の検出結果に基づいて、確度算出部により前記検出領域内の複数の検出点が前記対象物の特徴点であるかの確からしさを示す確度情報を算出することと、
    前記検出部の検出結果である前記複数の検出点のデータを用いて、情報算出部により前記対象物のモデル情報を算出することと、
    前記確度算出部により前記確度算出部による前記確度情報を用いて、前記モデル情報および前記複数の検出点のデータの少なくとも一方を含む第1の情報からデータ量を低減した第2の情報を情報処理部で生成することと、
    を含む検出方法であって、
    記検出部の検出結果から得られるデプス情報を前記第1の情報として用い、前記情報処理部により前記デプス情報のうち前記第2の情報に含める情報を前記確度情報に基づいて選定することと、
    前記確度算出部により前記デプス情報に関する前記確度情報を算出することと、
    前記情報処理部により、前記デプス情報に関する前記確度情報に基づいて、前記デプス情報のうち前記第2の情報に含める情報を選定し、前記デプス情報で表されるデータ空間の領域ごとに、データ量の低減量を前記確度情報における確度の値に応じて決定することと、
    前記情報算出部により、前記第2の情報に含まれる前記デプス情報に基づいて点群データを算出することと、
    前記確度算出部により、前記点群データを基に前記点群データに含まれる点の情報に関する前記確度情報である点確度情報を算出することと、
    前記情報処理部により、前記点群データを前記第1の情報として用い、前記点群データのうち前記第2の情報に含める情報を前記点確度情報に基づいて選定することと、
    前記情報算出部により、前記第2の情報に含まれた前記点群データに基づいて、線の情報を算出することと、
    前記確度算出部により、前記線の端点の前記点確度情報に基づいて前記線の情報に関する前記確度情報である線確度情報を算出することと、を含む検出方法。
JP2020140615A 2016-03-09 2020-08-24 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム Active JP7180646B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016045829 2016-03-09
JP2016045829 2016-03-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018504411A Division JPWO2017154706A1 (ja) 2016-03-09 2017-03-01 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム

Publications (2)

Publication Number Publication Date
JP2021002358A JP2021002358A (ja) 2021-01-07
JP7180646B2 true JP7180646B2 (ja) 2022-11-30

Family

ID=59790269

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018504411A Pending JPWO2017154706A1 (ja) 2016-03-09 2017-03-01 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
JP2020140615A Active JP7180646B2 (ja) 2016-03-09 2020-08-24 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018504411A Pending JPWO2017154706A1 (ja) 2016-03-09 2017-03-01 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム

Country Status (4)

Country Link
US (1) US11151733B2 (ja)
EP (1) EP3428877A4 (ja)
JP (2) JPWO2017154706A1 (ja)
WO (1) WO2017154706A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10510178B2 (en) 2018-02-27 2019-12-17 Verizon Patent And Licensing Inc. Methods and systems for volumetric reconstruction based on a confidence field
JP7119621B2 (ja) 2018-06-18 2022-08-17 オムロン株式会社 画像処理システムおよび画像処理方法
CA3102749A1 (en) * 2018-06-27 2020-01-02 K.K. Cybo Display control device, display control method, and display control program
JP7021036B2 (ja) * 2018-09-18 2022-02-16 株式会社東芝 電子機器及び通知方法
JP7140209B2 (ja) * 2018-12-21 2022-09-21 株式会社ニコン 検出装置、情報処理装置、検出方法、及び情報処理プログラム
JP7392262B2 (ja) * 2019-01-10 2023-12-06 株式会社ニコン 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
KR20210030147A (ko) * 2019-09-09 2021-03-17 삼성전자주식회사 3d 렌더링 방법 및 장치
KR102417959B1 (ko) * 2020-07-28 2022-07-06 주식회사 엘지유플러스 3차원 입체 콘텐츠 제공 장치 및 그 방법
WO2022180790A1 (ja) * 2021-02-26 2022-09-01 パイオニア株式会社 情報処理装置、制御方法、プログラム及び記憶媒体
CN118032661B (zh) * 2024-04-15 2024-06-11 帕西尼感知科技(张家港)有限公司 一种物体的缺陷检测、标定方法、装置及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2006295582A (ja) 2005-04-12 2006-10-26 Olympus Corp 画像処理装置と撮像装置、および画像処理プログラム
JP2012013660A (ja) 2010-07-05 2012-01-19 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2014225301A (ja) 2014-09-08 2014-12-04 株式会社東芝 画像処理装置、方法、及びプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2842735B2 (ja) 1992-07-20 1999-01-06 沖電気工業株式会社 複数視点3次元画像入力装置、画像合成装置、及びその画像出力装置
JP3785709B2 (ja) * 1996-12-13 2006-06-14 ソニー株式会社 形状データの近似化方法及び描画装置
EP2286932A3 (en) * 1999-04-07 2012-04-04 Federal Express Corporation System and method for dimensioning objects
JP2002031513A (ja) 2000-07-14 2002-01-31 Minolta Co Ltd 3次元測定装置
US7130458B2 (en) * 2000-10-24 2006-10-31 Affymetrix, Inc. Computer software system, method, and product for scanned image alignment
JP2002150315A (ja) 2000-11-09 2002-05-24 Minolta Co Ltd 画像処理装置および記録媒体
US20030235338A1 (en) * 2002-06-19 2003-12-25 Meetrix Corporation Transmission of independently compressed video objects over internet protocol
WO2004020938A1 (en) * 2002-08-27 2004-03-11 Dralle Aps A method and a system for automatic measurement and tracking of logs, industrial wood and boards
EP1567988A1 (en) 2002-10-15 2005-08-31 University Of Southern California Augmented virtual environments
JP2004191243A (ja) 2002-12-12 2004-07-08 Institute Of Physical & Chemical Research 自動撮影システム
US7295720B2 (en) 2003-03-19 2007-11-13 Mitsubishi Electric Research Laboratories Non-photorealistic camera
JP4610411B2 (ja) * 2004-05-17 2011-01-12 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 物体を含むシーンの様式化された画像を生成する方法
WO2006034256A2 (en) * 2004-09-17 2006-03-30 Cyberextruder.Com, Inc. System, method, and apparatus for generating a three-dimensional representation from one or more two-dimensional images
JP2008002995A (ja) 2006-06-23 2008-01-10 Konica Minolta Sensing Inc 三次元形状測定装置
JP2009168536A (ja) 2008-01-15 2009-07-30 Fujifilm Corp 3次元形状測定装置および方法、3次元形状再生装置および方法並びにプログラム
JP5093053B2 (ja) 2008-10-31 2012-12-05 カシオ計算機株式会社 電子カメラ
JP2010134546A (ja) 2008-12-02 2010-06-17 Nippon Telegr & Teleph Corp <Ntt> 視体積交差法による3次元形状復元装置、3次元形状復元方法および3次元形状復元プログラム
US8988437B2 (en) 2009-03-20 2015-03-24 Microsoft Technology Licensing, Llc Chaining animations
JP2011027707A (ja) 2009-06-25 2011-02-10 Sharp Corp 人物動作検出装置、遊具装置、人物動作検出方法、ゲーム方法、制御プログラムおよび可読記録媒体
JP5393531B2 (ja) * 2010-02-25 2014-01-22 キヤノン株式会社 位置姿勢推定装置、位置姿勢推定方法、プログラム、記憶媒体
JP5067476B2 (ja) 2010-12-28 2012-11-07 カシオ計算機株式会社 三次元モデル作成システム
JP5158223B2 (ja) 2011-04-06 2013-03-06 カシオ計算機株式会社 三次元モデリング装置、三次元モデリング方法、ならびに、プログラム
JP6030549B2 (ja) * 2011-04-13 2016-11-24 株式会社トプコン 三次元点群位置データ処理装置、三次元点群位置データ処理システム、三次元点群位置データ処理方法およびプログラム
JP2014132219A (ja) 2011-04-20 2014-07-17 Sanyo Electric Co Ltd 情報取得装置および物体検出装置
JP5022508B1 (ja) 2011-06-02 2012-09-12 三菱重工業株式会社 形状計測方法
US8902302B2 (en) * 2011-09-16 2014-12-02 Emerson Electric Co. Method and apparatus for surveying with a feature location
JP2013101464A (ja) 2011-11-08 2013-05-23 Canon Inc 画像処理装置および画像処理方法
EP2602588A1 (en) 2011-12-06 2013-06-12 Hexagon Technology Center GmbH Position and Orientation Determination in 6-DOF
US20140028799A1 (en) 2012-07-25 2014-01-30 James Kuffner Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information
EP2720171B1 (en) * 2012-10-12 2015-04-08 MVTec Software GmbH Recognition and pose determination of 3D objects in multimodal scenes
US10674135B2 (en) 2012-10-17 2020-06-02 DotProduct LLC Handheld portable optical scanner and method of using
KR101821284B1 (ko) 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
US10033980B2 (en) * 2016-08-22 2018-07-24 Amazon Technologies, Inc. Determining stereo distance information using imaging devices integrated into propeller blades

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001043496A (ja) 1999-07-30 2001-02-16 Fuji Heavy Ind Ltd フェールセーフ機能を有する車外監視装置
JP2006295582A (ja) 2005-04-12 2006-10-26 Olympus Corp 画像処理装置と撮像装置、および画像処理プログラム
JP2012013660A (ja) 2010-07-05 2012-01-19 Topcon Corp 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
JP2014225301A (ja) 2014-09-08 2014-12-04 株式会社東芝 画像処理装置、方法、及びプログラム

Also Published As

Publication number Publication date
WO2017154706A1 (ja) 2017-09-14
EP3428877A1 (en) 2019-01-16
JPWO2017154706A1 (ja) 2018-12-27
US11151733B2 (en) 2021-10-19
US20190005666A1 (en) 2019-01-03
EP3428877A4 (en) 2019-10-30
JP2021002358A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7180646B2 (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
CN109477710B (zh) 基于点的结构化光系统的反射率图估计
US20200319322A1 (en) Field calibration of a structured light range-sensor
US11516412B2 (en) Image processing method, image processing apparatus and electronic device
US20130335535A1 (en) Digital 3d camera using periodic illumination
CN105721853A (zh) 用于深度图生成的数码相机的配置设置
JP6662449B2 (ja) 検出装置、検出システム、検出方法、及び検出プログラム
CN111080687A (zh) 用于主动深度感测的方法和装置及其校准方法
WO2016206004A1 (zh) 一种获取深度信息的拍照设备和方法
JP7140209B2 (ja) 検出装置、情報処理装置、検出方法、及び情報処理プログラム
US20160245641A1 (en) Projection transformations for depth estimation
CN113538551A (zh) 深度图生成方法、装置、电子设备
CN105306922A (zh) 一种深度相机参考图的获取方法和装置
CN113643414A (zh) 一种三维图像生成方法、装置、电子设备及存储介质
JP2023157018A (ja) 検出装置、情報処理装置、検出方法、検出プログラム、及び検出システム
US20170289516A1 (en) Depth map based perspective correction in digital photos
JP2022130613A (ja) 検出装置、検出方法、情報処理装置、及び処理プログラム
US11682134B2 (en) Object detection device, method, information processing device, and storage medium calculating reliability information of detected image data for object shape determination
WO2019198446A1 (ja) 検出装置、検出方法、情報処理装置、及び情報処理プログラム
JP2017161370A (ja) 検出装置、検出システム、検出方法、及び検出プログラム
JP2015007830A (ja) 光源情報推定装置、光源情報推定方法及びプログラム
KR20220065301A (ko) 3차원 모델의 텍스처를 생성하기 위한 방법 및 장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211026

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221031

R150 Certificate of patent or registration of utility model

Ref document number: 7180646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150