JP7709529B2 - ３次元計測システム、装置、方法及びプログラム - Google Patents

３次元計測システム、装置、方法及びプログラム

Info

Publication number
JP7709529B2
JP7709529B2 JP2023537825A JP2023537825A JP7709529B2 JP 7709529 B2 JP7709529 B2 JP 7709529B2 JP 2023537825 A JP2023537825 A JP 2023537825A JP 2023537825 A JP2023537825 A JP 2023537825A JP 7709529 B2 JP7709529 B2 JP 7709529B2
Authority
JP
Japan
Prior art keywords
projector
camera
corrected
coordinates
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023537825A
Other languages
English (en)
Other versions
JPWO2023007625A1 (ja
Inventor
弘之 岡
亮輔 川西
颯太 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Robotics Inc
Original Assignee
Tokyo Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Robotics Inc filed Critical Tokyo Robotics Inc
Publication of JPWO2023007625A1 publication Critical patent/JPWO2023007625A1/ja
Application granted granted Critical
Publication of JP7709529B2 publication Critical patent/JP7709529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Description

この発明は、３次元計測システム等に関する。
深度情報等の３次元情報を非接触で取得する手法として、アクティブステレオ法が知られている。
アクティブステレオ法では、プロジェクタから対象物に対して明部と暗部が周期的に繰り返された縞状のパターン光を投射し、投射したパターン光をカメラで撮影する。この撮影された画像を解析することにより、プロジェクタ又はカメラから対象物までの距離を算出することができる。
ところで、レンズ等を含むプロジェクタの光学系においては、温度に応じて熱膨張や熱収縮が発生する。このような熱膨張等が発生すると、パターン光に歪が生じると共に画像において解析誤差が生じ、ひいては３次元計測の精度の低下を招くおそれがあった。このような不都合を防止するため、従前、様々な対策が採られていた。
例えば、画像解析の際にプロジェクタに係る光学系の歪補正を行う手法が知られていた（例えば、非特許文献１）。このような手法によれば、例えば、プロジェクタに係る光学系の熱膨張により生じる歪みを事前に測定した校正パラメータを用いて補正することで、３次元計測精度の低下を防止することができる。
また、カメラの例ではあるものの、その光学系に対して温度補償機能付きの光学系を採用し、光学系において発生する歪自体を抑制する手法も知られていた（例えば、特許文献１）。このような手法によれば、物理的・機械的方法により熱による光学系の歪自体が抑制される。このような手法を転用すれば、３次元計測精度の低下を防止することができる。
Hiroshi Kawasaki、Hiroshi Ohsawa、Ryo Furukawa、Yasuaki Nakamura著「Dense 3D Reconstruction with an Uncalibrated Stereo System using Coded Structured Light」、2005 IEEE Computer Science Society Conference on Computer Vision and Pattern Recognition (CVPR'05) - Workshops, 2005, pp.107-107, doi: 10.1109/CVPR.2005.440
特開平０５－３０３０３２号公報
しかしながら、画像解析の際にプロジェクタに係る光学系の歪補正を行う手法においては、３次元計測にあたり、水平方向の縞状パターン光と垂直方向の縞状パターン光を投射することが必要であった。そのため、パターン光の投射に一定の時間を要し、その結果、高速な３次元計測が困難であった。
また、温度補償機能付き光学系を採用する手法にあっては、プロジェクタに係る光学系が高度化してコストが増大してしまい、３次元計測システム全体のコストの増大につながるおそれがあった。
本発明は上述の技術的背景に鑑みてなされたものであり、その目的は、プロジェクタの光学系において生じる歪みを画像処理により補正しつつも、高速な３次元計測を実現することにある。
上述の技術的課題は、以下の構成を有する３次元計測システム等により解決することができる。
すなわち、本発明に係る３次元計測システムは、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備えている。
このような構成によれば、一の方向に関してパターン光を投射するだけで、プロジェクタに係る光学系において発生する歪みを考慮した補正を行うことができる。これにより、プロジェクタの光学系において生じる歪みを画像処理により補正しつつも、高速な３次元計測を実現することができる。
前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向であってもよい。
このような構成によれば、平行化変換を行うことで第二の方向に関する補正カメラ座標と第二の方向に関する補正プロジェクタ座標が一致することを利用して、距離情報を生成することができる。
前記補正プロジェクタ座標取得部において、前記第一の方向に関する補正プロジェクタ座標は、前記第二の方向に関する補正カメラ座標を第一の系列に、前記第一の方向に関する対応プロジェクタ座標を第二の系列とする２次元ルックアップテーブルに格納されている、ものであってもよい。
このような構成によれば、演算量を低減することができ、さらに高速な３次元計測を実現することができる。
前記２次元ルックアップテーブルは、前記第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光と前記第二の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を所定の対象物に対して投射し、投射された前記パターン光を撮影した結果に基づいて生成される、ものであってもよい。
このような構成によれば、３次元計測時に一の方向に関するパターン光のみを投射する場合であっても、適切に距離情報を生成することができる。
前記プロジェクタに係る光学系の温度を直接的又は間接的に測定する温度センサと、前記温度毎に生成され、前記第二の方向に関する補正カメラ座標を第一の系列に、前記第一の方向に関する対応プロジェクタ座標を第二の系列とする、複数の温度別２次元ルックアップテーブルを記憶する、記憶部と、前記温度センサで測定された温度に応じて、対応する前記温度別２次元ルックアップテーブルを読み出す、選択的読出部と、前記プロジェクタ座標取得部は、前記２次元ルックアップテーブルに代えて、読み出された前記温度別２次元ルックアップテーブルを用いて、前記第一の方向に関する補正プロジェクタ座標を取得する、ものであってもよい。
このような構成によれば、プロジェクタに係る光学系の温度に応じた適切な補正処理を行ったプロジェクタ座標を取得することができる。
前記第一の方向に関する補正プロジェクタ座標は、前記温度センサにより測定された温度の前後の温度に対応する前記温度別２次元ルックアップテーブルに格納された値を用いて補間処理することにより生成される、ものであってもよい。
このような構成によれば、適当な間隔で温度別２次元ルックアップテーブルを準備することで、あらゆる温度において適当な補正プロジェクタ座標を取得することができる。
前記補間処理は、線形補間処理である、ものであってもよい。
このような構成によれば、線形補間によりあらゆる温度において適当な補正プロジェクタ座標を取得することができる。
前記パターン光は、空間コード化法に係るパターン光であってもよい。
このような構成によれば、空間コード化法を実現することができる。
前記パターン光は、位相シフト法に係るパターン光であってもよい。
このような構成によれば、位相シフト法を実現することができる。
別の側面から見た本発明は、３次元計測装置であって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備えている。
別の側面から見た本発明は、３次元計測システムの制御方法であって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御方法であって、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備えている。
別の側面から見た本発明は、３次元計測システムの制御プログラムであって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御プログラムであって、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備えている。
別の側面から見た本発明は、３次元カメラであって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備えている。
また、別の側面から見た本発明は、３次元計測システムであって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備えている。
このような構成によれば、一の方向に関してパターン光を投射するだけで、プロジェクタに係る光学系において発生する歪みを考慮した補正を行うことができる。これにより、プロジェクタの光学系において生じる歪みを画像処理により補正しつつも、高速な３次元計測を実現することができる。
別の側面から見た本発明は、３次元計測システムの制御方法であって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御方法であって、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備えている。
別の側面から見た本発明は、３次元計測システムの制御プログラムであって、対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御プログラムであって、前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、前記復号情報に基づいて、前記プロジェクタ位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備えている。
本発明によれば、一の方向に関してパターン光を投射するだけで、プロジェクタに係る光学系において発生する歪みを考慮した補正を行うことができる。これにより、プロジェクタの光学系において生じる歪みを画像処理により補正しつつも、高速な３次元計測を実現することができる。
図１は、３次元計測システムの全体構成図である。 図２は、事前処理のゼネラルフローチャートである。 図３は、ペア画像の生成処理の詳細フローチャートである。 図４は、仮想カメラ画像の説明図である。 図５は、仮想カメラ画像の生成に関する概念図である。 図６は、ペア画像の生成処理により生成される画像の例である。 図７は、第１の２次元ルックアップテーブルの生成処理の詳細フローチャートである。 図８は、樽型歪みの補正に関する概念図である。 図９は、平行化変換処理に関する概念図である。 図１０は、第１の２次元ルックアップテーブルの説明図である。 図１１は、第２の２次元ルックアップテーブルの生成処理の詳細フローチャートである。 図１２は、形式変換処理の概念図である。 図１３は、形式変換前後の２次元ルックアップテーブルの概念図である。 図１４は、３次元計測処理のゼネラルフローチャートである。 図１５は、パターン光画像の生成処理の詳細フローチャートである。 図１６は、画像処理に係る詳細フローチャートである。 図１７は、デコード処理の概念図である。 図１８は、視差情報の生成の流れに関する概念図である。 図１９は、距離情報の生成に関する原理図である。 図２０は、立体的な画像の生成に関する概念図である。 図２１は、３次元計測システムの全体構成図である（第２の実施形態）。 図２２は、第２のルックアップテーブル群の概念図である（第２の実施形態）。 図２３は、３次元計測処理のゼネラルフローチャートである（第２の実施形態）。 図２４は、画像処理に係る詳細フローチャートである（第２の実施形態）。 図２５は、カメラとプロジェクタとが機械的又は光学的に平行化されている場合のシステム構成である（変形例）。
以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。
（１．第１の実施形態）
第１の実施形態として、本発明を３次元計測システムに対して適用した例について説明する。なお、ここで、３次元計測システムとは、少なくとも、深度情報、奥行情報又は距離情報等の３次元情報を生成可能な装置又はシステムを含み、３次元カメラ等他の用語で称呼してもよい。また、他の機能をさらに備えた装置として構成してもよい。
（１．１ システムの構成）
図１は、本実施形態に係る３次元計測システム１００の全体構成図である。同図から明らかな通り、３次元計測システム１００は、コントローラユニット１と、コントローラユニット１と接続されるセンサヘッドユニット３を含んでいる。これらの構成を利用して、対象物５の３次元情報を生成する。
センサヘッドユニット３は、カメラ（撮像装置）３１と、カメラ３１と水平方向に隣り合うプロジェクタ（投影装置）３５を含んでいる。なお、以下では、カメラ３１の撮像面又はプロジェクタ３５の投射面に平行な軸をｘ軸と称し、紙面に対して垂直な方向をｙ軸と称することがある。
カメラ３１は、イメージセンサ３１１と、対物レンズ３１２を含み、対象物５をその画角内に収めるように配置されている。なお、後述の通り、イメージセンサ３１１にて生成された画像情報は、画像取得部１５によりコントローラユニット１へと取り込まれる。
プロジェクタ３５は、光源３５１を含み、その光路上に、光源３５１側から順に、平面波変換レンズ３５２、ミラー３５３、ＤＭＤ３５５、リレーレンズ３５６及び対物レンズ３５７を備えている。なお、ＤＭＤ３５５は、デジタル・マイクロミラー・デバイス（Ｄｉｇｉｔａｌ Ｍｉｃｏｒоｍｉｒｒｏｒ Ｄｅｖｉｃｅ）の略称であり、アレイ状に並んだ極小ミラーを高速で傾斜駆動させることにより画素単位で光の方向を制御する装置である。プロジェクタ３５は、後述のパターン光を対象物５に対して投射可能な位置に配置されている。また、後述の投射制御部１２により制御されて所望のパターン光を投射することができるよう構成されている。
コントローラユニット１は、測定開始信号等の入力を受け付ける入力受付部１１と、プロジェクタ３５におけるパターン光の投射を制御する投射制御部１２、及び、後述の２次元ルックアップテーブル等の種々の情報を記憶する記憶部１３とを備えている。また、コントローラユニット１は、さらに、カメラ３１において撮影された画像を取得する画像取得部１５と、取得された画像に対して画像処理を行う画像処理部１６と、３次元情報を出力する出力部１７を備えている。なお、これらの機能は、プログラムの実行を行うＣＰＵ等の制御装置や回路により実現される。
なお、カメラ３１及びプロジェクタ３５の構成は、いずれも例示的、概略的な構成である。従って、追加のレンズを含む等、他の構成であってもよい。
また、本実施形態においては、コントローラユニット１とセンサヘッドユニット３とを別々に構成したものの、本発明はそのような構成に限定されない。従って、すべての構成を１つの装置内に配置してもよいし、一部を別の装置として構成してもよい。
（１．２ システムの動作）
次に、図２～図１７を参照しつつ、３次元計測システム１００の動作について説明する。なお、本実施形態に係る３次元計測システム１００においては、実際の３次元計測処理の前に所定の事前処理を行う。以下、各処理について順に説明する。
（１．２．１ 事前処理）
図２は、事前処理のゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、ペア画像の生成処理が実行される（Ｓ１１）。
図３は、ペア画像の生成処理（Ｓ１１）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、投射制御部１２は、パターン光データを記憶部１３から読み出す処理を行う（Ｓ１１１）。
本実施形態においては、カメラ３１とプロジェクタ３５の対応関係を解析する手法として、空間コード化法（又は空間符号化法）が採用され、パターン光データは、水平方向の符号化を行うパターン光データと、垂直方向の符号化を行うパターン光データの両方を含む。水平方向の符号化を行うパターンとは、明部と暗部が周期的に繰り返された垂直の縞模様（垂直パターン）であり、垂直方向の空間符号化を行うパターンとは、明部と暗部が周期的に繰り返された水平の縞模様（水平パターン）である（図５参照）。
なお、カメラ３１とプロジェクタ３５の対応関係を解析する手法は、空間コード化法に限定されない。従って、例えば、位相シフト法等、他の手法を採用してもよい。
読み出し処理の後、パターン光が投射されていない状態において、カメラ３１は撮影を行い、当該撮影された画像は、画像取得部１５により取得され記憶部１３へと記憶される（Ｓ１１２）。この撮影は、カメラ３１による通常のカラー画像の撮影である。
撮影処理の後、投射制御部１２は、読み出したパターン光データのうちの１つに対応するパターン光の投射指令をプロジェクタ３５に対して行う（Ｓ１１３）。このパターン光の投射指令に基づいて、プロジェクタ３５は、対応するパターン光の投射を行う。なお、このときの対象物は、グリッドのピッチ長が既知のチェスボード（チェック柄の濃淡を有する板）である。
プロジェクタ３５へのパターン光投射指令が行われると、投射制御部１２は、カメラ３１へと同期信号を送信する処理を行う（Ｓ１１５）。この同期信号を受信すると、カメラ３１は、パターン光が投射された対象物を撮影する処理を行う（Ｓ１１６）。
撮影処理が行われると、画像取得部１５は、カメラ３１から撮影されたパターン光画像を取得し、記憶部１３へと記憶する処理を行う（Ｓ１１７）。
この処理の後、読み出したすべてのパターン光について撮影が完了したか否かが判定される（Ｓ１１８）。未投射のパターン光がある場合には（Ｓ１１８ＮＯ）、投射するパターン光を変更する処理を行った後（Ｓ１１９）、一連の投射から撮影までの一連の処理を、再び、行う（Ｓ１１３～Ｓ１１８）。
一方、すべてのパターン光について撮影が完了した場合には（Ｓ１１８ＹＥＳ）、画像処理部１６は、仮想カメラ画像の生成及び記憶処理を行う（Ｓ１２１）。
ここで、仮想カメラ画像について説明する。図４は、仮想カメラ画像の説明図である。本実施形態において、仮想カメラ画像とは、プロジェクタ３５位置にカメラが配置されれば当該カメラで観測されるであろう論理画像である。仮想カメラ画像は便宜上プロジェクタ画像と言い換えることもできる。
同図から明らかな通り、対象物上の点Ｐは、カメラ画像に係る所定の２次元座標系（ｘｃ，ｙｃ）上の所定の点、すなわち、カメラ位置（Ｂ）と点Ｐとを結ぶ線分と撮像面との交点に対応し、一方、仮想カメラ画像に係る所定の２次元座標系（ｘｐ，ｙｐ）上の所定の点、すなわち、プロジェクタ位置（Ａ）と点Ｐとを結ぶ線分と投影面との交点に対応する。このとき、各座標系上の点の間に一定の視差が生じることとなる。
図５は、仮想カメラ画像の生成に関する説明図である。既に述べた通り、記憶部１３には、水平パターンと垂直パターンのパターン光を投射することにより得られた複数のパターン画像と、パターン光を投射していないときのカラー画像が記憶されている（同図右側の上段）。
この状態において、画像処理部１６は、水平パターン光を含む画像と垂直パターン光を含む画像に対してデコード処理（復号処理）を行う。デコード処理の方法は、当業者に知られる種々の方法が採用できる。このデコード処理の結果、水平パターン光を含む画像からは垂直方向の位置に関する復号情報が得られ、垂直パターン光を含む画像からは水平方向の位置に関する復号情報が得られる（同図右側の下段）。
その後、画像処理部１６は、パターン光が投射されていないときに撮影されたカラー画像、垂直方向の復号情報、及び、水平方向の復号情報に基づいて、プロジェクタ位置において観測されるであろう対応する仮想カメラ画像を生成する。
仮想カメラ画像の生成及び記憶処理の完了後、所定の終了条件の判定処理が行われる（Ｓ１２２）。終了条件とは、例えば、撮影回数である。
所定の終了条件を満たす場合（Ｓ１２２ＹＥＳ）、ペア画像の生成処理は終了する。
一方、所定の終了条件を満たさない場合（Ｓ１２２ＮＯ）、撮影準備の完了を示す信号を受信したか否かを判定する処理を行う（Ｓ１２３）。画像処理部１６は、撮影準備が完了するまで、待機処理を行う（Ｓ１２３ＮＯ）。ここで、撮影準備とは、撮影のためにチェスボードの位置・姿勢を変更することを言い、このように、チェスボードの位置・姿勢を変更することで、チェスボードの位置・姿勢毎に、カメラ撮影画像とそれに対する仮想カメラ画像が生成される。また、撮影準備の完了信号は、撮影準備が完了したことを示す信号であり、例えば、入力受付部１１を介して撮影者により入力された信号等であってよい。
撮影準備が完了したことを検出すると（Ｓ１２３ＹＥＳ）、再度、一連の撮影処理（Ｓ１１２～Ｓ１２２）が実行される。
図６は、ペア画像の生成処理（Ｓ１１）により生成、記憶される画像の例である。同図から明らかな通り、ペア画像の生成処理によりチェスボードの位置・姿勢毎に、カメラ撮影画像とそれに対応する仮想カメラ画像が対で生成、記憶されることとなる。
図２に戻り、ペア画像の生成処理が完了すると、カメラ撮影画像と仮想カメラ画像に基づき、カメラ３１又はプロジェクタ３５の光学系等により生じる歪み、例えば、樽型歪みを補正するための歪補正パラメータk1、k2、k3、p1、p2をそれぞれ算出し（後述の数式１も参照）、記憶する処理を行う（Ｓ１３）。
当業者には明らかなように、この歪補正パラメータは、チェスボードの特徴点の位置、例えば、格子をなす四角形の角の位置を検出することで、公知の手法により求めることができる（例えば、"A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Zhang, 22(11):1330-1334, 2000.を参照）。
歪補正処理の完了後、画像処理部１６は、チェスボードの特徴点のペアから、カメラ３１とプロジェクタ３５の三次元的な位置及び姿勢の関係を同定する処理を行う（Ｓ１４）。より詳細には、本実施形態においては、チェスボードの特徴点のペアから、当業者に知られる最適化計算を行い、カメラ３１の位置・姿勢を原点としたときのプロジェクタ３５の並進・回転行列を同定する処理を行う。
位置及び姿勢の同定処理が完了すると、画像処理部１６は、同定したカメラ３１とプロジェクタ３５との３次元的位置関係から、平行化変換に用いられるカメラ３１用の射影変換パラメータ（数式２のＨ１１～Ｈ３３）とプロジェクタ３５用の射影変換パラメータ（数式２のＨ１１～Ｈ３３）を算出し、それぞれ記憶する処理を行う（Ｓ１５）。
その後、画像処理部１６は、第１の２次元ルックアップテーブル（２ＤＬＵＴ）の生成処理及び記憶処理を行う（Ｓ１６）。
図７は、第１の２次元ルックアップテーブルの生成処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、画像処理部１６は、画素を指定するための変数iと変数ｊの初期化処理を行う（Ｓ１６１）。その後、カメラ撮影画像上の注目画素座標（i，ｊ）に対して、歪補正処理を行い、歪補正後の座標（ｘｃ'，ｙｃ'）を算出する処理を行う。
歪みは、カメラ３１の光学系等により生じる歪みであり、例えば樽型歪みである。この種の歪みは、当業者に知られる公知の手法にて補正することができる。本実施形態においては、一例として、下記の数式１を解くことにより、補正前の注目画素の座標（ｘ，ｙ）（左図）から、対応する歪補正後の座標（ｘ'，ｙ'）（右図）を算出する。なお、上述の通り、k1、k2、k3、p1及びp2のパラメータは、チェスボードの撮影により既に取得されている。
図８は、樽型歪みの補正に関する概念図である。同図から明らかな通り、同図左側の格子は中心付近において膨らむように歪んでいる。この状態において、樽型歪みの補正処理が行われると、同図左側の補正前の注目画素の座標（ｘ，ｙ）は、同図右側の歪補正後の座標（ｘｃ'，ｙｃ'）へと対応付けられる。このようにして、歪補正処理が実行される。
歪補正処理の後、画像処理部１６は、歪補正後の対応する座標（ｘｃ'，ｙｃ'）に対して、平行化変換処理を行い、平行化変換後の座標（ｘｃ''，ｙｃ''）を算出する処理を行う（Ｓ１６３）。
この平行化変換処理は、当業者に知られる公知の手法にて行うことができる。本実施形態においては、一例として、下記の数式２により、既に求めたカメラ用の射影変換行列（Ｈ１１～Ｈ３３）を用いて、エピポーラ線を水平とする射影変換を行う。
図９は、平行化変換処理に関する概念図である。同図から明らかな通り、射影変換により、同図左側の補正前の４つの座標（ｘｃ'，ｙｃ'）は、同図右側の４つの座標（ｘｃ''，ｙｃ''）へと対応付けられる。
平行化変換終了後、画像処理部１６は、２次元ルックアップテーブルのi行ｊ列の位置に対して補正変換後の対応座標（ｘｃ''，ｙｃ''）を記憶部１３へと記憶する処理を行う（Ｓ１６５）。
その後、画像処理部１６は、変数iがiの最大値i_maxに等しいかを判定する処理を行う（Ｓ１６６）。変数iが未だ最大値ではない場合（Ｓ１６６ＮＯ）、変数iを１だけ増加（インクリメント）する処理を行い（Ｓ１６７）、再度、一連の処理を行う（Ｓ１６２～Ｓ１６６）。
一方、変数ｉが最大値i_maxに等しい場合（Ｓ１６６ＹＥＳ）、画像処理部１６は、変数ｉを初期化し（Ｓ１６９）、変数ｊが最大値j_maxに等しいかの判定処理を行う（Ｓ１７１）。
変数ｊが未だ最大値ではない場合（Ｓ１７１ＮＯ）、変数jを１だけ増加（インクリメント）する処理を行い（Ｓ１６８）、再度、一連の処理を行う（Ｓ１６２～Ｓ１７１）。一方、変数jが最大値j_maxに等しい場合（Ｓ１７１ＹＥＳ）、処理は終了する。
図１０は、一連の処理により生成される本実施形態に係る第１の２次元ルックアップテーブルの説明図である。同図から明らかな通り、同テーブルは、一方の系列を補正前の画素のｘ座標（水平方向の座標）、他方の系列を補正前の画素のｙ座標とし、それらの座標により特定される位置に補正後のｘ及びｙ座標（ｘｃ''，ｙｃ''）を格納している。
すなわち、この２次元ルックアップテーブルを使用することで、カメラ３１により取得された画像の各画素に対して歪補正処理及び平行化変換処理を行った結果となる座標情報（ｘｃ''，ｙｃ''）を直ちに参照することができる。
このような２次元ルックアップテーブルによれば、補正前の画像の各画素について、高速に、補正後の座標を得ることができる。
図２に戻り、第１の２次元ルックアップテーブルの生成処理の後（Ｓ１６）、次に、第２の２次元ルックアップテーブルの生成処理及びその記憶処理が行われる（Ｓ１８）。
図１１は、第２の２次元ルックアップテーブルの生成処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、画像処理部１６は、画素を指定するための変数iと変数ｊの初期化処理を行う（Ｓ１８１）。その後、仮想カメラ画像上の注目画素座標（i，ｊ）に対して、歪補正処理を行い、歪補正後の対応する座標（ｘｐ'，ｙｐ'）を算出する処理を行う（Ｓ１８２）。
なお、歪みは、プロジェクタ３５の光学系等により生じる歪みであり、例えば樽型歪みである。この種の歪みは、当業者に知られる公知の手法にて補正することができ、本実施形態においては、カメラ画像に対する処理と同様の手法（Ｓ１６２）で補正される。
歪補正処理の後、画像処理部１６は、歪補正後の対応する座標（ｘｐ'，ｙｐ'）に対して、平行化変換処理を行い、平行化変換後の座標（ｘｐ''，ｙｐ''）を算出する処理を行う（Ｓ１８３）。
この平行化変換処理は、当業者に知られる公知の手法にて行うことができ、本実施形態においては、カメラ画像に対する処理と同様の手法（Ｓ１６３）で補正を行う。
平行化変換終了後、画像処理部１６は、２次元ルックアップテーブルのi行ｊ列の位置に対して補正変換後の対応座標（ｘｐ''，ｙｐ''）を記憶部１３へと記憶する処理を行う（Ｓ１８５）。
その後、画像処理部１６は、変数iがiの最大値i_maxに等しいかを判定する処理を行う（Ｓ１８６）。変数iが未だ最大値ではない場合（Ｓ１８６ＮＯ）、変数iを１だけ増加（インクリメント）する処理を行い（Ｓ１８７）、再度、一連の処理を行う（Ｓ１８２～Ｓ１８６）。
一方、変数ｉが最大値i_maxに等しい場合（Ｓ１８６ＹＥＳ）、画像処理部１６は、変数ｉを初期化し（Ｓ１８９）、変数ｊが最大値j_maxに等しいかの判定処理を行う（Ｓ１９１）。
変数ｊが未だ最大値ではない場合（Ｓ１９１ＮＯ）、変数jを１だけ増加（インクリメント）する処理を行い（Ｓ１８８）、再度、一連の処理を行う（Ｓ１８２～Ｓ１９１）。一方、変数jが最大値j_maxに等しい場合（Ｓ１９１ＹＥＳ）、２次元ルックアップテーブルの形式変換処理が行われる（Ｓ１９２）。
図１２は、形式変換処理の概念図である。同図から明らかな通り、形式変換前の２次元ルックアップテーブルは、一方の系列をｘｐ、他方の系列をｙｐとし、それらの系列により特定される位置に補正後の座標（ｘｐ''，ｙｐ''）を格納している（同図（Ａ））。
形式変換処理においては、まず、当該２次元ルックアップテーブルに基づいて、各画素（ｘｐ，ｙｐ）と、当該画素に対応する補正後の座標（ｘｐ''，ｙｐ''）のペアリストを生成する（同図（Ｂ））。このとき、ｙｐは後述の処理において用いられないため削除してもよい。
このペアリストに基づき、原点をＯ、一方の系列をｘｐ、他方の系列をｙｐ''とする２次元グラフを生成する（同図（Ｃ））。このとき、グラフ上の各点にはｘｐ''の値が対応付けられている。
その後、画像処理部１６は、例えば、当業者に知られるDelaunary triangulation法（デローニの三角分割法）等により、３つの近接点同士を結ぶ三角形を生成する（同図（Ｄ））。
この三角形を生成した後、画像処理部１６は、ｘｐ、ｙｐ''の両方の系列に対して整数のグリッドを当て嵌めると共に、各整数座標におけるｘｐ''の値を三角形を成す３つの点の線形補間により算出する（同図（Ｅ））。この線形補間された値を用いて、一方の系列をｘｐ，、他方の系列をｙｐ''とした２次元ルックアップテーブル、すなわち、第２の２次元ルックアップテーブルを生成する（同図（Ｆ））。
図１３は、形式変換前後の２次元ルックアップテーブルの概念図である。同図から明らかな通り、形式変換前においては、同図左側に示されるように、２次元ルックアップテーブルの一方の系列はｘｐ，他方の系列はｙｐであり、各座標には、補正後の座標（ｘｐ''，ｙｐ''）が格納されている。これに対して、形式変換後においては、同図右側に示されるように、２次元ルックアップテーブルの一方の系列はｘｐ，他方の系列はｙｐ''であり、各座標には、補正後のｘ座標であるｘｐ''が格納されている。
すなわち、第２の２次元ルックアップテーブルを使用することで、仮想カメラ画像の注目画素のｘ座標と、歪補正及び平行化変換処理後の対応するｙ座標（ｙｐ''）に基づいて、歪補正処理及び平行化変換処理後の対応するｘ座標（ｘｐ''）を直ちに参照することができる。すなわち、歪補正処理及び平行化変換処理後の対応するｘ座標（ｘｐ''）の高速な参照が可能となる。
以上の処理により、事前処理において第１のルックアップテーブルと第２のルックアップテーブルを生成及び記憶する。
（１．２．２ ３次元計測処理）
次に、事前処理の後に行われる、３次元計測処理について説明する。
図１４は、３次元計測処理のゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、入力受付部１１は、測定開始信号の受信待機状態となる（Ｓ３１ＮＯ）。この状態において、測定開始信号を受信すると（Ｓ３１ＹＥＳ）、後続の処理が実行される。なお、測定開始信号は、３次元計測システム１００のさらに上位システムから送信されてもよいし、ユーザからの入力により生成されてもよい。
測定開始信号受信後、カメラ３１において撮影処理がなされ、同撮影画像は画像取得部１５により取得される（Ｓ３２）。この撮影は、カメラ３１による通常のカラー画像の撮影である。
その後、投射制御部１２は、パターン光画像の生成処理を行う（Ｓ３４）。
図１５は、パターン光画像の生成処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、投射制御部１２は、記憶部１３からパターン光データの読み出し処理を行う（Ｓ３４１）。このとき、読み出されるパターン光データは、ｘ軸方向の空間符号化を行う垂直パターンに係るデータのみである。
パターン光データの読出処理が完了すると、投射制御部１２は、読み出したパターン光データのうちの１つに対応するパターン光の投射指令をプロジェクタ３５に対して行う（Ｓ３４２）。このパターン光の投射指令に基づいて、プロジェクタ３５は、対応するパターン光の投射を行う。
プロジェクタ３５へのパターン光投射指令が行われると、投射制御部１２は、カメラ３１へと同期信号を送信する処理を行う（Ｓ３４４）。この同期信号を受信すると、カメラ３１は、対象物へと投射されたパターン光を撮影する処理を行う（Ｓ３４５）。
撮影処理が行われると、画像取得部１５は、カメラ３１から撮影されたパターン光画像を取得し、記憶部１３へと記憶する処理を行う（Ｓ３４６）。
この処理の後、読み出したすべてのパターン光について撮影が完了したか否かが判定される（Ｓ３４８）。未投射のパターン光がある場合には（Ｓ３４８ＮＯ）、投射するパターン光を変更する処理を行った後（Ｓ３４９）、投射から撮影までの一連の処理を再び行う（Ｓ３４２～Ｓ３４８）。一方、すべてのパターン光について撮影が完了した場合には（Ｓ３４８ＹＥＳ）、処理は終了する。
図１４に戻り、パターン光画像の生成処理が完了すると、パターン光画像に基づいて、所定の画像処理が行われる（Ｓ３６）。
図１６は、画像処理に係る詳細フローチャートである。同図から明らかな通り、処理が開始すると、画像処理部１６は、整数の変数iの初期化処理、例えば、i＝０とする処理を行う（Ｓ３６１）。
初期化処理の後、画像処理部１６は、記憶部１３に記憶されている第１のルックアップテーブルと第２のルックアップテーブルを読み出す処理を行う（Ｓ３６２）。
その後、画像処理部１６は、垂直パターンで構成されるパターン光画像に対してデコード処理を行う（Ｓ３６３）。
図１７は、デコード処理の概念図である。同図から明らかな通り、同図左側に示される垂直パターンから成るパターン光画像をデコード処理することで、カメラ撮影画像の注目画素座標に対応する仮想カメラ画像上の水平（ｘ軸）方向位置の特定を可能とする復号情報が得られる（例として、同図右側のグラデーション）。なお、本実施形態においては、垂直パターンに係るパターン光のみが投射されているため、デコード処理を行っても、垂直方向の情報は得られない点に留意されたい。
その後、i番目の画素を注目画素として、第１のルックアップテーブルを利用して、同注目画素の座標（ｘｃ，ｙｃ）に対応し、歪補正と平行化変換処理を行った後の座標に対応する、補正後の座標（ｘｃ''，ｙｃ''）を取得する処理を行う。
カメラ撮影画像に関する補正後の座標を取得した後、画像処理部１６は、復号した情報に基づいて、注目画素の座標（ｘｃ，ｙｃ）に対応する仮想カメラ画像上の水平（ｘ軸）方向位置（ｘｐ）を特定する（Ｓ３６６）。
ここで、カメラ撮影画像における補正後の垂直（ｙ軸）方向の座標位置ｙｃ''は平行化変換処理により、仮想カメラ画像における補正後の垂直（ｙ軸）方向の座標ｙｐ''と等しくなる（ｙｃ''＝ｙｐ''）。このことを利用して、上述の特定処理（Ｓ３６６）の後、画像処理部１６は、第２のルックアップテーブルを利用して、仮想カメラ画像上の水平（ｘ軸）方向位置（ｘｐ）と、補正後の垂直（ｙ軸）方向の座標位置ｙｃ''（＝ｙｐ''）に基づいて、対応する仮想カメラ画像に係る補正後の水平（ｘ軸）方向の値（ｘｐ''）を取得する（Ｓ３６７）。
すなわち、第２のルックアップテーブル（図１３の右図参照）の一の系列として、仮想カメラ画像上の注目画素に関する水平（ｘ軸）方向の位置（ｘｐ）を特定し、もう一方の系列として、注目画素に関する補正後の垂直（ｙ軸）方向の位置ｙｃ''（＝ｙｐ''）を特定し、これらにより特定される位置に格納されている対応する仮想カメラ画像に係る補正後の水平（ｘ軸）方向の値（ｘｐ''）を取得する。
以上の処理の後、画像処理部１６は、補正後の水平（ｘ軸）方向の各座標（ｘｃ''とｘｐ''）から視差情報ｄを計算する。視差情報は、本実施形態においては単にｘｃ''とｘｐ''との差分として計算される（＝ｘｃ''－ｘｐ''）。
画像処理部１６は、視差情報ｄの算出後、すべての画素について処理が完了したか否かを判定する処理を行う（Ｓ３６９）。すべての画素について未だ処理が完了していない場合（Ｓ３６９ＮＯ）、変数iをインクリメントして、別の画素について一連の処理（Ｓ３６５～Ｓ３６８）を行う。一方、すべての画素について処理が完了した場合（Ｓ３６９ＹＥＳ）、処理は終了する。これにより、画素単位で視差情報ｄが算出されることとなる。
図１８は、視差情報ｄの生成の流れに関する概念図である。同図において、右列はカメラ３１からの取得画像に対する処理について示し、左列はプロジェクタ３５位置にある仮想カメラにおいて取得されるであろう論理画像に対する処理について示している。
同図右列から明らかな通り、処理が開始すると、対象物５に対して垂直パターン光が投射され、パターン光画像が生成される（Ｓ３４）。このパターン光画像に対して、画像処理部１６は、第１のルックアップテーブルを用いて、歪補正処理及び平行化変換処理を行った補正後の対応画素座標を取得する（ｘｃ''，ｙｃ''）（Ｓ３６２、Ｓ３６５）（同図の右列最下段）。
一方、同図左列から明らかな通り、画像処理部１６は、パターン光画像をデコードすることにより、注目画素に対応し仮想カメラ画像に係る水平（ｘ軸）方向の値（ｘｐ）を取得する（Ｓ３６２、Ｓ３６３、Ｓ３６６）。
その後、カメラ撮影画像における補正後の垂直（ｙ軸）方向の座標ｙｃ''と、仮想カメラ画像における補正後の垂直（ｙ軸）方向の座標ｙｐ''とが等しくなることを利用して、第２のルックアップテーブルを用いて、仮想カメラ画像上の水平（ｘ軸）方向位置（ｘｐ）と、補正後の垂直（ｙ軸）方向の座標位置ｙｃ''に基づいて、対応する仮想カメラ画像に係る補正後の水平（ｘ軸）方向の値（ｘｐ''）を取得する（Ｓ３６７）（同図の左列最下段）。
最後に、同図の中央最下段にあるように、画像処理部は１６、補正後の水平（ｘ軸）方向の各座標（ｘｃ''とｘｐ''）から視差情報ｄを計算する（Ｓ３６８）。
このような構成によれば、一の方向に関して空間符号化を行ったパターン光を投射するだけで、プロジェクタにおいて発生する歪みを考慮した補正プロジェクタ座標を得ることができる。これにより、プロジェクタの光学系において生じる歪みを画像処理により補正しつつも、高速な３次元計測を実現することができる。
図１４に戻り、画像処理が完了すると、画像処理部１６は、距離情報の生成処理を行う（Ｓ３７）。本実施形態においては、視差情報ｄに加えて、記憶部１３に記憶された既知のパラメータ（焦点距離ｆ及びカメラ３１とプロジェクタ３５との距離Ｂ）を用いて、カメラ３１又はプロジェクタ３５から対象物５までの距離を算出する。
図１９は、距離情報の生成に関する原理図である。同図の通り、対象物５上の点を点Ｐ、プロジェクタ３５又は仮想カメラ位置を点Ｑ、カメラ３１位置を点Ｒとし、点Ｑ又は点Ｒからイメージセンサ３１１までの距離をｆとする。また、点Ｒから線分ＰＱに平行な線を伸ばした線とイメージセンサ３１１面との交点から線分ＰＲとイメージセンサ３１１面との交点までの距離は既に求めた視差ｄである。さらに、点Ｑから点Ｒまでのベースラインの距離はＢである。
この状態において、点Ｑ又は点Ｒから点Ｐまでの距離Ｚは、以下の数式３の通り、距離Ｂと焦点距離ｆとの積を視差ｄで除した値として計算される。
すなわち、視差情報ｄを求めることで対象物までの距離情報Ｚを算出することができる。また、このような距離情報Ｚは画素毎に生成可能なので、所謂デプスマップを生成することができる。
図１４に戻り、距離情報ｄの生成処理が完了すると、次に、距離画像の生成及び出力処理が行われる（Ｓ３８）。
本実施形態においては、画像処理部１６は、撮影処理（Ｓ３２）において撮影された通常の画像とデプスマップを用いて、３次元空間の点群データを生成する。その後、出力部１７は、デプスマップと共に、点群データをレンダリングして、ディスプレイ（不図示）等に出力する。
このような構成によれば、カメラ撮像領域内の距離情報を提供することが出来ると共に、距離情報を直感的にユーザに提示することができる。
図２０は、３次元点群データの生成に関する概念図である。同図から明らかな通り、カメラ３１による通常の撮影画像（同図左上）にデプスマップ情報（同図左下）を適用するよう画像処理を行うことにより、同図右側に示されるような立体的な画像を提供することができる。
なお、本実施形態においては画像情報を出力するものとしたが、本発明はこのような構成に限定されることはなく、単に視差情報ｄ又は距離情報Ｚを出力してもよい。
（２．第２の実施形態）
添付の図面を参照しつつ、本発明の第２の実施形態について説明する。なお、以下では、第１の実施形態と同一の構成については同一の符号が付与される。
（２．１ システムの構成）
図２１は、本実施形態に係る３次元計測システム１００'の全体構成図である。同図から明らかな通り、本実施形態に係る３次元計測システム１００'もコントローラユニット１'と、コントローラユニット１'と接続されるセンサヘッドユニット３'を含んでいる。従って、これらの構成を利用して、対象物５の３次元情報を生成する点において、第１の実施形態と類似の構成を有している。
しかしながら、本実施形態に係るセンサヘッドユニット３'は、さらに、プロジェクタ３５のレンズ等の光学系の温度を計測するための温度センサ３７を備えている点において、第１の実施形態に係る構成と相違する。より詳細には、温度センサ３７は、プロジェクタ３５のアルミニウム製の鏡筒に貼り付けられレンズと同程度の熱伝導率を有する樹脂板３８へと貼付されている。すなわち、鏡筒に対して樹脂板３８を介して間接的に取り付けられている。
このようにレンズと同程度の熱伝導率を有する樹脂板３８へと温度センサ３７を取り付けることで、温度センサ３７においてレンズと同程度の温度を計測することができる。これにより、レンズ等の光学系の熱膨張をより的確にとらえることができ、精度よく３次元計測を行うことができる。なお、鏡筒に対して直接温度センサ３７を貼り付けてもよい。
また、温度センサ３７において取得されたセンサ情報は、記憶部１３１に記憶されると共に、後述の通り、画像処理部１６１における処理において利用される。
（２．２ システムの動作）
（２．２．１ 事前処理）
第２の実施形態における事前処理は、第１の実施形態における事前処理と略同一である。ただし、第２のルックアップテーブルを、温度センサ３７で取得される温度条件を変えつつ作成し、温度条件と共に記憶部１３１へと記憶する点において相違する。
図２２は、本実施形態において生成される第２のルックアップテーブル群（３次元ルックアップテーブル（３ＤＬＵＴ））の概念図である。同図から明らかな通り、同図の例にあっては、１０度毎に第２のルックアップテーブルが生成されている。なお、第１の実施形態と同様、各ルックアップテーブルは、一方の系列を補正前の画素のｘ座標（水平方向の座標ｘｐ）、他方の系列を補正後の画素のｙ座標（垂直方向の座標ｙｐ''）とし、それらの座標により特定される位置に補正後のｘ座標（ｘｐ''）を格納している。
すなわち、温度に応じた２次元ルックアップテーブルを選択的に使用することで、補正前の画素のｘ座標（ｘｐ）と、補正後の画素のｙ座標（ｙｐ''）に基づいて、仮想カメラの論理画像の各画素に対して、歪補正処理及び平行化変換処理を行った結果となるｘ座標（ｘｐ''）を直ちに求めることができる。このような２次元ルックアップテーブルによれば、補正前の画像の各画素について、高速に、補正後の座標を得ることができる。
（２．２．２ ３次元計測処理）
第２の実施形態における３次元計測処理も、第１の実施形態における３次元計測処理と略同一である。
図２３は、第２の実施形態に係る３次元計測処理のゼネラルフローチャートである。同図から明らかな通り、測定開始信号を受信した後（Ｓ３１）、カメラ撮影を行い（Ｓ３２）、パターン光画像を生成する処理（Ｓ３４）を行う流れは、第１の実施形態に係るものと同一である。しかしながら、第２の実施形態に係る画像処理の内容は、第１の実施形態に係る内容と相違する。
図２４は、本実施形態に係る画像処理に係る詳細フローチャートである。同図から明らかな通り、変数ｉの初期化処理（Ｓ３６１）から、各画素に対する視差情報ｄの生成（Ｓ３６８、Ｓ３６９）に至るまでの処理は、第１の実施形態に係るものと略同一である。ただし、温度センサ３７を利用した処理がさらに追加される点において相違する。
変数ｉの初期化処理（Ｓ３６１）の後、画像処理部１６１は、温度センサ３７を通じてプロジェクタ３５の光学系の温度を取得する（Ｓ５６１）。その後、画像処理部１６１は、記憶部１３１から、取得した温度に最も近い温度条件で生成された第２のルックアップテーブルを読み出す処理を行う（Ｓ５６２）。
この読み出された第２のルックアップテーブルにより、仮想カメラにおける補正後の座標の水平方向（ｘ軸方向）の値（Ｘｐ''）が取得される（Ｓ３６７）。
なお、本実施形態においては、取得した温度に最も近い温度条件で生成された第２のルックアップテーブルを読み出す処理を行うが、他の手法を採用してもよい。例えば、取得した温度に近い２つの第２のルックアップテーブルを読み出し、それらから、線形補間により値を補間したルックアップテーブルを生成してもよい。
このような構成によれば、プロジェクタに係る光学系の温度に応じた適切な補正処理を行ったプロジェクタ座標又は仮想カメラ座標を取得することができる。
また、線形補間によりあらゆる温度において適当な補正後の仮想カメラ座標、すなわち、補正プロジェクタ座標を取得することができる。
（３． 変形例）
本発明は、様々に変形して実施することができる。
例えば、カメラ３１のイメージセンサ３１１面とプロジェクタ３５位置の仮想カメラの撮像面との間で平行がとれていることが保証されている場合、平行化変換処理を行わずに歪補正処理のみを行ってもよい。
図２５は、カメラ３１とプロジェクタ３５とが機械的又は光学的に平行化されている場合のシステム構成を示している。このような構成の場合には、平行化変換処理を行う必要はない。
上述の実施形態においては、水平方向（ｘ軸方向）の空間符号化を行ったパターン光を投射すると共に、水平方向（ｘ軸方向）の位置座標の差分から視差情報を算出していた。しかしながら、このパターン光の空間符号化を行う方向や、視差のために差分をとる方向は、カメラ３１とプロジェクタ３５との位置関係により相対的に定まるものである。
従って、例えば、カメラ３１とプロジェクタ３５とが垂直に配置される場合には、それらを結ぶ仮想線に平行な方向を基準として、パターン光の空間符号化を行う方向や、視差のために差分をとる方向を決定してもよい。
上述の実施形態においては、第１又は第２のルックアップテーブルを用いて、補正後のカメラ画像の各画素の座標（ｘｃ''，ｙｃ''）や、仮想カメラ画像上の補正後の座標（ｘｐ''）を算出する構成について述べたが、本発明はこのような構成に限定されない。従って、例えば、２次元テーブルの形式にせず、単に対応する値を読み出す形式としてもよい。また、逐次に計算を行ってもよい。
以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。
本発明は、少なくとも３次元計測システム等を製造する産業において利用可能である。
１ コントローラユニット
１１ 入力受付部
１２ 投射制御部
１３ 記憶部
１５ 画像取得部
１６ 画像処理部
１７ 出力部
３ センサヘッドユニット
３１ カメラ
３１１ イメージセンサ
３１２ 対物レンズ
３５ プロジェクタ
３５１ 光源
３５２ 平面波変換レンズ
３５３ ミラー
３５５ ＤＭＤ
３５６ リレーレンズ
３５７ 対物レンズ
３７ 温度センサ
５ 対象物
１００ ３次元計測システム

Claims (15)

  1. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、
    前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、３次元計測システム。
  2. 前記補正プロジェクタ座標取得部において、前記第一の方向に関する補正プロジェクタ座標は、前記第二の方向に関する補正カメラ座標を第一の系列に、前記第一の方向に関する対応プロジェクタ座標を第二の系列とする２次元ルックアップテーブルに格納されている、請求項１に記載の３次元計測システム。
  3. 前記２次元ルックアップテーブルは、前記第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光と前記第二の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を所定の対象物に対して投射し、投射された前記パターン光を撮影した結果に基づいて生成される、請求項２に記載の３次元計測システム。
  4. 前記プロジェクタに係る光学系の温度を直接的又は間接的に測定する温度センサと、
    前記温度毎に生成され、前記第二の方向に関する補正カメラ座標を第一の系列に、前記第一の方向に関する対応プロジェクタ座標を第二の系列とする、複数の温度別２次元ルックアップテーブルを記憶する、記憶部と、
    前記温度センサで測定された温度に応じて、対応する前記温度別２次元ルックアップテーブルを読み出す、選択的読出部と、をさらに備え、
    前記補正プロジェクタ座標取得部は、前記２次元ルックアップテーブルに代えて、読み出された前記温度別２次元ルックアップテーブルを用いて、前記第一の方向に関する補正プロジェクタ座標を取得する、請求項２に記載の３次元計測システム。
  5. 前記第一の方向に関する補正プロジェクタ座標は、前記温度センサにより測定された温度の前後の温度に対応する前記温度別２次元ルックアップテーブルに格納された値を用いて補間処理することにより生成される、請求項４に記載の３次元計測システム。
  6. 前記補間処理は、線形補間処理である、請求項５に記載の３次元計測システム。
  7. 前記パターン光は、空間コード化法に係るパターン光である、請求項１に記載の３次元計測システム。
  8. 前記パターン光は、位相シフト法に係るパターン光である、請求項１に記載の３次元計測システム。
  9. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、
    前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、３次元計測装置。
  10. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御方法であって、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、制御方法。
  11. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御プログラムであって、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、制御プログラム。
  12. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、
    前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理及び平行化変換処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正及び平行化変換処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、３次元カメラ。
  13. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、
    前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得部と、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理部と、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得部と、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得部と、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成部と、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、３次元計測システム。
  14. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御方法であって、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、制御方法。
  15. 対象物に対して、第一の方向に関して明部と暗部が周期的に繰り返された縞状のパターン光を投射する、プロジェクタと、前記対象物に投射された前記パターン光を撮影して撮影画像を生成する、カメラと、を備えた３次元計測システムの制御プログラムであって、
    前記撮影画像上の注目画素に対して、前記カメラに関する歪補正処理を行うことにより、前記注目画素に対応し、かつ、前記第一の方向及び前記第一の方向に直交する第二の方向に関する補正カメラ座標を取得する、補正カメラ座標取得ステップと、
    前記撮影画像に対して前記パターン光に関する復号化処理を行い、前記第一の方向に関する復号情報を取得する、復号化処理ステップと、
    前記復号情報に基づいて、前記プロジェクタの位置に配置される仮想カメラにおいて観測される仮想論理画像上にあって、前記注目画素に対応し、かつ、前記第一の方向に関する対応プロジェクタ座標を取得する、対応プロジェクタ座標取得ステップと、
    前記第二の方向に関する補正カメラ座標と、前記第一の方向に関する前記対応プロジェクタ座標に基づいて、前記対応プロジェクタ座標に対して前記プロジェクタに関する歪補正処理を行った結果に対応する、前記第一の方向に関する補正プロジェクタ座標を取得する、補正プロジェクタ座標取得ステップと、
    前記第一の方向に関する補正カメラ座標と、前記第一の方向に関する前記補正プロジェクタ座標から求められる視差情報に基づいて、前記カメラ又は前記プロジェクタから前記対象物までの距離情報を生成する、距離情報生成ステップと、を備え、
    前記第一の方向は、前記プロジェクタと前記カメラを結ぶ仮想線に対して略平行な方向である、制御プログラム。
JP2023537825A 2021-07-28 2021-07-28 ３次元計測システム、装置、方法及びプログラム Active JP7709529B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/027942 WO2023007625A1 (ja) 2021-07-28 2021-07-28 ３次元計測システム、装置、方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2023007625A1 JPWO2023007625A1 (ja) 2023-02-02
JP7709529B2 true JP7709529B2 (ja) 2025-07-16

Family

ID=85087666

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023537825A Active JP7709529B2 (ja) 2021-07-28 2021-07-28 ３次元計測システム、装置、方法及びプログラム

Country Status (2)

Country Link
JP (1) JP7709529B2 (ja)
WO (1) WO2023007625A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011137697A (ja) 2009-12-28 2011-07-14 Canon Inc 照明装置及び該照明装置を用いた計測システム
JP2017026406A (ja) 2015-07-21 2017-02-02 株式会社リコー 距離測定装置、物体検出装置、入力操作検出装置、画像表示装置、距離測定方法
US20180040130A1 (en) 2016-08-05 2018-02-08 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
US20190000412A1 (en) 2015-12-08 2019-01-03 Carestream Dental Technology Topco Limited 3-D Scanner Calibration with Active Display Target Device
JP2019016308A (ja) 2017-07-10 2019-01-31 株式会社Ｚｍｐ 物体検出装置及び方法
JP2020134252A (ja) 2019-02-15 2020-08-31 株式会社キーエンス 画像処理装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011137697A (ja) 2009-12-28 2011-07-14 Canon Inc 照明装置及び該照明装置を用いた計測システム
JP2017026406A (ja) 2015-07-21 2017-02-02 株式会社リコー 距離測定装置、物体検出装置、入力操作検出装置、画像表示装置、距離測定方法
US20190000412A1 (en) 2015-12-08 2019-01-03 Carestream Dental Technology Topco Limited 3-D Scanner Calibration with Active Display Target Device
US20180040130A1 (en) 2016-08-05 2018-02-08 Qualcomm Incorporated Methods and apparatus for codeword boundary detection for generating depth maps
JP2019016308A (ja) 2017-07-10 2019-01-31 株式会社Ｚｍｐ 物体検出装置及び方法
JP2020134252A (ja) 2019-02-15 2020-08-31 株式会社キーエンス 画像処理装置

Also Published As

Publication number Publication date
WO2023007625A1 (ja) 2023-02-02
JPWO2023007625A1 (ja) 2023-02-02

Similar Documents

Publication Publication Date Title
US10979694B2 (en) Information processing apparatus, method, and storage medium
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN106548489B (zh) 一种深度图像与彩色图像的配准方法、三维图像采集装置
CN103988048B (zh) 在空间编码幻灯片图像上的模式的对准方法和系统
CN107808398B (zh) 摄像头参数算出装置以及算出方法、程序、记录介质
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
KR20120058828A (ko) 3차원 좌표 추출 시스템 및 그 방법
KR20110052993A (ko) 영상 보정 장치 및 영상 보정 방법
JP2016527478A (ja) 三次元撮影装置、三次元画像の作成方法、および、三次元撮影装置の設定方法
KR20150112362A (ko) 깊이 센서의 깊이 보정을 위한 이미지 처리방법 및 그 장치
CN112489109B (zh) 一种三维成像系统方法、装置及三维成像系统
CN110692084B (zh) 用于导出场景的拓扑信息的装置和机器可读存储介质
WO2019087253A1 (ja) ステレオカメラのキャリブレーション方法
JP2016217833A (ja) 画像処理システム及び画像処理方法
CN116601455A (zh) 具有具备重叠视野的传感器的三维扫描仪
JP6486083B2 (ja) 情報処理装置、情報処理方法及びプログラム
US11143499B2 (en) Three-dimensional information generating device and method capable of self-calibration
TW202400965A (zh) 表面形狀測定裝置及表面形狀測定方法
CN117474753A (zh) 一种基于双目结构光系统的点云拼接方法及相关产品
JP2018044942A (ja) カメラパラメータ算出装置、カメラパラメータ算出方法、プログラム、及び記録媒体
CN116592793A (zh) 结构光相机畸变矫正方法、装置、设备及存储介质
JP7709529B2 (ja) ３次元計測システム、装置、方法及びプログラム
WO2019242394A1 (zh) 信号源空间传感方法、装置及主动式传感系统
KR20240071170A (ko) 멀티뷰 위상 이동 프로파일로메트리를 위한 3차원 캘리브레이션 방법 및 장치
KR20230077143A (ko) 카메라에 의해 생성된 그래픽스 데이터의 품질 개선 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20230823

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250704

R150 Certificate of patent or registration of utility model

Ref document number: 7709529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150