JP6440730B2 - 4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法 - Google Patents

4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法 Download PDF

Info

Publication number
JP6440730B2
JP6440730B2 JP2016555757A JP2016555757A JP6440730B2 JP 6440730 B2 JP6440730 B2 JP 6440730B2 JP 2016555757 A JP2016555757 A JP 2016555757A JP 2016555757 A JP2016555757 A JP 2016555757A JP 6440730 B2 JP6440730 B2 JP 6440730B2
Authority
JP
Japan
Prior art keywords
camera
cameras
measurement
point
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016555757A
Other languages
English (en)
Other versions
JP2018513345A (ja
Inventor
シン イン
シン イン
Original Assignee
ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド, ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド filed Critical ペキン チンギン マシン ヴィジュアル テクノロジー カンパニー リミテッド
Publication of JP2018513345A publication Critical patent/JP2018513345A/ja
Application granted granted Critical
Publication of JP6440730B2 publication Critical patent/JP6440730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G01B11/005Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates coordinate measuring machines
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2545Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with one projection direction and several detection directions, e.g. stereo
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/254Projection of a pattern, viewing through a pattern, e.g. moiré
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • G06T7/596Depth or shape recovery from multiple images from stereo images from three or more stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/271Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/275Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/282Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Description

本発明は、4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法に関するものであり、光学電子測定技術の製品と方法の技術分野に属する。具体的には、測定対象物の3次元特徴点の座標に対して、ディジタルカメラの組を用いて、画像処理によって位置及び寸法を測定し、被視物体の特徴点の3次元位置座標点のクラウドデータを計算する方法の技術分野に属する。
現在、被視物体の特徴点の3次元位置座標点のクラウドデータを高速且つ正確に算出して、被視物体全体の外観寸法の3次元立体に対する高速且つ正確な測定を実現する3次元測定を採用する方式、及びそこに存在する問題は、下記のとおりである。
1.シングル点ビジョン測定法
様々な種類の接近測長センサは、シングル点ビジョンとみなすことができ、典型的には、例えばレーザ距離センサ、及び高速走査機能を有するレーザースキャナーのようなものがある。
シングル点の高速走査によって、シングル点ビジョンを3次元立体ビジョンシステムにすることができるが、このようなシステムのデメリットは、測定物全体の模様特徴を高速かつ全面的に把握することができず、ダイナミック測定時に、高速で移動する物体に対して変形が発生してしまって、測定死角が発生しやすいとともに、3次元点のクラウドデータの処理速度とアルゴリズムを更に強化する必要がある、ということである。
2.平面ビジョン測定法
平面ビジョンにおいては、主に様々な種類のカメラを用いて2次元結像を行う。現在、様々な種類のカメラ、ビディオカメラ、監視カメラなどが広く応用されている。2次元画像のオンライン測定は、印刷と包装ライン品質検査、製品品質外観検査などのいろいろな種類の特定の対象の流れ作業検査に広く応用されている。
2次元結像によって、視野範囲内の物体に対して一回的な結像を行うことができ、エッジと分類アルゴリズムを通じて、物体に対して検査とインテリジェント処理を行う。そのもっとも大きな問題は、平面画像に基づいて物体の物理的な大きさを直接算出することが難しく、3次元検出に対して、独立の画像解析のみを行う場合、平面外形輪郭の定性分析しかできない、ということである。
3.3次元ビジョン測定
現在、3次元データの直接的な収集を確実に実現できる機器はまだ存在しない。3次元ビジョンというのは、いずれも1次元と2次元ビジョンに関する機器と技術が組み合わせてなるものである。3次元ビジョン及び測定技術は、主に下記の幾つかのものを含む。
(1)光切断技術(light sectioning method)及びラインレーザー測定
光切断技術及びラインレーザー測定は、レーザ光平面の確立を通じて、3次元測定を2次元の問題に変換させて解決する。1つのラインレーザ光発生装置により1つのレーザ光平面が発生し、当該平面と一定の角度をなすように設けられたディジタルビディオカメラによって結像を行った後、画像に対して2値化処理を行って、測定対象物と当該レーザ光線が交差してなる画像が得られ、当該レーザ光平面と2次元画像画素との間には、唯一の対応関係が存在し、キャリブレーションを通じて、当該物体のレーザ光の切線の正確な測定を実現することができる。現在、ラインレーザー距離計は、レーザ光線上の各点の距離の直接的な測定に対して、基本的に当該方法を採用することができる。
(2)両眼または多眼ビジョン測定技術
人間の目が被視物体の遠さと大きさを早く判断できるのは、人類が、一定な間隔を有しダイナミックに焦点と角度を調整できる二つの目を持っているとともに、演算速度が現在最も早いコンピュータも及び難い大脳を持っているためである。距離と焦点距離が一定である2つのカメラが同一の物体に対して同時に結像を行う場合、測定対象物の同一の測定点に対して、前記2つのカメラにより結像された画像の間には、唯一の対応関係が存在する。これが両眼ビジョン測定原理である。現在、3D映画は、基本的に当該方法によって撮影と立体再現を行う。
両眼ビジョンにおいて、物体のエッジ特徴の抽出及び現在の両眼画素のマッチングアルゴリズムの技術を実現するのは困難であり、両眼画像を高速且つ正確にマッチングし難いため、両眼または多眼ビジョン測定はまだ大規模的には応用されておらず、両眼で直接測定と画像認識を行う製品もまだ存在しない。
本発明は、多眼カメラを用いて、物体の3次元寸法を簡易、高速且つ正確に直接測定する目的を達成することができる4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法を提供することを課題とする。
前記目的を達成するための本発明が採用する技術方案と方法は、下記のとおりである。
4カメラ組の平面アレイの特徴点の3次元測定システムは、
4台のディジタルカメラを1組として構成される4カメラ組を少なくとも1組含み、
前記4台のディジタルカメラで構成される1組の4カメラ組は、2×2アレイの形式で配置され、
前記4台のディジタルカメラは、aカメラ、bカメラ、cカメラ及びdカメラを含み、当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラは、同一の平面に配置され、
前記aカメラ、bカメラ、cカメラ、及びdカメラの4台のカメラの結像光軸における焦点O、O、O、Oは、同一の平面に位置し、1つの矩形を形成するとともに1つの矩形平面を形成し、当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラの4台のカメラの結像光軸は、いずれも当該矩形平面に垂直であり、
前記aカメラ、bカメラ、cカメラ及びdカメラの4台のカメラの型番は、完全に同じであり、レンズも完全に同じであり、
前記aカメラとbカメラとの相対的な位置は、水平に配置され、前記cカメラとdカメラとの相対的な位置は、水平に配置され、
前記aカメラとcカメラとの相対的な位置は、垂直に配置され、前記bカメラとdカメラとの相対的な位置は、垂直に配置される。
当該4台のディジタルカメラで構成される1組の4カメラ組は、選定されたカメラの結像光軸における焦点とそれと隣接する3台のカメラの結像光軸における焦点とが1つの矩形を形成するとともに1つの矩形平面を形成する4台のディジタルカメラで構成され、4台のカメラの結像光軸は、いずれも当該矩形平面に垂直である。
当該4カメラ組は、2×3、2×4、2×5、3×2、3×3、3×4、3×5または4×4アレイの形式で配置される。
少なくとも1つの垂直レーザと少なくとも1つの水平レーザをさらに含み、当該垂直レーザは、OとOの連結線の垂直二等分線上に配置され、当該水平レーザは、OとOの連結線の垂直二等分線上に配置される。
当該4カメラ組のカメラのセンサの種類は、2/3型CMOSであり、ピクセル寸法は、5.5μmであり、解像度は、1024×2048であり、レンズの焦点距離は、25mmである。
当該4カメラ組において、水平方向で互いに隣接する2台のカメラの間の距離は、mであり、垂直方向で互いに隣接する2台のカメラの間の距離は、nであり、ここで、mの取る値の範囲は、50〜100mmであり、nの取る値の範囲は、50〜100mmである。
上記の3次元測定システムに基づく測定方法は、以下の具体的なステップを含む。
ステップ1は、4カメラ組の平面アレイの3次元ビジョン測定法に基づいて測定システムを構築する。
当該測定システムを構築する主な原則は、少なくとも4台以上の同じのカメラを有し、その光軸が互いに平行し、焦点が同一の平面に位置し、焦点が1つの矩形を形成できることである。
当該矩形の寸法とカメラ及びレンズのパラメータとの選択時の主な考慮要素は、測定システムの精度と測定対象物の寸法であり、測定精度の要求が高い場合、カメラの解像度を向上させ、レンズの焦点距離を増加させるとともに、測定対象物が同時に4台のカメラにおいて対応する結像点が存在するように保証し、測定対象物が結像範囲を超える場合、ペアで測定カメラを追加して、測定カメラマトリックスを形成する。
ステップ2は、画像収集完了後、カメラ組の画像の特徴点に対してマッチング演算を行う。
両眼立体ビジョン測定において、立体マッチングとは、そのうちの1つの結像点をすでに知っている場合、他の1つの画像から当該結像点に対応する点を探し出すことである。極線幾何拘束は、1つのよく用いられているマッチング拘束技術である。測定点及び対応画像における結像点のこれら3つの点を連結して1つの平面を形成し、当該平面と2つの画像との結像空間における交差線を極線と称する。極線の拘束条件は、マッチング点が必ず極線上に位置することである。
極線アルゴリズムに対して、4カメラ組の平面アレイの3次元ビジョン測定法のカメラ光軸が平行になり、且つ焦点で同一の平面に位置する矩形を形成するため、極線は、直接にX軸またはY軸に平行する直線に簡略化される。即ち、測定対象物のすべての各像平面における対応投影点は、いずれもX軸またはY軸に平行する直線上に位置する。このように、マッチング演算を行うとき、直接に各対の測定画像に対して画素点ごとに、X軸とY軸方向に平行移動、重ね合わせ、比較を行うことによって、測定物の測定できるすべての点を完全マッチングさせる。
マッチング演算は、4カメラ組の画像でマッチング演算を行って、空間位置の計算の必要のある特徴点を全部探し出す。4台のカメラを超えるカメラアレイを採用して測定する場合、それぞれ異なる4カメラ組で異なるマッチング演算を行う。
ステップ3は、マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算する。
マッチングされた特徴点の像座標を測定対象物空間内の何れかの1つの特徴点がPである座標を表す式に代入して、各特徴点の空間位置座標を計算し、
特徴点の空間位置計算式に基づいて、2対の水平カメラの間のマッチング特徴点によって、測定対象物の幅寸法を計算することができ、2対の垂直カメラの間のマッチング特徴点によって、測定対象物の高さ寸法を計算することができ、2対の水平カメラと2対の垂直カメラの間のマッチング特徴点によって、測定対象物の長さ寸法を計算することができ、前記の寸法は、いずれも冗長性を有し、冗長データ上で比較、分析して、測定精度と正確率を向上させる。
ステップ4は、得られた各特徴点の空間位置座標に基づいて、測定対象物の特別に測定する必要のある他の3次元寸法を計算して、3次元点のクラウドデータを形成し、3次元点のクラウド図形を形成して、3次元立体再現を行う。
当該ステップ1において、
当該カメラとレンズのパラメータ、矩形の長さと幅の寸法を選択する基準は、
測定距離が変更しない場合、測定対象物の体積が大きいほど、レンズの必要とする焦点距離が小さくなり、測定距離が大きくなる場合、測定可能な範囲も大きくなることであり、
測定解像度を向上させる方法は、カメラの解像度を向上させ、測定距離を減少させ、測定距離が変更しない条件で、焦点距離の値を減少させ、4カメラ組の光軸中心マトリックスの寸法を大きくすることである。
当該ステップ3において、
マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算する計算式において、
aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の焦点O、O、O、Oにより形成される矩形平面の中心点Oを原点として、測定対象物空間の三角座標系を設定し、Xは、水平方向であり、Yは、垂直方向であり、Zは、長さまたは深さ方向であり、
測定対象物の同一の点Pの空間位置の座標は、P(P1x,P1y,P1z)とし、P点の空間3次元座標のaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組における対応する結像点はP1a(P1ax,P1ay)、P1b(P1bx,P1by)、P1c(P1cx,P1cy)、P1d(P1dx,P1dy)とすると、位置座標の関係式は、
であり、
だだし、mは、矩形平面のOの長さであり、nは、Oの長さであり、fは、4台のカメラの焦点距離である。
当該ステップ3において、
特徴点の空間位置座標がPである座標を計算する一般的な表現式は、
であり、
だたし、aカメラ、bカメラ、cカメラ、dカメラの4台のカメラの焦点をO、O、O、Oとし、焦点O、O、O、Oは、同一の平面に位置し、1つの矩形平面を形成し、矩形平面のOの長さをmとし、Oの長さをnとし、4台のカメラの光軸は、互いに平行であるとともに当該矩形平面に垂直であり、aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組は、完全に同じカメラを選択使用して結像を行い、レンズも完全に同じであり、4台のカメラの焦点距離をfとし、
、O、O、Oにより形成される矩形平面の中心点Oを原点とする測定対象物空間の直角座標系を設定し、Xは、水平方向であり、矩形のO辺に平行であり、Yは、垂直方向であり、矩形のO辺に平行であり、Zは、測定対象物に向かう長さまたは深さ方向であり、
測定対象物の何れか1つの特徴点をPとし、Pがaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の像平面における投影点の座標をPNa(PNax,PNay)、PNb(PNbx,PNby)、PNc(PNcx,PNcy)、PNd(PNdx,PNdy)とすると、P点の空間位置の座標は、P(PNx,PNy,PNz)と設定される。
本発明の技術方案と方法は、4台以上のディジタルカメラを同一の平面に矩形アレイに配置し、多眼マッチングアルゴリズムを完成して、対応する各特徴点を探し出した後、当該方法を採用して高速かつ正確に被視物体の特徴点の3次元位置座標を算出し、さらに、被視物体全部の外観寸法の3次元立体の高速且つ正確な測定を実現する。特徴点の3次元座標を高速に計算できる以外に、4カメラ組の平面マトリックス配置方式を採用したため、当該方法は、特徴点のマッチングアルゴリズムを大幅に簡略化できる。
本発明の提案と方法は、下記の利点を有する。
1.4カメラ組の平面アレイの3次元ビジョン測定法は、測定対象物の同一の点の、異なるカメラにおける結像点の位置の変化に基づいて、測定対象物の同一の点の3次元立体座標を算出することができる。ここで、水平寸法は、2対の水平に配置されたカメラにより算出され、垂直寸法は、2対の垂直に配置されたカメラにより算出され、深さ寸法は、2対の水平カメラまたは2対の垂直カメラにより算出される。
2.4カメラ組の平面アレイの3次元ビジョン測定法は、特徴点の画像座標の間の簡単な代数計算によって、測定対象物の特徴点の3次元立体データを算出することができ、測定対象物の同一の点の座標計算精度は、カメラの精度と解像度、カメラ同士の位置精度と距離のみに関連する。従来の光切断アルゴリズムと予めキャリブレーションが必要な他のアルゴリズムに比べて、複雑なキャリブレーション計算式に代入する必要がなく、空間寸法計算を大幅に簡略化させるとともに、キャリブレーション装置とキャリブレーション過程で発生する誤差による測定結果への影響を避けることができる。
3.4カメラ組の平面アレイの3次元ビジョン測定法は、マルチカメラ冗長化と特殊構造化の配置方法に属し、両眼ビジョンマッチングアルゴリズムのうちの極線アルゴリズムに対して、直接にX軸とY軸に平行する直線に簡略化することができる。即ち、測定対象物のすべての各像平面における対応投影点は、いずれもX軸とY軸とに平行する直線上に位置する。直接に各対の測定画像に対して画素点ごとに、X軸とY軸方向で平行移動、重ね合わせ、比較を行うことによって、測定物の測定できるすべての点を完全マッチングさせる。当該方法は、両眼マッチングの複雑なアルゴリズムを大幅に簡略化することができる。
本発明の平面4カメラ組アレイの配置平面模式図である。 本発明の平面4カメラ組アレイの平面斜視模式図である。 本発明の平面4カメラ組アレイの配置座標系の設定模式図である。 本発明の4カメラ組アレイの水平寸法を計算するときの斜視模式図である。 本発明の4カメラ組アレイの水平寸法を計算するときの平面模式図である。 本発明の4カメラ組アレイの垂直寸法を計算するときの斜視模式図である。 本発明の4カメラ組アレイの垂直寸法を計算するときの平面模式図である。 本発明の3×2カメラアレイの3次元測定システムの配置模式図である。 本発明の3×2カメラアレイの3次元測定システムの配置平面図である。 本発明の3×2カメラアレイの3次元測定システムの配置側面図である。
以下、本発明の技術方案と方法を全面的に理解させるために、図面を参照して本発明の技術方案と方法を詳細に説明する。
図1、図2及び図3に示すように、4カメラ組の平面アレイの特徴点の3次元測定システムは、4台のディジタルカメラを1組として構成される4カメラ組を少なくとも1組含む。
前記の4台のディジタルカメラで構成される1組の4カメラ組は、2×2アレイの形式で配置される。
前記の4台のディジタルカメラは、aカメラ、bカメラ、cカメラ及びdカメラを含み、当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラは、同一の平面に配置される。
前記のaカメラ、bカメラ、cカメラ及びdカメラの4台のカメラの結像光軸における焦点O、O、O、Oは、同一の平面に位置し、1つの矩形を形成するとともに1つの矩形平面を形成する。即ち、aカメラ、bカメラ、cカメラ及びdカメラは、それぞれ当該矩形の4つの角(図1、図2、図3)に位置する。当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラの4台のカメラの結像光軸は、いずれも当該矩形平面に垂直である。
前記のaカメラ、bカメラ、cカメラ及びdカメラの4台のカメラの型番は、完全に同じであり、レンズも完全に同じである。カメラ同士の間の距離は、矩形の要求を満足する上で、その長さと幅を任意に調整することができる。カメラ解像度と他のパラメータ、レンズの焦点距離、矩形の長さと幅寸法の選択は、測定対象物の位置と寸法に基づいて適当なパラメータを選択して、4台のカメラが視野範囲内でいずれも測定対象物の画像を撮影できることを保証するとともに、画像解像度に対する測定精度の要求を満足する。
また、少なくとも1つの垂直レーザと少なくとも1つの水平レーザを含む。垂直レーザとは、垂直方向に配置されたレーザであり、水平レーザとは、水平方向に配置されたレーザである。レーザは、気体レーザ、固体レーザ、半導体レーザ、自由電子レーザまたはパルスレーザから選出できる。
前記のaカメラとbカメラとの相対的な位置は、水平に配置され、前記のcカメラとdカメラとの相対的な位置は、水平に配置される(aカメラ、bカメラと平行)。当該垂直レーザは、OとOの連結線の垂直二等分線上に位置し、図1、図2に示すように、aカメラとbカメラの上方に位置し、距離は、aカメラとbカメラの焦点の連結線の長さの1〜3倍である。
前記のaカメラとcカメラとの相対的な位置は、垂直に配置され、前記のbカメラとdカメラとの相対的な位置は、垂直に配置される(aカメラ、cカメラと平行)、当該水平レーザは、OとOの連結線の垂直二等分線上に位置し、図1、図2に示すように、aカメラとcカメラの左側に位置し、距離は、aカメラとcカメラの焦点の連結線の長さの1〜3倍である。
当該4台のディジタルカメラで構成される1組の4カメラ組は、選定されたカメラの結像光軸における焦点と、それと隣接する3台のカメラの結像光軸における焦点とが1つの矩形を形成するとともに1つの矩形平面を形成する4台のディジタルカメラで構成される。4台のカメラの結像光軸は、いずれも当該矩形平面に垂直である。
当該4カメラ組は、2×3、2×4、2×5、3×2、3×3、3×4、3×5または4×4アレイの形式で配置される。異なる位置と外形寸法の物体を測定でき、異なる測定精度の要求を満足するために、当該ビジョン測定システムは、必要により、4カメラ組の2×2アレイを、矩形を元にペアでカメラアレイに配置して拡張することによって、測定する視野範囲を拡大する。4カメラ組のアレイが2×2アレイであると設定する場合、横方向の視野範囲を増加させようとすると、横方向に1対のカメラをさらに配置して3×2アレイにすることができ、拡張可能なアレイは、例えば、2×3、2×4、2×5、3×2、3×3、3×4、3×5、4×4などがある。
測定カメラのマトリックス配置のもっとも重要な原則は、カメラの結像光軸上の焦点、及びそれと隣接する3台のカメラの結像光軸上の焦点が1つの矩形を形成し、カメラの結像光軸がいずれも当該矩形平面に垂直となるようにすることである。
測定カメラのマトリックス配置のもう一つの原則は、測定される必要のある特徴点がカメラアレイのうちの少なくとも1つの4カメラの2×2アレイのうちのすべての画像から対応するマッチング点を探し出されるようにすることである。
測定カメラマトリックスの計算原則は、4カメラ組の2×2アレイを基礎として画像マッチングと3次元座標計算をすることである。当該1対のカメラが水平または垂直方向で2対の他のカメラとそれぞれ隣接する場合、当該1対のカメラは、それぞれ、それと隣接する2対の他のカメラとの4カメラ組の2×2アレイ演算に寄与することができる。
4カメラ組の平面アレイの特徴点の3次元測定法においては、1つまたは複数の垂直ラインレーザー発生器(即ち、垂直レーザー)または水平ラインレーザー発生器(即ち、水平レーザー)を配置してもよい。図1、図2を参照すると、1つまたは複数の垂直ラインレーザー発生器または水平ラインレーザー発生器の用途は、レーザ光構造化光によって被視物体とレーザ光との交差線における同一の測定点に対する4カメラ組の画像を高速且つ正確にマッチングさせることである。(レーザ光が普通の光源に比べて照度が高いため、画像において容易に物体との交差線図形が形成され、光切断原理に基づいて、交差線の3次元座標を容易に算出でき、ずれはない。指示線と類似し、画像マッチングに便利である。逆にいうと、画像を直接マッチングさせる場合、アルゴリズムが複雑であり、マッチングエラーが発生しやすく、唯一性を保証することが難しい。)しかしながら、ラインレーザー発生器を配置しなくても、画像特徴点の高速マッチングを実現できれば、測定結果にも影響がない。測定速度と精度の要求を達成するために、複数本の水平または垂直レーザ光線を配置する場合がある。配置方式としては、レーザ光線が互いに平行するように配置されることを提案する。
当該4カメラ組のうちのカメラセンサの種類は、2/3型CMOSであり、ピクセル寸法は、5.5μmであり、解像度は、1024×2048であり、レンズの焦点距離は、25mmである。
当該4カメラ組のうちの水平方向で互いに隣接する2台のカメラの距離は、mであり、垂直方向で互いに隣接する2台のカメラの距離は、nであり、ここで、mの範囲は、50〜100mmであり、mの好ましい範囲は、60mmであり、nの範囲は、50〜100mmであり、nの好ましい範囲は、50mmである。
前記のような3次元測定システムに基づく測定方法は、下記の具体的なステップを含む。
ステップ1は、4カメラ組の平面アレイの3次元ビジョン測定法に基づいて測定システムを構築する。
当該測定システムを構築する主な原則は、少なくとも4台以上の同じのカメラを有し、その光軸が互いに平行であり、焦点が同一の平面に位置し、焦点が1つの矩形を形成できるようにすることである。
当該矩形の寸法とカメラ及びレンズのパラメータとの選択時の主な考慮要素は、測定システムの精度と測定対象物の寸法である。測定精度の要求が高い場合、カメラの解像度を向上させ、レンズの焦点距離を増加させるとともに、同時に4台のカメラに測定対象物の対応する結像点が存在するように保証する。測定対象物が結像範囲を超える場合、ペアで測定カメラを追加して、測定カメラマトリックスを形成することが考えられる。
ステップ2は、画像収集完了後、カメラ組の画像の特徴点に対してマッチング演算を行う。
両眼と多眼画像マッチングアルゴリズムに関して、現在、大量の関連研究とアルゴリズムがあり、現在のアルゴリズムを参考にして、画像における測定対象物の結像点に対して、対応するマッチングを行うことができる。マルチカメラ冗長と特殊構造化配置方法を採用したため、両眼・多眼画像とマッチングアルゴリズムを採用して、画像における測定対象物の結像点に対して、対応するマッチングを行う。両眼ビジョンマッチングアルゴリズムのうちの極線アルゴリズムに対して、直接にX軸とY軸に平行する直線に簡略化する。即ち、測定対象物の各像平面における対応するすべての投影点は、いずれもX軸及びY軸に平行する直線上に位置する。直接に各対の測定画像に対して画素点ごとに、X軸方向とY軸方向に平行移動、重ね合わせ、比較を行うことによって、測定物の測定できるすべての点を完全マッチングさせる。当該方法は、両眼マッチングの複雑なアルゴリズムを大幅に簡略化することができる。
両眼立体ビジョン測定において、立体マッチングとは、そのうちの1つの結像点をすでに知っている場合、他の1つの画像から当該結像点に対応する点を探し出すことである。極線幾何拘束は、1つのよく用いられているマッチング拘束技術である。測定点及び対応画像における結像点のこれら3つの点を連結して1つの平面を形成し、当該平面と2つの画像との結像空間における交差線を極線と称する。極線の拘束条件は、マッチング点が必ず極線上に位置することである。
極線アルゴリズムに対して、4カメラ組の平面アレイの3次元ビジョン測定法のカメラ光軸が平行になり、且つ焦点で同一の平面に位置する矩形を形成するため、極線は、直接にX軸またはY軸に平行する直線に簡略化される。即ち、測定対象物のすべての各像平面における対応投影点は、いずれもX軸またはY軸に平行する直線上に位置する。このように、マッチング演算を行うとき、直接に各対の測定画像に対して画素点ごとに、X軸とY軸方向に平行移動、重ね合わせ、比較を行うことによって、測定物の測定できるすべての点を完全マッチングさせる。
マッチング演算は、4カメラ組の画像でマッチング演算を行うことを要求し、空間位置の計算の必要がある特徴点を全部探し出す。4台のカメラを超えるカメラアレイを採用して測定する場合、それぞれ異なる4カメラ組で異なるマッチング演算を行う必要がある。
ステップ3は、マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算する。
マッチングされた特徴点の像座標を測定対象物空間内の何れかの1つの特徴点がPである座標を表す式に代入して、各特徴点の空間位置座標を計算する。
特徴点の空間位置計算式に基づいて、2対の水平カメラの間のマッチング特徴点によって、測定対象物の幅寸法を計算することができ、2対の垂直カメラの間のマッチング特徴点によって、測定対象物の高さ寸法を計算することができ、2対の水平カメラと2対の垂直カメラとの間のマッチング特徴点によって、測定対象物の長さ寸法を計算することができる。前記の寸法は、いずれも冗長性を有し、冗長データを比較、分析して、測定精度と正確率を向上させることができる。
ステップ4は、得られた各特徴点の空間位置座標に基づいて、測定対象物の特別に測定する必要のある他の3次元寸法を計算して、3次元点のクラウドデータを形成し、3次元点のクラウド図形を形成して、3次元立体再現を行う。
当該ステップ1において、当該カメラとレンズのパラメータ、矩形の長さと幅を選択するときの具体的な基準は、以下のとおりである。
測定距離が変更しない場合、測定対象物の体積が大きいほど、レンズの必要とする焦点距離が小さくなり、測定距離を増加する場合、測定可能な範囲も大きくなる。
測定解像度を向上させる方法は、カメラの解像度を向上させ、測定距離を減少させ、測定距離が変更しない条件で、焦点距離の値を減少させ、4カメラ組の光軸焦点マトリックスの寸法を大きくすることである。
当該ステップ3において、マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算する式は、以下のとおりである。
aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の焦点O、O、O、Oにより形成される矩形平面の中心点Oを原点として、測定対象物空間の三角座標系を設定し、Xは、水平方向であり、Yは、垂直方向であり、Zは、長さまたは深さ方向である。
測定対象物の同一の点Pの空間位置の座標は、P(P1x,P1y,P1z)とし、P点の空間3次元座標のaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組における対応する結像点はP1a(P1ax,P1ay)、P1b(P1bx,P1by)、P1c(P1cx,P1cy)、P1d(P1dx,P1dy)とする場合の位置座標の関係式は、
である。
だだし、mは、矩形平面のOの長さであり、nは、Oの長さであり、fは、4台のカメラの焦点距離である。
本発明の3次元立体ビジョン測定原理は、図3、図4、図5、図6、図7を参照する。ここで、図4、図5は、aカメラ、bカメラで水平寸法を測定する模式図であり、図6、図7は、aカメラ、cカメラで垂直寸法を測定する模式図である。
図3、図4、図5、図6、図7を例として、以下のように測定原理を説明する。
図3において、a、b、c、dの4台カメラ組の焦点をO、O、O、Oとし、焦点O、O、O、Oは、同一の平面に位置し、1つの矩形平面を形成する。矩形平面のOの長さをmとし、Oの長さをnとし、4カメラ組の光軸は、互いに平行であり、且つ当該矩形平面に垂直である。a、b、c、dの4台のカメラは、完全に同じCCD(Charge−coupled Device,電荷結合素子)を選択使用して結像を行い、レンズも完全に同じであり、その焦点距離をfとし、a、b、c、dの4カメラ組のCCD結像の像平面の中心をO'、O'、O'、O'とする。
測定対象物の1つの特徴点をPとし、O、O、O、Oにより形成される矩形平面の中心点Oを原点として、測定対象物空間の三角座標系を設定し、Xは、水平方向であり、Yは、垂直方向であり、Zは、長さまたは深さ方向である場合、P点の空間位置の座標は、P(P1x,P1y,P1z)とする。
図4においては、a、bカメラの空間結像位置関係のみが表される。P点のa、bカメラの像平面における結像点をP1a、P1bとし、P点の座標XY軸平面における投影点をP'とし、その座標は、P'(P1x,P1y,0)であり、結像原理によると、P点とP1aの連結線は、O点を通過し、P点とP1bの連結線は、O点を通過する。O'、O'を中心として、物体空間座標系のOXYZ座標軸方向と一致するa、bカメラの像平面座標系をそれぞれ設定すると、P1aの座標は、P1a(P1ax,P1ay)であり、P1bの座標は、P1b(P1bx,P1by)である。
図5においては、P1a、P1b、P1の3つの点のXZ座標平面に投影されたときの幾何関係が表される。相似三角形の原理に基づいて、下記の式が成立する。
図6においては、a、cカメラの空間結像位置関係のみが表れる。P点のcカメラの像平面における結像点をP1cとし、P点の座標XY軸平面における投影点をP'とし、その座標は、P(P1x,P1y,0)であり、結像原理によると、P点とP1cの連結線は、O点を通過する。O'を中心として、物体空間座標系のOXYZ座標軸方向と一致するcカメラの像平面座標系を設定し、P1cの座標は、P1c(P1cx,P1cy)である。
図7においては、P1a、P1c、Pこれら3つの点のYZ座標平面に投影されたときの幾何関係が表れる。相似三角形の原理に基づいて、下記の式が成立する。
式(3)、(4)、(7)、(8)から、a、bカメラとa、cカメラによって、それぞれペアで演算を行って、P1点の空間位置座標P1x、P1y、P1zの、P点のa、b、cカメラにおける投影点P1a、P1b、P1cの座標に関する計算式を得る。
カメラ組により水平寸法を測定するとき、a、bカメラまたはc、dカメラを用いてペアで演算を行うことができ、c、dカメラの演算原理及び方法は、a、bカメラと完全に同じである。カメラ組により垂直寸法を測定するとき、a、cカメラまたはb、dカメラを用いてペアで演算を行うことができ、b、dカメラの演算原理及び方法は、a、cカメラと完全に同じである。
測定計算式をまとめると、以下のとおりである。
a、b、c、dの4台カメラ組の焦点O、O、O、Oにより形成される矩形平面の中心点Oを原点として、測定対象物空間の三角座標系を設定し、Xは、水平方向であり、Yは、垂直方向であり、Zは、長さまたは深さ方向である。測定対象物の同一の点であるP点の空間位置の座標は、P(P1x,P1y,P1z)であり、P点の空間3次元座標の、a、b、c、dの4台カメラ組における対応する結像点P1a、P1b、P1c、P1dの位置座標に関する関係式は、以下のとおりである(だだし、mは、矩形平面のOの長さであり、nは、Oの長さであり、fは、4台のカメラの焦点距離である)。
当該ステップ3において、特徴点の空間位置座標がPである座標を計算する一般的な式は、以下のとおりである。
aカメラ、bカメラ、cカメラ、dカメラの4台のカメラの焦点をO、O、O、Oとし、焦点O、O、O、Oは、同一の平面に位置し、且つ1つの矩形平面を形成する。矩形平面のOの長さをmとし、Oの長さをnとし、4台のカメラの光軸は、互いに平行であるとともに当該矩形平面に垂直である。aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組は、完全に同じCCDを選択使用して結像を行い、レンズも完全に同じであり、その焦点距離をfとする。
、O、O、Oにより形成される矩形平面の中心点Oを原点とする測定対象物空間の直角座標系を設定し、Xは、水平方向であり、矩形のO辺に平行であり、Yは、垂直方向であり、矩形のO辺に平行であり、Zは、長さまたは深さ方向であり、その方向は、測定対象物に向かう。
測定対象物のいずれか1つの特徴点をPとし、Pがaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の像平面における投影点の座標をPNa(PNax,PNay)、PNb(PNbx,PNby)、PNc(PNcx,PNcy)、PNd(PNdx,PNdy)とすると、P点の空間位置の座標は、P(PNx,PNy,PNz)と設定される。
一般的に、4カメラ組の平面アレイの特徴点の3次元測定方法において、測定対象物空間における何れか1つの特徴点Pの座標を表す式は、以下のとおりである。
前記の計算式によって、下記の結論が得られる。
1.4カメラ組の平面アレイの3次元ビジョン測定法は、測定対象物の同一の点の、異なるカメラにおける結像点の位置の変化に基づいて、測定対象物の同一の点の3次元立体座標を算出することができる。ここで、水平寸法は、2対の水平に配置されたカメラにより算出され、垂直寸法は、2対の垂直に配置されたカメラにより算出され、深さ寸法は、2対の水平カメラまたは2対の垂直カメラにより算出される。
2.4カメラ組の平面アレイの3次元ビジョン測定法は、特徴点の画像座標の間の簡単な代数計算によって、測定対象物の特徴点の3次元立体データを算出することができ、測定対象物の同一の点の座標計算精度は、カメラの精度と解像度、カメラ同士の位置精度と距離のみに関連する。従来の光切断アルゴリズムと予めキャリブレーションが必要な他のアルゴリズムに比べて、複雑なキャリブレーション計算式に代入する必要がなく、空間寸法計算を大幅に簡略化させるとともに、キャリブレーション装置とキャリブレーション過程で発生する誤差による測定結果への影響を避けることができる。
3.4カメラ組の平面アレイの3次元ビジョン測定法は、マルチカメラ冗長化と特殊構造化の配置方法に属し、両眼ビジョンマッチングアルゴリズムのうちの極線アルゴリズムに対して、直接にX軸とY軸に平行する直線に簡略化することができる。即ち、測定対象物のすべての各像平面における対応投影点は、いずれもX軸とY軸とに平行する直線上に位置する。直接に各対の測定画像に対して画素点ごとに、X軸とY軸方向に平行移動、重ね合わせ、比較を行うことによって、測定物の測定できるすべての点を完全マッチングさせる。当該方法は、両眼マッチングの複雑なアルゴリズムを大幅に簡略化することができる。
以下、1つの実施例を挙げて詳細に説明する。
図8、図9及び図10に示すように、カメラ1、カメラ2、カメラ3、カメラ4、カメラ5、カメラ6で1つの3×2カメラアレイの3次元測定システムを構成し、カメラ1、カメラ2、カメラ3、カメラ4、カメラ5、カメラ6をそれぞれ1、2、3、4、5、6と略称する。
用いられる6台のカメラのセンサの種類は、2/3型CMOSであり、ピクセル寸法は、5.5μmであり、解像度は、1024×2048であり、レンズの焦点距離は、25mmであり、水平方向に3台のカメラが配置され、垂直方向に2台のカメラが配置されて、3×2カメラアレイの3次元測定システムを構成する。だだし、水平方向におけるカメラの間の距離は、m=60mmであり、垂直方向におけるカメラの間の距離は、n=50mmである。
測定対象物は長方体であると仮定し、長方体の頂部の2つの測定点をP、Pとする。図9(平面図)から分かるように、測定対象物を、L1より小さい視野範囲内に配置してはいけない。さもないと、測定対象物が水平方向における少なくとも2台のカメラの視野交差範囲内に結像することを保証できない。図10(側面図)から分かるように、測定対象物は、L2より小さい視野範囲内に配置してはいけない。さもないと、測定対象物が垂直方向における2台のカメラの視野交差範囲内に結像することを保証できない。L1、L2は、最も近いテスト距離と呼んでもよい。図8から分かるように、L2>L1であり、測定距離がL2より小さい領域を当該測定システムの死角地帯とする。死角地帯以外の図面において斜線で表示された範囲が、測定できる領域である。
図面から分かるように、測定点Pは、1、2、4、5の4カメラ組の測定領域に位置し、Pは、2、3、5、6の4カメラ組の測定領域に位置する。当該測定システムにおいて、まず、1、2、4、5の4カメラ組で演算を行って、P点を含む、1、2、4、5の4カメラ組のいずれのカメラに結像できる測定対象物の各測定点を算出した後、2、3、5、6の4カメラ組で演算を行って、P点を含む、2、3、5、6の4台のカメラのいずれのカメラに結像できる測定対象物の各測定点を算出し、最後に、2回の計算結果をまとめて分析して、2つの組でいずれも測定できるデータを優先的に選出して、すべての点の3次元測定を完成する。
測定対象物の3次元立体表面の4カメラ組に結像できない部分に対しては、数回に分けて測定する方法、或いは他の測定システムを追加する方法を採用して解決することができる。

Claims (8)

  1. 4台のディジタルカメラを1組として構成される4カメラ組を少なくとも1組含み、
    前記4台のディジタルカメラで構成される1組の4カメラ組は、2×2アレイの形式で配置され、
    前記4台のディジタルカメラは、aカメラ、bカメラ、cカメラ及びdカメラを含み、当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラは、同一の平面に配置され、
    前記aカメラ、bカメラ、cカメラ及びdカメラの4台のカメラの結像光軸における焦点Oa、Ob、Oc、Odは、同一の平面で1つの矩形に組合わされて1つの矩形平面を形成し、当該aカメラ、当該bカメラ、当該cカメラ及び当該dカメラの4台のカメラの結像光軸は、いずれも当該矩形平面に垂直であり、
    前記aカメラ、bカメラ、cカメラ及びdカメラの4台のカメラの型番は同じであり、レンズも同じであり、
    前記aカメラと前記bカメラとの相対的な位置は、水平に配置され、前記aカメラ内のCCDのx方向の座標値が同一の行の延長線と、前記bカメラ内のCCDの対応するx方向の座標値が同一の行とが重ね合わされ、前記cカメラと前記dカメラとの相対的な位置は、水平に配置され、前記cカメラ内のCCDのx方向の座標値が同一の行の延長線と、前記dカメラ内のCCDの対応するx方向の座標値が同一の行とが重ね合わされ、
    前記aカメラと前記cカメラとの相対的な位置は、垂直に配置され、前記aカメラ内のCCDのy方向の座標値が同一の列の延長線と、前記cカメラ内のCCDの対応するy方向の座標値が同一の列とが重ね合わされ、前記bカメラと前記dカメラとの相対的な位置は、垂直に配置され、前記bカメラ内のCCDのy方向の座標値が同一の列の延長線と、前記dカメラ内のCCDの対応するy方向の座標値が同一の列とが重ね合わされ、
    当該4台のディジタルカメラで構成される1組の4カメラ組は、選定されたカメラの結像光軸における焦点と、前記選定されたカメラと隣接する3台のカメラの結像光軸における焦点とが1つの矩形に組合わされて1つの矩形平面を形成する4台のディジタルカメラにより構成され、4台のカメラの結像光軸は、いずれも当該矩形平面に垂直であり、
    少なくとも1つの垂直レーザと少なくとも1つの水平レーザをさらに含み、当該垂直レーザはOaとObの連結線の垂直二等分線上に配置され、当該水平レーザはOaとOcの連結線の垂直二等分線上に配置されることを特徴とする4カメラ組の平面アレイの特徴点の3次元測定システム。
  2. 当該4カメラ組は、2×3、2×4、2×5、3×2、3×3、3×4、3×5または4×4アレイの形式の多カメラ組に切り替えることができることを特徴とする請求項1に記載の4カメラ組の平面アレイの特徴点の3次元測定システム。
  3. 当該4カメラ組のカメラのセンサの種類は、2/3型CMOSであり、ピクセル寸法は、5.5μmであり、解像度は、1024×2048であり、レンズの焦点距離は、25mmであることを特徴とする請求項1または2に記載の4カメラ組の平面アレイの特徴点の3次元測定システム。
  4. 当該4カメラ組において、水平方向で互いに隣接する2台のカメラの間の距離は、mであり、垂直方向で互いに隣接する2台のカメラの間の距離は、nであり、ここで、mの範囲は、50〜100mmであり、nの範囲は、50〜100mmであることを特徴とする請求項1または2に記載の4カメラ組の平面アレイの特徴点の3次元測定システム。
  5. 下記のステップを含む、請求項1に記載の3次元測定システムに基づく測定方法において、
    ステップ1:4カメラ組の平面アレイの3次元ビジョン測定法に基づいて測定システムを構築し、
    当該測定システムの構築は、少なくとも4台以上の同じカメラを有し、その光軸が互いに平行であり、焦点が同一の平面に位置し、焦点が1つの矩形を形成することを含み、
    当該矩形の寸法とカメラ及びレンズのパラメータとの選択時の考慮要素は、測定システムの精度と測定対象物の寸法を含み、測定精度の要求が高い場合、カメラの解像度を向上させ、レンズの焦点距離を増加させるとともに、測定対象物が同時に4台のカメラにおいて対応する結像点が存在するように保証し、測定対象物が結像範囲を超える場合、ペアで測定カメラを追加して、測定カメラマトリックスを形成し、
    ステップ2:画像収集完了後、カメラ組の画像の特徴点に対してマッチング演算を行い、
    両眼立体ビジョン測定において、立体マッチングとは、そのうちの1つの結像点をすでに知っている場合、他の1つの画像から当該結像点に対応する点を探し出すことであり、極線幾何拘束は、1つのよく用いられているマッチング拘束技術であり、測定点及び対応画像における結像点のこれら3つの点を連結して1つの平面を形成し、当該平面と2つの画像との結像空間における交差線を極線と称し、極線の拘束条件は、マッチング点が必ず極線上に位置することであり、
    極線アルゴリズムに対して、4カメラ組の平面アレイの3次元ビジョン測定法のカメラ光軸が平行になり、且つ焦点が同一の平面に位置する矩形を形成することで、極線は、直接にX軸またはY軸に平行する直線に簡略化され、測定対象物のすべての各像平面における対応投影点は、いずれもX軸またはY軸に平行する直線上に位置され、
    当該マッチング演算において、直接に各対の測定画像に対して画素点ごとに、X軸とY軸方向で平行移動、重ね合わせ、比較を行うことによって、測定対象物の測定できる全ての特徴点を完全マッチングさせ、
    当該マッチング演算は、4台カメラ組画像にマッチング演算を行って、計算する必要のある空間位置の特徴点を全部探し出し、4台のカメラを超えるカメラアレイを使用して測定する場合、それぞれ異なる4カメラ組で異なるマッチング演算を行い、
    ステップ3:マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算し、
    マッチングされた特徴点の像座標を測定対象物空間内の何れかの1つの特徴点がPNである座標を表す式に代入して、各特徴点の空間位置座標を計算し、
    特徴点の空間位置計算式に基づいて、2対の水平カメラの間のマッチング特徴点によって、測定対象物の幅寸法を計算し、2対の垂直カメラの間のマッチング特徴点によって、測定対象物の高さ寸法を計算し、2対の水平カメラと2対の垂直カメラとの間のマッチング特徴点によって、測定対象物の長さ寸法を計算し、前記の寸法は、いずれも冗長性を有し、冗長データ(Redundant Data)を比較、分析することによって測定精度と正確率を向上させ、
    ステップ4:得られた各特徴点の空間位置座標に基づいて、測定対象物の特別に測定する必要のある他の3次元寸法を計算して、3次元点のクラウドデータを形成し、3次元点のクラウド図形を形成して、3次元立体再現を行う、
    ことを特徴とする3次元測定システムの測定方法。
  6. 当該ステップ1において、
    当該カメラとレンズのパラメータ、矩形の長さと幅の寸法を選択する基準は、
    測定距離が変更されない場合、測定対象物の体積が大きいほど、レンズの必要とする焦点距離が小さくなり、測定距離が大きくなる場合、測定可能な範囲も大きくなることであり、
    測定解像度を向上させる方法は、カメラの解像度を向上させ、測定距離を減少させ、測定距離が変更しない条件で、焦点距離の値を減少させ、4カメラ組の光軸中心マトリックスの寸法を大きくすることであることを特徴とする請求項に記載の測定方法。
  7. 当該ステップ3において、
    マッチングされた特徴点の像座標に基づいて、特徴点の空間位置座標を計算する計算式において、
    aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の焦点Oa、Ob、Oc、Odにより形成される矩形平面の中心点Oを原点として、測定対象物空間の三角座標系を設定し、Xは、水平方向であり、Yは、垂直方向であり、Zは、長さまたは深さ方向であり、
    測定対象物の同一の点P1の空間位置の座標は、P1(P1x,P1y,P1z)とし、P1点の空間3次元座標のaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組における対応する結像点はP1a(P1ax,P1ay)、P1b(P1bx,P1by)、P1c(P1cx,P1cy)、P1d(P1dx,P1dy)とすると、位置座標の関係式は、
    であり、
    だだし、mは、矩形平面のOaObの長さであり、nは、OaOcの長さであり、fは、4台のカメラの焦点距離であることを特徴とする請求項に記載の測定方法。
  8. 当該ステップ3において、
    特徴点の空間位置座標がPNである座標を計算する一般的な式は、
    であり、
    だだし、aカメラ、bカメラ、cカメラ、dカメラの4台のカメラの焦点をOa、Ob、Oc、Odとし、焦点Oa、Ob、Oc、Odは、同一の平面に位置し、1つの矩形平面を形成し、矩形平面のOaObの長さをmとし、OaOcの長さをnとし、4台のカメラの光軸は、互いに平行であるとともに当該矩形平面に垂直であり、aカメラ、bカメラ、cカメラ、dカメラの4台カメラ組は、完全に同じCCDを選択使用して結像を行い、レンズも完全に同じであり、それらの焦点距離をfとし、
    Oa、Ob、Oc、Odにより形成される矩形平面の中心点Oを原点とする測定対象物空間の直角座標系を設定し、Xは、水平方向であり、矩形のOaOb辺に平行であり、Yは、垂直方向であり、矩形のOaOc辺に平行であり、Zは、測定対象物に向かう長さまたは深さ方向であり、
    測定対象物の何れか1つの特徴点をPNとし、PNがaカメラ、bカメラ、cカメラ、dカメラの4台カメラ組の像平面における投影点の座標をPNa(PNax,PNay)、PNb(PNbx,PNby)、PNc(PNcx,PNcy)、PNd(PNdx,PNdy)とすると、PN点の空間位置の座標は、PN(PNx,PNy,PNz)と設定されることを特徴とする請求項に記載の測定方法。
JP2016555757A 2016-01-22 2016-04-14 4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法 Active JP6440730B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201610046181 2016-01-22
CN201610046181.0 2016-01-22
CN201610131645.8A CN105627926B (zh) 2016-01-22 2016-03-08 四像机组平面阵列特征点三维测量系统及测量方法
CN201610131645.8 2016-03-08
PCT/CN2016/079274 WO2017124654A1 (zh) 2016-01-22 2016-04-14 四相机组平面阵列特征点三维测量系统及测量方法

Publications (2)

Publication Number Publication Date
JP2018513345A JP2018513345A (ja) 2018-05-24
JP6440730B2 true JP6440730B2 (ja) 2018-12-19

Family

ID=56043079

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016555757A Active JP6440730B2 (ja) 2016-01-22 2016-04-14 4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法

Country Status (6)

Country Link
US (1) US10001369B2 (ja)
EP (1) EP3232151B1 (ja)
JP (1) JP6440730B2 (ja)
KR (1) KR101843838B1 (ja)
CN (1) CN105627926B (ja)
WO (1) WO2017124654A1 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10107617B2 (en) * 2016-07-04 2018-10-23 Beijing Qingying Machine Visual Technology Co., Ltd. Feature point matching method of planar array of four-camera group and measuring method based on the same
DE102016113000A1 (de) * 2016-07-14 2018-01-18 Aesculap Ag Endoskopische Vorrichtung und Verfahren zur endoskopischen Untersuchung
CN106643731B (zh) * 2016-12-29 2019-09-27 凌云光技术集团有限责任公司 一种对点目标进行跟踪测量的系统及方法
JP6602323B2 (ja) * 2017-01-13 2019-11-06 株式会社オプトエレクトロニクス 寸法測定装置、情報読取装置及び寸法測定方法
CN106657974B (zh) * 2017-02-27 2024-02-09 北京图森智途科技有限公司 双目摄像机的控制方法及装置、双目摄像机
JP6822234B2 (ja) * 2017-03-15 2021-01-27 セイコーエプソン株式会社 プロジェクターシステム
CN106813595B (zh) * 2017-03-20 2018-08-31 北京清影机器视觉技术有限公司 三相机组特征点匹配方法、测量方法及三维检测装置
CN107167092B (zh) * 2017-05-18 2019-12-13 上海晶电新能源有限公司 一种基于多目图像识别的定日镜面形检测系统及方法
CN107289869A (zh) * 2017-06-08 2017-10-24 杭州联络互动信息科技股份有限公司 一种利用矩阵镜头进行3d测量的方法、装置及系统
US11196941B2 (en) * 2017-06-12 2021-12-07 Christie Digital Systems Usa, Inc. Fixture for aligning tiled displays
KR102401914B1 (ko) 2017-10-02 2022-05-27 주식회사 비즈모델라인 카메라를 이용한 수치 계측 방법
KR102401575B1 (ko) 2017-10-02 2022-05-27 주식회사 비즈모델라인 카메라의 자동초점 기능을 이용한 수치 계측 방법
CN108584355A (zh) * 2018-04-28 2018-09-28 苏州锶创达智能科技有限公司 一种批量解码机
JP7227454B2 (ja) * 2018-07-18 2023-02-22 ミツミ電機株式会社 測距カメラ
CN109059760A (zh) * 2018-07-31 2018-12-21 易视智瞳科技(深圳)有限公司 一种工具对位方法及其装置
CN109591019B (zh) * 2018-12-19 2021-07-27 南京航空航天大学 一种无确定性定位特征物体的空间精确定位方法
CN109712180A (zh) * 2019-01-19 2019-05-03 北京伟景智能科技有限公司 一种钢筋计数方法
CN110043252B (zh) * 2019-05-24 2022-01-11 成都理工大学 一种岩屑图像特征随钻监测装置
CN110211225B (zh) * 2019-06-05 2022-04-19 广东工业大学 基于双目视觉的三维重建方法及系统
CN110425980A (zh) * 2019-08-12 2019-11-08 深圳市知维智能科技有限公司 仓储设施内容物的体积的测量方法和系统
CN110501026B (zh) * 2019-08-24 2022-11-01 西安应用光学研究所 基于阵列星点的相机内方位元素标定装置及方法
JP6697150B1 (ja) * 2019-10-30 2020-05-20 株式会社Qoncept 軌道算出装置、軌道算出方法、軌道算出プログラム
CN112639390A (zh) * 2019-11-21 2021-04-09 北京机电研究所有限公司 用于三维尺寸的动态测量装置及其测量方法
CN111006744B (zh) * 2019-12-17 2024-04-19 北京德火科技有限责任公司 一种红外热像式航空油料液面检测方法
CN111129995B (zh) * 2020-01-08 2021-06-29 深圳供电局有限公司 一种变电站协同智能巡检系统及其应用方法
CN111462304B (zh) * 2020-03-16 2021-06-15 天目爱视(北京)科技有限公司 一种用于太空领域的3d采集和尺寸测量方法
CN111383331A (zh) * 2020-03-23 2020-07-07 芜湖职业技术学院 一种室内装修用空间布局测量装置及方法
CN111641812B (zh) * 2020-05-29 2021-09-10 西安应用光学研究所 适用于机载广域侦察监视多相机阵列排布方法
JP2021189822A (ja) * 2020-06-01 2021-12-13 オリンパス株式会社 画像処理システム、及び、画像処理方法、並びに、画像処理プログラム
CN113834425B (zh) * 2020-06-23 2024-03-26 华晨宝马汽车有限公司 用于在中心物流库中对物体进行三维测量的方法和装置
CN112066950B (zh) * 2020-07-24 2022-10-14 北京空间机电研究所 一种多光轴平行的测绘相机单中心投影转换方法
CN112097642B (zh) * 2020-09-17 2021-06-15 北京理工大学 一种三维十字交叉孔位置度检测仪器及检测方法
CN112288853B (zh) * 2020-10-29 2023-06-20 字节跳动有限公司 三维重建方法、三维重建装置、存储介质
CN112288813B (zh) * 2020-11-03 2022-06-21 浙江大学 基于多目视觉测量与激光点云地图匹配的位姿估计方法
CN112461127B (zh) * 2020-11-05 2022-07-12 渤海造船厂集团有限公司 一种双曲外板成型检测装置及方法
CN112362034B (zh) * 2020-11-11 2022-07-08 上海电器科学研究所(集团)有限公司 基于双目视觉的固体发动机多节筒段对接引导测量方法
CN112268548B (zh) * 2020-12-14 2021-03-09 成都飞机工业(集团)有限责任公司 一种基于双目视觉的飞机局部外形测量方法
CN112833816A (zh) * 2020-12-31 2021-05-25 武汉中观自动化科技有限公司 一种标志点定位与智能反向定位混合的定位方法和系统
CN112924465B (zh) * 2021-02-02 2023-01-17 长江空间信息技术工程有限公司(武汉) 一种地下井室缺陷检测方法及其对应装置
CN113177565B (zh) * 2021-03-15 2023-03-24 北京理工大学 一种基于深度学习的双目视觉位置测量系统及方法
CN113446957B (zh) * 2021-05-08 2022-06-17 北京航空航天大学 基于神经网络标定和散斑追踪的三维轮廓测量方法及装置
CN113362468B (zh) * 2021-07-05 2022-06-03 上海大学 一种火车轮毂的尺寸测量方法
CN113916152B (zh) * 2021-09-09 2023-04-07 湖南长步道光学科技有限公司 基于相位偏折术的样品检测装置以及方法
CN113720299B (zh) * 2021-09-18 2023-07-14 兰州大学 基于三维相机或单目相机在导轨上滑动场景的测距方法
CN113902811B (zh) * 2021-09-28 2024-05-07 东南大学 单相机四视角三维数字图像相关高精度变形测量方法
CN114111574B (zh) * 2021-11-23 2024-01-09 西安理工大学 高温红热目标双目线激光视觉三维测量方法
CN114413788B (zh) * 2022-01-21 2024-04-09 武汉惟景三维科技有限公司 基于双目视觉和反向模型重构的零件表面图案检测方法
CN114636546B (zh) * 2022-03-10 2024-05-14 杭州海康威视数字技术股份有限公司 用于成像同步性检测的系统
US20240123314A1 (en) * 2022-10-18 2024-04-18 Open Launch Llc Golf ball trajectory monitor

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08285532A (ja) * 1995-04-17 1996-11-01 Mitsubishi Heavy Ind Ltd 移動体の位置計測方法及びその装置
JP3872841B2 (ja) * 1996-06-04 2007-01-24 オリンパス株式会社 測距装置
KR100608997B1 (ko) * 2002-08-26 2006-08-09 한국과학기술연구원 턱 운동 측정장치 및 측정방법
JP2006122338A (ja) * 2004-10-28 2006-05-18 Aruze Corp 遊技機及びプログラム
JP2006214735A (ja) * 2005-02-01 2006-08-17 Viewplus Inc 複合ステレオビジョン装置
WO2007044301A2 (en) * 2005-10-04 2007-04-19 Intersense, Inc. Tracking objects with markers
CN101033966A (zh) * 2007-04-12 2007-09-12 上海交通大学 交通事故现场的摄影测量方法
JP5093653B2 (ja) * 2007-06-21 2012-12-12 株式会社ニコン 測距装置およびその測距方法
JP4985241B2 (ja) * 2007-08-31 2012-07-25 オムロン株式会社 画像処理装置
US8090195B2 (en) * 2008-02-12 2012-01-03 Panasonic Corporation Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
GB2458927B (en) * 2008-04-02 2012-11-14 Eykona Technologies Ltd 3D Imaging system
CN101382417B (zh) * 2008-10-08 2010-07-07 北京信息科技大学 非接触六自由度位移测量装置
CN101782386B (zh) * 2010-01-28 2011-05-25 南京航空航天大学 非视觉几何的摄像机阵列视频定位方法及系统
JP5815962B2 (ja) * 2010-03-24 2015-11-17 株式会社アドバンス 歯科用補綴物計測加工システム
CN102447934B (zh) * 2011-11-02 2013-09-04 吉林大学 稀疏镜头采集的组合立体图像系统中立体元的合成方法
WO2013079660A1 (en) * 2011-11-30 2013-06-06 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Disparity map generation including reliability estimation
CN103148806A (zh) * 2011-12-07 2013-06-12 史金龙 基于投影与多目视觉的船舶钢板动态三维测量系统
EP2801077B1 (en) * 2012-01-03 2023-11-29 Ascentia Imaging, Inc. Coded localization systems, methods and apparatus
CN102679961B (zh) * 2012-05-23 2013-04-10 武汉大学 便携式四目立体摄影测量系统及方法
EP2888720B1 (en) * 2012-08-21 2021-03-17 FotoNation Limited System and method for depth estimation from images captured using array cameras
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
CN103513295B (zh) * 2013-09-25 2016-01-27 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测系统与方法
EP3654286B1 (en) * 2013-12-13 2024-01-17 Panasonic Intellectual Property Management Co., Ltd. Image capturing apparatus, monitoring system, image processing apparatus, image capturing method, and non-transitory computer readable recording medium
US9330436B2 (en) * 2014-04-01 2016-05-03 Gopro, Inc. Multi-camera array with adjacent fields of view
US9911454B2 (en) * 2014-05-29 2018-03-06 Jaunt Inc. Camera array including camera modules
US9819863B2 (en) * 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9440750B2 (en) * 2014-06-20 2016-09-13 nearmap australia pty ltd. Wide-area aerial camera systems
US10531071B2 (en) * 2015-01-21 2020-01-07 Nextvr Inc. Methods and apparatus for environmental measurements and/or stereoscopic image capture
US9894350B2 (en) * 2015-02-24 2018-02-13 Nextvr Inc. Methods and apparatus related to capturing and/or rendering images
CN104748683B (zh) * 2015-04-10 2017-03-29 四川理工学院 一种数控机床工件在线自动测量装置及测量方法
US9989357B2 (en) * 2015-09-09 2018-06-05 Faro Technologies, Inc. Aerial device that cooperates with an external projector to measure three-dimensional coordinates
US10003786B2 (en) * 2015-09-25 2018-06-19 Intel Corporation Method and system of 3D image capture with dynamic cameras
US9891049B2 (en) * 2015-10-29 2018-02-13 Trimble Inc. Method of solving initial azimuth for survey instruments, cameras, and other devices with position and tilt information

Also Published As

Publication number Publication date
JP2018513345A (ja) 2018-05-24
EP3232151B1 (en) 2019-12-25
US20180051982A1 (en) 2018-02-22
WO2017124654A1 (zh) 2017-07-27
EP3232151A4 (en) 2018-01-10
EP3232151A1 (en) 2017-10-18
CN105627926A (zh) 2016-06-01
KR101843838B1 (ko) 2018-04-02
US10001369B2 (en) 2018-06-19
CN105627926B (zh) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6440730B2 (ja) 4カメラ組の平面アレイの特徴点の3次元測定システム及び測定方法
US10337860B2 (en) Distance sensor including adjustable focus imaging sensor
EP2568253B1 (en) Structured-light measuring method and system
EP3046078B1 (en) Image registration method and apparatus
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN111243002A (zh) 应用于高精度三维测量的单目激光散斑投影系统标定及深度估计方法
CN105004324B (zh) 一种具有三角测距功能的单目视觉传感器
KR101926953B1 (ko) 4카메라 그룹 평면 어레이의 특징점의 매칭 방법 및 그에 기초한 측정 방법
Zhou et al. A novel way of understanding for calibrating stereo vision sensor constructed by a single camera and mirrors
CN106709955A (zh) 基于双目立体视觉的空间坐标系标定系统和方法
CN110542540A (zh) 结构光模组的光轴对齐矫正方法
JP7393542B2 (ja) 複眼カメラ装置および複眼システム
KR101538014B1 (ko) 3d 모델링을 통해 사진 이미지로부터 입체영상을 생성하는 방법
JP2010243273A (ja) 円柱形状を有する物体の計測方法および計測装置
CN108303040A (zh) 一种基于平面复眼和同轴结构光的三维测量系统及使用方法
Xu et al. Calibration method of laser plane equation for vision measurement adopting objective function of uniform horizontal height of feature points
JP4651550B2 (ja) 三次元座標計測装置および方法
JP2012026816A (ja) 寸法測定方法および装置
TWI728696B (zh) 距離測定裝置
CN116886884A (zh) 一种多目多像立体相机及其成像方法
Feng et al. The measurement of three-dimensional points based on the single camera stereo vision sensor
Feng et al. Dots-array photogrammetry of flexible antenna surfaces
Wang et al. The research on calibration methods of dual-CCD laser three-dimensional human face scanning system

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181120

R150 Certificate of patent or registration of utility model

Ref document number: 6440730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250