JP6612740B2 - モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム - Google Patents

モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム Download PDF

Info

Publication number
JP6612740B2
JP6612740B2 JP2016516614A JP2016516614A JP6612740B2 JP 6612740 B2 JP6612740 B2 JP 6612740B2 JP 2016516614 A JP2016516614 A JP 2016516614A JP 2016516614 A JP2016516614 A JP 2016516614A JP 6612740 B2 JP6612740 B2 JP 6612740B2
Authority
JP
Japan
Prior art keywords
light source
modeling
camera
diffraction
diffraction pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016516614A
Other languages
English (en)
Other versions
JP2016537612A (ja
Inventor
ヨーマ パルメン
Original Assignee
ラディモ オイ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ラディモ オイ filed Critical ラディモ オイ
Publication of JP2016537612A publication Critical patent/JP2016537612A/ja
Application granted granted Critical
Publication of JP6612740B2 publication Critical patent/JP6612740B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/22Measuring arrangements characterised by the use of optical techniques for measuring depth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2509Color coding
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2531Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object using several gratings, projected with variable angle of incidence on the object, and one detection device
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/254Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

本発明は、フォトグラメトリ(photogrammetry)に関連し、特にモノフォトグラメトリ(monophotogrammetry)に関連するものである。
フォトグラメトリは、対象となる物体の撮られた写真に基づいて、マッピング又はモデリングを使用する。多数の用途が存在し、例えば、機械視覚により行われる三次元画像化は非常に有用である。一般的に、これらのシステムは、例えば、カメラ、照明装置、コンピュータ及び装置を管理する制御システムとの接続部を含む。レーザスキャニングは、レーザビームにより、物体に接触せずに、物体の寸法的に正確な三次元情報を取得する測定方法である。
物体を三次元モデリングする別の方法は、レーザスキャニングを用いることである。レーザスキャニングでは、測定するスキャナは、高密度のラスターとしてレーザビームを放出する。ビームの密度は調整可能であり、建物の測定では、目標の10mm未満であり、例えば、約10cmの、より離れて行われる木立又は領域マッピングである。ビームが障害物から反射すると、スキャナは、距離及びビームの強度の変化を測定し、反射点の座標を算出する。レーザスキャニングでは、対象は、一般的に、影になる領域を避けるために複数の方向からスキャンされ、スキャニングは、1つのファイルに合成される。その結果、スキャニングは、三次元コンピュータモデルである点のクラウド(point cloud)を与え、その各ビームの反射点は、1つの点で置換される。多くの点で、対象の三次元表面は、点のクラウドから輪郭を描かれうる。スキャニングが行われる同一物理点から、一連の写真は、光学補正演算により、点のクラウドの点についての可視光波長範囲の色情報を取得するために、後に撮られうる。
ステレオフォトグラメトリでは、三次元物体は、異なるカメラ位置から物体の2以上の写真を撮り、各写真の共通の点を識別することにより、モデリングされる。
特許公報第FI121400号は、三次元モデルを提供するための1つの解決手段を開示している。その文献では、実質的に単色の電磁放射が物体の表面に投影され、物体の表面に提供されるパターンは、少なくとも2つの光学センサによって測定される。この解決手段は、例えば、伐採機械により木の幹を切断及び処理する前の木の三次元モデルの決定を可能にする。この解決手段の課題は、例えば、個々の点の低い強度を含み、それにより、それらの位置の解像度と共に、光源から放出されるビームの相対的な角度の低い精度による測定誤差を含むことである。
既存の解決手段の他の課題は、例えば、テクスチャベースパターン認識で実施される点識別の重い処理のために、光学補正の複雑さ、個々の点の中心を識別することの不確実性、識別される点の算出の不正確さ、及びモデリング演算の遅さを含むことである。
本発明の一態様によれば、三次元表面のトポグラフィーをモデリングするためのモデリング構成が開示される。前記構成は、実質的に単色かつコヒーレントな電磁放射を生成するように構成される光源と、前記光源によって放出される波長と共に、人間の眼によって検出される波長で、モデリングされる表面を撮像するように構成されるカメラと、前記光源と接続される格子と、を備える。前記光源及び前記光源と接続される格子は、モデリングされる前記表面上の既知の形状の回折パターンを生成するように共に構成される。
一実施形態では、前記モデリング構成は、前記カメラの光軸と回折軸との相対的な方向が既知であり、かつ前記カメラの光軸の開始点への前記格子の出力点の位置、距離及び方向が既知であるように較正される。
一実施形態では、前記光源は、1つの波長を生成するように構成される。別の実施形態では、前記光源は、1より多い波長を生成するように構成される。
一実施形態では、前記光源は、実質的に単色かつコヒーレントな赤色の電磁放射、実質的に単色かつコヒーレントな緑色の電磁放射、実質的に単色かつコヒーレントな青色の電磁放射を同時に放出するように構成される。
一実施形態では、前記モデリング構成は、3つの光源及び各光源と接続される格子を備え、第1の光源は、実質的に単色かつコヒーレントな赤色の電磁放射を放出するように構成され、第2の光源は、実質的に単色かつコヒーレントな緑色の電磁放射を放出するように構成され、第3の光源は、実質的に単色かつコヒーレントな青色の電磁放射を放出するように構成される。
本発明の第2の態様によれば、三次元表面のトポグラフィーをモデリングするための方法が開示される。前記方法では、光源によって放出される波長と共に、人間の眼によって検出される波長で、モデリングされる表面を撮像するように構成されるカメラと、実質的に単色及びコヒーレントな電磁放射を生成するように構成される光源と、前記光源と接続される格子と、を備える較正されたモデリング構成が用いられ、前記較正後に、前記カメラの光軸と回折軸との相対的な方向が既知であり、かつ前記カメラの光軸の開始点への前記格子の出力点の位置、距離及び方向が既知であり、前記光源及び前記光源と接続される格子は、モデリングされる前記表面上の既知の形状の回折パターンを生成するように共に構成される、ステップと、前記カメラにより、前記回折パターンが前記モデリング構成により生成される、モデリングされる表面の第1の写真を撮るステップと、前記第1の写真の前記回折パターンにより生成される点のネットワークの点(the points of a network of points)を識別するステップと、各点について深さ位置を算出するステップと、を備える。
一実施形態では、前記光源は、1つの波長を生成するように構成される。
一実施形態では、前記光源は、1より多い波長を生成するように構成される。
一実施形態では、前記光源は、実質的に単色かつコヒーレントな赤色の電磁放射、実質的に単色かつコヒーレントな緑色の電磁放射、実質的に単色かつコヒーレントな青色の電磁放射を同時に放出するように構成される。
一実施形態では、前記モデリング構成は、3つの光源及び各光源と接続される格子を備え、第1の光源は、実質的に単色かつコヒーレントな赤色の電磁放射を放出するように構成され、第2の光源は、実質的に単色かつコヒーレントな緑色の電磁放射を放出するように構成され、第3の光源は、実質的に単色かつコヒーレントな青色の電磁放射を放出するように構成される。
別の一実施形態では、前記方法では、モデリングされる表面上の前記回折パターンを投影せずに、前記カメラにより、モデリングされる表面の第2の写真が撮られ、前記第2の写真の対応する画素を補間することにより、前記点のネットワークの点についてのRGB値を与えられる。
一実施形態では、前記回折パターンにより生成される点のネットワークの点の識別は、1つの回折源により放出されるいくつかの異なる波長により形成される点の色順序を用いて行われる。
本発明の第3の態様では、三次元表面のトポグラフィーをモデリングするための方法が開示される。前記方法では、モデリング構成からの較正情報が用いられ、前記較正情報は、光源によって放出される波長と共に、人間の眼によって検出される波長で、モデリングされる表面を撮像するように構成されるカメラと、実質的に単色及びコヒーレントな電磁放射を生成するように構成される光源と、前記光源と接続される格子と、を備え、前記較正情報は、前記カメラの光軸と回折軸との相対的な方向、並びに前記カメラの光軸の開始点への前記格子の出力点の位置、距離及び方向と共に、前記モデリング構成により生成される回折パターンの幾何学形状を示し、前記較正情報は、前記カメラのレンズの光学歪みを補正し、前記回折パターンが前記モデリング構成により生成される、モデリングされる表面の第1の写真が解析され、前記第1の写真の前記回折パターンにより生成される点のネットワークの点が識別され、各点について深さ位置が算出される。
一実施形態では、同一の位置から前記カメラにより撮られる、モデリングされる表面の第2の写真が分析され、前記第2の写真は、モデリングされる表面に投影される回折パターンを含まず、前記第2の写真の対応する画素を補間することにより、前記点のネットワークの点についてのRGB値が与えられる。
一実施形態では、前記回折パターンにより生成される点のネットワークの点の識別は、1つの回折源により放出されるいくつかの異なる波長により形成される点の色順序を用いて行われる。
本発明の第4の態様によれば、プロセッサによりプログラムコードが実行されるときに、請求項14から16のいずれか一項に記載の方法を実行するように構成される前記プログラムコードを備える、コンピュータプログラムが開示される。前記コンピュータプログラムは、一実施形態では、コンピュータ可読媒体上に提供されてもよい。
本発明の第5の態様によれば、三次元表面のトポグラフィーをモデリングするためのシステムが開示している。前記システムは、請求項1から6のいずれか一項に記載の前記モデリング構成と、請求項14から16のいずれか一項に記載の方法を実行するために手段を備えるデータ処理装置と、を備える。
本発明は、実施形態の例により以下に詳述される。
図1は、本発明に係るモデリング構成の一実施形態を示す。 図2Aは、本発明に係るモデリング構成の別の実施形態を示す。 図2Bは、本発明に係るモデリング構成の別の実施形態を示す。 図3Aは、本発明に係るモデリング構成の別の実施形態を示す。 図3Bは、本発明に係るモデリング構成の別の実施形態を示す。 図4は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の一実施形態のブロック図を示す。 図5は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の別の実施形態のブロック図を示す。 図6は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の別の実施形態のブロック図を示す。 図7は、本発明に係るシステムの一実施形態を示す。
図1は、本発明に係るモデリング構成の一実施形態を示す。図1に係るモデリング構成は、例えば、デジタルカメラを備える。モデリング構成は、また、実質的に単色かつコヒーレントな電磁放射を生成するように構成される回折源102を備える。このような放射は、例えば、レーザによって生成される。回折源102は、また、レーザにより生成される放射が集中される格子又は格子ネットワークを備える。回折源は、モデリングされる既知の形状の回折パターンを生成するように構成される。回折源により生成されるパターンは、数学−物理モデルと正確に適合する回折パターンであり、ここで、ビーム出力角度は、非常に正確に知られている。回折源102は、1つの波長のみ又は複数の波長、例えば、赤色、緑色及び青色のコヒーレントな光を同時に含む放射を生成してもよい。
図1の一実施形態では、モデリング構成は、カメラの光軸104と回折軸104との相対的な方向が既知であり、かつカメラ100の光軸の開始点への格子の出力点の位置、距離及び方向が既知であるように較正される。好ましくは、構成は、また、カメラのレンズの光学歪みも考慮する。
図2Aは、対象の表面上の回折源200により生成される一例の回折パターン202を示す。回折源200により生成されるパターンは、数学−物理モデルと正確に適合する回折パターンであり、ここで、ビーム出力角度は、非常に正確に知られている。回折源200により生成される回折パターンの点のネットワークの点の幾何学形状は、回折源で用いられる格子に依存し、任意の適切な点形状(point geometry)が用いられうる。
図2Bは、対象の表面上の回折源204及び206により生成される別の例の回折パターン208及び210を示す。図2Bの例では、2つの別の回折源は、対象の表面上の重複した回折パターン208及び210を生成する。
図3Aは、本発明に係るモデリング構成の別の実施形態を示す。図3Aのモデリング構成では、3つの隔てられた回折源302、304及び306は、ほぼ正三角形の頂点に設けられ、カメラ300は、三角形の中心に設けられる。これは、対称的かつ指向的に均一な解像度及び深さの正確さを提供する。図1の場合のように、図3Aの一実施形態では、モデリング構成は、カメラ300の光軸と回折軸との相対的な方向が既知であり、かつカメラの光軸の開始点への格子の出力点の位置、距離及び方向が既知であるように較正される。
図3Bは、図3Aに示されるモデリング構成をより詳細に示す。図3Aに示されるように、3つの隔てられた回折源302、304及び306は、ほぼ正三角形の頂点に設けられ、カメラ300は、三角形の中心に設けられる。回折源のそれぞれは、モデリングされる表面314上のその独自の回折パターン308、310及び312を投影する。図3Bでは、回折源により投影される回折パターン308、310及び312は、互いに重複する。
図3Bの一実施形態では、3つの異なる方向からのレーザ回折点の赤、緑及び青色のセットは、同時に用いられ、よって、3つの折れたデータは、物体に対して取得され、1つの写真が撮られたとき、同一の写真のRGBチャネルにそれぞれが記憶される。同一の画素上の回折点のランダム発生は、同一点の位置が2つの異なる方向から算出されることを可能にすることにより、写真内の算出精度を評価するための可能性を与える。
図1、3A及び3Bは、1つのみのカメラの使用を示しているが、本発明の別の実施形態では、1より多いカメラが同時に用いられてもよい。同様に、任意の数の回折源は、モデリング構成に設けられ、各レーザ回折源では、1つの波長に代わる任意の数が用いられる。更に、本発明の一実施形態では、同一の波長は、2つの異なる回折源で用いられてもよい。しかし、この場合には、異なる回折源の点のネットワークの点は、写真に互いに重複しない。
図4は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の一実施形態のブロック図を示す。ステップ400において、較正されたモデリング構成が用いられ、較正されたモデリング構成は、カメラと、実質的に単色かつコヒーレントな電磁放射を生成するように構成される光源と、光源と接続される格子と、を備え、較正後に、カメラの光軸と回折軸との相対的な方向が既知であり、かつカメラの光軸の開始点への格子の出力点の位置、距離及び方向が既知であるように較正される。すなわち、互いについてのシステムの要素の相対的な位置決めは正確に知られている。較正は、また、カメラのレンズにより発生される光学歪みの範囲、性質及び方向の観察を含む(レンズ等式係数(lens equation coefficients))。光源及び光源と接続される格子は、モデリングされる表面上の既知の幾何学形状の回折パターンを共に生成するように構成される。回折源により生成されるパターンは、数学−物理モデルと正確に適合する回折パターンであり、ビーム出力角度は、非常に正確に知られている。ステップ402において、その上で回折パターンが、モデリング構成により生成されているモデリングされる表面のカメラにより写真が撮られる。写真の撮像は、十分な写真が、モデリングされる表面で取得されるように、いくつかの異なる位置から行われてもよい。
得られた画像ファイルは、例えば、無線データ転送及び無線データ転送ネットワークを用いてカメラのメモリカードによって、カメラから処理コンピュータへ自動的に転送される。ステップ404において、メモリカードから転送される画像ファイルは、コンピュータで分析され、回折パターンにより生成される点のネットワークの点は、写真内で識別される。1つの回折源がいくつかの異なる波長を放出する本発明の実施形態では、点の識別は、1つの回折源によって放出されるいくつかの異なる波長により形成される点の色順序を用いて行われうる。1つの回折源が1つのみの波長を放出する場合、例えば、インテリジェント点分析を用いて識別が行われる。回折源の中央のビームは、その最も高い強度による写真で識別可能であり、そこからの算出は、4つの方向で行われる。
ステップ406において、3D深さ位置は、三角法による緯度及び経度座標の投影遷移(projection transition)から各点で算出される。写真では、カメラのセンサから、写真を撮像した表面上に投影される各回折点の距離は、三角法で算出されうる。また、カメラの位置及び写真撮像方法が既知の場合、グローバル三次元X、Y及びZ座標は、回折点について算出されうる。よって、三次元表面のトポグラフィーの正確なモデルを上述したように形成することができる。
図5は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の別の実施形態のブロック図を示す。ステップ500において、モデリング構成が較正され、当該モデリング構成は、光源によって放出される波長と共に人間の眼によって検出される波長でモデリングされる表面を撮像するように構成されるカメラと、ほぼ単色かつコヒーレントな電磁放射を生成するように構成される光源と、光源と接続される格子と、を備え、カメラの光軸と回折軸との相対的な方向が既知であり、かつカメラの光軸の開始点への格子の出力点の位置、距離及び方向が既知である。すなわち、互いについての構成の要素の相対的な位置決めは正確に知られている。較正は、また、カメラのレンズにより発生される光学歪みの範囲、性質及び方向の観察を含む。一実施形態では、レンズの較正は、一度のみ行われ、写真の光学歪みは、写真の画素を正しい位置へ移動することにより、取得された較正情報によって補正される。
光源及び光源と接続される格子は、モデリングされる表面上の既知の幾何学形状の回折パターンをと共に生成するように構成される。回折源により生成されるパターンは、数学−物理モデルと正確に適合する回折パターンであり、ここで、ビーム出力角度は、非常に正確に知られている。
ステップ502において、第1の写真は、その上に回折パターンが前記モデリング構成により生成されているモデリングされる表面のカメラにより撮られる。写真撮像は、十分な写真が、モデリングされる表面から得られるように、いくつかの異なる位置から行われてもよい。ステップ504において、第2の写真は、回折パターンなしでモデリングされる表面のカメラによって撮られる。
得られた画像ファイルは、例えば、無線データ転送を用いてカメラのメモリカードによって、カメラから処理コンピュータへ自動的に転送される。ステップ506において、メモリカードから転送される画像ファイルは、コンピュータで分析され、回折パターンにより生成される点のネットワークの点は、写真内で識別される。1つの回折源がいくつかの異なる波長を放出する本発明の一実施形態では、点の識別は、1つの回折源によって放出されるいくつかの異なる波長により形成される点の色順序を用いて行われうる。1つの回折源が1つのみの波長を放出する場合、例えば、インテリジェント点分析を用いて識別が行われる。回折源の中央のビームは、その最も高い強度による写真で識別可能であり、そこからの算出は、4つの方向で行われる。ステップ508において、3D深さ位置は、三角法による緯度及び経度座標の投影遷移から各点で算出される。写真では、カメラのセンサから、写真を撮像した表面上に投影される各回折点の距離は、三角法で算出されうる。また、カメラの位置及び写真撮像方法が既知の場合、グローバル三次元X、Y及びZ座標は、回折点について算出されうる。ステップ510において、点のネットワークの各算出された点は、例えば、第2の写真の対応する画素を補間することにより、第2の写真により、RGB値を与えられる。その結果、表面モデルは、閲覧者には実際の表面の写実的なモデルのように見える。よって、三次元表面のトポグラフィーの正確なモデルを上述したように形成することができる。
図6は、本発明に係る三次元表面のトポグラフィーをモデリングする方法の別の実施形態のブロック図を示す。
ステップ600において、モデリング構成からの較正情報が用いられ、当該モデリング構成は、光源によって放出される波長と共に人間の眼によって検出される波長でモデリングされる表面を撮像するように構成されるカメラと、ほぼ単色かつコヒーレントな電磁放射を生成するように構成される光源と、光源と接続される格子と、を備える。較正情報は、カメラの光軸と回折軸との相対的な方向、並びにカメラの光軸の開始点への格子の出力点の位置、距離及び方向と共に、モデリング構成により生成される回折パターンの幾何学形状を示し、較正情報は、前記カメラのレンズの光学歪みを補正する。すなわち、較正情報は、例えば、互いについての正確な態様でシステムの要素の相対的な位置決めを示す。
ステップ602において、回折パターンが、前記モデリング構成により生成されているモデリングされる表面の写真が分析される。回折パターンは、数学−物理モデルと正確に適合する回折パターンであり、ビーム出力角度は、非常に正確に知られている。ステップ604において、回折パターンにより生成される点のネットワークの点は、写真内で識別される。ステップ606において、3D深さ位置は、三角法による緯度及び経度座標の投影遷移から各点で算出される。写真では、カメラのセンサから、写真を撮像した表面上に投影される各回折点の距離は、三角法で算出されうる。た、カメラの位置及び写真撮像方法が既知の場合、グローバル三次元X、Y及びZ座標は、回折点について算出されうる。
図6の一実施形態では、同一の位置からのカメラによって撮られる、モデリングされる表面の第2の写真も分析され、ここで、第2の写真は、モデリングされる表面上に投影される回折パターンを含まない。第2の写真の対応する画素を補間することにより、点のネットワークの点は、RGB値を与えられる。このように、閲覧者は、実際の表面の写実的なモデルのように見える。
上記の図6に関する実施形態は、写真を処理するコンピュータ上で実行されるコンピュータプログラムによって行われることが好ましい。
上記の実施形態は、別々の写真に基づいて、開示される分析のみを有しているが、いくつかの個別の写真が、モデリングされる表面の1つの大きな結合体(a larger unity)に結合されるように本発明に適用されることが当業者にとって明らかである。この場合には、本発明で記載されるモデリング構成は、所望の結合体がモデリングされうるように、写真撮像状況に手動又は自動的に移動されうる。
図7は、本発明に係るシステムの一実施形態を示す。システムは、1以上のカメラ702を含むモデリング構成を備える。モデリング構成は、また、実質的に単色かつコヒーレントな電磁放射を生成するように構成される1以上の回折源704も含む。このような放射は、例えば、レーザにより生成されてもよい。回折源702は、また、レーザにより生成される放射が集中される格子又は格子ネットワークを備える。回折源は、モデリングされる表面上の既知の幾何学形状の回折パターンを生成するように構成される。回折源により生成されるパターンは、数学−物理モデルと正確に適合する回折パターンであり、ビーム出力角度は、非常に正確に知られている。回折源102は、1つの波長のみ、又は例えば、赤色、緑色及び青色のコヒーレントな光のような複数の波長を同時に含むコヒーレントな放射を生成してもよい。モデリングされる表面上に生成される回折パターンは、カメラ702により撮像される。
カメラ702により保存される情報は、データ転送接続部714を通じて、データ処理装置706へ転送される。データ送信接続部714は、カメラ702とデータ処理装置との間に提供されるデータ転送接続部を指してもよい。データ転送接続部714は、例えば、カメラ702又はカメラ702のメモリカードが、無線データ転送ネットワークを用いて、データ処理装置706へ直接的に画像ファイル、クラウドサービス又はデータ転送ネットワークを通じてアクセス可能な任意の宛先を送信するように、実施されうる。データ処理装置706は、また、データ転送インターフェース712を通じてメモリカードから直接的に情報を読み出してもよい。よって、データ処理装置706は、モデリング構成700の直近に設けられてもよく、又はそれに代えて、データ処理装置706は、データ処理装置706が、例えば、インターネットのようなデータ通信ネットワークを通じてカメラ702により撮られた写真をダウンロードすることが可能な程度長い他の位置に物理的に存在してもよい。
データ処理装置706は、少なくとも1つ以上のプロセッサ708と、プロセッサ708に接続された1以上のメモリ710と、を備える。データ転送インターフェース712を通じて、データ処理装置706は、デバイス外からの情報を受信してもよい。メモリ710は、本発明で記載される方法ステップを実行するように構成されるプログラムコードを含む1以上のコンピュータプログラムを含んでもよい。
上述された本発明の実施形態は、例えば、トンネルの壁の測定、岩石材料の識別、森林用途(例えば、森林の木立の評価)又は表面形態をモデリングする他の用途又は例えば表面形態に基づく体積の評価のような、多くの異なる用途環境で用いられてもよい。
上述された本発明の1以上の実施形態は、他の方法よりも非常に有利であり、実施形態は、以下の利点の1以上を含む:実施形態で要求される計算が軽く、リアルタイムで行われることができる、測定処理が速く、短時間で繰り返すことができる、装置が移動しやすく、かつ有益な測定形状の測定結果が、他のフォトグラメトリの方法よりも正確である。
実施形態は、単に例示のために上記で説明され、これらの実施形態を実行するために用いられるハードウェアは、ハードウェア及び/又はソフトウェアの当業者が理解するような多くの手法で変更されてもよい。例示的な実施形態の1以上の構成要素の機能は、例えば、1以上の装置及び/又はコンピュータで実行されるコンピュータプログラムによって実施されてもよい。
例示的な実施形態は、本明細書に記載される異なる処理に関連される情報を記憶してもよい。当該情報は、ハードディスク、光学ディスク、RAMメモリ等のような1以上のメモリに記憶されてもよい。1以上のメモリ又はデータベースは、本発明の例示的な実施形態を実行するために用いられる情報を記憶してもよい。
それらの全部又は一部としての例示的な実施形態は、1以上の汎用プロセッサ、マイクロプロセッサ、DSPプロセッサ、マイクロコントローラ等を用いて実行されてもよく、これらは、コンピュータ及び/又はソフトウェアの当業者が理解するような、本発明の例示的な実施形態の教示に基づいてプログラムされる。
コンピュータ可読媒体又はメディアの組み合わせは、全部又は一部(処理が分配されている場合)として本発明を実行するために実行されるべき処理を実行するためのコンピュータプログラム又はコンピュータプログラム製品を記憶してもよい。
本発明の実施形態で使用するための装置は、データ構造、テーブル、記録及び/又は本明細書に記載される他のデータによる本発明の教示に基づいてプログラムされるコンピュータ可読媒体又はコマンドを含むメモリを含んでもよい。コンピュータ可読媒体は、それらの実行のためのプロセッサへのコマンドの提供に加わる適切な媒体を含んでもよい。このような媒体は、上記に限定されず、不揮発性メモリ、揮発性メモリ、伝送媒体等を含む多くの異なる形態で提供されてもよい。不揮発性メモリは、例えば、光学又は磁気ディスク、磁気光学ディスク等を含んでもよい。揮発性メモリは、ダイナミックメモリ等を含んでもよい。伝送媒体は、同軸ケーブル、銅線、光ファイバ等を含んでもよい。伝送媒体は、また、無線周波数通信、赤外線データ転送等の間に形成される波の形態のような音響、光学、電磁波の形態で提供されてもよい。コンピュータ可読媒体の一般的な実施形態は、例えば、コンピュータディスク、ハードディスク、磁気テープ、他の適切な磁気媒体、CD−ROMディスク、CD−Rディスク、CD−RWディスク、DVDディスク、DVD−ROMディスク、DVD±RWディスク、DVD±Rディスク、他の適切な光学媒体、RAMメモリ、ROMメモリ、EPROMメモリ、FLASH−EPROMメモリ、他の適切なメモリチップ又はプロセッサ又はコンピュータによって読み取り可能な他の適切な媒体を含んでもよい。本発明の実施形態で使用するための装置は、また、有線又は無線データ転送接続部を用いて送受信される情報によるデータ転送を含んでもよい。
本発明は、単に上記の例示的な実施形態に限定されるものではなく、特許請求の範囲によって規定される本発明の概念の範囲内で多くの変更が可能である。

Claims (17)

  1. 三次元表面のトポグラフィーをモデリングするためのモデリング構成であって、
    実質的に単色の且つコヒーレントな電磁放射を生成するように配置された光源と、
    人間の眼によって検出される波長であると共に、前記光源によって放出される波長でモデリングされる前記三次元表面を撮影するように配置されたカメラと、
    前記光源に関連して設けられた回折格子と、を備え、
    前記光源及び前記光源に関連して設けられた前記回折格子は、モデリングされる前記三次元表面上既知の形状の回折パターンを生成するように連帯的に配置され、ここで、前記回折パターンは、数学−物理モデルと正確に適合するパターンであり、前記回折パターンのビーム出力角度は、前記数学−物理モデルに基づいて正確に知られている、
    前記モデリング構成は、前記カメラの光軸と回折軸との相対的な方向が既知であり、かつ前記カメラの光軸の開始点への前記回折格子の出力点の位置、距離及び方向が既知であるように、そして、前記カメラのレンズの光学歪みを補正する較正情報を考慮するように、較正される、
    モデリング構成。
  2. 前記光源は、1つの波長を生成するように配置される請求項に記載のモデリング構成。
  3. 前記光源は、1より多い波長を生成するように配置される請求項に記載のモデリング構成。
  4. 前記光源は、実質的に単色の且つコヒーレントな赤色の電磁放射、実質的に単色の且つコヒーレントな緑色の電磁放射、実質的に単色の且つコヒーレントな青色の電磁放射を同時に放出するように配置される請求項に記載のモデリング構成。
  5. 3つの光源及び各光源に関連して設けられた回折格子を備え、
    第1の光源は、実質的に単色の且つコヒーレントな赤色の電磁放射を放出するように配置され、第2の光源は、実質的に単色の且つコヒーレントな緑色の電磁放射を放出するように配置され、第3の光源は、実質的に単色の且つコヒーレントな青色の電磁放射を放出するように配置される請求項に記載のモデリング構成。
  6. 三次元表面のトポグラフィーをモデリングするための方法であって、前記方法は、
    人間の眼によって検出される波長であると共に、光源によって放出される波長でモデリングされる前記三次元表面を撮影するように配置されたカメラと、実質的に単色の且つコヒーレントな電磁放射を生成するように配置された光源と、前記光源に関連して設けられた回折格子とを備える較正されたモデリング構成を用いるステップであって較正後、前記カメラの光軸と回折軸との相対的な方向既知であり、かつ前記カメラの光軸の開始点への前記回折格子の出力点の位置、距離及び方向既知であり、前記光源及び前記光源に関連して設けられた前記回折格子は、モデリングされる前記三次元表面上既知の形状の回折パターンを生成するように連帯的に配置される、ここで、前記回折パターンは、数学−物理モデルと正確に適合するパターンであり、前記回折パターンのビーム出力角度は、前記数学−物理モデルに基づいて正確に知られている、較正されたモデリング構成を用いるステップと、
    前記モデリング構成によって、モデリングされる前記回折パターンが、その上に生成される、前記三次元表面の第1の写真を前記カメラにより撮るステップと、
    前記第1の写真の前記回折パターンにより生成された点ネットワークの点を識別するステップと、
    各点について深さ位置を算出するステップと、
    を備える方法。
  7. 前記光源は、1つの波長を生成するように配置される請求項に記載の方法。
  8. 前記光源は、1より多い波長を生成するように配置される請求項に記載の方法。
  9. 前記光源は、実質的に単色の且つコヒーレントな赤色の電磁放射、実質的に単色の且つコヒーレントな緑色の電磁放射、実質的に単色の且つコヒーレントな青色の電磁放射を同時に放出するように配置される請求項に記載の方法。
  10. 3つの光源及び各光源に関連して設けられた回折格子を備え、
    第1の光源は、実質的に単色の且つコヒーレントな赤色の電磁放射を放出するように配置され、第2の光源は、実質的に単色の且つコヒーレントな緑色の電磁放射を放出するように配置され、第3の光源は、実質的に単色の且つコヒーレントな青色の電磁放射を放出するように配置される請求項に記載の方法。
  11. モデリングされる前記三次元表面上前記回折パターンを投影せずにモデリングされる前記三次元表面の第2の写真を、前記カメラにより撮るステップと、
    前記第2の写真の対応する画素を補間することにより、前記ネットワークの点についてのRGB値を与えるステップと、
    を更に備える請求項10に記載の方法。
  12. 前記回折パターンにより生成される前記点ネットワークの点の識別は、1つの回折源により放出されるいくつかの異なる波長により形成される点の色順序を用いて行われる請求項に記載の方法。
  13. 三次元表面のトポグラフィーをモデリングするための方法であって、前記方法は、
    人間の眼によって検出される波長であると共に、光源によって放出される波長でモデリングされる前記三次元表面を撮影するように配置されたカメラと、実質的に単色の且つコヒーレントな電磁放射を生成するように配置された光源と、前記光源に関連して設けられた回折格子と、を備えるモデリング構成からの較正情報を用いるステップであって、
    前記較正情報は、前記カメラのレンズの光学歪みを補正する前記較正情報であると共に、前記カメラの光軸と回折軸との相対的な方向、並びに、前記モデリング構成により生成された回折パターンの形状と共に、前記カメラの光軸の開始点への前記回折格子の出力点の位置、距離及び方向を示す、ここで、前記回折パターンは、数学−物理モデルと正確に適合するパターンであり、前記回折パターンのビーム出力角度は、前記数学−物理モデルに基づいて正確に知られている、較正情報を用いるステップと、
    前記回折パターンが前記モデリング構成により生成される、モデリングされる前記三次元表面の第1の写真を解析するステップと、
    前記第1の写真の前記回折パターンにより生成されるネットワークの点を識別するステップと、
    各点について深さ位置を算出するステップと、
    を備える方法。
  14. 同一の位置から前記カメラにより撮られる、モデリングされる前記三次元表面の第2の写真を分析するステップであって、前記第2の写真は、モデリングされる前記三次元表面に投影される回折パターンを含まない、ステップと、
    前記第2の写真の対応する画素を補間することにより、前記ネットワークの点についてのRGB値を与えるステップと、
    を更に備える請求項13に記載の方法。
  15. 前記回折パターンにより生成されるネットワークの点の識別は、1つの回折源により放出されるいくつかの異なる波長により形成される点の色順序を用いて行われる請求項13に記載の方法。
  16. プログラムコードがプロセッサにより実行されるときに、請求項13に記載の方法を実行するように配列された前記プログラムコードを備える、コンピュータプログラム。
  17. 三次元表面のトポグラフィーをモデリングするためのシステムであって、前記システムは、
    請求項に記載の前記モデリング構成と、
    データ処理装置であって、
    人間の眼によって検出される波長であると共に、光源によって放出される波長でモデリングされる前記三次元表面を撮影するように配置されたカメラと、実質的に単色の且つコヒーレントな電磁放射を生成するように配置された光源と、前記光源に関連して設けられた回折格子と、を備えるモデリング構成からの較正情報を用いるステップであって、
    前記較正情報は、前記カメラのレンズの光学歪みを補正する前記較正情報であると共に、前記カメラの光軸と回折軸との相対的な方向、並びに、前記モデリング構成により生成された回折パターンの形状と共に、前記カメラの光軸の開始点への前記回折格子の出力点の位置、距離及び方向を示し、ここで、前記回折パターンは、数学−物理モデルと正確に適合するパターンであり、前記回折パターンのビーム出力角度は、前記数学−物理モデルに基づいて正確に知られている、較正情報を用いるステップと、
    前記回折パターンが前記モデリング構成により生成される、モデリングされる前記三次元表面の第1の写真を解析するステップと、
    前記第1の写真の前記回折パターンにより生成される点ネットワークの点を識別するステップと、
    各点について深さ位置を算出するステップ、の方法を実行するため手段を備えるデータ処理装置と、
    を備える、システム。
JP2016516614A 2013-09-25 2014-09-25 モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム Active JP6612740B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FI20135961 2013-09-25
FI20135961A FI20135961A (fi) 2013-09-25 2013-09-25 Mallinnusjärjestely ja menetelmät ja järjestelmä kolmiulotteisen pinnan topografian mallintamiseksi
PCT/FI2014/050730 WO2015044524A1 (en) 2013-09-25 2014-09-25 Modeling arrangement and methods and system for modeling the topography of a three-dimensional surface

Publications (2)

Publication Number Publication Date
JP2016537612A JP2016537612A (ja) 2016-12-01
JP6612740B2 true JP6612740B2 (ja) 2019-11-27

Family

ID=52003816

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016516614A Active JP6612740B2 (ja) 2013-09-25 2014-09-25 モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム

Country Status (5)

Country Link
US (1) US20160238377A1 (ja)
EP (1) EP3049756B1 (ja)
JP (1) JP6612740B2 (ja)
FI (1) FI20135961A (ja)
WO (1) WO2015044524A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10612912B1 (en) * 2017-10-31 2020-04-07 Facebook Technologies, Llc Tileable structured light projection system
US10521926B1 (en) 2018-03-21 2019-12-31 Facebook Technologies, Llc Tileable non-planar structured light patterns for wide field-of-view depth sensing
FI128523B (en) * 2018-06-07 2020-07-15 Ladimo Oy Modeling of topography of a 3D surface
CN108645392B (zh) * 2018-07-16 2024-02-06 西安微普光电技术有限公司 一种相机安装姿态校准方法及装置
CN112930468B (zh) 2018-11-08 2022-11-18 成都频泰鼎丰企业管理中心(有限合伙) 三维测量设备
US10866322B2 (en) * 2018-12-31 2020-12-15 Datalogic Usa, Inc. Identification of shadowing on flat-top volumetric objects scanned by laser scanning devices
JP7502316B2 (ja) 2019-02-20 2024-06-18 トリナミクス ゲゼルシャフト ミット ベシュレンクテル ハフツング 少なくとも1つの物体を照射するためのプロジェクタを備えた検出器
KR20220134753A (ko) 2020-01-31 2022-10-05 트리나미엑스 게엠베하 물체 인식용 검출기
CN111538353B (zh) * 2020-05-12 2021-10-19 南京航空航天大学 一种隧道检测车稳定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6690474B1 (en) * 1996-02-12 2004-02-10 Massachusetts Institute Of Technology Apparatus and methods for surface contour measurement
JP2003519786A (ja) * 2000-01-10 2003-06-24 マサチューセッツ インスティテュート オブ テクノロジー 表面輪郭測定のための装置および方法
US6603561B2 (en) * 2001-02-20 2003-08-05 Thomas D. Ditto Chromatic diffraction range finder
US20040125205A1 (en) * 2002-12-05 2004-07-01 Geng Z. Jason System and a method for high speed three-dimensional imaging
US6762427B1 (en) * 2002-12-20 2004-07-13 Delphi Technologies, Inc. Object surface characterization using optical triangulaton and a single camera
US7747067B2 (en) * 2003-10-08 2010-06-29 Purdue Research Foundation System and method for three dimensional modeling
US7002699B2 (en) * 2004-02-23 2006-02-21 Delphi Technologies, Inc. Identification and labeling of beam images of a structured beam matrix
WO2006107928A2 (en) * 2005-04-06 2006-10-12 Dimensional Photonics International, Inc. Multiple channel interferometric surface contour measurement system
JP5943547B2 (ja) * 2007-08-17 2016-07-05 レニショウ パブリック リミテッド カンパニーRenishaw Public Limited Company 非接触測定を行う装置および方法
US8717417B2 (en) * 2009-04-16 2014-05-06 Primesense Ltd. Three-dimensional mapping and imaging
GB0921461D0 (en) * 2009-12-08 2010-01-20 Qinetiq Ltd Range based sensing
JP2013079854A (ja) * 2011-10-03 2013-05-02 Topcon Corp 3次元計測システム及び3次元計測方法
JP6041513B2 (ja) * 2012-04-03 2016-12-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20140111616A1 (en) * 2012-10-21 2014-04-24 Ilya Blayvas Structured light 3D scanner with refractive non-absorbing pattern forming element

Also Published As

Publication number Publication date
JP2016537612A (ja) 2016-12-01
FI20135961A (fi) 2015-03-26
EP3049756A1 (en) 2016-08-03
EP3049756B1 (en) 2021-12-01
US20160238377A1 (en) 2016-08-18
WO2015044524A1 (en) 2015-04-02

Similar Documents

Publication Publication Date Title
JP6612740B2 (ja) モデリング構成及び三次元表面のトポグラフィーをモデリングする方法及びシステム
US8923603B2 (en) Non-contact measurement apparatus and method
CN108759669B (zh) 一种室内自定位三维扫描方法及系统
EP1364226B1 (en) Apparatus and method for obtaining three-dimensional positional data from a two-dimensional captured image
WO2021140886A1 (ja) 三次元モデル生成方法、情報処理装置およびプログラム
JP5467404B2 (ja) 3d撮像システム
JP3624353B2 (ja) 3次元形状計測方法およびその装置
CA2577840C (en) A method for automated 3d imaging
JP2016100698A (ja) 校正装置、校正方法、プログラム
WO2022078442A1 (zh) 一种基于光扫描和智能视觉融合的3d信息采集方法
JP2021047068A (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
Bergström et al. Automatic in-line inspection of shape based on photogrammetry
JP6065670B2 (ja) 3次元計測システム、プログラム及び方法。
JP2006308452A (ja) 3次元形状計測方法および装置
US11561088B2 (en) Modeling the topography of a three-dimensional surface
Brouček ACCURACY OF AERIAL PHOTOGRAMMETRY DEPENDING ON THE NUMBER OF UNNECESSARY MEASUREMENTS
Midulla Bifocal Pairs of Images for Low-Cost Survey in Close Range Photogrammetry
JP2024072284A (ja) マルチビュー位相移動プロファイロメトリのための3次元キャリブレーション方法および装置
Jankowicz The influence of recording of long-series images taken from non-metric cameras on increasing the quality of modelling objects with their surroundings
CN117274395A (zh) 相机的标定产测一体化方法、系统、电子设备和存储介质
JP2019215181A (ja) 計測システムおよび計測方法
AU2005279700A1 (en) A method for automated 3D imaging

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170919

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20171116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20171116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180730

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180807

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181107

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190611

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190813

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191008

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191031

R150 Certificate of patent or registration of utility model

Ref document number: 6612740

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S201 Request for registration of exclusive licence

Free format text: JAPANESE INTERMEDIATE CODE: R314201

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250