JPWO2017038659A1 - 運動検出装置及びそれを用いた三次元形状測定装置 - Google Patents

運動検出装置及びそれを用いた三次元形状測定装置 Download PDF

Info

Publication number
JPWO2017038659A1
JPWO2017038659A1 JP2017537821A JP2017537821A JPWO2017038659A1 JP WO2017038659 A1 JPWO2017038659 A1 JP WO2017038659A1 JP 2017537821 A JP2017537821 A JP 2017537821A JP 2017537821 A JP2017537821 A JP 2017537821A JP WO2017038659 A1 JPWO2017038659 A1 JP WO2017038659A1
Authority
JP
Japan
Prior art keywords
motion
laser beam
distance
speed
laser
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017537821A
Other languages
English (en)
Inventor
義浩 渡辺
義浩 渡辺
令央 宮下
令央 宮下
亮太 米澤
亮太 米澤
正俊 石川
正俊 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Publication of JPWO2017038659A1 publication Critical patent/JPWO2017038659A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50—Systems of measurement based on relative movement of target
    • G01S17/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36—Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4811—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • G01S7/4812—Constructional features, e.g. arrangements of optical elements common to transmitter and receiver transmitted and received beams following a coaxial path

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Power Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

本発明は、非接触で高速に、かつ比較的に高精度で対象物の三次元的な運動を検出するための技術に関するものである。速さ検出部（１１）は、対象物（１００）に向けて照射されかつ対象物（１００）において反射された第１レーザ光（１１１）を用いて、対象物の速さを検出する。距離検出部（１２）は、対象物（１００）に向けて照射され、かつ、対象物（１００）において反射された第２レーザ光（１２１）を用いて、対象物（１００）までの距離を検出する。第２レーザ光（１２１）は、第１レーザ光（１１１）と実質的に同じタイミングでかつ同じ位置に照射される。運動算出部（１３）は、第１及び第２レーザ光（１１１、１２１）の向きと、前記速さと、前記距離とについての情報を用いて、対象物（１００）についての運動を算出する。

Description

本発明は、対象物の運動を検出するための技術、及び、検出された運動を用いて対象物の三次元形状を測定する技術に関するものである。
従来から、未知の対象物の運動を検出することは、様々な用途において重視されている。例えば、下記非特許文献１では、未知の対象物の運動を検出して入力デバイスとして使用する技術が提案されている。
未知の対象物の運動を検出するための技術として、接触型センサが知られている。例えば、スマートフォンやゲームコントローラには加速度センサやGPS、ジャイロセンサ、地磁気センサ等が内蔵されており、感知された運動情報は、ユーザとシステムとのインタラクションに利用されている。また、マーカーや超音波、磁石を利用した運動検出システムも開発されている（下記非特許文献２，３）。しかし、これらの接触型センサは、予め対象物に取り付けられていなければならないという制約があり、不特定の対象物の運動検出には使用し難いという問題がある。
そこで、カメラを用いて非接触で運動を推定する手法が盛んに研究されている。例えば、カラーカメラを用いた手法では、様々な不変特徴量を用いることにより、対象物の経時的な位置、姿勢の変化を求めている（下記非特許文献４，５）。また、深度カメラを用いて対象物の運動を推定する技術も提案されている（下記非特許文献６，７）。しかし、カメラを用いたこのような運動検出手法では、画像情報を用いた特徴点検出や対応点探索の計算が必要となる。そのための計算コストは一般的にかなり大きくなるので、このような技術を用いると、リアルタイムでの運動検出の実現は難しい。
さらに、カメラ画像中の特徴点を利用した手法においては、対象物の運動を物理的に取得しているわけではなく、あくまで画像情報を用いている。このため、この技術では、運動検出性能が対象物の形状やテクスチャに大きく依存するという問題もある。
一方、ＴＯＦ（Time-of-flight）法やドップラ効果を用いたセンサは、未知の対象に対しても、非接触かつ物理的な運動検出を行うことが可能である。特に、レーザを用いたレーザレンジファインダ（以後この明細書では「LRF」と称することがある）やレーザドップラ速度計（以後この明細書では「LDV」と称することがある）等のセンサは、高い指向性と長い作動距離を持つ。このため、これらのセンサは、運動する対象を選択的に計測する場合に有効である。しかし、これらのセンサを用いた計測では、距離やレーザ方向の速さなど、断片的で低次元の運動情報が取得できるのみであり、対象の三次元的な回転や並進運動を取得することはできない。
Zerroug, A., Cassinelli, A. and Ishikawa, M.: Invoked computing: Spatial audio and video AR invoked through miming, In Proc. VRIC '11, 2011. Vlasic, D., Adelsberger, R., Vannucci, G., Barnwell, J., Gross, M., Matusik, W., Popovi´c, J.: Practical Motion Capture in Everyday Surroundings, ACM Trans. Graph., 26(3), 2007. Ketabdar, H., Yu¨ksel, K. A. and Roshandel, M.: MagiTact: Interaction with Mobile Devices Based on Compass (Magnetic) Sensor, In Proc. ACM IUI '10, 2010. Klein, G. and Murray, D.: Parallel Tracking and Mapping for Small AR Workspaces, In Proc. ISMAR '07, 2007. Lepetit, V., Moreno-Noguer, F. and Fua, P.: EPnP: An Accurate O(n) Solution to the PnP Problem, Int. J. Comput. Vision, 81(2), 2009. Granger, S. and Pennec, X.: Multi-scale EM-ICP: A Fast and Robust Approach for Surface Registration, In Proc. ECCV '02, 2002. Shotton, J., Fitzgibbon, A., Cook, M., Sharp, T., Finocchio, M., Moore, R., Kipman, A. and Blake, A.: Real-Time Human Pose Recognition in Parts from a Single Depth Image, In Proc. IEEE CVPR '11, 2011.
本発明は、前記した状況に鑑みてなされたものである。本発明の主な目的の一つは、非接触で高速に、かつ比較的に高精度で対象物の運動を検出する技術を提供することである。本発明の他の目的は、検出された運動の情報を用いて、対象物の三次元形状を推定できる技術を提供することである。
前記した課題を解決する手段は、以下の項目のように記載できる。
（項目１）
速さ検出部と、距離検出部と、運動算出部とを備えており、
前記速さ検出部は、第１レーザ光を対象物に向けて照射し、かつ、前記対象物において反射された前記第１レーザ光を用いて、前記対象物の速さを検出する構成となっており、
前記距離検出部は、第２レーザ光を前記対象物に向けて照射し、かつ、前記対象物において反射された前記第２レーザ光を用いて、前記対象物までの距離を検出する構成となっており、
前記第２レーザ光は、前記第１レーザ光と実質的に同じタイミングでかつ同じ位置に照射される構成となっており、
前記運動算出部は、前記第１及び第２レーザ光の向きと、前記速さと、前記距離とについての情報を用いて、前記対象物についての運動を算出する構成となっている
ことを特徴とする運動検出装置。
（項目２）
前記第１レーザ光と前記第２レーザ光とは、実質的に同軸で前記対象物に照射されている
項目１に記載の運動検出装置。
（項目３）
前記運動算出部は、前記対象物上での複数の点における前記速さ及び前記距離の情報を用いて前記運動を算出する構成となっている
項目１又は２に記載の運動検出装置。
（項目４）
前記対象物についての運動は、前記対象物の回転及び並進の運動である
項目１〜３のいずれか１項に記載の運動検出装置。
（項目５）
さらに方向制御部を備えており
前記方向制御部は、前記第１レーザ光及び前記第２レーザ光の向きを制御する構成となっている
項目１〜４のいずれか１項に記載の運動検出装置。
（項目６）
前記運動算出部は、前記第１及び第２レーザ光の向きと、前記距離とについての情報を用いて、前記対象物における前記第１及び第２レーザ光の照射位置ｐを算出し、前記照射位置ｐを、別の座標系における位置ｑに変換し、前記位置ｑと前記速さとを用いて前記対象物についての運動を算出する構成となっている
項目１〜５のいずれか１項に記載の運動検出装置。
（項目７）
前記第１レーザ光と前記第２レーザ光とは、異なる波長とされている
項目１〜６のいずれか１項に記載の運動検出装置。
（項目８）
項目１〜７のいずれか１項に記載の運動検出装置と、形状検出部と、三次元形状算出部とを備えており、
前記形状検出部は、前記対象物の特定時点における形状を時系列で検出する構成となっており、
前記三次元形状算出部は、前記時系列で検出された前記形状と前記運動とについての情報を用いて、前記対象物の三次元形状を算出する構成となっている
三次元形状測定装置。
（項目９）
対象物に照射された第１レーザ光の反射光を用いて前記対象物の速さを検出するステップと、
前記対象物に照射された第２レーザ光の反射光を用いて前記対象物までの距離を検出するステップと、
前記第１レーザ光と前記第２レーザ光とにおける向きと、前記速さと、前記距離とについての情報を用いて、前記対象物についての運動を算出するステップと
を備える運動検出方法。
本発明によれば、非接触で高速に、かつ比較的に高精度で対象物の運動を検出することが可能になる。また。本発明によれば、検出された運動の情報を用いて、対象物の三次元形状を推定することが可能になる。
本発明の第１実施形態に係る運動検出装置の概略的な構成を説明するための説明図である。 図１の装置におけるレーザ光の走査パターンを説明するための説明図である。 図１の装置を用いた運動検出方法を説明するためのフローチャートである。 本発明の第２実施形態に係る運動検出装置の概略的な構成を説明するための説明図である。 本発明の第３実施形態に係る三次元形状測定装置の概略的な構成を説明するための説明図である。 図５の装置を用いた三次元形状測定方法を説明するための説明図である。
（第１実施形態）
以下、本発明の第１実施形態に係る運動検出装置を、添付の図面を参照しながら説明する。
（第１実施形態の構成）
本発明の第１実施形態に係る運動検出装置１は、速さ検出部１１と、距離検出部１２と、運動算出部１３とを主要な構成として備えている（図１参照）。さらに、本実施形態の運動検出装置１は、方向制御部１４とダイクロイックミラー１５とを追加的に備えている。
（速さ検出部）
速さ検出部１１は、第１レーザ光１１１を対象物１００に向けて照射する構成となっている。また、速さ検出部１１は、対象物１００において反射された第１レーザ光１１１を受光し、これを用いて対象物１００の速さを検出する構成となっている。具体的には、本実施形態の速さ検出部１１としては、ドップラ効果を用いて対象物の移動速度を検出するためのレーザドップラ速度計（LDV）が用いられている。LDVを用いるときは、レーザの進行方向における対象物の移動速度を検出していることになる。
速さ検出部１１における第１レーザ光１１１は、ダイクロイックミラー１５を透過する波長とされている。
（距離検出部）
距離検出部１２は、第２レーザ光１２１を対象物に向けて照射し、かつ、対象物１００において反射された第２レーザ光１２１を用いて、対象物１００までの距離を検出する構成となっている。具体的には、本実施形態の距離検出部１２としては、反射光が返ってくるまでの飛行時間を測定し、物体までの距離計測を行うレーザレンジファインダ（LRF）が用いられている。
距離検出部１２における第２レーザ光１２１は、ダイクロイックミラー１５により反射される波長とされており、これにより、第１レーザ光１１１と第２レーザ光１２１とを、実質的に同軸で対象物１００に照射できるようになっている。
また、第１レーザ光１１１と第２レーザ光１２１とを同軸としたことにより、第２レーザ光１２１を、対象物１００の位置にかかわらず第１レーザ光１１１と同じ位置に照射できるようになっている。
また、第１レーザ光１１１と第２レーザ光１２１とは、ダイクロイックミラー１５で波長分離できる程度に異なる波長とされている。
（方向制御部）
方向制御部１４は、第１レーザ光１１１及び第２レーザ光１２１の向きを制御する構成となっている。具体的には、本実施形態の方向制御部１４としては、いわゆるガルバノスキャナが用いられている。ガルバノスキャナとは、ミラー角度を変更することで光線の方向を高速で変更することが可能な機器である。本実施形態の方向制御部１４は、制御部（図示せず）からの制御指令に基づいてガルバノミラーを回動させることによって、レーザ光の方向を制御できるようになっている。このようなガルバノスキャナとしては、既存のものを利用可能なので、これについてのこれ以上詳しい説明は省略する。
本実施形態の方向制御部１４は、同軸とされた第１レーザ光１１１と第２レーザ光１２１とをミラーで反射することにより、これらのレーザ光の角度を一致させた状態で、多重化されたレーザ光を対象物１００に向けて照射することができるようになっている。また、本実施形態の方向制御部１４は、ミラー角度を高速で変化させることにより、対象物１００の運動をほぼ無視できる程度の微小時間間隔内において、複数点ｐｉにレーザ光を照射できるようになっている。
本実施形態の方向制御部１４における走査パターンの一例を図２に示す。この例では、四角形状を描くようにミラーが操作され、ｉ＝１からｉ＝８までの位置ｐｉにおいて、１サイクル分の速さ及び距離が取得される。本実施形態の方向制御部１４は、微小時間間隔内において、１サイクル分の複数点ｐｉにレーザ光を照射できるようになっている。また、本実施形態では、隣接する位置ｐｉ間での移動速度を速くする一方で、各位置におけるレーザの移動速度を一時的に０又は低速にする（つまりその点でのレーザ光照射時間を長くする）ことにより、測定精度の向上を図ることができるようになっている。
方向制御部１４の詳しい動作は後述する。
（運動算出部）
運動算出部１３は、方向制御部１４から対象物１００への第１レーザ光１１１及び第２レーザ光１２１の向きｌｉと、速さ検出部１１で得られた速さｖｉと、距離検出部１２で得られた距離ｄｉという情報を用いて、対象物１００についての運動を算出する構成となっている。ここで、運動算出部１３は、対象物１００上での複数の点ｐｉにおける速さｖ ｉ及び距離ｄｉの情報を用いて運動を算出する構成となっている。
また、本実施形態の運動算出部１３は、対象物の回転Ｒ及び並進Ｔを運動として算出する構成となっている。
より具体的には、本実施形態の運動算出部１３は、第１及び第２レーザ光の向きｌｉと、距離ｄｉとについての情報を用いて、対象物１００における第１及び第２レーザ光の照射位置ｐｉを算出し、照射位置ｐｉを、別の座標系における位置ｑｉに変換し、速さｖｉと位置ｑｉとを用いて対象物１００についての運動を算出する構成となっている。
運動算出部１３の詳しい動作についても後述する。
（第１実施形態の動作）
次に、前記した運動検出装置を用いた運動検出方法を、図３をさらに参照しながら説明する。
（図２のステップＳＡ−１）
速さ検出部１１の第１レーザ光１１１を、ダイクロイックミラー１５、方向制御部１４を介して対象物１００に照射する。なお、ここで、対象物１００の位置や形状が既知である必要はない。
速さ検出部１１は、反射光を受け取ることにより、対象物１００の速さを検出することができる。また、本実施形態では、方向制御部１４への制御信号に基づいて第１レーザ光１１１の方向を走査することにより、複数位置ｐｉでの速さｖｉを取得することができる。位置ｐｉあるいは速さｖｉに対応するレーザ光の向きｌｉは、方向制御部１４におけるミラーの角度を検出することにより、あるいは、方向制御部１４への制御指示値を用いることにより、取得が可能である。
（図２のステップＳＡ−２）
一方、距離検出部１２の第２レーザ光１２１を、ダイクロイックミラー１５、方向制御部１４を介して対象物１００に照射する。第２レーザ光１２１は、ダイクロイックミラー１５により、第１レーザ光１１１と重ね合わされて同軸とされる。このため、本実施形態によれば、対象物１００の位置や形状が未知の場合であっても、第１レーザ光１１１と第２レーザ光１２１とを、対象物１００における同じ位置に同時刻に照射することができるという利点がある。
距離検出部１２は、反射光を受け取ることにより、距離検出部１２から対象物１００までの距離を検出することができる。なお、本例では、距離検出部１２から方向制御部１４までの距離を既知とすることにより、方向制御部１４（具体的にはガルバノミラー）から対象物までの距離を算出する。
本実施形態では、方向制御部１４により、第１レーザ光１１１と同軸で第２レーザ光１２１の方向を走査することにより、複数位置ｐｉでの距離ｄｉを取得することができる。位置ｐｉに対応するレーザ光の向きｌｉは、対応する速さｖｉの場合と同じになる。
本実施形態の第１レーザ光１１１及び第２レーザ光１２１は、図２に示すパターンで繰り返して走査されていることを仮定して、以降説明する。
（図２のステップＳＡ−３及びＳＡ−４）
ついで、運動算出部１３は、対象物上の位置ｐｉを算出する。ここで、レーザ光が照射された位置ｐｉは、距離検出部１２により計測された距離ｄｉ、既知の光線方向ｌｉを用いて、下記式（１）のように算出することができる。本実施形態では、この位置ｐｉを、下記式（２）に示すように、一周期分の計測点ｐｉの重心を基準とした位置（異なる座標系における位置）ｑｉに変換する。本実施形態では、このｑｉを運動情報の算出に用いる。
Figure 2017038659
なお、ここでｕｉは、ガルバノミラーの回転に伴うオフセットの補正のための微小な補正量である。
（図２のステップＳＡ−５）
ある計測時刻から微小時間δｔ後の計測点の位置ｑ'は、下記式（３）（４）を満たす。そこで、両式からｑ'を消去することで下記式（５）を得ることができる。ただし、Ｒは、微小時間δｔ間での対象物の回転に対応する回転行列、Ｔは、並進に対応する並進ベクトルである。
Figure 2017038659
さらに、微小時間δｔ内での対象物の回転が微小であると仮定し、回転行列Ｒを、ロール・ビッチ・ヨーに対応する各回転角α，β，γを用いて下記式（６）のように近似することができる。このようにすると、求める対象の運動ｘを、下記式（７）の行列方程式の解として表すことができる。これにより計算コストを低下させて、運動検出のリアルタイム性を向上させることができる。ただし、Ａ＋は、後述する係数行列の擬似逆行列である。本実施形態では、未知数（ベクトルｘの要素数）の数ｎを６としているため、以降、計測点数ｍは６以上と仮定するが、これに限るものではなく、未知数の数が５以下のときは、計測点数ｍも５以下とすることが可能である。対象物の位置や形状が未知である場合における計測点数の数は、未知数の個数よりも大きいことが一般的に必要である。一般に計測点数を増やすと、計算コストは増加するが、測定精度は高くなる。以下においては、式（７）の解法の具体例を説明する。
Figure 2017038659
（一般化Tikhonov正則化解の利用）
行列方程式Ａｘ＝ｂの解は一般的にMoore-Penroseの擬似逆行列を用いて表される。しかしながら、式（７）は、各計測点の断片的な運動情報から、対象全体の三次元運動を再構成する逆問題であるため、解の安定性が得られない非適切な問題となる可能性がある。このような問題に対しては、Tikhonovの正則化を用いて、解を数値的に安定化する対策がしばしば行われる。しかし、本例で求める解ｘは、その要素に角度のパラメータと距離のパラメータとを含んでいる。すると、単一の正則化パラメータを用いるTikhonov正則化では、これら二つの物理量を適切に正則化することは難しい。そこで、複数の物理量を含む問題に対応できるように拡張を行った一般化Tikhonov正則化を導入する。下記式（８）に、一般化Tikhonov正則化を用いた擬似逆行列Ａ＋ ＧＴを示す。Ａ＋ ＧＴはベクトルｘの各要素に対応する正則化パラメータλk (k = 1, 2, .., n) を持っており、式（９）に示す重み付けユークリッド距離の意昧で最適なベクトルｘを求めることができる。 本実施形態では、この Ａ＋ ＧＴを用いて式（７）を解くことにより、速さ検出部１１及び距離検出部１２での検出値ｖｉ、ｄｉから対象物の回転及び並進運動の算出を行うことができる。
Figure 2017038659
したがって、本実施形態の運動算出部１３は、前記の選定において解ｘを求めることにより、対象物１００の運動、具体的にはその回転Ｒ及び並進Ｔを算出することができる。
本実施形態では、対象物の形状や模様に依存せずに、対象物１００の三次元的な運動（回転及び並進）を検出することができる。したがって、未知の対象物の運動を検出できる。また、本実施形態の装置によれば、仮に対象物が意図しないほど巨大である場合であっても、その運動を検出することが可能になる。
また、本実施形態では、従来のような画像特徴量を使用する手法に比較すると、計算コストの低い演算を用いて運動を算出できるので、高速な、あるいはリアルタイムでの運動検出が可能になるという利点がある。
なお、前記した正則化パラメータλkとしては、使用するシステムに応じて実験的に最適値を求めることができる。例えば、物理量の相違を考慮しつつ、 対象静止時に解が安定する最小値としてdiag[6.0, 4.0, 4.0, 0.05, 0.05, 0.0]を採用できるが、これに制約されるものではない。また、本実施形態では、距離検出部１２、速さ検出部１１が用いるレーザ光の波長は、それぞれ例えば875, 633 [nm] とすることができ、また、方向制御部１４による光線方向の振り角θは例えば約１０°であるが、これらに制約されるものではない。
また、本実施形態の運動検出装置を対象物のトラッキング用に用いることができる。つまり、対象物の運動を検出し、方向制御部１４で運動方向に対象物をトラッキングしつつ、対象物の運動計測を継続することができる。
また、本実施形態の運動検出装置を移動体に積載し、移動しながらこの装置に対する環境の相対的運動を検出することができる。このようにすると、例えば、路面に対する移動体（例えば自動車や電車など）の動きを検出することができる。また、例えば、移動体でトンネル内を移動しながら、トンネル壁面や天井の形状を連続的に高精度で検査することもできる。
（第２実施形態の運動検出装置）
次に、図４をさらに参照して、本発明の第２実施形態に係る運動検出装置を説明する。なお、この第２実施形態の説明においては、前記した第１実施形態と基本的に共通する構成要素について、同一符号を付することにより、説明の煩雑を避ける。
前記した第１実施形態においては、方向制御部１４を用いてレーザ光の方向を高速で変化させることにより、複数点ｐｉでの速さｖｉと距離ｄｉとを取得していた。これに対して、第２実施形態の運動検出装置では、方向制御部１４を省略し、代わりに、複数の検出ユニット１７を用いる構成とした。各ユニット１７は、速さ検出部１１と距離検出部１２とダイクロイックミラー１５とを備えている（図４参照）。この第２実施形態では、測定点数の数（例えば６個）に応じた個数のユニット１７が使用される。これにより、各点での測定時刻の同時性を向上させることができ、対象物１００の高速な運動の検出にも対応できるという利点がある。
第２実施形態における他の構成及び利点は、前記した第１実施形態と基本的に同様なので、これ以上詳しい説明は省略する。
（第３実施形態）
次に、本発明の第３実施形態に係る三次元形状測定装置を、図５をさらに参照しながら説明する。なお、この第３実施形態の説明においては、前記した第１実施形態と基本的に共通する構成要素について、同一符号を付することにより、説明の煩雑を避ける。
この三次元形状測定装置は、第１実施形態で説明した運動検出装置１に加えて、さらに、形状検出部２と、三次元形状算出部３とを備えるものである。
（第３実施形態の構成）
形状検出部２は、ラインレーザ２１と、カメラ２２とを備えている。ラインレーザ２１は、対象物１００に対して、ある程度の幅を持つレーザ光を照射する構成となっている。このようなラインレーザとしては既存のものを利用可能なので、これについての詳しい説明は省略する。
カメラ２２は、対象物１００を所定の時間間隔で撮影することにより、対象物１００の表面に投影されたライン状のレーザ光の形状を、時系列的に検出することができる。これにより、本実施形態の形状検出部２は、対象物１００の特定時点における形状を時系列で検出する構成となっている。
三次元形状算出部３は、時系列で検出された対象物の形状（具体的には撮影されたラインの形状）と、運動検出装置１で検出された運動とについての情報を用いて、対象物１００の三次元形状を算出する構成となっている。三次元形状算出部３の詳しい動作は後述する。
（第３実施形態の動作）
以下、第３実施形態に係る三次元形状測定装置を用いた測定方法について説明する。第３実施形態では、ラインレーザ２１から対象物１００に照射されたレーザ光の反射光（ライン状をなしている）をカメラ２２によって撮影することで、ライン位置における対象物１００の三次元形状を、三角測量の原理に基づいて計算することができる。このような手法は、光切断法とも呼ばれる。ラインレーザを用いる手法は、実装が簡易でありコスト低減が期待できるという利点がある。
ここで、通常、光切断法では、ラインレーザを走査することで、対象全体の形状を取得する。これに対して、第３実施形態では、対象物１００が運動することにより、ラインレーザに対して対象物１００を相対的に移動させることができる。
なお、ラインレーザに代えて、二次元パターンの構造化光などを用いて、面で形状を取得する方式も利用可能である。
（三次元形状測定の原理）
以下では、カメラの光学中心を原点とする三次元座標系を考え、その座標系をカメラ座標系とよぶ。今、ラインレーザ２１から照射されたレーザ光（「ラインレーザ光」と称することがある）が照射された対象上の１点が時刻ｔのカメラ画像上で ut = [u, v]Tとして観測されたとする。この点のカメラ座標系での位置を xt = [X, Y, Z] Tとする。また、カメラの内部パラメータＰを以下のように設定する。
Figure 2017038659
ここで、[ox, oy ] は画像中心、ｆは焦点距離、[kx, ky ] は画像の有効サイズである。この内部パラメータＰを用いると、xtを以下のように表すことができる。
Figure 2017038659
ここでｓは未知のスカラー、Ｕはｕの同次座標系表現U = [uT, 1]T である。これは、x t がカメラ座標系の原点を通る直線 Lc上にあることを示している。今、ラインレーザ２１とカメラ２２との間のキャリブレーションによって、カメラ座標系でのラインレーザ平面Ｋ（図５参照）上の点 x = [X, Y, Z]T が満たす次式の係数 k = [a, b, c]Tが得られたとする。
Figure 2017038659
このとき、前記した式（１１）（１２）により、xt は次式で決定される。
Figure 2017038659
他の点に関しても、同様の三次元座標への変換を行うことで、ラインレーザ光が照射されている部分の対象物の形状を三次元点群として得ることができる。三次元形状算出部３では、このようにして得た特定時刻での三次元点群（例えば三次元空間上での曲線）を、後述の位置合わせ手法により、対象物の運動情報と組み合わせて、三次元形状を算出することができる。
（位置合わせ手法）
最初に、カメラ座標系において得られた三次元点 {xt}c をガルバノ座標系（方向制御部１４におけるガルバノミラーのミラー回動中心付近を原点とした座標系）での三次元点
{xt}g に変換する。カメラ座標とガルバノ座標のキャリブレーションによって得られた Rcg, Tcg を用いて、座標系の変換は下記式（１４）のように表される。ここでRcg は、カメラ座標からガルバノ座標への回転行列、Tcg は、ガルバノ座標の原点からカメラ座標の原点までの並進ベクトルである。
Figure 2017038659
以下では、ガルバノ座標系に変換した三次元点 {xt}g を簡単のために xt と表記する。
ここから、図６（ａ）〜（ｄ）に示されるように、時刻０での物体の位置姿勢を基準として、各時刻に得られた三次元点群の位置合わせを行う。以下では簡単のため、運動検出装置１による運動検出と形状検出部２による形状計測のフレームレートを同じとし、時刻
t での運動検出によって得られる時刻 t から t +1 の間での回転運動、並進運動、回転中心を Rt, Tt, gt で表す。また、時刻 0（図６（ａ）参照）から時刻t（図６（ｂ）（ｃ）参照）までの物体位置姿勢の変化を、原点を回転中心とした回転、並進で表したものをRtハット, Ttハットとする。さらに、時刻 t1 に得られた三次元点 xt1 を時刻 t2での物体の位置姿勢を基準として位置合わせしたものをt2xt1 とする。
時刻 t（図６（ｃ）参照）で得られた三次元点 txt を時刻 0（図６（ａ）参照）での対象物の位置姿勢を基準とした三次元点 0xt（図６（ｄ）参照）に位置合わせすることを考える。まず、時刻 0 から t − 1 の間に運動検出で得られた運動情報 Ri, Ti, gi (i = 0, 1, ・・・ ,t − 1) を用いて、時刻 0 から t までの対象の位置姿勢の変化 Rtハット, Ttハットを計算する。この Rtハット, Ttハットをもとに、三次元点 txt を 0xtに位置合わせする。この変換を、時刻 0 から t に得られた 0x0, 1x1, ・・・ , txt に対して行い、すべて時刻 0 の位置姿勢を基準とした 0x0, 0x1, ・・・ , 0xt に変換し、位置合わせを行う。このとき、任意の j について以下の式が成り立つ。
Figure 2017038659
式（１５）（１６）より、以下の漸化式が成立する。
Figure 2017038659
この漸化式により、前フレームの Rt−1ハット, Tt−1ハットと運動検出によって得た Rt−1, T t−1, gt−1 から逐次的にRtハット, Ttハットを得ることができる。ただし、R 0ハット= I, T0ハット = 0である。これを、式（１６）の変形により得た下記式（１９）に逐次的に代入していくことで、任意の j に対して0xj を得ることができる（図６（ｄ）参照）。
Figure 2017038659
したがって、本実施形態の三次元形状算出部３では、前記した演算を行うことにより、対象物１００についての三次元形状を算出することができる。得られた三次元形状は、適宜な方法で出力可能である。出力先としては、ディスプレイ、プリンタ、メモリ、他のシステムなど、必要に応じて適宜に設定可能である。
なお、本発明の内容は、前記実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
例えば、前記した各実施形態では、第１レーザ光と第２レーザ光とを波長で分離する構成としたが、高速で切り替えが可能な場合は、時間で両者を分離することも可能である。このようにすれば、ダイクロイックミラー１５の設置を省略することができる。また、第１レーザ光と第２レーザ光の波長を同じとすることができる。
さらに、前記した各実施形態では、対象物上の位置ｐｉを、他の座標系でのｑｉに座標変換したが、これは、式（６）での外積（ｐｉ×ｌｉ）Ｔの計算がゼロベクトルになることを避けるためである。つまり、ベクトルｐｉがベクトルｌｉと平行になると、それらの外積がゼロベクトルになってしまい、計算に支障をきたす。したがって、ゼロベクトルになることを避けることができるならば、どのような変換を用いてもよい。
また、前記したレーザ光の照射パターンはあくまで一例であり、これに制約されるものではない。対象物の性質に応じて動的に照射パターンを変更することも可能である。
また、前記した運動算出部や三次元形状算出部のような構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
さらに、前記機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
１ 運動検出装置
１１ 速さ検出部
１１１ 第１レーザ光
１２ 距離検出部
１２１ 第２レーザ光
１３ 運動算出部
１４ 方向制御部
１５ ダイクロイックミラー
１７ 検出ユニット
２ 形状検出部
２１ ラインレーザ
２２ カメラ
３ 三次元形状算出部
１００ 対象物
ｄｉ 距離
ｖｉ 速さ
ｌｉ レーザ光の向き
ｐｉ レーザ光の照射位置
ｑ ｐの座標変換により得た位置
本発明によれば、非接触で高速に、かつ比較的に高精度で対象物の運動を検出することが可能になる。また、本発明によれば、検出された運動の情報を用いて、対象物の三次元形状を推定することが可能になる。
（図３のステップＳＡ−１）
速さ検出部１１の第１レーザ光１１１を、ダイクロイックミラー１５、方向制御部１４を介して対象物１００に照射する。なお、ここで、対象物１００の位置や形状が既知である必要はない。
（図３のステップＳＡ−２）
一方、距離検出部１２の第２レーザ光１２１を、ダイクロイックミラー１５、方向制御部１４を介して対象物１００に照射する。第２レーザ光１２１は、ダイクロイックミラー１５により、第１レーザ光１１１と重ね合わされて同軸とされる。このため、本実施形態によれば、対象物１００の位置や形状が未知の場合であっても、第１レーザ光１１１と第２レーザ光１２１とを、対象物１００における同じ位置に同時刻に照射することができるという利点がある。
（図３のステップＳＡ−３及びＳＡ−４）
ついで、運動算出部１３は、対象物上の位置ｐｉを算出する。ここで、レーザ光が照射された位置ｐｉは、距離検出部１２により計測された距離ｄｉ、既知の光線方向ｌｉを用いて、下記式（１）のように算出することができる。本実施形態では、この位置ｐｉを、下記式（２）に示すように、一周期分の計測点ｐｉの重心を基準とした位置（異なる座標系における位置）ｑｉに変換する。本実施形態では、このｑｉを運動情報の算出に用いる。
（図３のステップＳＡ−５）
ある計測時刻から微小時間δｔ後の計測点の位置ｑ'は、下記式（３）（４）を満たす。そこで、両式からｑ'を消去することで下記式（５）を得ることができる。ただし、Ｒは、微小時間δｔ間での対象物の回転に対応する回転行列、Ｔは、並進に対応する並進ベクトルである。
したがって、本実施形態の運動算出部１３は、前記の前提において解ｘを求めることにより、対象物１００の運動、具体的にはその回転Ｒ及び並進Ｔを算出することができる。

Claims (9)

  1. 速さ検出部と、距離検出部と、運動算出部とを備えており、
    前記速さ検出部は、第１レーザ光を対象物に向けて照射し、かつ、前記対象物において反射された前記第１レーザ光を用いて、前記対象物の速さを検出する構成となっており、
    前記距離検出部は、第２レーザ光を前記対象物に向けて照射し、かつ、前記対象物において反射された前記第２レーザ光を用いて、前記対象物までの距離を検出する構成となっており、
    前記第２レーザ光は、前記第１レーザ光と実質的に同じタイミングでかつ同じ位置に照射される構成となっており、
    前記運動算出部は、前記第１及び第２レーザ光の向きと、前記速さと、前記距離とについての情報を用いて、前記対象物についての運動を算出する構成となっている
    ことを特徴とする運動検出装置。
  2. 前記第１レーザ光と前記第２レーザ光とは、実質的に同軸で前記対象物に照射されている
    請求項１に記載の運動検出装置。
  3. 前記運動算出部は、前記対象物上での複数の点における前記速さ及び前記距離の情報を用いて前記運動を算出する構成となっている
    請求項１又は２に記載の運動検出装置。
  4. 前記対象物についての運動は、前記対象物の回転及び並進の運動である
    請求項１〜３のいずれか１項に記載の運動検出装置。
  5. さらに方向制御部を備えており
    前記方向制御部は、前記第１レーザ光及び前記第２レーザ光の向きを制御する構成となっている
    請求項１〜４のいずれか１項に記載の運動検出装置。
  6. 前記運動算出部は、前記第１及び第２レーザ光の向きと、前記距離とについての情報を用いて、前記対象物における前記第１及び第２レーザ光の照射位置ｐを算出し、前記照射位置ｐを、別の座標系における位置ｑに変換し、前記位置ｑと前記速さとを用いて前記対象物についての運動を算出する構成となっている
    請求項１〜５のいずれか１項に記載の運動検出装置。
  7. 前記第１レーザ光と前記第２レーザ光とは、異なる波長とされている
    請求項１〜６のいずれか１項に記載の運動検出装置。
  8. 請求項１〜７のいずれか１項に記載の運動検出装置と、形状検出部と、三次元形状算出部とを備えており、
    前記形状検出部は、前記対象物の特定時点における形状を時系列で検出する構成となっており、
    前記三次元形状算出部は、前記時系列で検出された前記形状と前記運動とについての情報を用いて、前記対象物の三次元形状を算出する構成となっている
    三次元形状測定装置。
  9. 対象物に照射された第１レーザ光の反射光を用いて前記対象物の速さを検出するステップと、
    前記対象物に照射された第２レーザ光の反射光を用いて前記対象物までの距離を検出するステップと、
    前記第１レーザ光と前記第２レーザ光とにおける向きと、前記速さと、前記距離とについての情報を用いて、前記対象物についての運動を算出するステップと
    を備える運動検出方法。
JP2017537821A 2015-09-01 2016-08-26 運動検出装置及びそれを用いた三次元形状測定装置 Pending JPWO2017038659A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015171785 2015-09-01
JP2015171785 2015-09-01
PCT/JP2016/074907 WO2017038659A1 (ja) 2015-09-01 2016-08-26 運動検出装置及びそれを用いた三次元形状測定装置

Publications (1)

Publication Number Publication Date
JPWO2017038659A1 true JPWO2017038659A1 (ja) 2018-06-14

Family

ID=58188835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017537821A Pending JPWO2017038659A1 (ja) 2015-09-01 2016-08-26 運動検出装置及びそれを用いた三次元形状測定装置

Country Status (5)

Country Link
US (1) US20180283851A1 (ja)
EP (1) EP3346287A4 (ja)
JP (1) JPWO2017038659A1 (ja)
CN (1) CN108027440A (ja)
WO (1) WO2017038659A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7196063B2 (ja) * 2017-03-31 2022-12-26 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、および撮像制御装置の制御方法、並びに移動体
JP6968568B2 (ja) * 2017-04-20 2021-11-17 株式会社日立製作所 形状計測システム、及び、形状計測方法
CN109171616A (zh) * 2018-08-07 2019-01-11 重庆金山医疗器械有限公司 获得被测物内部3d形状的系统及方法
JP7078127B2 (ja) * 2018-10-18 2022-05-31 富士通株式会社 算出方法、算出プログラムおよび情報処理装置
US20210156881A1 (en) * 2019-11-26 2021-05-27 Faro Technologies, Inc. Dynamic machine vision sensor (dmvs) that performs integrated 3d tracking

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012518793A (ja) * 2009-02-20 2012-08-16 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する３次元画像の生成システム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4822164A (en) * 1987-09-30 1989-04-18 Eaton Corporation Optical inspection device and method
CN1021784C (zh) * 1990-06-28 1993-08-11 清华大学 运动姿态测量方法及其装置
JPH0592216A (ja) * 1991-09-30 1993-04-16 Kawasaki Steel Corp コイルの巻取・巻戻装置
JP2000266851A (ja) * 1999-03-19 2000-09-29 Minolta Co Ltd 測距装置
US6542227B2 (en) * 2001-09-04 2003-04-01 Rosemount Aerospace, Inc. System and method of measuring flow velocity in three axes
JP4142532B2 (ja) * 2003-09-02 2008-09-03 シャープ株式会社 光学式速度計、変位情報測定装置および搬送処理装置
CN1303433C (zh) * 2004-05-27 2007-03-07 中国科学院长春光学精密机械与物理研究所 可测量不同距离运动物体速度的双光路激光多普勒测速仪
CN101031817B (zh) * 2004-09-30 2011-02-09 Faro科技有限公司 测量移动后向反射器的绝对测距仪
EP1647838B1 (de) * 2004-10-13 2010-04-28 Leica Geosystems AG Verfahren und Messgerät zur Messung eines Absolutdistanzwertes
JP4888127B2 (ja) * 2007-01-17 2012-02-29 コニカミノルタセンシング株式会社 三次元測定装置及び携帯型計測器
JP5530069B2 (ja) * 2007-04-03 2014-06-25 アズビル株式会社 距離・速度計および距離・速度計測方法
JP5530070B2 (ja) * 2007-06-06 2014-06-25 アズビル株式会社 距離・速度計および距離・速度計測方法
US8508722B2 (en) * 2008-04-30 2013-08-13 Optical Air Data Systems, Llc Laser doppler velocimeter
JP5633719B2 (ja) * 2009-09-18 2014-12-03 学校法人福岡工業大学 三次元情報計測装置および三次元情報計測方法
JP5114514B2 (ja) * 2010-02-25 2013-01-09 株式会社日立製作所 位置推定装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012518793A (ja) * 2009-02-20 2012-08-16 デジタル・シグナル・コーポレーション ライダーとビデオ測定を使用する３次元画像の生成システム及び方法

Also Published As

Publication number Publication date
EP3346287A1 (en) 2018-07-11
US20180283851A1 (en) 2018-10-04
CN108027440A (zh) 2018-05-11
EP3346287A4 (en) 2019-02-27
WO2017038659A1 (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
TWI624170B (zh) 影像掃描系統及其方法
US11320536B2 (en) Imaging device and monitoring device
JP5587137B2 (ja) 測定装置及び測定方法
US9470511B2 (en) Point-to-point measurements using a handheld device
JP5567908B2 (ja) ３次元計測装置、その計測方法及びプログラム
JP5624394B2 (ja) 位置姿勢計測装置、その計測処理方法及びプログラム
US9704248B2 (en) Position and orientation measuring apparatus, information processing apparatus and information processing method
JP2016516196A (ja) ６自由度において追跡される構造化光スキャナの補正
JP6782903B2 (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP6333396B2 (ja) モバイルプラットフォームの変位を計測する方法及び装置
WO2021174507A1 (zh) 参数标定方法、装置、系统和存储介质
US11729367B2 (en) Wide viewing angle stereo camera apparatus and depth image processing method using the same
JP6410231B2 (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP6698430B2 (ja) 測定装置、測定方法およびプログラム
Portugal-Zambrano et al. Robust range finder through a laser pointer and a webcam
WO2022228461A1 (zh) 一种基于激光雷达的三维超声成像方法和系统
KR102325121B1 (ko) 맵 정보과 영상 매칭을 통한 실시간 로봇 위치 예측 방법 및 로봇
CN108564626A (zh) 用于确定安装于采集实体的相机之间的相对姿态角的方法和装置
KR102106890B1 (ko) 소형통합제어장치
Shojaeipour et al. Robot path obstacle locator using webcam and laser emitter
KR102106889B1 (ko) 소형통합제어장치
KR101436097B1 (ko) 레이저 센서 기반 비접촉식 6-자유도 운동 측정 방법
JP6237117B2 (ja) 画像処理装置、ロボットシステム、画像処理方法、および画像処理プログラム
Shojaeipour et al. Laser-pointer rangefinder between mobile robot and obstacles via webcam based

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180219

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190408

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201215