JP7679672B2 - 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム - Google Patents

出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム Download PDF

Info

Publication number
JP7679672B2
JP7679672B2 JP2021064639A JP2021064639A JP7679672B2 JP 7679672 B2 JP7679672 B2 JP 7679672B2 JP 2021064639 A JP2021064639 A JP 2021064639A JP 2021064639 A JP2021064639 A JP 2021064639A JP 7679672 B2 JP7679672 B2 JP 7679672B2
Authority
JP
Japan
Prior art keywords
distance
floor surface
output
distance information
measuring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021064639A
Other languages
English (en)
Other versions
JP2022160108A (ja
Inventor
宏行 田中
秀樹 中條
政宏 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2021064639A priority Critical patent/JP7679672B2/ja
Priority to US17/695,877 priority patent/US20220319025A1/en
Priority to DE102022107215.0A priority patent/DE102022107215A1/de
Priority to CN202210348328.7A priority patent/CN115201836A/zh
Publication of JP2022160108A publication Critical patent/JP2022160108A/ja
Application granted granted Critical
Publication of JP7679672B2 publication Critical patent/JP7679672B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06Systems determining position data of a target
    • G01S13/08Systems for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4811Constructional features, e.g. arrangements of optical elements common to transmitter and receiver
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラムに関する。
近年、例えば、光源としてLED(Light Emitting Diode)から測定対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサを用いて、各画素ごとに測定対象物までの距離情報を含む距離画像を生成する測距装置が使用されている。
例えば、特許文献1には、デプスカメラによって得られる距離画像の座標系を、距離画像に含まれる屋内平面部のデータに基づいて実験室座標系に構成するヒト計測システムの座標校正方法について開示されている。
特開2017-122690号公報
しかしながら、上記従来のヒト計測システムでは、以下に示すような問題点を有している。
すなわち、上記公報には、デプスカメラにより得られた距離画像の座標系を実験室座標系に校正する方法について開示されているものの、距離画像の全ての画素に対応する距離情報を含む情報が出力されるため、出力されるデータ量が膨大になるおそれがある。
このため、出力されるデータ量が大きいことで、例えば、システムからの出力を受信するホストとの間の通信時間の増大を招くおそれがある。また、ホスト側で受信したデータに対して、例えば、特定の対象物を検出する等の後処理を行う場合にも、処理対象となるデータ量が大きいために、ホスト側での後処理の負荷の増大を招くおそれがある。
本発明の課題は、出力される距離情報を含む情報のデータ量を軽減することが可能な出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラムを提供することにある。
第1の発明に係る出力制御装置は、対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御装置であって、距離情報取得部と、出力情報選択部と、角度情報取得部と、3次元座標変換部と、平面検出部と、高さ算出部と、座標回転演算部と、対象物検出部と、閾値設定部と、を備えている。距離情報取得部は、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。出力情報選択部は、距離情報取得部において取得された距離情報に基づいて検出される対象物を含む距離画像の画素に対応する距離情報を出力対象として選択する。角度情報取得部は、距離画像に含まれる各画素ごとに対応する角度情報を取得する。3次元座標変換部は、距離情報取得部において取得された距離情報を、角度情報取得部において取得された角度情報に基づいて、3次元座標へ変換する。平面検出部は、対象物が置かれた床面を検出する。高さ算出部は、平面検出部において検出された床面における距離情報を、3次元座標変換部において変換した3次元座標に基づいて、測距装置の設置高さを算出する。また、高さ算出部は、平面検出部において検出された床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させて再度取得された座標値のうち、鉛直方向における座標値の平均値を、設置高さとして算出する。座標回転演算部は、3次元座標変換部において距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する。対象物検出部は、座標回転演算部において演算された回転座標の高さ方向の座標と、高さ算出部において算出された設置高さとを比較して、高さ方向における寸法を有する物体を検出すると、物体を対象物として検出する。閾値設定部は、対象物検出部における対象物の検出時に用いられる所定の閾値として、第1、第2および第3閾値を設定する。そして、対象物検出部は、床面からの高さ方向における寸法が第1閾値よりも大きい場合、床面に対象物があると判定し、床面からの高さ方向における寸法が第2閾値よりも小さい場合、床面に穴があると判定し、隣接する画素の床面からの高さ方向における寸法の変化量が第3閾値より大きい場合、床面にスロープがあると判定する。
ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて検出される対象物を含む距離画像の画素に対応する距離情報を出力対象として選択する。
ここで、本出力制御装置は、例えば、TOFセンサ等の測距装置内に設けられていてもよいし、測距装置の外部に設けられていてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得部は、電磁波の反射を検出して距離情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得する構成であってもよい。
これにより、例えば、床面に置かれた対象物を含む画素に対応する距離情報だけを選択的に出力し、床面のみで対象物がない画素部分からの出力を行わないように出力制御することができる。
この結果、測距装置から出力される距離情報を含む情報のデータ量を大幅に軽減することができる。
また、例えば、測距装置が、受光部として、受光レンズと受光レンズを介して受光する電磁波の反射を検出する撮像素子とを含む構成では、距離画像を生成する撮像素子の各画素には、受光レンズを介して入射してくる電磁波の反射の角度が決まるため、各画素に対応する角度情報を取得することができる。
さらに、各画素に対応する角度情報を用いて、距離情報を3次元座標(X,Y,Z)へ変換することができる。
また、実際に対象物までの距離測定を行う前段階として、床面を検出することで、対象物の有無を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
また、床面の位置からの測距装置の設置高さを算出して、対象物の有無を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
また、測距装置において測定された床面までの距離について、床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させることで、再度取得された座標値の光軸方向における座標値を測距装置の設置高さとして算出することができる。すなわち、例えば、測距装置の光軸に相当するZ軸が鉛直方向に向くように、床面の垂線と測距装置の光軸とがなす角度だけ軸周りに回転させることで、測距装置が真下に向かって光を照射してその反射光を受光した場合と同等の距離情報を取得するように、設置高さを算出することができる。なお、床面として認識されている平面からの座標値(距離)について平均値を求め、この平均値を設置高さとして算出することで、例えば、床面に微小な凹凸等がある場合でも正確に床面からの測距装置の設置高さを算出することができる。
また、実際に対象物までの距離情報を測定する際に、3次元座標変換部において距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算することで、対象物までの距離を検出することができる。すなわち、演算された回転座標を用いることで、実質的に、対象物の真上から見た状態で測定した高さ方向における距離を測定することができる。
また、床面として認識された面から高さを有する物体を対象物として検出することで、出力対象となる距離情報を含む画素を容易に特定することができると共に、床面までの設置高さと対象物の高さ(高さ方向における座標)とを比較して、対象物に高さ方向における寸法があるか否かに応じて、物体が対象物であるか否かを容易に検出することができる。
また、対象物の検出時において、床面までの設置高さと対象物の高さ(高さ方向における座標)とを比較する際に、その高さの差が所定の閾値より大きいまたは小さい場合には、その物体を対象物として検出することで、対象物の誤検出を抑制することができる。
さらに、異なる閾値S1,S2,S3を用いて判定処理が実施されることで、床面FLの状態を検出することができ、例えば、測距装置20が床面FL上を走行可能な搬送装置に搭載された場合でも、床面FLの穴130a等の凹凸の有無や、障害物の有無等を正確に判定して、スムーズに搬送作業を実施することができる。
の発明に係る出力制御装置は、第の発明に係る出力制御装置であって、出力情報選択部は、対象物検出部において検出された対象物を含む各画素の距離情報を選択して出力する。
これにより、撮像素子の全画素中、対象物を含む画素だけに対応する距離情報を選択的に出力することで、出力されるデータ量を大幅に削減し、出力負荷を軽減することができる。
の発明に係る測距装置は、第1またはの発明に係る出力制御装置と、対象物に対して電磁波を照射する照装置と、照明装置から照射された電磁波の反射量を検出する受光部と、を備えている。
これにより、上述した出力制御装置が、照明装置と受光部とを備えた測距装置の内部に設けられていることで、受光部の撮像素子の全画素ではなく、対象物を含む画素のみに対応する距離情報を出力して、出力されるデータ量を大幅に軽減可能な測距装置を得ることができる。
の発明に係る測距装置は、第の発明に係る測距装置であって、距離情報、距離画像に含まれる各画素ごとに対応する角度情報、測距装置の直交座標系、設置高さ、距離情報および角度情報から変換された3次元座標を軸周りに回転させた回転座標、対象物の検出時に用いられる閾値、出力の対象となる画素の座標値の少なくとも1つを保存する記憶部を、さらに備えている。
これにより、距離情報、角度情報、直交座標系、設置高さ、回転座標、閾値、出力の対象となる画素の座標値等を測距装置内に保存することで、保存された各種データを用いて、出力されるデータ量を大幅に軽減するための処理を実施することができる。
の発明に係る測距装置は、第または第の発明に係る測距装置であって、出力情報選択部において選択された画素に対応する距離情報を、外部機器へ出力する出力部を、さらに備えている。
これにより、対象物を含むと判定され選択された画素に対応する距離情報だけを、出力部から外部機器へ出力することで、測距装置から出力される距離情報を含む情報のデータ量を大幅に軽減することができる。
の発明に係る出力制御方法は、対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御方法であって、距離情報取得ステップと、出力情報選択ステップと、角度情報取得ステップと、3次元座標変換ステップと、平面検出ステップと、高さ算出ステップと、座標回転演算ステップと、対象物検出ステップと、閾値設定ステップと、を備えている。距離情報取得ステップは、照明装置から対象物に対して照射された電磁波の反射量に応じて対象物までの距離情報を取得する。出力情報選択ステップは、距離情報取得ステップにおいて取得された距離情報に基づいて検出される対象物を含む距離画像の画素に対応する距離情報を出力対象として選択する。角度情報取得ステップは、距離画像に含まれる各画素ごとに対応する角度情報を取得する。3次元座標変換ステップは、距離情報取得ステップにおいて取得された距離情報を、角度情報取得ステップにおいて取得された角度情報に基づいて、3次元座標へ変換する。平面検出ステップは、対象物が置かれた床面を検出する。高さ算出ステップは、平面検出ステップにおいて検出された床面における距離情報を、3次元座標変換ステップにおいて変換した3次元座標に基づいて、測距装置の設置高さを算出する。また、高さ算出ステップは、平面検出ステップにおいて検出された床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させて再度取得された座標値のうち、鉛直方向における座標値の平均値を、設置高さとして算出する。座標回転演算ステップは、3次元座標変換ステップにおいて距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する。対象物検出ステップは、座標回転演算ステップにおいて演算された回転座標の高さ方向の座標と、高さ算出ステップにおいて算出された設置高さとを比較して、高さ方向における寸法を有する物体を検出すると、物体を対象物として検出する。閾値設定ステップは、対象物検出ステップにおける対象物の検出時に用いられる所定の閾値として、第1、第2および第3閾値を設定する。そして、対象物検出ステップは、床面からの高さ方向における寸法が第1閾値よりも大きい場合、床面に対象物があると判定し、床面からの高さ方向における寸法が第2閾値よりも小さい場合、床面に穴があると判定し、隣接する画素の床面からの高さ方向における寸法の変化量が第3閾値より大きい場合、床面にスロープがあると判定する。
ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて検出される対象物を含む距離画像の画素に対応する距離情報を出力対象として選択する。
ここで、本出力制御方法は、例えば、TOFセンサ等の測距装置内で実施されてもよいし、測距装置の外部において実施されてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得する構成であってもよい。
これにより、例えば、床面に置かれた対象物を含む画素に対応する距離情報だけを選択的に出力し、床面のみで対象物がない画素部分からの出力を行わないように出力制御することができる。
この結果、測距装置から出力される距離情報を含む情報のデータ量を大幅に軽減することができる。
また、例えば、測距装置が、受光部として、受光レンズと受光レンズを介して受光する電磁波の反射を検出する撮像素子とを含む構成では、距離画像を生成する撮像素子の各画素には、受光レンズを介して入射してくる電磁波の反射の角度が決まるため、各画素に対応する角度情報を取得することができる。
さらに、各画素に対応する角度情報を用いて、距離情報を3次元座標(X,Y,Z)へ変換することができる。
また、実際に対象物までの距離測定を行う前段階として、床面を検出することで、対象物の有無を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
また、床面の位置からの測距装置の設置高さを算出して、対象物の有無を検出する際に、床面からの測距装置の距離(高さ)を基準値として用いることができる。
また、測距装置において測定された床面までの距離について、床面の垂線と測距装置の光軸とがなす角度だけ、測距装置の直交座標系を軸周りに回転させることで、再度取得された座標値の光軸方向における座標値を測距装置の設置高さとして算出することができる。すなわち、例えば、測距装置の光軸に相当するZ軸が鉛直方向に向くように、床面の垂線と測距装置の光軸とがなす角度だけ軸周りに回転させることで、測距装置が真下に向かって光を照射してその反射光を受光した場合と同等の距離情報を取得するように、設置高さを算出することができる。なお、床面として認識されている平面からの座標値(距離)について平均値を求め、この平均値を設置高さとして算出することで、例えば、床面に微小な凹凸等がある場合でも正確に床面からの測距装置の設置高さを算出することができる。
また、実際に対象物までの距離情報を測定する際に、3次元座標変換部において距離情報および角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算することで、対象物までの距離を検出することができる。すなわち、演算された回転座標を用いることで、実質的に、対象物の真上から見た状態で測定した高さ方向における距離を測定することができる。
また、床面として認識された面から高さを有する物体を対象物として検出することで、出力対象となる距離情報を含む画素を容易に特定することができると共に、床面までの設置高さと対象物の高さ(高さ方向における座標)とを比較して、対象物に高さ方向における寸法があるか否かに応じて、物体が対象物であるか否かを容易に検出することができる。
また、対象物の検出時において、床面までの設置高さと対象物の高さ(高さ方向における座標)とを比較する際に、その高さの差が所定の閾値より大きいまたは小さい場合には、その物体を対象物として検出することで、対象物の誤検出を抑制することができる。
さらに、異なる閾値S1,S2,S3を用いて判定処理が実施されることで、床面FLの状態を検出することができ、例えば、測距装置20が床面FL上を走行可能な搬送装置に搭載された場合でも、床面FLの穴130a等の凹凸の有無や、障害物の有無等を正確に判定して、スムーズに搬送作業を実施することができる。
の発明に係る出力制御プログラムは、対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御プログラムであって、第6の発明に係る出力制御方法の各ステップをコンピュータに実行させる。
ここでは、例えば、光源としてLED(Light Emitting Diode)から対象物に向かって照射された光の反射光を受光して、測定対象物までの距離を測定するTOF(Time-of-Flight)センサから取得した対象物までの距離情報を用いて検出される対象物を含む距離画像の画素に対応する距離情報を出力対象として選択する。
ここで、本出力制御プログラムは、例えば、TOFセンサ等の測距装置内においてCPUに読み込まれて実行されてもよいし、測距装置の外部装置等のCPUに読み込まれて実行されてもよい。
照明装置から照射される電磁波は、例えば、広義の光(紫外光・可視光・赤外光)、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)、超音波、弾性波、量子波等を含む。
なお、距離情報取得ステップでは、電磁波の反射を検出して距離情報を算出する構成であってもよいし、例えば、外部装置として設けられた距離センサ等から距離情報を取得する構成であってもよい。
これにより、上述した第6の発明に係る出力制御方法が奏する効果と同様の効果、例えば、床面に置かれた対象物を含む画素に対応する距離情報だけを選択的に出力し、床面のみで対象物がない画素部分からの出力を行わないように出力制御することができ測距装置から出力される距離情報を含む情報のデータ量を大幅に軽減することができるという効果などを奏することができる
本発明に係る測距装置によれば、出力される距離情報を含む情報のデータ量を軽減することができる。
本発明の一実施形態に係る測距装置の外観構成を示す斜視図。 図1の測距装置の制御ブロック図。 図2の測距装置の制御部内に形成される制御ブロック図。 図2の測距装置に含まれるTOF方式で算出される対象物までの距離を算出する原理を説明する図。 図1の測距装置と床面上に置かれた対象物との位置関係を示す図。 図5の測距装置の直交座標形式(3次元座標)をX軸周りに角度θだけ回転させた直交座標回転形式を示す図。 図6の直交座標形式への変換について説明する図。 図6の直交座標回転形式への変換について説明する図。 図1の測距装置と床面上に置かれた対象物との位置関係を直交座標回転形式によって示す図。 図1の測距装置と床面に開いた穴との位置関係を直交座標回転形式によって示す図。 図1の測距装置と床面上のスロープとの位置関係を直交座標回転形式によって示す図。 図1の測距装置によって実施される出力制御方法の処理のうち、実際の測定前に実施されるキャリブレーションの処理の流れを示すフローチャート。 図1の測距装置によって実施される出力制御方法の処理のうち、実際の距離測定時の処理の流れを示すフローチャート。 図13のステップS25の処理において、床面上に置かれた対象物(物体)の検出の流れを詳細に説明するフローチャート。 図13のステップS25の処理において、図10の床面の穴を検出する際のフローチャート。 図13のステップS25の処理において、図11のスロープを検出する際のフローチャート。
(実施形態1)
本発明の一実施形態に係る制御部(出力制御装置)10を備えた測距装置20について、図1~図16を用いて説明すれば以下の通りである。
(1)測距装置20の構成
本実施形態に係る測距装置20は、図1に示すように、本体部20aの表面に設けられた照明装置21から対象物30に向かって照射された光L1(電磁波の一例)の反射光を、受光レンズ22を介して撮像素子23において受光して、光L1が照射されてから受光されるまでの光の飛行時間(Time of Flight)に応じて算出される距離情報を取得する。
そして、測距装置20は、図2に示すように、照明装置21と、受光レンズ22と、撮像素子23と、制御部(出力制御装置)10と、記憶部25と、出力部26と、を備えている。
照明装置21は、例えば、LEDを有しており、対象物30に対して所望の波長を有する光を照射する。なお、照明装置21には、LEDから照射された光を集光して対象物30の方向へ導く投光レンズ(図示せず)が設けられている。
受光レンズ22は、照明装置21から対象物30に対して照射され、対象物30において反射した反射光を受光して、撮像素子23へと導くために設けられている。
撮像素子23は、複数の画素を有しており、受光レンズ22において受光された反射光を、複数の画素のそれぞれにおいて受光して、光電変換した電気信号を制御部10へと送信する。また、撮像素子23において検出される反射光の受光量に対応する電気信号は、制御部10において各画素における距離情報の算出に用いられる。
制御部10は、図2に示すように、照明装置21、撮像素子23および記憶部25と接続されている。そして、制御部10は、記憶部25に保存された照明制御プログラムを読み込んで、対象物30に対して光を照射する照明装置21を制御する。より詳細には、制御部10は、光を照射する対象物30までの距離、形状、色等の対象物の性質等に応じて最適な光を照射するように、照明装置21を制御する。また、制御部10は、撮像素子23から受信した各画素に対応する電気信号に基づいて、各画素ごとに、対象物30までの距離情報を算出する。
なお、測距装置20による対象物30までの距離測定原理については、後段にて詳述する。
記憶部25は、図2に示すように、制御部10と接続されており、照明装置21および撮像素子23を制御するための制御プログラム、撮像素子23において検出された反射光の光量、受光タイミング、反射光の光量に基づいて算出された距離情報等のデータを保存する。さらに、記憶部25は、後述する距離情報、角度情報、直交座標系、設置高さ、回転座標、閾値、出力の対象となる画素の座標値等の情報を保存する。
出力部26は、後述する出力情報選択部19(図3参照)において選択された画素に対応する距離情報を、外部機器へ出力する。
出力部26から出力された各画素に対応する距離情報は、全画素分ではなく、選択された一部の画素に対応する情報に限定される。このため、出力負荷を軽減することができるとともに、出力先である外部機器における後処理の負荷も軽減することができる。
(2)制御部10の構成
制御部10は、図3に示すように、距離演算部(距離情報取得部)11と、角度情報取得部12と、3次元座標変換部13と、平面検出部14と、高さ算出部15と、座標回転演算部16と、閾値設定部17と、対象物検出部18と、出力情報選択部19と、を備えている。
距離演算部11は、後述するTOF(Time of Flight)方式の距離測定原理に基づいて、撮像素子23において撮影された濃淡画像の各画素に対応する対象物30までの距離情報を演算する。
角度情報取得部12は、受光レンズ22を介して反射光を受光する撮像素子23において生成される距離画像を構成する複数の画素は、被写体に対する反射光の入射角度が決まるため、各画素それぞれに対応する角度情報を取得する。
3次元座標変換部13は、距離演算部11において取得された距離情報を、角度情報取得部12において取得された角度情報に基づいて、直交座標形式の3次元座標(X,Y,Z)へ変換する(図7参照)。
平面検出部14は、対象物30までの距離を測定する際の基準として、対象物30が置かれた床面FLを検出する画素の範囲を指定して床面FLを検出する(キャリブレーション処理)。
高さ算出部15は、平面検出部14において検出された床面FLにおける距離情報(高さ)を、3次元座標変換部13において変換した3次元座標(X,Y,Z)に基づいて、測距装置20の床面FLからの設置高さhを算出する。より詳細には、高さ算出部15は、床面FLの垂線と測距装置20の光軸とがなす角度θだけ、測距装置20の直交座標系(X,Y,Z)を軸周りに回転させて再度取得された座標値(X,Yr,Zr)のうち、光軸方向における座標値Zrを、設置高さhとして算出する(図6参照)。
本実施形態では、高さ算出部15は、測距装置20の直交座標系(X,Y,Z)を軸周りに回転させて再度取得された複数の座標値(Xr,Yr,Zr)のZ方向における座標値の平均値を、設置高さhとして算出する。
座標回転演算部16は、3次元座標変換部13において距離情報および角度情報から変換された3次元座標(直交座標形式)を、軸周りに回転させた回転座標(直交座標回転形式)を演算する(図6参照)。
閾値設定部17は、対象物検出部18において対象物30を検出する際に用いられる所定の閾値を設定する。なお、閾値設定部17によって設定される閾値は、検出される対象物30の形態、形状、大きさ等に応じて、適宜、異なる値が設定されていればよい。
対象物検出部18は、座標回転演算部16において演算された回転座標の高さ方向の座標zと、高さ算出部15において算出された設置高さhとを比較して、高さ方向における寸法を有する物体を検出すると、この物体を床面FL上に置かれた対象物30として検出する。
出力情報選択部19は、距離演算部11において演算された距離情報に基づいて検出される対象物30を含む距離画像を構成する複数の画素のうち、対象物30を含む画素に対応する距離情報だけを出力対象として選択して出力する。
<測距装置20による距離測定原理>
本実施形態の測距装置20による対象物までの距離測定の原理について、図4を用いて説明すれば以下の通りである。
すなわち、本実施形態では、測距装置20の制御部10(距離演算部11)が、照明装置21から照射された光の投光波と、撮像素子23において受光した光の受光波との位相差Φ(図4参照)に基づいて、対象物30までの距離を算出する。
ここで、位相差Φは、以下の関係式(1)によって示される。
Φ=atan(y/x) ・・・・・(1)
(x=a2-a0,y=a3-a1、a0~a3は、受光波を90度間隔で4回サンプリングしたポイントにおける振幅)
そして、位相差Φから距離Dへの変換式は、以下の関係式(2)によって示される。
D=(c/(2×fLED))×(Φ/2π)+DOFFSET ・・・・・(2)
(cは、光速(≒3×10m/s)、fLEDは、LEDの投光波の周波数、DOFFSETは、距離オフセット。)
これにより、照明装置21から照射された光の反射光を受光して、その位相差を比較することで、距離演算部11は、光速cを用いて、対象物30までの距離を容易に算出することができる。
<出力対象を選択する処理>
本実施形態の測距装置20の制御部10による出力対象を選択する方法について、図面を用いて説明すれば以下の通りである。
すなわち、本実施形態では、測距装置20が、図5に示すように、床面FLに設置された高さhの支柱P1の上端に、斜め下向きの取付角度で取り付けられており、床面FL上に置かれた対象物30が存在するとする。
この場合、測距装置20では、撮像素子23の全ての画素に映る物体(対象物30,床面FL等)までの距離が演算され、各画素に対応する距離情報として、測距装置20を原点とする3次元座標(X,Y,Z)が保存されている。
本実施形態の測距装置20は、これらの各画素に対応する距離情報のうち、対象物30がある位置に対応する画素の距離情報だけを選択的に出力するために、以下のような出力制御処理を実施する。
まず、事前準備時として、測距装置20は、床面FLからの設置高さhを算出するキャリブレーションを実施する。
具体的には、測距装置20は、図5に示すように、床面FL上において、直交座標系(X,Y,Z)で距離の測定を行い、各画素における測定結果(X,Y,Z)座標値を取得する。
次に、測距装置20は、取得した結果に対して、指定された画素範囲において平面検出を行い、平面αの式aX+bY+cZ+d=0の係数a,b,c,dを求める。
なお、平面検出およびa,b,c,dの導出は、既存の技術を活用して行うことができる。例えば、Point Cloud Libraryに提示された平面検出(Plane model segmentation)のサンプルコードを用いて求めることができる(http://pointclouds.org/documentation/tutorials/planar_segmentation.html等参照)。
次に、測距装置20は、床面FLの垂線と、測距装置20の直交座標系のZ軸とがなす角度θを求める。
ここで、図6に示す平面αと測距装置20の直交座標系のZ軸(z+t=0)とがなす角度θは、以下の関係式(1)によって求められる。
θ=cos-1(|a×0+b×0+c×1|÷((a2+b2+c2)1/2×(02+02+12))) ・・・・・(1)
直交座標系をX軸周りにθ度回転させた直交座標回転系によって再度、距離を測定することで、各画素における直交座標回転系の測定結果(Xr,Yr,Zr)の座標値が得られる。
次に、測距装置20は、平面αを検出した平面範囲内におけるZrの平均値を算出し、この平均値を床面FLからの高さhとして算出する。
なお、撮像素子23の各画素における距離の測定値を、角度情報に基づいて、3次元座標に変換する処理について、図7を用いて説明すれば以下の通りである。
すなわち、測距装置20は、図7に示すように、各画素に対応する距離の測定値rを、角度θ、φを用いて3次元座標X,Y,Zへと変換する。
なお、図7に示すr,θ,φおよびX,Y,Zは、以下のように定義される。
X=r×sinθcosφ
Y=r×sinθsinφ
Z=r×cosθ
(測定値rは距離ベクトルrの大きさ、角度θは距離ベクトルrの方向とZ軸がなす角度、角度情報φは距離ベクトルrのX-Y平面への射影ベクトルと、X軸とがなす角度である。)
次に、各画素に対応する距離の測定値を変換した3次元座標(X,Y,Z)を、それぞれX軸、Y軸、Z軸周りで回転させて著効座標回転系へ変換する処理について、図8を用いて説明する。
ここでは、測距装置20は、X軸、Y軸、Z軸周りの回転角度を指定し、全画素のX,Y,Z座標に対して、以下の関係式(2)を用いて、回転後の座標値Xr,Yr,Zrを算出する。
Figure 0007679672000001
例えば、図8に示すように、ある画素の3次元座標値が、(X,Y,Z)=(0,1,0)である場合、X軸周りに90度、Y軸、Z軸周りの回転無しの場合は、回転後の座標(Xr,Yr,Zr)=(0,0,1)となる。
続いて、以上のようなキャリブレーション処理によって、測距装置20の設置高さhを求めた後、図9に示すように、実際に対象物30までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、対象物30を検出するための所定の閾値S1が設定されている。
そして、測距装置20は、測定結果として取得された座標(Xr,Yr,Zr)の中のZrの値と、キャリブレーション処理において算出された設置高さhの値とを比較し、その差の大きさが所定の閾値S1を超える場合には、その画素には対象物30が含まれると判断し、その画素に対応する測定結果の座標(Xr,Yr,Zr)が出力対象として選択される。
本実施形態の測距装置20では、例えば、図9に示すように、床面FL上に置かれた対象物30を検出し、その対象物30までの距離情報を選択して出力する。
このとき、床面FL上に置かれた対象物30を検出するための閾値として、閾値S1が設定される。
そして、直交座標回転形式で得られた測距結果(Xr,Yr,Zr)のZrに着目し、撮像素子23の各画素のそれぞれについて、その差(h-Zr)の演算が行われる。
ここで、差(h-Zr)>S1であれば、その画素位置に対象物30があると判定され、その画素に対応する距離情報が選択され出力される。
本実施形態の測距装置20では、以上のように、TOF方式によって取得される対象物30までの距離情報および角度情報を用いて、測定された距離情報を直交座標回転形式に変換する。そして、測距装置20は、設置高さhとZr値とを比較することで、床面FLと高さの差が所定の閾値S1以上になる物体がある位置と物体のない床面だけの位置とを区別して、物体がある位置を対象物30が存在する画素として検出することができる。
これにより、対象物30が検出された画素に対応する距離情報だけを選択して出力することで、対象物30のない床面の位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
次に、上述したように距離情報を用いて検出される対象物が、床面FLに形成された穴130aである場合の処理について、図10を用いて説明する。
ここでは、図10に示すように、床面FLに形成された穴130aを検出して、その測距結果のみを選択して出力する。
具体的には、上述したキャリブレーション処理によって測距装置20の設置高さhを求めた後、図10に示すように、実際に対象物(穴130a)までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、穴130aを検出するための所定の閾値S2が設定されている。
そして、測距装置20は、測定結果として取得された全ての画素の座標(Xr,Yr,Zr)の中のZrの値と、キャリブレーション処理において算出された設置高さhの値とを比較し、その差(h-Zr)が所定の閾値S2未満である場合には、その画素には穴130aが含まれると判断し、その画素に対応する測定結果の座標(Xr,Yr,Zr)が出力対象として選択される。
これにより、床面FLの状態として、どの位置に穴130aがあるかを容易に検出することができるとともに、穴130aが検出された画素に対応する距離情報だけを選択して出力することで、穴130aのない床面FLの位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
次に、上述したように距離情報を用いて検出される対象物が、床面FLに形成された高さが変化するスロープ130bである場合の処理について、図11を用いて説明する。
ここでは、図11に示すように、床面FLに高さが変化するスロープ130bを検出して、その測距結果のみを選択して出力する。
具体的には、上述したキャリブレーション処理によって測距装置20の設置高さhを求めた後、図11に示すように、実際に対象物(スロープ130b)までの距離の測定が行われる。
すなわち、X軸周りにθ度回転させた直交座標回転形式で距離の測定が行われ、撮像素子23の各画素における距離の測定結果(Xr,Yr,Zr)が取得される。
このとき、測距装置20では、閾値設定部17によって、スロープ130bを検出するための所定の閾値S3が設定されている。
そして、測距装置20は、測定結果として取得された全ての画素の座標(Xr,Yr,Zr)の中のZrの値に着目し、隣接する上下左右の画素間の変化量(ΔZr/ΔXr)+(ΔZr/ΔYr)を求める。
そして、(ΔZr/ΔXr)+(ΔZr/ΔYr)が、所定の閾値S3よりも大きい場合にはS、スロープ130bを検出したその画素に対応する測距結果として、選択されて出力される。
これにより、床面FLの状態として、スロープ130bが検出された画素に対応する距離情報だけを選択して出力することで、スロープ130bのない床面FLの位置までの距離情報等の不要な情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
<出力制御方法の処理の流れ>
本実施形態の測距装置20は、以上のような構成により、図12から図16に示すフローチャートに従って、出力制御方法を実施する。
すなわち、図12では、上述したように、実際の対象物30までの距離の測定を実施する前の段階として、キャリブレーション処理を実施する。
ステップS11では、測距装置20の距離演算部11が、撮像素子23の全ての画素における位相差情報から距離情報を算出する。
次に、ステップS12では、ステップS11において算出された各画素ごとの距離情報と、角度情報取得部12において取得された各画素に対応する角度情報とに基づいて、3次元座標変換部13が、距離情報から直交座標形式の3次元座標(X,Y,Z)に変換する。
次に、ステップS13では、平面検出部14が、測距装置20が設置された床面FL上の所定の平面範囲に対して、平面検出処理を実施する。
次に、ステップS14では、高さ算出部15が、測距装置20の3次元座標のZ軸と床面FLの垂線とがなす角度θ(図6参照)を算出する。
次に、ステップS15では、座標回転演算部16が、全ての画素において、3次元座標を指定された角度θだけ、3軸周りに回転させた直交座標回転形式の座標(Xr,Yr、Zr)を演算する。
次に、ステップS16では、高さ算出部15が、床面FLの所定の平面範囲においてZrの平均値を求め、これを設置高さhとして設定する。
本実施形態の測距装置20では、以上のような処理によって、実際の対象物30までの距離を測定する前段階として、キャリブレーション処理を実施して、対象物30の位置を検出するために使用される基準となる測距装置20の設置高さhを設定する。
続いて、図13では、図12に示すキャリブレーション処理を実施した後、実際の対象物30までの距離測定を行う工程を実施する。
すなわち、ステップS21では、距離演算部11が、撮像素子23の全ての画素において取得された位相差情報を用いて、複数の画素のそれぞれに対応する対象物までの距離情報を算出する。
次に、ステップS22では、3次元座標変換部13が、角度情報取得部12において取得された画素ごとの角度情報に基づいて、撮像素子23の全ての画素において算出された距離情報を、直交座標形式の3次元座標(X,Y,Z)へ変換する。
次に、ステップS23では、座標回転演算部16が、所定の角度θだけ、全ての画素に対応する3次元座標をX・Y・Zの3軸周りに回転させて、回転座標(Xr,Yr,Zr)を演算する。
次に、ステップS24では、撮像素子23の全ての画素について、出力対象となる距離情報を持つ画素であるか否かを1つずつ確認するために、例えば、撮像素子23の全ての画素のうち左下の端からスタートするために、i=0、j=0と設定される。
次に、ステップS25では、画素(i,j)の回転後のZ軸座標値Zrと設置高さhとを比較し、検出対象となる対象物30に応じて設定される所定の閾値S1,S2,S3以上の差があると判定された画素を選択対象として座標(Xr,Yr,Zr)を保存する。
なお、ステップS25の処理内容については、対象物30の種類によって異なるため、詳細は処理については後段にて詳述する。
次に、ステップS26では、i=i+1として、隣接する画素について、出力対象となる距離情報を持つ画素であるか否かを確認する。
次に、ステップS27では、i<Max_iの条件を満たすか否かを判定する。すなわち、ステップS27では、撮像素子23の画素が横方向において端から端まで検証されたか否かを確認する。
ここで、まだ横方向における端(MAX)まで検証されていないと判定されると、ステップS25へ戻り、出力対象となる距離情報を持つ画素であるか否かの検証が行われる。一方、横方向における端(MAX)まで検証されたと判定されると、ステップS28へ移動する。
次に、ステップS28では、ステップS27において、横方向において最大の位置(端)の画素まで検証したと判定されたため、1つ上の列の画素に移動するために、i=0、j=j+1とする。
次に、ステップS29では、j<Max_jの条件を満たすか否かを判定する。すなわち、ステップS29では、撮像素子23の画素が縦方向において端から端まで検証されたか否かを確認する。
ここで、まだ縦方向における端(MAX)まで検証されていないと判定されると、ステップS25へ戻り、出力対象となる距離情報を持つ画素であるか否かの検証が行われる。一方、縦方向における端(MAX)まで検証されたと判定されると、ステップS30へ移動する。
次に、ステップS30では、撮像素子23の全ての画素について検証が完了したため、ステップS25における検証の結果を踏まえて、選択された画素に対応する座標(Xr,Yr,Zr)を出力する。
これにより、対象物30が検出された画素に対応する距離情報だけを選択して出力することで、対象物30のない床面FLの位置に対応する全ての画素分の距離情報が出力されることを回避して、出力されるデータ量を大幅に削減することができる。
<検出対象が対象物30の場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FLに置かれた物体である場合の処理について、図14を用いて詳細に説明する。
すなわち、ステップS31では、図12に示すキャリブレーションの処理によって求められた床面FLからの高さhから対象画素(i,j)の直交座標回転系の鉛直方向に対応する座標Zr値を減算して、(h-Zr)を算出する。
次に、ステップS32では、ステップS31における減算処理の結果(h-Zr)は、床面FLに置かれた対象物30の有無を判定するために、閾値設定部17によって設定された所定の閾値S1より大きいか否かが判定される。
ここで、減算処理の結果(h-Zr)が閾値S1よりも大きいと判定されると、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値以上ある物体であると認識され、ステップS33へ進む。
一方、減算処理の結果(h-Zr)が閾値S1よりも小さいと判定されると、対象画素に含まれる対象物30が床面FLからの高さ寸法がほとんどない物体あるいは床面FLであると認識され、ステップS35へ進む。
次に、ステップS33では、ステップS32において、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値以上ある物体であると認識されたため、対象物検出部18が、床面FL上に対象物30ありと判定する。
次に、ステップS34では、出力情報選択部19が、対象物30ありと判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(01)とを出力対象として選択する。
次に、ステップS35では、ステップS32において、対象画素に含まれる対象物30が床面FLからの高さ寸法がほとんどない物体あるいは床面FLであると認識されたため、その画素に対応する床面FL上の位置に対象物なしと判定して、ステップS26へ進む。
これにより、床面FLに置かれた物体(対象物30)の有無を判定するために設定された閾値S1を用いて、対象画素に床面FL上に置かれた対象物30が含まれるか否かを容易に判定することができる。
<検出対象が穴130aの場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FLに形成された穴130a(図10参照)である場合の処理について、図15を用いて詳細に説明する。
すなわち、ステップS41では、図12に示すキャリブレーションの処理によって求められた床面FLからの高さhから対象画素(i,j)の直交座標回転系の鉛直方向に対応する座標Zr値を減算して、(h-Zr)を算出する。
次に、ステップS42では、ステップS41における減算処理の結果(h-Zr)は、床面FLに形成された穴130aの有無を判定するために、閾値設定部17によって設定された所定の閾値S2より小さいか否かが判定される。
すなわち、対象物が穴130aである場合には、測距装置20において取得される対応画素の距離情報は、床面FLまでの設置高さhよりも大きくなる。よって、ここでは、(h-Zr)の値は、穴130aに対応する画素ではマイナスの値になることを踏まえ、判定用に設定された閾値S2よりも小さくなるか否かを判定する。
ここで、減算処理の結果(h-Zr)が閾値S2よりも小さいと判定されると、対象画素に含まれる対象物30が床面FLよりも下にある穴130aであると認識され、ステップS43へ進む。
一方、減算処理の結果(h-Zr)が閾値S2よりも大きいと判定されると、対象画素に含まれる対象物30が床面FLからの深さ寸法がほとんどない物体あるいは床面FLであると認識され、ステップS45へ進む。
次に、ステップS43では、ステップS42において、対象画素に含まれる対象物30が床面FLからの高さ寸法が閾値S2より小さいと判定されたため、対象物検出部18が、床面FLに穴130aありと判定する。
次に、ステップS44では、出力情報選択部19が、穴130aがあると判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(02)とを出力対象として選択する。
次に、ステップS45では、ステップS42において、対象画素に含まれる対象物が床面FLからの深さ寸法がほとんどない物体あるいは床面FLであると認識されたため、その画素に対応する床面FL上の位置に穴130aなしと判定して、ステップS26へ進む。
これにより、床面FLに形成された穴130aの有無を判定するために設定された閾値S2を用いて、対象画素に床面FLに形成された穴130aが含まれるか否かを容易に判定することができる。
<検出対象がスロープ130bの場合>
ここでは、上述した図13のステップS25における撮像素子23の各画素が出力対象となる距離情報を持っているか否かを検証する処理、特に、対象物30が床面FL上のスロープ130b(図11参照)である場合の処理について、図16を用いて詳細に説明する。
すなわち、ステップS51では、高さ方向における寸法が変化するスロープ130bの有無を判定するために、ある画素位置(i,j)とこれに横方向マイナス側に隣接する画素位置(i-1,j)のZrの変化量ΔZr/ΔXrを算出する。さらに、ある画素位置(i,j)とこれに縦方向マイナス側に隣接する画素位置(i,j-1)のZrの変化量ΔZr/ΔYrを算出する。
次に、ステップS52では、ステップS51において算出されたΔZr/ΔXrとΔZr/ΔYrの和が、床面FL上のスロープ130bの有無を判定するために、閾値設定部17によって設定された所定の閾値S3より大きいか否か、すなわち、{(ΔZr/ΔXr)+(ΔZr/ΔYr)}>閾値S3という条件式を満たすか否かが判定される。
すなわち、対象物がスロープ130bである場合には、横方向および縦方向に隣接する画素との高さ方向における変化量が所定値以上になることを踏まえ、その変化量の縦横の和が判定用に設定された閾値S3よりも大きいか否かを判定する。
ここで、判定結果が閾値S3よりも大きいと判定されると、対象画素に含まれる対象物30がスロープ130bである可能性があると認識され、ステップS53へ進む。
一方、判定結果が閾値S3よりも小さいと判定されると、対象画素にはスロープ130bが含まれていないと認識され、ステップS57へ進む。
次に、ステップS53では、ある画素位置(i,j)とこれに横方向プラス側に隣接する画素位置(i+1,j)のZrの変化量ΔZr/ΔXrを算出する。さらに、ある画素位置(i,j)とこれに縦方向プラス側に隣接する画素位置(i,j+1)のZrの変化量ΔZr/ΔYrを算出する。
次に、ステップS54では、ステップS53において算出されたΔZr/ΔXrとΔZr/ΔYrの和が、閾値S3より大きいか否か、すなわち、{(ΔZr/ΔXr)+(ΔZr/ΔYr)}>S3という条件式を満たすか否かが判定される。
ここで、判定結果が閾値S3よりも大きいと判定されると、対象画素に含まれる対象物30がスロープ130bであると認識され、ステップS55へ進む。
一方、判定結果が閾値S3よりも小さいと判定されると、対象画素にはスロープ130bが含まれていないと認識され、ステップS57へ進む。
次に、ステップS55では、ステップS54において、ΔZr/ΔXrとΔZr/ΔYrの和が閾値S3より大きいと判定されたため、対象物検出部18が、床面FLにスロープ130bありと判定する。
次に、ステップS56では、出力情報選択部19が、スロープ130bがあると判定された対象画素(i,j)の座標(Xr,Yr,Zr)とその対象物ID(03)とを出力対象として選択する。
次に、ステップS57では、ステップS54において、ΔZr/ΔXrとΔZr/ΔYrの和が閾値S3より小さいと判定されたことから、対象物の高さ方向における寸法が隣接する画素間でほとんどない変化しないと認識されるため、床面上にスロープなしと判定して、ステップS26へ進む。
これにより、床面FL上のスロープ130bの有無を判定するために設定された閾値S3を用いて、対象画素に床面FL上に置かれたスロープ130bが含まれるか否かを容易に判定することができる。
<床面FLの状態の検出処理>
本実施形態の測距装置20は、以上のように、撮像素子23に含まれる全ての画素について対象物(物体、穴、スロープ等)を含むか否かを、距離情報を用いて判定することで、対象物を含む対象画素が持つ距離情報だけを選択して出力することができる。
また本実施形態の測距装置20は、さらに図14から図16のフローチャートを連続して実施することで、床面FLの状態を検出することもできる。
具体的には、図13のステップS25の処理について、図14から図16に示すフローチャートを連続して実施することで、3つの閾値S1,S2,S3を用いて、床面FLの状態として、物体の有無、穴の有無、スロープの有無等を検出することができる。
このため、まず図14に示すフローチャートに従って閾値S1を用いて判定処理が実施され、床面FL上に高さ寸法を持つ物体が検出されれば床面FL上に置かれた対象物30ありと判定され、物体が検出されない場合には、図15に示すフローチャートに従って判定処理が行われる。
そして、図15に示すフローチャートに従って閾値S2を用いて判定処理が実施され、床面FLに深さ寸法を持つ穴130aが検出されれば床面FLに形成された穴130aありと判定され、穴130aが検出されない場合には、図16に示すフローチャートに従って判定処理が行われる。
最後に、図16に示すフローチャートに従って閾値S3を用いて判定処理が実施され、床面FL上にスロープ130bが検出されれば床面FL上にスロープ130bありと判定され、スロープ130bが検出されない場合には、床面FLの状態検出処理を終了し、ステップS26へ進む。
これにより、異なる閾値S1,S2,S3を用いて判定処理が実施されることで、例えば、測距装置20が床面FL上を走行可能な搬送装置に搭載された場合でも、床面FLの穴130a等の凹凸の有無や、障害物の有無等を正確に判定して、スムーズに搬送作業を実施することができる。
[他の実施形態]
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、発明の要旨を逸脱しない範囲で種々の変更が可能である。
(A)
上記実施形態では、出力制御装置および出力制御方法として、本発明を実現した例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、上述した出力制御装置の出力制御方法をコンピュータに実行させる出力制御プログラムとして本発明を実現してもよい。
このプログラムは、出力制御装置に搭載されたメモリ(記憶部)に保存されており、CPUがメモリに保存された出力制御プログラムを読み込んで、ハードウェアに各ステップを実行させる。より具体的には、CPUが出力制御プログラムを読み込んで、上述した距離情報取得ステップと、出力情報選択ステップと、を実行することで、上記と同様の効果を得ることができる。
また、本発明は、出力制御装置の出力制御プログラムを保存した記録媒体として実現されてもよい。
(B)
上記実施形態では、距離情報取得部として、TOF方式で距離画像の各画素に対応する距離情報を演算する距離演算部11を、例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、TOF方式で求められた距離画像の各画素に対応する距離情報を、外部の測距装置から取得する構成であってもよい。
すなわち、本発明の出力制御装置が、測距装置とは別に設けられており、測距装置から距離情報を取得して、出力対象となる画素に対応する距離情報を選択して出力する構成であってもよい。
(C)
上記実施形態では、測距装置20の取付角度θを演算によって算出する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、測距装置の取付角度が予め分かっている場合には、その取付角度θを用いて、設置高さ等を求める構成であってもよい。
(D)
上記実施形態では、照明装置21から対象物に対して照射された光の反射光を検出して、対象物までの距離を測定する例を挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、照明装置から対象物に対して、広義の光(紫外光・可視光・赤外光)以外に、光よりも波長の短いγ(ガンマ)線、X線、光より波長の長いマイクロ波や放送用の電波(短波、中波、長波)等の電磁波を照射して、その反射を検出することで対象物までの距離を測定する構成であってもよい。
すなわち、対象物に対して照射される光は、その反射量が距離の二乗に反比例して減衰する性質を有する他の電磁波であってもよい。
(E)
上記実施形態では、距離情報を用いて検出される対象物として、床面FL上に置かれた物体、穴130a、スロープ130bを例として挙げて説明した。しかし、本発明はこれに限定されるものではない。
例えば、検出可能な対象物としては、上記以外の物体であってもよい。
この場合には、それぞれの物体の形態、大きさ、形状等に応じて設定される閾値を用いることで、それぞれの物体の有無を検出することができる。
本発明の測距装置は、出力される距離情報を含む情報のデータ量を軽減することができるという効果を奏することから、例えば、TOFセンサ等の測距装置に対して広く適用可能である。
10 制御部(出力制御装置)
11 距離演算部(距離情報取得部)
12 角度情報取得部
13 3次元座標変換部
14 平面検出部
15 高さ算出部
16 座標回転演算部
17 閾値設定部
18 対象物検出部
19 出力情報選択部
20 測距装置
20a 本体部
21 照明装置
22 受光レンズ
23 撮像素子
25 記憶部
26 出力部
30 対象物
130a 穴
130b スロープ
D 距離
FL 床面
L1 光
P1 支柱

Claims (7)

  1. 対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御装置であって、
    照明装置から前記対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得部と、
    前記距離情報取得部において取得された前記距離情報に基づいて検出される前記対象物を含む前記距離画像の画素に対応する距離情報を出力対象として選択する出力情報選択部と、
    前記距離画像に含まれる各画素ごとに対応する角度情報を取得する角度情報取得部と、
    前記距離情報取得部において取得された前記距離情報を、前記角度情報取得部において取得された前記角度情報に基づいて、3次元座標へ変換する3次元座標変換部と、
    前記対象物が置かれた床面を検出する平面検出部と、
    前記平面検出部において検出された前記床面における前記距離情報を、前記3次元座標変換部において変換した3次元座標に基づいて、測距装置の設置高さを算出する高さ算出部と、
    前記3次元座標変換部において前記距離情報および前記角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する座標回転演算部と、
    前記座標回転演算部において演算された前記回転座標の高さ方向の座標と、前記高さ算出部において算出された前記設置高さとを比較して、高さ方向における寸法を有する物体を検出すると、前記物体を前記対象物として検出する対象物検出部と、
    前記対象物検出部における前記対象物の検出時に用いられる所定の閾値として、第1、第2および第3閾値を設定する閾値設定部と、
    を備え
    前記高さ算出部は、前記平面検出部において検出された前記床面の垂線と前記測距装置の光軸とがなす角度だけ、前記測距装置の直交座標系を軸周りに回転させて再度取得された座標値のうち、鉛直方向における座標値の平均値を、前記設置高さとして算出し、
    前記対象物検出部は、前記床面からの高さ方向における寸法が前記第1閾値よりも大きい場合、前記床面に前記対象物があると判定し、前記床面からの高さ方向における寸法が前記第2閾値よりも小さい場合、前記床面に穴があると判定し、隣接する前記画素の前記床面からの高さ方向における寸法の変化量が前記第3閾値より大きい場合、前記床面にスロープがあると判定する
    出力制御装置。
  2. 前記出力情報選択部は、前記対象物検出部において検出された前記対象物を含む各画素の距離情報を選択して出力する、
    請求項に記載の出力制御装置。
  3. 請求項1または2に記載の出力制御装置と、
    前記対象物に対して電磁波を照射する照装置と、
    前記照明装置から照射された前記電磁波の反射量を検出する受光部と、
    を備えた測距装置。
  4. 前記距離情報、前記距離画像に含まれる各画素ごとに対応する角度情報、前記測距装置の直交座標系、設置高さ、前記距離情報および前記角度情報から変換された3次元座標を軸周りに回転させた回転座標、前記対象物の検出時に用いられる閾値、前記出力の対象となる画素の座標値の少なくとも1つを保存する記憶部を、さらに備えている、
    請求項に記載の測距装置。
  5. 前記出力情報選択部において選択された前記画素に対応する前記距離情報を、外部機器へ出力する出力部を、さらに備えている、
    請求項またはに記載の測距装置。
  6. 対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御方法であって、
    照明装置から前記対象物に対して照射された電磁波の反射量に応じて前記対象物までの距離情報を取得する距離情報取得ステップと、
    前記距離情報取得ステップにおいて取得された前記距離情報に基づいて検出される前記対象物を含む前記距離画像の画素に対応する距離情報を出力対象として選択する出力情報選択ステップと、
    前記距離画像に含まれる各画素ごとに対応する角度情報を取得する角度情報取得ステップと、
    前記距離情報取得ステップにおいて取得された前記距離情報を、前記角度情報取得ステップにおいて取得された前記角度情報に基づいて、3次元座標へ変換する3次元座標変換ステップと、
    前記対象物が置かれた床面を検出する平面検出ステップと、
    前記平面検出ステップにおいて検出された前記床面における前記距離情報を、前記3次元座標変換ステップにおいて変換した3次元座標に基づいて、測距装置の設置高さを算出する高さ算出ステップと、
    前記3次元座標変換ステップにおいて前記距離情報および前記角度情報から変換された3次元座標を、軸周りに回転させた回転座標を演算する座標回転演算ステップと、
    前記座標回転演算ステップにおいて演算された前記回転座標の高さ方向の座標と、前記高さ算出ステップにおいて算出された前記設置高さとを比較して、高さ方向における寸法を有する物体を検出すると、前記物体を前記対象物として検出する対象物検出ステップと、
    前記対象物検出ステップにおける前記対象物の検出時に用いられる所定の閾値として、第1、第2および第3閾値を設定する閾値設定ステップと、
    を備え
    前記高さ算出ステップは、前記平面検出ステップにおいて検出された前記床面の垂線と前記測距装置の光軸とがなす角度だけ、前記測距装置の直交座標系を軸周りに回転させて再度取得された座標値のうち、鉛直方向における座標値の平均値を、前記設置高さとして算出し、
    前記対象物検出ステップは、前記床面からの高さ方向における寸法が前記第1閾値よりも大きい場合、前記床面に前記対象物があると判定し、前記床面からの高さ方向における寸法が前記第2閾値よりも小さい場合、前記床面に穴があると判定し、隣接する前記画素の前記床面からの高さ方向における寸法の変化量が前記第3閾値より大きい場合、前記床面にスロープがあると判定する
    出力制御方法。
  7. 対象物までの距離情報を含む距離画像に含まれる情報の出力を制御する出力制御プログラムであって、
    請求項6に記載の出力制御方法の各ステップをコンピュータに実行させる出力制御プログラム。
JP2021064639A 2021-04-06 2021-04-06 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム Active JP7679672B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021064639A JP7679672B2 (ja) 2021-04-06 2021-04-06 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム
US17/695,877 US20220319025A1 (en) 2021-04-06 2022-03-16 Output control device, distance measuring device comprising the same, output control method, and output control program
DE102022107215.0A DE102022107215A1 (de) 2021-04-06 2022-03-28 Ausgaberegelungsvorrichtung, diese umfassende Entfernungsmessvorrichtung, Ausgaberegelungsverfahren und Ausgaberegelungsprogramm
CN202210348328.7A CN115201836A (zh) 2021-04-06 2022-04-01 输出控制装置以及测距装置、输出控制方法、输出控制程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021064639A JP7679672B2 (ja) 2021-04-06 2021-04-06 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム

Publications (2)

Publication Number Publication Date
JP2022160108A JP2022160108A (ja) 2022-10-19
JP7679672B2 true JP7679672B2 (ja) 2025-05-20

Family

ID=83282721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021064639A Active JP7679672B2 (ja) 2021-04-06 2021-04-06 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム

Country Status (4)

Country Link
US (1) US20220319025A1 (ja)
JP (1) JP7679672B2 (ja)
CN (1) CN115201836A (ja)
DE (1) DE102022107215A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003109128A (ja) 2001-07-25 2003-04-11 Fuji Electric Co Ltd 侵入者検出装置
WO2013047083A1 (ja) 2011-09-28 2013-04-04 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
US20170228602A1 (en) 2016-02-04 2017-08-10 Hella Kgaa Hueck & Co. Method for detecting height
JP2019100985A (ja) 2017-12-07 2019-06-24 コニカミノルタ株式会社 3次元情報取得システム
JP2020161895A (ja) 2019-03-25 2020-10-01 国立大学法人 東京大学 俯瞰映像提示システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602006007361D1 (de) * 2006-10-24 2009-07-30 Fiat Ricerche Optisches Verfahren und Vorrichtung zur Messung der Entfernung von einem Hindernis
JP6030398B2 (ja) * 2012-10-04 2016-11-24 株式会社日本自動車部品総合研究所 物体検知装置
JP6030405B2 (ja) * 2012-10-25 2016-11-24 シャープ株式会社 平面検出装置およびそれを備えた自律移動装置
JP6371613B2 (ja) * 2014-07-09 2018-08-08 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6480824B2 (ja) * 2015-07-27 2019-03-13 株式会社日立製作所 距離画像センサのパラメータ調整方法、パラメータ調整装置、およびエレベータシステム
JP2017122690A (ja) 2016-01-08 2017-07-13 花王株式会社 ヒト計測システムの座標校正方法
JP7114867B2 (ja) * 2017-09-20 2022-08-09 株式会社明電舎 自律走行システム、これを備えた車両及び自律走行方法
EP3570250A4 (en) * 2017-10-18 2020-08-05 Sony Semiconductor Solutions Corporation IDENTIFICATION DEVICE AND ELECTRONIC DEVICE
JP6969425B2 (ja) * 2018-02-20 2021-11-24 株式会社デンソー 光測距装置
JP6835020B2 (ja) * 2018-03-15 2021-02-24 オムロン株式会社 画像処理システム、画像処理装置、画像処理プログラム
KR102749005B1 (ko) * 2018-10-10 2025-01-02 삼성전자주식회사 거리 추정 방법 및 장치
JP7292171B2 (ja) 2019-10-10 2023-06-16 ルネサスエレクトロニクス株式会社 半導体装置およびその製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003109128A (ja) 2001-07-25 2003-04-11 Fuji Electric Co Ltd 侵入者検出装置
WO2013047083A1 (ja) 2011-09-28 2013-04-04 沖電気工業株式会社 画像処理装置、画像処理方法、プログラム、および画像処理システム
US20170228602A1 (en) 2016-02-04 2017-08-10 Hella Kgaa Hueck & Co. Method for detecting height
JP2019100985A (ja) 2017-12-07 2019-06-24 コニカミノルタ株式会社 3次元情報取得システム
JP2020161895A (ja) 2019-03-25 2020-10-01 国立大学法人 東京大学 俯瞰映像提示システム

Also Published As

Publication number Publication date
US20220319025A1 (en) 2022-10-06
JP2022160108A (ja) 2022-10-19
CN115201836A (zh) 2022-10-18
DE102022107215A1 (de) 2022-10-06

Similar Documents

Publication Publication Date Title
US9470548B2 (en) Device, system and method for calibration of camera and laser sensor
CN111742241B (zh) 光测距装置
JP6061616B2 (ja) 測定装置及びその制御方法、プログラム
KR102561099B1 (ko) ToF(time of flight) 촬영 장치 및 다중 반사에 의한 깊이 왜곡 저감 방법
JP2020098151A5 (ja)
TWI624170B (zh) 影像掃描系統及其方法
CN113099120B (zh) 深度信息获取方法、装置、可读存储介质及深度相机
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
US10712285B2 (en) Three-dimensional object inspecting device
WO2019012770A1 (ja) 撮像装置及びモニタリング装置
US20070058838A1 (en) Object position detecting apparatus, map creating apparatus, autonomous mobile apparatus, object position detecting method, and computer program product for object position detection
JP7259660B2 (ja) イメージレジストレーション装置、画像生成システム及びイメージレジストレーションプログラム
CN114746772B (zh) 过滤有源光学传感器系统的测量数据
CN113379837B (zh) 检测设备的角度校正方法、设备及计算机可读存储介质
CN112198526A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备
US9560250B2 (en) Information processing apparatus, measurement system, control system, light amount determination method and storage medium
US20190377090A1 (en) Technologies for lidar based moving object detection
JP7707617B2 (ja) 床面状態検出装置およびこれを備えた測距装置、床面状態検出方法、床面状態検出プログラム
JP7679672B2 (ja) 出力制御装置およびこれを備えた測距装置、出力制御方法、出力制御プログラム
CN102401901B (zh) 测距系统及测距方法
JP6895074B2 (ja) 物体検出システム及び物体検出プログラム
JP2010190793A (ja) 距離計測装置及び距離計測方法
JP2022134358A (ja) 異物検出装置及び異物検出方法
JP5802917B2 (ja) 距離画像カメラおよびこれを用いた距離測定方法
CN112198528A (zh) 参考平面调整及障碍物检测方法、深度相机、导航设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240924

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250421

R150 Certificate of patent or registration of utility model

Ref document number: 7679672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150