WO2021199730A1 - 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法 - Google Patents

情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法 Download PDF

Info

Publication number
WO2021199730A1
WO2021199730A1 PCT/JP2021/005464 JP2021005464W WO2021199730A1 WO 2021199730 A1 WO2021199730 A1 WO 2021199730A1 JP 2021005464 W JP2021005464 W JP 2021005464W WO 2021199730 A1 WO2021199730 A1 WO 2021199730A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
acquisition unit
posture
measuring device
field
Prior art date
Application number
PCT/JP2021/005464
Other languages
English (en)
French (fr)
Inventor
岩井 智昭
Original Assignee
パイオニア株式会社
パイオニアスマートセンシングイノベーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアスマートセンシングイノベーションズ株式会社 filed Critical パイオニア株式会社
Priority to EP21779965.9A priority Critical patent/EP4130646A4/en
Priority to US17/916,501 priority patent/US20230154099A1/en
Priority to JP2022511631A priority patent/JPWO2021199730A1/ja
Publication of WO2021199730A1 publication Critical patent/WO2021199730A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/26Measuring arrangements characterised by the use of optical techniques for measuring angles or tapers; for testing the alignment of axes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87Combinations of systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G01S7/4972Alignment of sensor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Definitions

  • the present invention relates to a technique for supporting mounting and adjustment of a three-dimensional measuring device.
  • Lidar Light Detection and Ringing, Laser Imaging Detection and Langing
  • ToF Time of Flight
  • Lidar is equipped with a scanning mechanism, which emits pulsed light while changing the emission angle, and can acquire three-dimensional point cloud information by detecting the return light from an object. Therefore, Lidar can function as a three-dimensional measuring device.
  • the information processing device of the present invention includes a position / orientation acquisition unit that acquires a mounting position and a mounting posture of a three-dimensional measuring device based on a moving body to be mounted, and a field information that acquires field information of the three-dimensional measuring device.
  • the information processing device of the present invention includes a position / orientation acquisition unit that acquires the mounting position and mounting posture of a plurality of three-dimensional measuring devices based on a moving object to be mounted, and field information of each three-dimensional measuring device. It is characterized by including a field information acquisition unit for acquiring the above and an image generation unit for creating data for displaying a guide indicating the field of view of each of the three-dimensional measuring devices with reference to the moving body.
  • the computer program of the present invention includes a position / orientation acquisition unit that acquires a mounting position and a mounting posture of a three-dimensional measuring device based on a moving body to which a computer is mounted, and a field of view that acquires field information of the three-dimensional measuring device.
  • Display data in which the information acquisition unit, the measurement information acquisition unit that acquires measurement information from the three-dimensional measuring device, and the three-dimensional point group information based on the acquired measurement information and the mounting position and mounting posture are superimposed with a guide indicating the field of view. It is characterized in that it functions as an image generation unit that creates.
  • the recording medium of the present invention is characterized in that the above program is recorded.
  • the display data creation method of the present invention is a display data creation method in an information processing apparatus, which includes a position / orientation acquisition step of acquiring a mounting position and a mounting posture of a three-dimensional measuring device based on a moving body to be mounted.
  • FIG. 1 It is a block diagram which shows the structural example of the information processing apparatus which is one Example of this invention. It is a figure which shows the work place which attaches a lidar to a vehicle, and adjusts an attachment position and a posture. It is a figure which shows an example of the guide which shows the field of view of a single lidar. It is a figure which shows an example of the guide which shows the field of view of two lidars. It is a display image in which the guide of the lidar is superimposed on the three-dimensional point cloud based on the measurement information acquired by the single lidar. It is a display image in which the guide of each lidar is superimposed on the three-dimensional point cloud based on the measurement information acquired by the two lidars. Of the display images shown in FIG.
  • the information processing device includes a position / orientation acquisition unit that acquires a mounting position and a mounting posture of the three-dimensional measuring device based on a moving body to be mounted, and field information of the three-dimensional measuring device.
  • a visual field information acquisition unit that acquires measurement information
  • a measurement information acquisition unit that acquires measurement information from the three-dimensional measuring device
  • a guide that indicates the visual field in three-dimensional point group information based on the acquired measurement information and the mounting position and mounting posture. It is equipped with an image generation unit that creates superimposed display data.
  • the present invention since the position of the measurement object with respect to the field of view (sensing area) of the three-dimensional measuring device is visualized, it is useful for adjusting the mounting position and the posture of the three-dimensional measuring device.
  • the information processing device includes a position / orientation acquisition unit that acquires the mounting position and the mounting posture of a plurality of three-dimensional measuring devices based on a moving body to be mounted, and each of the three dimensions. It includes a visual field information acquisition unit that acquires visual field information of the measuring device, and an image generation unit that creates data for displaying a guide indicating the visual field of each three-dimensional measuring device with reference to the moving body. .. According to the present invention, the visual fields (sensing regions) of a plurality of three-dimensional measuring devices are visualized and their relative positions can be grasped, which is useful for adjusting the mounting position and posture of the three-dimensional measuring devices.
  • the guide may include lines representing the four corners of the visual field. These lines make it easier to see the field of view of the coordinate measuring device.
  • the guide may include a surface equidistant from the mounting position in the field of view. This surface makes it easier to see the field of view of the coordinate measuring device.
  • the distance from the mounting position to the surface may correspond to the detection limit distance of the three-dimensional measuring device. This makes it easier to see the field of view of the coordinate measuring device.
  • the computer program includes a position / orientation acquisition unit that acquires a mounting position and a mounting posture of a three-dimensional measuring device based on a moving body to be mounted, and the three-dimensional measurement.
  • the visual field information acquisition unit that acquires the visual field information of the device, the measurement information acquisition unit that acquires the measurement information from the three-dimensional measuring device, and the three-dimensional point group information based on the acquired measurement information, the mounting position, and the mounting posture. It functions as an image generation unit that creates display data in which a guide indicating the above is superimposed.
  • the recording medium according to the embodiment of the present invention records the above computer program.
  • the display data creation method is a display data creation method in the information processing device, and acquires the mounting position and mounting posture of the three-dimensional measuring device based on the moving body to be mounted.
  • Position / orientation acquisition process visual field information acquisition process for acquiring visual field information of the three-dimensional measuring device
  • measurement information acquisition process for acquiring measurement information from the three-dimensional measuring device, acquired measurement information, mounting position, and mounting. It has an image generation step of creating display data in which a guide indicating the field of view is superimposed on three-dimensional point group information based on a posture.
  • FIG. 1 is a block diagram showing a configuration example of the information processing device 10 which is an embodiment of the present invention.
  • FIG. 2 is a diagram showing a workplace where lidars (three-dimensional measuring devices) 1 and 2 are attached to a vehicle (moving body) 3 to adjust the attachment position and posture.
  • the information processing device 10 is for supporting adjustment (calibration) of the mounting position and posture of the lidars 1 and 2 mounted on the vehicle 3. This adjustment is performed in the workplace as shown in FIG. In this workshop, for example, the floor, ceiling, and walls are colored with low reflectance, for example, black, and the target 9 is attached to the wall in front of the vehicle 3.
  • the target 9 is formed in the shape of a horizontally long rectangular plate by a highly reflective material.
  • the angle around the X-axis which is the front-rear direction of the vehicle 3 shown in FIG. 2 is called a roll angle
  • the angle around the Y-axis which is the left-right direction of the vehicle 3 is called a pitch angle
  • the angle around the Z axis, which is the vertical direction of, is called the yaw angle.
  • the lidars 1 and 2 continuously emit pulsed light while changing the emission angle, and measure the distance to the object by detecting the return light from the object.
  • These Lidars 1 and 2 are attached to the roof or the like of the vehicle 3.
  • the number of lidars attached to the vehicle 3 may be one or a plurality of lidars.
  • the information processing device 10 adjusts the mounting position and posture of the lidars 1 and 2 by displaying the three-dimensional point cloud information of the target 9 acquired by the lidars 1 and 2 and a guide indicating the field of view of the lidars 1 and 2 on the display device 4. Support.
  • the information processing apparatus 10 includes a visual field information acquisition unit 11, a position / orientation acquisition unit 12, a measurement information acquisition unit 13, a three-dimensional point cloud information generation unit 14, and an image generation unit 15.
  • Each of these blocks is constructed by executing a predetermined computer program by an arithmetic unit or the like included in the information processing device.
  • Such computer programs can be distributed, for example, via a recording medium or a communication network.
  • the field of view information acquisition unit 11 acquires the field of view information of each of the lidars 1 and 2.
  • the field of view information is information in the sensing region, and specifically, is an upper and lower detection angle range, a left and right detection angle range, and a detection limit distance. This field of view information is possessed by each of the lidars 1 and 2 itself, and can be acquired by connecting each of the lidars 1 and 2 to the information processing device 10.
  • the position / posture acquisition unit 12 acquires the mounting positions (x-coordinate, y-coordinate, z-coordinate) and mounting posture (roll angle, pitch angle, yaw angle) of each of the lidars 1 and 2 with respect to the vehicle 3.
  • the mounting position of each lidar 1 or 2 may be detected by a lidar different from these, or a gyro sensor may be mounted on each lidar 1 or 2 to detect the mounting posture.
  • the coordinates and angles thus obtained are automatically or manually input to the position / orientation acquisition unit 12.
  • the measurement information acquisition unit 13 acquires the measurement information measured by each of the lidars 1 and 2, that is, the distance information for each exit angle to the target 9 in this example.
  • the three-dimensional point cloud information generation unit 14 generates the measurement information acquired by the measurement information acquisition unit 13 and the three-dimensional point cloud information of the target 9 based on the mounting position and the mounting posture acquired by the position / orientation acquisition unit 12.
  • the image generation unit 15 creates and displays display data in which a guide indicating the range of the visual field of each of the lidars 1 and 2 is superimposed on the three-dimensional point cloud of the target 9, and data for displaying only the guide of each of the lidars 1 and 2. Output to device 4.
  • FIG. 3 is a diagram showing an example of a guide showing the field of view of a single lidar1.
  • FIG. 4 is a diagram showing an example of a guide showing the fields of view of the two lidars 1 and 2.
  • the guide 5 shown in FIGS. 3 and 4 has straight lines 51, 52, 53, 54 representing the four corners of the field of view of the lidar 1, and a surface 55 equidistant from the lidar mounting position in the field of view. Further, the distance from the lidar mounting position to the surface 55 corresponds to the detection limit distance of lidar1. That is, the region composed of the straight lines 51, 52, 53, 54 and the surface 55 is the field of view of Lidar1. The surface 55 does not have to be displayed.
  • the guide 6 shown in FIG. 4 has straight lines 61, 62, 63, 64 representing the four corners of the field of view of the lidar 2, and a surface 65 equidistant from the lidar mounting position in the field of view. doing. Further, the distance from the lidar mounting position to the surface 65 corresponds to the detection limit distance of lidar2. That is, the region composed of the straight lines 61, 62, 63, 64 and the surface 65 is the field of view of the Lidar 2.
  • the position / orientation acquisition unit 12 acquires the mounting position and orientation of each of the lidars 1 and 2 with respect to the vehicle 3, and the visual field information acquisition unit 11 acquires the visual field information of each of the lidars 1 and 2.
  • the image generation unit 15 creates data for displaying the guides 5 and 6 indicating the fields of view of the lidars 1 and 2 with respect to the vehicle 3, and outputs the data to the display device 4.
  • the two lidars 1 and 2 are arranged with the yaw angles shifted, and in the example of this figure, they are arranged so that part of the field of view overlaps with each other.
  • the information processing device 10 visualizes the fields of view of the plurality of lidars 1 and 2 and displays them on the display device 4, so that the operator can grasp the relative positions and overlapping conditions of these fields of view by looking at the images of the display device 4.
  • This makes it possible to easily adjust the mounting position and posture of the lidars 1 and 2. For example, by looking at the display image of FIG. 4, the postures of the lidars 1 and 2 can be adjusted so that the straight line 61 and the straight line 53 overlap.
  • FIG. 5 is a display image in which the guide 5 of the lidar1 is superimposed on the three-dimensional point cloud 90 based on the measurement information acquired by the single lidar1.
  • the position / orientation acquisition unit 12 acquires the mounting position and orientation of the lidar 1 with respect to the vehicle 3 (position / orientation acquisition step)
  • the visual field information acquisition unit 11 acquires the visual field information of Lidar 1 (visual field information acquisition step)
  • the measurement information acquisition unit 13 acquires measurement information (distance information for each exit angle to the target 9) from Lidar 1 (measurement information acquisition step), and is three-dimensional.
  • the point cloud information generation unit 14 generates the three-dimensional point cloud information of the target 9 based on the measurement information and the mounting position and the mounting posture acquired by the position / orientation acquisition unit 12, and the image generation unit 15 generates the lidar1 in the three-dimensional point cloud 90.
  • the display data in which the guide 5 of the above is superimposed is created (image generation step) and output to the display device 4.
  • the three-dimensional point cloud 90 representing the target 9 is located in the center of the guide 5 showing the field of view of Lidar1.
  • the information processing device 10 superimposes the guide 5 of the lidar 1 on the three-dimensional point cloud 90 representing the target 9 and displays it on the display device 4, so that the operator sees the image of the display device 4 and sees the view of the lidar 1.
  • the position of the target 9 with respect to the target 9 can be grasped, and the mounting position and posture of the Lidar 1 can be easily adjusted.
  • the display of the surface 55 is omitted.
  • FIG. 6 is a display image in which the guides 5 and 6 of the lidars 1 and 2 are superimposed on the three-dimensional point clouds 91 and 92 based on the measurement information acquired by the two lidars 1 and 2 and the mounting position and the mounting posture.
  • FIG. 7 is a display image in which the guide 5 of the Lidar 1 is superimposed on the three-dimensional point cloud 91 acquired by the first Lidar 1 among the display images of FIG.
  • FIG. 8 is a display image in which the guide 6 of the lidar 2 is superimposed on the three-dimensional point cloud 92 acquired by the second lidar 2 among the display images of FIG.
  • the information processing device 10 acquires the mounting position and orientation of each of the lidars 1 and 2 with respect to the vehicle 3 by the position / orientation acquisition unit 12 (position / orientation acquisition).
  • the visual field information acquisition unit 11 acquires the visual field information of each of the lidars 1 and 2 (field information acquisition process)
  • the measurement information acquisition unit 13 acquires the measurement information (distance information for each emission angle to the target 9) from each of the lidars 1 and 2. ) (Measurement information acquisition step)
  • the three-dimensional point cloud information generation unit 14 generates the three-dimensional point cloud information of the target 9 based on the measurement information and the mounting position and mounting posture acquired by the position / orientation acquisition unit 12.
  • the display data on which the guides 5 and 6 are superimposed is created (image generation step) and output to the display device 4.
  • the two lidars 1 and 2 are arranged so that the yaw angles are staggered so that part of the field of view overlaps with each other.
  • the right end of the target 9 is out of the field of view of Lidar 1
  • the left end of the target 9 is out of the field of view of Lidar 2.
  • the information processing device 10 superimposes the guides 5 and 6 of the two lidars 1 and 2 on the three-dimensional point clouds 91 and 92 representing the target 9 and displays them on the display device 4, so that the operator can display the display device.
  • the position of the target 9 with respect to the field of view of the lidar 1, the position of the target 9 with respect to the field of view of the lidar 2, and the relative position and the degree of overlap of these fields of view can be grasped, and the mounting position and the posture of the lidar 1 and 2 can be easily adjusted. Can be done.
  • the three-dimensional point cloud 91 and the three-dimensional point cloud 92 are vertically displaced in the display image of FIG. 6, the pitch angles of the lidars 1 and 2 are adjusted while viewing the image of the display device 4, and the three-dimensional points are adjusted. Adjust so that the group 91 and the three-dimensional point cloud 92 are smoothly connected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

三次元測定装置の取付け位置と姿勢の調整を支援する技術を提供する。 情報処理装置(10)は、車両(3)に取り付けられたLidar(1,2)の取付け位置と姿勢の調整(キャリブレーション)を支援するためのものであり、車両(3)を基準としたLidar(1,2)の取付け位置と取付け姿勢とを取得する位置姿勢取得部(12)と、Lidar(1,2)の視野情報を取得する視野情報取得部(11)と、Lidar(1,2)から測定情報(Lidar(1,2)から基準標的までの出射角毎の距離情報)を取得する測定情報取得部(13)と、取得した測定情報に基づく基準標的の三次元点群情報にLidar(1,2)の視野を示すガイドを重畳した表示データを作成する画像生成部(15)と、を備えている。

Description

情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法
 本発明は、三次元測定装置の取付け調整を支援する技術に関する。
 パルス光を物体に照射し、戻ってくるまでの時間に基づいて物体までの距離を測定するToF(Time of Flight)方式のセンサとしてLidar(Light Detection and Ranging、Laser Imaging Detection and Ranging)が知られている(例えば特許文献1を参照)。
 一般に、Lidarは走査機構を備えており、出射角度を変化させながらパルス光を出射し、物体からの戻り光を検出することで三次元点群情報を取得することができる。このため、Lidarは三次元測定装置として機能することができる。
特開2020-001562号公報
 Lidarを車両等の移動体に取り付ける際には、Lidarの視野(センシング領域)に応じた適切な位置と姿勢とに調整する必要がある。しかしながら、単にLidarが取得した三次元点群情報を画面に表示しただけでは、位置と姿勢とが適切であるかの判断が難しい。このため、Lidarの取り付け位置と姿勢との調整を支援する技術が望まれている。
 そこで、本発明が解決しようとする課題としては、三次元測定装置の取付け位置と姿勢の調整を支援する技術を提供することが一例として挙げられる。
 本発明の情報処理装置は、取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、前記三次元測定装置の視野情報を取得する視野情報取得部と、前記三次元測定装置から測定情報を取得する測定情報取得部と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、を備えたことを特徴とする。
 本発明の情報処理装置は、取付対象の移動体を基準とした複数個の三次元測定装置の取付け位置と取付け姿勢とをそれぞれ取得する位置姿勢取得部と、それぞれの三次元測定装置の視野情報を取得する視野情報取得部と、前記移動体を基準としたそれぞれの三次元測定装置の視野を示すガイドを表示するためのデータを作成する画像生成部と、を備えたことを特徴とする。
 本発明のコンピュータプログラムは、コンピュータを取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、前記三次元測定装置の視野情報を取得する視野情報取得部と、前記三次元測定装置から測定情報を取得する測定情報取得部と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、して機能させることを特徴とする。
 本発明の記録媒体は、上記プログラムを記録したことを特徴とする。
 本発明の表示データ作成方法は、情報処理装置における表示データ作成方法であって、取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得工程と、前記三次元測定装置の視野情報を取得する視野情報取得工程と、前記三次元測定装置から測定情報を取得する測定情報取得工程と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成工程と、を有することを特徴とする。
本発明の一実施例である情報処理装置の構成例を示すブロック図である。 Lidarを車両に取り付けて取付け位置と姿勢の調整を行う作業場を示す図である。 単体のLidarの視野を示すガイドの一例を示す図である。 2台のLidarの視野を示すガイドの一例を示す図である。 単体のLidarが取得した測定情報に基く三次元点群に当該Lidarのガイドを重畳した表示画像である。 2台のLidarが取得した測定情報に基く三次元点群に各Lidarのガイドを重畳した表示画像である。 図6の表示画像のうち、1台目のLidarによって取得した三次元点群に該Lidarのガイドを重畳した表示画像である。 図6の表示画像のうち、2台目のLidarによって取得した三次元点群に該Lidarのガイドを重畳した表示画像である。
 以下、本発明の一実施形態を説明する。本発明の一実施形態にかかる情報処理装置は、取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、前記三次元測定装置の視野情報を取得する視野情報取得部と、前記三次元測定装置から測定情報を取得する測定情報取得部と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、を備えている。本発明によれば、三次元測定装置の視野(センシング領域)に対する測定対象物の位置が視覚化されるので、三次元測定装置の取付け位置と姿勢の調整作業に有用となる。
 本発明の一実施形態にかかる情報処理装置は、取付対象の移動体を基準とした複数個の三次元測定装置の取付け位置と取付け姿勢とをそれぞれ取得する位置姿勢取得部と、それぞれの三次元測定装置の視野情報を取得する視野情報取得部と、前記移動体を基準としたそれぞれの三次元測定装置の視野を示すガイドを表示するためのデータを作成する画像生成部と、を備えている。本発明によれば、複数の三次元測定装置の視野(センシング領域)が視覚化され、これらの相対位置が把握できるので、三次元測定装置の取付け位置と姿勢の調整作業に有用となる。
 また、前記ガイドは、前記視野の4隅を表す線を含んでいてもよい。これらの線により、三次元測定装置の視野がより視認し易くなる。
 また、前記ガイドは、前記視野内における前記取付け位置から等距離にある面を含んでいてもよい。この面により、三次元測定装置の視野がより視認し易くなる。
 また、前記取付け位置から前記面までの距離は、前記三次元測定装置の検出限界距離に対応していてもよい。これにより、三次元測定装置の視野がより視認し易くなる。
 また、本発明の一実施形態にかかるコンピュータプログラムは、コンピュータを、取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、前記三次元測定装置の視野情報を取得する視野情報取得部と、前記三次元測定装置から測定情報を取得する測定情報取得部と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、して機能させる。
 また、本発明の一実施形態にかかる記録媒体は、上記コンピュータプログラムを記録している。
 また、本発明の一実施形態にかかる表示データ作成方法は、情報処理装置における表示データ作成方法であって、取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得工程と、前記三次元測定装置の視野情報を取得する視野情報取得工程と、前記三次元測定装置から測定情報を取得する測定情報取得工程と、取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成工程と、を有する。
 図1は、本発明の一実施例である情報処理装置10の構成例を示すブロック図である。図2は、Lidar(三次元測定装置)1,2を車両(移動体)3に取り付けて取付け位置と姿勢の調整を行う作業場を示す図である。
 情報処理装置10は、車両3に取り付けられたLidar1,2の取付け位置と姿勢の調整(キャリブレーション)を支援するためのものである。この調整は、図2に示すような作業場で行われる。この作業場は、例えば床、天井、壁が反射率の低い色、例えば、黒色とされており、車両3の前方の壁に標的9が取り付けられている。標的9は、高反射材により横長の長方形板状に形成されている。
 また、本明細書においては、図2に示す車両3の前後方向であるX軸周りの角度をロール角と呼び、車両3の左右方向であるY軸周りの角度をピッチ角と呼び、車両3の上下方向であるZ軸周りの角度をヨー角と呼ぶ。
 Lidar1,2は、出射角度を変化させながら連続的にパルス光を出射し、物体からの戻り光を検出することで物体までの距離を測定するものである。これらLidar1,2は、車両3の屋根等に取り付けられる。なお、本発明において、車両3に取り付けられるLidarの数は、1台であってもよいし、複数台であってもよい。
 情報処理装置10は、Lidar1,2によって取得した標的9の三次元点群情報やLidar1,2の視野を示すガイドを表示装置4に表示することで、Lidar1,2の取付け位置と姿勢の調整を支援する。
 図1に示すように情報処理装置10は、視野情報取得部11、位置姿勢取得部12、測定情報取得部13、三次元点群情報生成部14、画像生成部15を備えている。これらの各ブロックは、情報処理装置が備える演算装置等が所定のコンピュータプログラムを実行することで構築される。このようなコンピュータプログラムは、例えば、記録媒体や通信ネットワークを介して流通させることができる。
 視野情報取得部11は、各Lidar1,2の視野情報を取得する。視野情報とは、センシング領域の情報であり、具体的には、上下の検出角度範囲、左右の検出角度範囲、検出限界距離である。この視野情報は各Lidar1,2自身が有しており、各Lidar1,2と情報処理装置10とを接続することで取得できる。
 位置姿勢取得部12は、車両3を基準とした各Lidar1,2の取付け位置(x座標、y座標、z座標)と取付け姿勢(ロール角、ピッチ角、ヨー角)とを取得する。取得方法の一例としては、例えば、各Lidar1,2の取付け位置をこれらとは別のLidarで検出したり、各Lidar1,2にジャイロセンサを搭載して取付け姿勢を検出したりする。こうして得られた座標と角度を自動又は手動で位置姿勢取得部12に入力する。
 測定情報取得部13は、各Lidar1,2が測定した測定情報、即ち本例では標的9までの出射角毎の距離情報を取得する。
 三次元点群情報生成部14は、測定情報取得部13が取得した測定情報と位置姿勢取得部12が取得した取付け位置及び取付け姿勢に基づく標的9の三次元点群情報を生成する。
 画像生成部15は、標的9の三次元点群に各Lidar1,2の視野の範囲を示すガイドを重畳した表示データや、各Lidar1,2のガイドのみを表示するためのデータを作成し、表示装置4に出力する。
 次に、情報処理装置10が表示装置4に表示させる画像について説明する。図3は、単体のLidar1の視野を示すガイドの一例を示す図である。図4は、2台のLidar1,2の視野を示すガイドの一例を示す図である。
 図3,4に示すガイド5は、Lidar1の視野の4隅を表す直線51,52,53,54と、この視野内におけるLidar取付け位置から等距離にある面55と、を有している。また、Lidar取付け位置から面55までの距離は、Lidar1の検出限界距離に対応している。即ち、直線51,52,53,54と面55で構成された領域がLidar1の視野である。なお、面55は表示しなくてもよい。
 図4に示すガイド6は、ガイド5と同様に、Lidar2の視野の4隅を表す直線61,62,63,64と、この視野内におけるLidar取付け位置から等距離にある面65と、を有している。また、Lidar取付け位置から面65までの距離は、Lidar2の検出限界距離に対応している。即ち、直線61,62,63,64と面65で構成された領域がLidar2の視野である。
 図3,4のガイド5,6は、各Lidar1,2が有している視野情報に、位置姿勢取得部12が取得した各Lidar1,2の取付け位置及び姿勢が与えられて表示装置4に表示される。即ち、情報処理装置10は、位置姿勢取得部12が車両3を基準とした各Lidar1,2の取付け位置及び姿勢を取得し、視野情報取得部11が各Lidar1,2の視野情報を取得し、画像生成部15が車両3を基準とした各Lidar1,2の視野を示すガイド5,6を表示するためのデータを作成して表示装置4に出力する。
 図4から読み取れるように、2台のLidar1,2は、ヨー角をずらして配置されており、本図の例では、互いに視野の一部が重なるように配置されている。このように、情報処理装置10は、複数のLidar1,2の視野を視覚化して表示装置4に表示させるので、作業者は表示装置4の画像を見てこれら視野の相対位置や重なり具合を把握でき、Lidar1,2の取付け位置と姿勢の調整を容易に行うことができる。例えば、図4の表示画像を見て、直線61と直線53とが重なるようにLidar1,2の姿勢を調整するなどできる。
 図5は、単体のLidar1が取得した測定情報に基く三次元点群90に当該Lidar1のガイド5を重畳した表示画像である。この表示画像を表示装置4に表示させるため、情報処理装置10は、位置姿勢取得部12が車両3を基準としたLidar1の取付け位置及び姿勢を取得し(位置姿勢取得工程)、視野情報取得部11がLidar1の視野情報を取得し(視野情報取得工程)、測定情報取得部13がLidar1から測定情報(標的9までの出射角毎の距離情報)を取得し(測定情報取得工程)、三次元点群情報生成部14が前記測定情報と位置姿勢取得部12が取得した取付け位置及び取付け姿勢に基づく標的9の三次元点群情報を生成し、画像生成部15が三次元点群90にLidar1のガイド5を重畳した表示データを作成して(画像生成工程)表示装置4に出力する。
 図5から読み取れるように、標的9を表す三次元点群90は、Lidar1の視野を示すガイド5の中央に位置している。このように、情報処理装置10は、標的9を表す三次元点群90にLidar1のガイド5を重畳して表示装置4に表示させるので、作業者は表示装置4の画像を見てLidar1の視野に対する標的9の位置を把握でき、Lidar1の取付け位置と姿勢の調整を容易に行うことができる。なお、図5~7では、面55の表示を省いている。
 図6は、2台のLidar1,2が取得した測定情報と取付け位置及び取付け姿勢に基く三次元点群91,92に各Lidar1,2のガイド5,6を重畳した表示画像である。図7は、図6の表示画像のうち、1台目のLidar1によって取得した三次元点群91に該Lidar1のガイド5を重畳した表示画像である。図8は、図6の表示画像のうち、2台目のLidar2によって取得した三次元点群92に該Lidar2のガイド6を重畳した表示画像である。
 図6~8の表示画像を表示装置4に表示させるため、情報処理装置10は、位置姿勢取得部12が車両3を基準とした各Lidar1,2の取付け位置及び姿勢を取得し(位置姿勢取得工程)、視野情報取得部11が各Lidar1,2の視野情報を取得し(視野情報取得工程)、測定情報取得部13が各Lidar1,2から測定情報(標的9までの出射角毎の距離情報)を取得し(測定情報取得工程)、三次元点群情報生成部14が前記測定情報と位置姿勢取得部12が取得した取付け位置及び取付け姿勢に基づく標的9の三次元点群情報を生成し、画像生成部15が三次元点群91にLidar1のガイド5を重畳した表示データと、三次元点群92にLidar2のガイド6を重畳した表示データと、双方の三次元点群91,92及びガイド5,6を重畳した表示データと、を作成して(画像生成工程)表示装置4に出力する。
 図6~8から読み取れるように、2台のLidar1,2は、ヨー角をずらして配置されており、互いに視野の一部が重なるように配置されている。標的9の右端はLidar1の視野外にあり、標的9の左端はLidar2の視野外にある。
 このように、情報処理装置10は、標的9を表す三次元点群91,92に2台のLidar1,2のガイド5,6を重畳して表示装置4に表示させるので、作業者は表示装置4の画像を見てLidar1の視野に対する標的9の位置や、Lidar2の視野に対する標的9の位置や、これら視野の相対位置や重なり具合を把握でき、Lidar1,2の取付け位置と姿勢の調整を容易に行うことができる。例えば、図6の表示画像において三次元点群91と三次元点群92とが上下にずれているとすると、表示装置4の画像を見ながらLidar1,2のピッチ角を調整し、三次元点群91と三次元点群92とが滑らかに繋がるように調整していく。
 以上、本発明の実施の形態について図面を参照して詳述してきたが、具体的な構成はこれらの実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれる。上述の各図で示した実施例は、その目的及び構成等に特に矛盾や問題がない限り、互いの記載内容を組み合わせることが可能である。また、各図の記載内容はそれぞれ独立した実施形態になり得るものであり、本発明の実施形態は各図を組み合わせた一つの実施形態に限定されるものではない。
1,2 Lidar(三次元測定装置)
3 車両(移動体)
4 表示装置
5,6 ガイド
10 情報処理装置
11 視野情報取得部
12 位置姿勢取得部
13 測定情報取得部
14 三次元点群情報生成部
15 画像生成部

Claims (8)

  1.  取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、
     前記三次元測定装置の視野情報を取得する視野情報取得部と、
     前記三次元測定装置から測定情報を取得する測定情報取得部と、
     取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、を備えた
     ことを特徴とする情報処理装置。
  2.  取付対象の移動体を基準とした複数個の三次元測定装置の取付け位置と取付け姿勢とをそれぞれ取得する位置姿勢取得部と、
     それぞれの三次元測定装置の視野情報を取得する視野情報取得部と、
     前記移動体を基準としたそれぞれの三次元測定装置の視野を示すガイドを表示するためのデータを作成する画像生成部と、を備えた
     ことを特徴とする情報処理装置。
  3.  前記ガイドは、前記視野の4隅を表す線を含む
     ことを特徴とする請求項1又は2に記載の情報処理装置。
  4.  前記ガイドは、前記視野内における前記取付け位置から等距離にある面を含む
     ことを特徴とする請求項1又は2に記載の情報処理装置。
  5.  前記距離は、前記三次元測定装置の検出限界距離に対応する
     ことを特徴とする請求項4に記載の情報処理装置。
  6.  コンピュータを、
     取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得部と、
     前記三次元測定装置の視野情報を取得する視野情報取得部と、
     前記三次元測定装置から測定情報を取得する測定情報取得部と、
     取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成部と、して機能させる
     ことを特徴とするコンピュータプログラム。
  7.  請求項6のプログラムを記録したことを特徴とする記録媒体。
  8.  情報処理装置における表示データ作成方法であって、
     取付対象の移動体を基準とした三次元測定装置の取付け位置と取付け姿勢とを取得する位置姿勢取得工程と、
     前記三次元測定装置の視野情報を取得する視野情報取得工程と、
     前記三次元測定装置から測定情報を取得する測定情報取得工程と、
     取得した測定情報と取付け位置及び取付け姿勢に基づく三次元点群情報に前記視野を示すガイドを重畳した表示データを作成する画像生成工程と、を有する
     ことを特徴とする表示データ作成方法。
PCT/JP2021/005464 2020-03-31 2021-02-15 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法 WO2021199730A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP21779965.9A EP4130646A4 (en) 2020-03-31 2021-02-15 INFORMATION PROCESSING APPARATUS, COMPUTER PROGRAM, RECORDING MEDIUM AND DISPLAY DATA GENERATING METHOD
US17/916,501 US20230154099A1 (en) 2020-03-31 2021-02-15 Information processing device, computer program, recording medium, and display data creation method
JP2022511631A JPWO2021199730A1 (ja) 2020-03-31 2021-02-15

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-063858 2020-03-31
JP2020063858 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021199730A1 true WO2021199730A1 (ja) 2021-10-07

Family

ID=77928310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/005464 WO2021199730A1 (ja) 2020-03-31 2021-02-15 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法

Country Status (4)

Country Link
US (1) US20230154099A1 (ja)
EP (1) EP4130646A4 (ja)
JP (1) JPWO2021199730A1 (ja)
WO (1) WO2021199730A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075117A (ja) * 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010117211A (ja) * 2008-11-12 2010-05-27 East Japan Railway Co レーザレーダ用設置位置検証装置、レーザレーダ用設置位置の検証方法及びレーザレーダ用設置位置検証装置用プログラム
JP2011083883A (ja) * 2009-10-19 2011-04-28 Yaskawa Electric Corp ロボット装置
JP2011112402A (ja) * 2009-11-24 2011-06-09 Omron Corp 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
WO2019012992A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 表示制御装置、表示制御方法、プログラムおよび表示システム
JP2019074475A (ja) * 2017-10-18 2019-05-16 株式会社キーエンス 光走査高さ測定装置
JP2019174348A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 作業車両
JP2020001562A (ja) 2018-06-28 2020-01-09 パイオニア株式会社 検出装置、検出装置への物質の付着を防止する方法、プログラム及び記録媒体
JP2020013548A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法、システム、物品の製造方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4880925B2 (ja) * 2005-06-30 2012-02-22 セコム株式会社 設定装置
US8111904B2 (en) * 2005-10-07 2012-02-07 Cognex Technology And Investment Corp. Methods and apparatus for practical 3D vision system
JP4492654B2 (ja) * 2007-08-29 2010-06-30 オムロン株式会社 3次元計測方法および3次元計測装置
JP5897624B2 (ja) * 2014-03-12 2016-03-30 ファナック株式会社 ワークの取出工程をシミュレーションするロボットシミュレーション装置
CN110537109B (zh) * 2017-04-28 2024-02-20 深圳市大疆创新科技有限公司 用于自主驾驶的感测组件
EP3785043B1 (en) * 2018-04-23 2023-08-16 Blackmore Sensors & Analytics, LLC Method and system for controlling autonomous vehicle using coherent range doppler optical sensors

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009075117A (ja) * 2007-02-16 2009-04-09 Mitsubishi Electric Corp 道路地物計測装置、地物識別装置、道路地物計測方法、道路地物計測プログラム、計測装置、計測方法、計測プログラム、計測位置データ、計測端末装置、計測サーバ装置、作図装置、作図方法、作図プログラムおよび作図データ
JP2010117211A (ja) * 2008-11-12 2010-05-27 East Japan Railway Co レーザレーダ用設置位置検証装置、レーザレーダ用設置位置の検証方法及びレーザレーダ用設置位置検証装置用プログラム
JP2011083883A (ja) * 2009-10-19 2011-04-28 Yaskawa Electric Corp ロボット装置
JP2011112402A (ja) * 2009-11-24 2011-06-09 Omron Corp 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
WO2014128789A1 (ja) * 2013-02-19 2014-08-28 株式会社ブリリアントサービス 形状認識装置、形状認識プログラム、および形状認識方法
JP2018185228A (ja) * 2017-04-26 2018-11-22 三菱電機株式会社 移動型探傷装置
WO2019012992A1 (ja) * 2017-07-14 2019-01-17 株式会社小松製作所 表示制御装置、表示制御方法、プログラムおよび表示システム
JP2019074475A (ja) * 2017-10-18 2019-05-16 株式会社キーエンス 光走査高さ測定装置
JP2019174348A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 作業車両
JP2020001562A (ja) 2018-06-28 2020-01-09 パイオニア株式会社 検出装置、検出装置への物質の付着を防止する方法、プログラム及び記録媒体
JP2020013548A (ja) * 2018-07-06 2020-01-23 キヤノン株式会社 画像処理装置、画像処理方法、システム、物品の製造方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4130646A4

Also Published As

Publication number Publication date
EP4130646A4 (en) 2024-04-24
US20230154099A1 (en) 2023-05-18
EP4130646A1 (en) 2023-02-08
JPWO2021199730A1 (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
US10665012B2 (en) Augmented reality camera for use with 3D metrology equipment in forming 3D images from 2D camera images
EP2703776B1 (en) Method and system for inspecting a workpiece
US11292700B2 (en) Driver assistance system and a method
US20080301072A1 (en) Robot simulation apparatus
CN107449459A (zh) 自动调试系统和方法
US20110122231A1 (en) Method for dislaying measurement effective area in three-dimensional visual sensor and three-dimensional visual sensor
JP4691581B2 (ja) 水中移動体の位置検知装置
JP5518321B2 (ja) レーザレーダ用設置位置検証装置、レーザレーダ用設置位置の検証方法及びレーザレーダ用設置位置検証装置用プログラム
JPH09105613A (ja) 非接触型の三次元測定装置および測定方法
JP2009053147A (ja) 3次元計測方法および3次元計測装置
JP6587626B2 (ja) カメラシステムによって様々な位置で撮影された複数の個別画像を1つの共通の画像につなぎ合わせるための方法
JP2008014882A (ja) 三次元計測装置
WO2021199730A1 (ja) 情報処理装置、コンピュータプログラム、記録媒体、表示データ作成方法
CN102508495B (zh) 一种控制执行臂末端运动的方法及控制系统
JPH06189906A (ja) 視線方向計測装置
US11614528B2 (en) Setting method of monitoring system and monitoring system
JP2005098978A (ja) 三次元計測装置、三次元計測方法、三次元計測プログラムおよび記録媒体
EP3687937B1 (en) Operator assistance system and a method in relation to the system
CN111508020A (zh) 融合图像与激光雷达的电缆三维位置计算方法、装置
JP4778855B2 (ja) 光学式測定装置
JP6864911B2 (ja) 面形状歪測定装置
JP2012013593A (ja) 3次元形状測定機の校正方法及び3次元形状測定機
KR101544790B1 (ko) 차량의 물체 검출장치 및 그 검출방법
JP2010079459A (ja) 指示器システム
JP3007091B2 (ja) 光学的3次元座標入力装置の構成

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21779965

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511631

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021779965

Country of ref document: EP

Effective date: 20221031