WO2023085183A1 - 情報処理装置、情報処理方法および移動体 - Google Patents

情報処理装置、情報処理方法および移動体 Download PDF

Info

Publication number
WO2023085183A1
WO2023085183A1 PCT/JP2022/040958 JP2022040958W WO2023085183A1 WO 2023085183 A1 WO2023085183 A1 WO 2023085183A1 JP 2022040958 W JP2022040958 W JP 2022040958W WO 2023085183 A1 WO2023085183 A1 WO 2023085183A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging device
information
map
information processing
distance image
Prior art date
Application number
PCT/JP2022/040958
Other languages
English (en)
French (fr)
Inventor
惇之 鈴木
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023085183A1 publication Critical patent/WO2023085183A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B29/00—Maps; Plans; Charts; Diagrams, e.g. route diagram

Definitions

  • the present technology relates to an information processing device, an information processing method, and a moving object, and more particularly to an information processing device and the like for creating a map including geometric information of an environment using a distance image.
  • a surrounding map for example a height map, containing geometric information of the environment using a distance image obtained from an imaging device.
  • the imaging device is attached to a mobile body such as a legged robot, and the created peripheral map is used to control the movement of the mobile body.
  • the surrounding map created using that distance image may contain incorrect geometric information of the environment.
  • Patent Document 1 discloses a technique for obtaining a highly accurate depth image by using a plurality of stereo images obtained by changing camera parameters when generating depth images from stereo images created by a stereo camera. disclosed.
  • This patent document 1 does not disclose how to create a peripheral map from a range image. There is no mention of the possibility that the surrounding map created using the method may contain erroneous geometric information of the environment.
  • the purpose of this technology is to improve the accuracy of the surrounding map created based on the range image.
  • the concept of this technology is a pixel deletion unit that performs a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device;
  • the information processing apparatus includes a map creation unit that creates the peripheral map using the distance image processed by the pixel deletion unit.
  • the pixel deletion unit deletes, from the range image acquired by the imaging device, pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment. Then, the map creating section creates a surrounding map using the distance image processed by the pixel deleting section.
  • the surrounding map may be a height map.
  • the imaging device may be attached to a mobile body such as a legged robot.
  • the pixel deletion unit may use information on the position and orientation of the imaging device, information on the viewing angle of the imaging device, user-specified area information, etc., in order to perform processing for deleting pixels. good.
  • processing is performed to delete pixels that cannot have information necessary for creating a surrounding map from the distance image obtained from the imaging device. It is possible to improve the accuracy of the surrounding map.
  • Another concept of this technology is a pixel deletion procedure for performing a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device;
  • the information processing method includes a map creation procedure for creating the peripheral map using the distance image processed by the pixel deletion procedure.
  • Another concept of this technology is an imaging device; a pixel deletion unit that performs a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device; a map creation unit that creates the surrounding map using the distance image processed by the pixel deletion unit;
  • the moving body includes a movement control section that controls movement based on the map of the surrounding area created by the map creation section.
  • FIG. 4 is a diagram for explaining a height map as an example of a peripheral map
  • FIG. FIG. 4 is a diagram for explaining an example of a process of updating a height map in a mobile robot
  • FIG. 7 is a diagram for explaining that, when creating a height map, an uncertain area may be mixed in a one-shot height map created using a range image.
  • FIG. 7 is a diagram for explaining that, when creating a height map, an uncertain area may be mixed in a one-shot height map created using a range image.
  • FIG. 7 is a diagram for explaining that, when creating a height map, an uncertain area may be mixed in a one-shot height map created using a range image.
  • FIG. 7 is a diagram for explaining that, when creating a height map, an uncertain area may be mixed in a one-shot height map created using a range image.
  • FIG. 7 is a diagram for explaining that, when creating a height map, an uncertain area may be mixed in a one-shot height map created using a range image.
  • 1 is a diagram schematically showing the appearance of a mobile robot as an embodiment
  • FIG. 1 is a block diagram showing a configuration example of a control system of a mobile robot as an embodiment
  • FIG. 10 is a diagram for explaining details of processing in the range image filter unit, and is a diagram showing an example of a three-dimensional space in which a mobile robot exists
  • FIG. It is a figure which shows an example of the distance image before and after being processed by the distance image filter part. It is a figure for demonstrating the 1st processing process in a distance image filter part.
  • FIG. 11 is a diagram for explaining an example in which points G and H are external division points
  • Embodiment> "Description of Related Art" A height map will be described as an example of a peripheral map created using a distance image obtained from an imaging device.
  • a height map is a map in a two-dimensional grid format, as shown in Fig. 1(a). This height map corresponds to the environment as shown in FIGS. Created using range images.
  • the height of the corresponding point is recorded in the grid (2-dimensional grid) at the (x, y) position.
  • the (4,3) grid for example, yields a numerical value of 500.0. This means that in the space corresponding to the (4,3) grid, there is an object whose top surface is 500 mm high (see FIGS. 1(b) and (c)). It means that there are no objects in high places.
  • the grid may record a label that indicates that it has not yet been detected, instead of a numerical value that indicates the height.
  • a label is recorded in a grid corresponding to a place that has not yet been imaged by the imaging device 110 immediately after activation or a place that is too far away.
  • the height map is changed each time the imaging range of the imaging device 110 changes.
  • An example of the process of updating the height map in the mobile robot 100 will be described with reference to FIGS.
  • the mobile robot 100 turns to the left from the state shown in FIG. 2(a), whereupon the imaging device 110 takes a new range image and updates the height map.
  • the hatched area is the portion where the view frustum of the mobile robot 100 intersects with the ground or the upper surface of the obstacle.
  • FIG. 2(b) Assume that a height map as shown in FIG. 2(b) has already been created in the state of FIG. 2(a).
  • the thick line shown in the figure indicates the boundary of the portion where the viewing frustum of the mobile robot 100 and the top surface of the ground or obstacle intersect. This also applies to FIGS. 2(c) and 2(d).
  • the imaging device 110 captures a new range image. Then, a point corresponding to each pixel of the distance image is coordinate-transformed, and as shown in FIG. be done.
  • This one-shot heightmap is integrated with the already created heightmap (see FIG. 2(b)) to create a new heightmap as shown in FIG. 2(c), and the heightmap is updated. .
  • various conventional methods have been proposed for the integration method.
  • the one-shot height map created using the depth image may contain uncertain areas. This will be explained with reference to FIGS. 3 to 6.
  • FIG. 1 will be explained with reference to FIGS. 3 to 6.
  • the distance image obtained from the imaging device 110 includes image portions corresponding to the ground under the desk, the surface of the table, and the area behind the desk.
  • the hatched areas indicate two areas within the field of view of the imaging device 110, the surface area of the desk and the ground area under the desk.
  • the width of the ground area under the desk is wider than the width of the surface area of the desk, and the difference in width between the two areas is what causes the heightmap to contain areas of uncertainty.
  • Fig. 4 shows a one-shot height map created in the state of Fig. 3.
  • the desk is indicated by a dashed line frame
  • the intersection of the ground and the field of view is indicated by a one-dot chain line frame
  • the intersection of the desk and the field of view is indicated by a two-dot chain line frame.
  • FIG. 5 shows true height values in each grid of the one-shot heightmap shown in FIG.
  • the height value of each grid corresponding to the area where the desk exists must all take the value of 300 mm, which is the height of the desk.
  • FIG. 6 shows the height value of each grid of the one-shot height map shown in FIG. 4, and the region A that differs from the true value shown in FIG. 5 is indicated by a solid line frame. This area A is generated because the originally existing plane at a high position is cut off.
  • this area A entails the risk of colliding with the desk in the movement plan of the mobile robot 100 that uses this height map. For example, when the mobile robot 100 tries to avoid the desk, it may move considering the area A as the ground, and the body of the mobile robot 100 may collide with the desk.
  • FIG. 7 schematically shows the appearance of mobile robot 100 as an embodiment.
  • the mobile robot 100 is a four-legged robot.
  • This mobile robot 100 has an imaging device 110, a main body 111, and legs 120A to 120D.
  • the imaging device 110 is for acquiring a range image, and is composed of, for example, a ToF (Time Of Flight) camera or a stereo camera.
  • the imaging device 110 is attached to the front side of the main body 111 so that the posture can be changed.
  • the legs 120A to 120D are connected to the main body 111 via joints 121A to 121D corresponding to hip joints, respectively.
  • the leg parts 120A to 120D respectively include joint parts 122A to 122D that connect the thigh link and the lower leg link, and ground contact parts 123A to 123D at the tip of the lower leg link.
  • each joint includes an actuator (motor) for driving the joint, a sensor (encoder) for detecting the position of the actuator, a torque sensor for detecting torque on the output shaft side of the actuator, and the like. It has Each joint is movable with one or more degrees of freedom, for example, three degrees of freedom.
  • FIG. 8 shows a configuration example of the control system of the mobile robot 100 as an embodiment.
  • the mobile robot 100 has a sensor input unit 131 , a distance image filter unit 132 , a peripheral map creation unit 133 , an action planning unit 134 , a user operation unit 135 , a control unit 136 and an actuator group 137 . .
  • the sensor input unit 131 acquires the distance image obtained by the imaging device 110 . Further, the sensor input unit 131 acquires information on the position and orientation of the nuclear joint from the sensors provided in each joint of the legs 120A to 120D, and based on the information, the position and orientation of the imaging device 110. to calculate
  • the distance image filter unit 132 extracts the geometric information of the environment from the distance image based on the distance image acquired by the sensor input unit 131 and the position/orientation information of the imaging device 110 calculated by the sensor input unit 131. Processing is performed to delete pixels that do not have the information necessary for creating a surrounding map that includes them.
  • the distance image filter section 132 constitutes a pixel elimination section. The details of the processing in this distance image filter unit 132 will be described later.
  • the peripheral map creation unit 133 includes the geometric information of the environment based on the distance image processed by the distance image filter unit 132 and the position/orientation information of the imaging device 110 calculated by the sensor input unit 131. Create a map of the surroundings, in this embodiment a height map. In this case, the same height map creation process as described above with reference to FIG. It is done sequentially.
  • the action planning unit 134 uses the height map created by the peripheral map creating unit 133, the operation information from the user operation unit 135, and the positions and postures of the joints of the legs 120A to 120D acquired by the sensor input unit 131. and the like, the action of the mobile robot 100 is planned.
  • the operation information from the user operation unit 135 includes, for example, information such as the speed and direction of movement of the mobile robot 100, the angular velocity indicating the twisting motion of the mobile robot 100, the path, and activation.
  • this user operation unit 135 may be a game controller. It should be noted that the supply of these pieces of information does not have to be performed by the user's operation each time, and may be implemented by a program.
  • the plan of action also includes a plan for leg placement. A height map is referred to when planning the leg arrangement.
  • Control unit 136 controls each of legs 120A to 120D based on the plan information from action planning unit 134 and information on the positions and postures of the joints of legs 120A to 120D acquired by sensor input unit 131. It controls the operation of the actuator group 137 provided in the joint. In this sense, the controller 136 constitutes a movement controller.
  • the distance image filter unit 132 extracts the environment image from the distance image based on the distance image acquired by the sensor input unit 131 and the position/orientation information of the imaging device 110 calculated by the sensor input unit 131. In order to create a surrounding map including geometric information, pixels that do not have the necessary information are deleted.
  • FIG. 10 shows an example of a distance image before and after being processed by the distance image filter unit 132.
  • the distance image stores the distance from the imaging device 110 in each pixel. In addition, areas where there is nothing in the air are black, indicating ineffective areas.
  • the range image after processing has black areas on the left and right of the bottom, and there are pixels that do not have the information necessary to create a surrounding map that includes the geometric information of the environment. It has been deleted.
  • the first to third processing steps in the distance image filter unit 132 will be explained. First, referring to FIG. 11, the first processing step will be described. In the first processing step, as shown in FIG. 11B, one view frustum having the position O of the imaging device 110 as its apex is selected.
  • This view frustum is determined using information about the viewing angle of the imaging device 110 and dynamically changed using information about the position and orientation of the imaging device 110 .
  • the position of the imaging device 110 is represented by (x, y, z) coordinates
  • the attitude of the imaging device 110 is represented by rotation angles of roll, pitch, and yaw.
  • This viewing frustum can be countless depending on how it is cut at a certain position and orientation of the imaging device 110.
  • the bottom quadrangle ABCD is a rectangle in the xyz three-dimensional space, and the bottom frustum
  • the height which is the distance between the quadrangle ABCD and the position O of the imaging device 110, is set to 1 m, and one view frustum is selected.
  • the corresponding distance image is displayed in the figure as an auxiliary.
  • points E and F are placed on the sides of quadrangle ABCD.
  • the points E and F constitute user-designated area information.
  • the points E and F may be points of intersection between a specific plane in the xyz three-dimensional space and the quadrangle ABCD.
  • the third processing step will be described with reference to FIG.
  • the third processing step from the distance image, the area other than the area between the straight lines L1 and L2, that is, the pixels corresponding to the area of the triangle EBG and the triangle FHA are extracted from the surrounding area including the geometric information of the environment. Pixels that cannot have information necessary for map creation are deleted as indicated by hatching in FIG. 13(b).
  • the point G is the intersection of the side AB and the straight line L1
  • the point H is the intersection of the side AB and the straight line L2.
  • the point G is an internal dividing point of the line segment OE, but it can be an external dividing point depending on the position/orientation of the imaging device 110 .
  • the point H can also be an external dividing point of the line segment OF.
  • FIG. 14 shows an example in which points G and H are external division points.
  • the imaging device 110 of the mobile robot 100 is rotated in the x-axis direction.
  • FIG. 14(b) shows a distance image obtained in that case.
  • the positional relationship between the points E, F and the points G, H with respect to the quadrangle ABCD is as shown in FIG.
  • pixels corresponding to the area other than the area between the straight lines L1 and L2, that is, the area of the triangle GBE and the triangle HFD are necessary to create a surrounding map containing the geometric information of the environment. As pixels that cannot have such information, they are deleted as indicated by hatching in FIG. 14(c).
  • the point G is the intersection of the side BC and the straight line L1
  • the point H is the intersection of the side CD and the straight line L2.
  • the mobile robot 100 shown in FIGS. 7 and 8 can have information necessary for creating a height map as a peripheral map from the range image acquired by the imaging device 110. This is a process of deleting pixels that do not exist, and it is possible to improve the accuracy of the height map created based on the distance image.
  • pixels that cannot have information necessary for creating a height map as a peripheral map are deleted from the distance image acquired by the imaging device 110.
  • Information about the position and orientation of the imaging device 110 is used when performing processing to remove pixels, and the pixel deletion processing can be favorably performed according to the position and orientation of the imaging device 110 .
  • pixels that cannot have information necessary for creating a height map as a peripheral map are deleted from the distance image acquired by the imaging device 110. Since information about the viewing angle of the imaging device 110 is used when performing the processing to delete pixels, the pixel deletion processing can be performed well regardless of the viewing angle of the imaging device 110 .
  • pixels that cannot have information necessary for creating a height map as a peripheral map are deleted from the distance image acquired by the imaging device 110.
  • user-designated region information is used, and it is possible to avoid deletion of pixels in regions that do not need to be deleted by user designation.
  • the technique can also take the following configurations.
  • a pixel deletion unit that performs a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device;
  • An information processing apparatus comprising: a map creation unit that creates the peripheral map using the distance image processed by the pixel deletion unit.
  • the pixel deletion unit uses information about the position and orientation of the imaging device in order to perform the process of deleting the pixels.
  • the pixel deletion unit uses information about a viewing angle of the imaging device to perform processing for deleting the pixels.
  • the information processing apparatus uses user-specified area information to perform the process of deleting the pixels.
  • the peripheral map is a height map.
  • the imaging device is an imaging device attached to a mobile object.
  • the moving object is a legged robot.
  • a pixel deletion procedure for performing a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device;
  • An information processing method comprising: a map creation procedure for creating the peripheral map using the distance image processed by the pixel deletion procedure.
  • an imaging device a pixel deletion unit that performs a process of deleting pixels that cannot have information necessary for creating a surrounding map including geometric information of the environment from the range image acquired by the imaging device; a map creation unit that creates the surrounding map using the distance image processed by the pixel deletion unit;
  • a moving body comprising a movement control section that controls movement based on the surrounding map created by the map creation section.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Mathematical Physics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Image Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

【課題】距離画像に基づいて作成される周辺地図の精度を高める。　画素削除部により、撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素が削除される。地図作成部により、削除処理された後の距離画像を用いて周辺地図が作成される。例えば、画素を削除する処理を行うために、撮像装置の位置および姿勢の情報、撮像装置の視野角の情報、ユーザ指定の領域情報などが用いられる。

Description

情報処理装置、情報処理方法および移動体
　本技術は、情報処理装置、情報処理方法および移動体に関し、詳しくは、距離画像を用いて環境の幾何学情報を含む地図を作成するための情報処理装置等に関する。
　従来、撮像装置から得られた距離画像を用いて環境の幾何学情報を含む周辺地図、例えばハイトマップ（height map）を作成することが知られている。例えば、撮像装置は脚式ロボットなどの移動体に取り付けられたものであり、作成された周辺地図は移動体の移動を制御するために用いられる。
　距離画像に周辺地図の作成のために必要な情報を持ち得ない画素を含む場合に、その距離画像を用いて作成される周辺地図は誤った環境の幾何学情報を含む恐れがある。
　例えば、特許文献１には、ステレオカメラにより作成されたステレオ画像から距離画像を生成する際にカメラのパラメータを変更して得られる複数のステレオ画像を用いることで高精度の距離画像を得る技術が開示されている。
　この特許文献１には、距離画像から周辺地図を作成することについての開示はなく、従って距離画像に周辺地図の作成のために必要な情報を持ち得ない画素を含む場合に、その距離画像を用いて作成される周辺地図は誤った環境の幾何学情報を含む恐れがあることについては何ら言及されていない。
特開２００３－２６９９１７号公報
　本技術の目的は、距離画像に基づいて作成される周辺地図の精度を高めることにある。
　本技術の概念は、
　撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部を備える
　情報処理装置にある。
　本技術において、画素削除部により、撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素が削除される。そして、地図作成部により、画素削除部で処理された後の距離画像を用いて周辺地図が作成される。例えば、周辺地図は、ハイトマップ（height map）であってもよい。
　例えば、撮像装置は、脚式ロボットなどの移動体に取り付けられたものであってもよい。また、例えば、画素削除部は、画素を削除する処理を行うために、撮像装置の位置および姿勢の情報、撮像装置の視野角の情報、ユーザ指定の領域情報などを用いる、ようにされてもよい。
　このように本技術においては、撮像装置から得られた距離画像から周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行うものであり、距離画像に基づいて作成される周辺地図の精度を高めることが可能となる。
　また、本技術の他の概念は、
　撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除手順と、
　前記画素削除手順で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成手順を有する
　情報処理方法にある。
　また、本技術の他の概念は、
　撮像装置と、
　前記撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部と、
　前記地図作成部で作成された前記周辺地図に基づいて移動を制御する移動制御部を備える
　移動体にある。
周辺地図の一例としてのハイトマップ（height map）について説明するための図である。 移動ロボットにおいてハイトマップが更新される過程の一例を説明するための図である。 ハイトマップを作成する際、距離画像を用いて作成されたワンショットのハイトマップに不確かな領域が混在していることがあることを説明するための図である。 ハイトマップを作成する際、距離画像を用いて作成されたワンショットのハイトマップに不確かな領域が混在していることがあることを説明するための図である。 ハイトマップを作成する際、距離画像を用いて作成されたワンショットのハイトマップに不確かな領域が混在していることがあることを説明するための図である。 ハイトマップを作成する際、距離画像を用いて作成されたワンショットのハイトマップに不確かな領域が混在していることがあることを説明するための図である。 実施の形態としての移動ロボットの外観を模式的に示す図である。 実施の形態としての移動ロボットの制御系の構成例を示すブロック図である。 距離画像フィルタ部における処理の詳細を説明するための図であって、移動ロボットが存在する３次元空間の一例を示す図である。 距離画像フィルタ部で処理される前と処理された後の距離画像の一例を示す図である。 距離画像フィルタ部における第１の処理工程について説明するための図である。 距離画像フィルタ部における第２の処理工程について説明するための図である。 距離画像フィルタ部における第３の処理工程について説明するための図である。 点Ｇ，Ｈが外分点となる場合の例を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　「関連技術の説明」
　撮像装置から得られた距離画像を用いて作成される周辺地図の一例としてのハイトマップ（height map）について説明する。
　ハイトマップは、図１（ａ）に示すような、２次元の格子状の形式の地図である。このハイトマップは、図１（ｂ），（ｃ）に示すような環境に対応するものであり、例えば移動体としての移動ロボット（脚式ロボット）１００に取り付けられた撮像装置１１０で得られた距離画像を用いて作成される。
　ハイトマップにおいては、ｘ、ｙを整数として、（ｘ、ｙ）の位置のグリッド（２次元グリッド）に、対応する地点の高さが記録される。図１（ａ）の例において、例えば（４，３）のグリッドを参照すると、５００．０の数値が得られる。これは、（４，３）のグリッドに対応する空間には、５００ｍｍの高さを上面とする物体があることを意味し（図１（ｂ）、（ｃ）参照）、また同時に、５００ｍｍより高いところには物体が存在しないことを意味する。
　なお、ハイトマップにおいては、実用上は、グリッドに、高さを示す数値ではなく、まだ検出していないことを示すラベルが記録されることもある。例えば、起動直後で撮像装置１１０により未だ撮像されていない場所やあまりにも遠い場所に対応したグリッドには、そのようなラベルが記録される。
　移動ロボット１００において、ハイトマップは、撮像装置１１０の撮像範囲が変わるごとに変更されていく。図２（ａ）～（ｄ）を用いて、移動ロボット１００において、ハイトマップが更新される過程の一例を説明する。この例では、図２（ａ）に示す状態から移動ロボット１００が左を向き、そこで撮像装置１１０で新たな距離画像が撮像され、ハイトマップが更新される。
　図２（ａ）に示すように、移動ロボット１００の前方右側には、高さ３００ｍｍの障害物が存在している。ここで、ハッチングをして示す領域は、移動ロボット１００の視錐台と地面や障害物上面が交わった部分である。
　図２（ａ）の状態で、既に、図２（ｂ）に示すようなハイトマップが作成されているものとする。なお、図中に示す太線は、移動ロボット１００の視錐台と地面や障害物上面が交わった部分の境界を示している。これは、図２（ｃ）、（ｄ）においても同様である。
　図２（ｃ）に示すように移動ロボット１００が左を向いた後に、撮像装置１１０で新たな距離像が撮像される。そして、その距離画像の各画素に相当する点が座標変換され、図２（ｃ）に示すように、ハイトマップの対応するグリッドに高さを示す数値を割り当てられてワンショットのハイトマップが作成される。
　このワンショットのハイトマップが既に作成されているハイトマップ（図２（ｂ）参照）と統合されて、図２（ｃ）に示すような新たなハイトマップが作成され、ハイトマップが更新される。なお、詳細説明は省略するが、統合の方法については従来種々の方法が提案されている。
　上述したようにハイトマップを作成する際、距離画像を用いて作成されたワンショットのハイトマップに不確かな領域が混在していることがある。これについて、図３～図６を参照して説明する。
　ここでは、図３に示す状態で作成されるワンショットのハイトマップについて考える。移動ロボット１００の前方には、障害物を構成する高さ３００ｍｍの机が存在している。この状態で、撮像装置１１０から得られた距離画像には、机の下の地面、テーブルの表面および机より奥のそれぞれに対応した画像部分が存在している。
　図３において、ハッチングをして示す領域は、撮像装置１１０の視野内に入る、机の表面領域と机の下の地面領域の２つの領域を示している。この場合、机の下の地面領域の幅は机の表面領域の幅より広くなり、この２つの領域の幅の違いが、ハイトマップに不確かな領域が混在する原因となるものである。
　図４は、図３の状態で作成されたワンショットのハイトマップを示している。この図４において、机を破線枠で示し、地面と視野の積集合を一点鎖線枠で示し、机上と視野の積集合を二点鎖線枠で示している。
　図５は、図４に示すワンショットのハイトマップの各グリッドにおける高さ値の真値を示している。このように、机が存在する領域に相当する各グリッドの高さ値は、全て机の高さである３００ｍｍという値を取らなくてはならない。
　図６は、図４に示すワンショットのハイトマップの各グリッドの高さ値で、図５に示す真値と異なる領域Ａを実線枠で示している。この領域Ａは、本来存在する高い位置にある平面が見切れてしまったことによって発生している。
　この領域Ａの存在は、このハイトマップを用いて行う移動ロボット１００の移動計画で机との衝突を引き起こす恐れを伴う。例えば、移動ロボット１００が机を避けて移動しようとした場合に、領域Ａを地面と見なして移動を行い、移動ロボット１００の胴体と机が衝突する可能性がある。
　「移動ロボットの構成例」
　図７は、実施の形態としての移動ロボット１００の外観を模式的に示している。移動ロボット１００は、４脚の脚式ロボットである。この移動ロボット１００は、撮像装置１１０と、本体部１１１と、脚部１２０Ａ～１２０Ｄを有している。
　撮像装置１１０は、距離画像を取得するためのものであり、例えば、ＴｏＦ（Time Of Flight）カメラやステレオカメラなどで構成される。この撮像装置１１０は、本体部１１１の先頭側に姿勢が変更可能に取り付けられている。脚部１２０Ａ～１２０Ｄは、それぞれ、股関節に相当する関節部１２１Ａ～１２１Ｄを介して本体部１１１に接続されている。
　脚部１２０Ａ～１２０Ｄは、それぞれ、大腿部リンクと下腿部リンクを接続する関節部１２２Ａ～１２２Ｄと、下腿部リンクの先端の接地部１２３Ａ～１２３Ｄを備えている。各関節部は、図示は省略するが、関節駆動用のアクチュエータ（モータ）と、アクチュエータの位置を検出するためのセンサ（エンコーダ）と、アクチュエータの出力軸側のトルクを検出するためのトルクセンサ等を備えている。各関節部は、１自由度以上、例えば３自由度で可動可能とされる。
　図８は、実施の形態としての移動ロボット１００の制御系の構成例を示している。移動ロボット１００は、センサ入力部１３１と、距離画像フィルタ部１３２と、周辺地図作成部１３３と、行動計画部１３４と、ユーザ操作部１３５と、制御部１３６と、アクチュエータ群１３７を有している。
　センサ入力部１３１は、撮像装置１１０で得られた距離画像を取得する。また、センサ入力部１３１は、脚部１２０Ａ～１２０Ｄの各関節部に備えられたセンサから当該核関節部の位置・姿勢の情報を取得するとともに、その情報に基づいて撮像装置１１０の位置・姿勢を計算する。
　距離画像フィルタ部１３２は、センサ入力部１３１で取得された距離画像と、センサ入力部１３１で計算された撮像装置１１０の位置・姿勢の情報に基づいて、距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理をする。この距離画像フィルタ部１３２は、画素削除部を構成している。この距離画像フィルタ部１３２における処理の詳細についは後述する。
　周辺地図作成部１３３は、距離画像フィルタ部１３２で処理された後の距離画像と、センサ入力部１３１で計算された撮像装置１１０の位置・姿勢の情報に基づいて、環境の幾何学情報を含む周辺地図、この実施の形態ではハイトマップ（height map）を作成する。この場合、上述の図２を用いて説明したと同様のハイトマップの作成工程、つまり距離画像を基にワンショットのハイトマップが作成され、それが前時刻のハイトマップと統合されるという工程が順次行われる。
　行動計画部１３４は、周辺地図作成部１３３で作成されたハイトマップと、ユーザ操作部１３５からの操作情報と、センサ入力部１３１で取得された脚部１２０Ａ～１２０Ｄの各関節部の位置・姿勢の情報などに基づいて、移動ロボット１００の行動を計画する。
　ユーザ操作部１３５からの操作情報には、例えば、移動ロボット１００が移動する速度、方向、さらには移動ロボット１００が体をひねる動作を示す角速度、あるいは経路、起動などの情報が含まれる。例えば、このユーザ操作部１３５は、ゲームコントローラであってもよい。なお、これらの情報の供給は、ユーザがその都度操作して行わなくてもよく、プログラムによって実現されてもよい。行動計画には、脚配置の計画も含まれる。この脚配置の計画の際には、ハイトマップが参照される。
　制御部１３６は、行動計画部１３４からの計画情報と、センサ入力部１３１で取得された脚部１２０Ａ～１２０Ｄの各関節部の位置・姿勢の情報などに基づいて、脚部１２０Ａ～１２０Ｄの各関節部に備えられているアクチュエータ群１３７の動作を制御する。この意味で、制御部１３６は、移動制御部を構成している。
　「距離画像フィルタ部の処理の詳細」
　距離画像フィルタ部１３２における処理の詳細についは説明する。上述したように、距離画像フィルタ部１３２は、センサ入力部１３１で取得された距離画像と、センサ入力部１３１で計算された撮像装置１１０の位置・姿勢の情報に基づいて、距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理をする。
　ここでは、図９に示すようなｘｙｚの３次元空間の環境に、移動ロボット１００がある場合について考える。移動ロボットのｘ方向である前方には、障害物を構成する３個の机が存在している。
　図１０は、距離画像フィルタ部１３２で処理される前と処理された後の距離画像の一例を示している。距離画像は、各画素に撮像装置１１０からの距離が保存されたものであり、例えば近くほど黒く遠いほど白くなっている。また、空中に何もない領域に関しては黒色となっており、有効でない領域を示すものとされている。処理前の距離画像と比べて、処理後の距離画像は下部の左右の領域が黒色となっており、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素が削除された状態となっている。
　距離画像フィルタ部１３２における第１～第３の処理工程について説明する。最初に、図１１を参照して、第１の処理工程について説明する。第１の処理工程においては、図１１（ｂ）に示すように、撮像装置１１０の位置Ｏを頂点とする視錐台がひとつ選ばれる。
　この視錐台は、撮像装置１１０の視野角の情報を用いて決定されると共に、撮像装置１１０の位置および姿勢の情報を用いて動的に変更されるものとなる。ここで、撮像装置１１０の位置は（ｘ，ｙ，ｚ）の座標で表され、撮像装置１１０の姿勢はロール・ピッチ・ヨーの回転角で表される。
　この視錐台は、撮像装置１１０のある位置および姿勢において、切り方によって無数に取ることができるが、ここでは、底面の四角形ＡＢＣＤがｘｙｚの３次元空間上で長方形となるように、かつ底面の四角形ＡＢＣＤと撮像装置１１０の位置Ｏの距離である高さが１ｍとされて、ひとつの視錐台が選ばれる。
　そして、この第１の処理工程では、さらに、図１１（ａ）に示すように、上述したように選ばれた視錐台の底面の四角形ＡＢＣＤの頂点Ａ，Ｂ，Ｃ，Ｄを、Ｚ＝０の平面に平行な撮像装置１１０の位置Ｏを含む平面に正射影する。なお、図１１（ａ）においては、補助的に、対応する距離画像を図中に表示している。
　次に、図１２を参照して、第２の処理工程について説明する。第２の処理工程においては、図１２（ｂ）に示すように、四角形ＡＢＣＤの辺上に点Ｅ，Ｆを設置する。この点Ｅ，Ｆは、ユーザ指定の領域情報を構成している。この場合、Ｅ＝Ａ，Ｆ＝Ｂとされてもよい。また、点Ｅ，Ｆは、ｘｙｚの３次元空間における特定の平面と四角形ＡＢＣＤとの交点とされてもよい。
　特定の平面としては、例えば、以下の（１）、（２）などが考えられる。なお、図１２（ｂ）に示す例では、（１）の場合を示している。
　（１）Ｚ＝０の平面に平行な面のうち、撮像装置１１０の位置Ｏを含む平面
　（２）Ｚ＝ａの平面（例えば、ａ＝１ｍ）
　図１２（ｂ）は、Ｚ＝０の平面に平行な撮像装置１１０の位置Ｏを含む平面に正射影された四角形ＡＢＣＤにおいて、辺ＢＣ、ＡＤ上に、点Ｅ，Ｆを示したものである。
　次に、図１３を参照して、第３の処理工程について説明する。第３の処理工程においては、図１３（ａ），（ｂ）に示すように、Ｚ＝０の平面に平行な撮像装置１１０の位置Ｏを含む平面に正射影された図において、撮像装置１１０の位置Ｏから四角形ＡＢＣＤの辺ＢＣ上に設定された点Ｅを通る直線Ｌ１を引くと共に、撮像装置１１０の位置Ｏから四角形ＡＢＣＤの辺ＡＤ上に設定された点Ｆを通る直線Ｌ２を引く。
　そして、第３の処理工程においては、距離画像から、直線Ｌ１と直線Ｌ２との間の領域以外の領域、つまり三角形ＥＢＧと三角形ＦＨＡの領域に対応した画素を、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素として、図１３（ｂ）にハッチングをして示すように、削除する。ここで、点Ｇは辺ＡＢと直線Ｌ１が交わる点であり、点Ｈは辺ＡＢと直線Ｌ２が交わる点である。
　なお、上述の例においては、点Ｇは線分ＯＥの内分点となっているが、撮像装置１１０の位置・姿勢などによっては外分点となりうる。同様に、点Ｈも線分ＯＦの外分点となりうる。
　図１４は、点Ｇ，Ｈが外分点となる場合の例を示している。この場合、図１４（ａ）に示すように、移動ロボット１００の撮像装置１１０は、ｘ軸方向に回転した状態にある。図１４（ｂ）は、その場合に得られる距離画像を示している。このような状態にあるとき、四角形ＡＢＣＤに対する、点Ｅ，Ｆと点Ｇ，Ｈの位置関係は、図１４（ｃ）に示すようになり、点Ｇ，Ｈは外分点となる。
　この場合、距離画像から、直線Ｌ１と直線Ｌ２との間の領域以外の領域、つまり三角形ＧＢＥと三角形ＨＦＤの領域に対応した画素が、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素として、図１４（ｃ）にハッチングをして示すように、削除される。ここで、点Ｇは辺ＢＣと直線Ｌ１が交わる点であり、点Ｈは辺ＣＤと直線Ｌ２が交わる点である。
　以上説明したように、図７、図８に示す移動ロボット１００においては、撮像装置１１０によって取得された距離画像から周辺地図としてのハイトマップ（height map）の作成のために必要な情報を持ち得ない画素を削除する処理を行うものであり、距離画像に基づいて作成されるハイトマップの精度を高めることが可能となる。
　また、図７、図８に示す移動ロボット１００においては、撮像装置１１０によって取得された距離画像から周辺地図としてのハイトマップ（height map）の作成のために必要な情報を持ち得ない画素を削除する処理を行う際に、撮像装置１１０の位置および姿勢の情報を用いるものであり、撮像装置１１０の位置および姿勢に応じて画素の削除処理を良好に行うことができる。
　また、図７、図８に示す移動ロボット１００においては、撮像装置１１０によって取得された距離画像から周辺地図としてのハイトマップ（height map）の作成のために必要な情報を持ち得ない画素を削除する処理を行う際に、撮像装置１１０の視野角の情報を用いるものであり、撮像装置１１０の視野角によらずに画素の削除処理を良好に行うことができる。
　また、図７、図８に示す移動ロボット１００においては、撮像装置１１０によって取得された距離画像から周辺地図としてのハイトマップ（height map）の作成のために必要な情報を持ち得ない画素を削除する処理を行う際に、ユーザ指定の領域情報を用いるものであり、削除の必要のない領域の画素が削除されることを、ユーザ指定により回避することが可能となる。
　＜２．変形例＞
　なお、上述実施の形態においては、本技術を移動体としての脚式ロボットに適用した例を示しているが、本技術は撮像装置によって取得された距離画像を用いて環境の幾何学情報を含む周辺地図を作成する処理を行う移動体全般に適用し得るものである。
　また、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　また、技術は、以下のような構成もとることができる。
　（１）撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部を備える
　情報処理装置。
　（２）前記画素削除部は、前記画素を削除する処理を行うために、前記撮像装置の位置および
姿勢の情報を用いる
　前記（１）に記載の情報処理装置。
　（３）前記画素削除部は、前記画素を削除する処理を行うために、前記撮像装置の視野角の情報を用いる
　前記（１）または（２）に記載の情報処理装置。
　（４）前記画素削除部は、前記画素を削除する処理を行うために、ユーザ指定の領域情報を用いる
　前記（１）から（３）のいずれかに記載の情報処理装置。
　（５）前記周辺地図は、ハイトマップ（height map）である
　前記（１）から（４）のいずれかに記載の情報処理装置。
　（６）前記撮像装置は、移動体に取り付けられた撮像装置である
　前記（１）から（５）のいずれかに記載の情報処理装置。
　（７）前記移動体は、脚式ロボットである
　前記（６）に記載の情報処理装置。
　（８）撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除手順と、
　前記画素削除手順で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成手順を有する
　情報処理方法。
　（９）撮像装置と、
　前記撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部と、
　前記地図作成部で作成された前記周辺地図に基づいて移動を制御する移動制御部を備える
　移動体。
　１００・・・移動ロボット
　１１０・・・撮像装置
　１１１・・・本体部
　１２０Ａ～１２０Ｄ・・・脚部
　１２１Ａ～１２１Ｄ，１２２Ａ～１２２Ｄ・・・関節部
　１２３Ａ～１２３Ｄ・・・接地部
　１３１・・・センサ入力部
　１３２・・・距離画像フィルタ部
　１３３・・・周辺地図作成部
　１３４・・・行動計画部
　１３５・・・ユーザ操作部
　１３６・・・制御部
　１３７・・・アクチュエータ群

Claims (9)

  1. 　撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
    　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部を備える
    　情報処理装置。
  2. 　前記画素削除部は、前記画素を削除する処理を行うために、前記撮像装置の位置および
    姿勢の情報を用いる
    　請求項１に記載の情報処理装置。
  3. 　前記画素削除部は、前記画素を削除する処理を行うために、前記撮像装置の視野角の情報を用いる
    　請求項１に記載の情報処理装置。
  4. 　前記画素削除部は、前記画素を削除する処理を行うために、ユーザ指定の領域情報を用いる
    　請求項１に記載の情報処理装置。
  5. 　前記周辺地図は、ハイトマップ（height map）である
    　請求項１に記載の情報処理装置。
  6. 　前記撮像装置は、移動体に取り付けられた撮像装置である
    　請求項１に記載の情報処理装置。
  7. 　前記移動体は、脚式ロボットである
    　請求項６に記載の情報処理装置。
  8. 　撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除手順と、
    　前記画素削除手順で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成手順を有する
    　情報処理方法。
  9. 　撮像装置と、
    　前記撮像装置によって取得された距離画像から、環境の幾何学情報を含む周辺地図の作成のために必要な情報を持ち得ない画素を削除する処理を行う画素削除部と、
    　前記画素削除部で処理された後の距離画像を用いて前記周辺地図を作成する処理を行う地図作成部と、
    　前記地図作成部で作成された前記周辺地図に基づいて移動を制御する移動制御部を備える
    　移動体。
PCT/JP2022/040958 2021-11-10 2022-11-02 情報処理装置、情報処理方法および移動体 WO2023085183A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-183226 2021-11-10
JP2021183226 2021-11-10

Publications (1)

Publication Number Publication Date
WO2023085183A1 true WO2023085183A1 (ja) 2023-05-19

Family

ID=86335971

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040958 WO2023085183A1 (ja) 2021-11-10 2022-11-02 情報処理装置、情報処理方法および移動体

Country Status (1)

Country Link
WO (1) WO2023085183A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041656A (ja) * 2005-07-29 2007-02-15 Sony Corp 移動体制御方法および移動体
WO2013002280A1 (ja) * 2011-06-29 2013-01-03 Ｎｅｃシステムテクノロジー株式会社 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラムを記録した記録媒体
WO2019131198A1 (ja) * 2017-12-28 2019-07-04 ソニー株式会社 制御装置、および制御方法、プログラム、並びに移動体
US20210041887A1 (en) * 2019-08-06 2021-02-11 Boston Dynamics, Inc. Constrained Mobility Mapping
WO2021210492A1 (ja) * 2020-04-15 2021-10-21 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、情報処理方法、およびプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041656A (ja) * 2005-07-29 2007-02-15 Sony Corp 移動体制御方法および移動体
WO2013002280A1 (ja) * 2011-06-29 2013-01-03 Ｎｅｃシステムテクノロジー株式会社 三次元地物データ生成装置、三次元地物データ生成方法、および、三次元地物データ生成プログラムを記録した記録媒体
WO2019131198A1 (ja) * 2017-12-28 2019-07-04 ソニー株式会社 制御装置、および制御方法、プログラム、並びに移動体
US20210041887A1 (en) * 2019-08-06 2021-02-11 Boston Dynamics, Inc. Constrained Mobility Mapping
WO2021210492A1 (ja) * 2020-04-15 2021-10-21 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 情報処理装置、情報処理方法、およびプログラム

Similar Documents

Publication Publication Date Title
CN104869934B (zh) 利用三维跟踪传感器进行配准及导航
US10818099B2 (en) Image processing method, display device, and inspection system
US20150097777A1 (en) 3D Motion Interface Systems and Methods
JP3148045B2 (ja) 三次元物体ｃｇ作成装置
JP3991020B2 (ja) 画像表示方法及び画像表示システム
US7123214B2 (en) Information processing method and apparatus
JP2018008347A (ja) ロボットシステムおよび動作領域表示方法
TW201918348A (zh) 機械設備之定位系統及其方法
US20190249992A1 (en) Systems and methods for electronic mapping and localization within a facility
WO2023085183A1 (ja) 情報処理装置、情報処理方法および移動体
US20110037839A1 (en) Industrial robot, and methods for determining the position of an industrial robot relative to an object
JP4834524B2 (ja) ３次元形状測定方法およびその装置
CN112530022A (zh) 在虚拟环境中计算机实现模拟lidar传感器的方法
JP2004234549A (ja) 現実物体モデル作成方法
JP2000339465A (ja) ３次元形状の対応付け方法
US20040243538A1 (en) Interaction with a three-dimensional computer model
JP2023505322A (ja) ロボットをプログラムするための方法及びシステム
JP2022163836A (ja) ロボット画像の表示方法、コンピュータープログラム、及び、ロボット画像の表示システム
JP2016142577A (ja) 画像処理装置、画像処理方法、画像処理システム、及びプログラム
JP4488811B2 (ja) ロボット制御方法およびロボットシステム
WO2022181500A1 (ja) 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置
JP2924750B2 (ja) ３次元形状モデリング方法およびその装置
US20230214004A1 (en) Information processing apparatus, information processing method, and information processing program
JP2017208038A (ja) 画像処理装置、画像処理方法、画像処理システム及びプログラム
WO2023048018A1 (ja) 表示装置、表示装置の制御方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22892682

Country of ref document: EP

Kind code of ref document: A1