WO2024105855A1 - 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体 - Google Patents

移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2024105855A1
WO2024105855A1 PCT/JP2022/042725 JP2022042725W WO2024105855A1 WO 2024105855 A1 WO2024105855 A1 WO 2024105855A1 JP 2022042725 W JP2022042725 W JP 2022042725W WO 2024105855 A1 WO2024105855 A1 WO 2024105855A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
corner
present
imaging device
moving
Prior art date
Application number
PCT/JP2022/042725
Other languages
English (en)
French (fr)
Inventor
夏季 甲斐
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/042725 priority Critical patent/WO2024105855A1/ja
Publication of WO2024105855A1 publication Critical patent/WO2024105855A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B66—HOISTING; LIFTING; HAULING
    • B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
    • B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
    • B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
    • B66F9/075—Constructional features or details
    • B66F9/20—Means for actuating or controlling masts, platforms, or forks
    • B66F9/24—Electrical devices or systems

Definitions

  • the present disclosure relates to a moving target identification system, a moving target identification device, a target identification method, and a computer-readable medium.
  • Patent Document 1 describes estimating the position and orientation of the pallet based on the line segments of a bounding box (hereafter referred to as BB) that surrounds either the front of the pallet or one of the two holes captured by a camera. It also describes that the position and orientation of the pallet may be estimated according to BB data and reference data.
  • BB bounding box
  • Patent document 2 describes a method for determining whether a forklift is facing a pallet directly, based on whether the shape of the pallet included in the image is symmetrical.
  • the position and orientation of the pallet are calculated by comparing the length of the line segment of the BB and the BB data with reference data, so there is a possibility that the position and orientation of the pallet cannot be estimated with high accuracy.
  • Patent Document 2 The invention described in Patent Document 2 is based on whether the shape of the pallet contained in the image is symmetrical, so it cannot estimate the position and orientation of a pallet that is not directly facing the forklift.
  • Patent Documents 1 and 2 may not be able to efficiently estimate the position and orientation of the pallet.
  • the moving object identification system of the present disclosure comprises: A holding means for holding an object to be moved; a height acquisition means for acquiring a height of the imaging device attached to the holding means; a recognition means for recognizing a position of a corner present in a front surface of the moving object imaged by the imaging device; a search means for searching for similar data similar to the image of the moving object according to the acquired height of the imaging device and the position of a corner present in the front of the recognized moving object; an estimation means for estimating a position of a corner present on a rear surface of the moving object in accordance with the searched similar data; a determination means for determining a state of the moving object according to a recognized position of a corner present on the front surface of the moving object and an estimated position of a corner present on the rear surface of the moving object;
  • the moving object identification system includes:
  • the moving object identification device of the present disclosure is A holding means for holding an object to be moved; a height acquisition means for acquiring a height of the imaging device attached to the holding means; a recognition means for recognizing a position of a corner present in a front surface of the moving object imaged by the imaging device; a search means for searching for similar data similar to the image of the moving object according to the acquired height of the imaging device and the position of a corner present in the front of the recognized moving object; an estimation means for estimating a position of a corner present on a rear surface of the moving object in accordance with the searched similar data; a determination means for determining a state of the moving object according to a recognized position of a corner present on the front surface of the moving object and an estimated position of a corner present on the rear surface of the moving object;
  • the moving object identification device includes the following components:
  • the target identification method of the present disclosure includes: Taking an image of the object using an imaging device; Obtain the height of the imaging device; Recognizing the position of a corner present in front of the object imaged using an imaging device; Searching for similar data similar to the image of the object according to the acquired height of the imaging device and the position of a corner present in front of the recognized object; Estimating the position of a corner present on the rear surface of the object according to the searched similar data; The object identification method identifies the state of the object according to the recognized positions of corners present in front of the object and the estimated positions of corners present behind the object.
  • the computer readable medium of the present disclosure comprises: Taking an image of the object using an imaging device; Obtaining the height of the imaging device; Recognizing the position of a corner present in front of the object imaged using the imaging device; Searching for similar data similar to the image of the object according to the acquired height of the imaging device and the position of a corner present in front of the recognized object; Estimating the position of a corner present on the rear surface of the object according to the searched similar data;
  • a non-transitory computer-readable medium storing a program that causes an information processing device to identify the state of the object based on the recognized positions of corners in front of the object and the estimated positions of corners in the rear of the object.
  • This disclosure provides a moving target identification system that can efficiently estimate the position and orientation of a pallet.
  • FIG. 1 is a schematic diagram of a moving object identification system according to an embodiment; 1 is a block diagram showing a configuration of a moving target identification system according to an embodiment; 1 is a flowchart of a target identification method according to an embodiment.
  • 1 is a block diagram of a moving target identification system according to a first embodiment;
  • FIG. 2 is a diagram showing a hierarchy of a dictionary data section according to the first embodiment;
  • 1 is a flowchart of a target identification method according to a first embodiment;
  • 1A to 1C are diagrams illustrating recognition of the positions of front corners, search of dictionary data, and estimation of the positions of rear corners according to the first embodiment.
  • 11 is a diagram showing how the position and orientation of a moving object are obtained by solving a PnP problem from the positions of the front corners and the rear corners according to the first embodiment;
  • FIG. 1 is a schematic diagram of a moving target identification system according to an embodiment.
  • Fig. 2 is a block diagram showing a configuration of the moving target identification system according to the embodiment. The moving target identification system according to the embodiment will be described with reference to Figs. 1 and 2.
  • the moving target identification system 100 includes a moving object 101, a holding unit 102, an imaging device 103, a sensor 104, and an information processing device 105.
  • the moving body 101 is, for example, a forklift.
  • the moving body 101 can transport and move a moving object 701 (see FIG. 7) of a fixed shape using the holding unit 102.
  • the moving body 101 itself does not need to move. It is sufficient for the moving body 101 to be able to change the height of the moving object 701 using the holding unit 102.
  • the moving object 701 is, for example, a pallet, and has a fixed size.
  • the moving object 701 is a loading platform for carrying luggage.
  • the moving object 701 has a rectangular parallelepiped front. That is, there are four corner positions on the front of the moving object 701. Similarly, there are four corner positions on the rear of the moving object 701.
  • the moving object 701 has insertion holes at the corners on the front, and is lifted by inserting the holding unit 102 into them.
  • the holding unit 102 is, for example, a fork attached to a forklift.
  • the holding unit 102 is L-shaped when viewed from the side, and holds the object to be moved 701 by inserting the bottom part into the object to be moved 701.
  • the holding unit 102 can be moved up and down. Therefore, the height of the holding unit 102 can be changed.
  • the imaging device 103 is, for example, an RGB-D camera.
  • the RGB-D camera is a camera that outputs depth data and color data.
  • an RGB camera and a depth sensor may be used as the imaging device 103.
  • the imaging device 103 is attached to the holding unit 102, and captures images of the surroundings of the imaging device 103 and the moving object 701.
  • the imaging device 103 may be configured to provide driving assistance or automatic driving by capturing images of the surroundings of the imaging device 103. Also, by capturing an image of the moving object 701, the imaging device 103 can identify the position and orientation of the moving object 701 as described below.
  • the sensor 104 is a variety of sensors that sense the state of the moving body 101 or the holding part 102. Since the holding part 102 is attached to the moving body 101, the sensor 104 acquires in particular the height of the holding part 102 relative to the moving body 101. The sensor 104 may acquire the height of the holding part 102 based on operation information for the lift cylinder of the moving body 101. The sensor 104 may also measure the height of the holding part 102 from the ground. The sensor 104 may measure the height from the ground by attaching a LiDAR, laser sensor, radar sensor or ToF sensor, which is a sensor that measures distance, to the holding part 102.
  • the imaging device 103 Since the imaging device 103 is attached to the holding part 102, acquiring the height of the holding part 102 is synonymous with acquiring the height of the imaging device 103. By acquiring the height of the holding part 102 when the moving object 701 is imaged using the imaging device 103, the height of the imaging device 103 at the time of imaging can be acquired.
  • the sensor 104 may sense the position, speed, and distance from the moving object 701 to the holding unit 102 of the moving body 101 for driving assistance or automatic driving of the moving body 101.
  • the information processing device 105 processes data collected from various devices and sensors attached to the mobile body 101.
  • the information processing device 105 is network-connected to the mobile body 101, for example, via Wi-Fi (registered trademark), Bluetooth (registered trademark), or the like.
  • the information processing device includes at least one processor that executes instructions and at least one memory that stores instructions.
  • the information processing device 105 acquires images from the imaging device 103.
  • the information processing device 105 also acquires sensor information from the sensor 104.
  • the information processing device 105 issues control commands to the mobile body 101 and controls the mobile body 101 to provide driving assistance or automatic driving.
  • the information processing device 105 may include, for example, a machine learning device.
  • the information processing device 105 may distribute some or all of its functions to the cloud.
  • the information processing device 105 may be one device or multiple devices.
  • the information processing device 105 remotely controls the moving body 101, but the information processing device 105 may be installed in the moving body 101 and the moving body 101 may operate independently. In this case, it can be considered as one moving target identification device.
  • the position and orientation of the moving object 701 can be identified, it will be possible to assist the operator of the moving body 101 in operating it. Furthermore, it will be possible to contribute to the realization of automatic driving of the moving body 101.
  • the information processing device 105 includes an image acquisition unit 201, a height acquisition unit 202, a recognition unit 203, a search unit 204, an estimation unit 205, and a target identification unit 206.
  • the image acquisition unit 201 acquires an image from the imaging device 103 attached to the holding unit 102.
  • the image from the imaging device 103 may be a normal RGB image without depth information.
  • the image also includes a moving object 701.
  • the height acquisition unit 202 acquires the height of the holding unit 102 when the image is captured.
  • the height of the holding unit 102 when the image is captured is, in other words, the height of the imaging device 103 when the image is captured.
  • the recognition unit 203 recognizes the position of the corners present on the front side of the moving object 701 from the captured image. As described above, the positions of the four corners on the front side of the moving object 701, which is a rectangular parallelepiped, are recognized. Here, "recognizing" the positions of the four corners means identifying the positions where the four corners are present.
  • a known method can be used for the recognition. For example, the front side of the pallet may be cut out using the recognition result of the pallet hole, and the position P k of the corner on the front side of the pallet may be recognized using edge detection. Edge detection is a method of recognizing a portion where the change in the image is discontinuous according to the amount of change in the feature in the image.
  • the feature point information of the corner position may be machine-learned in advance, and the position P k of the corner on the front side may be recognized by inputting the image of the moving object 701 using feature point matching.
  • the position of the corner on the front side of the moving object may be recognized by inputting the image of the moving object to a machine learning device that has learned images of multiple moving objects .
  • the position of the corner on the front side of the moving object may be recognized by inputting the image of the moving object 701 using 6D Pose estimation technology using a convolutional neural network.
  • 6D Pose is information that represents the position and orientation of a target using three-axis rotation vectors and three-axis translation vectors.
  • the search unit 204 is a part that has the function of searching for similar data that resembles the image of the moving target 701 according to the height of the holding unit 102 when the image was captured and the position of the recognized corners on the front side of the moving target 701. Similar data is an image of the moving target 701 that has been stored in advance.
  • the search unit 204 stores similar data captured under many conditions.
  • the search unit 204 searches for similar data based on the height of the holding unit 102 when the image was captured.
  • the search unit 204 is a trained machine learning device that stores and learns from multiple combinations of the positions of the corners on the front side of the captured moving target 701 and the positions of the corners on the rear side as training data sets.
  • the estimation unit 205 is a part that has a function of estimating the position of a corner present on the rear surface of the moving object according to the searched similar data. In other words, when the position of a corner present on the front surface of the moving object 701 is input, the estimation unit 205 estimates the position of a corner present on the rear surface by using a trained machine learning device that outputs the position of a corner present on the rear surface of the moving object 701.
  • the target identification unit 206 is a part that has the function of identifying the state of the moving target 701 according to the position of a corner present on the front surface of the recognized moving target 701 and the position of a corner present on the rear surface of the estimated moving target 701.
  • the target identification unit 206 identifies the three-dimensional posture and position (6D Pose) of the moving target 701 by solving a PnP problem based on, for example, the position of a corner present on the front surface of the recognized moving target 701 and the position of a corner present on the rear surface of the estimated moving target 701.
  • the internal parameters of the imaging device 103 are known.
  • the size of the moving target 701 is also known.
  • the PnP problem can be solved using a known method.
  • the holding unit 102, image acquisition unit 201, height acquisition unit 202, recognition unit 203, search unit 204, estimation unit 205, and target identification unit 206 are used, but they may be read as holding means, acquisition means, recognition means, search means, estimation means, and target identification means.
  • the method of solving the PnP problem to find the 6D Pose from nine points, including the positions of the front corners, the rear corners, and the center position, may not be able to accurately estimate the 6D Pose when a large load is loaded and the rear of the pallet is not visible in the image or when learning is insufficient.
  • the moving object identification system disclosed herein it is possible to estimate the position and orientation of the object with higher accuracy than a technology that estimates the 6D Pose of the object based on a convolutional neural network when the rear of the moving object is not visible in the image or when learning of the moving object is insufficient. This can provide assistance to the operator of the moving object 101. Furthermore, it can contribute to the realization of autonomous driving of the moving object 101.
  • the moving target identification system can accurately identify the positions of corners on the rear surface in a short amount of time, allowing for stable identification of the position and orientation.
  • (Description of Target Identification Method of the Embodiment) 3 is a flowchart of the target identification method according to the embodiment. The target identification method according to the embodiment will be described with reference to FIG.
  • step S301 An image is captured (step S301).
  • An image of the target is captured using the imaging device 103.
  • the height of the imaging device is acquired (step S302).
  • the information processing device 105 acquires the height of the imaging device 103 at the time of capturing the image.
  • step S303 the positions of the corners on the front surface are recognized (step S303).
  • step S304 The information processing device 105 recognizes the positions of the corners present in front of the captured target.
  • similar data is searched for (step S304).
  • the information processing device 105 searches for similar data that is similar to the image of the target according to the height of the imaging device at the time of capturing the image and the positions of the corners present in front of the recognized target.
  • the position of the rear corner is estimated (step S305).
  • the information processing device 105 estimates the position of the corner present on the rear surface of the object according to the searched similar data.
  • the object is identified using the positions of the front corner and the rear corner (step S306).
  • the information processing device 105 identifies the state of the object according to the positions of the corners present on the front surface of the recognized object and the estimated positions of the corners present on the rear surface of the object.
  • the first embodiment is an example of an embodiment, and includes examples of non-essential configurations and operations.
  • Fig. 4 is a block diagram of a moving target identification system according to the first embodiment.
  • Fig. 5 is a diagram showing a hierarchy of a dictionary data section according to the first embodiment. The moving target identification system according to the first embodiment will be described with reference to Figs. 4 and 5.
  • the moving target identification system 400 differs from the moving target identification system 100 according to the first embodiment in that it further includes a moving body 101 and a dictionary data unit 401.
  • the dictionary data section 401 registers multiple similar data.
  • the similar data is a captured image of the moving object 701.
  • the dictionary data section 401 registers a large number of similar data captured from various heights and angles.
  • the dictionary data section 401 has a hierarchical structure.
  • the search unit 204 identifies similar data from the dictionary data unit 401 that has the same camera ID as the camera that captured the moving target 701, has a small error in the height of the holding unit 102 when captured, and has a small error in the position of the corners in front of the moving target 701.
  • the search unit 204 searches for similar data that resembles the image of the moving target 701. It is desirable that the similar data searched for by the search unit 204 be similar data that has the smallest error in the height of the holding unit 102 when captured, and has the smallest error in the position of the corners in front of the moving target 701.
  • ⁇ k is expressed by the following formula.
  • Dm is the point cloud data with the smallest error in the position of the corners present on the front surface.
  • the virtual point Pk is calculated from the reference point P1 using the above conversion formula ⁇ k .
  • the position of the corner on the rear surface which is a virtual point, is estimated from the position of the corner on the front surface. Then, by solving the PnP problem using the positions of the corners on the front surface and the corners on the rear surface, it is possible to estimate the 6D Pose with high accuracy.
  • FIG. 6 is a flowchart of the target identification method according to the first embodiment.
  • Fig. 7 is a diagram showing recognition of the front corner position, search of dictionary data, and estimation of the rear corner position according to the first embodiment.
  • Fig. 8 is a diagram showing how the position and orientation of a moving target are obtained by solving a PnP problem from the front corner position and the rear corner position according to the first embodiment. The target identification method according to the first embodiment will be described with reference to Figs. 6 to 8.
  • step S601 first an image is acquired (step S601).
  • the imaging device 103 captures an image showing a moving target 701.
  • the information processing device 105 acquires an imaging device ID (Identification), imaging device internal parameters, and imaging device height (step S602).
  • the internal parameters differ for each imaging device 103.
  • the internal parameters of the imaging device 103 are necessary when solving the PnP problem. Therefore, the information processing device 105 needs to acquire the imaging device ID and its internal parameters.
  • the information processing device 105 recognizes the positions of the corners on the front surface of the moving object (step S603). Next, the information processing device 105 searches for matching data from the dictionary data unit 401 (step S604). Next, the information processing device 105 estimates the positions of the corners on the rear surface of the moving object 701 (step S605). These three processes will be described with reference to FIG. 7.
  • the estimation method is a method of calculating a conversion equation ⁇ k from the reference point P1 to a virtual point Pk , which is the position of a corner existing in the rear surface, and converting from the reference point P1 to calculate the virtual point Pk .
  • the information processing device 105 solves the PnP problem using the positions of the front corners and the rear corners to specify the position and orientation (step S606).
  • P0 ( u0 , v0 ) is the center point of the moving object 701.
  • t of the 6D Pose which is the three-dimensional orientation of the moving object 701, is obtained.
  • a depth sensor it is also possible to use a depth sensor to perform 3D reconstruction of the front of the pallet and geometrically estimate the 6D pose of the pallet without solving the PnP problem.
  • a highly accurate depth sensor is required, and stable acquisition of distance information such as LiDAR is essential.
  • highly accurate estimation is difficult with an inexpensive RGB-D camera.
  • the position and orientation of a moving object can be estimated using an inexpensive RGB-D camera by solving the PnP problem using the positions of the front corners and the rear corners to identify the position and orientation.
  • the position and orientation of a moving object can be estimated with high accuracy by estimating the position of a corner on the rear surface of the moving object according to the position of a corner on the front surface of the moving object.
  • Non-transitory computer-readable media include various types of tangible recording media.
  • non-transitory computer-readable media examples include magnetic recording media (e.g., flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (e.g., magneto-optical disks), CD-ROMs (Read Only Memory), CD-Rs, CD-R/Ws, and semiconductor memories (e.g., mask ROMs, PROMs (Programmable ROMs), EPROMs (Erasable PROMs), flash ROMs, and RAMs (Random Access Memory)).
  • the program may also be supplied to the computer by various types of temporary computer-readable media. Examples of temporary computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • the temporary computer-readable medium can provide the program to the computer via a wired communication path, such as an electric wire or optical fiber, or via a wireless communication path.
  • a moving object identification system comprising: (Appendix 2) The moving object identification system according to claim 1, wherein the recognition means recognizes the position of
  • the moving object has a rectangular parallelepiped shape, The number of corner positions present on the front surface of the moving object is four; 2.
  • the holding means is a fork
  • the moving object is a pallet having a constant size
  • the imaging device is an RGB-D camera.
  • Appendix 8 The moving object identification system of claim 5, wherein the identification means identifies the three-dimensional posture and position of the moving object by solving a PnP problem using the recognized positions of corners on the front surface of the moving object and the estimated positions of corners on the rear surface of the moving object.
  • a moving object identification device comprising: (Appendix 10) The moving object identification device according to claim 9, wherein the recognition means recognizes the position of a corner present in front of the moving object according to an amount of change in a feature in an image.
  • the moving object identification device (Appendix 11) The moving object identification device according to claim 9, wherein the recognition means inputs an image of the moving object into a machine learning device that has learned images of a plurality of moving objects, and recognizes the position of a corner present in front of the moving object. (Appendix 12) A plurality of the similar data are registered in the dictionary data, The moving target identification device according to claim 9, wherein the search means searches for the similar data similar to the image of the moving target by identifying similar data having a similar height of the imaging device obtained from the dictionary data and having small error in the position of the corners present in front of the moving target. (Appendix 13) 10. The moving object identification device according to claim 9, wherein the state of the moving object is a three-dimensional posture and position of the moving object.
  • the moving object has a rectangular parallelepiped shape, The number of corner positions present on the front surface of the moving object is four; 10.
  • Appendix 16 The moving object identification device described in Appendix 13, wherein the identification means identifies the three-dimensional posture and position of the moving object by solving a PnP problem using the recognized position of a corner existing on the front surface of the moving object and the estimated position of a corner existing on the rear surface of the moving object.
  • a plurality of the similar data are registered in the dictionary data,
  • the target identification method according to claim 17, wherein the search searches for similar data similar to the image of the target by identifying similar data having a similar height of the imaging device acquired from the dictionary data and having small errors in the positions of corners present in front of the target.
  • Appendix 21 18.
  • the method of claim 17, wherein the state of the object is a three-dimensional posture and position of the object.
  • the object has a rectangular parallelepiped shape, the number of corner positions present in the front surface of the object is four; 18. The method of claim 17, wherein the number of corner positions present on the rear surface of the object is four.
  • Appendix 23 18. The method of claim 17, wherein the object is a palette of uniform size, and the imaging device is an RGB-D camera.
  • (Appendix 25) Taking an image of the object using an imaging device; Obtaining the height of the imaging device; Recognizing the position of a corner present in front of the object imaged using the imaging device; Searching for similar data similar to the image of the object according to the acquired height of the imaging device and the position of a corner present in front of the recognized object; Estimating the position of a corner present on the rear surface of the object according to the searched similar data;
  • a non-transitory computer-readable medium storing a program that causes an information processing device to identify the state of the object based on the recognized positions of corners in front of the object and the estimated positions of corners in the rear of the object.
  • Appendix 26 A non-transitory computer-readable medium storing the program of claim 25, wherein the recognition recognizes the position of a corner present in front of the object according to an amount of change in a feature in an image.
  • the recognition includes inputting an image of a target into a machine learning machine that has learned images of a plurality of targets to recognize the position of a corner present in front of the target.
  • Appendix 28 A plurality of the similar data are registered in the dictionary data, A non-transitory computer-readable medium storing a program as described in Appendix 25, wherein the search searches for similar data similar to the image of the target by identifying similar data that has a similar height of the imaging device obtained from the dictionary data and has small errors in the positions of corners in front of the target.
  • Appendix 29 26.
  • Appendix 30 The object has a rectangular parallelepiped shape, the number of corner positions present in the front surface of the object is four; 26.
  • Moving object identification system 101 Moving object, 102 Holding unit, 103 Imaging device, 104 Sensor, 105 Information processing device, 201 Image acquisition unit, 202 Height acquisition unit, 203 Recognition unit, 204 Search unit, 205 Estimation unit, 206 Object identification unit, 400 Moving object identification system, 401 Dictionary data unit, 701 Moving object

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Structural Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Civil Engineering (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geology (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)

Abstract

移動対象を保持する保持部（１０２）と、保持部に取り付けられる撮像装置（１０３）の高さを取得する高さ取得部（２０２）と、撮像装置を用いて撮像された移動対象の前面に存在する角の位置を認識する認識部（２０３）と、取得された撮像装置の高さと、認識された移動対象の前面に存在する角の位置に応じて、移動対象の画像に類似する類似データを探索する探索部（２０４）と、探索された類似データに応じて移動対象の後面に存在する角の位置を推定する推定部（２０５）と、認識された移動対象の前面に存在する角の位置と推定された移動対象の後面に存在する角の位置とに応じて、移動対象の状態を特定する対象特定部（２０６）と、を備える移動対象特定システムを提供する。

Description

移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体
　本開示は、移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体に関する。
　移動体がパレットを搬送するシステムにおいて、パレットの位置及び姿勢を判定する技術がある。特許文献１には、カメラによって撮像されたパレットの前面または２つの穴のどちらかを取り囲むバウンティングボックス（以下、ＢＢ）の線分に基づいて、パレットの位置と姿勢を推定することが記載されている。また、ＢＢのデータと基準のデータに応じて、パレットの位置と姿勢を推定してもよいことが記載されている。
　特許文献２には、画像に含まれるパレットの形状が左右対称か否かに基づいて、フォークリフトがパレットに正対しているか否かを判定することが記載されている。
特開２０２１－２４７１８号公報 特開２０２０－１０９０３０号公報
　特許文献１に記載の発明では、ＢＢの線分の長さ及びＢＢのデータと基準のデータとの比較によってパレットの位置姿勢を計算するため、高精度にパレットの位置姿勢を推定できない可能性がある。
　特許文献２に記載の発明では、画像に含まれるパレットの形状が左右対称であるか否かに基づいているため、フォークリフトと正対していないパレットの位置姿勢を推定することができない。
　したがって、特許文献１及び２に記載の発明では、効率的にパレットの位置姿勢を推定することができないおそれがある。
　本開示の移動対象特定システムは、
　移動対象を保持する保持手段と、
　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置に応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
　を備える移動対象特定システム
である。
　本開示の移動対象特定装置は、
　移動対象を保持する保持手段と、
　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置に応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
　を備える移動対象特定装置である。
　本開示の対象特定方法は、
　撮像装置を用いて対象の画像を撮像し、
　撮像装置の高さを取得し、
　撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置に応じて、前記対象の画像に類似する類似データを探索し、
　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定する、対象特定方法である。
　本開示のコンピュータ可読媒体は、
　撮像装置を用いて対象の画像を撮像し、
　前記撮像装置の高さを取得し、
　前記撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置に応じて、前記対象の画像に類似する類似データを探索し、
　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定することを情報処理装置に実行させるプログラムを格納する非一時的なコンピュータ可読媒体である。
　本開示によれば、効率的にパレットの位置姿勢を推定することができる移動対象特定システムを提供できる。
実施の形態にかかる移動対象特定システムの概略図である。 実施の形態にかかる移動対象特定システムの構成を示すブロック図である。 実施の形態にかかる対象特定方法のフローチャートである。 実施の形態１にかかる移動対象特定システムのブロック図である。 実施の形態１にかかる辞書データ部の階層を示す図である。 実施の形態１にかかる対象特定方法のフローチャートである。 実施の形態１にかかる前面の角の位置の認識、辞書データの探索、後面の角の位置の推定を示す図である。 実施の形態１にかかる前面の角の位置及び後面の角の位置から移動対象の位置姿勢を、ＰｎＰ問題を解いて求める図である。
　実施の形態
　以下、図面を参照して本発明の実施の形態について説明する。しかしながら、特許請求の範囲にかかる発明を以下の実施の形態に限定するものではない。また、実施の形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
（実施の形態の移動対象特定システムの説明）
　図１は、実施の形態にかかる移動対象特定システムの概略図である。図２は、実施の形態にかかる移動対象特定システムの構成を示すブロック図である。図１及び２を参照しながら、実施の形態にかかる移動対象特定システムを説明する。
　図１に示すように、実施の形態にかかる移動対象特定システム１００は、移動体１０１と、保持部１０２と、撮像装置１０３と、センサ１０４と、情報処理装置１０５と、を備える。
　移動体１０１は、例えばフォークリフトである。移動体１０１は、保持部１０２を用いて決まった形状の移動対象７０１（図７参照）を運搬し、移動することができる。移動体１０１自体は移動しなくてもよい。移動体１０１は、保持部１０２を用いて移動対象７０１の高さを変更できればよい。移動対象７０１は、例えばパレットであり、一定の大きさを有する。移動対象７０１は、荷物を運ぶための荷役台である。また、移動対象７０１は、前面が直方体形状をしている。すなわち移動対象７０１の前面に存在する角の位置は４つある。また、同様に、移動対象７０１の後面に存在する角の位置は４つある。移動対象７０１は、前面の角に差し込み穴があり、保持部１０２が差し込まれることで持ち上げられる。
　保持部１０２は、例えばフォークリフトに取り付けられたフォークである。保持部１０２は側面視でＬ字形状をしており、底部が移動対象７０１に差し込まれることで、移動対象７０１を保持する。保持部１０２は、上下に動かすことができる。したがって、保持部１０２は、高さを変えることができる。
　撮像装置１０３は、例えばＲＧＢ－Ｄカメラである。ＲＧＢ－Ｄカメラは、深度のデータと色のデータとを出力するカメラである。また、例えば、撮像装置１０３としてＲＧＢカメラとデプスセンサとを用いてもよい。撮像装置１０３は、複数あってもよい。撮像装置１０３は、保持部１０２に取り付けられ、撮像装置１０３の周囲及び移動対象７０１を撮像する。撮像装置１０３は、撮像装置１０３の周囲を撮像することで運転補助または自動運転ができるように構成されてもよい。また、撮像装置１０３が、移動対象７０１を撮像することで後述するように移動対象７０１の位置姿勢を特定できる。
　センサ１０４は、移動体１０１または保持部１０２の状態を感知する各種センサである。移動体１０１に保持部１０２が取り付けられているため、センサ１０４は、特に移動体１０１に対する保持部１０２の高さを取得する。センサ１０４は、移動体１０１のリフトシリンダへの操作情報に基づいて保持部１０２の高さを取得してもよい。また、センサ１０４は、保持部１０２の地面からの高さを測定してもよい。センサ１０４は、距離を測定するセンサであるＬｉＤＡＲ、レーザセンサ、レーダセンサまたはＴｏＦセンサを保持部１０２に取り付けて地面からの高さを測定してもよい。保持部１０２は、撮像装置１０３が取り付けられているので、保持部１０２の高さを取得することは撮像装置１０３の高さを取得することと同義である。撮像装置１０３を用いて移動対象７０１を撮像したときの保持部１０２の高さを取得することで、撮像したときの撮像装置１０３の高さが取得できる。センサ１０４は、移動体１０１の運転補助または自動運転のために移動体１０１の位置、速度、移動対象７０１から保持部１０２までの距離などを感知してもよい。
　情報処理装置１０５は、移動体１０１に取り付けられた各種装置及びセンサから集められたデータを処理する。情報処理装置１０５は、例えばＷｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などで移動体１０１とネットワーク接続される。情報処理装置は、指示を実行する少なくとも１つのプロセッサと、指示を記憶する少なくとも１つのメモリと、を備える。例えば、情報処理装置１０５は、撮像装置１０３からの画像を取得する。また、情報処理装置１０５は、センサ１０４からセンサ情報を取得する。さらに、情報処理装置１０５は、移動体１０１に制御命令を出し、移動体１０１を制御して運転補助または自動運転する。情報処理装置１０５は、例えば機械学習器を備えてもよい。また、情報処理装置１０５は、機能の一部または全部をクラウドに分散してもよい。さらに、情報処理装置１０５は、１つの装置でも複数の装置でもよい。ここでは、情報処理装置１０５が遠隔で移動体１０１を制御することを示したが、情報処理装置１０５が移動体１０１に設置され移動体１０１が独立に稼働する構成としてもよい。この場合、一つの移動対象特定装置とみなすことができる。
　移動対象７０１の位置姿勢を特定することができれば、移動体１０１の操作者の操作を補助できる。さらに、移動体１０１の自動運転の実現に貢献することができる。
　図２を参照しながら、実施の形態にかかる情報処理装置１０５の処理を説明する。図２に示すように、情報処理装置１０５は、画像取得部２０１と、高さ取得部２０２と、認識部２０３と、探索部２０４と、推定部２０５と、対象特定部２０６と、を備える。
　画像取得部２０１は、保持部１０２に取り付けられた撮像装置１０３からの画像を取得する。撮像装置１０３からの画像は、深さ方向の情報のない通常のＲＧＢ画像であってもよい。また、画像は、移動対象７０１が含まれる。
　高さ取得部２０２は、撮像したときの保持部１０２の高さを取得する。撮像したときの保持部１０２の高さは、すなわち撮像したときの撮像装置１０３の高さである。
　認識部２０３は、撮像された画像から移動対象７０１の前面に存在する角の位置を認識する。前述したように、直方体形状である移動対象７０１の前面の４つの角の位置を認識する。ここで４つの角の位置を「認識」するとは、４つの角が存在する位置を特定することを意味する。認識する方法は、既知の方法を用いることができる。例えば、パレット穴の認識結果を用いてパレット前面を切り出し、エッジ検出を用いてパレット前面の角の位置Ｐｋを認識してもよい。エッジ検出とは、画像内の特徴の変化量に応じて、画像内の変化が不連続な箇所を認識する方法である。また、角の位置の特徴点情報を予め機械学習しておき、特徴点マッチングを用いて、移動対象７０１の画像を入力して前面の角の位置Ｐｋを認識してもよい。複数の移動対象の画像を学習した機械学習器に、移動対象の画像を入力して移動対象の前面に存在する角の位置を認識してもよい。また、畳み込みニューラルネットワークを用いた６Ｄ　Ｐｏｓｅ推定技術を利用して移動対象７０１の画像を入力して前面の角の位置Ｐｋだけを認識してもよい。６Ｄ　Ｐｏｓｅとは、３軸の回転ベクトルと３軸の並進ベクトルで対象の位置姿勢を表す情報である。
　探索部２０４は、撮像したときの保持部１０２の高さと、認識された移動対象７０１の前面の角の位置に応じて、移動対象７０１の画像に類似する類似データを探索する機能を有する部分である。類似データとは、予め記憶した移動対象７０１の画像である。探索部２０４は、多くの条件で撮像した類似データを記憶している。探索部２０４は、撮像したときの保持部１０２の高さに基づいて類似データを探索する。探索部２０４は、撮像した移動対象７０１の前面の角の位置と後面に存在する角の位置の組み合わせを訓練データセットとして、複数記憶し、学習した学習済みの機械学習器である。
　推定部２０５は、探索された類似データに応じて移動対象の後面に存在する角の位置を推定する機能を有する部分である。すなわち、推定部２０５は、移動対象７０１の前面に存在する角の位置が入力されると、移動対象７０１の後面に存在する角の位置が出力される学習済み機械学習器などにより後面に存在する角の位置を推定する。
　対象特定部２０６は、認識された移動対象７０１の前面に存在する角の位置と推定された移動対象７０１の後面に存在する角の位置とに応じて、移動対象７０１の状態を特定する機能を有する部分である。対象特定部２０６は、例えば、認識された移動対象７０１の前面に存在する角の位置と推定された移動対象７０１の後面に存在する角の位置に基づいてＰｎＰ問題を解くことにより移動対象７０１の３次元の姿勢及び位置（６Ｄ　Ｐｏｓｅ）を特定する。ＰｎＰ問題を解くために、撮像装置１０３の内部のパラメータは既知である。また、移動対象７０１の大きさも既知である。ＰｎＰ問題は公知の方法を用いて解くことができる。
　実施の形態の説明において、保持部１０２、画像取得部２０１、高さ取得部２０２、認識部２０３、探索部２０４、推定部２０５、対象特定部２０６としたが、保持手段、取得手段、認識手段、探索手段、推定手段、対象特定手段と読み替えてもよい。
　前面の角の位置、後面の角の位置と、中心位置の９点からＰｎＰ問題を解き６Ｄ　Ｐｏｓｅを求める方法は、大型の荷物を積載してパレットの後方が画像に映っていない場合や学習が不十分な場合は、６Ｄ　Ｐｏｓｅを精度よく推定できない可能性があった。本開示の移動対象特定システムを用いることで、移動対象の後方が画像に映っていない場合、移動対象の学習が不十分な場合に畳み込みニューラルネットワークベースで対象の６Ｄ　Ｐｏｓｅを推定する技術よりも、高精度に対象の位置姿勢を推定することができる。そのため、移動体１０１の操作者の補助ができる。さらに、移動体１０１の自動運転の実現に貢献できるようになる。
　ＢＢのデータのみでパレットの位置姿勢を推定する場合、ＢＢのデータを取得した後、何らかの方法を用いて角の位置を推定しなければならない。そのため、計算が安定しない可能性がある。しかしながら、実施の形態にかかる移動対象特定システムは、短時間で精度よく後面に存在する角の位置を特定できるため、位置姿勢を安定して特定できる。
（実施の形態の対象特定方法の説明）
　図３は、実施の形態にかかる対象特定方法のフローチャートである。図３を参照しながら、実施の形態にかかる対象特定方法を説明する。
　図３に示すように、始めに画像を撮像する（ステップＳ３０１）。撮像装置１０３を用いて対象の画像を撮像する。次に、撮像装置の高さを取得する（ステップＳ３０２）。情報処理装置１０５は、撮像したときの撮像装置１０３の高さを取得する。次に、前面の角の位置を認識する（ステップＳ３０３）。情報処理装置１０５は、撮像された対象の前面に存在する角の位置を認識する。次に類似データを探索する（ステップＳ３０４）。情報処理装置１０５は、撮像したときの撮像装置の高さと、認識された対象の前面に存在する角の位置に応じて、対象の画像に類似する類似データを探索する。
　次に、後面の角の位置を推定する（ステップＳ３０５）。情報処理装置１０５は、探索された類似データに応じて対象の後面に存在する角の位置を推定する。次に、前面の角の位置と後面の角の位置を用いて対象を特定する（ステップＳ３０６）。情報処理装置１０５は、認識された対象の前面に存在する角の位置と推定された対象の後面に存在する角の位置とに応じて、対象の状態を特定する。
　このような対象特定方法を用いることで、関連する技術より効率よく、前面に存在する角の位置から６Ｄ　Ｐｏｓｅを算出する方法よりも精度よく、対象の位置姿勢を求めることができる。
（実施の形態１にかかる移動対象特定システムの説明）
　実施の形態１は、実施の形態の一例を示す形態であり、必須ではない構成や動作の例示を含む。図４は、実施の形態１にかかる移動対象特定システムのブロック図である。図５は、実施の形態１にかかる辞書データ部の階層を示す図である。図４及び５を参照しながら、実施の形態１にかかる移動対象特定システムを説明する。
　図４に示すように、実施の形態１にかかる移動対象特定システム４００は、さらに移動体１０１と、辞書データ部４０１を備える点で、実施の形態にかかる移動対象特定システム１００と異なる。
　辞書データ部４０１は、類似データを複数登録する。類似データは、移動対象７０１の画像を撮像したものである。辞書データ部４０１は、様々な高さ、角度から撮影した類似データを数多く登録している。
　図５に示すように、辞書データ部４０１は、階層構造になっている。辞書データ部４０１は、保持部１０２に取り付けられた複数のカメラＣｉｄ（ｉｄ＝１，２，・・）に対して、それぞれ保持部１０２の高さＨｉ（ｉ＝１，２，・・）で撮影された類似データが保存される。類似データは、様々な前面に存在する角の位置Ｐ１（ｕ，ｖ）、Ｐ２（ｕ，ｖ）、Ｐ５（ｕ，ｖ）、Ｐ６（ｕ，ｖ）、と後面に存在する角の位置Ｐ３（ｕ，ｖ）、Ｐ４（ｕ，ｖ）、Ｐ７（ｕ，ｖ）、Ｐ８（ｕ，ｖ）を備える点群データＤｉ（ｉ＝１，２，・・）が登録される。
　探索部２０４は、移動対象７０１を撮像したカメラと同じカメラのｉｄで、撮像したときの保持部１０２の高さの誤差が小さく、移動対象７０１の前面に存在する角の位置の誤差が少ない類似データを辞書データ部４０１の中から特定する。それにより、探索部２０４は、移動対象７０１の画像に類似する類似データを探索する。探索部２０４が探索する類似データは、撮像したときの保持部１０２の高さの誤差が最も小さく、移動対象７０１の前面に存在する角の位置の誤差が最も少ない類似データが望ましい。
　類似データが発見され、完全に移動対象の画像と一致すればその類似データの後面に存在する角の位置を用いる。しかしながら、移動対象の画像と完全に一致する類似データは少なく、その場合、次の算出方法で後面に存在する角の位置を推定する。
　まず、例えばＰ１などの基準点から仮想点Ｐｋまでの変換式λｋを算出する。
　λｋは以下の式で表される。
Figure JPOXMLDOC01-appb-M000001
 　ここでＤｍは、前面に存在する角の位置の誤差が最も小さい点群データである。
　そして、基準点Ｐ１から上記変換式λｋを用いて仮想点Ｐｋを算出する。
Figure JPOXMLDOC01-appb-M000002
　このように前面に存在する角の位置から仮想点である後面に存在する角の位置を推定する。そして、前面に存在する角の位置と後面に存在する角の位置を用いてＰｎＰ問題を解くことで高精度に６Ｄ　Ｐｏｓｅを推定可能である。
　このようにすることで、効率的にパレットの位置姿勢を推定することができる。
（実施の形態１にかかる対象特定方法の説明）
　図６は、実施の形態１にかかる対象特定方法のフローチャートである。図７は、実施の形態１にかかる前面の角の位置の認識、辞書データの探索、後面の角の位置の推定を示す図である。図８は、実施の形態１にかかる前面の角の位置及び後面の角の位置から移動対象の位置姿勢を、ＰｎＰ問題を解いて求める図である。図６乃至図８を参照しながら、実施の形態１にかかる対象特定方法を説明する。
　図６に示すように、始めに画像を取得する（ステップＳ６０１）。撮像装置１０３が、移動対象７０１を映した画像を撮像する。次に、情報処理装置１０５は、撮像装置ＩＤ（Identification）、撮像装置内部パラメータ、撮像装置高さを取得する（ステップＳ６０２）。撮像装置１０３ごとに内部パラメータが異なる。撮像装置１０３の内部パラメータは、ＰｎＰ問題を解く際に必要になる。そのため、情報処理装置１０５は、撮像装置ＩＤとその内部パラメータを取得する必要がある。
　次に情報処理装置１０５は、移動対象の前面の角の位置を認識する（ステップＳ６０３）。次に情報処理装置１０５は、辞書データ部４０１からマッチングするデータを探索する（ステップＳ６０４）。次に情報処理装置１０５は、移動対象７０１の後面の角の位置を推定する（ステップＳ６０５）。これらの３つの処理を、図７を参照しながら説明する。
　図７の左上にあるように、移動対象７０１の前面に存在する角の位置Ｐ１、Ｐ２、Ｐ５、Ｐ６の４つが、機械学習などを用いて認識される。次に図７の下にあるように辞書データ部４０１から、類似データが探索される。撮像装置１０３が一致し、撮像装置の高さの誤差が最も小さく、撮像画像と最も前面の角の位置が一致する類似データを見つけて、図７の左上にあるように後面に存在する角の位置Ｐ３、Ｐ４、Ｐ７、Ｐ８の４つを推定する。推定方法は、上記で説明したように、基準点Ｐ１から後面に存在する角の位置である仮想点Ｐｋへの変換式λｋを算出し、基準点Ｐ１から変換して仮想点Ｐｋを算出する方法である。
　最後に、情報処理装置１０５は、前面の角の位置と後面の角の位置を用いてＰｎＰ問題を解いて位置姿勢を特定する（ステップＳ６０６）。図８に示すように、情報処理装置１０５は、移動対象７０１の角の位置であるＰｋ（ｕｋ，ｖｋ）（ｋ＝０，１・・・）を用いてＰｎＰ問題を解く。ここでＰ０（ｕ０、ｖ０）は、移動対象７０１の中心点である。ＰｎＰ問題を解くと、移動対象７０１の３次元の姿勢である６Ｄ　ＰｏｓｅのＲ｜ｔが求まる。
　６Ｄ　Ｐｏｓｅが推定できることにより、移動体１０１をどの程度の旋回半径で何度旋回した場合、移動体１０１が移動対象７０１と正対できるかなどを計算できるようになる。
　ＰｎＰ問題を解かずに、Ｄｅｐｔｈセンサを用いてパレット前面を３Ｄ復元して幾何学的にパレットの６Ｄ　Ｐｏｓｅを推定することも可能である。しかしながら、その場合高精度なＤｅｐｔｈセンサが必要になり、ＬｉＤＡＲのような安定した距離情報の取得が必須となる。そのため、安価なＲＧＢ－Ｄカメラでは高精度な推定は困難である。上記のように、前面の角の位置と後面の角の位置を用いてＰｎＰ問題を解いて位置姿勢を特定することで安価なＲＧＢ－Ｄカメラを用いて、移動対象の位置姿勢を推定できる。
　実施の形態及び実施の形態１に開示により、移動対象の前面に存在する角の位置に応じて、移動対象の後面に存在する角の位置を推定することにより、移動対象の位置姿勢を高精度に推定することができる。
　また、上述した情報処理装置１０５における処理の一部又は全部は、コンピュータプログラムとして実現可能である。このようなプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上記の実施の形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
　移動対象を保持する保持手段と、
　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置に応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
　を備える移動対象特定システム。
（付記２）
　前記認識手段は、画像内の特徴の変化量に応じて、前記移動対象の前面に存在する角の位置を認識する、付記１に記載の移動対象特定システム。
（付記３）
　前記認識手段は、複数の移動対象の画像を学習した機械学習器に、前記移動対象の画像を入力して前記移動対象の前面に存在する角の位置を認識する、付記１に記載の移動対象特定システム。
（付記４）
　前記類似データは、辞書データに複数登録され、
　前記探索手段は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記移動対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記移動対象の画像に類似する前記類似データを探索する、付記１に記載の移動対象特定システム。
（付記５）
　前記移動対象の状態は、前記移動対象の３次元の姿勢及び位置である、付記１に記載の移動対象特定システム。
（付記６）
　前記移動対象は直方体形状であり、
　前記移動対象の前面に存在する角の位置の数は、４つであり、
　前記移動対象の後面に存在する角の位置の数は、４つである、付記１に記載の移動対象特定システム。
（付記７）
　前記保持手段は、フォークであり、前記移動対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、付記１に記載の移動対象特定システム。
（付記８）
　前記特定手段は、認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置を用いてＰｎＰ問題を解くことにより前記移動対象の３次元の姿勢及び位置を特定する、付記５に記載の移動対象特定システム。
（付記９）
　移動対象を保持する保持手段と、
　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置に応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
　を備える移動対象特定装置。
（付記１０）
　前記認識手段は、画像内の特徴の変化量に応じて前記移動対象の前面に存在する角の位置を認識する、付記９に記載の移動対象特定装置。
（付記１１）
　前記認識手段は、複数の移動対象の画像を学習した機械学習器に、前記移動対象の画像を入力して前記移動対象の前面に存在する角の位置を認識する、付記９に記載の移動対象特定装置。
（付記１２）
　前記類似データは、辞書データに複数登録され、
　前記探索手段は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記移動対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記移動対象の画像に類似する前記類似データを探索する、付記９に記載の移動対象特定装置。
（付記１３）
　前記移動対象の状態は、前記移動対象の３次元の姿勢及び位置である、付記９に記載の移動対象特定装置。
（付記１４）
　前記移動対象は直方体形状であり、
　前記移動対象の前面に存在する角の位置の数は、４つであり、
　前記移動対象の後面に存在する角の位置の数は、４つである、付記９に記載の移動対象特定装置。
（付記１５）
　前記保持手段は、フォークであり、前記移動対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、付記９に記載の移動対象特定装置。
（付記１６）
　前記特定手段は、認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置を用いてＰｎＰ問題を解くことにより前記移動対象の３次元の姿勢及び位置を特定する、付記１３に記載の移動対象特定装置。
（付記１７）
　撮像装置を用いて対象の画像を撮像し、
　撮像装置の高さを取得し、
　撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置に応じて、前記対象の画像に類似する類似データを探索し、
　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定する、対象特定方法。
（付記１８）
　前記認識は、画像内の特徴の変化量に応じて、前記対象の前面に存在する角の位置を認識する、付記１７に記載の対象特定方法。
（付記１９）
　前記認識は、複数の対象の画像を学習した機械学習器に、前記対象の画像を入力して前記対象の前面に存在する角の位置を認識する、付記１７に記載の対象特定方法。
（付記２０）
　前記類似データは、辞書データに複数登録され、
　前記探索は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記対象の画像に類似する前記類似データを探索する、付記１７に記載の対象特定方法。
（付記２１）
　前記対象の状態は、前記対象の３次元の姿勢及び位置である、付記１７に記載の対象特定方法。
（付記２２）
　前記対象は直方体形状であり、
　前記対象の前面に存在する角の位置の数は、４つであり、
　前記対象の後面に存在する角の位置の数は、４つである、付記１７に記載の対象特定方法。
（付記２３）
　前記対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、付記１７に記載の対象特定方法。
（付記２４）
　前記特定は、認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置を用いてＰｎＰ問題を解くことにより前記対象の３次元の姿勢及び位置を特定する、付記２１に記載の対象特定方法。
（付記２５）
　撮像装置を用いて対象の画像を撮像し、
　前記撮像装置の高さを取得し、
　前記撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置に応じて、前記対象の画像に類似する類似データを探索し、
　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定することを情報処理装置に実行させるプログラムを格納する非一時的なコンピュータ可読媒体。
（付記２６）
　前記認識は、画像内の特徴の変化量に応じて、前記対象の前面に存在する角の位置を認識する、付記２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記２７）
　前記認識は、複数の対象の画像を学習した機械学習器に、前記対象の画像を入力して前記対象の前面に存在する角の位置を認識する、付記２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記２８）
　前記類似データは、辞書データに複数登録され、
　前記探索は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記対象の画像に類似する前記類似データを探索する、付記２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記２９）
　前記対象の状態は、前記対象の３次元の姿勢及び位置である、付記２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記３０）
　前記対象は直方体形状であり、
　前記対象の前面に存在する角の位置の数は、４つであり、
　前記対象の後面に存在する角の位置の数は、４つである、付記２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記３１）
　前記対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、請求項２５に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
（付記３２）
　前記特定は、認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置を用いてＰｎＰ問題を解くことにより前記対象の３次元の姿勢及び位置を特定する、付記２９に記載のプログラムを格納する非一時的なコンピュータ可読媒体。
１００　移動対象特定システム、１０１　移動体、１０２　保持部、１０３　撮像装置、１０４　センサ、１０５　情報処理装置、２０１　画像取得部、２０２　高さ取得部、２０３　認識部、２０４　探索部、２０５　推定部、２０６　対象特定部、４００　移動対象特定システム、４０１　辞書データ部、７０１　移動対象

Claims (20)

  1. 　移動対象を保持する保持手段と、
    　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
    　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
    　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置とに応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
    　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
    　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
    　を備える移動対象特定システム。
  2. 　前記認識手段は、画像内の特徴の変化量に応じて、前記移動対象の前面に存在する角の位置を認識する、請求項１に記載の移動対象特定システム。
  3. 　前記認識手段は、複数の移動対象の画像を学習した機械学習器に、前記移動対象の画像を入力して前記移動対象の前面に存在する角の位置を認識する、請求項１に記載の移動対象特定システム。
  4. 　前記類似データは、辞書データに複数登録され、
    　前記探索手段は、前記辞書データの中から、取得された前記撮像装置の高さが類似し、前記移動対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記移動対象の画像に類似する前記類似データを探索する、請求項１に記載の移動対象特定システム。
  5. 　前記移動対象の状態は、前記移動対象の３次元の姿勢及び位置である、請求項１に記載の移動対象特定システム。
  6. 　前記移動対象は直方体形状であり、
    　前記移動対象の前面に存在する角の位置の数は、４つであり、
    　前記移動対象の後面に存在する角の位置の数は、４つである、請求項１に記載の移動対象特定システム。
  7. 　前記保持手段は、フォークであり、前記移動対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、請求項１に記載の移動対象特定システム。
  8. 　移動対象を保持する保持手段と、
    　前記保持手段に取り付けられる撮像装置の高さを取得する高さ取得手段と、
    　前記撮像装置を用いて撮像された前記移動対象の前面に存在する角の位置を認識する認識手段と、
    　取得された前記撮像装置の高さと、認識された前記移動対象の前面に存在する角の位置とに応じて、前記移動対象の画像に類似する類似データを探索する探索手段と、
    　探索された前記類似データに応じて前記移動対象の後面に存在する角の位置を推定する推定手段と、
    　認識された前記移動対象の前面に存在する角の位置と推定された前記移動対象の後面に存在する角の位置とに応じて、前記移動対象の状態を特定する特定手段と、
    　を備える移動対象特定装置。
  9. 　前記認識手段は、画像内の特徴の変化量に応じて前記移動対象の前面に存在する角の位置を認識する、請求項８に記載の移動対象特定装置。
  10. 　前記認識手段は、複数の移動対象の画像を学習した機械学習器に、前記移動対象の画像を入力して前記移動対象の前面に存在する角の位置を認識する、請求項８に記載の移動対象特定装置。
  11. 　前記類似データは、辞書データに複数登録され、
    　前記探索手段は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記移動対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記移動対象の画像に類似する前記類似データを探索する、請求項８に記載の移動対象特定装置。
  12. 　前記移動対象の状態は、前記移動対象の３次元の姿勢及び位置である、請求項８に記載の移動対象特定装置。
  13. 　前記移動対象は直方体形状であり、
    　前記移動対象の前面に存在する角の位置の数は、４つであり、
    　前記移動対象の後面に存在する角の位置の数は、４つである、請求項８に記載の移動対象特定装置。
  14. 　前記保持手段は、フォークであり、前記移動対象は大きさが一定であるパレットであり、前記撮像装置は、ＲＧＢ－Ｄカメラである、請求項８に記載の移動対象特定装置。
  15. 　撮像装置を用いて対象の画像を撮像し、
    　撮像装置の高さを取得し、
    　撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
    　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置とに応じて、前記対象の画像に類似する類似データを探索し、
    　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
    　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定する、対象特定方法。
  16. 　前記認識は、画像内の特徴の変化量に応じて、前記対象の前面に存在する角の位置を認識する、請求項１５に記載の対象特定方法。
  17. 　前記認識は、複数の対象の画像を学習した機械学習器に、前記対象の画像を入力して前記対象の前面に存在する角の位置を認識する、請求項１５に記載の対象特定方法。
  18. 　前記類似データは、辞書データに複数登録され、
    　前記探索は、前記辞書データの中から取得された前記撮像装置の高さが類似し、前記対象の前面に存在する角の位置の誤差が少ない類似データを特定することによって、前記対象の画像に類似する前記類似データを探索する、請求項１５に記載の対象特定方法。
  19. 　前記対象の状態は、前記対象の３次元の姿勢及び位置である、請求項１７に記載の対象特定方法。
  20. 　撮像装置を用いて対象の画像を撮像し、
    　前記撮像装置の高さを取得し、
    　前記撮像装置を用いて撮像された前記対象の前面に存在する角の位置を認識し、
    　取得された前記撮像装置の高さと、認識された前記対象の前面に存在する角の位置に応じて、前記対象の画像に類似する類似データを探索し、
    　探索された前記類似データに応じて前記対象の後面に存在する角の位置を推定し、
    　認識された前記対象の前面に存在する角の位置と推定された前記対象の後面に存在する角の位置とに応じて、前記対象の状態を特定することを情報処理装置に実行させるプログラムを格納する非一時的なコンピュータ可読媒体。
PCT/JP2022/042725 2022-11-17 2022-11-17 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体 WO2024105855A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/042725 WO2024105855A1 (ja) 2022-11-17 2022-11-17 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/042725 WO2024105855A1 (ja) 2022-11-17 2022-11-17 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2024105855A1 true WO2024105855A1 (ja) 2024-05-23

Family

ID=91084045

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/042725 WO2024105855A1 (ja) 2022-11-17 2022-11-17 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2024105855A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013086959A (ja) * 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
JP2018077837A (ja) * 2016-10-28 2018-05-17 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム
JP2020109030A (ja) * 2019-01-04 2020-07-16 三菱ロジスネクスト株式会社 判定装置、判定方法及びプログラム
WO2021256103A1 (ja) * 2020-06-19 2021-12-23 日本電気株式会社 測位装置、推定方法、及び非一時的なコンピュータ可読媒体

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013086959A (ja) * 2011-10-21 2013-05-13 Sumitomo Heavy Ind Ltd フォークリフトのフォーク位置決め支援装置および方法
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
JP2018077837A (ja) * 2016-10-28 2018-05-17 Ｊｆｅスチール株式会社 位置認識方法およびシステム、ならびに異常判定方法およびシステム
JP2020109030A (ja) * 2019-01-04 2020-07-16 三菱ロジスネクスト株式会社 判定装置、判定方法及びプログラム
WO2021256103A1 (ja) * 2020-06-19 2021-12-23 日本電気株式会社 測位装置、推定方法、及び非一時的なコンピュータ可読媒体

Similar Documents

Publication Publication Date Title
US10776651B2 (en) Material handling method, apparatus, and system for identification of a region-of-interest
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
JP4533659B2 (ja) レーザー計測により地図画像を生成する装置及び方法
US11227434B2 (en) Map constructing apparatus and map constructing method
US11320822B2 (en) Unmanned transport vehicle, method of controlling unmanned transport vehicle, and storage medium
US11667036B2 (en) Workpiece picking device and workpiece picking method
JP2017120551A (ja) 自律走行装置
US20240221350A1 (en) Method and computing system for generating a safety volume list for object detection
US20230297068A1 (en) Information processing device and information processing method
WO2024105855A1 (ja) 移動対象特定システム、移動対象特定装置、対象特定方法及びコンピュータ可読媒体
US11762394B2 (en) Position detection apparatus, position detection system, remote control apparatus, remote control system, position detection method, and program
US11282230B2 (en) Information processing apparatus, information processing method, and program
Fontana et al. A comparative assessment of parcel box detection algorithms for industrial applications
US20220291009A1 (en) Information processing apparatus, information processing method, and storage medium
US20220355474A1 (en) Method and computing system for performing robot motion planning and repository detection
Varga et al. Improved autonomous load handling with stereo cameras
JP7427569B2 (ja) 状態判定装置、状態判定システム及び状態判定方法
Sopauschke et al. Smart process observer for crane automation
CN115797446A (zh) 货架定位方法、货架对接方法以及装置、设备、介质
JP5626011B2 (ja) プログラム及び画像処理装置
US20240037785A1 (en) Method for mapping location codes
US20240217792A1 (en) Vehicle control apparatus, control method, and non-transitory computer readable medium
US20210318690A1 (en) Positioning device
US11715229B2 (en) Moving body and system
Nowak et al. Leveraging object recognition in reliable vehicle localization from monocular images

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22965831

Country of ref document: EP

Kind code of ref document: A1