WO2020235320A1 - 異物検出システムおよび方法 - Google Patents

異物検出システムおよび方法 Download PDF

Info

Publication number
WO2020235320A1
WO2020235320A1 PCT/JP2020/018166 JP2020018166W WO2020235320A1 WO 2020235320 A1 WO2020235320 A1 WO 2020235320A1 JP 2020018166 W JP2020018166 W JP 2020018166W WO 2020235320 A1 WO2020235320 A1 WO 2020235320A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
foreign matter
target area
matter detection
detection system
Prior art date
Application number
PCT/JP2020/018166
Other languages
English (en)
French (fr)
Inventor
浩昭 今泉
謙一 ▲濱▼口
賢貴 西村
中村　健一
Original Assignee
株式会社Ihi
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ihi filed Critical 株式会社Ihi
Priority to SG11202110452QA priority Critical patent/SG11202110452QA/en
Publication of WO2020235320A1 publication Critical patent/WO2020235320A1/ja

Links

Images

Classifications

    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H6/00—Buildings for parking cars, rolling-stock, aircraft, vessels or like vehicles, e.g. garages
    • E04H6/08—Garages for many vehicles
    • E04H6/12—Garages for many vehicles with mechanical means for shifting or lifting vehicles
    • E04H6/18—Garages for many vehicles with mechanical means for shifting or lifting vehicles with means for transport in vertical direction only or independently in vertical and horizontal directions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01V—GEOPHYSICS; GRAVITATIONAL MEASUREMENTS; DETECTING MASSES OR OBJECTS; TAGS
    • G01V8/00—Prospecting or detecting by optical means
    • G01V8/10—Detecting, e.g. by using light barriers
    • G01V8/20—Detecting, e.g. by using light barriers using multiple transmitters or receivers

Definitions

  • This disclosure relates to a system and a method for detecting a foreign substance in a target area such as a parking lot.
  • a mechanism for detecting such a foreign substance may be widely required not only in a mechanical parking lot but also in a place where some operation is performed around a stopped vehicle such as a power supply facility for an electric vehicle. Further, the same mechanism can be widely applied not only to a vehicle but also to a situation where foreign matter is desired to be detected around some object.
  • the present disclosure includes an image pickup device for acquiring an image in a target area, an image processing unit for storing a program for detecting an object in an image acquired by the image pickup device by using deep learning, and an image processing unit from the inside of the target area. It is provided with a boundary determination unit that determines the positional relationship between the transparent unit that can visually recognize the outside and surrounding objects, and masks the area occupied by the transparent unit on the image acquired by the imaging device. This applies to a foreign matter detection system configured to detect an object by a program using deep learning based on the image that has passed through.
  • the mask processing may be configured to be performed by the imaging device.
  • the mask processing may be configured to be performed by the image processing unit.
  • the boundary determination unit can be an object sensor configured to be able to detect the presence or absence of an object in the boundary area with the external space in the target area.
  • the object sensor can be configured to detect an irradiation wave irradiated along a surface formed by the transmission portion.
  • the boundary determination unit is acquired by the image pickup apparatus based on the positional relationship between the position of the object in the image acquired by the image pickup apparatus and the region occupied by the transmission portion in the image. It can be configured to determine whether the object detected in the image is inside or outside the target area.
  • the target area can be an entry / exit space for a mechanical parking lot.
  • an image acquisition step of acquiring an image in the target area and a masking process are applied to an area occupied by a transparent portion that can visually recognize the outside from the inside of the target area with respect to the image acquired in the image acquisition step.
  • the mask processing step to be applied the first object detection step of detecting an object by a program using deep learning based on the image obtained through the mask processing step, and the second detection of the presence or absence of an object in the boundary region of the target region. It relates to a foreign matter detection method including the object detection step of the above.
  • the present disclosure includes an image acquisition step of acquiring an image in a target region, an object detection step of detecting an object by a program using deep learning based on the image acquired in the image acquisition step, and the inside of the image.
  • the object detected in the image is inside or outside the target area based on the positional relationship between the position of the object in the image and the area occupied by the transmissive portion that can visually recognize the outside from the inside of the target area. It relates to a foreign matter detection method including a position determination step of determining whether or not the object is present.
  • the target area can be an entry / exit space for a mechanical parking lot.
  • FIG. 1 is a schematic plan view illustrating an arrangement of devices in the foreign matter detection system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a system configuration of a foreign matter detection system according to the first embodiment of the present disclosure.
  • FIG. 3 is a diagram showing an example of an image acquired in the first embodiment of the present disclosure.
  • FIG. 4 is a diagram showing an example of an image acquired in the first embodiment of the present disclosure and partially masked.
  • FIG. 5 is a diagram showing another example of an image acquired in the first embodiment of the present disclosure and partially masked.
  • FIG. 6 is a flowchart illustrating an example of the procedure of the foreign matter detection method according to the first embodiment of the present disclosure.
  • FIG. 1 is a schematic plan view illustrating an arrangement of devices in the foreign matter detection system according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a system configuration of a foreign matter detection system according to the first embodiment of the present disclosure.
  • FIG. 3
  • FIG. 7 is a schematic plan view illustrating the arrangement of the device in the foreign matter detection system according to the second embodiment of the present disclosure.
  • FIG. 8 is a block diagram illustrating a system configuration of the foreign matter detection system according to the second embodiment of the present disclosure.
  • FIG. 9 is a diagram showing an example of an image acquired in the second embodiment of the present disclosure.
  • FIG. 10 is a diagram showing an example of an image acquired in the second embodiment of the present disclosure and subjected to object detection processing by a program.
  • FIG. 11 is a flowchart illustrating an example of the procedure of the foreign matter detection method according to the second embodiment of the present disclosure.
  • the entry / exit space of the mechanical parking facility is assumed as the target area A. Then, when an object (foreign matter F) other than the vehicle 1 exists in the target area A, the foreign matter F is detected.
  • the target area A which is an entry / exit space, is a space surrounded by walls on all sides, and an entry / exit port 4 as a transparent portion is provided on the front side (lower side in the figure) so that the vehicle 1 can enter and exit from here. It has become.
  • the "foreign substance” is an object other than the target object (in this case, the vehicle 1 which is the target object of transportation) existing in the target area, and is not an object originally arranged in the target area. It refers to the object of the vehicle, and is typically a person such as a vehicle driver, a occupant, or an equipment clerk.
  • baggage and the like brought into the target area A and placed outside the vehicle 1 are also examples of "foreign substances".
  • FIG. 1 illustrates two foreign objects F inside the target region A as an example. Further, one object O is illustrated outside the target area A.
  • Transparent part refers to an optical opening that allows the outside to be visually recognized from the inside of the target area. That is, the transmissive portion in the first embodiment is the entrance / exit 4 that optically and materially communicates with the external space, but in addition to this, for example, between a glass window through which light transmits and an adjacent space. A part separated by a fence can also be assumed as a "transparent part”.
  • the pallet 2 that conveys the vehicle 1 enters and exits the target area A, which is the warehousing / delivery space, from the storage space (not shown) outside the target area A.
  • the fixed position of the pallet 2 in the target area A is the central portion of the target area A.
  • the vehicle 1 enters the target area A through the warehousing / delivery port 4, stops on the pallet 2, is transported to the storage space together with the pallet 2, and is stored.
  • the vehicle 1 is transported from the storage space into the target area A together with the pallet 2, and then exits from the target area A through the entry / exit port 4.
  • an image pickup device 5 such as a camera that acquires an image in the target area A is arranged.
  • the image pickup device 5 as shown in FIG. 1, a total of two image pickup devices 5a and 5b are installed around the stop position of the vehicle 1.
  • the image pickup device 5a is installed on the left front side when viewed from the stop position of the vehicle 1, and the image pickup device 5b is installed on the right rear side. In this way, by installing the image pickup devices 5a and 5b diagonally forward and diagonally rearward so as to sandwich the stop position of the vehicle 1 with each other, it is possible to acquire an image of the entire circumference of the vehicle 1 in the target area A. There is.
  • An object sensor 6 as a boundary determination unit is provided on the inner wall near the entrance / exit 4 which is a transmission unit.
  • the "boundary determination unit" in the present specification is a device for determining the positional relationship between a transmission unit (entrance / exit port 4), which is an optical opening, and a surrounding object (foreign matter F or object O), or a device thereof. Refers to the part.
  • the object sensor 6 which is the boundary determination unit is installed in the vicinity of the entry / exit port 4, and some object is located on the boundary line inside and outside the target area A defined by the entry / exit port 4.
  • the object is detected.
  • the object sensor 6 is provided as the boundary determination unit, the device configuration can be simplified when the foreign matter detection system is implemented.
  • the object sensor 6 is, for example, a transmissive photoelectric sensor.
  • the object sensor 6 includes an irradiation unit 6a provided on one left and right sides of the warehousing / delivery port 4 and a light receiving unit 6b provided on the other left and right sides, and is along a surface formed by the irradiation unit 6a to the warehousing / delivery port 4.
  • the irradiation light as an irradiation wave is irradiated and detected by the light receiving unit 6b. If any object exists between the irradiation unit 6a and the light receiving unit 6b, the amount of irradiation light detected by the light receiving unit 6b changes. In this way, the object sensor 6 can detect an object existing between the irradiation unit 6a and the light receiving unit 6b.
  • the "boundary area” refers to an area near the boundary between the target area and the external space defined by the transparent portion. More specifically, it refers to a region of the target region A in which the target foreign matter is less likely to be detected when the region mask processing corresponding to the transparent portion of the image is performed in the foreign matter detecting step described later.
  • the object sensor 6 is arranged so as to irradiate the irradiation wave along the boundary line defined by the entry / exit port 4, but instead of or in addition to this, the target area A is more.
  • the foreign matter F in the boundary region near the inside of the object F may be detected by the object sensor 6.
  • any device capable of detecting the presence or absence of an object in a specific region can be appropriately used.
  • a photoelectric sensor of a type other than the transmission type may be used, or an ultrasonic sensor or the like may be used.
  • the operation unit 7 is an input device for inputting operations of each unit such as opening / closing the warehousing / delivery port 4 and transporting the pallet 2.
  • the display unit 8 is a display configured to display the image in the target area A acquired by the image pickup apparatus 5 and other information as needed.
  • the alarm unit 9 is a device that issues an alarm when some situation that should call attention to personnel occurs in the target area A or somewhere in the equipment including the target area A. “Some situation that should call attention to personnel” is, for example, a case where a foreign matter F other than the vehicle 1 is detected in the target area A when the vehicle 1 is transported to a storage space outside the target area A.
  • an appropriate format can be selected as long as it can call attention to personnel such as an alarm sound, lighting of a warning light, and display of a warning message.
  • the positions where the operation unit 7, the display unit 8, and the alarm unit 9 are installed are not limited to the positions shown here.
  • devices corresponding to these may be provided in a management room or the like (not shown), or any one of these devices may be provided in a plurality of different places.
  • the operation unit 7, the display unit 8, and the alarm unit 9 are shown separately here for convenience of explanation, for example, a touch panel display having the functions of the operation unit 7 and the display unit 8 may be provided. Good.
  • the display unit 8 may also serve as the function of the alarm unit 9 (that is, the information corresponding to the alarm is displayed on the display unit 8).
  • the operation unit 7, the display unit 8, and the alarm unit 9 can be appropriately changed according to the layout of the target area A and other conditions.
  • FIG. 2 shows an example of a system configuration related to the control of the image pickup device 5, the object sensor 6, the operation unit 7, the display unit 8, and the alarm unit 9.
  • the image pickup device 5, the object sensor 6, the operation unit 7, and the alarm unit 9 are informationally connected to the control device 10 via a communication bus such as Ethernet (registered trademark).
  • the control device 10 is a device that monitors the entire mechanical parking lot including the target area A, which is the warehousing / delivery space, and operates each part, and opens / closes the warehousing / delivery port 4, transports the pallet 2, the image pickup device 5, and the object. It controls the operation of the sensor 6.
  • the display unit 8 is connected to the communication bus via the image processing unit 11.
  • the image processing unit 11 is an information processing device that appropriately processes the image of the target area A acquired by the image pickup device 5, and transmits image data to the display unit 8 as necessary to send the image to the display unit 8. Is also displayed.
  • the detection of foreign matter F is particularly assumed in the first embodiment. That is, the image processing unit 11 analyzes the image of the target region A acquired by the image pickup apparatus 5 and determines whether or not an object such as a person exists in the image.
  • the control device 10 detects the foreign matter F when the image processing unit 11 detects an object from the image to be processed, or when the object sensor 6 detects an object in the boundary area of the target area A. It is determined that the alarm is issued through the alarm unit 9.
  • the image processing unit 11 stores a program P for detecting an object reflected in the image.
  • This program P is configured to detect a specific type of object by a deep learning method using a multi-layer neural network.
  • a deep learning algorithm various algorithms such as R-CNN (Regional-Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO (You Only Look Once), and SSD (Single Shot Multibox Detector) are used.
  • R-CNN Registered-Convolutional Neural Network
  • Fast R-CNN Faster R-CNN
  • YOLO You Only Look Once
  • SSD Single Shot Multibox Detector
  • Program P can use such an algorithm to identify the type of object reflected in the image and output the probability that the object is that type of object, the coordinates of the center of gravity of the object, the width and height of the object, and the like. It has become like. Since the type of foreign matter F assumed in the target area A, which is the entry / exit space of the mechanical parking lot, is firstly a person, the program P should be configured so that at least a person can be identified from the image. .. In addition, various objects such as animals such as pets, bags, strollers, etc. are assumed as objects that may enter the target area A together with the vehicle 1. Therefore, the program P sets these objects in addition to the person. May also be detected.
  • the program P may be configured to be capable of detecting various objects assumed according to the type of the target area, not limited to the person.
  • the control device 10 opens the entry / exit port 4 in response to an instruction.
  • the warehousing / delivery port 4 is opened with the empty pallet 2 deployed in the central portion, which is a fixed position in the target area A.
  • the entry / exit port 4 When the entry / exit port 4 is opened, the driver moves the vehicle 1 into the target area A and stops it on the pallet 2. After the stop, the driver and other occupants get off and exit the target area A. When all the personnel such as the driver have left, the driver or the like visually inspects the target area A, confirms whether or not a foreign object F such as a person or baggage exists in the target area A, and then operates the operation unit 7. , Input that the vehicle 1 has stopped on the pallet 2. The control device 10 closes the entry / exit port 4 and conveys the pallet 2 loaded with the vehicle 1 to the storage space outside the target area A.
  • the control device 10 conveys the corresponding pallet 2 into the target area A in response to an instruction, and opens the warehousing / delivery port 4.
  • the entry / exit port 4 is opened, the driver gets into the vehicle 1 on the pallet 2 and moves out of the target area A.
  • the control device 10 closes the entry / exit port 4 in response to an instruction.
  • the vehicle 1 may be an autonomous driving vehicle. In that case, a part or all of the above-mentioned operation of the vehicle 1 is performed without the intervention of the driver.
  • the image processing unit 11 executes foreign matter detection at an appropriate timing. For example, when the vehicle 1 stops on the pallet 2 at the time of warehousing and the driver inputs the fact to the operation unit 7, the foreign matter is detected. At this time, the driver visually confirms the absence of the foreign matter F in the target area A, but at the same time, if the object sensor 6, the imaging device 5, and the image processing unit 11 are used to mechanically detect the foreign matter, the confirmation can be confirmed. You can do it thoroughly. In addition, it is necessary to check the state in the target area A, for example, when an instruction to start shipping is input, when the completion of shipping is input and the loading / unloading port 4 is closed, or in normal times when no particular operation is performed. Foreign matter can be detected at any time when it is considered that there is.
  • the control device 10 When detecting a foreign object, the control device 10 operates each image pickup device 5 to acquire an image in the target area A.
  • the image processing unit 11 executes object detection processing on the images acquired by each image pickup device 5 by the program P. Further, the control device 10 operates the object sensor 6 and confirms whether or not an object exists in the boundary area of the target area A.
  • the control device 10 activates the alarm unit 9. And issue an alarm. At the same time, the operation of the pallet 2, the entrance / exit 4 or other parts is prohibited. Further, the display unit 8 may indicate that the foreign matter F has been detected. Further, when an object is detected by the object sensor 6, the control device 10 performs the same operation.
  • the number of devices constituting the system is as small as possible, and in particular, the number of image pickup devices 5 should be as small as possible within the range in which the accuracy of foreign matter detection can be ensured.
  • image processing is performed by the program P using deep learning as described above, a considerable amount of calculation load is generated on the image processing unit 11.
  • the image processing unit 11 is displayed as one block, but in reality, for example, one information processing device may be required for each image pickup device 5.
  • the arrangement of the two image pickup devices 5 shown in FIG. 1 is an idea for acquiring an image in the target area A without creating a blind spot by a small number of image pickup devices 5 (note that, here, two devices).
  • the number of these two image pickup devices 5 is the minimum necessary for eliminating the blind spot, and the image pickup device is further for the purpose of further improving the detection accuracy. It does not prevent the addition of etc.).
  • the entrance / exit port 4 is largely inserted into the angle of view of each image pickup apparatus 5.
  • the object O outside the target area A is reflected in the image through the entrance / exit 4 which is a transparent portion. is there.
  • the object O is a type of object (here, a person) that can be detected by the program P, overdetection may occur.
  • a method of performing foreign matter detection by program P after masking the area corresponding to the transparent portion (entrance / exit port 4) reflected in the image is used. Conceivable. However, in this case, a part of the foreign matter F in the vicinity of the warehousing / delivery port 4 is also masked. If the masked amount or position is as shown in FIG. 4, the masked foreign matter F can be detected by the program P, but if the position of the foreign matter F is further outward, FIG. 5 As shown in the above, most of the foreign matter F may be masked. In the example shown in FIG.
  • the foreign matter F in the vicinity of the warehousing / delivery port 4 is located inside the target area A, but since most of the foreign matter F has been masked by the masking process, it may not be detected by the program P. is there. Therefore, by activating the object sensor 6 arranged as shown in FIG. 1, the foreign matter F in the boundary region that may not be detected by the mask processing is reliably detected. That is, when the foreign matter is detected by using the program P, the accuracy of foreign matter detection is improved by preventing over-detection by mask processing by the image processing unit 11 and detection omission by the object sensor 6 which is the boundary determination unit. It is.
  • the object sensor 6 when the object sensor 6 is arranged so as to irradiate the irradiation wave along the boundary line inside and outside the target region A as shown in FIG. 1, the foreign matter F on the boundary line can be suitably detected by the object sensor 6.
  • the foreign matter F located just inside the entrance / exit port is not exposed to the irradiation wave of the object sensor 6, and most of the image acquired by the image pickup device 5 is masked through the masking process.
  • a case is also assumed. In such a case, the possibility of omission of detection cannot be denied. Therefore, instead of or in addition to the object sensor 6 at the position shown in FIG. 1, the object sensor 6 may be installed so that the foreign matter F can be detected even in the inner boundary region.
  • the object sensor 6 when the object sensor 6 is installed in the boundary area inside the boundary line defined by the entry / exit port 4, it is optimal to set the arrangement of the object sensor 6 as follows. .. -If the foreign matter F is located inside the region that can be the target of object detection by the object sensor 6, the object sensor 6 is arranged so that the object sensor 6 can be detected by the program P even from the image that has undergone mask processing. That is, -The object sensor 6 is arranged so that the boundary area is the target of foreign matter detection by the object sensor 6.
  • region that can be the target of foreign matter detection by the object sensor 6 and the "region where the foreign matter F can be detected by the program P even from the image that has undergone mask processing” may overlap with each other.
  • the foreign matter detection step described below includes an image acquisition step (step S1), a mask processing step (step S2), a first object detection step (step S3), and a second object detection step (step S4). Includes.
  • the image pickup device 5 acquires an image in the target area A (step S1). Subsequently, the acquired image is masked in the area occupied by the transparent portion (entrance / exit port 4) (step S2).
  • the mask processing may be performed by the image pickup apparatus 5 or the image processing unit 11. Further, the object detection process is executed by the program P stored in the image processing unit 11 on the image that has undergone the mask processing (step S3).
  • the object sensor 6 is operated to detect the presence or absence of an object in the irradiation region of the irradiation wave (step S4).
  • step S5 it is determined whether the program P has detected an object of a specific type in the image, or the object sensor 6 has detected any object in the irradiation area. If the object is detected in either one or both, it is determined that the foreign matter F exists in the target area A (step S6). If it is determined that the foreign matter F is present, the control device 10 performs various operations to be performed when the foreign matter F is detected. For example, the display unit 8 displays that a foreign substance has been detected.
  • a message in characters or voice is played, or the background color of the display unit 8 is changed to call attention to the operator (the driver of the vehicle 1 or the staff of the facility). Further, if necessary, the operation of the equipment (for example, opening / closing of the entrance / exit 4 and transportation of the pallet 2) may be prohibited.
  • step S7 If the object is not detected by either the program P or the object sensor 6, it is considered that there is no foreign matter, and the foreign matter detection step is ended (step S7).
  • steps S1 to S3 for detecting an object by the image processing unit 11 and the program P and steps S4 for detecting an object by the object sensor 6 may be ordered or executed in parallel.
  • step S5 the step of determining the object detection result is collectively described as step S5
  • the determination of the object detection result by the image processing unit 11 and the program P and the determination of the object detection result by the object sensor 6 are separately described here. You may go to.
  • the foreign matter detection system of the first embodiment detects the image pickup device 5 that acquires the image in the target area A and the object in the image acquired by the image pickup device 5 by using deep learning.
  • An image processing unit 11 that stores the program P, and a boundary determination unit (object sensor 6) that determines the positional relationship between the transparent unit (entrance / exit port 4) that can visually recognize the outside from the inside of the target area A and surrounding objects.
  • the image acquired by the image pickup apparatus 5 is masked in the area occupied by the transmissive portion (entrance / exit port 4), and the object is detected by a program using deep learning based on the masked image. It is configured as. In this way, when the foreign matter is detected by using the program P, the accuracy of the foreign matter detection can be improved by also executing the object detection by the boundary determination unit (object sensor 6).
  • the mask processing can be performed by the image pickup apparatus.
  • the mask processing can be performed by the image processing unit.
  • the boundary determination unit can be an object sensor configured to be able to detect the presence or absence of an object in the boundary area with the external space in the target area A. In this way, the foreign matter detection system can be implemented with a simple device configuration.
  • the object sensor 6 can be configured to detect the irradiation wave irradiated along the surface formed by the transmission portion (entrance / exit port 4). In this way, the foreign matter F on the boundary line can be suitably detected by the object sensor 6.
  • the target area A can be the entry / exit space of the mechanical parking lot, and in this way, the foreign matter detection can be suitably performed in the entry / exit space of the mechanical parking lot. Can be done.
  • the image acquisition step (step S1) of acquiring the image in the target area A and the image acquired in the image acquisition step are external to the inside of the target area A.
  • the object is detected by the program P using deep learning based on the mask processing step (step S2) in which the mask processing is performed on the area occupied by the transparent portion (entrance / exit port 4) in which the object can be visually recognized and the image that has undergone the mask processing step.
  • It includes one object detection step (step S3) and a second object detection step (step S4) for detecting the presence or absence of an object in the boundary region of the target region A.
  • the foreign matter detection system of the second embodiment has the same basic configuration as that of the first embodiment (see FIGS. 1 and 2) described above, but instead of the object sensor 6, it is bounded by the image processing unit 11.
  • a determination unit 12 is provided.
  • the boundary determination unit 12 determines the positional relationship between the transmission unit (entrance / exit port 4) and the surrounding object (foreign matter F or object O) based on the image acquired by the image pickup device 5. .. More specifically, in the boundary determination unit 12, the object is inside or outside the target area A based on the positional relationship of the object (foreign matter F or object O) reflected in the image with respect to the transmission unit (entrance / exit port 4). It is designed to determine whether it is in one of them.
  • the image pickup device 5a acquires the image as shown in FIG.
  • the object detection process is executed by the program P of the image processing unit 11 for such an image, two foreign objects F in the target area A and an object O outside the entry / exit port 4 are detected.
  • Program P specifies the position occupied in the image together with the type of each object.
  • the type and position of the object can be displayed superimposed on the image, for example, as shown in FIG.
  • the range they occupy is illustrated by a rectangular frame, the type of object identified (here, a person), and each object is an object of that type. A certain probability is displayed together.
  • the boundary determination unit 12 determines whether the foreign matter F and the object O are inside the target area A depending on the position of these objects with respect to the entrance / exit 4 which is the boundary between the target area A and the external space. , Determine if it is on the outside.
  • the inside / outside determination can be made, for example, by the hierarchical relationship between each frame displaying the range occupied by each object and the area occupied by the entry / exit port 4.
  • the area occupied by the warehousing / delivery port 4 is a substantially quadrangular portion shown by a broken line in the figure. It is determined whether each object is inside or outside the entrance / exit 4 depending on how much the line segment corresponding to the lower side of the frame indicating the position of each object overlaps the pixel area of this substantially quadrangle. be able to.
  • the portion of a certain threshold value (for example, 80%) or more is the pixel area occupied by the warehousing / delivery port 4. If it is inside, it is determined that the object is outside the target area A. If the ratio of the portion inside the pixel region in the frame is less than the threshold value, it is determined that the object is in the target region A. In the example shown in FIG. 10, it can be determined that the two foreign objects F located on the front side are located inside the target area A and the object O on the back side is located outside.
  • the determination method described here is merely an example, and any other appropriate method can be adopted as the method for determining the inside and outside of each object based on the image.
  • the foreign matter detection step described below includes an image acquisition step (step S11), an object detection step (step S12), and a position determination step (step S15).
  • the image pickup device 5 acquires an image in the target area A (step S11). Subsequently, the object detection process is executed by the program P on the acquired image (step S12).
  • step S13 as a result of the object detection process, it is determined whether or not any object (foreign matter F or object O) that can be regarded as a foreign matter F is detected in the image by the program P. If a specific type of object does not exist, it is assumed that no foreign matter exists, and the foreign matter detection step ends (step S14).
  • step S15 the boundary determination unit 12 determines the position of each detected object with respect to the target area A.
  • step S16 it is determined whether or not there is an object determined to be located in the target area A among the objects detected in step S12. When it is determined that all of the objects are outside the target area A, it is considered that there is no foreign matter, and the foreign matter detection step is terminated (step S14). When it is determined that at least a part of the object is in the target region A, it is determined that the foreign matter F is present, and the foreign matter detection step is terminated (step S17).
  • the procedure described here is an example, and changes can be made such as changing the order of each step as appropriate or adding another step, as described in the first embodiment.
  • the position determination by the boundary determination unit 12 is also executed to improve the accuracy of the foreign matter detection.
  • the object sensor 6 is described as the boundary determination unit, and in the second embodiment, the boundary determination unit 12 stored in the image processing unit 11 is described.
  • these are appropriately combined to describe a foreign matter detection system. It is also possible to carry out.
  • other sensors and the like may be used in combination as appropriate for the purpose of improving the accuracy of foreign matter detection.
  • the entry / exit space of the mechanical parking lot is assumed as the target area A, but the same foreign matter detection system can be of any type as long as it is a space where foreign matter detection is required. Can be applied without. For example, it can be assumed that a power supply facility for an electric vehicle or the like is used, and it can also be applied to security in a warehouse with a window, for example.
  • the boundary determination unit 12 has the position of the object in the image acquired by the image pickup device 5 and the transmission unit (entrance / exit port 4) in the image. It is configured to determine whether the object detected in the image acquired by the image pickup apparatus 5 is inside or outside the target area A based on the positional relationship with the area occupied by the image. In this way, when the foreign matter is detected by using the program P, the accuracy of the foreign matter detection can be improved by also executing the position determination by the boundary determination unit 12.
  • the foreign matter detection method of the second embodiment is performed by an image acquisition step (step S11) for acquiring an image of A in the target region and a program P using deep learning based on the image acquired in the image acquisition step.
  • the position determination step (step S15) of determining whether the object detected in the image is inside or outside the target area is included. In this way, when the foreign matter is detected by using the program P, the accuracy of the foreign matter detection can be improved by also executing the position determination of the detected object.

Abstract

異物検出システムは、対象領域Ａ内の画像を取得する撮像装置５と、撮像装置５により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、対象領域Ａの内側から外部を視認できる透過部４と周囲の物体との位置関係を判定する境界判定部６とを備え、撮像装置５で取得された画像に対し、透過部４の占める領域にマスク処理を施し、マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成する。

Description

異物検出システムおよび方法
　本開示は、駐車場等の対象領域内の異物を検出するシステム、および方法に関する。本出願は２０１９年５月２０日に提出された日本特許出願第２０１９－０９４７３５号に基づく優先権の利益を主張するものであり、その内容は本出願に援用される。
　車両が進入し、停止する空間、例えば機械式駐車場の入出庫スペース等においては、出入口の扉を開閉したり、車両を載せたパレットを運搬するといった操作を行うにあたり、車両の他に運転者や乗員、手荷物といった異物が存在しないことを確認する必要がある。こうした異物不在の確認作業は、運転者や施設の係員等が目視で行うことができるが、人力のみに頼った場合、不注意等により確認が徹底されない可能性がある。そこで、近年では、異物の不在確認を確実に行うよう、人力のみに頼ることなく、対象領域内の異物を自動で検出する技術が要請されている。
　また、現在、各国で開発が進められている自動運転技術が本格的に実用化されれば、車両の運転のみならず、上述の如き扉の開閉やパレットの運搬といった、車両周辺において行われる種々の操作についても自動化が進められることが想定できる。例えば、自動運転により車両が乗員を目的地に送り届けた後、自動で近傍の機械式駐車場へ移動し、格納スペースに格納されるといったケースが考えられる。この場合、車両は乗員が不在の状態で移動し、入出庫スペースに停止することになる。このとき、扉の開閉、パレットの移動の開始といった操作は、係員が異物の不在を目視で確認し、操作ボタンを入力することで実行されるようにすればよい。しかし、異物の不在を自動で確認し、操作を開始する仕組みがあればよりスムーズである。
　このような異物の検出を行う仕組みは、機械式駐車場だけでなく、例えば電気自動車の給電設備等、停止した車両の周辺で何らかの操作を行う場所において広く必要とされ得る。また、同様の仕組みは、車両に限らず何らかの物体の周辺において異物を検出したい局面に広く適用され得る。
　対象領域内の異物を自動的に検出するための技術として、カメラ等を用いて対象領域内の画像を取得し、該画像内に写り込んだ異物を検出する方法が種々提案されている。こうした技術を記載した技術文献としては、例えば下記特許文献１～６が挙げられる。
特開２０１６－３４９３号公報 特開２０１５－５５０７３号公報 特開２０１４－８０７３５号公報 特開平０８－４２１８４号公報 特開昭６２－１９４３６６号公報 特開２０１２－１５８９６８号公報
　上述の如き異物検出のための技術においては、検出に最低限の精度が要求されることは勿論であるが、それに加え、なるべく装置構成を簡素にすることが、建設あるいはメンテナンス等にかかるコストの面で重要である。しかしながら、上記特許文献１～６に記載の如き技術は、いずれも精度とコストの両面を十分に満足するには必ずしも至っていなかった。
　そこで、本開示においては、極力簡単な構成により高い精度で異物を検出し得る異物検出システムおよび方法を説明する。
　本開示は、対象領域内の画像を取得する撮像装置と、前記撮像装置により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、前記対象領域の内側から外部を視認できる透過部と周囲の物体との位置関係を判定する境界判定部とを備え、前記撮像装置で取得された画像に対し、前記透過部の占める領域にマスク処理を施し、該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成された異物検出システムにかかるものである。
　上述の異物検出システムにおいて、前記マスク処理は前記撮像装置にて行われるよう構成してもよい。
　上述の異物検出システムにおいて、前記マスク処理は前記画像処理部にて行われるよう構成してもよい。
　上述の異物検出システムにおいて、前記境界判定部は、前記対象領域における外部空間との境界域における物体の有無を検出可能に構成された物体センサとすることができる。
　上述の異物検出システムにおいて、前記物体センサは、前記透過部のなす面に沿って照射された照射波を検出するよう構成することができる。
　上述の異物検出システムにおいて、前記境界判定部は、前記撮像装置により取得された画像内における物体の位置と、前記画像内に前記透過部の占める領域との位置関係に基づき、前記撮像装置により取得された画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定するよう構成することができる。
　上述の異物検出システムにおいて、前記対象領域は機械式駐車場の入出庫スペースとすることができる。
　また、本開示は、対象領域内の画像を取得する画像取得工程と、前記画像取得工程で取得された画像に対し、前記対象領域の内側から外部を視認できる透過部の占める領域にマスク処理を施すマスク処理工程と、前記マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する第一の物体検出工程と、前記対象領域の境界域における物体の有無を検出する第二の物体検出工程とを含む異物検出方法にかかるものである。
　また、本開示は、対象領域内の画像を取得する画像取得工程と、前記画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する物体検出工程と、前記画像内における物体の位置と、前記対象領域の内側から外部を視認できる透過部が前記画像内に占める領域との位置関係に基づき、前記画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定する位置判定工程とを含む異物検出方法にかかるものである。
　上述の異物検出方法において、前記対象領域は機械式駐車場の入出庫スペースとすることができる。
　本発明の異物検出システムおよび方法によれば、極力簡単な構成により高い精度で異物を検出し得るという優れた効果を奏し得る。
図１は、本開示の第一実施例による異物検出システムにおける装置の配置を説明する概要平面図である。 図２は、本開示の第一実施例による異物検出システムのシステム構成を説明するブロック図である。 図３は、本開示の第一実施例において取得される画像の一例を示す図である。 図４は、本開示の第一実施例において取得され、一部にマスク処理を施された画像の一例を示す図である。 図５は、本開示の第一実施例において取得され、一部にマスク処理を施された画像の別の一例を示す図である。 図６は、本開示の第一実施例による異物検出方法の手順の一例を説明するフローチャートである。 図７は、本開示の第二実施例による異物検出システムにおける装置の配置を説明する概要平面図である。 図８は、本開示の第二実施例による異物検出システムのシステム構成を説明するブロック図である。 図９は、本開示の第二実施例において取得される画像の一例を示す図である。 図１０は、本開示の第二実施例において取得され、プログラムによる物体検出処理が施された画像の一例を示す図である。 図１１は、本開示の第二実施例による異物検出方法の手順の一例を説明するフローチャートである。
　以下、本開示における実施例の形態を添付図面を参照して説明する。図１に示す第一実施例の異物検出システムでは、対象領域Ａとして機械式駐車設備の入出庫スペースを想定している。そして、対象領域Ａ内に車両１以外の物体（異物Ｆ）が存在する場合に、該異物Ｆを検出するようになっている。入出庫スペースである対象領域Ａは、四方を壁で囲まれた空間であり、手前側（図中下側）に透過部としての入出庫口４が設けられ、ここから車両１が出入りするようになっている。
　尚、本明細書において「異物」とは、対象領域内に存在する目的物（この場合は、搬送の目的物である車両１）以外の物体であって、対象領域にもとより配置された物体以外の物体を指し、代表的には、車両の運転者、乗員、設備の係員といった人である。また、対象領域Ａ内に持ち込まれ、車両１の外に置かれる手荷物等も「異物」の例として挙げられる。図１には、一例として対象領域Ａの内部に２個の異物Ｆを図示している。また、対象領域Ａの外部に１個の物体Ｏを図示している。
　「透過部」は、対象領域の内側から外部を視認できる光学的な開口部を指す。つまり、本第一実施例における透過部は外部空間と光学的にも物質的にも連通する入出庫口４であるが、この他に、例えば光の透過するガラス窓、隣接する空間との間を柵で仕切った部分等も「透過部」として想定できる。
　車両１を搬送するパレット２は、対象領域Ａ外の格納スペース（図示せず）から入出庫スペースである対象領域Ａに出入りする。対象領域Ａにおけるパレット２の定位置は、対象領域Ａの中央部である。入庫時において、車両１は、入出庫口４を通じて対象領域Ａ内に進入し、パレット２上に停止し、パレット２と共に前記格納スペースへ搬送され、格納される。出庫時には、車両１はパレット２と共に前記格納スペースから対象領域Ａ内に搬送された後、入出庫口４から対象領域Ａ外へ退出する。
　対象領域Ａ内には、該対象領域Ａ内の画像を取得するカメラ等である撮像装置５が配置される。本第一実施例の場合、撮像装置５として図１に示す如く、車両１の停止位置の周辺に、合計２台の撮像装置５ａ，５ｂが設置されている。２台の撮像装置５のうち、撮像装置５ａは車両１の停止位置から見て左前方に、撮像装置５ｂは右後方にそれぞれ設置されている。このように、互いに車両１の停止位置を挟むように、斜め前方および斜め後方に撮像装置５ａ，５ｂを設置することで、対象領域Ａ内における車両１の周囲全体について画像を取得できるようにしている。
　透過部である入出庫口４近傍の内壁には、境界判定部としての物体センサ６が設けられている。本明細書における「境界判定部」とは、光学的な開口部である透過部（入出庫口４）と、周囲の物体（異物Ｆまたは物体Ｏ）との位置関係を判定する装置、またはその部分を指す。本第一実施例の場合、境界判定部である物体センサ６を入出庫口４の近傍に設置し、入出庫口４によって定義される対象領域Ａの内外の境界線上に何らかの物体が位置する場合に、該物体を検出するようにしている。このように、境界判定部として物体センサ６を設けると、異物検出システムを実施するにあたり、装置構成を簡易にすることができる。
　物体センサ６は、例えば透過型の光電センサである。物体センサ６は、入出庫口４の左右一側に設けられた照射部６ａと、左右他側に設けられた受光部６ｂを備えており、照射部６ａから入出庫口４のなす面に沿って照射波としての照射光を照射し、受光部６ｂにて検出するようになっている。照射部６ａと受光部６ｂの間に何らかの物体が存在すれば、受光部６ｂにて検出される照射光の量が変化する。こうして、物体センサ６は、照射部６ａと受光部６ｂの間に存在する物体を検出できるようになっている。
　ここで、「境界域」とは、透過部によって定義される対象領域と外部空間との境界近傍の領域を指す。より具体的には、対象領域Ａのうち、後述する異物検出工程において、画像の透過部にあたる領域マスク処理を施した場合に、目的の異物が検出されにくくなる領域を指す。図１に示した例では、入出庫口４により定義される境界線に沿って照射波を照射するように物体センサ６を配置しているが、これに代えてあるいは加えて、より対象領域Ａの内側寄りの境界域にある異物Ｆを物体センサ６により検出可能にしてもよい。マスク処理による検出漏れをより確実に防止するためである（このような物体センサ６の配置については、後に再度説明する）。尚、物体センサ６としては、透過型の光電センサ以外にも、特定の領域内における物体の有無を検出可能な装置であれば適宜利用することができる。例えば、透過型以外の形式の光電センサを使用してもよいし、超音波センサ等を使用することもできる。
　入出庫口４近傍の外壁には、操作部７、表示部８、警報部９が備えられている。操作部７は、入出庫口４の開閉、パレット２の搬送といった各部の操作を入力する入力装置である。表示部８は、撮像装置５において取得された対象領域Ａ内の画像、その他の情報を、必要に応じて表示するよう構成されたディスプレイである。警報部９は、対象領域Ａ、あるいは対象領域Ａを含む設備の何処かにおいて、人員に対して注意を促すべき何らかの事態が生じた場合に警報を発する装置である。「人員に対して注意を促すべき何らかの事態」とは、例えば車両１を対象領域Ａ外の格納スペースへ搬送するにあたり、対象領域Ａに車両１以外の異物Ｆが検出された場合などである。警報の内容は、アラーム音、警告灯の点灯、警告メッセージの表示など、人員に対して注意を喚起できればよく、適当な形式を選択することができる。
　尚、操作部７、表示部８、警報部９を設置する位置は、ここに示した位置に限定されない。例えば、これらに相当する装置を図示しない管理室等に備えてもよいし、これらの装置のうちいずれかを複数、別々の場所に備えてもよい。また、ここでは説明の便宜のために操作部７、表示部８、警報部９をそれぞれ別々に図示したが、例えば操作部７と表示部８の機能を一体に備えたタッチパネルディスプレイを設けてもよい。また、警報部９の機能を表示部８が兼ねる（すなわち、警報にあたる情報を表示部８に表示する）ようにしてもよい。その他、操作部７、表示部８、警報部９に関しては、対象領域Ａのレイアウトやその他の条件に応じて適宜変更することができる。
　図２には、撮像装置５、物体センサ６、操作部７、表示部８、警報部９の制御に係るシステム構成の一例を示している。撮像装置５、物体センサ６、操作部７、警報部９は、Ethernet（登録商標）等の通信バスを介し、制御装置１０と情報的に接続されている。制御装置１０は、入出庫スペースである対象領域Ａを含む機械式駐車場全体を監視し、各部の運転を行う装置であり、入出庫口４の開閉、パレット２の搬送、撮像装置５および物体センサ６の作動等を制御する。
　また、表示部８は、画像処理部１１を介して前記通信バスに接続されている。画像処理部１１は、撮像装置５において取得された対象領域Ａの画像に対し適宜の処理を行う情報処理装置であり、必要に応じ、表示部８に画像データを送信して表示部８に画像を表示させるようにもなっている。
　画像処理部１１において行われる画像処理として、本第一実施例において特に想定されるのは異物Ｆ（図１参照）の検出である。すなわち、画像処理部１１では、撮像装置５により取得された対象領域Ａの画像を解析し、画像内に人等の物体が存在するか否かを判定する。制御装置１０は、画像処理部１１において処理対象の画像から物体が検出された場合、または、前述の物体センサ６により対象領域Ａの境界域に物体が検出された場合に、異物Ｆを検出したと判断し、警報部９を通じて警報を発報する。
　画像処理部１１には、画像内に写り込んだ物体を検出するプログラムＰが格納されている。このプログラムＰは、多層のニューラルネットワークを用いたディープラーニングの手法により、特定の種類の物体を検出するよう構成されている。ディープラーニングのアルゴリズムとしては、例えばＲ－ＣＮＮ（Regional-Convolutional Neural Network）、Ｆａｓｔ　Ｒ－ＣＮＮ、Ｆａｓｔｅｒ　Ｒ－ＣＮＮ、ＹＯＬＯ（You Only Look Once）、ＳＳＤ（Single Shot Multibox Detector）といった各種のアルゴリズムを用いることができるが、この他の適当なアルゴリズムを使用してもよい。
　プログラムＰは、こうしたアルゴリズムを用い、画像内に写り込んだ物体の種類を特定すると共に、該物体がその種類の物体である確率、物体の重心の座標、物体の幅および高さ等を出力できるようになっている。機械式駐車場の入出庫スペースである対象領域Ａにおいて想定される異物Ｆの種類は、第一に人物であるので、プログラムＰは、画像から少なくとも人物を判別できるように構成されるべきである。その他に、車両１と共に対象領域Ａに入り込む可能性のある物体としては、ペット等の動物、バッグ、ベビーカーなど、各種の物体が想定されるので、プログラムＰは、人物の他にこれらの物体をも検出できるようになっていてもよい。また、異物検出システムの設置対象である対象領域の種類が異なれば、異物として検出される物体の種類も異なることが考えられる。プログラムＰは、人物に限らず、対象領域の種類に応じて想定される各種の物体を検出可能に構成すればよい。
　車両１の入庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部７を操作し、入庫の開始を指示する。制御装置１０は、指示に応じて入出庫口４を開放する。入庫の開始にあたっては、空のパレット２が対象領域Ａ内の定位置である中央部に配備された状態で入出庫口４を開放する。
　入出庫口４が開放されたら、運転者が車両１を対象領域Ａ内に移動させ、パレット２上で停止させる。停止後、運転者やその他の乗員が降車し、対象領域Ａから退出する。運転者等の人員が全て退出したら、運転者等は対象領域Ａ内を目視し、人物や手荷物等の異物Ｆが対象領域Ａ内に存在しないかどうかを確認のうえ、操作部７を操作し、車両１がパレット２上に停止した旨を入力する。制御装置１０は、入出庫口４を閉鎖し、車両１を積載したパレット２を対象領域Ａ外の格納スペースへ搬送する。
　車両１の出庫を行う際には、車両１の運転者、乗員、施設の係員といった人員が操作部７を操作し、出庫の開始を指示する。制御装置１０は、指示に応じて該当するパレット２を対象領域Ａ内に搬送し、入出庫口４を開放する。入出庫口４が開放されたら、運転者がパレット２上の車両１に乗り込み、対象領域Ａの外へ移動する。車両１が外へ出た段階で、車両１の運転者や係員等が再び操作部７を操作し、出庫が完了した旨を入力する。制御装置１０は、指示に応じて入出庫口４を閉鎖する。
　尚、上の一連の動作は運転者が車両１を運転する場合を例に説明したが、車両１が自動運転車である場合もあり得る。その場合、上記した車両１の動作の一部または全部が、運転者を介さずに行われる。
　画像処理部１１（図２参照）では、適宜のタイミングで異物検出を実行する。例えば、入庫の際、車両１がパレット２上に停止し、その旨を運転者が操作部７に入力した時に異物検出を行う。このとき、運転者は目視により対象領域Ａ内の異物Ｆの不在を確認するが、同時に物体センサ６と撮像装置５および画像処理部１１を用いて機械的に異物検出を実行すれば、確認を徹底できる。その他、例えば出庫の開始指示が入力された時や、出庫の完了が入力されて入出庫口４を閉鎖する時、あるいは特に操作を行わない平常時など、対象領域Ａ内の状態を確認する必要があると考えられる任意のタイミングにおいて、異物検出を行うことができる。
　異物検出を行う場合、制御装置１０は、各撮像装置５を作動させ、対象領域Ａ内の画像を取得する。画像処理部１１では、プログラムＰにより、各撮像装置５が取得した画像に対し物体検出処理を実行する。また、制御装置１０は、物体センサ６を作動させ、対象領域Ａの境界域に物体が存在しないかどうかを確認する。
　画像処理の結果、取得された画像のうち少なくとも１枚の画像中に、異物Ｆとして想定される種類の物体（例えば、人物）が検出された場合には、制御装置１０は警報部９を作動させ、警報を発報する。同時に、パレット２、入出庫口４あるいはその他の各部の動作を禁止する。また、異物Ｆが検出された旨を表示部８に表示してもよい。また、物体センサ６により物体が検出された場合にも、制御装置１０は同様の動作を行う。
　このように、プログラムＰを用いて異物検出を行うにあたり、物体センサ６による物体検出を併せて実行すれば、異物検出の精度を高めることができる。以下に詳しく説明する。
　撮像装置５によって取得された対象領域Ａ内の画像に基づき、図１に示す如き対象領域Ａ内の異物Ｆを検出したい場合、まず、死角を作らないことが重要である。一方で、システムを構成する装置類は極力少ないことが望ましく、特に、撮像装置５の台数は、異物検出の精度を確保可能な範囲でなるべく少なくすべきである。上述の如きディープラーニングを用いたプログラムＰにより画像処理を行う場合、画像処理部１１に相当量の計算負荷が発生する。図２では画像処理部１１を１個のブロックとして表示しているが、実際には、例えば１台の撮像装置５につき１台程度の情報処理装置が必要となる場合もあり得る。このように、撮像装置５の台数を抑えることは、特にディープラーニングを用いたプログラムＰを用いて異物検出を行う場合、コストの面で非常に重要である。図１に示す２台の撮像装置５の配置は、少ない台数の撮像装置５により、対象領域Ａ内の画像を死角を作らないように取得するための一案である（尚、ここでは２台の撮像装置５を備えた異物検出システムを例示したが、この２台の撮像装置５は死角をなくすための必要最小限の台数であって、検出精度をいっそう高める等の目的で、さらに撮像装置等を追加することを妨げるものではない）。
　さらに、異物検出にあたっては、検出漏れと過検出の両方を極力減らす必要がある。ここで、図１に示す如く撮像装置５を配置した場合、各撮像装置５の画角には、入出庫口４が大きく入り込んでしまう。その結果として、例えば撮像装置５ｂにより取得される画像では、図３に示す如く、透過部である入出庫口４を通し、対象領域Ａの外部にある物体Ｏが画像内に写り込む可能性がある。物体ＯがプログラムＰによって検出可能な種類の物体（ここでは、人物）である場合には、過検出が生じるおそれがある。
　過検出を防止するためには、例えば図４に示す如く、画像内に写り込む透過部（入出庫口４）にあたる領域にマスク処理を施したうえで、プログラムＰによる異物検出を実行する方法が考えられる。しかしながら、このようにした場合、入出庫口４の近傍にある異物Ｆの一部もマスクされてしまう。マスクされた量あるいは位置が図４に示す程度であれば、マスクされた異物ＦをプログラムＰによって検出することは可能であるが、異物Ｆの位置がさらに外側寄りである場合には、図５に示す如く異物Ｆの大半がマスクされてしまう場合もあり得る。図５に示す例では、入出庫口４の近傍の異物Ｆは対象領域Ａの内側に位置しているが、マスク処理によって大半がマスクされてしまっているため、プログラムＰでは検出できない可能性がある。そこで、図１に示す如く配置した物体センサ６を作動させることで、マスク処理により検出されない可能性のある境界域の異物Ｆを確実に検出するのである。つまり、プログラムＰを用いて異物検出を行うにあたり、画像処理部１１によるマスク処理で過検出を、境界判定部である物体センサ６で検出漏れをそれぞれ防ぐことにより、異物検出の精度を高めているのである。
　ところで、図１に示す如く対象領域Ａの内外の境界線に沿って照射波を照射するように物体センサ６を配置した場合、境界線上にある異物Ｆは物体センサ６により好適に検出できる。一方で、入出庫口のすぐ内側に位置する異物Ｆは、物体センサ６の照射波が当たらず、しかも撮像装置５によって取得された画像中では、マスク処理を経て大部分がマスクされてしまうといった場合も想定される。こういった場合、検出漏れが生じてしまう可能性も否定できない。そこで、図１に示す位置の物体センサ６に代えてあるいは加えて、より内側の境界域についても異物Ｆを検出できるよう、物体センサ６を設置しても良い。このように、入出庫口４により定義される境界線よりも内側の境界域に対して物体センサ６を設置する場合、該物体センサ６の配置は、次のように設定することが最適である。
・物体センサ６による物体検出の対象となり得る領域より内側に位置する異物Ｆであれば、マスク処理を経た画像からでもプログラムＰにより検出できるよう、物体センサ６を配置する。
すなわち、
・物体センサ６により、境界域が異物検出の対象となるよう、物体センサ６を配置する。
　尚、「物体センサ６による異物検出の対象となり得る領域」と、「マスク処理を経た画像からでもプログラムＰにより異物Ｆを検出できる領域」とは、互いに重複部分があっても差し支えない。
　以上の如き撮像装置５、画像処理部１１および物体センサ６による異物検出工程の手順の一例を、図６のフローチャートを参照しながら説明する。以下に説明する異物検出工程は、画像取得工程（ステップＳ１）と、マスク処理工程（ステップＳ２）と、第一の物体検出工程（ステップＳ３）と、第二の物体検出工程（ステップＳ４）とを含んでいる。
　まず、撮像装置５により、対象領域Ａ内の画像を取得する（ステップＳ１）。続いて、取得した画像に対し、透過部（入出庫口４）の占める領域にマスク処理を施す（ステップＳ２）。尚、マスク処理は、撮像装置５で行ってもよいし、画像処理部１１で行ってもよい。さらに、マスク処理を経た画像に対し、画像処理部１１に格納されたプログラムＰにより、物体検出処理を実行する（ステップＳ３）。
　一方で、物体センサ６を作動させ、照射波の照射領域における物体の有無を検出する（ステップＳ４）。ステップＳ５では、プログラムＰにより画像内に特定の種類の物体が検出されたか、あるいは物体センサ６により照射領域に何らかの物体が検出されたかを判定する。いずれか一方、あるいは両方にて物体が検出されていれば、対象領域Ａ内に異物Ｆが存在すると判断される（ステップＳ６）。異物Ｆが存在すると判断されたら、制御装置１０は、異物Ｆを検出した場合に行うべき各種の動作を行う。例えば、異物が検出された旨を表示部８に表示する。このとき、文字あるいは音声によるメッセージを流したり、表示部８の背景色を変更し、操作者（車両１の運転者、あるいは施設の係員等の人員）に対し注意を促す。また、必要に応じ、機器類の操作（例えば、入出庫口４の開閉、パレット２の搬送など）を禁止しても良い。
　プログラムＰおよび物体センサ６のいずれによっても物体が検出されていなければ、異物は存在しないとして、異物検出工程を終了する（ステップＳ７）。
　尚、ここに説明した手順は一例であって、各ステップの順序は適宜入れ替えたり、別のステップを追加するなど、変更を加えることができる。例えば、画像処理部１１およびプログラムＰによる物体検出を行うステップＳ１～Ｓ３と、物体センサ６による物体検出を行うステップＳ４とは順序を入れ替えてもよいし、並行して実行してもよい。また、ここでは物体検出の結果を判定するステップをステップＳ５としてまとめて説明したが、画像処理部１１およびプログラムＰによる物体検出の結果の判定と、物体センサ６による物体検出の結果の判定は別々に行ってもよい。
　以上のように、上記本第一実施例の異物検出システムは、対象領域Ａ内の画像を取得する撮像装置５と、撮像装置５により取得された画像内の物体をディープラーニングを用いて検出するプログラムＰを格納する画像処理部１１と、対象領域Ａの内側から外部を視認できる透過部（入出庫口４）と周囲の物体との位置関係を判定する境界判定部（物体センサ６）とを備え、撮像装置５で取得された画像に対し、透過部（入出庫口４）の占める領域にマスク処理を施し、該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成されている。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、境界判定部（物体センサ６）による物体検出を併せて実行することで、異物検出の精度を高めることができる。
　上述の異物検出システムにおいて、マスク処理は前記撮像装置にて行われるようにすることができる。
　上述の異物検出システムにおいて、マスク処理は前記画像処理部にて行われるようにすることもできる。
　上述の異物検出システムにおいて、境界判定部（物体センサ６）は、対象領域Ａにおける外部空間との境界域における物体の有無を検出可能に構成された物体センサとすることができる。このようにすれば、簡易な装置構成により異物検出システムを実施することができる。
　上述の異物検出システムにおいて、物体センサ６は、透過部（入出庫口４）のなす面に沿って照射された照射波を検出するよう構成することができる。このようにすれば、境界線上にある異物Ｆを物体センサ６により好適に検出することができる。
　上述の異物検出システムおよび方法において、対象領域Ａは機械式駐車場の入出庫スペースとすることができ、このようにすれば、機械式駐車場の入出庫スペースにおいて好適に異物検出を実行することができる。
　また、上記本第一実施例の異物検出方法は、対象領域Ａ内の画像を取得する画像取得工程（ステップＳ１）と、画像取得工程で取得された画像に対し、対象領域Ａの内側から外部を視認できる透過部（入出庫口４）の占める領域にマスク処理を施すマスク処理工程（ステップＳ２）と、マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムＰにより物体を検出する第一の物体検出工程（ステップＳ３）と、対象領域Ａの境界域における物体の有無を検出する第二の物体検出工程（ステップＳ４）とを含んでいる。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、マスク処理で過検出を、境物体センサ（物体センサ６）で検出漏れをそれぞれ防ぐことにより、異物検出の精度を高めることができる。
　したがって、上記本第一実施例によれば、極力簡単な構成により高い精度で異物を検出し得る。
　図７、図８は本開示の第二実施例による異物検出システムの構成を示している。本第二実施例の異物検出システムは、基本的な構成は上述の第一実施例（図１、図２参照）と共通しているが、物体センサ６の代わりに、画像処理部１１に境界判定部１２を備えている。この境界判定部１２は、撮像装置５により取得された画像に基づき、透過部（入出庫口４）と、周囲の物体（異物Ｆまたは物体Ｏ）との位置関係を判定するようになっている。より具体的には、境界判定部１２は、画像内に写り込んだ物体（異物Ｆまたは物体Ｏ）の透過部（入出庫口４）に対する位置関係から、対象領域Ａに対し前記物体が内外のいずれかにあるかを判定するようになっている。
　図７に示す異物検出システムにおいて、撮像装置５により画像を取得した場合、例えば撮像装置５ａにおいては、図９に示す如き画像が取得される。このような画像に対し、画像処理部１１のプログラムＰにより物体検出の処理を実行すると、対象領域Ａ内の２個の異物Ｆ、および入出庫口４の外側にある物体Ｏが検出される。
　プログラムＰは、各物体の種類と共に、画像内に占める位置を特定する。物体の種類および位置は、例えば図１０に示す如く、画像に重ねて表示することができる。ここでは、検出された各異物Ｆおよび物体Ｏの周囲に、それらが占める範囲が方形の枠によって図示され、特定された物体の種類（ここでは、人物）、および各物体がその種類の物体である確率が一緒に表示されている。
　境界判定部１２では、これらの物体が、対象領域Ａと外部空間との境界である入出庫口４に対しどの位置にあるかにより、各異物Ｆおよび物体Ｏが対象領域Ａの内側にあるか、外側にあるか否かを判定する。
　内外の判定は、例えば、各物体の占める範囲を表示するそれぞれの枠と、入出庫口４の占める領域との上下関係によって行うことができる。図１０において、入出庫口４の占める領域は、図中に破線で示す略四角形の部分である。この略四角形の画素領域に対し、各物体の位置を示す枠の下辺にあたる線分がどの程度重なっているかによって、各物体が入出庫口４よりも内側にあるか、外側にあるかを判定することができる。
　内外の判定にあたっては、例えば、各異物Ｆまたは物体Ｏの周囲に表示された枠の下辺にあたる線分のうち、ある閾値（例えば、８０％）以上の部分が入出庫口４の占める画素領域の内側にあれば、その物体は対象領域Ａの外にあると判定する。前記枠のうち、前記画素領域の内側にある部分の割合が前記閾値未満であれば、その物体は対象領域Ａ内にあると判定する。図１０に示す例では、手前側に位置する２個の異物Ｆは対象領域Ａの内側に、奥側の物体Ｏは外側に位置すると判断することができる。尚、ここに説明した判定方法はあくまで一例であって、画像に基づいて各物体の内外を判定する方法としては、その他、適宜の方法を採用することができる。
　以上の如き画像処理部１１のプログラムＰおよび境界判定部１２による異物検出工程の手順の一例を、図１１のフローチャートを参照しながら説明する。以下に説明する異物検出工程は、画像取得工程（ステップＳ１１）と、物体検出工程（ステップＳ１２）と、位置判定工程（ステップＳ１５）とを含んでいる。
　まず、撮像装置５により、対象領域Ａ内の画像を取得する（ステップＳ１１）。続いて、取得した画像に対し、プログラムＰにより物体検出処理を実行する（ステップＳ１２）。
　ステップＳ１３では、物体検出処理の結果、プログラムＰにより画像内に異物Ｆと見なし得る何らかの物体（異物Ｆまたは物体Ｏ）が検出されたか否かを判定する。特定の種類の物体が存在しなければ、異物は存在しないとして、異物検出工程を終了する（ステップＳ１４）。
　画像中に何らかの物体が検出された場合、ステップＳ１５に進む。ステップＳ１５では、境界判定部１２により、検出された各物体の対象領域Ａに対する位置を判定する。ステップＳ１６では、ステップＳ１２で検出された物体の中に、対象領域Ａ内に位置すると判定された物体が存在したか否かを判定する。前記物体のうち、いずれもが対象領域Ａの外にあると判定された場合は、異物は存在しないとして、異物検出工程を終了する（ステップＳ１４）。前記物体のうち、少なくとも一部が対象領域Ａ内にあると判定された場合は、異物Ｆが存在したと判定して、異物検出工程を終了する（ステップＳ１７）。尚、ここに説明した手順は一例であって、各ステップの順序は適宜入れ替えたり、別のステップを追加するなど、変更を加えることができることは、上記第一実施例について説明した通りである。
　このように、本第二実施例では、プログラムＰを用いた異物検出を実行するにあたり、境界判定部１２による位置判定を併せて実行することで、異物検出の精度を高めるようにしている。
　尚、上記第一実施例では境界判定部として物体センサ６を、本第二実施例では画像処理部１１内に格納された境界判定部１２をそれぞれ説明したが、これらを適宜組み合わせて異物検出システムを実施することも可能である。また、異物検出の精度を高める等の目的のため、その他のセンサ類等を適宜併用してもよい。
　また、上記第一および第二実施例では対象領域Ａとして機械式駐車場の入出庫スペースを想定したが、同様の異物検出システムは、異物の検出が必要とされる空間であれば種類を問わず適用することができる。例えば、電気自動車の給電設備等を想定することもできるし、また、例えば窓のある倉庫内の警備などにも応用できる。
　以上のように、上記本第二実施例の異物検出システムにおいて、境界判定部１２は、撮像装置５により取得された画像内における物体の位置と、前記画像内に透過部（入出庫口４）の占める領域との位置関係に基づき、撮像装置５により取得された画像内に検出された物体が対象領域Ａの内側にあるか外側にあるかを判定するよう構成されている。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、境界判定部１２による位置判定を併せて実行することで、異物検出の精度を高めることができる。
　また、本第二実施例の異物検出方法は、対象領域内Ａの画像を取得する画像取得工程（ステップＳ１１）と、画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムＰにより物体を検出する物体検出工程（ステップＳ１２）と、前記画像内における物体の位置と、対象領域Ａの内側から外部を視認できる透過部（入出庫口４）が画像内に占める領域との位置関係に基づき、画像内に検出された物体が対象領域の内側にあるか外側にあるかを判定する位置判定工程（ステップＳ１５）とを含んでいる。このようにすれば、プログラムＰを用いて異物検出を行うにあたり、検出された物体の位置判定を併せて実行することで、異物検出の精度を高めることができる。
　その他の構成および作用効果等については上記第一実施例と共通するため説明を省略するが、本第二実施例によっても、極力簡単な構成により高い精度で異物を検出し得る。
　尚、本開示において説明した本発明の異物検出システムおよび方法は、上述の実施例にのみ限定されるものではなく、要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
　　１：車両　２：パレット　４：透過部（入出庫口）　５：撮像装置　５ａ：撮像装置　５ｂ：撮像装置　６：境界判定部（物体センサ）　７：操作部　８：表示部　９：警報部　１０：制御装置　１１：画像処理部　１２：境界判定部　Ａ：対象領域　Ｆ：物体（異物）　Ｏ：物体　Ｐ：プログラム

Claims (10)

  1. 　対象領域内の画像を取得する撮像装置と、
    　前記撮像装置により取得された画像内の物体をディープラーニングを用いて検出するプログラムを格納する画像処理部と、
    　前記対象領域の内側から外部を視認できる透過部と周囲の物体との位置関係を判定する境界判定部とを備え、
    　前記撮像装置で取得された画像に対し、前記透過部の占める領域にマスク処理を施し、
    　該マスク処理を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出するよう構成された異物検出システム。
  2. 　前記マスク処理は前記撮像装置にて行われる、請求項１に記載の異物検出システム。
  3. 　前記マスク処理は前記画像処理部にて行われる、請求項１に記載の異物検出システム。
  4. 　前記境界判定部は、前記対象領域における外部空間との境界域における物体の有無を検出可能に構成された物体センサである、請求項１～３のいずれか一項に記載の異物検出システム。
  5. 　前記物体センサは、前記透過部のなす面に沿って照射された照射波を検出するよう構成されている、請求項４に記載の異物検出システム。
  6. 　前記境界判定部は、前記撮像装置により取得された画像内における物体の位置と、前記画像内に前記透過部の占める領域との位置関係に基づき、前記撮像装置により取得された画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定するよう構成されている、請求項１～３のいずれか一項に記載の異物検出システム。
  7. 　前記対象領域は機械式駐車場の入出庫スペースである、請求項１～６のいずれか一項に記載の異物検出システム。
  8. 　対象領域内の画像を取得する画像取得工程と、
    　前記画像取得工程で取得された画像に対し、前記対象領域の内側から外部を視認できる透過部の占める領域にマスク処理を施すマスク処理工程と、
    　前記マスク処理工程を経た画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する第一の物体検出工程と、
    　前記対象領域の境界域における物体の有無を検出する第二の物体検出工程と
    を含む異物検出方法。
  9. 　対象領域内の画像を取得する画像取得工程と、
    　前記画像取得工程で取得された画像に基づき、ディープラーニングを用いたプログラムにより物体を検出する物体検出工程と、
    　前記画像内における物体の位置と、前記対象領域の内側から外部を視認できる透過部が前記画像内に占める領域との位置関係に基づき、前記画像内に検出された物体が前記対象領域の内側にあるか外側にあるかを判定する位置判定工程と
    を含む異物検出方法。
  10. 　前記対象領域は機械式駐車場の入出庫スペースである、請求項８または９に記載の異物検出方法。
PCT/JP2020/018166 2019-05-20 2020-04-28 異物検出システムおよび方法 WO2020235320A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
SG11202110452QA SG11202110452QA (en) 2019-05-20 2020-04-28 Foreign body detection system and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019094735A JP7292102B2 (ja) 2019-05-20 2019-05-20 異物検出システムおよび方法
JP2019-094735 2019-05-20

Publications (1)

Publication Number Publication Date
WO2020235320A1 true WO2020235320A1 (ja) 2020-11-26

Family

ID=73454477

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/018166 WO2020235320A1 (ja) 2019-05-20 2020-04-28 異物検出システムおよび方法

Country Status (4)

Country Link
JP (1) JP7292102B2 (ja)
SG (1) SG11202110452QA (ja)
TW (1) TW202103056A (ja)
WO (1) WO2020235320A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523318A (zh) * 2023-12-26 2024-02-06 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023175848A1 (ja) * 2022-03-17 2023-09-21 日本電気株式会社 表示支援装置、表示支援方法、および記録媒体

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069497A (ja) * 2002-08-06 2004-03-04 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
JP2007243509A (ja) * 2006-03-08 2007-09-20 Hitachi Ltd 画像処理装置
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
JP2010193227A (ja) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc 映像処理システム
JP2017190639A (ja) * 2016-04-15 2017-10-19 Ｉｈｉ運搬機械株式会社 駐車装置の安全確認方法と制御方法
JP2017224925A (ja) * 2016-06-14 2017-12-21 株式会社エンルートＭ’ｓ 監視装置及び監視方法
WO2018030337A1 (ja) * 2016-08-08 2018-02-15 ナブテスコ株式会社 自動ドアシステム、自動ドアシステムで用いられるプログラム、自動ドアにおいて情報を収集する方法、自動ドアで用いられるセンサ装置
JP2019073968A (ja) * 2018-12-21 2019-05-16 三菱重工機械システム株式会社 機械式駐車場設備の安全確認システム、これを備えた機械式駐車場設備、および機械式駐車場設備の安全確認方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069497A (ja) * 2002-08-06 2004-03-04 Sumitomo Osaka Cement Co Ltd 監視装置および監視方法
JP2007243509A (ja) * 2006-03-08 2007-09-20 Hitachi Ltd 画像処理装置
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
JP2010193227A (ja) * 2009-02-19 2010-09-02 Hitachi Kokusai Electric Inc 映像処理システム
JP2017190639A (ja) * 2016-04-15 2017-10-19 Ｉｈｉ運搬機械株式会社 駐車装置の安全確認方法と制御方法
JP2017224925A (ja) * 2016-06-14 2017-12-21 株式会社エンルートＭ’ｓ 監視装置及び監視方法
WO2018030337A1 (ja) * 2016-08-08 2018-02-15 ナブテスコ株式会社 自動ドアシステム、自動ドアシステムで用いられるプログラム、自動ドアにおいて情報を収集する方法、自動ドアで用いられるセンサ装置
JP2019073968A (ja) * 2018-12-21 2019-05-16 三菱重工機械システム株式会社 機械式駐車場設備の安全確認システム、これを備えた機械式駐車場設備、および機械式駐車場設備の安全確認方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117523318A (zh) * 2023-12-26 2024-02-06 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质
CN117523318B (zh) * 2023-12-26 2024-04-16 宁波微科光电股份有限公司 一种抗光干扰的地铁屏蔽门异物检测方法、装置及介质

Also Published As

Publication number Publication date
JP2020190437A (ja) 2020-11-26
SG11202110452QA (en) 2021-10-28
TW202103056A (zh) 2021-01-16
JP7292102B2 (ja) 2023-06-16

Similar Documents

Publication Publication Date Title
JP5911147B2 (ja) 機械式駐車装置、機械式駐車装置の制御方法、及び機械式駐車装置の安全確認機能を設ける方法
JP6460655B2 (ja) 機械式駐車場設備の安全確認システム、これを備えた機械式駐車場設備、および機械式駐車場設備の安全確認方法
WO2020235320A1 (ja) 異物検出システムおよび方法
JP6942512B2 (ja) 機械式駐車装置の入庫制御方法及び出庫制御方法
JP6093811B2 (ja) 機械式駐車装置、機械式駐車装置の制御方法、及び機械式駐車装置の安全確認機能を設ける方法
JP7011463B2 (ja) 異物検知システムと方法
JP2018199999A (ja) 機械式駐車装置及びその制御方法並びに制御プログラム
JP2024014887A (ja) 安全確認システム及び安全確認方法並びに機械式駐車場設備
WO2020235321A1 (ja) 異物検出システム
JP7233529B2 (ja) 異物検出システム
JP2020012269A (ja) 機械式駐車装置
JP2023001935A (ja) 無人確認装置、駐車装置、および、駐車装置の制御方法
JP2005330685A (ja) 駐車装置の自動扉閉鎖装置
JP6595523B2 (ja) 機械式駐車装置及びその制御方法並びに制御プログラム
JP7442381B2 (ja) 入庫支援方法及び入庫支援装置
JP6416299B2 (ja) 機械式駐車装置及びその制御方法並びに制御プログラム
JP2019073968A (ja) 機械式駐車場設備の安全確認システム、これを備えた機械式駐車場設備、および機械式駐車場設備の安全確認方法
JP7383655B2 (ja) 機械式駐車場設備及びその制御方法並びに制御プログラム
JP6868070B2 (ja) 機械式駐車装置及び機械式駐車装置の制御方法
JP2018154983A (ja) 機械式駐車装置
JP2022051143A (ja) 入庫時安全確認装置と方法
JP2020172853A (ja) 機械式駐車装置及びその制御方法並びに制御プログラム
JP2001349083A (ja) 立体駐車場への再入場検知方法
JP2020133326A (ja) 車両の停止判定方法、異物検知方法およびこれらを用いたシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20810348

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20810348

Country of ref document: EP

Kind code of ref document: A1