WO2020184776A1 - 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템 - Google Patents

코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템 Download PDF

Info

Publication number
WO2020184776A1
WO2020184776A1 PCT/KR2019/004461 KR2019004461W WO2020184776A1 WO 2020184776 A1 WO2020184776 A1 WO 2020184776A1 KR 2019004461 W KR2019004461 W KR 2019004461W WO 2020184776 A1 WO2020184776 A1 WO 2020184776A1
Authority
WO
WIPO (PCT)
Prior art keywords
code
information
mobility
unmanned
location
Prior art date
Application number
PCT/KR2019/004461
Other languages
English (en)
French (fr)
Inventor
이봉규
이원상
Original Assignee
이봉규
(주)넵스
이원상
(주) 넵스홈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이봉규, (주)넵스, 이원상, (주) 넵스홈 filed Critical 이봉규
Publication of WO2020184776A1 publication Critical patent/WO2020184776A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1684—Tracking a line or surface by means of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Definitions

  • the present invention relates to a method for recognizing a location of an unmanned mobility through code recognition, a method for setting a moving route, and a method for setting a moving route and an unmanned mobility and operating system through code recognition in which the unmanned mobility recognizes its current location and sets a moving route to a designated destination to accurately move.
  • unmanned mobility such as information guide robots and cleaning robots that have their own mobility and perform specific functions
  • unmanned mobility is a technology that identifies one's current location and establishes a movement path to a location to perform tasks such as information guidance or cleaning. Skills are essential.
  • the unmanned mobility has no choice but to perform functions such as information guidance or cleaning inefficiently while moving randomly and unspecifically. As the unmanned mobility deviated from the working range, it could also be damaged or lost.
  • the conventional unmanned mobility can be utilized only in a communication area in which GPS communication is possible, its use is bound to be limited in areas where GPS signal reception is impossible or difficult, such as underground facilities or indoors.
  • an unmanned mobility such as a robot cleaner recognizes the cleaning area by radiating an infrared signal to the cleaning area and calculates the cleaning area to set the cleaning time.
  • the conventional unmanned mobility in order for the conventional unmanned mobility to recognize the current location and set the movement route, there was an inefficiency in that infrared emitters had to be installed everywhere for each cleaning area, and the movement route to the location to be performed was set and moved toward the destination. Since there is no technology at all, the conventional unmanned mobility has a limitation that it can be used only in a relatively narrow and enclosed space.
  • the present invention was invented to solve the above problem, and even in an area where GPS communication is not possible, it recognizes its own current location accurately and sets a moving route to a designated destination to accurately move toward the destination. This is a task to solve the method of recognizing the location of unmanned mobility, the method of setting the movement path, and the provision of the unmanned mobility and operating system through the system.
  • a code information management module for managing code specific information, location information, and map information; Recording unit; A code reader that detects a designated code image from the photographing image of the photographing unit and checks unique information; A location recognition module for calculating a current location point by checking location information according to the unique information checked by a code reader so as to be displayed on the map information; A driving unit for moving itself by generating driving power according to a driving signal; A controller that controls data communication between the code information management module, the code reader and the location recognition module according to the setting logic when the shooting image of the recording unit is received, and transmits a driving signal to the driving unit according to the location information checked by the location recognition module. It is unmanned mobility including;
  • a photographing step of the photographing unit photographing a designated section to generate a photographed image
  • FIG. 1 is a perspective view schematically showing a driving state of an unmanned mobility according to the present invention
  • FIG. 2 is a block diagram showing the configuration of a system consisting of unmanned mobility and a central server according to the present invention
  • FIG. 3 is a flowchart sequentially showing a location recognition process for unmanned mobility according to the present invention
  • FIG. 4 is a diagram schematically showing a state in which the unmanned mobility according to the present invention recognizes a code
  • FIG. 5 is a diagram schematically showing the principle of the operating system according to the present invention to recognize the type of code
  • FIG. 6 is a diagram schematically showing a state of confirming the location of the unmanned mobility according to the present invention
  • FIG. 7 is a diagram schematically showing the principle of recognizing a distance according to the size of a code by the operating system according to the present invention
  • FIG. 8 is a diagram schematically showing the principle of the operating system according to the present invention to recognize a shooting angle according to the difference in the ratio of the code
  • FIG. 9 is a diagram schematically showing a state in which the operating system according to the present invention checks the current location according to the recognized code
  • FIG. 10 is a block diagram showing another configuration of the unmanned mobility according to the present invention.
  • FIG. 11 is a diagram schematically showing a state in which a moving path of unmanned mobility according to the present invention is set and displayed on a map image.
  • FIG. 1 is a perspective view schematically showing a driving state of an unmanned mobility according to the present invention
  • FIG. 2 is a block diagram showing the configuration of a system consisting of an unmanned mobility and a central server according to the present invention.
  • the unmanned mobility 100 includes a code information management module 140 for managing unique information, location information, and map information of codes C1 to C6; hereinafter'C'; Photographing unit 110; A code reader 120 that detects a code image designated in the photographing image of the photographing unit 110 and checks unique information; A location recognition module 130 for calculating the current location by checking location information according to the unique information checked by the code reader 120 so as to be displayed on the map information; A driving unit 150 for moving itself by generating driving power according to a driving signal; When the photographing image of the photographing unit 110 is received, data communication is controlled between the code information management module 140 and the code reader 120 and the location recognition module 130 according to the setting logic, and the location recognition module 130 confirms It includes; a controller 170 for transmitting a driving signal to the driving unit 150 according to the location information.
  • a controller 170 for transmitting a driving signal to the driving unit 150 according to the location information.
  • the code (C) is an information storage means such as a barcode or a QR code (Quick Response Code), and the code reader 120 can read it through image scanning or the like.
  • the code (C) is attached to the general wall (W1, W2) and the column (P1), as well as furniture or various structures, as shown in FIG. 1, and in this embodiment, the code (C) is disposed at the bottom to facilitate detection and reading. It is desirable. However, if it is a location where the photographing unit 110 can take a picture and a location that the code reader 120 can detect and read, the attachment location is not limited.
  • the code C may have a unique shape, color, or pattern applied to distinguish it from similar codes.
  • the code information management module 140 is a type of storage device and includes unique information of the code C, location information, and map information.
  • the unique information may include an ID for identification with another code (C), a code image of the code (C) itself, and location information at which the code (C) is located.
  • the location information may be included in the unique information, but the code information management module 140 may store and manage each ID. Since reading the code image cannot completely guarantee the accuracy, it is preferable that the code information management module 140 additionally stores and manages the location information for verification and the like.
  • the map information is topographic information of an active section of the unmanned mobility 100. In the map information, a corresponding terrain image is displayed based on coordinates, and a code (C) is displayed according to each location information.
  • the map image of the map information may be output on the displayer 160 ′ configured in the unmanned mobility 100 or may be output on the monitor 230 of the central server 200 operated by the administrator.
  • coordinates applied to the location information and map information may be coordinates that are distinguished from GPS coordinates.
  • the photographing unit 110 is a high-resolution camera installed on the head H of the unmanned mobility 100, and may rotate at a constant speed so that the unmanned mobility 100 photographs all the peripheral portions in a panoramic manner without delay. However, the photographing unit 110 may continue to shoot only in a fixed direction to secure a more stable photographing image without shaking, and if the code reader 120 detects a specific code (C), the corresponding code (C) is continuously photographed. You can also move in a tracking manner to do so. In addition, two or more photographing units 110 may be configured so that each other may independently photograph and move.
  • the code reader 120 detects a designated code image from the photographed image of the photographing unit 110 and checks the unique information. As described above, the code C may be included in the photographed image. Therefore, the code reader 120 continuously scans the photographed image and detects the code (C). In order to increase the detection efficiency of the code (C), only the code (C) such as a specific shape, color, pattern, etc. can be selected and detected. have. When the code (C) is detected in the photographed image, the code reader 120 reads the code (C) to check the unique information. A more detailed description of how to check the unique information is given below.
  • the location recognition module 130 calculates the current location by checking location information according to the unique information checked by the code reader 120 so as to be displayed on the map information. Since the location recognition module 130 has verified the unique information and the location information through the currently identified code reader 120, it searches for the map information corresponding to the unique information and the location information to determine the current location where the unmanned mobility 100 is currently located. The location point is displayed on the map image. As a result, the current location point of the unmanned mobility 100 is displayed on the displayer 160 ′ of the unmanned mobility 100 and the monitor 230 of the central server 200, and a passerby or an administrator, etc., the unmanned mobility 100 Can determine the location of.
  • the driving unit 150 moves itself by generating driving power according to a driving signal.
  • the driving unit 150 is a type of electric vehicle, and is installed under the body B of the unmanned mobility 100, and a steering device (not shown) is provided under the control of the controller 170. It is manipulated. Therefore, the unmanned mobility 100 can move through the driving power of the driving unit 150 in a designated area.
  • the controller 170 controls data communication between the code information management module 140 and the code reader 120 and the position recognition module 130 according to the setting logic, and position recognition The driving signal is transmitted to the driving unit 150 according to the location information checked by the module 130.
  • system of this embodiment further includes a central server (200).
  • the central server 200 is a means for remotely managing and monitoring the driving of the unmanned mobility 100 and the state of the corresponding area.
  • Mobility tracking that checks the current location of the unmanned mobility 100 and outputs it through the monitor 230
  • the location recognition module 240 and the code information management module 250 configured in the central server 200 may replace the location recognition module 130 and the code information management module 140 configured in the unmanned mobility 100, at this time
  • the unmanned mobility 100 may wirelessly communicate with the location recognition module 130 and the code information management module 140.
  • the mobility tracking module 210 receives the coordinates of the current location point checked by the location recognition module 130 of the unmanned mobility 100, displays it on a corresponding map image, and outputs it through the monitor 230. Accordingly, the administrator can check the current location of the unmanned mobility 100 in real time while viewing the screen output on the monitor 230 of the central server 200.
  • the mobility manipulation module 220 may remotely control the movement of the unmanned mobility 100 through an operator's manipulation. Eventually, according to the manager's operation, the mobility operation module 220 transmits the corresponding driving signal to the unmanned mobility 100, and the controller 170 of the unmanned mobility 100 receives the driving signal and transmits the corresponding driving signal to the driving unit 150. Deliver. The controller 170 preferentially transmits the driving signal received from the central server 200 to the driving unit 150 rather than the driving signal generated by itself.
  • FIG. 3 is a flowchart sequentially showing the location recognition process of unmanned mobility according to the present invention
  • FIG. 4 is a schematic diagram showing a state in which the unmanned mobility according to the present invention recognizes a code
  • FIG. 5 is It is a diagram schematically showing the principle of the operating system recognizing the type of code
  • FIG. 6 is a diagram schematically showing a state of confirming the location of the unmanned mobility according to the present invention.
  • the method for recognizing the location of unmanned mobility through code recognition according to the present invention and the method for setting a moving route include a photographing step (S10), a code check step (S20), a location check step (S30), a route setting step (S40), and a driving step. It consists of (S50).
  • the photographing unit 110 photographs a designated section and generates a photographed image.
  • the photographing unit 110 is a high-resolution camera installed on the head H of the unmanned mobility 100, and the unmanned mobility 100 rotates at a constant speed so that all the circumferential portions are photographed in a panoramic manner without delay. I can. However, the photographing unit 110 may continue to shoot only in a fixed direction to secure a more stable photographing image without shaking, and if the code reader 120 detects a specific code (C), the corresponding code (C) is continuously photographed. You can also move in a tracking manner to do so. In addition, two or more photographing units 110 may be configured so that each other may independently photograph and move.
  • the photographing unit 110 may be a video camera or a camera that repeatedly photographs at a predetermined period, through which one or more codes (C) attached to a corresponding position in a designated section are configured to be detected and identified in a photographed image.
  • C codes
  • the code reader 120 detects the code image CM from the photographed image and checks the unique information of the code C stored in the code information management module 140.
  • the code reader 120 scans the photographed image to detect the code image CM.
  • the code C has a unique shape or color for easy identification. It may have a pattern or contain a pattern. Therefore, the code reader 120 recognizes and detects an image of a specified condition while scanning a photographed image as a code image (CM).
  • the code reader 120 analyzes the code type displayed on the code image (CM) to determine the most similar code type among the code images (CM) stored in the code information management module 140. It searches only the code images (S1, S2, S3) that have. In this embodiment, the code reader 120 searches for code images (S1, S2, S3) in the code information management modules 140, 250 through CNN (convolutional neural network) deep learning image search as shown in FIG. Among the searched code images S1, S2, S3, only the code image S3 with the highest matching rate is presented as the final search result. For reference, the code reader 120 can install and utilize open source deep learning software based on Linux.
  • the code reader 120 reads the code image S3 presented as a final search result and checks both the ID and location information, which are unique information recorded in the code C, or the location information corresponding to the ID is based on the ID. Search and confirm the code information management module (140, 250).
  • the code information management module 250 when the code information management module 250 is not embedded in the unmanned mobility 100 and is located in a separate central server 200 or in other servers, unattended through the respective communication units 101 and 260 It communicates with the controller 170 of the mobility 100 and may provide corresponding unique information and location information.
  • communication between the central server 200 in which the code information management module 250 is configured and the unmanned mobility 100 may be performed through a 5G network in a json method.
  • the code reader 120 limits only adjacent codes of codes having a relatively high matching rate between code images as a search target.
  • the code image (CM) detected in the photographed image has a clear shape
  • the code reader 120 is a code with a relatively high coincidence rate in the code information management modules 140 and 250 based on the code image (CM).
  • the code image (S3) is an image of the code (C) that is substantially the same as the code image (CM) checked by the code reader 120, and is within the same photographed image. It is clear that other code images are images of codes that are close to the code (C).
  • the code reader 120 subsequently searches for the code information management modules 140 and 250, it first searches only the code image of the code (C) adjacent to the code (C) of the previous code image (CM) and becomes a candidate. present. Therefore, the code reader 120 can search the code image from the code information management modules 140 and 250 while maintaining higher accuracy and speed.
  • the location recognition module 130 checks the location information of the corresponding code C stored in the code information management modules 140 and 250 and calculates the current location point.
  • the location recognition module 130 selects the closest code image based on the sharpness of the code image and the matching rate with the searched code image, and the effective range of the code C of the corresponding code image as shown in FIG. It is assumed that the unmanned mobility 100 is located within. Furthermore, two or more are selected in the order of high proximity, and it is considered that the unmanned mobility 100 is located within a section overlapping each other in the effective range of each code (C).
  • the current location point of the unmanned mobility identified in this way is output to the displayer of the unmanned mobility 100 or the monitor 230 of the central server 200 so that an administrator or a pedestrian can immediately check it.
  • FIG. 7 is a diagram schematically showing the principle of the operating system according to the present invention to recognize the distance according to the size of the code
  • FIG. 8 is the principle of the operating system according to the present invention to recognize the shooting angle according to the difference in the ratio of the code
  • FIG. 9 is a diagram schematically illustrating a state in which the operating system according to the present invention checks the current location according to the recognized code.
  • the location recognition module 130 checks the distance to the code C according to the size of the code image CM, and the shooting angle with the code according to the shape of the code image CM ( ⁇ 1 to ⁇ 6) is checked, and the current location is verified by calculating the position where the vector lines (D1 to D6) cross each other according to the distance and shooting angle ( ⁇ 1 to ⁇ 6) for two or more code images (CM). do.
  • the size of the code image (CM) is standardized by distance between the code (C) and the unmanned mobility 100, and the location recognition module 130 determines the size of the detected code image (CM) as the standardized information. Compared with and check the distance between the code (C) and the unmanned mobility (100).
  • the shooting angles ⁇ 1 to ⁇ 6 of the code image CM are standardized according to the shape of the code image CM, and the position recognition module 130 determines the shape of the detected code image CM as the standardized information. Compared with, check the shooting angles ( ⁇ 1 to ⁇ 6) for the code (C).
  • the code image CM in the corresponding photographing image decreases in size by a certain ratio, such as d1 to d5. . Therefore, the size of the code image (CM) decreases at a certain rate according to the distance between the actual code (C) and the unmanned mobility 100, and eventually, the location recognition module 130 uses the size of the code image (CM). It is possible to check the actual distance between C) and the unmanned mobility 100.
  • the shape of the code image CM changes according to the photographing angles ⁇ 1 to ⁇ 6 of the photographing unit 110 with respect to the code C. That is, as shown in (a) of FIG. 8, when the photographing unit 110 photographs the code image CM from the front (shooting angle is 90 degrees), the code image CM is the left side L1 and the right side R1. ) Forms the same quadrangular shape, but when the code image (CM) is photographed from the side (shooting angle is less than 90 degrees or more than 90 degrees) as shown in (b) to (d) of FIG.
  • the right side (R2 To R4) is reduced at a constant rate compared to the left sides (L2 to L4), as well as the left and right widths (W2 to W4) are also reduced at a constant rate.
  • the location recognition module 130 can check the shooting angles ⁇ 1 to ⁇ 6 for the code C through the shape of the code image CM, and through this, the unmanned mobility 100 based on the code C You can check the direction of placement.
  • the location recognition module 130 generates vector lines D1 to D6 according to distances and shooting angles ⁇ 1 to ⁇ 6 for two or more codes (CM), and unattended locations that intersect each other. Check the current location of the mobility 100.
  • CM codes
  • the location recognition module 130 checks the coordinates of the current location point in the map information, and displays the coordinates on the map image through the displayer 160'. I can.
  • FIG. 10 is a block diagram showing another configuration of the unmanned mobility according to the present invention
  • FIG. 11 is a diagram schematically showing a state displayed on a map image in which a moving path of the unmanned mobility according to the present invention is set.
  • the unmanned mobility 100 of this embodiment further includes a work unit 160, a sensor 180, and a path setting module 190.
  • the work unit 160 may be a device such as an air purifier, an aroma sprayer, a cleaner, and a sterilizer. Accordingly, the unmanned mobility 100 may move to a designated area to purify the indoor air, remove or sterilize odors and other harmful substances through aroma spray, or remove various dusts. To this end, the controller 170 controls the operation of the corresponding work unit 160 according to the command signal.
  • the sensor 180 may be a device with various environmental state detection functions for detecting indoor temperature, fine dust ratio, odor component detection, various harmful substances, and foreign substances on the floor.
  • an object adjacent to the unmanned mobility 100 may be recognized so that the operation of the driving unit 150 of the unmanned mobility 100 may be controlled.
  • the controller 170 may control the corresponding work unit 160 to improve the environmental state.
  • the controller 170 may control the driving unit 150 to stop the unmanned mobility 100, or the driving unit 150 can transmit a driving signal to adjust the direction of movement.
  • the unmanned mobility 100 of the present embodiment further includes a route setting module 190 for generating route information by respectively checking the neighboring code of the destination point G and the neighboring code of the current location point based on the map information. do.
  • the route setting module 190 of the unmanned mobility 100 is the adjacent code of the destination point G and the current location point. Each adjacent code is checked to generate route information (S40).
  • the route setting module 190 sets a precedence relationship for each code according to the spatial configuration and is structured in a graph form.
  • the path setting module 190 generates the shortest path between the code adjacent to the destination point G and the code adjacent to the current location point where the unmanned mobility 100 is located through the shortest path algorithm (shortest path algorithm) method. Is set.
  • the code order may be determined so that the unmanned mobility 100 faces the code in front, such as'R1', and if the following code in the route information is recognized while driving, such as'R2', Code order can be determined.
  • the subsequent code is not limited to the code immediately after the current driving target code, and any code subsequent to the driving target code may be used.
  • the code sequence of the route information generated by the route setting module 190 is C1, C2, C3, C4, C5, and the current driving target of the unmanned mobility 100
  • the controller 170 ignores C3 and generates a driving signal so that the driving target of the unmanned mobility 100 is C4.
  • the controller 170 generates a driving signal to travel according to the code included in the route information and transmits the driving signal to the driving unit 150 (S50).
  • the route information is a code sequence within the shortest route for the unmanned mobility 100 to move from the current location point to the destination point G.
  • At least one selected from the code information management module 140, the code reader 120, the location recognition module 130, and the path setting module 190 communicates wirelessly with the controller 170.
  • one or more selected from the code information management module 140, the code reader 120, the location recognition module 130, and the route setting module 190 are not directly configured in the main body of the unmanned mobility 100. It may be configured in a separate central server 200 or another server, and data can be exchanged with the controller 170 through wireless communication. Consequently, the unmanned mobility 100 according to the present invention does not have to physically directly install the code information management module 140, the code reader 120, the location recognition module 130, and the path setting module 190.

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명은 무인 모빌리티가 현재 자신의 위치를 파악하고 지정된 목적지를 향한 이동경로를 설정해서 정확히 이동할 수 있도록 하는 코드 인식을 통한 무인 모빌리티의 위치 인식 방법과 이동경로 설정 방법 및 무인 모빌리티와 운영시스템에 관한 것으로, 코드의 고유정보와 위치정보와 맵 정보를 관리하는 코드정보 관리모듈; 촬영유닛; 상기 촬영유닛의 촬영이미지에서 지정된 코드이미지를 탐지하고 고유정보를 확인하는 코드리더; 상기 맵 정보에 표시할 수 있도록 코드리더가 확인한 고유정보에 따라 위치정보를 확인해서 현 위치점을 연산하는 위치인식모듈; 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행유닛; 상기 촬영유닛의 촬영이미지가 수신되면 설정 로직에 따라 코드정보 관리모듈과 코드리더와 위치인식모듈 간에 데이터 통신을 제어하고, 상기 위치인식모듈에서 확인한 위치정보에 따라 운전신호를 주행유닛에 전달하는 컨트롤러;를 포함하는 것이다.

Description

코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템
본 발명은 무인 모빌리티가 현재 자신의 위치를 파악하고 지정된 목적지를 향한 이동경로를 설정해서 정확히 이동할 수 있도록 하는 코드 인식을 통한 무인 모빌리티의 위치 인식 방법과 이동경로 설정 방법 및 무인 모빌리티와 운영시스템에 관한 것이다.
일반적으로 자체 이동성을 가지며 특정 기능을 수행하는 정보 안내 로봇과 청소 로봇 등의 무인 모빌리티는 자신의 현재 위치를 파악하는 기술과, 정보 안내 또는 청소 등의 작업을 수행할 위치로의 이동경로를 설정하는 기술이 필수적으로 요구된다.
그런데 자신의 현재 위치를 파악하는 기술과 작업 위치로의 이동경로를 설정하는 기술이 없는 경우에는, 무인 모빌리티가 불특정하게 무작위로 이동하면서 정보 안내 또는 청소 등의 기능을 비효율적으로 수행할 수밖에 없고, 심지어 무인 모빌리티가 작업 범위를 이탈하면서 훼손되거나 분실되는 문제 또한 발생할 수 있었다.
이러한 문제를 해소하기 위해서 종래에는 무인 모빌리티가 GPS좌표 인식 기술을 갖추어서 현재 위치를 파악하는 기술과, GPS좌표를 기반으로 목적 지점을 향한 이동경로를 설정하는 기술이 개발되었다.
하지만, 종래 무인 모빌리티는 GPS 통신이 가능한 통신 구역에서만 그 활용이 가능하므로, 지하시설 또는 실내와 같이 GPS 신호 수신이 불가능하거나 곤란한 구역에서는 그 사용에 한계가 있을 수밖에 없었다.
이러한 문제를 해소하기 위해서 종래에는 청소 구역에 적외선 신호를 방사하여 로봇 청소기 등의 무인 모빌리티가 해당 청소 구역을 인식하고 청소 면적을 계산해서 청소 시간을 설정하는 기술이 제안되었다.
하지만, 종래 무인 모빌리티가 현재 위치를 인식하고 이동경로를 설정하기 위해서는 청소 구역별로 적외선 방사기를 곳곳에 설치해야 하는 비효율성이 있었고, 작업을 수행할 위치로의 이동경로를 설정해서 목적지를 향해 이동하는 기술은 전혀 갖추지 않으므로, 종래 무인 모빌리티는 상대적으로 좁고 밀폐된 공간에서만 그 사용이 가능하다는 한계가 있었다.
이에 본 발명은 상기의 문제를 해소하기 위해 발명된 것으로서, GPS 통신이 불가능한 구역에서도 자체적으로 자신의 현재 위치를 정확히 파악하고 지정된 목적지를 향한 이동경로를 설정해서 상기 목적지를 향해 정확히 이동할 수 있는 코드 인식을 통한 무인 모빌리티의 위치 인식 방법과 이동경로 설정 방법 및 무인 모빌리티와 운영시스템의 제공을 해결하고자 하는 과제로 한다.
상기의 과제를 달성하기 위하여 본 발명은,
코드의 고유정보와 위치정보와 맵 정보를 관리하는 코드정보 관리모듈; 촬영유닛; 상기 촬영유닛의 촬영이미지에서 지정된 코드이미지를 탐지하고 고유정보를 확인하는 코드리더; 상기 맵 정보에 표시할 수 있도록 코드리더가 확인한 고유정보에 따라 위치정보를 확인해서 현 위치점을 연산하는 위치인식모듈; 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행유닛; 상기 촬영유닛의 촬영이미지가 수신되면 설정 로직에 따라 코드정보 관리모듈과 코드리더와 위치인식모듈 간에 데이터 통신을 제어하고, 상기 위치인식모듈에서 확인한 위치정보에 따라 운전신호를 주행유닛에 전달하는 컨트롤러;를 포함하는 무인 모빌리티이다.
상기의 다른 기술적 과제를 달성하기 위하여 본 발명은,
촬영유닛이 지정 구간을 촬영해서 촬영이미지를 생성시키는 촬영 단계;
코드리더가 상기 촬영이미지에서 코드이미지를 탐지하고 코드정보 관리모듈에 저장된 코드의 고유정보를 확인하는 코드 확인 단계;
상기 고유정보에 따라 위치인식모듈이 코드정보 관리모듈에 저장된 해당 코드의 위치정보를 확인해서 현 위치점을 연산하는 위치 확인 단계;
경로설정모듈이 코드정보 관리모듈에 저장된 맵 정보를 기반으로 목적지점의 인접 코드와 현 위치점의 인접 코드를 각각 확인해서 경로정보를 생성하는 경로설정 단계;
주행유닛이 상기 경로정보의 코드에 따른 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행 단계;
를 포함하는 코드 인식을 통한 무인 모빌리티의 위치 인식 및 이동경로 설정 방법이다.
상기의 본 발명은, GPS 통신이 불가능한 구역에서도 자체적으로 자신의 현재 위치를 정확히 파악하고 지정된 목적지를 향한 이동경로를 설정해서 상기 목적지를 향해 정확히 이동할 수 있는 효과가 있다.
도 1은 본 발명에 따른 무인 모빌리티의 구동 모습을 개략적으로 도시한 사시도이고,
도 2는 본 발명에 따른 무인 모빌리티와 중앙서버로 이루어진 시스템의 구성 모습을 도시한 블록도이고,
도 3은 본 발명에 따른 무인 모빌리티의 위치 인식 프로세스를 순차로 보인 플로차트이고,
도 4는 본 발명에 따른 무인 모빌리티가 코드를 인식하는 모습을 개략적으로 도시한 도면이고,
도 5는 본 발명에 따른 운영시스템이 코드의 종류를 인식하는 원리를 개략적으로 도시한 도면이고,
도 6은 본 발명에 따른 무인 모빌리티의 위치를 확인한 모습을 개략적으로 도시한 도면이고,
도 7은 본 발명에 따른 운영시스템이 코드의 크기에 따라 거리를 인식하는 원리를 개략적으로 도시한 도면이고,
도 8은 본 발명에 따른 운영시스템이 코드의 비율 차에 따라 촬영각도를 인식하는 원리를 개략적으로 도시한 도면이고,
도 9는 본 발명에 따른 운영시스템이 인식된 코드에 따라 현재 위치를 확인하는 모습을 개략적으로 도시한 도면이고,
도 10은 본 발명에 따른 무인 모빌리티의 다른 구성 모습을 도시한 블록도이고,
도 11은 본 발명에 따른 무인 모빌리티의 이동경로가 설정되어서 맵 이미지에 표시된 모습을 개략적으로 도시한 도면이다.
상술한 본 발명의 특징 및 효과는 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 분명해질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 출원에서 사용한 용어는 단지 특정한 실시 예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다.
이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.
도 1은 본 발명에 따른 무인 모빌리티의 구동 모습을 개략적으로 도시한 사시도이고, 도 2는 본 발명에 따른 무인 모빌리티와 중앙서버로 이루어진 시스템의 구성 모습을 도시한 블록도이다.
본 실시의 무인 모빌리티(100)는, 코드(C1 내지 C6; 이하 'C')의 고유정보와 위치정보와 맵 정보를 관리하는 코드정보 관리모듈(140); 촬영유닛(110); 촬영유닛(110)의 촬영이미지에서 지정된 코드이미지를 탐지하고 고유정보를 확인하는 코드리더(120); 상기 맵 정보에 표시할 수 있도록 코드리더(120)가 확인한 고유정보에 따라 위치정보를 확인해서 현 위치점을 연산하는 위치인식모듈(130); 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행유닛(150); 촬영유닛(110)의 촬영이미지가 수신되면 설정 로직에 따라 코드정보 관리모듈(140)과 코드리더(120)와 위치인식모듈(130) 간에 데이터 통신을 제어하고, 위치인식모듈(130)에서 확인한 위치정보에 따라 운전신호를 주행유닛(150)에 전달하는 컨트롤러(170);를 포함한다.
코드(C)는 바코드 또는 QR코드(Quick Response Code)와 같은 정보저장 수단으로서 코드리더(120)가 이미지 스캔 등을 통해 리딩할 수 있다. 코드(C)는 도 1과 같이 일반 벽면(W1, W2)과 기둥면(P1) 등은 물론 가구 또는 각종 구조물에 부착되며, 본 실시에서 코드(C)는 탐지 및 리딩이 용이하도록 하부에 배치되는 것이 바람직하다. 하지만, 촬영유닛(110)이 촬영할 수 있는 위치이면서 코드리더(120)가 탐지하고 읽을 수 있는 위치라면 부착 위치에 제한하지 않는다. 참고로, 코드(C)는 유사 코드들과의 구분을 위해서 고유한 형태 또는 색상 또는 무늬 등이 적용될 수 있다.
코드정보 관리모듈(140)은 저장장치의 일종으로서, 코드(C)의 고유정보와 위치정보와 맵 정보를 포함한다. 상기 고유정보는, 다른 코드(C)와의 식별을 위한 ID와, 코드(C) 자체의 코드이미지와, 해당 코드(C)가 위치한 위치정보를 포함할 수 있다. 상기 위치정보는, 상기 고유정보에 포함될 수도 있으나 코드정보 관리모듈(140)이 ID 별로 저장 관리할 수 있다. 코드이미지를 리딩하는 것은 정확성을 완벽하게 보장할 수는 없으므로, 검증 등을 위해서 코드정보 관리모듈(140)이 위치정보를 추가로 저장 관리하는 것이 바람직하다. 상기 맵 정보는 무인 모빌리티(100)의 활동 구간의 지형 정보이다. 상기 맵 정보는 좌표를 기반으로 해당하는 지형 이미지가 표시되고, 코드(C)는 각각의 위치정보에 맞춰 표시된다. 상기 맵 정보의 맵 이미지는 무인 모빌리티(100)에 구성된 디스플레이어(160')에 출력될 수도 있고, 관리자가 운영하는 중앙서버(200)의 모니터(230)에 출력될 수도 있다. 참고로, 상기 위치정보 및 맵 정보에 적용되는 좌표는 GPS좌표와는 구분되는 좌표일 수 있다.
촬영유닛(110)은 무인 모빌리티(100)의 헤드(H)에 설치되는 고해상도의 카메라로서, 무인 모빌리티(100)가 둘레부분을 모두 파노라마 방식으로 지연 없이 촬영하도록 일정 속도로 회전할 수 있다. 하지만 촬영유닛(110)은 흔들림 없는 보다 안정된 촬영이미지를 확보하도록 고정 방향으로만 촬영을 지속할 수도 있고, 코드리더(120)가 특정 코드(C)를 탐지하면 해당 코드(C)를 지속적으로 촬영하도록 추적 방식으로 이동할 수도 있다. 또한 촬영유닛(110)은 둘 이상이 구성되어서 서로가 독립하게 촬영 및 이동할 수도 있다.
코드리더(120)는, 촬영유닛(110)의 촬영이미지에서 지정된 코드이미지를 탐지하고 고유정보를 확인한다. 전술한 바와 같이 촬영이미지에는 코드(C)가 포함될 수 있다. 따라서 코드리더(120)는 촬영이미지를 지속적으로 스캔하며 코드(C)를 탐지하는데, 코드(C)의 탐지 효율을 높이기 위해서 특정 형상, 색상, 무늬 등의 코드(C)만을 선별해 탐지할 수 있다. 상기 촬영이미지에서 코드(C)가 탐지되면, 코드리더(120)는 코드(C)를 리딩해서 고유정보를 확인한다. 고유정보 확인방법에 대한 보다 구체적인 설명은 아래에서 한다.
위치인식모듈(130)은, 상기 맵 정보에 표시할 수 있도록 코드리더(120)가 확인한 고유정보에 따라 위치정보를 확인해서 현 위치점을 연산한다. 위치인식모듈(130)은 현재 확인된 코드리더(120)를 통해 고유정보 및 위치정보를 확인했으므로, 상기 고유정보 및 위치정보에 따라 해당하는 맵 정보를 검색해서 무인 모빌리티(100)가 현재 위치한 현 위치점을 맵 이미지에 표시한다. 결국, 무인 모빌리티(100)의 디스플레이어(160')와 중앙서버(200)의 모니터(230)에는 무인 모빌리티(100)의 현 위치점이 표시되고, 통행인 또는 관리자 등은 원거리에서도 무인 모빌리티(100)의 위치를 파악할 수 있다.
주행유닛(150)은 운전신호에 따라 주행 동력을 일으켜 자체를 이동시킨다. 이를 좀 더 구체적으로 설명하면, 주행유닛(150)은 전동차의 일종으로서, 무인 모빌리티(100)의 바디(B) 하단에 설치되고, 컨트롤러(170)의 제어에 따라 조향장치(미도시함)가 조작된다. 따라서 무인 모빌리티(100)는 지정된 구역에서 주행유닛(150)의 주행 동력을 통해 이동할 수 있다.
컨트롤러(170)는, 촬영유닛(110)의 촬영이미지가 수신되면 설정 로직에 따라 코드정보 관리모듈(140)과 코드리더(120)와 위치인식모듈(130) 간에 데이터 통신을 제어하고, 위치인식모듈(130)에서 확인한 위치정보에 따라 운전신호를 주행유닛(150)에 전달한다.
한편, 본 실시의 시스템은 중앙서버(200)를 더 포함한다.
중앙서버(200)는 무인 모빌리티(100)의 주행과 해당 구역의 상태를 원격에서 관리 및 모니터링하는 수단으로서, 무인 모빌리티(100)의 현 위치점을 확인해서 모니터(230)를 통해 출력시키는 모빌리티 추적모듈(210)과, 관리자가 무인 모빌리티(100)를 운전하기 위해 운전신호를 발신하는 모빌리티 조작모듈(220)과, 무인 모빌리티(100)의 위치인식모듈(130)에 상응하는 위치인식모듈(240)과, 무인 모빌리티(100)의 코드정보 관리모듈(140)에 상응하는 코드정보 관리모듈(250)과, 관리자의 컨트롤 결과가 출력되는 모니터(230)를 포함한다.
중앙서버(200)에 구성된 위치인식모듈(240)과 코드정보 관리모듈(250)은 무인 모빌리티(100)에 구성된 위치인식모듈(130)과 코드정보 관리모듈(140)을 대신할 수도 있으며, 이때 무인 모빌리티(100)는 위치인식모듈(130) 및 코드정보 관리모듈(140)과 무선 통신할 수 있다.
모빌리티 추적모듈(210)은 무인 모빌리티(100)의 위치인식모듈(130)이 확인한 현 위치점 좌표를 수신해서 해당 맵 이미지에 표시하고, 모니터(230)를 통해 출력시킨다. 따라서 관리자는 중앙서버(200)의 모니터(230)에 출력되는 화면을 보면서 무인 모빌리티(100)의 현재 위치를 실시간으로 확인할 수 있다.
모빌리티 조작모듈(220)은 관리자의 조작을 통해 무인 모빌리티(100)의 이동을 원격에서 제어할 수 있다. 결국, 관리자의 조작에 따라 모빌리티 조작모듈(220)는 해당 운전신호를 무인 모빌리티(100)에 발신하고, 무인 모빌리티(100)의 컨트롤러(170)는 상기 운전신호를 수신해서 주행유닛(150)에 전달한다. 컨트롤러(170)는 자체 생성한 운전신호보다 중앙서버(200)로부터 수신한 운전신호를 우선적으로 주행유닛(150)에 전달한다.
본 실시의 무인 모빌리티(100)와 중앙서버(200)에 대한 보다 구체적인 설명은 방법을 설명과 더불어 한다.
도 3은 본 발명에 따른 무인 모빌리티의 위치 인식 프로세스를 순차로 보인 플로차트이고, 도 4는 본 발명에 따른 무인 모빌리티가 코드를 인식하는 모습을 개략적으로 도시한 도면이고, 도 5는 본 발명에 따른 운영시스템이 코드의 종류를 인식하는 원리를 개략적으로 도시한 도면이고, 도 6은 본 발명에 따른 무인 모빌리티의 위치를 확인한 모습을 개략적으로 도시한 도면이다.
본 발명에 따른 코드 인식을 통한 무인 모빌리티의 위치 인식 방법 및 이동경로 설정 방법은, 촬영 단계(S10)와 코드 확인 단계(S20)와 위치 확인 단계(S30)와 경로설정 단계(S40)와 주행 단계(S50)로 이루어진다.
S10; 촬영 단계
촬영유닛(110)이 지정 구간을 촬영해서 촬영이미지를 생성시킨다.
전술한 대로 촬영유닛(110)은, 무인 모빌리티(100)의 헤드(H)에 설치되는 고해상도의 카메라로서, 무인 모빌리티(100)가 둘레부분을 모두 파노라마 방식으로 지연 없이 촬영하도록 일정 속도로 회전할 수 있다. 하지만 촬영유닛(110)은 흔들림 없는 보다 안정된 촬영이미지를 확보하도록 고정 방향으로만 촬영을 지속할 수도 있고, 코드리더(120)가 특정 코드(C)를 탐지하면 해당 코드(C)를 지속적으로 촬영하도록 추적 방식으로 이동할 수도 있다. 또한 촬영유닛(110)은 둘 이상이 구성되어서 서로가 독립하게 촬영 및 이동할 수도 있다.
한편, 촬영유닛(110)은 동영상 카메라 또는 일정 주기로 반복 촬영하는 사진기일 수 있고, 이를 통해 지정 구간의 해당 위치에 부착된 하나 이상의 코드(C)는 촬영이미지에서 탐지 및 식별이 가능하게 구성된다.
S20; 코드 확인 단계
코드리더(120)가 상기 촬영이미지에서 코드이미지(CM)를 탐지하고 코드정보 관리모듈(140)에 저장된 코드(C)의 고유정보를 확인한다.
코드리더(120)는 촬영이미지를 스캔해서 코드이미지(CM)를 탐지하는데, 상기 코드이미지(CM)를 신뢰도 있게 탐지하기 위해서 해당 코드(C)는 식별이 용이하도록 고유한 형태를 갖거나 색상을 지니거나 무늬를 포함할 수 있다. 따라서 코드리더(120)는 촬영이미지를 스캔하는 중에 지정된 조건의 이미지가 확인되면 코드이미지(CM)로 인식해서 탐지한다.
코드이미지(CM)가 탐지되면, 코드리더(120)는 코드이미지(CM)에 표시된 코드 형태를 이미지 분석해서, 코드정보 관리모듈(140)에 저장된 코드이미지(CM)들 중 가장 유사한 코드 형태를 갖는 코드이미지(S1, S2, S3)만을 검색한다. 본 실시에서 코드리더(120)는, 도 5와 같이 CNN(convolutional neural network) 딥러닝 이미지 검색을 통해 코드정보 관리모듈(140, 250)에서 코드이미지(S1, S2, S3)를 검색하며, 이렇게 검색된 코드이미지(S1, S2, S3) 중 일치율이 가장 높은 코드이미지(S3)만을 최종 검색결과로 제시한다. 참고로, 코드리더(120)는 리눅스 기반의 오픈소스 딥러닝 소프트웨어를 설치해 활용할 수 있다.
코드리더(120)는 최종 검색결과로 제시된 코드이미지(S3)를 리딩해서 해당 코드(C)에 기록된 고유정보인 ID와 위치정보를 모두 확인하거나, 해당 ID에 대응하는 위치정보는 ID를 기초로 코드정보 관리모듈(140, 250)을 검색해서 확인한다.
한편, 코드정보 관리모듈(250)이 무인 모빌리티(100)에 내장되지 않고 별도의 중앙서버(200)에 위치하거나 기타 다른 서버에 위치할 경우에는, 각각의 통신유닛(101, 260)을 통해 무인 모빌리티(100)의 컨트롤러(170)와 통신하며 해당 고유정보 및 위치정보를 제공할 수 있다. 참고로, 코드정보 관리모듈(250)이 구성된 중앙서버(200)와 무인 모빌리티(100) 간에 통신은 json 방식으로 5G 네트워크를 통해 이루어질 수 있다.
한편, 코드리더(120)는 코드이미지 간에 일치율이 상대적으로 높은 코드의 인접 코드만을 검색 대상으로 제한한다. 일반적으로 촬영이미지에서 탐지된 코드이미지(CM)가 선명한 형태를 이룬다면, 코드리더(120)는 해당 코드이미지(CM)를 기초로 코드정보 관리모듈(140, 250)에서 상대적으로 높은 일치율의 코드이미지(S3)를 검색할 수 있다. 즉, 무인 모빌리티(100)가 해당 코드(C)와 정면으로 근접한다면 촬영유닛(110)은 코드(C)의 정면을 선명하게 촬영할 수 있고, 코드리더(120)는 코드정보 관리모듈(140, 250)에서도 높은 일치율의 코드이미지(S3)를 검색할 수 있는 것이다.
따라서 기준치 이상의 일치율을 갖는 코드이미지(S3)가 검색되면, 해당 코드이미지(S3)는 코드리더(120)가 확인한 코드이미지(CM)와 사실상 동일한 코드(C)의 이미지이고, 동일한 촬영이미지 내에 있는 다른 코드이미지들도 해당 코드(C)와 근접한 코드의 이미지임이 분명하다. 결국, 코드리더(120)가 후속적으로 코드정보 관리모듈(140, 250)을 검색할 때에는 앞선 코드이미지(CM)의 코드(C)와 인접한 코드(C)의 코드이미지만을 우선 검색하여 후보로 제시한다. 따라서 코드리더(120)는 보다 높은 정확성과 신속성을 유지하면서 코드이미지를 코드정보 관리모듈(140, 250)에서 검색할 수 있다.
S30; 위치 확인 단계
상기 고유정보에 따라 위치인식모듈(130)이 코드정보 관리모듈(140, 250)에 저장된 해당 코드(C)의 위치정보를 확인해서 현 위치점을 연산한다.
본 실시 예에서 위치인식모듈(130)은 코드이미지의 선명도와, 검색된 코드이미지와의 일치율 등을 기반으로 가장 인접한 코드이미지를 선별해서, 도 4와 같이 해당 코드이미지의 코드(C)의 유효범위 이내에 무인 모빌리티(100)가 위치한 것으로 간주한다. 더 나아가 인접도가 높은 순서 대로 2개 이상을 선별해서, 각 코드(C)들의 유효범위에서 서로 겹치는 구간 이내에 무인 모빌리티(100)가 위치한 것으로 간주한다.
이렇게 확인된 무인 모빌리티의 현 위치점은 무인 모빌리티(100)의 디스플레이어 또는 중앙서버(200)의 모니터(230)에 출력시키서, 관리자 또는 보행자가 바로 확인할 수 있게 한다.
도 7은 본 발명에 따른 운영시스템이 코드의 크기에 따라 거리를 인식하는 원리를 개략적으로 도시한 도면이고, 도 8은 본 발명에 따른 운영시스템이 코드의 비율 차에 따라 촬영각도를 인식하는 원리를 개략적으로 도시한 도면이고, 도 9는 본 발명에 따른 운영시스템이 인식된 코드에 따라 현재 위치를 확인하는 모습을 개략적으로 도시한 도면이다.
위치 확인 단계(S30)에서 위치인식모듈(130)은, 코드이미지(CM)의 크기에 따라 해당 코드(C)와의 거리를 확인하고, 코드이미지(CM)의 형상에 따라 해당 코드와의 촬영각도(Θ1 내지 Θ6)를 확인하며, 2개 이상의 코드이미지(CM)별 상기 거리 및 촬영각도(Θ1 내지 Θ6)에 따른 벡터라인(D1 내지 D6)이 서로 교차하는 위치를 연산해서 현 위치점을 확인한다.
본 실시에서 코드이미지(CM)의 크기는 코드(C)와 무인 모빌리티(100) 간의 거리별로 기준화하고, 위치인식모듈(130)은 탐지된 코드이미지(CM)의 크기를 상기 기준화된 정보와 비교해서 코드(C)와 무인 모빌리티(100) 간에 거리를 확인한다. 또한 코드이미지(CM)의 촬영각도(Θ1 내지 Θ6)는 코드이미지(CM)의 형상에 따라 기준화하고, 위치인식모듈(130)은 탐지된 코드이미지(CM)의 형상을 상기 기준화된 정보와 비교해서 코드(C)에 대한 촬영각도(Θ1 내지 Θ6)를 확인한다.
이를 좀 더 구체적으로 설명하면, 도 7과 같이 촬영유닛(110)과 코드(C) 간에 거리가 멀어질수록 해당 촬영이미지 내에 코드이미지(CM)는 d1 내지 d5와 같이 일정 비율로 크기가 줄어들게 된다. 따라서 실제 코드(C)와 무인 모빌리티(100) 간에 거리에 따라 코드이미지(CM)의 크기는 일정한 비율로 감소하게 되고, 결국 위치인식모듈(130)은 코드이미지(CM)의 크기를 통해 코드(C)와 무인 모빌리티(100) 간의 실제 거리를 확인할 수 있다.
또한, 코드(C)에 대한 촬영유닛(110)의 촬영각도(Θ1 내지 Θ6)에 따라 코드이미지(CM)의 형상이 변하게 된다. 즉, 도 8의 (a)도면과 같이 촬영유닛(110)이 코드이미지(CM)를 정면(촬영각도가 90도)에서 촬영하면, 해당 코드이미지(CM)는 좌변(L1)과 우변(R1)이 동일한 4 각형 형태를 이루지만, 도 8의 (b)도면 내지 (d)도면과 같이 코드이미지(CM)를 측면(촬영각도가 90도 미만 또는 90도 초과)에서 촬영하면, 우변(R2 내지 R4)은 좌변(L2 내지 L4)에 비해 일정한 비율로 감소하게 됨은 물론 좌우폭(W2 내지 W4) 또한 일정한 비율로 감소하게 된다. 결국, 위치인식모듈(130)은 코드이미지(CM)의 형상을 통해 코드(C)에 대한 촬영각도(Θ1 내지 Θ6)를 확인할 수 있고, 이를 통해 코드(C)를 기준으로 무인 모빌리티(100)의 배치 방향을 확인할 수 있다.
계속해서, 도 9와 같이 위치인식모듈(130)은 2개 이상의 코드(CM)별 거리 및 촬영각도(Θ1 내지 Θ6)에 따라 벡터라인(D1 내지 D6)을 생성해서, 서로 교차하는 위치를 무인 모빌리티(100)의 현 위치점을 확인한다.
도 9는 6개의 코드(C1 내지 C6)와 무인 모빌리티(100) 간에 벡터라인(D1 내지 D6)이 동일한 지점을 교차하는 것으로 했으나, 오차를 고려해서 코드리더(120)는, 위치인식모듈(130)에서 확인된 코드와의 거리와 촬영각도(Θ1 내지 Θ6)가 기준치 이내의 해당 코드이미지만을 선별해서 코드정보를 확인하고, 해당하는 코드(C)의 벡터라인만의 교차 위치를 현 위치점으로 확정하는 것이 바람직하다.
전술한 방법에 따라 무인 모빌리티(100)의 현 위치점이 확인되면, 위치인식모듈(130)은 상기 현 위치점의 좌표를 맵 정보에서 확인하고, 디스플레이어(160')를 통해 맵 이미지에 표시할 수 있다.
도 10은 본 발명에 따른 무인 모빌리티의 다른 구성 모습을 도시한 블록도이고, 도 11은 본 발명에 따른 무인 모빌리티의 이동경로가 설정되어서 맵 이미지에 표시된 모습을 개략적으로 도시한 도면이다.
본 실시의 무인 모빌리티(100)는 작업유닛(160)과 센서(180)와 경로설정모듈(190)을 더 포함한다.
작업유닛(160)은 공기청정기와 아로마 분사기와 청소기와 살균기 등의 장치일 수 있다. 따라서 무인 모빌리티(100)는 지정 구역으로 이동해서 실내 공기를 청정하거나 아로마 분사 등을 통해 악취 및 기타 유해 물질을 제거 또는 살균하거나 각종 먼지 등을 제거할 수 있다. 이를 위해 컨트롤러(170)는 명령신호에 따라 해당하는 작업유닛(160)의 동작을 제어한다.
센서(180)는 실내 온도, 미세먼지 비율, 악취 성분 검출, 각종 유해 물질 감지, 바닥의 이물질 등을 감지하는 각종 환경상태 감지 기능의 장치일 수 있다. 또한, 무인 모빌리티(100)에 인접한 물체를 인식해서 무인 모빌리티(100)의 주행유닛(150) 동작이 제어되도록 할 수 있다.
참고로, 환경상태 감지 기능의 센서(180)로부터 컨트롤러(170)가 정보를 수신하면, 컨트롤러(170)는 해당하는 작업유닛(160)을 제어해서 환경 상태를 개선시킬 수 있다.
또한, 인접한 물체를 인식하는 기능의 센서(180)로부터 컨트롤러(170)가 정보를 수신하면, 컨트롤러(170)는 무인 모빌리티(100)가 정지하도록 주행유닛(150)을 제어할 수도 있고, 주행유닛(150)이 이동 방향을 조정하도록 운전신호를 발신할 수 있다.
한편, 본 실시의 무인 모빌리티(100)는, 맵 정보를 기반으로 목적지점(G)의 인접 코드와 현 위치점의 인접 코드를 각각 확인해서 경로정보를 생성하는 경로설정모듈(190)을 더 포함한다.
관리자의 명령신호 등에 의해서 무인 모빌리티(100)가 이동해야 할 목적지점(G)이 입력되면, 무인 모빌리티(100)의 경로설정모듈(190)은 목적지점(G)의 인접 코드와 현 위치점의 인접 코드를 각각 확인해서 경로정보를 생성한다(S40). 여기서 경로정보를 생성하기 위해 경로설정모듈(190)은 공간 구성에 따라 코드별로 선후관계가 설정되고 그래프 형태로 구조화 된다. 결국, 경로설정모듈(190)은 shortest path 알고리즘(최단경로 알고리즘) 방식을 통해 목적지점(G)의 인접 코드와 무인 모빌리티(100)가 위치한 현 위치점의 인접 코드 간에 최단경로를 생성해서 경로정보를 설정한다.
상기 경로정보는 'R1'과 같이 무인 모빌리티(100)가 코드를 정면에 두고 향하도록 코드 순서가 정해질 수도 있고, 'R2'와 같이 주행 중 경로정보 내 후속 코드가 인식되면 후속 코드를 향하도록 코드 순서가 정해질 수 있다. 후자(後者) 방식의 경우, 후속 코드는 현재 주행 타겟이 된 코드 직후의 코드에 한정하지 않으며, 상기 주행 타겟이 된 코드의 후속 코드라면 모두 가능하다.
후자(後者)에 대해 좀 더 구체적으로 설명하면, 경로설정모듈(190)이 생성한 경로정보의 코드 순서가 C1, C2, C3, C4, C5이고, 무인 모빌리티(100)의 현재 주행 타겟이 된 코드가 C2인 상태에서 무인 모빌리티(100)가 C3가 아닌 C4를 확인하면, 컨트롤러(170)는 C3를 무시하고 무인 모빌리티(100)의 주행 타겟이 C4가 되도록 운전신호를 생성한다.
한편, 전자(前者)와 후자(後者) 방식에 구분 없이 컨트롤러(170)는, 상기 경로정보에 포함된 코드에 따라 주행하도록 운전신호를 생성해서 주행유닛(150)에 전달한다(S50). 전술한 대로 경로정보는 무인 모빌리티(100)가 현 위치점에서 목적지점(G)까지 이동하기 위한 최단경로 내에 코드 순서이다.
한편, 코드정보 관리모듈(140)과 코드리더(120)와 위치인식모듈(130)과 경로설정모듈(190) 중 선택된 하나 이상은 컨트롤러(170)와 무선 통신한다. 이를 좀 더 설명하면, 코드정보 관리모듈(140)과 코드리더(120)와 위치인식모듈(130)과 경로설정모듈(190) 중 선택된 하나 이상은 무인 모빌리티(100)의 본체에 직접 구성되지 않고 별도의 중앙서버(200) 또는 기타 다른 서버에 구성될 수 있고, 컨트롤러(170)와는 무선 통신을 통해 데이터를 교류할 수 있다. 결국, 본 발명에 따른 무인 모빌리티(100)는 코드정보 관리모듈(140)과 코드리더(120)와 위치인식모듈(130)과 경로설정모듈(190)를 물리적으로 직접 내설하지 않아도 된다.
앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (8)

  1. 코드의 고유정보와 위치정보와 맵 정보를 관리하는 코드정보 관리모듈; 촬영유닛; 상기 촬영유닛의 촬영이미지에서 지정된 코드이미지를 탐지하고 고유정보를 확인하는 코드리더; 상기 맵 정보에 표시할 수 있도록 코드리더가 확인한 고유정보에 따라 위치정보를 확인해서 현 위치점을 연산하는 위치인식모듈; 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행유닛; 상기 촬영유닛의 촬영이미지가 수신되면 설정 로직에 따라 코드정보 관리모듈과 코드리더와 위치인식모듈 간에 데이터 통신을 제어하고, 상기 위치인식모듈에서 확인한 위치정보에 따라 운전신호를 주행유닛에 전달하는 컨트롤러;를 포함하는 것을 특징으로 하는 무인 모빌리티.
  2. 제 1 항에 있어서,
    상기 위치인식모듈은, 상기 코드이미지의 크기에 따라 해당 코드와의 거리를 확인하고, 상기 코드이미지의 형상에 따라 해당 코드와의 촬영각도를 확인하며, 2개 이상의 코드별 상기 거리 및 촬영각도에 따른 벡터라인이 서로 교차하는 위치를 연산해서 현 위치점으로 확인하는 것을 특징으로 하는 무인 모빌리티.
  3. 제 2 항에 있어서,
    상기 코드리더는, 상기 위치인식모듈에서 확인된 코드와의 거리와 촬영각도가 기준치 이내의 해당 코드이미지만을 선별해서 코드정보를 확인하는 것을 특징으로 하는 무인 모빌리티.
  4. 제 1 항에 있어서,
    상기 코드리더는, CNN(convolutional neural network) 딥러닝 이미지 검색을 통해 상기 코드정보 관리모듈에서 코드이미지를 검색하며, 코드이미지 일치율이 상대적으로 높은 코드의 인접 코드만을 검색 대상으로 제한하는 것을 특징으로 하는 무인 모빌리티.
  5. 제 1 항에 있어서,
    상기 맵 정보를 기반으로 목적지점의 인접 코드와 현 위치점의 인접 코드를 각각 확인해서 경로정보를 생성하는 경로설정모듈을 더 포함하고;
    상기 컨트롤러는 경로정보에 포함된 코드에 따라 주행하도록 운전신호를 생성하는 것을 특징으로 하는 무인 모빌리티.
  6. 제 5 항에 있어서,
    상기 컨트롤러는, 상기 경로정보에 따른 주행 중에 후속 코드가 인식되면 후속 코드를 향해 주행하도록 운전신호를 생성하는 것을 특징으로 하는 무인 모빌리티.
  7. 제 5 항에 있어서,
    상기 코드정보 관리모듈과 코드리더와 위치인식모듈과 경로설정모듈 중 선택된 하나 이상은 컨트롤러와 무선 통신하는 것을 특징으로 하는 무인 모빌리티.
  8. 촬영유닛이 지정 구간을 촬영해서 촬영이미지를 생성시키는 촬영 단계;
    코드리더가 상기 촬영이미지에서 코드이미지를 탐지하고 코드정보 관리모듈에 저장된 코드의 고유정보를 확인하는 코드 확인 단계;
    상기 고유정보에 따라 위치인식모듈이 코드정보 관리모듈에 저장된 해당 코드의 위치정보를 확인해서 현 위치점을 연산하는 위치 확인 단계;
    경로설정모듈이 코드정보 관리모듈에 저장된 맵 정보를 기반으로 목적지점의 인접 코드와 현 위치점의 인접 코드를 각각 확인해서 경로정보를 생성하는 경로설정 단계;
    주행유닛이 상기 경로정보의 코드에 따른 운전신호에 따라 주행 동력을 일으켜 자체를 이동시키는 주행 단계;
    를 포함하는 것을 특징으로 하는 코드 인식을 통한 무인 모빌리티의 위치 인식 및 이동경로 설정 방법.
PCT/KR2019/004461 2019-03-08 2019-04-12 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템 WO2020184776A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0026856 2019-03-08
KR1020190026856A KR102023699B1 (ko) 2019-03-08 2019-03-08 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템

Publications (1)

Publication Number Publication Date
WO2020184776A1 true WO2020184776A1 (ko) 2020-09-17

Family

ID=68067494

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/004461 WO2020184776A1 (ko) 2019-03-08 2019-04-12 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템

Country Status (2)

Country Link
KR (1) KR102023699B1 (ko)
WO (1) WO2020184776A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113246136A (zh) * 2021-06-07 2021-08-13 深圳市普渡科技有限公司 机器人、地图构建方法、装置和存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102405955B1 (ko) * 2020-12-29 2022-06-08 현대위아 주식회사 다수의 모바일 로봇 경로 분석 시스템 및 방법
KR102571894B1 (ko) 2023-04-21 2023-08-28 박현열 위치기반의 경로 정보 수집을 활용한 모빌리티 주행 경로 안내 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062118A (ja) * 1996-08-21 1998-03-06 Komatsu Ltd ２次元位置計測装置及びこれを用いた搬送車
KR20080053134A (ko) * 2006-12-08 2008-06-12 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
KR20130114511A (ko) * 2012-04-09 2013-10-18 전자부품연구원 곤돌라 로봇의 위치 측정 장치 및 방법
KR101456172B1 (ko) * 2013-07-29 2014-10-31 인하대학교 산학협력단 이동로봇의 위치인식 장치, 방법 및 이동로봇
US20170225891A1 (en) * 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100730311B1 (ko) 2005-12-29 2007-06-19 에이스로봇 주식회사 위치 인식 로봇 청소기 및 로봇 청소기에서 위치 인식 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1062118A (ja) * 1996-08-21 1998-03-06 Komatsu Ltd ２次元位置計測装置及びこれを用いた搬送車
KR20080053134A (ko) * 2006-12-08 2008-06-12 한국전자통신연구원 카메라를 이용한 위치 인식 장치 및 그 방법
KR20130114511A (ko) * 2012-04-09 2013-10-18 전자부품연구원 곤돌라 로봇의 위치 측정 장치 및 방법
KR101456172B1 (ko) * 2013-07-29 2014-10-31 인하대학교 산학협력단 이동로봇의 위치인식 장치, 방법 및 이동로봇
US20170225891A1 (en) * 2016-02-05 2017-08-10 inVia Robotics, LLC Robotic Navigation and Mapping

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113246136A (zh) * 2021-06-07 2021-08-13 深圳市普渡科技有限公司 机器人、地图构建方法、装置和存储介质
CN113246136B (zh) * 2021-06-07 2021-11-16 深圳市普渡科技有限公司 机器人、地图构建方法、装置和存储介质

Also Published As

Publication number Publication date
KR102023699B1 (ko) 2019-09-20

Similar Documents

Publication Publication Date Title
WO2020184776A1 (ko) 코드 인식을 통한 위치 인식 및 이동경로 설정 방법과 무인 모빌리티와 운영시스템
KR100669250B1 (ko) 인공표식 기반의 실시간 위치산출 시스템 및 방법
WO2018070686A1 (ko) 공항용 안내 로봇 및 그의 동작 방법
JP4115946B2 (ja) 移動ロボットとその自律走行システム及び方法
EP1215017B1 (en) Robot teaching apparatus
WO2020122632A1 (ko) 로봇 장치 및 로봇의 작업 스킬을 학습하는 방법
KR101753361B1 (ko) 청소 로봇을 이용한 스마트 청소 시스템
KR20180109572A (ko) 복수의 이동 로봇을 포함하는 로봇 시스템의 제어 방법
WO2021118013A1 (ko) 크레인 충돌 방지 장치 및 방법
SE523831C2 (sv) Robotrengörare, robotrengöringssystem och förfarande för styrning av desamma
US11347226B2 (en) Method of redefining position of robot using artificial intelligence and robot of implementing thereof
Nagumo et al. Human following behavior of an autonomous mobile robot using light-emitting device
WO2021158062A1 (ko) 이동수단의 위치인식방법 및 위치인식시스템
KR102039555B1 (ko) Iot 네트워크 기반의 실내 환경 최적화 설비 시스템과 최적화 방법
JP3239277B2 (ja) 知能ロボット
WO2014129760A1 (ko) 트랙킹 시스템 및 이를 이용한 트랙킹 방법
JPH01243104A (ja) 撮像手段におけるマーク識別装置
JP2010098550A (ja) カメラ管理装置およびカメラ管理方法
JPH01197808A (ja) 無人走行車の誘導装置
WO2019216673A1 (ko) 무인 이동체용 사물 유도 시스템 및 방법
WO2023027252A1 (ko) 시맨틱 지도 기반 주행 및 작업 계획을 이용한 건물 간 이동이 가능한 모바일 로봇 제어 장치 및 방법
WO2017039054A1 (ko) 카메라를 이용한 골프공 인식장치
Chugo et al. Camera-based indoor navigation for service robots
WO2024085276A1 (ko) 건설 작업을 수행하는 로봇 장치 및 이를 포함하는 동기 제어 시스템
WO2022114380A1 (ko) 사용자의 특정행동을 인식하여 작동하는 루틴 기반의 카트 시스템 및 그 시스템을 이용한 카트 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19918834

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19918834

Country of ref document: EP

Kind code of ref document: A1