WO2016209029A1 - 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 - Google Patents

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 Download PDF

Info

Publication number
WO2016209029A1
WO2016209029A1 PCT/KR2016/006774 KR2016006774W WO2016209029A1 WO 2016209029 A1 WO2016209029 A1 WO 2016209029A1 KR 2016006774 W KR2016006774 W KR 2016006774W WO 2016209029 A1 WO2016209029 A1 WO 2016209029A1
Authority
WO
WIPO (PCT)
Prior art keywords
logo
image
docking
mobile robot
request signal
Prior art date
Application number
PCT/KR2016/006774
Other languages
English (en)
French (fr)
Inventor
신경철
박성주
이재영
Original Assignee
(주)유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)유진로봇 filed Critical (주)유진로봇
Publication of WO2016209029A1 publication Critical patent/WO2016209029A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices

Definitions

  • the present invention relates to a homing system and method, and more particularly to an optical homing system and method using a stereoscopic camera and a logo.
  • autonomous homing or autonomous docking technology is very important for mobile robots that move and perform tasks, such as cleaning robots.
  • Autonomous homing technology is a technology that enables a robot to autonomously dock and dock at a docking station so that the robot can perform nonstop operation for a long time without user intervention.
  • a homing system includes a mobile robot (MR) and a docking station (DS) which move autonomously.
  • MR mobile robot
  • DS docking station
  • the docking station DS is equipped with an infrared signal transmitting element ire to emit three different infrared beams bf1 to bf3.
  • the first infrared beam bf1 is radiated in a beam pattern in the form of a circle or an arc within a predetermined radius (for example, 30 cm) around the docking station DS.
  • the first infrared beam bf1 is an infrared beam for indicating that the mobile robot MR is close to the docking station DS.
  • the second and third infrared beams bf2 and bf3 have beams in which some regions overlap each other within a preset angle range around a direction in which the mobile robot MR needs to approach and dock in the docking station DS.
  • the second and third infrared beams bf2 and bf3 are radiated to a long distance (for example, 10m) where the first infrared beam bf1 does not reach within a preset angle range, so that the mobile robot MR is docked with the docking station DS. ), And at the same time, the direction in which the mobile robot (MR) approaches the docking station (DS).
  • the first to third infrared beams bf1 to bf3 are radiated with infrared light so as not to be recognized by the user.
  • the first to third infrared beams bf1 to bf3 are radiated at different frequencies or radiated according to different beacons so that the mobile robot can distinguish each infrared beam bf1 to bf3.
  • the beam pattern detected by the MR may be distinguished and recognized.
  • the mobile robot MR When the mobile robot MR intends to return to the docking station DS due to the end of work or the lack of power, the mobile robot MR must first determine the position of the docking station DS and move the docking station DS. ) Should be docked by exactly moving in the direction of the docking area where the power charging terminal is placed.
  • the mobile robot MR of FIG. 1 includes at least one infrared sensor irr to detect the first to third infrared beams bf1 to bf3 emitted from the docking station DS.
  • the mobile robot MR performs a predetermined operation according to the type and number of the detected infrared beams.
  • the mobile robot MR When only the first infrared beam bf1 is sensed, the mobile robot MR is in a state of being close to the docking station DS, but is not approached in the docking area direction, and therefore must move in the docking area direction.
  • the mobile robot rotates and moves in the direction corresponding to the detected beam. That is, when the second infrared beam bf2 is detected, since the docking area of the docking station DS is disposed on the front right side, the docking area DS rotates to the right side, and when the third infrared beam bf3 is detected, the left side rotates to the left side. Move.
  • the docking region is disposed in front and moves without rotation. That is, the second and third infrared beams bf2 and bf3 designate directions in which the mobile robot MR approaches the docking station DS. When all of the first to third infrared beams bf1 to bf3 are detected, the mobile robot MR moves to the docking area and approaches the docking station DS. Perform preliminary operations for
  • the infrared sensor based homing technology as shown in FIG. 1 provides a cost-effective homing technology.
  • the beam radiation angle is very narrow to designate the approaching direction of the mobile robot MR
  • the first infrared beam bf1 is omnidirectional.
  • the infrared beam reaches a very short distance, when the mobile robot MR does not detect the infrared beams bf1 to bf3, it moves for a long time until it detects at least one infrared beam bf1 to bf3. There is a problem that needs to be done.
  • the mobile robot MR detects the first infrared beam bf1
  • the mobile robot MR since the first infrared beam bf1 does not designate an approach direction, the mobile robot MR cannot determine the traveling direction.
  • the infrared sensor provided in the mobile robot MR does not determine the direction in which the infrared light is received, the mobile robot MR detects at least one of the second and third infrared beams bf2 and bf3. Only by analyzing the change of the infrared beam can determine the exact direction of travel, there is a limit that can not determine the direction of travel immediately.
  • An object of the present invention is to provide an optical homing system using a stereoscopic camera and an active logo to enable the mobile robot to quickly and accurately recognize the docking area of the docking station to determine the docking direction.
  • Another object of the present invention is to provide an optical homing method using the optical homing system.
  • an optical homing system emits a docking request signal, and acquires and analyzes a stereoscopic image of a logo emitted from a docking station in response to the docking request signal to determine a docking position.
  • the docking station may include a docking request signal detection sensor configured to detect the docking request signal and generate a detection signal; And an active logo including illuminating means flashing in response to the detection signal at a position corresponding to the logo and the logo embodied in a predetermined design; Characterized in that it comprises a.
  • the mobile robot radiates the docking request signal at a predetermined time while rotating at a predetermined rotation speed to return to the docking station, and acquires the stereoscopic image corresponding to the time interval in which the docking request signal is emitted. If it is determined that the active logo is included in the stereoscopic image and the active logo is determined, the position of the active logo is analyzed and moved.
  • the mobile robot may include a docking request signal transmitting device configured to emit the docking request signal in an infrared beam pattern having a predetermined angle range; A driving unit driven to move and rotate the mobile robot; An image acquisition unit including two cameras spaced at predetermined intervals to acquire the stereoscopic image; Determine whether to return the mobile robot to the docking station, and when the mobile robot needs to return, control the driving unit to rotate the mobile robot, and the docking request signal transmitting device sends the docking request signal at a predetermined period. And the image acquisition unit acquires the stereoscopic image in each of a period of emitting the docking request signal and a period of non-radiating, and when the relative position is transmitted, the mobile robot moves to the docking station.
  • a control unit for controlling the driving unit;
  • a logo recognition unit for comparing the stereoscopic image acquired by the image acquisition unit with a pre-stored template to determine whether the image includes an active logo; And determining the relative position of the docking station by comparing the active logo included in the image with a pre-stored logo sample when the logo recognition unit determines that the active logo is included. ; Characterized in that it comprises a.
  • the logo recognition unit includes an image buffer unit for buffering the stereoscopic image obtained by the image acquisition unit; A difference image acquisition unit for acquiring a difference image between the stereoscopic image acquired in the period during which the infrared rays are emitted from the stereoscopic image buffered in the image buffer unit and the stereoscopic image obtained in the period during which the infrared rays are not emitted; A contouring unit which receives the difference image, extracts an outline in a predetermined manner, and extracts, as an image patch, an area having an outline area of a predetermined size range from the extracted outlines; A local binary pattern extracting unit extracting a local binary pattern for each extracted image patch to obtain a local binary pattern descriptor; A pattern DB in which a plurality of templates, which are local binary pattern descriptors extracted corresponding to the active logos included in the divided images according to a photographing angle and a photographing distance, are pre-stored; A pattern comparison unit comparing the local binary pattern descriptor transmitted from
  • the logo position determiner may include a logo sample DB configured to store a plurality of sample images including the active logo, divided according to a photographing angle and a photographing distance, corresponding to the plurality of templates; A logo projection unit which selects a sample image corresponding to a template determined by the logo determination unit among the plurality of sample images stored in the logo sample DB, and projects the selected sample image onto the stereoscopic image applied from the image buffer unit.
  • a pixel comparison unit comparing pixel values of the stereoscopic image and the projected sample image to determine pixel error
  • a gradient extracting unit obtaining a gradient of the stereoscopic image on which the sample image is projected; And determining the relative position from a rotation matrix and a translation vector stored together in the logo sample DB in correspondence with the photographing angle and the photographing distance of the selected sample image, and correcting the position to minimize the sum of the pixel error and the gradient.
  • An error minimizing unit configured to calculate a value and correct the relative position; Characterized in that it comprises a.
  • An optical homing method for achieving the above another object is an optical homing method of an optical homing system including a docking station and a mobile robot, the docking request is implemented by the mobile robot in a predetermined infrared beam pattern Radiating a signal; Obtaining, by the mobile robot, a stereoscopic image of an active logo of the docking station emitting light in response to the docking request signal; Analyzing the stereoscopic image to determine a docking position of the docking station; It includes.
  • the radiating the docking request signal may include determining whether the mobile robot returns to the docking station; If it is determined that it is necessary to return to the docking station, the mobile robot rotates at a predetermined rotation speed; And radiating the docking request signal at a designated time by using the docking request signal transmitting element provided in the mobile robot while the mobile robot is rotating. Characterized in that it comprises a.
  • Acquiring the stereoscopic image may include: detecting, by the docking station, the docking request signal; In response to the detected docking request signal, the docking station emitting the active logo; And obtaining, by the mobile robot, the stereoscopic image in each of a period during which the docking request signal is emitted and a period during which the docking request signal is not emitted. Characterized in that it comprises a.
  • the determining of the docking position of the docking station may include determining whether the active logo is included in the stereoscopic image obtained by the mobile robot; If it is determined that the active logo is included, the mobile robot analyzing the position of the active logo; And moving and docking the mobile robot to a position of the active logo. Characterized in that it comprises a.
  • the determining of whether the active logo is included may include buffering the stereoscopic image obtained by the image acquisition unit; Acquiring a difference image between the stereoscopic image obtained in the period during which the docking request signal is emitted and the stereoscopic image obtained in the period during which the docking request signal is not emitted; Extracting an outline from the difference image in a preset manner and extracting, as an image patch, an area having an outline area of a predetermined size range from the extracted outlines; Extracting a local binary pattern for each of the image patches to obtain a local binary pattern descriptor; Obtaining the similarity by comparing the local binary pattern descriptor with a plurality of templates extracted as a local binary pattern descriptor corresponding to the active logo included in the image divided according to the photographing angle and the photographing distance in advance; Determining whether a template having a similarity value between the local binary pattern descriptor and the similarity is greater than or equal to a predetermined reference similarity value among the plurality of templates; And obtaining
  • the analyzing of the position of the active logo may include selecting a sample image corresponding to the template information from among a plurality of sample images, which are included in the active logo and classified according to a photographing angle and a photographing distance, corresponding to the plurality of templates.
  • the docking station activates the active logo in response to the docking request signal emitted from the mobile robot, and the mobile robot recognizes the active logo as a stereoscopic image and docks it.
  • the docking propagation direction is quickly determined. Therefore, the mobile robot can dock to the docking station in an optimized path.
  • the active logo as a product design, it is possible to increase the commerciality of the mobile robot products including the docking station.
  • FIGS. 2A and 2B illustrate an optical homing system according to an embodiment of the present invention.
  • FIG 3 shows the configuration of a mobile robot.
  • FIG. 4 shows a detailed configuration of the logo recognition unit of FIG.
  • FIG. 5 shows an example of a method of determining the similarity by the pattern comparison unit of FIG. 4.
  • FIG. 6 shows a detailed configuration of the logo position determining unit of FIG.
  • Figure 7 shows the process of the mobile robot of the homing system of the present invention recognizes the logo and moves.
  • FIG 8 illustrates an optical homing system according to another embodiment of the present invention.
  • FIG 9 shows an optical homing method according to an embodiment of the present invention.
  • FIG. 2A and 2B show an optical homing system according to an embodiment of the present invention
  • FIG. 3 shows a configuration of a mobile robot.
  • the homing system of the present invention also includes a mobile robot MR and a docking station DS as in FIG.
  • the docking station DS includes a docking request signal detection sensor irr and an active logo AL.
  • the docking request signal detection sensor irr detects the docking request signal emitted from the mobile robot MR and generates a detection signal.
  • the active logo AL is implemented as a logo having a shape corresponding to a mobile robot product such as a manufacturer name, a product name, a brand name, a trademark, and the like, and is disposed in a docking area direction in which the mobile robot is docked at the docking station DS.
  • the active logo AL is provided with a light emitting device such as a back light at the back of the logo, and is configured to emit light when a detection signal is applied from the docking request signal detection sensor irr. That is, the docking station DS is configured to blink the active logo AL in response to the docking request signal emitted from the mobile robot MR.
  • the docking request signal may be implemented in the form of an infrared signal, for example.
  • the active logo AL of the docking station DS is configured to emit light because the homing system of the present invention is an optical homing system using image information.
  • existing homing system using image information existed, but it cannot be used in low illuminance space, the recognition rate decreases due to the change of illuminance, and it is used due to the problem of incorrect recognition rate in image space with occlusion. The frequency of occurrence was extremely low.
  • artificial markers are provided to increase the recognition rate, but most of these markers are not suitable for the design of the product to which the homing system is applied.
  • the active logo AL can emit light by itself, thereby increasing the recognition rate by preventing the optical homing system from being greatly affected by the illuminance.
  • the active logo (AL) itself can play a role of improving the design of the product.
  • the mobile robot MR may include a power manager 110, a controller 120, a driver 130, a docking request signal transmitter (IR emitter) ire 140, and an image acquirer ( 150, a logo recognizer 160, and a logo position determiner 170.
  • the power manager 110 detects a state of charge of the battery of the mobile robot MR, and transmits a low voltage warning signal to the controller 120 when the voltage level of the battery is lower than the preset reference voltage due to insufficient power.
  • the driver 130 is driven under the control of the controller 120 to move and rotate the mobile robot MR.
  • the docking request signal transmitting element 140 is disposed in front of the mobile robot MR and emits a docking request signal bf under the control of the controller 120.
  • the docking request signal bf emitted may be emitted in an infrared beam pattern having a predetermined angle range.
  • the image acquisition unit 150 includes two cameras c1 and c2 spaced apart at predetermined intervals from both sides of the front surface of the mobile robot MR for stereoscopic image capturing.
  • the image acquirer 150 is activated under the control of the controller 120 to obtain a stereoscopic image through each of the two cameras c1 and c2.
  • the logo recognition unit 160 compares and analyzes the stereoscopic image acquired by the image acquisition unit 150 with a previously stored logo image to determine whether the active logo is included in the image.
  • the logo recognizing unit 160 determines that the active logo AL is included in the stereoscopic image
  • the logo recognizing unit 170 determines the position of the logo included in the stereoscopic image. The determined position is transmitted to the control unit 120.
  • the controller 120 controls the driving unit 130 in response to the low voltage warning signal applied from the power management unit 110 to allow the mobile robot MR to slowly rotate at a preset rotation speed.
  • the controller 120 controls the docking request signal transmitting element 140 to emit the docking request signal bf, and allows the image acquisition unit 150 to acquire an image.
  • the control unit 120 transmits the IR ON signal to the docking request signal transmission element 140 so that the docking request signal transmission element 140 emits the docking request signal bf at a specified time.
  • the controller 120 may alternately transmit an IR ON signal and an IR OFF signal to the docking request signal transmitting element 140 so that the docking request signal bf is radiated at a predetermined period.
  • the image acquisition unit 150 controls to acquire an image in each of a period during which the IR ON signal is transmitted and a period during which the IR OFF signal is transmitted. This is for the image acquisition unit 150 to easily extract the active logo AL that is flashing in response to the docking request signal bf radiated from the acquired image.
  • the driver 130 controls the moving robot MR to move to the transmitted logo position. .
  • FIG. 4 shows a detailed configuration of the logo recognition unit of FIG.
  • the logo recognition unit 160 includes an image buffer unit 161, a difference image acquisition unit 162, a contouring unit 163, a local binary pattern extraction unit 164, a pattern database 165, and a pattern comparison unit ( 166 and a logo discriminating unit 167.
  • the image buffer unit 161 receives and buffers the image acquired by the image acquisition unit 150. As described above, the image acquisition unit 150 acquires an image in each of a period during which the IR ON signal is transmitted and a period during which the IR OFF signal is transmitted. Therefore, if the docking station DS is within the range of the docking request signal bf radiated from the docking request signal transmitting element 140, the active logo AL of the docking station DS is turned off from the image of the lit state. The images of the status are transmitted and stored sequentially.
  • the difference image acquisition unit 162 generates two images by receiving two images sequentially stored in the image buffer unit 161.
  • the difference image acquisition unit 162 subtracts (Ip-In) the image In acquired in the period during which the IR OFF signal is transmitted from the image Ip acquired in the period during which the IR ON signal is transmitted, thereby making the difference image Is. Acquire.
  • the difference image acquisition unit 162 may remove noise by enlarging or reducing the acquired difference image Is and may further perform a morphological operation to emphasize the signal.
  • the morphology calculation is a technique for extracting a geometric form of an object included in an image. Since the morphology calculation is a well-known technique that is well known as a preprocessing technique in an image processing technique, it will not be described in detail herein.
  • the contouring unit 163 receives the difference image Is from the difference image acquisition unit 162, extracts an outline from the difference image Is in a predetermined manner, and then displays an area having an outline area of a predetermined size range. Extract as an image patch.
  • the local binary pattern extractor 164 extracts a local binary pattern for each of the image patches extracted by the contouring unit 163. Local binary pattern extraction selects any two pixels (x, y) in the image patch and checks the intensity (Ix, Iy) of each pixel. If the intensity Ix of the pixel x is greater than the intensity Iy of the pixel y by comparing the identified pixel intensities Ix and Iy, a value of 1 is assigned to the corresponding bit area, and if it is not large, 0 Assign the value of. The pixel intensity is repeatedly performed for all pixels in the image patch.
  • the local binary pattern extractor repeatedly compares pixel values by the number of times corresponding to N (for example, N-1 times) to correspond to each pixel. Acquire a bit value. Then, the obtained bit values are listed to derive a local binary pattern descriptor (LBPD).
  • N is a natural number
  • LBPD local binary pattern descriptor
  • the local binary pattern descriptor LBPD obtained by using the image photographed by the mobile robot MR in advance to include the active logo AL is stored in advance as a template.
  • the template is information stored in advance to determine whether the local binary pattern descriptor LBPD extracted by the local binary pattern extraction unit 164 is a descriptor corresponding to the active logo AL.
  • the pattern DB 165 does not store only one template, and can easily determine the active logo AL even at a shooting angle or shooting distance that varies depending on the relative position of the mobile robot MR with respect to the active logo AL.
  • the plurality of templates may be stored for each of the preset distance and angle photographed images. In this case, each template may include a rotation matrix R and a translation vector T corresponding to photographing angles or photographing distances of the cameras c1 and c2.
  • the pattern comparison unit 166 receives a local binary pattern descriptor LBPD from the local binary pattern extractor 164 and compares the applied local binary pattern descriptor LBPD with at least one template stored in the pattern DB 165. To obtain a similarity (Sim).
  • FIG. 5 shows an example of a method of determining the similarity by the pattern comparison unit of FIG. 4.
  • the pattern comparison unit 166 is a bit operation on the local binary pattern descriptor LBPD and the template Tem to compare the similarity between the local binary pattern descriptor LBPD and the template Tem. Perform an exclusive OR operation.
  • the exclusive OR operation derives a value of 0 for bits of the same value and a value of 1 for bits of different values.
  • the degree of similarity (Sim) is one bit as many as the number of bits having the same bit value as the number of bits having the same bit value between the local binary pattern descriptor (LBPD) and the template (Tem) and one bit as the number of bits having different bit values. Included.
  • the logo recognition unit 160 binarizes the image patch with the local binary pattern extractor 164 and compares the image patch with the template, all the pixel values in the image patch are sequentially compared in the case of the conventional template matching method. This is because the calculation amount is increased because it is not suitable for a fast search.
  • the logo determination unit 167 receives the similarity corresponding to each of the at least one template from the pattern comparison unit 166 to count the number of bits having a zero value, thereby checking the similarity value. It is determined whether the similarity value is equal to or greater than a preset reference similarity value. If it is determined that the similarity value is greater than or equal to the reference similarity value, the logo determination unit 167 determines that the active logo is included in the currently acquired image, and transmits the corresponding template information to the logo position determination unit 170.
  • FIG. 6 shows a detailed configuration of the logo position determining unit of FIG.
  • the logo position determiner 170 includes a logo projector 171, a pixel comparator 172, a gradient extractor 173, an error minimizer 174, and a logo sample DB 175.
  • the logo sample DB 175 stores at least one logo sample.
  • the logo sample is an image for determining the direction and distance for the mobile robot to dock to the docking area of the docking station DS, and the image for the active logo AL is stored as the logo sample. Since the logo sample DB 175 moves the mobile robot MV on a two-dimensional plane, the photographing angles of the cameras c1 and c2 photographed by the internal parameters K of the cameras c1 and c2 and the two-dimensional plane space, A plurality of logo samples may be stored by performing sampling according to the rotation matrix R and the translation vector T corresponding to the photographing distance.
  • the logo sample DB 175 stores the internal parameter K, the rotation matrix R, and the translation vector T corresponding to each of the plurality of logo samples.
  • the translation vector T samples from 0.2 m to 1.2 m from the active logo AL in 0.2 m increments, and the rotation matrix R samples every 10 degrees within an angle range of 0 to 50 degrees.
  • the angle range of -50 to 0 degrees is symmetrically determined from the angle range of 0 to 50 degrees, and sampling is not performed. In some cases, however, sampling can be performed over an angular range of -50 to 50 degrees. In addition, sampling may be performed for other angular ranges.
  • the logo sample DB 175 may convert and store the active logo by performing a perspective transform on each sample. Projection transformation may be performed according to equation (1).
  • K denotes a camera internal parameter
  • R denotes a rotation matrix
  • T denotes a translation vector
  • P w denotes any position on the three-dimensional plane.
  • the template stored in the pattern database 165 represents a local binary pattern descriptor for the logo sample stored in the logo sample DB 175, and in some cases, the pattern DB 165 is included in the logo sample DB 175. Can be configured.
  • the logo projector 171 receives the template information and the buffered image from the logo recognizer 160, and receives the logo sample corresponding to the template information from the logo sample DB 175 to project the image onto the image. That is, the logo image included in the logo sample is disposed to overlap the active logo AL included in the image to obtain a matching logo sample.
  • the mobile robot MR may recognize the position of the logo through the rotation matrix R and the translation vector T of the logo sample projected on the image, but this is information obtained through a sampling process and has low accuracy.
  • the pixel comparator 172 calculates a pixel error value by comparing the pixel value of the projected logo sample with the pixel value of the image in order to accurately obtain the relative coordinates of the active logo AL of the docking station DS.
  • the gradient extractor 173 obtains a gradient of the image on the projected coordinates
  • the error minimizer 174 calculates a position correction value such that the sum of the pixel error values is minimized using the pixel error value and the obtained gradient.
  • the relative coordinates obtained by using the rotation matrix R and the translation vector T are corrected using the calculated position correction value and transmitted to the controller 120.
  • the error may be an error in pixel intensity between the logo sample and the image.
  • the controller 120 recognizes the position of the active logo AL according to the corrected relative coordinate value, and controls the driving unit 130 to move the mobile robot MR to the position of the recognized active logo AL.
  • Figure 7 shows the process of the mobile robot of the homing system of the present invention recognizes the logo and moves.
  • the mobile robot of the present invention includes two cameras c1 and c2 for acquiring a stereoscopic image to acquire an optical image for the active logo AL.
  • the mobile robot MR may be easily docked to the docking station DS by driving the mobile robot MR such that the optical image and the logo sample of the active logo AL match.
  • FIG 8 illustrates an optical homing system according to another embodiment of the present invention.
  • the configuration of the optical homing system of FIG. 8 is basically the same as that of the optical homing system of FIG. However, unlike the homing system of FIG. 2 in which the active logo AL is formed in a plane, the optical homing system of FIG. This is because when the active logo AL is embodied in a plane, it is difficult for the mobile robot MR to recognize the active logo AL from the side of the active logo AL. That is, the mobile robot MR, which needs to detect the active logo AL to determine the position of the docking station DS, is difficult to detect the active logo AL, and even if it detects the active logo AL, it is difficult to determine the position.
  • the mobile robot MR may detect the active logo AL in a wider angle range and recognize a position.
  • the semi-circular active logo AL is illustrated, but the active logo AL may be implemented in a cylindrical shape.
  • the mobile robot MR may determine the position of the docking station DR in all directions. In this case, however, the active logo AL should be set to have a different image for each angle so as to easily recognize the direction in which the mobile robot MR is disposed with respect to the docking area of the docking station DS. do.
  • FIG 9 shows an optical homing method according to an embodiment of the present invention.
  • the power manager 110 detects a battery state of the mobile robot MR (S11).
  • the controller 120 determines whether a low voltage warning is applied from the power manager 110 that detects the battery state (S12). If it is determined that the low voltage warning is applied, the control unit 120 controls the driving unit 130 to allow the mobile robot MR to rotate at a predetermined rotational speed, and at the same time, an IR ON signal to the docking request signal transmitting element 140. And the IR OFF signal are alternately transmitted at a predetermined period so that the docking request signal transmitting element 140 periodically transmits the docking request signal bf (S12). In addition, even if the low voltage warning is not applied, the controller 120 performs the same operation even when the previously designated operation is completed and set to return to the docking station DS.
  • the controller 120 controls the image acquisition unit 150 to allow the docking request signal transmitting element 140 to acquire an image in each of a period during which the docking request signal bf is transmitted and a period during which the docking request signal bf is not transmitted (S14). ).
  • the logo recognition unit 160 obtains the difference image by receiving the image acquired by the image acquisition unit 150 in each of a period during which the docking request signal bf is transmitted and a period during which the docking request signal bf is not transmitted, and extracts an outline and then presets a size An image patch having an outline area of a range is extracted (S15). Local binary pattern transformation is performed on the extracted image patch to obtain a local binary pattern descriptor LBPD, and the similarity of the active logo is analyzed by comparing the acquired local binary pattern descriptor LBPD with a previously stored template (S16).
  • the logo recognition unit 160 determines whether a template having a similarity value or more than a predetermined reference similarity exists and determines whether a logo is included in the acquired image (S17). If it is determined that the logo is included, the logo position determining unit 170 determines the rough relative position of the active logo AL using the rotation matrix R and the translation vector T of the logo sample corresponding to the template. After projecting the logo sample onto the obtained image, the relative position is corrected and transmitted to the controller 120 so that an error between the projected logo sample and the obtained image is minimized (S18).
  • the controller 120 controls the driving unit 130 to move the mobile robot MR to a relative position transmitted from the logo position determining unit 170 for docking (S19). In addition, the controller 120 determines whether the mobile robot MR has docked at the docking station DS (S20). If not docked, the mobile robot is continuously moved, and if docked, the work is finished.
  • the method according to the invention can be embodied as computer readable code on a computer readable recording medium.
  • the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of the recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like, and also include a carrier wave (for example, transmission through the Internet).
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법을 공개한다. 본 발명은 도킹 요청 신호를 방사하고, 도킹 요청 신호에 응답하여 발광하는 로고에 대한 입체 영상을 획득 및 분석하여, 도킹 위치를 판별하는 이동 로봇을 포함한다.

Description

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
본 발명은 호밍 시스템 및 방법에 관한 것으로, 특히 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법에 관한 것이다.
로봇 기술의 발전에 따라 다양한 분야에서 여러가지 목적으로 로봇이 사용되고 있다. 그리고 청소 로봇과 같이 이동하며 작업을 수행하는 이동 로봇들은 자율 이동(autonomous mobility) 기술과 더불어 자율 호밍(autonomous homing) 또는 자율 도킹(autonomous docking) 기술이 매우 중요하다. 자율 호밍 기술은 이동 로봇이 자율적으로 도킹 스테이션(docking station)에 도킹하여 전력을 공급 받을 수 있도록 함으로써, 로봇이 사용자의 개입 없이 장시간 논스톱 작업을 수행할 수 있도록 하는 기술이다.
로봇의 자율 호밍 기술에 대해서는 기존에도 다양한 방법들이 연구 개발되었으나, 현재 대부분의 상용화된 로봇들은 적외선 센서(Infrared sensor) 기반 호밍 기술을 사용하고 있다. 이는 적외선 센서 기반 호밍 기술이 저비용 및 낮은 기술적 난이도를 필요로 하여 이동 로봇에 적용하기 용이하기 때문이다.
도1 은 기존의 호밍 시스템의 일예를 나타낸다.
도1 은 국제 공개 특허 WO 2005/081074호 (2005.09.01 공개)에 공개된 기술로서, 호밍 시스템은 자율 이동하는 이동 로봇(MR)과 도킹 스테이션(DS)을 구비한다.
도킹 스테이션(DS)은 적외선 신호 발신 소자(ire)를 구비하여, 3가지 서로 다른 적외선 빔(bf1 ~ bf3)을 방사한다. 제1 적외선 빔(bf1)은 도킹 스테이션(DS)의 주위로 기설정된 반경(예를 들면, 30cm) 이내의 범위로 원 또는 호를 형성하는 형태의 빔 패턴으로 방사된다. 제1 적외선 빔(bf1)은 이동 로봇(MR)이 도킹 스테이션(DS)에 근접하였음을 알려주기 위한 적외선 빔이다. 그리고 제2 및 제3 적외선 빔(bf2, bf3)은 도킹 스테이션(DS)에서 이동 로봇(MR)이 접근하여 도킹해야 하는 방향을 중심으로 기설정된 각도 범위 내에서 서로 일부 영역이 중첩되는 형태의 빔 패턴으로 방사된다. 제2 및 제3 적외선 빔(bf2, bf3)은 기설정된 각도 범위 내에서 제1 적외선 빔(bf1)이 도달하지 않는 원거리(예를 들면 10m)까지 방사되어 이동 로봇(MR)이 도킹 스테이션(DS)의 위치를 인식할 수 있도록 하며, 동시에 이동 로봇(MR)이 도킹 스테이션(DS)으로 접근할 방향을 지정한다.
제1 내지 제3 적외선 빔(bf1 ~ bf3)은 사용자에게 인식되지 않도록 적외선 광으로 방사된다. 그리고 제1 내지 제3 적외선 빔(bf1 ~ bf3)은 이동 로봇이 각각의 적외선 빔(bf1 ~ bf3)을 구분할 수 있도록 서로 다른 주파수로 방사되거나, 서로 다른 비컨(beacon)에 따라 방사되도록 하여 이동 로봇(MR)이 감지한 빔 패턴을 구분하여 인식할 수 있도록 한다.
이동 로봇(MR)은 작업 종료 또는 전력 부족 등의 이유로 도킹 스테이션(DS)으로 복귀하고자 하는 경우, 이동 로봇(MR)은 우선 도킹 스테이션(DS)의 위치를 판별하여 이동하여야 하고, 도킹 스테이션(DS)에서도 전원 충전 단자 등이 배치된 도킹 영역 방향으로 정확히 이동하여 도킹하여야 한다.
이에 도1 의 이동 로봇(MR)은 적어도 하나의 적외선 센서(irr)를 구비하여, 도킹 스테이션(DS)에서 방사된 제1 내지 제3 적외선 빔(bf1 ~ bf3)을 감지한다. 제1 내지 제3 적외선 빔(bf1 ~ bf3) 중 적어도 하나의 적외선 빔이 감지되면, 이동 로봇(MR)은 감지된 적외선 빔의 종류와 개수에 따라 기설정된 동작을 수행한다.
제1 적외선 빔(bf1)만이 감지되면, 이동 로봇(MR)은 도킹 스테이션(DS)에 근접한 상태이지만, 도킹 영역 방향으로 접근한 것이 아니므로, 도킹 영역 방향으로 이동해야 한다. 그에 비해 제2 및 제3 적외선 빔(bf2, bf3) 중 하나만 감지되면, 이동 로봇은 감지된 빔에 따른 방향으로 회전하며 이동한다. 즉 제2 적외선 빔(bf2)이 감지되면, 도킹 스테이션(DS)의 도킹 영역이 전방 우측에 배치되어 있으므로, 우측으로 회전하며 이동하며, 제3 적외선 빔(bf3)이 감지되면, 좌측으로 회전하며 이동한다. 그리고 제2 및 제3 적외선 빔(bf2, bf3)이 모두 감지되면, 도킹 영역이 정면에 배치된 상태이므로 회전하지 않고 이동한다. 즉 제2 및 제3 적외선 빔(bf2, bf3)은 이동 로봇(MR)이 도킹 스테이션(DS)로 접근할 방향을 지정한다. 그리고 제1 내지 제3 적외선 빔(bf1 ~ bf3)이 모두 감지되면, 도킹 영역을 향한 방향으로 이동하여 도킹 스테이션(DS)에 근접한 상태이므로, 이동 로봇(MR)은 속도를 조절하는 등과 같이 도킹에 대한 예비 동작을 수행한다.
도1 에 도시된 바와 같은 적외선 센서 기반 호밍 기술은 비용 대비 안정적인 호밍 기술을 제공한다. 그러나 제2 및 제3 적외선 빔(bf2, bf3)은 원거리까지 방사되는 반면, 이동 로봇(MR)의 접근 방향을 지정하기 위해 빔 방사 각도가 매우 협소하고, 제1 적외선 빔(bf1)은 전 방향으로 방사 가능하지만, 적외선 빔의 도달 거리가 매우 짧아, 이동 로봇(MR)이 적외선 빔(bf1 ~ bf3)을 감지하지 못한 경우, 적어도 하나의 적외선 빔(bf1 ~ bf3)을 감지할 때까지 장시간 이동해야 하는 문제가 있다. 그리고 이동 로봇(MR)이 제1 적외선 빔(bf1)을 감지할 지라도, 제1 적외선 빔(bf1)은 접근 방향을 지정하지 않으므로, 이동 로봇(MR)이 진행 방향을 판단하지 못한다. 또한 이동 로봇(MR)에 구비되는 적외선 센서가 적외선 광이 수신되는 방향을 판별하지 못하므로, 이동 로봇(MR)이 제2 및 제3 적외선 빔(bf2, bf3) 중 적어도 하나를 감지하더라도, 감지되는 적외선 빔의 변화를 분석하여야만 정확한 진행 방향을 판별할 수 있어 즉각적으로 진행 방향을 결정할 수 없다는 한계가 있다.
본 발명의 목적은 이동 로봇이 도킹 스테이션의 도킹 영역을 신속하고 정확하게 인식하여 도킹 진행 방향을 결정할 수 있도록 입체 영상 카메라와 액티브 로고를 이용한 광학 호밍 시스템을 제공하는데 있다.
본 발명의 다른 목적은 상기 광학 호밍 시스템을 이용한 광학 호밍 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 광학 호밍 시스템은 도킹 요청 신호를 방사하고, 상기 도킹 요청 신호에 응답하여 도킹 스테이션에서 발광하는 로고에 대한 입체 영상을 획득 및 분석하여, 도킹 위치를 판별하는 이동 로봇; 을 포함한다.
상기 도킹 스테이션은 상기 도킹 요청 신호를 감지하여, 감지 신호를 생성하는 도킹 요청 신호 감지 센서; 및 기지정된 디자인으로 구현된 상기 로고와 상기 로고에 대응하는 위치에 상기 감지 신호에 응답하여 점멸되는 조명 수단을 구비하는 액티브 로고; 를 포함하는 것을 특징으로 한다.
상기 이동 로봇은 상기 도킹 스테이션으로 복귀하기 위해 기설정된 회전 속도로 회전하면서 상기 도킹 요청 신호를 지정된 시간에 방사하고, 상기 도킹 요청 신호가 방사되는 시간 구간에 대응하여 상기 입체 영상을 획득하며, 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 분석하여, 상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 액티브 로고의 위치를 분석하여 이동하는 것을 특징으로 한다.
상기 이동 로봇은 상기 도킹 요청 신호를 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사하는 도킹 요청 신호 발신 소자; 상기 이동 로봇이 이동 및 회전하도록 구동되는 구동부; 기설정된 간격으로 이격되어 배치되는 2개의 카메라를 구비하여 상기 입체 영상을 획득하는 영상 획득부; 상기 도킹 스테이션으로 상기 이동 로봇의 복귀 여부를 결정하고, 상기 이동 로봇이 복귀해야 하는 경우, 상기 이동 로봇을 회전하도록 상기 구동부를 제어하고, 상기 도킹 요청 신호 발신 소자가 기설정된 주기로 상기 도킹 요청 신호를 방사하도록 제어하며, 상기 영상 획득부가 상기 도킹 요청 신호를 방사하는 기간 및 방사하지 않는 기간 각각에서 상기 입체 영상을 획득하도록 제어하며, 상대 위치가 전송되면, 상기 이동 로봇이 상기 도킹 스테이션으로 이동하도록 상기 구동부를 제어하는 제어부; 상기 영상 획득부에서 획득한 상기 입체 영상을 기저장된 템플릿과 비교하여 상기 영상에 액티브 로고가 포함되어 있는지 판별하는 로고 인식부; 및 상기 로고 인식부에서 상기 액티브 로고가 포함된 것으로 판별하면, 상기 영상에 포함된 액티브 로고를 기저장된 로고 샘플과 비교하여 상기 도킹 스테이션의 상기 상대 위치를 판별하여 상기 제어부로 전송하는 로고 위치 판별부; 를 포함하는 것을 특징으로 한다.
상기 로고 인식부는 상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 영상 버퍼부; 상기 영상 버퍼부에 버퍼링된 상기 입체 영상 중 상기 적외선이 방사되는 기간에 획득된 상기 입체 영상과 상기 적외선이 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 차영상 획득부; 상기 차영상을 인가받아 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 컨투어링부; 추출된 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 국부 이진 패턴 추출부; 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 추출된 국부 이진 패턴 서술자인 복수개의 상기 템플릿이 기저장되는 패턴 DB; 상기 국부 이진 패턴 추출부에서 전송된 상기 국부 이진 패턴 서술자와 상기 복수개의 템플릿 각각을 비교하여 유사도를 분석하는 패턴 비교부; 및 상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 로고 판별부; 를 포함하는 것을 특징으로 한다.
상기 로고 위치 판별부는 상기 복수개의 템플릿에 대응하여, 촬영 각도 및 촬영 거리에 따라 구분되어 상기 액티브 로고가 포함된 복수개의 샘플 영상이 저장되는 로고 샘플 DB; 상기 로고 샘플 DB에 저장된 상기 복수개의 샘플 영상 중 상기 로고 판별부에서 판별한 템플릿에 대응하는 샘플 영상을 선택하고, 선택된 상기 샘플 영상을 상기 영상 버퍼부로부터 인가되는 상기 입체 영상에 투영하는 로고 투영부; 상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 픽셀 비교부; 상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 그래디언트 추출부; 및 선택된 상기 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 상기 로고 샘플 DB에 함께 저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하고, 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 오차 최소화부; 를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 광학 호밍 방법은 도킹 스테이션 및 이동 로봇을 포함하는 광학 호밍 시스템의 광학 호밍 방법에 있어서, 상기 이동 로봇이 기설정된 적외선 빔 패턴으로 구현되는 도킹 요청 신호를 방사하는 단계; 상기 이동 로봇이 상기 도킹 요청 신호에 응답하여 발광하는 상기 도킹 스테이션의 액티브 로고에 대한 입체 영상을 획득하는 단계; 및 상기 입체 영상을 분석하여, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계; 를 포함한다.
상기 도킹 요청 신호를 방사하는 단계는 상기 이동 로봇이 상기 도킹 스테이션으로의 복귀 여부를 판별하는 단계; 상기 도킹 스테이션으로 복귀해야 하는 것으로 판별되면, 상기 이동 로봇이 기설정된 회전 속도로 회전하는 단계; 및 상기 이동 로봇이 회전하는 동안, 상기 이동 로봇에 구비된 도킹 요청 신호 발신 소자를 이용하여 지정된 시간에 상기 도킹 요청 신호를 방사하는 단계; 를 포함하는 것을 특징으로 한다.
상기 입체 영상을 획득하는 단계는 상기 도킹 스테이션이 상기 도킹 요청 신호를 감지하는 단계; 감지된 상기 도킹 요청 신호에 응답하여, 상기 도킹 스테이션이 상기 액티브 로고를 발광시키는 단계; 및 상기 이동 로봇이 상기 도킹 요청 신호가 방사되는 기간 및 방사되지 않는 기간 각각에서 상기 입체 영상을 획득하는 단계; 를 포함하는 것을 특징으로 한다.
상기 도킹 스테이션의 도킹 위치를 판별하는 단계는 상기 이동 로봇이 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 판별하는 단계; 상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 이동 로봇이 상기 액티브 로고의 위치를 분석하는 단계; 및 상기 이동 로봇이 상기 액티브 로고의 위치로 이동하여 도킹하는 단계; 를 포함하는 것을 특징으로 한다.
상기 액티브 로고가 포함되어 있는지 판별하는 단계는 상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 단계; 버퍼링된 상기 입체 영상 중 상기 도킹 요청 신호가 방사되는 기간에 획득된 상기 입체 영상과 상기 도킹 요청 신호가 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 단계; 상기 차영상에서 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 단계; 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 단계; 상기 국부 이진 패턴 서술자를 미리 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 국부 이진 패턴 서술자로 추출된 복수개의 템플릿과 비교하여 유사도를 획득하는 단계; 상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 단계; 및 상기 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하면, 해당 템플릿 정보를 획득하는 단계; 를 포함하는 것을 특징으로 한다.
상기 액티브 로고의 위치를 분석하는 단계는 상기 복수개의 템플릿에 대응하여, 상기 액티브 로고가 포함되고 촬영 각도 및 촬영 거리에 따라 구분되어 기저장된 복수개의 샘플 영상 중 상기 템플릿 정보에 대응하는 샘플 영상을 선택하고, 선택된 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 기저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하는 단계; 선택된 상기 샘플 영상을 상기 입체 영상에 투영하는 단계; 상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 단계; 상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 단계; 및 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 단계; 를 포함하는 것을 특징으로 한다.
따라서, 본 발명의 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법은 도킹 스테이션이 이동 로봇에서 방사되는 도킹 요청 신호에 응답하여 액티브 로고를 활성화하고, 이동 로봇은 액티브 로고를 입체 영상으로 인식하여 도킹 영역의 방향과 거리를 판별할 수 있도록 함으로써, 신속하게 도킹 진행 방향을 판별한다. 그러므로 이동 로봇이 최적화된 경로로 도킹 스테이션에 도킹 할 수 있다. 또한 액티브 로고를 제품 디자인으로 활용함으로써, 도킹 스테이션을 포함하는 이동 로봇 제품의 상품성을 높일 수 있다.
도1 은 기존의 호밍 시스템의 일예를 나타낸다.
도2a 와 도2b 는 본 발명의 일 실시예에 따른 광학 호밍 시스템을 나타낸다.
도3 은 이동 로봇의 구성을 나타낸다.
도4 는 도3 의 로고 인식부의 상세 구성을 나타낸다.
도5 는 도4 의 패턴 비교부가 유사도를 판별하는 방식의 일예를 나타낸다.
도6 은 도3 의 로고 위치 판별부의 상세 구성을 나타낸다.
도7 은 본 발명의 호밍 시스템의 이동 로봇이 로고를 인식하여 이동하는 과정을 나타낸다.
도8 은 본 발명의 다른 실시예에 따른 광학 호밍 시스템을 나타낸다.
도9 는 본 발명의 일 실시예에 따른 광학 호밍 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도2a 와 도2b 는 본 발명의 일 실시예에 따른 광학 호밍 시스템을 나타내고, 도3 은 이동 로봇의 구성을 나타낸다.
도2a, 도2b 및 도3 을 참조하여 본 발명의 광학 호밍 시스템을 설명하면, 본 발명의 호밍 시스템 또한 도1 과 마찬가지로 이동 로봇(MR)과 도킹 스테이션(DS)을 구비한다.
도킹 스테이션(DS)은 도킹 요청 신호 감지 센서(irr)와 액티브 로고(AL)를 구비한다. 도킹 스테이션(DS)에서 도킹 요청 신호 감지 센서(irr)는 이동 로봇(MR)에서 방사된 도킹 요청 신호를 감지하여 감지 신호를 생성한다. 그리고 액티브 로고(AL)는 제조사 명이나 제품명, 브랜드 명, 상표 등과 같이 이동 로봇 제품에 부합되는 형상의 로고로 구현되어 도킹 스테이션(DS)에서 이동 로봇이 도킹하게 되는 도킹 영역 방향으로 배치된다. 액티브 로고(AL)는 로고 후면에 백라이트(back light)와 같은 발광 소자가 구비되어, 도킹 요청 신호 감지 센서(irr)로부터 감지 신호가 인가되면 발광하도록 구성된다. 즉 도킹 스테이션(DS)은 이동 로봇(MR)에서 방사된 도킹 요청 신호에 응답하여 액티브 로고(AL)가 점멸하도록 구성된다. 여기서 도킹 요청 신호는 일 예로 적외선 신호의 형태로 구현될 수 있다.
본 발명에서 도킹 스테이션(DS)의 액티브 로고(AL)가 발광하도록 구성되는 것은 본 발명의 호밍 시스템이 영상 정보를 이용하는 광학 호밍 시스템이기 때문이다. 기존에도 영상 정보를 이용하는 호밍 시스템은 존재하였으나, 조도가 낮은 공간에서 사용할 수 없고, 조도 변화에 따른 인식률의 저하가 크며, 폐색(occlusion)이 존재하는 이미지 공간에서 오인식률이 높아진다는 문제로 인해 사용되는 빈도가 극히 낮았다. 인식률을 높이기 위해 인위적인 표식을 제공하는 경우도 있으나, 이러한 표식의 형태가 호밍 시스템을 적용할 제품의 디자인에 적합하지 않은 경우가 대부분이어서 상용 제품에 적용되기 어렵다는 문제가 있었다.
그러나 본 발명에서는 액티브 로고(AL)가 자체적으로 발광이 가능하도록 함으로써, 광학 호밍 시스템이 조도의 영향을 크게 받지 않도록 하여 인식률을 높일 수 있다. 뿐만 아니라, 액티브 로고(AL) 자체의 디자인을 다양하게 구현할 수 있어 제품의 디자인을 향상 시키는 역할을 수행할 수 있다.
그리고 이동 로봇(MR)은 도3 에 도시된 바와 같이, 전원 관리부(110), 제어부(120), 구동부(130), 도킹 요청 신호 발신 소자(IR Emitter : ire)(140), 영상 획득부(150), 로고 인식부(160) 및 로고 위치 판별부(170)를 구비한다.
전원 관리부(110)는 이동 로봇(MR)의 배터리의 충전 상태를 감지하고, 전력이 부족하여 배터리의 전압 레벨이 기설정된 기준 전압 이하이면, 저전압 경고 신호를 제어부(120)로 전송한다.
구동부(130)는 제어부(120)의 제어에 따라 구동되어 이동 로봇(MR)을 이동 및 회전한다.
도킹 요청 신호 발신 소자(140)는 이동 로봇(MR)의 전면에 배치되고, 제어부(120)의 제어에 따라 도킹 요청 신호(bf)를 방사한다. 이때 방사되는 도킹 요청 신호(bf)는 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사될 수 있다.
영상 획득부(150)는 도2 에 도시된 바와 같이, 입체 영상 촬영을 위해 이동 로봇(MR)의 전면 양측으로 기설정된 간격만큼 이격되어 배치되는 2개의 카메라(c1, c2)를 구비한다. 영상 획득부(150)는 제어부(120)의 제어에 따라 활성화되어 2개의 카메라(c1, c2) 각각을 통해 입체 영상을 획득한다.
로고 인식부(160)는 영상 획득부(150)에서 획득한 입체 영상을 기저장된 로고 이미지와 비교 분석하여 영상에 액티브 로고가 포함되어 있는지 판별한다.
로고 위치 판별부(170)는 로고 인식부(160)가 입체 영상에 액티브 로고(AL)가 포함되어 있는 것으로 판별하면, 입체 영상에 포함된 로고의 위치를 판별한다. 그리고 판별된 위치를 제어부(120)로 전송한다.
제어부(120)는 전원 관리부(110)에서 인가되는 저전압 경고 신호에 응답하여, 구동부(130)를 제어하여 이동 로봇(MR)이 기설정된 회전 속도로 서서히 회전하도록 한다. 동시에 제어부(120)는 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 방사하도록 제어하고, 영상 획득부(150)가 영상을 획득하도록 한다. 이때 제어부(120)는 도킹 요청 신호 발신 소자(140)가 지정된 시간에 도킹 요청 신호(bf)를 방사하도록 IR ON 신호를 도킹 요청 신호 발신 소자(140)로 전송한다. 제어부(120)는 도킹 요청 신호(bf)가 기설정된 주기로 방사되도록 IR ON 신호와 IR OFF 신호를 교대로 도킹 요청 신호 발신 소자(140)로 전송할 수 있다. 영상 획득부(150)는 IR ON 신호가 전송되는 기간 및 IR OFF 신호가 전송되는 기간 각각에서 영상을 획득하도록 제어한다. 이는 영상 획득부(150)가 획득되는 영상에서 방사된 도킹 요청 신호(bf)에 응답하여 점멸되는 액티브 로고(AL)를 용이하게 추출할 수 있도록 하기 위함이다.
그리고 로고 인식부(160)에서 로고를 인식하고, 로고 위치 판별부(170)가 로고의 위치를 판별하여 전송하면, 전송된 로고 위치로 이동 로봇(MR)이 이동하도록 구동부(130)를 제어한다.
도4 는 도3 의 로고 인식부의 상세 구성을 나타낸다.
도4 에서 로고 인식부(160)는 영상 버퍼부(161), 차영상 획득부(162), 컨투어링부(163), 국부 이진 패턴 추출부(164), 패턴 데이터베이스(165), 패턴 비교부(166) 및 로고 판별부(167)를 구비한다.
영상 버퍼부(161)는 영상 획득부(150)에서 획득한 영상을 인가받아 버퍼링한다. 상기한 바와 같이, 영상 획득부(150)는 IR ON 신호가 전송되는 기간 및 IR OFF 신호가 전송되는 기간 각각에서 영상을 획득한다. 따라서 도킹 스테이션(DS)이 도킹 요청 신호 발신 소자(140)에서 방사된 도킹 요청 신호(bf)의 범위 내에 존재한다면, 도킹 스테이션(DS)의 액티브 로고(AL)가 점등된 상태의 영상과 소등된 상태의 영상이 순차적으로 전송되어 저장된다.
차영상 획득부(162)는 영상 버퍼부(161)에 순차적으로 저장된 2개의 영상을 인가받아 차영상을 생성한다. 차영상 획득부(162)는 IR ON 신호가 전송되는 기간에 획득된 영상(Ip)로부터 IR OFF 신호가 전송되는 기간에 획득된 영상(In)을 차감(Ip - In)하여 차 영상(Is)을 획득한다.
그리고 차영상 획득부(162)는 획득된 차영상(Is)의 확대 또는 축소를 통해 노이즈를 제거하고, 신호를 강조하기 위해 모폴로지 연산(morphological operation)을 추가로 수행할 수 있다. 모폴로지 연산은 영상에 포함된 사물의 기하학적 형태를 추출하는 기술로서, 영상 처리 기술에서 전처리 기술로 잘 알려진 공지 기술이므로 여기서는 상세하게 설명하지 않는다.
컨투어링부(163)는 차영상 획득부(162)로부터 차영상(Is)를 인가받아, 기설정된 방식으로 차영상(Is)에서 외곽선을 추출한 후, 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치(image patch)로 추출한다.
국부 이진 패턴 추출부(164)는 컨투어링부(163)에서 추출된 영상 패치들 각각에 대해 국부 이진 패턴을 추출한다. 국부 이진 패턴 추출은 영상 패치에서 임의의 두 개의 픽셀(x, y)를 선택하고, 각 픽셀의 강도(intensity)(Ix, Iy)를 확인한다. 그리고 확인된 픽셀 강도(Ix, Iy)를 비교하여 픽셀(x)의 강도(Ix)가 픽셀(y)의 강도(Iy)보다 크면, 대응하는 비트 영역에 1의 값을 할당하고, 크지 않으면 0의 값을 할당한다. 그리고 영상 패치 내의 모든 픽셀에 대해 픽셀 강도를 반복하여 수행한다. 예를 들어, 영상 패치 내의 픽셀 개수가 N(여기서 N은 자연수)이면, 국부 이진 패턴 추출부는 N에 대응하는 횟수(예를 들면 N-1회)만큼 픽셀 값을 반복적으로 비교하여 각 픽셀에 대응하는 비트값을 획득한다. 그리고 획득된 비트값들을 나열하여 국부 이진 패턴 서술자(Local Binary Pattern Descriptor : LBPD)를 도출한다. 국부 이진 패턴 서술자(LBPD)는 도5 에 일 예가 도시되어 있다.
국부 이진 패턴 추출 기법 또한 공지된 기술로서 여기서는 상세하게 게 설명하지 않는다.
패턴 DB(165)에는 이동 로봇(MR)이 사전에 액티브 로고(AL)가 포함되도록 촬영한 영상을 이용하여 획득한 국부 이진 패턴 서술자(LBPD)가 템플릿(Templet)으로 미리 저장된다. 템플릿은 국부 이진 패턴 추출부(164)가 추출한 국부 이진 패턴 서술자(LBPD)가 액티브 로고(AL)에 대응하는 서술자인지를 판별하기 위해 사전에 저장되는 정보이다. 패턴 DB(165)는 하나의 템플릿만을 저장하지 않고, 액티브 로고(AL)에 대해 이동 로봇(MR)의 상대 위치에 따라 가변되는 촬영 각도나 촬영 거리에도 용이하게 액티브 로고(AL)을 판별할 수 있도록, 기설정된 거리 및 각도별 촬영 영상 각각에 대한 복수개의 템플릿을 저장할 수 있다. 이때 각각의 템플릿에는 카메라(c1, c2)의 촬영 각도나 촬영 거리 대응하는 회전 행렬(R) 및 병진 벡터(T)가 포함될 수 있다.
패턴 비교부(166)는 국부 이진 패턴 추출부(164)로부터 국부 이진 패턴 서술자(LBPD)를 인가받고, 인가된 국부 이진 패턴 서술자(LBPD)를 패턴 DB(165)에 저장된 적어도 하나의 템플릿과 비교하여 유사도(Sim)를 획득한다.
도5 는 도4 의 패턴 비교부가 유사도를 판별하는 방식의 일예를 나타낸다.
도5 를 참조하면, 패턴 비교부(166)는 일예로 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem)의 유사도를 비교하기 위해 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem)에 대해 비트 연산인 배타적 논리합(XOR) 연산을 수행한다. 배타적 논리합 연산(XOR)은 동일한 값의 비트에 대해서는 0의 값을 도출하고, 서로 다른 값의 비트에 대해서는 1 의 값을 도출한다. 따라서 유사도(Sim)는 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem) 사이에 동일 비트값을 갖는 비트의 수만큼 0값의 비트가 포함되고 서로 상이한 비트값을 갖는 비트의 수만큼 1값의 비트가 포함된다.
로고 인식부(160)가 국부 이진 패턴 추출부(164)를 구비하여 영상 패치를 이진화한 후, 템플릿과 비교하는 것은 기존의 템플릿 매칭 방법의 경우, 영상 패치 내의 모든 픽셀 값들을 순차적으로 비교하여 유사도를 획득하기 때문에 계산량이 증가되므로 빠른 검색에 적합하지 않기 때문이다.
다시 도4 를 참조하면, 로고 판별부(167)는 패턴 비교부(166)으로부터 적어도 하나의 템플릿 각각에 대응하는 유사도를 인가받아 0값을 갖는 비트의 개수를 카운팅함으로써, 유사도값을 확인하고, 유사도값이 기설정된 기준 유사도값 이상인지 판별한다. 만일 유사도값이 기준 유사도값 이상인 것으로 판별되면 로고 판별부(167)는 현재 획득된 영상에 액티브 로고가 포함된 것으로 판별하고, 대응하는 템플릿 정보를 로고 위치 판별부(170)로 전송한다.
도6 은 도3 의 로고 위치 판별부의 상세 구성을 나타낸다.
로고 위치 판별부(170)는 로고 투영부(171), 픽셀 비교부(172), 그래디언트 추출부(173), 오차 최소화부(174) 및 로고 샘플 DB(175)를 구비한다.
로고 샘플 DB(175)는 적어도 하나의 로고 샘플을 저장한다. 로고 샘플은 이동 로봇이 도킹 스테이션(DS)의 도킹 영역으로 도킹하기 위한 방향 및 거리를 판별하기 위한 영상으로써, 액티브 로고(AL)에 대한 영상이 로고 샘플로 저장된다. 로고 샘플 DB(175)는 이동 로봇(MV)이 2차원 평면 상에서 이동하므로, 카메라(c1, c2)의 내부 파라미터(K)와 2차원 평면 공간으로 촬영하는 카메라(c1, c2)의 촬영 각도나 촬영 거리 대응하는 회전 행렬(R) 및 병진 벡터(T)에 따른 샘플링을 수행하여 복수개의 로고 샘플을 저장할 수 있다. 로고 샘플 DB(175)는 복수개의 로고 샘플 각각에 대응하는 내부 파라미터(K)와 회전 행렬(R) 및 병진 벡터(T)가 함께 저장된다. 일예로 병진 벡터(T)는 액티브 로고(AL)로부터 0.2m ~ 1.2m 까지 0.2m 단위로 샘플링하고, 회전 행렬(R)은 0 ~ 50도까지의 각도 범위 내에서 매 10도의 각도마다 샘플링을 수행할 수 있다. 이때 -50 ~ 0도의 각도 범위는 0 ~ 50도까지의 각도 범위와 대칭으로 판별하여 샘플링을 수행하지 않는다. 그러나 경우에 따라서는 -50 ~ 50도의 각도 범위에 대해서 샘플링을 수행할 수 있다. 그리고 다른 각도 범위에 대해서 샘플링을 수행할 수도 있다.
로고 샘플 DB(175)는 각 샘플에 대해 투영 변환(Perspective transform) 작업을 수행하여 액티브 로고를 변환한 후 저장할 수 있다. 투영 변환은 수학식 1에 따라 수행될 수 있다.
Figure PCTKR2016006774-appb-M000001
(여기서, K는 카메라 내부 파라미터를 나타내고, R은 회전 행렬을 나타내며, T는 병진 벡터를 나타낸다. 그리고 Pw는 3차원 상의 임의의 위치를 나타낸다.)
도4 에서 패턴 데이터베이스(165)에 저장되는 템플릿은 로고 샘플 DB(175)에 저장된 로고 샘플에 대한 국부 이진 패턴 서술자를 나타내며, 경우에 따라서 패턴 DB(165)는 로고 샘플 DB(175)에 포함되도록 구성될 수 있다.
로고 투영부(171)는 로고 인식부(160)로부터 템플릿 정보와 버퍼링된 영상을 인가받고, 템플릿 정보에 대응하는 로고 샘플을 로고 샘플 DB(175)로부터 인가받아 영상에 투영한다. 즉 로고 샘플에 포함된 로고 이미지가 영상에 포함된 액티브 로고(AL)에 중첩되도록 배치하여 매칭되는 로고 샘플을 획득한다.
이동 로봇(MR)은 영상에 투영된 로고 샘플의 회전 행렬(R)과 병진 벡터(T)를 통해 로고의 위치를 인지할 수 있으나, 이는 샘플링 과정을 통해 획득된 정보로서, 정확도가 낮다.
그리고 픽셀 비교부(172)는 도킹 스테이션(DS)의 액티브 로고(AL)의 상대 좌표를 정확하게 획득하기 위해 투영된 로고 샘플의 픽셀값과 영상의 픽셀값을 비교하여 픽셀 오차값을 계산한다.
한편 그래디언트 추출부(173)는 투영된 좌표 상에서 영상의 그래디언트를 획득하고, 오차 최소화부(174)는 픽셀 오차값과 획득된 그래디언트를 이용하여 픽셀 오차값의 합계가 최소화되도록 하는 위치 보정값을 계산하고, 계산된 위치 보정값을 이용하여 회전 행렬(R)과 병진 벡터(T)를 이용하여 획득된 상대 좌표를 보정하여 제어부(120)로 전송한다. 여기서 일예로 로고 샘플과 영상의 픽셀 강도(intensity)의 오차일 수 있다.
제어부(120)는 보정된 상대 좌표값에 따라 액티브 로고(AL)의 위치를 인식하고, 인식된 액티브 로고(AL)의 위치로 이동 로봇(MR)이 이동하도록 구동부(130)를 제어한다.
도7 은 본 발명의 호밍 시스템의 이동 로봇이 로고를 인식하여 이동하는 과정을 나타낸다.
도7 에 도시된 바와 같이, 본 발명의 이동 로봇은 입체 영상을 획득하기 위한 2개의 카메라(c1, c2)를 구비하여 액티브 로고(AL)에 대한 광학 영상을 획득한다. 그리고 액티브 로고(AL)에 대한 광학 영상과 로고 샘플이 매칭되도록 이동 로봇(MR)을 구동함으로써, 이동 로봇(MR)이 도킹 스테이션(DS)에 용이하게 도킹할 수 있도록 한다.
도8 은 본 발명의 다른 실시예에 따른 광학 호밍 시스템을 나타낸다.
도8 의 광학 호밍 시스템의 구성은 기본적으로 도2 의 광학 호밍 시스템과 동일하다. 다만 도8 의 광학 호밍 시스템은 액티브 로고(AL)가 평면으로 구현되는 도2 의 호밍 시스템과 달리 반원형으로 돌출되는 형태로 구현된다. 이는 액티브 로고(AL)가 평면으로 구현되는 경우, 이동 로봇(MR)이 액티브 로고(AL)의 측면에서 액티브 로고(AL)을 인지하기 어렵기 때문이다. 즉 액티브 로고(AL)를 감지하여 도킹 스테이션(DS)의 위치를 판별해야 하는 이동 로봇(MR)이 액티브 로고(AL)를 감지하기 어렵고, 감지하더라도 위치를 판별하기 어렵다는 문제가 있다.
도8 에서는 액티브 로고(AL)가 반원형으로 돌출되는 형태로 구현됨에 따라 이동 로봇(MR)은 더 넓은 각도 범위에서 액티브 로고(AL)을 감지하고 위치를 인식할 수 있다. 도8 에서는 반원형의 액티브 로고(AL)를 도시하였으나, 액티브 로고(AL)은 원통형으로 구현될 수도 있다. 액티브 로고(AL)가 원통형으로 구현되면, 이동 로봇(MR)은 모든 방향에서 도킹 스테이션(DR)의 위치를 판별할 수 있다. 다만 이 경우 액티브 로고(AL)은 도킹 스테이션(DS)의 도킹 영역에 대해 이동 로봇(MR)이 배치된 방향을 용이하게 인지할 수 있도록 각도별 서로 다른 이미지가 되도록 액티브 로고(AL)을 설정해야 한다.
도9 는 본 발명의 일 실시예에 따른 광학 호밍 방법을 나타낸다.
도2 내지 도8 을 참조하여, 도9 의 광학 호밍 방법을 설명하면, 우선 전원 관리부(110)가 이동 로봇(MR)의 배터리 상태를 감지한다(S11). 그리고 제어부(120)는 배터리 상태를 감지한 전원 관리부(110)로부터 저전압 경고가 인가되는지 판별한다(S12). 만일 저전압 경고가 인가된 것으로 판별되면, 제어부(120)는 구동부(130)를 제어하여 이동 로봇(MR)이 기설정된 회전 속도로 회전하도록 함과 동시에 도킹 요청 신호 발신 소자(140)로 IR ON 신호와 IR OFF 신호를 기설정된 주기로 교대로 전송하여 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 주기적으로 발신하도록 한다 (S12). 그리고 제어부(120)는 저전압 경고가 인가되지 않더라도, 이전 지정된 동작이 완료되어 도킹 스테이션(DS)로 복귀하도록 설정된 경우에도 동일한 작업을 수행한다.
한편 제어부(120)는 영상 획득부(150)를 제어하여, 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 발신하는 기간 및 발신하지 않는 기간 각각에서의 영상을 획득하도록 한다(S14). 로고 인식부(160)는 도킹 요청 신호(bf)를 발신되는 기간 및 발신되지 않는 기간 각각에서 영상 획득부(150)가 획득한 영상을 인가받아 차영상을 획득하고, 외곽선을 추출한 후 기설정된 크기 범위의 외곽선 면적을 갖는 영상 패치를 추출한다(S15). 그리고 추출된 영상 패치를 국부 이진 패턴 변환하여 국부 이진 패턴 서술자(LBPD)를 획득하고, 획득된 국부 이진 패턴 서술자(LBPD)를 기저장된 템플릿과 비교하여 액티브 로고의 유사도를 분석한다(S16).
로고 인식부(160)는 유사도값이 기설정된 기준 유사도 이상인 템플릿이 존재하는지 확인하여, 획득된 영상에 로고가 포함되어 있는지 판별한다(S17). 만일 로고가 포함된 것으로 판별되면, 로고 위치 판별부(170)가 템플릿에 대응하는 로고 샘플의 회전 행렬(R) 및 병진 벡터(T)를 이용하여 액티브 로고(AL)의 개략적인 상대 위치를 판별하고, 로고 샘플을 획득된 영상에 투영한 후, 투영된 로고 샘플과 획득된 영상 사이의 오차가 최소화되도록 상대 위치를 보정하여 제어부(120)로 전송한다(S18).
이에 제어부(120)는 이동 로봇(MR)이 도킹을 위해 로고 위치 판별부(170)에서 전송된 상대 위치로 이동하도록 구동부(130)를 제어한다(S19). 그리고 제어부(120)는 이동 로봇(MR)이 도킹 스테이션(DS)에 도킹하였는지 판별한다(S20). 만일 도킹하지 않았으면, 이동 로봇을 계속적으로 이동시키고, 도킹하였으면 작업을 종료한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 도킹 요청 신호를 방사하고, 상기 도킹 요청 신호에 응답하여 도킹 스테이션에서 발광하는 로고에 대한 입체 영상을 획득 및 분석하여, 도킹 위치를 판별하는 이동 로봇; 을 포함하는 광학 호밍 시스템.
  2. 제1 항에 있어서, 상기 도킹 스테이션은
    상기 도킹 요청 신호를 감지하여, 감지 신호를 생성하는 도킹 요청 신호 감지 센서; 및
    기지정된 디자인으로 구현된 상기 로고와 상기 로고에 대응하는 위치에 상기 감지 신호에 응답하여 점멸되는 조명 수단을 구비하는 액티브 로고; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  3. 제2 항에 있어서, 상기 이동 로봇은
    상기 도킹 스테이션으로 복귀하기 위해 기설정된 회전 속도로 회전하면서 상기 도킹 요청 신호를 지정된 시간에 방사하고, 상기 도킹 요청 신호가 방사되는 시간 구간에 대응하여 상기 입체 영상을 획득하며, 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 분석하여, 상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 액티브 로고의 위치를 분석하여 이동하는 것을 특징으로 하는 광학 호밍 시스템.
  4. 제3 항에 있어서, 상기 이동 로봇은
    상기 도킹 요청 신호를 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사하는 도킹 요청 신호 발신 소자;
    상기 이동 로봇이 이동 및 회전하도록 구동되는 구동부;
    기설정된 간격으로 이격되어 배치되는 2개의 카메라를 구비하여 상기 입체 영상을 획득하는 영상 획득부;
    상기 도킹 스테이션으로 상기 이동 로봇의 복귀 여부를 결정하고, 상기 이동 로봇이 복귀해야 하는 경우, 상기 이동 로봇을 회전하도록 상기 구동부를 제어하고, 상기 도킹 요청 신호 발신 소자가 기설정된 주기로 상기 도킹 요청 신호를 방사하도록 제어하며, 상기 영상 획득부가 상기 도킹 요청 신호를 방사하는 기간 및 방사하지 않는 기간 각각에서 상기 입체 영상을 획득하도록 제어하며, 상대 위치가 전송되면, 상기 이동 로봇이 상기 도킹 스테이션으로 이동하도록 상기 구동부를 제어하는 제어부;
    상기 영상 획득부에서 획득한 상기 입체 영상을 기저장된 템플릿과 비교하여 상기 영상에 액티브 로고가 포함되어 있는지 판별하는 로고 인식부; 및
    상기 로고 인식부에서 상기 액티브 로고가 포함된 것으로 판별하면, 상기 영상에 포함된 액티브 로고를 기저장된 로고 샘플과 비교하여 상기 도킹 스테이션의 상기 상대 위치를 판별하여 상기 제어부로 전송하는 로고 위치 판별부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  5. 제4 항에 있어서, 상기 로고 인식부는
    상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 영상 버퍼부;
    상기 영상 버퍼부에 버퍼링된 상기 입체 영상 중 상기 적외선이 방사되는 기간에 획득된 상기 입체 영상과 상기 적외선이 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 차영상 획득부;
    상기 차영상을 인가받아 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 컨투어링부;
    추출된 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 국부 이진 패턴 추출부;
    촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 추출된 국부 이진 패턴 서술자인 복수개의 상기 템플릿이 기저장되는 패턴 DB;
    상기 국부 이진 패턴 추출부에서 전송된 상기 국부 이진 패턴 서술자와 상기 복수개의 템플릿 각각을 비교하여 유사도를 분석하는 패턴 비교부; 및
    상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 로고 판별부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  6. 제5 항에 있어서, 상기 차영상 획득부는
    획득된 상기 차영상에서 노이즈를 제거하기 위해 영상에 포함된 사물의 기하학적 형태를 추출하는 모폴로지 연산을 추가로 수행하는 것을 특징으로 하는 광학 호밍 시스템.
  7. 제5 항에 있어서, 상기 국부 이진 패턴 추출부는
    상기 영상 패치의 복수개의 픽셀 중 두 개의 픽셀을 선택하고, 선택된 픽셀의 픽셀 강도를 비교하여 이진값을 할당하는 방식으로 상기 영상 패치 내의 모든 픽셀에 대한 상기 이진값을 할당하는 것을 특징으로 하는 광학 호밍 시스템.
  8. 제5 항에 있어서, 상기 패턴 비교부는
    상기 국부 이진 패턴 서술자를 상기 복수개의 템플릿 각각과 배타적 논리합 연산을 수행하여 상기 유사도를 획득하는 것을 특징으로 하는 광학 호밍 시스템.
  9. 제8 항에 있어서, 상기 로고 판별부는
    상기 유사도에서 0의 비트값 개수 또는 1의 비트값 개수를 카운트하여 상기 유사도값을 획득하는 것을 특징으로 하는 광학 호밍 시스템.
  10. 제5 항에 있어서, 상기 로고 위치 판별부는
    상기 복수개의 템플릿에 대응하여, 촬영 각도 및 촬영 거리에 따라 구분되어 상기 액티브 로고가 포함된 복수개의 샘플 영상이 저장되는 로고 샘플 DB;
    상기 로고 샘플 DB에 저장된 상기 복수개의 샘플 영상 중 상기 로고 판별부에서 판별한 템플릿에 대응하는 샘플 영상을 선택하고, 선택된 상기 샘플 영상을 상기 영상 버퍼부로부터 인가되는 상기 입체 영상에 투영하는 로고 투영부;
    상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 픽셀 비교부;
    상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 그래디언트 추출부; 및
    선택된 상기 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 상기 로고 샘플 DB에 함께 저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하고, 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 오차 최소화부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  11. 도킹 스테이션 및 이동 로봇을 포함하는 광학 호밍 시스템의 광학 호밍 방법에 있어서,
    상기 이동 로봇이 기설정된 적외선 빔 패턴으로 구현되는 도킹 요청 신호를 방사하는 단계;
    상기 이동 로봇이 상기 도킹 요청 신호에 응답하여 발광하는 상기 도킹 스테이션의 액티브 로고에 대한 입체 영상을 획득하는 단계; 및
    상기 입체 영상을 분석하여, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
  12. 제11 항에 있어서, 상기 도킹 요청 신호를 방사하는 단계는
    상기 이동 로봇이 상기 도킹 스테이션으로의 복귀 여부를 판별하는 단계;
    상기 도킹 스테이션으로 복귀해야 하는 것으로 판별되면, 상기 이동 로봇이 기설정된 회전 속도로 회전하는 단계; 및
    상기 이동 로봇이 회전하는 동안, 상기 이동 로봇에 구비된 도킹 요청 신호 발신 소자를 이용하여 지정된 시간에 상기 도킹 요청 신호를 방사하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
  13. 제12 항에 있어서, 상기 입체 영상을 획득하는 단계는
    상기 도킹 스테이션이 상기 도킹 요청 신호를 감지하는 단계;
    감지된 상기 도킹 요청 신호에 응답하여, 상기 도킹 스테이션이 상기 액티브 로고를 발광시키는 단계; 및
    상기 이동 로봇이 상기 도킹 요청 신호가 방사되는 기간 및 방사되지 않는 기간 각각에서 상기 입체 영상을 획득하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
  14. 제13 항에 있어서, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계는
    상기 이동 로봇이 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 판별하는 단계;
    상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 이동 로봇이 상기 액티브 로고의 위치를 분석하는 단계; 및
    상기 이동 로봇이 상기 액티브 로고의 위치로 이동하여 도킹하는 단계; 를 포함하는 광학 호밍 방법.
  15. 제14 항에 있어서, 상기 액티브 로고가 포함되어 있는지 판별하는 단계는
    상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 단계;
    버퍼링된 상기 입체 영상 중 상기 도킹 요청 신호가 방사되는 기간에 획득된 상기 입체 영상과 상기 도킹 요청 신호가 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 단계;
    상기 차영상에서 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 단계;
    상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 단계;
    상기 국부 이진 패턴 서술자를 미리 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 국부 이진 패턴 서술자로 추출된 복수개의 템플릿과 비교하여 유사도를 획득하는 단계;
    상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 단계; 및
    상기 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하면, 해당 템플릿 정보를 획득하는 단계; 를 포함하는 것을 특징으로 하는 호밍 방법.
  16. 제15 항에 있어서, 상기 액티브 로고의 위치를 분석하는 단계는
    상기 복수개의 템플릿에 대응하여, 상기 액티브 로고가 포함되고 촬영 각도 및 촬영 거리에 따라 구분되어 기저장된 복수개의 샘플 영상 중 상기 템플릿 정보에 대응하는 샘플 영상을 선택하고, 선택된 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 기저장된 회전 행렬 및 병진 벡터로부터 상대 위치를 판별하는 단계;
    선택된 상기 샘플 영상을 상기 입체 영상에 투영하는 단계;
    상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 단계;
    상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 단계; 및
    상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
PCT/KR2016/006774 2015-06-26 2016-06-24 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 WO2016209029A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150091212A KR101660703B1 (ko) 2015-06-26 2015-06-26 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
KR10-2015-0091212 2015-06-26

Publications (1)

Publication Number Publication Date
WO2016209029A1 true WO2016209029A1 (ko) 2016-12-29

Family

ID=57101249

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/006774 WO2016209029A1 (ko) 2015-06-26 2016-06-24 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101660703B1 (ko)
WO (1) WO2016209029A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108748184A (zh) * 2018-06-13 2018-11-06 四川长虹电器股份有限公司 一种基于区域地图标识的机器人巡逻方法及机器人设备
CN110801181A (zh) * 2019-11-07 2020-02-18 珠海格力电器股份有限公司 扫地机器人系统、扫地机器人控制方法及装置
US10585437B1 (en) 2018-09-25 2020-03-10 NextVPU (Shanghai) Co., Ltd. Auto-recharging of robot

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
CN109146919B (zh) * 2018-06-21 2020-08-04 全球能源互联网研究院有限公司 一种结合图像识别与激光引导的跟瞄系统及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100709066B1 (ko) * 2004-01-17 2007-04-18 주식회사 한울로보틱스 주행방향 감시 카메라를 이용한 이동로봇의 자동충전 방법
JP2007152472A (ja) * 2005-12-02 2007-06-21 Victor Co Of Japan Ltd 充電システム、充電ステーション及びロボット誘導システム
KR100773344B1 (ko) * 2006-08-09 2007-11-05 (주)다사로봇 랜드마크를 이용한 충전스테이션 위치 인식 시스템
JP5122770B2 (ja) * 2005-07-22 2013-01-16 エルジー エレクトロニクス インコーポレイティド 映像認識の可能な移動体誘導システム
US20140100693A1 (en) * 2012-10-05 2014-04-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2204717B1 (en) 2004-01-21 2013-07-31 iRobot Corporation Method of docking an autonomous robot

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100709066B1 (ko) * 2004-01-17 2007-04-18 주식회사 한울로보틱스 주행방향 감시 카메라를 이용한 이동로봇의 자동충전 방법
JP5122770B2 (ja) * 2005-07-22 2013-01-16 エルジー エレクトロニクス インコーポレイティド 映像認識の可能な移動体誘導システム
JP2007152472A (ja) * 2005-12-02 2007-06-21 Victor Co Of Japan Ltd 充電システム、充電ステーション及びロボット誘導システム
KR100773344B1 (ko) * 2006-08-09 2007-11-05 (주)다사로봇 랜드마크를 이용한 충전스테이션 위치 인식 시스템
US20140100693A1 (en) * 2012-10-05 2014-04-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108748184A (zh) * 2018-06-13 2018-11-06 四川长虹电器股份有限公司 一种基于区域地图标识的机器人巡逻方法及机器人设备
CN108748184B (zh) * 2018-06-13 2020-04-28 四川长虹电器股份有限公司 一种基于区域地图标识的机器人巡逻方法及机器人设备
US10585437B1 (en) 2018-09-25 2020-03-10 NextVPU (Shanghai) Co., Ltd. Auto-recharging of robot
EP3629120A1 (en) * 2018-09-25 2020-04-01 Nextvpu (Shanghai) Co., Ltd. Auto-recharging of robot
CN110801181A (zh) * 2019-11-07 2020-02-18 珠海格力电器股份有限公司 扫地机器人系统、扫地机器人控制方法及装置

Also Published As

Publication number Publication date
KR101660703B1 (ko) 2016-09-28

Similar Documents

Publication Publication Date Title
WO2016209029A1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
WO2019225817A1 (ko) 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
WO2016122069A1 (ko) 타이어 마모도 측정 방법 및 그 장치
WO2012023639A1 (ko) 다수의 센서를 이용하는 객체 계수 방법 및 장치
EP1672584A2 (en) Human tracking apparatus and method, storage medium storing program executing the method, and mobile electronic system including the apparatus
US20080152191A1 (en) Human Pose Estimation and Tracking Using Label Assignment
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
CN105807260B (zh) 一种基于超声传感器的动态定位系统及方法
Krotkov et al. Stereo ranging with verging cameras
KR100773344B1 (ko) 랜드마크를 이용한 충전스테이션 위치 인식 시스템
WO2022078513A1 (zh) 定位方法、装置、自移动设备和存储介质
CN110555879B (zh) 一种空间定位方法、其装置、其系统及计算机可读介质
Wen et al. Robust, fast and accurate vision-based localization of a cooperative target used for space robotic arm
WO2020159076A1 (ko) 랜드마크 위치 추정 장치와 방법 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록매체
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
WO2021075772A1 (ko) 복수 영역 검출을 이용한 객체 탐지 방법 및 그 장치
KR20120103943A (ko) 로봇의 위치 인식 장치 및 방법
US20200398420A1 (en) Robot teaching device and robot system
WO2016047890A1 (ko) 보행 보조 방법 및 시스템, 이를 수행하기 위한 기록매체
CN103056864A (zh) 轮式运动机器人位置与角度的实时检测装置及方法
Shen et al. A multi-view camera-projector system for object detection and robot-human feedback
CN111354018B (zh) 一种基于图像的物体识别方法、装置及系统
CN107330936B (zh) 一种基于单目视觉的双圆形标志物定位方法及系统
Mutka et al. A low cost vision based localization system using fiducial markers
WO2019151555A1 (ko) 물체 검출 방법 및 로봇 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16814742

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 06.03.2018)

122 Ep: pct application non-entry in european phase

Ref document number: 16814742

Country of ref document: EP

Kind code of ref document: A1