WO2017034062A1 - 이동 대상을 이동 로봇이 추종하는 추종 시스템 - Google Patents

이동 대상을 이동 로봇이 추종하는 추종 시스템 Download PDF

Info

Publication number
WO2017034062A1
WO2017034062A1 PCT/KR2015/009215 KR2015009215W WO2017034062A1 WO 2017034062 A1 WO2017034062 A1 WO 2017034062A1 KR 2015009215 W KR2015009215 W KR 2015009215W WO 2017034062 A1 WO2017034062 A1 WO 2017034062A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mobile robot
camera
moving object
audio signal
Prior art date
Application number
PCT/KR2015/009215
Other languages
English (en)
French (fr)
Inventor
채희서
박재찬
Original Assignee
한화테크윈 (주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화테크윈 (주) filed Critical 한화테크윈 (주)
Priority to US15/580,752 priority Critical patent/US10775794B2/en
Publication of WO2017034062A1 publication Critical patent/WO2017034062A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Definitions

  • the present invention relates to a tracking system, and more particularly, to a tracking system in which a mobile robot follows a moving object.
  • the mobile robot can follow a person or vehicle such as a soldier by autonomous driving.
  • a tracking system employs a Global Positioning System (GPS) method or a camera method.
  • GPS Global Positioning System
  • the mobile robot calculates a tracking path according to the GPS information of the moving target.
  • a tracking system can obtain an appropriate tracking path only when the GPS accuracy is high.
  • the proper tracking path means a path that can follow the shortest distance while accurately avoiding obstacles.
  • the GPS tracking system does not provide an appropriate tracking path in an area where GPS accuracy is low.
  • a camera capable of observing the front of the mobile robot is installed in the mobile robot, and a camera-type tracking system that obtains a following path by analyzing an image from the camera is adopted.
  • a tracking system can obtain an appropriate tracking path even in a region of low GPS accuracy, but has the following problems.
  • the problem of the background art is that the inventors possessed for the derivation of the present invention or acquired in the derivation process of the present invention, and are not necessarily known to the general public before the application of the present invention.
  • Embodiments of the present invention in the camera-based tracking system, to provide a system that can obtain the optimal tracking path of the mobile robot in the long term.
  • embodiments of the present invention in the following tracking method of the camera method, even if the camera of the mobile robot can not shoot the moving object due to the long distance between the moving object and the moving robot to obtain the tracking path of the mobile robot. To provide a system that can.
  • embodiments of the present invention in the camera-type tracking system, even if the sharpness of the captured image in the night or dark areas, to provide a system that can obtain the proper tracking path of the mobile robot.
  • the tracking system of the present embodiment in which the mobile robot follows the moving object, includes a first camera and a mobile robot.
  • the first camera is worn on the moving object and photographs the front of the moving object.
  • the mobile robot includes a second camera for photographing the front of the mobile robot and obtains a following path according to a first front image from the first camera and a second front image from the second camera.
  • the mobile robot obtains a tracking path according to the first forward image from the first camera worn on the moving object and the second forward image from the second camera provided on the mobile robot.
  • the following system of the present embodiments can obtain the following effects as compared to the conventional following system.
  • the mobile robot can know the situation in front of the moving object, the mobile robot can obtain an optimal following path in the long term.
  • the moving robot when the second camera of the mobile robot fails to photograph the moving object due to the increase in the distance between the moving object and the moving robot, the moving robot is configured to display the first front image from the first camera.
  • the frame of the past view corresponding to the current position is extracted from the series of frames, and the following path for which the image of the frame of the extraction result is the tracking target can be obtained.
  • the moving robot can obtain a following path.
  • the mobile robot extracts a frame of a past viewpoint corresponding to a current position from a series of frames of the first front image, and the image of the frame of the extraction result.
  • the image of the frame of the current view of the second front image may be synthesized to obtain a following path according to the image of the synthesis result.
  • the mobile robot can obtain an appropriate following path.
  • FIG. 1 is a view showing a tracking system according to an embodiment of the present invention.
  • FIG. 2 is a diagram for describing a method of using a first front image from a first camera and a second front image from a first camera in the tracking system of FIG. 1.
  • FIG. 3 is a view showing the configuration of the remote control device of FIG.
  • FIG. 4 is a flowchart illustrating an operation of a controller of FIG. 3.
  • FIG. 5 is a diagram illustrating a configuration of the mobile robot of FIG. 1.
  • FIG. 6 is a flowchart illustrating an operation of an image synthesizer of FIG. 5.
  • FIG. 7 is a flowchart illustrating an operation of a following path generation unit of FIG. 5.
  • FIG. 8 is a flowchart illustrating an operation of the emergency following mode of FIG. 7.
  • FIG. 9 is a flowchart illustrating an operation of a controller of FIG. 5.
  • FIG. 10 is a diagram for describing a panorama image is generated in a tracking system in which a mobile robot follows a plurality of moving objects.
  • FIG. 1 shows a tracking system of one embodiment of the present invention.
  • the following tracking system includes a first camera 103 and a moving robot 102 according to the present exemplary embodiment in which the moving robot 102 follows a moving object 101, for example, a soldier or a vehicle. ).
  • the first camera 103 is worn on the moving object 101 to photograph the front of the moving object 101.
  • the mobile robot 102 includes a second camera 102a for photographing the front of the mobile robot, so that the mobile robot 102 can capture the first front image from the first camera 103 and the second front image from the second camera 102a. Therefore, find the following path.
  • the following system of the present embodiment can obtain the following effects as compared to the conventional following system.
  • the mobile robot 102 can know the situation in front of the moving object 101, it can obtain the optimal following path in the long term.
  • the second camera 102a of the moving robot fails to photograph the moving object 101.
  • the frame of the past viewpoint corresponding to the current position is extracted from the series of frames of the first front image from the camera 103, and the second camera 102a pans a tracking path in which the image of the frame of the extraction result is the tracking target. It can obtain
  • the moving robot 102 can find the following path.
  • the mobile robot 102 extracts a frame of a past viewpoint corresponding to the current position among a series of frames of the first front image, and extracts a frame of the extracted result.
  • the following path may be obtained according to an image of the synthesis result by synthesizing the image of the frame of the current view of the image and the second front image.
  • the mobile robot 102 can obtain an appropriate following path.
  • the remote control device 104 worn on the moving object 101 controls the operation of the mobile robot 102 according to a user's operation, and transmits the first front image from the first camera 103 to the mobile robot 102. Send to.
  • FIG. 2 is a diagram for describing a method of using a first front image from the first camera 103 and a second front image from the first camera 102a in the tracking system of FIG. 1.
  • reference numeral t denotes time
  • 1F 1 to 1F N denote frames of the first front image
  • 2F 1 to 2F N denote frames of the second front image
  • Ta denotes an estimated time of arrival, respectively.
  • the mobile robot 102 may include a past viewpoint t S corresponding to a current position among a series of frames 1F 1 to 1F N of a first front image from the first camera 103. Frame 1Fs is extracted. This will be described in detail as follows.
  • the mobile robot 102 finds a past position where the mobile robot 102 was at the past time t S when the moving object 101 was at the current position of the mobile robot 102.
  • the mobile robot 102 calculates the estimated arrival time Ta at which the mobile robot 102 reaches from the past position to the current position.
  • the mobile robot 102 extracts the frames 1Fs of the past viewpoints corresponding to the estimated arrival time Ta from the series of frames 1F 1 to 1F N of the first front image.
  • the frames 1Fs of the past viewpoints of the first front image extracted as described above are used as follows.
  • the mobile robot 102 synthesizes an image of a frame 1Fs of a past viewpoint of a first front image and an image of a frame 2F N of a current viewpoint t N of a second front image, and synthesizes an image. Find the following path according to the image.
  • the mobile robot 102 can obtain an appropriate following path.
  • the second camera 102a of the moving robot fails to photograph the moving object 101.
  • the tracking path for which the image of the frame 1Fs of the past view of the front image is the tracking target is obtained by panning and tilting of the second camera 102a.
  • the moving robot 102 can find the following path.
  • FIG. 3 shows the configuration of the remote control device 104 of FIG.
  • the remote control device 104 includes a microphone 301, a user input unit 302, a wireless communication interface 303, and a controller 304.
  • the microphone 301 generates an audio signal.
  • the user input unit 302 for example, a joystick generates an operation control signal of the mobile robot 102 according to a user's manipulation.
  • the wireless communication interface 303 relays communication with the mobile robot 102.
  • FIG. 4 illustrates an operation of the controller 304 of FIG. 3. Referring to Figures 1, 3 and 4 will be described as follows.
  • the controller 304 outputs the first front image from the first camera 103 and the audio signal from the microphone 301 to the wireless communication interface 303 (step S401). Accordingly, the wireless communication interface 303 transmits the first front image and audio signal from the controller 304 to the mobile robot 102.
  • step S403 If an operation control signal from the user input unit 302 has been input (step S403), the control unit 304 outputs the input operation control signal to the wireless communication interface 303 (step S405). Accordingly, the wireless communication interface 303 transmits an operation control signal from the control unit 304 to the mobile robot 102.
  • Steps S401 to S405 are repeatedly performed until a termination signal, for example, a power off signal, is generated (step S407).
  • the mobile robot 102 obtains a following path according to the first front image, the second front image, and the audio signal.
  • the audio signal may include an audio signal associated with performing the task of the mobile robot 102.
  • the mobile robot 102 performs a task performing operation according to the audio signal.
  • FIG. 5 shows the configuration of the mobile robot 102 of FIG. Referring to Figures 1 and 5 the configuration and operation of each part of the mobile robot 102 is as follows.
  • the mobile robot 102 may generate a wireless communication interface 501, an image synthesizer 502, an audio amplifier 503, first ultrasonic sensors 504 and S1, second ultrasonic sensors 505 and S2, and follow path generation.
  • the wireless communication interface 501 receives a first front image, an audio signal, and an operation control signal from the remote control device 104.
  • the image synthesizing unit 502 synthesizes the first front image IM1 from the wireless communication interface 501 and the second front image IM2 from the second camera 102a to generate a composite image.
  • the audio amplifier 503 amplifies the audio signal Sau from the wireless communication interface 501.
  • the first ultrasonic sensors 504 and S1 generate a ground state signal in front of the left side of the mobile robot 102.
  • the second ultrasonic sensors 505 and S2 generate the ground state signal of the right front of the mobile robot 102.
  • the following path generation unit 506 is a composite image from the image synthesizing unit 502, an audio signal from the audio amplifying unit 503, a ground state signal from the left front from the first ultrasonic sensors 504 and S1, and The following path is obtained according to the ground state signal on the right front side from the second ultrasonic sensors 505 and S2. Therefore, compared with the conventional tracking system by a single camera, a more suitable tracking path can be obtained quickly.
  • the mechanism 507 is provided for the operation of the mobile robot.
  • the drive unit 508 drives the mechanism unit 507.
  • the controller 509 controls the driver 508 according to the following path from the following path generation unit 506 or the operation control signal Sco from the wireless communication interface 501.
  • FIG. 6 illustrates an operation of the image synthesizer 502 of FIG. 5. This will be described with reference to FIGS. 2, 5, and 6 as follows.
  • the image synthesizing unit 502 stores a series of frames 1F 1 to 1F N of the first front image IM1 (step S601).
  • the image synthesizing unit 502 finds the past position where the mobile robot 102 was at the past time point t S at which the moving object 101 was at the current position of the mobile robot 102 (step S602).
  • the image synthesizing unit 502 calculates an arrival estimation time Ta at which the mobile robot 102 reaches the present position from the past position (step S603).
  • the arrival estimation time Ta may be calculated by Equation 1 below.
  • Equation 1 dp denotes a distance between the past position and the current position, and Vm denotes an average moving speed that was applied to move from the past position to the present position, respectively.
  • the image synthesizing unit 502 extracts a frame 1Fs of a past viewpoint corresponding to the estimated arrival time Ta from the series of frames 1F 1 to 1F N of the first front image IM1 ( Step S604).
  • the image synthesizing unit 502 performs the image of the frame 1Fs of the past viewpoint of the first front image IM1 and the image of the frame 2F N of the current viewpoint t N of the second front image IM2. Is synthesized (step S605).
  • the image synthesizing unit 502 then provides the image of the synthesis result to the following path generation unit 506 (step S606).
  • Steps S601 to S606 are repeatedly performed until an end signal is generated.
  • FIG. 7 illustrates an operation of the following path generation unit 506 of FIG. 5. Referring to Figures 1, 5, and 7 will be described as follows.
  • the following path generation unit 506 is a composite image from the image synthesizing unit 502, an audio signal from the audio amplifying unit 503, a ground state signal from the left front from the first ultrasonic sensors 504 and S1, and The following path is obtained according to the ground state signal on the right front side from the second ultrasonic sensors 505 and S2 (step S701).
  • the following path generation unit 506 may analyze the pattern of the footprint sound of the moving object 101 such as a soldier, and predict the ground situation at the position where the moving object 101 is located. For example, in the case of the sound pattern of "scattering", the following path generation unit 506 calculates the following path in consideration of the fact that there is a waterway that is quite deep at the position of the moving object 101. In the case of the sound pattern of the "watching room”, the following path generation unit 506 calculates the following path in consideration of the presence of a water path at the position of the moving object 101. In the case of the sound pattern of "tracking”, the tracking path generation unit 506 calculates the tracking path in consideration of the fact that the moving object 101 is walking fast. In the case of the sound pattern of "smooth”, the following path generation unit 506 calculates the following path in consideration of the fact that the moving object 101 is walking on a viscous path.
  • the following path generation unit 506 calculates the following path in consideration of the command voice of the moving object 101.
  • Examples of the command voice of the moving object 101 include “right watch”, “slow”, “quiet”, “quickly”, and the like.
  • the tracking path generation unit 506 provides the tracking path obtained as described above to the control unit 509 (step S702).
  • step S703 if an audio signal associated with performing the task of the mobile robot 102 is input (step S703), the following path generation unit 506 relays the audio signal to the control unit 509 (step S704).
  • An example of an audio signal associated with performing a task is as follows.
  • iron and iron is a sound in which the moving object 101 operates a firearm.
  • the specified command voices of the moving object 101 may be audio signals related to task performance.
  • step S705 if the image of the moving object has disappeared (step S705), the following path generation unit 506 performs the emergency following mode (step S706).
  • Steps S701 to S706 are repeatedly performed until the end signal is generated (step S707).
  • FIG. 8 shows the operation of the emergency following mode (step S706) of FIG. This will be described with reference to FIGS. 1, 2, 5, and 7.
  • the tracking path generation unit 506 finds an image of the moving object 101 by panning and tilting the second camera 102a (step S801).
  • the following path generation unit 506 calculates a following path to which the image of the moving object 101 is a tracking target (step S803). In addition, the following path generation unit 506 provides the obtained following path to the control unit 509 (step S804).
  • step S802 If the image of the moving object 101 is not found (step S802), the following path generation unit 506 performs steps S805 to S807 and then performs steps S802 and subsequent steps again.
  • step S805 the following path generation unit 506 controls the image synthesizing unit 502 so that the series of frames 1F 1 to 1F N of the first front image IM1 from the first camera 103 is controlled. ) Extracts the frames 1Fs of the past time point t S corresponding to the current position.
  • This step S805 is performed by steps S602 to S604 in FIG.
  • the tracking path generation unit 506 calculates a tracking path for which the image of the frame of the extraction result is the tracking target by the panning and tilting of the second camera 102a (step S806).
  • the following path generation unit 506 provides the obtained following path to the control unit 509 (step S807), and then performs the above steps S802 and subsequent steps.
  • FIG. 9 illustrates an operation of the controller 509 of FIG. 5. Referring to Figures 1, 5, and 9 will be described as follows.
  • the control unit 509 controls the drive unit 508 in accordance with the following path from the following path generation unit 506 (step S901).
  • Step S903 if the audio signal related to the task execution is input from the following path generation unit 506 (step S902), the control unit 509 controls the drive unit 508 according to the audio signal from the following path generation unit 506. (Step S903).
  • step S904 If an operation control signal from the wireless communication interface 501 is input (step S904), the control unit 509 controls the drive unit 508 according to the operation control signal from the wireless communication interface 501 (step S905). .
  • Steps S901 to S906 are repeatedly performed until an end signal is generated.
  • a tracking system in which the moving robot (102 in FIG. 1) follows a plurality of moving objects may be mentioned.
  • a tracking system of another embodiment of the present invention includes first cameras 103 and the like and a mobile robot 102.
  • the first cameras 103 and the like are worn on each of the moving objects 101 and the like to photograph the front of the moving objects 101 and the like.
  • the mobile robot 102 includes a second camera 102a for photographing the front of the mobile robot 102, from the first front images and the second camera 102a from the first cameras 103 and the like. According to the second forward image of, the following path is obtained.
  • FIGS. 1 to 9 since the description of FIGS. 1 to 9 may be equally applicable, only the differences will be described as follows.
  • FIG. 10 is a diagram for describing a panorama image is generated in a tracking system in which a mobile robot follows a plurality of moving objects.
  • the mobile robot 102 may determine the first front images 1001 and 1003 from the first cameras 103, and the second front image 1002 from the second camera 102a. After the panorama image 1004 is generated, the following path is obtained according to the panorama image 1004.
  • the mobile robot 102 may obtain a more suitable tracking path.
  • the panoramic image 1004 is generated based on the second front image 1002 from the second camera 102a.
  • the first front images 1001 and 1003 from the first cameras 103 and the like are extracted by performing the steps S602 to S604 of FIG. 6.
  • the mobile robot is configured according to the first front image from the first camera worn on the moving object and the second front image from the second camera provided on the mobile robot. Find the following path.
  • the following system of the present embodiment can obtain the following effects as compared to the conventional following system.
  • the mobile robot can know the situation in front of the moving object, the mobile robot can obtain an optimal following path in the long term.
  • the second camera of the moving robot cannot capture the moving object, and the moving robot is currently positioned among a series of frames of the first front image from the first camera.
  • the frame of the past view corresponding to the extracted frame can be extracted, and a following path for which the image of the frame of the extraction result is the tracking target can be obtained.
  • the moving robot can obtain a following path.
  • the mobile robot extracts a frame of a past viewpoint corresponding to the current position from among a series of frames of the first front image, and extracts the image of the frame of the extracted result and the image.
  • the image of the frame of the current view of the front image may be synthesized, and the following path may be obtained according to the image of the synthesis result.
  • the mobile robot can obtain an appropriate following path.
  • the present invention can be used in various following systems.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Manipulator (AREA)
  • Studio Devices (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

이동 대상을 이동 로봇이 추종하는 본 실시예의 추종 시스템은 제1 카메라 및 이동 로봇을 포함한다. 제1 카메라는, 이동 대상에 착용되어, 이동 대상의 전방을 촬영한다. 이동 로봇은, 상기 이동 로봇의 전방을 촬영하는 제2 카메라를 구비하여, 제1 카메라로부터의 제1 전방 영상 및 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구한다. (도 1)

Description

이동 대상을 이동 로봇이 추종하는 추종 시스템
본 발명은, 추종 시스템에 관한 것으로서, 보다 상세하게는, 이동 대상을 이동 로봇이 추종하는 추종 시스템에 관한 것이다.
추종 시스템에 있어서, 이동 로봇은 군인과 같은 사람 또는 차량을 자율 주행에 의하여 추종할 수 있다. 이와 같은 추종 시스템은 지피에스(GPS : Global Positioning System) 방식 또는 카메라 방식을 채용한다.
지피에스(GPS) 방식의 추종 시스템에 있어서, 이동 로봇은 이동 대상의 지피에스(GPS) 정보에 따라 추종 경로를 구한다. 이와 같은 추종 시스템은 지피에스(GPS)의 정확도가 높은 경우에만 적절한 추종 경로를 구할 수 있다, 이하, 적절한 추종 경로란 장애물을 정확하게 회피하면서도 최단 거리로 추종할 수 있는 경로를 의미한다.
따라서, 지피에스(GPS) 방식의 추종 시스템은 지피에스(GPS)의 정확도가 낮은 지역에서 적절한 추종 경로를 구하지 못한다는 문제점이 있다.
한편, 이동 로봇의 전방을 관측할 수 있는 카메라가 이동 로봇에 설치되고, 카메라로부터의 영상을 분석함에 의하여 추종 경로를 구하는 카메라 방식의 추종 시스템이 채용되고 있다. 이와 같은 추종 시스템은 지피에스(GPS)의 정확도가 낮은 지역에서도 적절한 추종 경로를 구할 수 있지만, 다음과 같은 문제점들을 가진다.
첫째, 이동 로봇은, 이동 대상의 전방의 상황을 알 수 없으므로, 장기적인 측면에서 최적의 추종 경로를 구할 수 없다.
둘째, 이동 대상과 이동 로봇 사이의 거리가 길어짐으로 인하여 이동 로봇의 카메라가 이동 대상을 촬영하지 못할 경우, 이동 로봇은 추종 경로를 구할 수 없다.
셋째, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우, 이동 로봇은 전방의 장애물을 정확히 인식할 수 없음에 따라 적절한 추종 경로를 구할 수 없다.
상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수 없다.
본 발명의 실시예들은, 카메라 방식의 추종 시스템에 있어서, 장기적인 측면에서 이동 로봇의 최적의 추종 경로를 구할 수 있는 시스템을 제공하고자 한다.
또한, 본 발명의 실시예들은, 카메라 방식의 추종 시스템에 있어서, 이동 대상과 이동 로봇 사이의 거리가 길어짐으로 인하여 이동 로봇의 카메라가 이동 대상을 촬영하지 못할 경우에도, 이동 로봇의 추종 경로를 구할 수 있는 시스템을 제공하고자 한다.
또한, 본 발명의 실시예들은, 카메라 방식의 추종 시스템에 있어서, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우에도, 이동 로봇의 적절한 추종 경로를 구할 수 있는 시스템을 제공하고자 한다.
이동 대상을 이동 로봇이 추종하는 본 실시예의 추종 시스템은 제1 카메라 및 이동 로봇을 포함한다.
상기 제1 카메라는, 상기 이동 대상에 착용되어, 상기 이동 대상의 전방을 촬영한다.
상기 이동 로봇은, 상기 이동 로봇의 전방을 촬영하는 제2 카메라를 구비하여, 상기 제1 카메라로부터의 제1 전방 영상 및 상기 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구한다.
본 실시예의 추종 시스템에 의하면, 이동 로봇은, 이동 대상에 착용된 제1 카메라로부터의 제1 전방 영상 및 이동 로봇에 구비된 상기 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구한다.
이에 따라, 본 실시예들의 추종 시스템은 종래의 추종 시스템에 비하여 다음과 같은 효과를 얻을 수 있다.
첫째, 상기 이동 로봇은, 상기 이동 대상의 전방의 상황을 알 수 있으므로, 장기적인 측면에서 최적의 추종 경로를 구할 수 있다.
둘째, 상기 이동 대상과 상기 이동 로봇 사이의 거리가 길어짐으로 인하여 상기 이동 로봇의 상기 제2 카메라가 상기 이동 대상을 촬영하지 못할 경우, 상기 이동 로봇은, 상기 제1 카메라로부터의 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상이 추종 목표가 되는 추종 경로를 구할 수 있다.
따라서, 상기 이동 대상과 상기 이동 로봇 사이의 거리가 길어짐으로 인하여 상기 이동 로봇의 상기 제2 카메라가 이동 대상을 촬영하지 못할 경우에도, 상기 이동 로봇은 추종 경로를 구할 수 있다.
셋째, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우, 상기 이동 로봇은, 상기 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상과 상기 제2 전방 영상의 현재 시점의 프레임의 영상을 합성하여, 합성 결과의 영상에 따라 추종 경로를 구할 수 있다.
따라서, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우에도, 상기 이동 로봇은 적절한 추종 경로를 구할 수 있다.
도 1은 본 발명의 일 실시예의 추종 시스템을 보여주는 도면이다.
도 2는 도 1의 추종 시스템에서 제1 카메라로부터의 제1 전방 영상과 제1 카메라로부터의 제2 전방 영상의 이용 방법을 설명하기 위한 도면이다.
도 3은 도 1의 원격 제어 장치의 구성을 보여주는 도면이다.
도 4는 도 3의 제어부의 동작을 보여주는 흐름도이다.
도 5는 도 1의 이동 로봇의 구성을 보여주는 도면이다.
도 6은 도 5의 영상 합성부의 동작을 보여주는 흐름도이다.
도 7은 도 5의 추종 경로 생성부의 동작을 보여주는 흐름도이다.
도 8은 도 7의 긴급 추종 모드의 동작을 보여주는 흐름도이다.
도 9는 도 5의 제어부의 동작을 보여주는 흐름도이다.
도 10은, 복수의 이동 대상들을 이동 로봇이 추종하는 추종 시스템에서, 파노라마 영상이 생성됨을 설명하기 위한 도면이다.
하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.
또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예가 설명된다.
도 1은 본 발명의 일 실시예의 추종 시스템을 보여준다.
도 1을 참조하면, 본 실시예의 추종 시스템은 이동 대상(101) 예를 들어, 군인 또는 차량을 이동 로봇(102)이 추종하는 본 실시예의 추종 시스템은 제1 카메라(103) 및 이동 로봇(102)을 포함한다. 제1 카메라(103)는, 이동 대상(101)에 착용되어, 이동 대상(101)의 전방을 촬영한다. 이동 로봇(102)은, 이동 로봇의 전방을 촬영하는 제2 카메라(102a)를 구비하여, 제1 카메라(103)로부터의 제1 전방 영상 및 제2 카메라(102a)로부터의 제2 전방 영상에 따라, 추종 경로를 구한다.
이에 따라, 본 실시예의 추종 시스템은 종래의 추종 시스템에 비하여 다음과 같은 효과를 얻을 수 있다.
첫째, 이동 로봇(102)은, 이동 대상(101)의 전방의 상황을 알 수 있으므로, 장기적인 측면에서 최적의 추종 경로를 구할 수 있다.
둘째, 이동 대상(101)과 이동 로봇(102) 사이의 거리가 길어짐으로 인하여 이동 로봇의 제2 카메라(102a)가 이동 대상(101)을 촬영하지 못할 경우, 이동 로봇(102)은, 제1 카메라(103)로부터의 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상이 추종 목표가 되는 추종 경로를 제2 카메라(102a)의 패닝(panning) 및 틸팅(tilting)에 의하여 구할 수 있다.
따라서, 이동 대상(101)과 이동 로봇(102) 사이의 거리가 길어짐으로 인하여 이동 로봇(102)의 제2 카메라(102a)가 이동 대상(101)을 촬영하지 못할 경우에도, 이동 로봇(102)은 추종 경로를 구할 수 있다.
셋째, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우, 이동 로봇(102)은, 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상과 제2 전방 영상의 현재 시점의 프레임의 영상을 합성하여, 합성 결과의 영상에 따라 추종 경로를 구할 수 있다.
따라서, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우에도, 이동 로봇(102)은 적절한 추종 경로를 구할 수 있다.
이동 대상(101)에 착용된 원격 제어 장치(104)는, 사용자의 조작에 따라 이동 로봇(102)의 동작을 제어하고, 제1 카메라(103)로부터의 제1 전방 영상을 이동 로봇(102)에게 전송한다.
도 2는 도 1의 추종 시스템에서 제1 카메라(103)로부터의 제1 전방 영상과 제1 카메라(102a)로부터의 제2 전방 영상의 이용 방법을 설명하기 위한 도면이다. 도 2에서 참조 부호 t는 시간을, 1F1 내지 1FN은 제1 전방 영상의 프레임들을, 2F1 내지 2FN은 제2 전방 영상의 프레임들을, 그리고 Ta는 도달 추정 시간을 각각 가리킨다.
도 1 및 2를 참조하면, 이동 로봇(102)은, 제1 카메라(103)로부터의 제1 전방 영상의 일련의 프레임들(1F1 내지 1FN) 중에서 현재 위치에 상응하는 과거 시점(tS)의 프레임(1Fs)을 추출한다. 이를 상세히 설명하면 다음과 같다.
먼저, 이동 로봇(102)은 이동 대상(101)이 이동 로봇(102)의 현재 위치에 있었던 과거 시점(tS)에서 이동 로봇(102)이 있었던 과거 위치를 찾는다.
다음에, 이동 로봇(102)은 이동 로봇(102)이 상기 과거 위치에서 현재 위치까지 도달하는 도달 추정 시간(Ta)을 계산한다.
그리고, 이동 로봇(102)은 제1 전방 영상의 일련의 프레임들(1F1 내지 1FN) 중에서 도달 추정 시간(Ta)에 상응하는 과거 시점의 프레임(1Fs)을 추출한다.
이와 같이 추출된 제1 전방 영상의 과거 시점의 프레임(1Fs)은 다음과 같이 사용된다.
첫째, 이동 로봇(102)은, 제1 전방 영상의 과거 시점의 프레임(1Fs)의 영상 및 제2 전방 영상의 현재 시점(tN)의 프레임(2FN)의 영상을 합성하여, 합성 결과의 영상에 따라 추종 경로를 구한다.
따라서, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우에도, 이동 로봇(102)은 적절한 추종 경로를 구할 수 있다.
둘째, 이동 대상(101)과 이동 로봇(102) 사이의 거리가 길어짐으로 인하여 이동 로봇의 제2 카메라(102a)가 이동 대상(101)을 촬영하지 못할 경우, 이동 로봇(102)은, 제1 전방 영상의 과거 시점의 프레임(1Fs)의 영상이 추종 목표가 되는 추종 경로를 제2 카메라(102a)의 패닝(panning) 및 틸팅(tilting)에 의하여 구한다.
따라서, 이동 대상(101)과 이동 로봇(102) 사이의 거리가 길어짐으로 인하여 이동 로봇(102)의 제2 카메라(102a)가 이동 대상(101)을 촬영하지 못할 경우에도, 이동 로봇(102)은 추종 경로를 구할 수 있다.
도 3은 도 1의 원격 제어 장치(104)의 구성을 보여준다.
도 1 및 3을 참조하면, 원격 제어 장치(104)는 마이크로폰(301), 사용자 입력부(302), 무선 통신 인터페이스(303), 및 제어부(304)를 포함한다.
마이크로폰(301)은 오디오 신호를 발생시킨다.
사용자 입력부(302) 예를 들어, 조이스틱(joystick)은 사용자의 조작에 따라 이동 로봇(102)의 동작 제어 신호를 발생시킨다.
무선 통신 인터페이스(303)는 이동 로봇(102)과의 통신을 중계한다.
도 4는 도 3의 제어부(304)의 동작을 보여준다. 도 1, 3 및 4를 참조하여 이를 설명하면 다음과 같다.
제어부(304)는 제1 카메라(103)로부터의 제1 전방 영상 및 마이크로폰(301)으로부터의 오디오 신호를 무선 통신 인터페이스(303)에 출력한다(단계 S401). 이에 따라, 무선 통신 인터페이스(303)는 제어부(304)로부터의 제1 전방 영상 및 오디오 신호를 이동 로봇(102)에게 전송한다.
사용자 입력부(302)로부터의 동작 제어 신호가 입력되었으면(단계 S403), 제어부(304)는 입력된 동작 제어 신호를 무선 통신 인터페이스(303)에 출력한다(단계 S405). 이에 따라, 무선 통신 인터페이스(303)는 제어부(304)로부터의 동작 제어 신호를 이동 로봇(102)에게 전송한다.
상기 단계들 S401 내지 S405는 종료 신호 예를 들어, 전원 오프(Off) 신호가 발생될 때까지 반복적으로 수행된다(단계 S407).
이에 따라, 이동 로봇(102)은 제1 전방 영상, 제2 전방 영상, 및 오디오 신호에 따라 추종 경로를 구한다.
여기에서, 오디오 신호에는 이동 로봇(102)의 임무 수행과 관련된 오디오 신호가 포함될 수도 있다. 이 경우, 이동 로봇(102)은, 상기 오디오 신호에 따라 임무 수행 동작을 한다.
도 5는 도 1의 이동 로봇(102)의 구성을 보여준다. 도 1 및 5를 참조하여 이동 로봇(102)의 구성 및 각 부의 동작을 설명하면 다음과 같다.
이동 로봇(102)은 무선 통신 인터페이스(501), 영상 합성부(502), 오디오 증폭부(503), 제1 초음파 센서(504, S1), 제2 초음파 센서(505, S2), 추종 경로 생성부(506), 기구부(507), 구동부(508), 및 제어부(509)를 포함한다
무선 통신 인터페이스(501)는 원격 제어 장치(104)로부터의 제1 전방 영상, 오디오 신호, 및 동작 제어 신호를 수신한다.
영상 합성부(502)는 무선 통신 인터페이스(501)로부터의 제1 전방 영상(IM1)과 제2 카메라(102a)로부터의 제2 전방 영상(IM2)을 합성하여, 합성 영상을 생성한다.
오디오 증폭부(503)는 무선 통신 인터페이스(501)로부터의 오디오 신호(Sau)를 증폭한다.
제1 초음파 센서(504, S1)는 이동 로봇(102)의 좌측 전방의 지면 상태 신호를 발생시킨다.
제2 초음파 센서(505, S2)는 이동 로봇(102)의 우측 전방의 지면 상태 신호를 발생시킨다.
추종 경로 생성부(506)는, 영상 합성부(502)로부터의 합성 영상, 오디오 증폭부(503)로부터의 오디오 신호, 제1 초음파 센서(504, S1)로부터의 좌측 전방의 지면 상태 신호, 및 제2 초음파 센서(505, S2)로부터의 우측 전방의 지면 상태 신호에 따라 추종 경로를 구한다. 따라서, 종래의 단일 카메라에 의한 추종 시스템에 비하여, 보다 적절한 추종 경로가 신속하게 구해질 수 있다.
기구부(507)는 이동 로봇의 동작을 위하여 구비된다.
구동부(508)는 기구부(507)를 구동한다.
제어부(509)는 추종 경로 생성부(506)로부터의 추종 경로 또는 무선 통신 인터페이스(501)로부터의 동작 제어 신호(Sco)에 따라 구동부(508)를 제어한다.
이하에서는, 영상 합성부(502), 추종 경로 생성부(506), 및 제어부(509)의 동작이 상세히 설명된다.
도 6은 도 5의 영상 합성부(502)의 동작을 보여준다. 도 2, 5, 및 6을 참조하여 이를 설명하면 다음과 같다.
영상 합성부(502)는 제1 전방 영상(IM1)의 일련의 프레임들(1F1 내지 1FN)을 저장한다(단계 S601).
또한, 영상 합성부(502)는 이동 대상(101)이 이동 로봇(102)의 현재 위치에 있었던 과거 시점(tS)에서 이동 로봇(102)이 있었던 과거 위치를 찾는다(단계 S602).
다음에, 영상 합성부(502)는 이동 로봇(102)이 상기 과거 위치에서 현재 위치까지 도달하는 도달 추정 시간(Ta)을 계산한다(단계 S603). 도달 추정 시간(Ta)은 아래의 수학식 1에 의하여 계산될 수 있다.
수학식 1
Figure PCTKR2015009215-appb-M000001
상기 수학식 1에서 dp는 상기 과거 위치와 현재 위치 사이의 거리를, 그리고 Vm은 상기 과거 위치에서 현재 위치까지 이동하는 데에 적용되었던 평균 이동 속도를 각각 가리킨다.
다음에, 영상 합성부(502)는 제1 전방 영상(IM1)의 일련의 프레임들(1F1 내지 1FN) 중에서 도달 추정 시간(Ta)에 상응하는 과거 시점의 프레임(1Fs)을 추출한다(단계 S604).
다음에, 영상 합성부(502)는 제1 전방 영상(IM1)의 과거 시점의 프레임(1Fs)의 영상 및 제2 전방 영상(IM2)의 현재 시점(tN)의 프레임(2FN)의 영상을 합성한다(단계 S605).
그리고, 영상 합성부(502)는 합성 결과의 영상을 추종 경로 생성부(506)에게 제공한다(단계 S606).
상기 단계들 S601 내지 S606은 종료 신호가 발생될 때까지 반복적으로 수행된다.
도 7은 도 5의 추종 경로 생성부(506)의 동작을 보여준다. 도 1, 5, 및 7을 참조하여 이를 설명하면 다음과 같다.
추종 경로 생성부(506)는, 영상 합성부(502)로부터의 합성 영상, 오디오 증폭부(503)로부터의 오디오 신호, 제1 초음파 센서(504, S1)로부터의 좌측 전방의 지면 상태 신호, 및 제2 초음파 센서(505, S2)로부터의 우측 전방의 지면 상태 신호에 따라 추종 경로를 구한다(단계 S701).
오디오 신호와 관련된 추종 경로 생성부(506)의 추종-경로 설정 동작을 예를 들어 설명하면 다음과 같다.
첫째, 추종 경로 생성부(506)는, 군인과 같은 이동 대상(101)의 발자국 소리의 패턴을 분석하여, 이동 대상(101)이 있는 위치의 지면 상황을 예측할 수 있다. 예를 들어, "첨벙첨벙"의 소리 패턴인 경우, 추종 경로 생성부(506)는 이동 대상(101)의 위치에 상당히 깊은 물길이 있음을 감안하여 추종 경로를 구한다. "찰방찰방"의 소리 패턴인 경우, 추종 경로 생성부(506)는 이동 대상(101)의 위치에 앝은 물길이 있음을 감안하여 추종 경로를 구한다. "탁탁탁"의 소리 패턴인 경우, 추종 경로 생성부(506)는 이동 대상(101)이 빠르게 걷고 있음을 감안하여 추종 경로를 구한다. "푹푹"의 소리 패턴인 경우, 추종 경로 생성부(506)는 이동 대상(101)이 점성있는 길을 걷고 있음을 감안하여 추종 경로를 구한다.
둘째, 추종 경로 생성부(506)는, 이동 대상(101)의 명령 음성을 감안하여 추종 경로를 구한다. 이동 대상(101)의 명령 음성의 예로서, "오른쪽 조심해", "천천히 와", "조용히 해", 및 "빨리빨리" 등을 들 수 있다.
추종 경로 생성부(506)는 상기와 같이 구해진 추종 경로를 제어부(509)에게 제공한다(단계 S702).
또한, 이동 로봇(102)의 임무 수행과 관련된 오디오 신호가 입력되었으면(단계 S703), 추종 경로 생성부(506)는 오디오 신호를 제어부(509)에게 중계한다(단계 S704).
임무 수행과 관련된 오디오 신호를 예를 들어 설명하면 다음과 같다.
첫째, 이동 대상(101)의 주변 음향으로서 "철컥철컥"은 이동 대상(101)이 총기류를 작동하는 소리이다.
둘째, 이동 대상(101)의 주변 음향으로서 "쾅"은 폭발물이 터지는 소리이다.
셋째, 이동 대상(101)의 주변 음향으로서 "휘잉"은 강풍이 부는 소리이다.
넷째, 이동 대상(101)의 특정된 명령 음성들은 임무 수행과 관련된 오디오 신호가 될 수 있다.
한편, 이동 대상의 영상이 사라졌으면(단계 S705), 추종 경로 생성부(506)는 긴급 추종 모드를 수행한다(단계 S706).
상기 단계들 S701 내지 S706은 종료 신호가 발생될 때까지 반복적으로 수행된다(단계 S707).
도 8은 도 7의 긴급 추종 모드(단계 S706)의 동작을 보여준다. 도 1, 2, 5, 및 7을 참조하여 이를 설명하면 다음과 같다.
추종 경로 생성부(506)는 제2 카메라(102a)의 패닝 및 틸팅에 의하여 이동 대상(101)의 영상을 찾는다(단계 S801).
이동 대상(101)의 영상을 찾았으면(단계 S802), 추종 경로 생성부(506)는 이동 대상(101)의 영상이 추종 목표가 되는 추종 경로를 구한다(단계 S803). 또한, 추종 경로 생성부(506)는 구해진 추종 경로를 제어부(509)에게 제공한다(단계 S804).
이동 대상(101)의 영상을 찾지 못했으면(단계 S802), 추종 경로 생성부(506)는 단계들 S805 내지 S807을 수행한 후, 상기 단계 S802 및 그 이후의 단계들을 다시 수행한다.
단계 S805에 있어서, 추종 경로 생성부(506)는, 영상 합성부(502)를 제어하여, 제1 카메라(103)로부터의 제1 전방 영상(IM1)의 일련의 프레임들(1F1 내지 1FN) 중에서 현재 위치에 상응하는 과거 시점(tS)의 프레임(1Fs)을 추출한다. 이 단계 S805는 도 6의 단계들 S602 내지 S604에 의하여 수행된다.
다음에, 추종 경로 생성부(506)는, 제2 카메라(102a)의 패닝 및 틸팅에 의하여, 추출 결과의 프레임의 영상이 추종 목표가 되는 추종 경로를 구한다(단계 S806).
다음에, 추종 경로 생성부(506)는, 구해진 추종 경로를 제어부(509)에게 제공한 후(단계 S807), 상기 단계 S802 및 그 이후의 단계들을 다시 수행한다.
도 9는 도 5의 제어부(509)의 동작을 보여준다. 도 1, 5, 및 9를 참조하여 이를 설명하면 다음과 같다.
제어부(509)는 추종 경로 생성부(506)로부터의 추종 경로에 따라 구동부(508)를 제어한다(단계 S901).
다음에, 임무 수행과 관련된 오디오 신호가 추종 경로 생성부(506)로부터 입력되었으면(단계 S902), 제어부(509)는 추종 경로 생성부(506)로부터의 오디오 신호에 따라 구동부(508)를 제어한다(단계 S903).
또한, 무선 통신 인터페이스(501)로부터의 동작 제어 신호가 입력되었으면(단계 S904), 제어부(509)는 무선 통신 인터페이스(501)로부터의 동작 제어 신호에 따라 구동부(508)를 제어한다(단계 S905).
상기 단계들 S901 내지 S906은 종료 신호가 발생될 때까지 반복적으로 수행된다.
한편, 본 발명의 또 다른 실시예로서, 복수의 이동 대상들을 이동 로봇(도 1의 102)이 추종하는 추종 시스템을 들 수 있다. 도 1을 참조하면, 본 발명의 또 다른 실시예의 추종 시스템은 제1 카메라들(103 등등) 및 이동 로봇(102)을 포함한다.
제1 카메라들(103 등등)은 이동 대상들(101 등등) 각각에 착용되어, 이동 대상들(101 등등)의 전방을 촬영한다.
이동 로봇(102)은, 이동 로봇(102)의 전방을 촬영하는 제2 카메라(102a)를 구비하여, 제1 카메라들(103 등등)로부터의 제1 전방 영상들 및 제2 카메라(102a)로부터의 제2 전방 영상에 따라, 추종 경로를 구한다.
여기에서, 도 1 내지 9의 설명은 동일하게 적용될 수 있으므로, 그 차이점만을 설명하면 다음과 같다.
도 10은, 복수의 이동 대상들을 이동 로봇이 추종하는 추종 시스템에서, 파노라마 영상이 생성됨을 설명하기 위한 도면이다.
도 10을 참조하면, 이동 로봇(102)은, 제1 카메라들(103 등등)로부터의 제1 전방 영상들(1001, 1003) 및 제2 카메라(102a)로부터의 제2 전방 영상(1002)의 파노라마 영상(1004)을 생성한 후, 파노라마 영상(1004)에 따라 추종 경로를 구한다.
이와 같이 파노라마 영상(1004)에 따라 추종 경로를 구함에 따라, 이동 로봇(102)은 보다 적절한 추종 경로를 구할 수 있다.
여기에서, 제2 카메라(102a)로부터의 제2 전방 영상(1002)을 기준으로 하여 파노라마 영상(1004)이 생성된다. 물론, 제1 카메라들(103 등등)로부터의 제1 전방 영상들(1001, 1003)은 도 6의 단계들 S602 내지 S604의 수행에 의하여 추출된다.
이상 설명된 바와 같이, 본 실시예의 추종 시스템에 의하면, 이동 로봇은, 이동 대상에 착용된 제1 카메라로부터의 제1 전방 영상 및 이동 로봇에 구비된 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구한다.
이에 따라, 본 실시예의 추종 시스템은 종래의 추종 시스템에 비하여 다음과 같은 효과를 얻을 수 있다.
첫째, 이동 로봇은, 이동 대상의 전방의 상황을 알 수 있으므로, 장기적인 측면에서 최적의 추종 경로를 구할 수 있다.
둘째, 이동 대상과 이동 로봇 사이의 거리가 길어짐으로 인하여 이동 로봇의 제2 카메라가 이동 대상을 촬영하지 못할 경우, 이동 로봇은, 제1 카메라로부터의 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상이 추종 목표가 되는 추종 경로를 구할 수 있다.
따라서, 이동 대상과 이동 로봇 사이의 거리가 길어짐으로 인하여 이동 로봇의 제2 카메라가 이동 대상을 촬영하지 못할 경우에도, 이동 로봇은 추종 경로를 구할 수 있다.
셋째, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우, 이동 로봇은, 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출하고, 추출 결과의 프레임의 영상과 제2 전방 영상의 현재 시점의 프레임의 영상을 합성하여, 합성 결과의 영상에 따라 추종 경로를 구할 수 있다.
따라서, 야간 또는 어두운 지역에서 촬영 영상의 선명도가 떨어지는 경우에도, 이동 로봇은 적절한 추종 경로를 구할 수 있다.
이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.
본 발명은 다양한 추종 시스템들에 이용될 수 있다.

Claims (14)

  1. 이동 대상을 이동 로봇이 추종하는 추종 시스템에 있어서,
    상기 이동 대상에 착용되어, 상기 이동 대상의 전방을 촬영하는 제1 카메라; 및
    상기 이동 로봇의 전방을 촬영하는 제2 카메라를 구비하여, 상기 제1 카메라로부터의 제1 전방 영상 및 상기 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구하는 상기 이동 로봇;을 포함한, 추종 시스템.
  2. 제1항에 있어서, 상기 이동 로봇은,
    상기 이동 대상의 영상을 찾을 수 없는 경우, 상기 제1 전방 영상의 일련의 프레임들 중에서 현재 위치에 상응하는 과거 시점의 프레임을 추출한 후, 상기 제2 카메라의 패닝(panning) 및 틸팅(tilting)에 의하여, 추출 결과의 프레임의 영상이 추종 목표가 되는 추종 경로를 구하는, 추종 시스템.
  3. 제1항에 있어서, 상기 이동 로봇은,
    상기 제1 카메라로부터의 제1 전방 영상의 일련의 프레임들을 저장하고,
    상기 이동 대상이 상기 이동 로봇의 현재 위치에 있었던 과거 시점에서 상기 이동 로봇이 있었던 과거 위치를 찾으며,
    상기 이동 로봇이 상기 과거 위치에서 현재 위치까지 도달하는 도달 추정 시간을 계산하고,
    상기 일련의 프레임들 중에서 상기 도달 추정 시간에 상응하는 과거 시점의 프레임을 추출하며,
    상기 과거 시점의 프레임의 영상 및 상기 제2 전방 영상의 현재 시점의 프레임의 영상을 합성하여,
    합성 결과의 영상에 따라 추종 경로를 구하는, 추종 시스템.
  4. 제1항에 있어서,
    상기 이동 대상에 착용되어, 사용자의 조작에 따라 상기 이동 로봇의 동작을 제어하는 원격 제어 장치를 더 포함하고,
    상기 원격 제어 장치는 상기 제1 카메라로부터의 제1 전방 영상을 상기 이동 로봇에게 전송하는, 추종 시스템.
  5. 제4항에 있어서, 상기 원격 제어 장치는,
    오디오 신호를 발생시키는 마이크로폰;
    사용자의 조작에 따라 상기 이동 로봇의 동작 제어 신호를 발생시키는 사용자 입력부;
    상기 이동 로봇과의 통신을 중계하는 무선 통신 인터페이스; 및
    제어부를 포함한, 추종 시스템.
  6. 제5항에 있어서, 상기 원격 제어 장치의 상기 제어부는,
    상기 제1 카메라로부터의 제1 전방 영상, 상기 마이크로폰으로부터의 오디오 신호, 및 상기 사용자 입력부로부터의 동작 제어 신호를 상기 무선 통신 인터페이스에 출력하고,
    상기 무선 통신 인터페이스는 상기 제어부로부터의 제1 전방 영상, 오디오 신호, 및 동작 제어 신호를 상기 이동 로봇에게 전송하는, 추종 시스템.
  7. 제6항에 있어서, 상기 이동 로봇은,
    상기 제1 전방 영상, 상기 제2 전방 영상, 및 상기 오디오 신호에 따라, 추종 경로를 구하는, 추종 시스템.
  8. 제7항에 있어서,
    상기 오디오 신호에는 임무 수행과 관련된 오디오 신호가 포함되고,
    상기 이동 로봇은,
    상기 오디오 신호에 따라 임무 수행 동작을 하는, 추종 시스템.
  9. 제6항에 있어서, 상기 이동 로봇은,
    상기 원격 제어 장치로부터의 제1 전방 영상, 오디오 신호, 및 동작 제어 신호를 수신하는 무선 통신 인터페이스;
    상기 무선 통신 인터페이스로부터의 제1 전방 영상과 상기 제2 카메라로부터의 제2 전방 영상을 합성하여, 합성 영상을 생성하는 영상 합성부;
    상기 무선 통신 인터페이스로부터의 상기 오디오 신호를 증폭하는 오디오 증폭부;
    상기 이동 로봇의 좌측 전방의 지면 상태 신호를 발생시키는 제1 초음파 센서;
    상기 이동 로봇의 우측 전방의 지면 상태 신호를 발생시키는 제2 초음파 센서;
    상기 영상 합성부로부터의 합성 영상, 상기 오디오 증폭부로부터의 오디오 신호, 상기 제1 초음파 센서로부터의 좌측 전방의 지면 상태 신호, 및 상기 제2 초음파 센서로부터의 우측 전방의 지면 상태 신호에 따라 추종 경로를 구하는 추종 경로 생성부;
    상기 이동 로봇의 동작을 위한 기구부;
    상기 기구부를 구동하는 구동부; 및
    상기 추종 경로 생성부로부터의 상기 추종 경로 또는 상기 무선 통신 인터페이스로부터의 상기 동작 제어 신호에 따라 상기 구동부를 제어하는 제어부;를 포함한, 추종 시스템.
  10. 제9항에 있어서, 상기 영상 합성부는,
    상기 제1 전방 영상의 일련의 프레임들을 저장하고,
    상기 이동 대상이 상기 이동 로봇의 현재 위치에 있었던 과거 시점에서 상기 이동 로봇이 있었던 과거 위치를 찾으며,
    상기 이동 로봇이 상기 과거 위치에서 현재 위치까지 도달하는 도달 추정 시간을 계산하고,
    상기 일련의 프레임들 중에서 상기 도달 추정 시간에 상응하는 과거 시점의 프레임을 추출하며,
    상기 과거 시점의 프레임의 영상 및 상기 제2 전방 영상의 현재 시점의 프레임의 영상을 합성하여,
    합성 결과의 영상을 상기 추종 경로 생성부에게 제공하는, 추종 시스템.
  11. 제9항에 있어서,
    상기 오디오 신호에는 상기 이동 로봇의 임무 수행과 관련된 오디오 신호가 포함되고,
    상기 추종 경로 생성부는,
    상기 임무 수행과 관련된 오디오 신호를 상기 제어부에게 중계하는, 추종 시스템.
  12. 복수의 이동 대상들을 이동 로봇이 추종하는 추종 시스템에 있어서,
    상기 이동 대상들 각각에 착용되어, 상기 이동 대상들의 전방을 촬영하는 제1 카메라들; 및
    상기 이동 로봇의 전방을 촬영하는 제2 카메라를 구비하여, 상기 제1 카메라들로부터의 제1 전방 영상들 및 상기 제2 카메라로부터의 제2 전방 영상에 따라, 추종 경로를 구하는 상기 이동 로봇;을 포함한, 추종 시스템.
  13. 제12항에 있어서, 상기 이동 로봇은,
    상기 제1 전방 영상들 및 상기 제2 카메라로부터의 제2 전방 영상의 파노라마 영상을 생성한 후, 상기 파노라마 영상에 따라 추종 경로를 구하는, 추종 시스템.
  14. 제13항에 있어서,
    상기 제2 카메라로부터의 제2 전방 영상을 기준으로 하여 상기 파노라마 영상이 생성되는, 추종 시스템.
PCT/KR2015/009215 2015-08-26 2015-09-02 이동 대상을 이동 로봇이 추종하는 추종 시스템 WO2017034062A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/580,752 US10775794B2 (en) 2015-08-26 2015-09-02 Following system for mobile robot to follow moving object

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150120550A KR101726696B1 (ko) 2015-08-26 2015-08-26 이동 대상을 이동 로봇이 추종하는 추종 시스템
KR10-2015-0120550 2015-08-26

Publications (1)

Publication Number Publication Date
WO2017034062A1 true WO2017034062A1 (ko) 2017-03-02

Family

ID=58100503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/009215 WO2017034062A1 (ko) 2015-08-26 2015-09-02 이동 대상을 이동 로봇이 추종하는 추종 시스템

Country Status (3)

Country Link
US (1) US10775794B2 (ko)
KR (1) KR101726696B1 (ko)
WO (1) WO2017034062A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107160392A (zh) * 2017-05-26 2017-09-15 深圳市天益智网科技有限公司 基于视觉定位和跟随的方法、装置及终端设备和机器人

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190055582A (ko) * 2017-11-15 2019-05-23 삼성전자주식회사 전자 장치의 이미지 촬영 방법 및 그 전자 장치
WO2020105124A1 (ja) * 2018-11-20 2020-05-28 本田技研工業株式会社 自律作業機、自律作業機の制御方法及びプログラム
CN110000795A (zh) * 2019-05-15 2019-07-12 苏州市职业大学 一种视觉伺服控制的方法、系统及设备
WO2021125510A1 (en) 2019-12-20 2021-06-24 Samsung Electronics Co., Ltd. Method and device for navigating in dynamic environment
KR102381958B1 (ko) 2020-05-28 2022-04-01 에이지로보틱스(주) 추종 로봇 시스템
KR102358847B1 (ko) 2020-06-25 2022-02-07 주식회사 에이치아이테크 적재물 가이드가 장착된 추종 로봇 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030050402A (ko) * 2001-12-18 2003-06-25 엘지전자 주식회사 로봇의 헤드 트랙킹 제어방법
KR20100053220A (ko) * 2008-11-12 2010-05-20 주식회사 대한항공 무인항공기 자동회수 유도 제어 방법
KR20100066952A (ko) * 2008-12-10 2010-06-18 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101475826B1 (ko) * 2013-03-14 2014-12-30 인하대학교 산학협력단 백스테핑 기법을 이용한 선도 추종자 대형제어 장치, 방법 및 이동로봇
KR101486308B1 (ko) * 2013-08-20 2015-02-04 인하대학교 산학협력단 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5323470A (en) 1992-05-08 1994-06-21 Atsushi Kara Method and apparatus for automatically tracking an object
JP3648812B2 (ja) 1995-10-31 2005-05-18 ソニー株式会社 移動物体への接近及び／又は追従制御に係るサーボ制御装置及びサーボ制御方法並びにこれらを用いたロボット制御装置及びロボット制御方法
US6663341B2 (en) 2002-02-19 2003-12-16 Praxair Technology, Inc. Process fluid recycle system for a compressor assembly
KR100513339B1 (ko) 2003-09-02 2005-09-07 엘지전자 주식회사 광디스크장치의 최적파워 검출방법
KR100612858B1 (ko) 2004-08-23 2006-08-14 삼성전자주식회사 로봇을 이용하여 사람을 추적하는 방법 및 장치
JP4198676B2 (ja) 2004-12-28 2008-12-17 株式会社東芝 ロボット装置、ロボット装置の移動追従方法、および、プログラム
JP4451315B2 (ja) * 2005-01-06 2010-04-14 富士重工業株式会社 車両の運転支援装置
US8108144B2 (en) 2007-06-28 2012-01-31 Apple Inc. Location based tracking
JP4413957B2 (ja) 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
KR20090062881A (ko) 2007-12-13 2009-06-17 삼성전자주식회사 이동 로봇 및 그 이동 객체 검출 방법
KR20100120594A (ko) 2009-05-06 2010-11-16 주식회사 유진로봇 추종기능을 갖는 로봇 및 로봇의 사람 추종 방법
IL200921A (en) 2009-09-14 2016-05-31 Israel Aerospace Ind Ltd A robotic carry system for infantry and useful methods for the above purpose
KR101104544B1 (ko) * 2009-10-12 2012-01-11 금오공과대학교 산학협력단 네트워크 기반 군집로봇의 이동경로 제어 시스템 및 그 방법
US8515580B2 (en) * 2011-06-17 2013-08-20 Microsoft Corporation Docking process for recharging an autonomous mobile device
JP5565385B2 (ja) * 2011-07-16 2014-08-06 株式会社デンソー 車両用無線通信装置および通信システム
JP5760835B2 (ja) * 2011-08-10 2015-08-12 株式会社デンソー 走行支援装置及び走行支援システム
KR20150056115A (ko) 2013-11-14 2015-05-26 (주)바램시스템 양방향 카메라를 이용한 객체 추적 시스템
NL2012485B1 (en) * 2014-03-20 2016-01-18 Lely Patent Nv Method and system for navigating an agricultural vehicle on a land area.
US20160357262A1 (en) * 2015-06-05 2016-12-08 Arafat M.A. ANSARI Smart vehicle
WO2017039546A1 (en) * 2015-09-01 2017-03-09 Cyclect Electrical Engineering Pte Ltd System, method and apparatus for navigating one or more vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030050402A (ko) * 2001-12-18 2003-06-25 엘지전자 주식회사 로봇의 헤드 트랙킹 제어방법
KR20100053220A (ko) * 2008-11-12 2010-05-20 주식회사 대한항공 무인항공기 자동회수 유도 제어 방법
KR20100066952A (ko) * 2008-12-10 2010-06-18 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
KR101475826B1 (ko) * 2013-03-14 2014-12-30 인하대학교 산학협력단 백스테핑 기법을 이용한 선도 추종자 대형제어 장치, 방법 및 이동로봇
KR101486308B1 (ko) * 2013-08-20 2015-02-04 인하대학교 산학협력단 이동 객체를 추종하기 위한 이동로봇 제어 장치, 방법 및 이동로봇

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107160392A (zh) * 2017-05-26 2017-09-15 深圳市天益智网科技有限公司 基于视觉定位和跟随的方法、装置及终端设备和机器人

Also Published As

Publication number Publication date
US20180143640A1 (en) 2018-05-24
KR20170024926A (ko) 2017-03-08
US10775794B2 (en) 2020-09-15
KR101726696B1 (ko) 2017-04-13

Similar Documents

Publication Publication Date Title
WO2017034062A1 (ko) 이동 대상을 이동 로봇이 추종하는 추종 시스템
WO2014107068A1 (en) Method for controlling camera operation based on haptic function and terminal supporting the same
WO2021091021A1 (ko) 화재 검출 시스템
WO2016099052A1 (ko) 시각장애인을 위한 3차원 장애물 안내장치와 이를 이용한 주위 정보 안내시스템 및 그 방법
WO2013115541A1 (ko) 단말기, 영상 통화 제어 서버, 및 이를 이용한 영상 통화 시스템 및 방법
WO2013100239A1 (ko) 스테레오 비전 시스템의 영상처리방법 및 그 장치
WO2012005387A1 (ko) 다중 카메라와 물체 추적 알고리즘을 이용한 광범위한 지역에서의 물체 이동 감시 방법 및 그 시스템
WO2015190798A1 (en) Method and apparatus for generating image data by using region of interest set by position information
WO2014109422A1 (ko) 음성 추적 장치 및 그 제어 방법
WO2017135671A1 (ko) 모바일 기기를 이용한 방송 시스템 및 그 제어 방법
WO2022039323A1 (ko) 이동 물체를 고속으로 추적하고 예측하여 고품질의 영상을 지속적으로 제공하는 카메라의 고속 줌과 포커싱을 위한 장치 및 이를 이용한 카메라의 고속 줌과 포커싱 방법
WO2018092926A1 (ko) 사물 인터넷 기반의 실외형 자가촬영사진지원 카메라 시스템
WO2016003165A1 (ko) 외부 장치를 이용한 방송 데이터 처리 방법 및 장치
WO2016204507A1 (ko) 자율 주행 차량
WO2018092929A1 (ko) 사물 인터넷 기반의 실내형 자가촬영사진지원 카메라 시스템
WO2019054610A1 (ko) 복수의 이미지 센서들을 제어하기 위한 전자 장치 및 방법
WO2014175616A1 (ko) 다중 카메라를 이용한 이미지 합성 장치 및 방법
WO2022050622A1 (ko) 디스플레이장치 및 그 제어방법
WO2013073791A1 (en) Digital photographing apparatus and method of controlling continuous photographing thereof
WO2020230921A1 (ko) 레이저 패턴을 이용하여 이미지 내의 특징을 추출하는 방법 및 이를 적용한 식별장치와 로봇
WO2017217788A2 (ko) 차량 운전 보조 장치 및 방법
WO2022075686A1 (ko) 전자 장치 및 그 동작 방법
WO2017209468A1 (ko) 3차원 입체 효과를 제공하는 크로마키 합성 시스템 및 방법
WO2019004532A1 (ko) 최적 상황 판단 촬상 방법 및 이러한 방법을 수행하는 장치
JP2011114720A (ja) 外部異常検知機能を有するインターホンシステム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15902334

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15580752

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 17/07/2018)

122 Ep: pct application non-entry in european phase

Ref document number: 15902334

Country of ref document: EP

Kind code of ref document: A1