KR20130089403A - Obstacle detection sensor - Google Patents

Obstacle detection sensor Download PDF

Info

Publication number
KR20130089403A
KR20130089403A KR1020120010730A KR20120010730A KR20130089403A KR 20130089403 A KR20130089403 A KR 20130089403A KR 1020120010730 A KR1020120010730 A KR 1020120010730A KR 20120010730 A KR20120010730 A KR 20120010730A KR 20130089403 A KR20130089403 A KR 20130089403A
Authority
KR
South Korea
Prior art keywords
camera
obstacle
laser
unit
distance
Prior art date
Application number
KR1020120010730A
Other languages
Korean (ko)
Other versions
KR101359649B1 (en
Inventor
백상훈
은종호
주성문
이재용
최윤규
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020120010730A priority Critical patent/KR101359649B1/en
Publication of KR20130089403A publication Critical patent/KR20130089403A/en
Application granted granted Critical
Publication of KR101359649B1 publication Critical patent/KR101359649B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02—Testing optical properties
    • G01M11/0242—Testing optical properties by measuring geometrical properties or aberrations
    • G01M11/025—Testing optical properties by measuring geometrical properties or aberrations by determining the shape of the object to be tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination

Abstract

PURPOSE: An obstacle detection sensor is provided to sense obstacles and measure distances to the obstacles with lasers and a camera. CONSTITUTION: An obstacle detection sensor (100) includes a laser unit (120), a camera unit (130), and a control unit (110). The laser unit irradiates linear beams. The camera unit photographs the irradiated linear beams. The control unit controls the operation of the laser unit and the camera unit, measures distances to the obstacles, and senses the existence of the presence of the obstacles based on the photographed images. [Reference numerals] (105) Host; (112) Driving control unit; (114) Distance calculating unit; (116) Determining unit; (118) Image signal transceiving unit; (122) Laser driving unit; (124) Laser; (132) Camera driving unit; (134) Camera

Description

장애물 감지 센서{obstacle detection sensor}Obstacle detection sensor

본 발명은 장애물 감지 센서에 관한 것으로서, 보다 상세하게는, 카메라의 FOV(Field Of View) 상에 라인 형태의 광선의 패턴을 분석하여 장애물의 존재 여부 및 거리를 얻을 수 있는 장애물 감지 센서에 관한 것이다.The present invention relates to an obstacle detection sensor, and more particularly, to an obstacle detection sensor that can obtain the presence and distance of an obstacle by analyzing a pattern of light rays in a line shape on a field of view (FOV) of a camera. .

센서는 온도, 압력, 습도 등 여러 종류의 물리량을 검지, 검출하거나 판별, 계측하는 기능을 갖는 소자로서, 사람의 오감 역할을 하며, 감지한 정보를 정보 처리부에 주로 전기 신호의 형태로 전달하여 판단을 내리게 한다. 최근 산업 분야에서 광범위하게 이용되는 로봇도 주위 환경에 대한 정보를 습득하여 필요한 동작을 수행하는데 이러한 센서를 이용한다. 특히, 선박 선저의 청소를 위한 로봇은 선박 표면에 밀착되어 작업을 수행하며, 이러한 선박의 표면에는 설치된 구조물, 선박 구조상 홈이 패인 부분 등의 장애물이 다양하게 존재한다. 선박 선저의 청소를 위한 로봇이 파손없이 작업을 효과적으로 수행하려면, 로봇의 진행 방향에 있는 장애물을 신속하게 파악하고, 장애물과의 거리를 고려하여 진행 방향을 변경시키는 처리가 필요하다.A sensor is a device that detects, detects, detects, or measures various physical quantities such as temperature, pressure, and humidity, and acts as a five senses of a person, and transmits the detected information mainly to an information processing unit in the form of an electrical signal. Let down. Recently, robots widely used in industrial fields also use these sensors to acquire information about the surrounding environment and perform necessary operations. In particular, the robot for cleaning the ship bottom is in close contact with the surface of the ship to perform the work, there are a variety of obstacles, such as a structure installed in the surface of the vessel, the grooved portion of the vessel structure. In order for the robot for cleaning the ship's bottom to perform the work effectively without damage, it is necessary to quickly grasp the obstacle in the moving direction of the robot and change the traveling direction in consideration of the distance to the obstacle.

현재 수중에서 사용되는 장애물을 감지할 수 있는 센서로는 대표적으로 음파 센서가 있다. 그러나, 음파 센서는 비교적 고가이며, 로봇이 주로 활동하는 수중 환경의 선박 표면에 사용할 경우 음파의 퍼지는 특성으로 인해 정확한 측정이 힘들다는 단점이 있다. 따라서, 보다 정확하게 수중에서도 장애물의 유무 및 장애물과의 거리를 판단할 수 있는 감지 센서가 요구된다.A sensor that can detect obstacles currently used underwater is a sound wave sensor. However, the sound wave sensor is relatively expensive, and when used on the surface of the ship in the underwater environment where the robot is mainly active, there is a disadvantage that accurate measurement is difficult due to the spreading characteristics of the sound wave. Therefore, there is a need for a sensing sensor that can more accurately determine the presence or absence of an obstacle and the distance from the underwater.

본 발명이 이루고자 하는 기술적 과제는 수중 청소 로봇에 이용되는 센서로서 보다 저렴한 비용으로 장애물을 감지할 수 있도록 카메라의 FOV 상에 라인 형태의 광선의 패턴을 분석하여 장애물의 존재 여부 및 거리를 얻을 수 있는 장애물 감지 센서를 제공하는데 있다.The technical problem to be achieved by the present invention is a sensor used for underwater cleaning robot can analyze the pattern of the light of the line form on the FOV of the camera to detect the obstacle at a lower cost to obtain the presence and distance of the obstacle An obstacle detecting sensor is provided.

본 발명의 일 측면에 따르면, 라인 형태의 광선을 조사하는 레이저부; 조사된 상기 라인 형태의 광선을 촬영하는 카메라부; 및 상기 레이저부 및 카메라부의 동작을 제어하고, 상기 촬영된 영상에 기초하여 장애물의 존재 여부의 판단 및 상기 장애물과의 거리를 계산하는 제어부를 포함하되, 상기 제어부는 상기 장애물의 존재 여부를 판단하는 판단부; 상기 장애물과의 거리를 계산하는 거리 계산부; 및 상기 카메라부로부터 영상신호를 수신하여 상기 판단부로 전송하는 영상신호 송수신부를 포함하며, 상기 판단부는 상기 영상신호 송수신부로부터 수신된 상기 영상신호에 기초하여 상기 장애물의 존재 여부를 판단하여 상기 거리 계산부로 판단결과를 전송하는 장애물 감지 센서가 제공된다. According to an aspect of the invention, the laser unit for irradiating a line-shaped light beam; A camera unit for photographing the light of the line shape; And a controller for controlling operations of the laser unit and the camera unit, and determining whether an obstacle exists and calculating a distance from the obstacle based on the captured image, wherein the controller determines whether the obstacle exists. Determination unit; A distance calculator configured to calculate a distance from the obstacle; And a video signal transceiver configured to receive an image signal from the camera unit and transmit the image signal to the determiner, wherein the determiner determines the distance based on the existence of the obstacle based on the image signal received from the image signal transceiver. An obstacle detecting sensor for transmitting a determination result to negative is provided.

상기 판단부는 상기 촬영된 영상의 FOV(Field Of View) 상에서 상기 라인 형태의 광선의 연속성, 상기 라인 형태의 광선의 위치가 상기 카메라의 FOV 상의 종축의 기준 좌표를 벗어나는지 여부 및 상기 라인 형태의 광선의 위치 변화의 속도 중 적어도 하나에 따라 상기 장애물의 존재 여부를 판단할 수 있다. The judging unit may determine whether the continuity of the line-shaped rays, the position of the line-shaped rays deviate from the reference coordinates of the vertical axis on the FOV of the camera, and the line-shaped rays on the field of view (FOV) of the captured image. The presence of the obstacle may be determined according to at least one of the speeds of the position change of the.

상기 레이저부는 라인 형태의 광선을 조사하는 레이저; 및 상기 레이저의 온(On)/오프(Off) 및 상기 레이저를 회전시키는 레이저 구동부를 포함할 수 있다. The laser unit laser for irradiating a line-shaped light beam; And a laser driver configured to turn on / off the laser and rotate the laser.

상기 카메라부는 상기 레이저가 조사한 상기 라인 형태의 광선을 촬영하는 카메라; 및 상기 카메라의 온(On)/오프(Off) 및 상기 카메라를 회전시키는 카메라 구동부를 포함할 수 있다. The camera unit for shooting the line-shaped light beam irradiated by the laser; And a camera driver for turning the camera on and off and rotating the camera.

상기 거리 계산부는 수신된 상기 레이저 및 카메라의 회전정보 및 상기 촬영된 영상의 FOV 상에서 상기 라인 형태의 광선의 정보를 이용해 상기 장애물과의 거리를 계산할 수 있다. The distance calculator may calculate a distance from the obstacle using the received rotation information of the laser and the camera and information of the line-shaped beam on the FOV of the captured image.

본 발명의 다른 일 측면에 따르면 상기 장애물 감지 센서를 탑재한 수중 청소 로봇 장치가 제공된다. According to another aspect of the invention there is provided an underwater cleaning robot device equipped with the obstacle detection sensor.

본 발명의 실시예에 따른 장애물 감지 센서에 의하면, 음파를 이용하면 로봇의 주위 환경에 따라 장애물의 감지가 어려운 경우가 발생할 수도 있고, 카메라의 영상 만으로 장애물의 유무를 판단하기 어려운 수중에서도 라인 형태의 광선을 조사함으로써 레이저와 카메라 만으로 장애물의 감지 및 장애물과의 거리 측정을 수행할 수 있어 보다 정확한 장애물 감지 센서를 제공할 수 있다. According to the obstacle detecting sensor according to the embodiment of the present invention, when the sound wave is used, it may be difficult to detect the obstacle depending on the surrounding environment of the robot, and it is difficult to determine the presence of the obstacle only by the image of the camera. By irradiating light rays, obstacle detection and distance measurement with obstacles can be performed using only a laser and a camera, thereby providing a more accurate obstacle detection sensor.

도 1은 본 발명의 실시예에 따른 장애물 감지 센서의 구성을 나타내는 블록도이다.
도 2는 도 1에 도시된 본 발명의 실시예에 따른 장애물 감지 센서의 동작을 나타내는 흐름도이다.
도 3은 도 2에 도시된 장애물 존재 유무 판단 및 판단결과를 호스트와 거리 계산부로 전송하는 단계 및 장애물과의 거리 계산 및 계산결과를 호스트로 전송하는 단계를 상세히 설명하기 위한 흐름도이다.
도 4 내지 도 6은 본 발명의 실시예에 따른 장애물 감지 센서의 판단부가 카메라의 FOV 상에 장애물의 존재 여부를 판단하기 위한 장애물 발견조건을 설명하기 위한 블록도이다.
도 7 내지 도 8은 본 발명의 실시예에 따른 장애물 감지 센서의 거리 계산부가 카메라의 FOV 상에 장애물과의 거리 계산 결과를 산출하는 방법을 설명하기 위한 블록도이다.1 is a block diagram illustrating a configuration of an obstacle detecting sensor according to an exemplary embodiment of the present invention.
2 is a flowchart illustrating an operation of an obstacle detecting sensor according to an exemplary embodiment of the present invention shown in FIG. 1.
3 is a flowchart for describing in detail the steps of determining whether there is an obstacle present in FIG. 2 and transmitting the result of the determination to the host and the distance calculator and transmitting the distance calculation and the calculation result of the obstacle to the host in detail.
4 to 6 are block diagrams illustrating an obstacle detection condition for determining whether an obstacle exists on the FOV of a camera according to an embodiment of the present invention.
7 to 8 are block diagrams illustrating a method of calculating a distance calculation result of an obstacle on an FOV of a camera by a distance calculator of an obstacle detecting sensor according to an exemplary embodiment of the present invention.

본 명세서 또는 출원에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다.Specific structural and functional descriptions of embodiments according to the concepts of the present invention disclosed in this specification or application are merely illustrative for the purpose of illustrating embodiments in accordance with the concepts of the present invention, The examples may be embodied in various forms and should not be construed as limited to the embodiments set forth herein or in the application.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Embodiments in accordance with the concepts of the present invention can make various changes and have various forms, so that specific embodiments are illustrated in the drawings and described in detail in this specification or application. It should be understood, however, that it is not intended to limit the embodiments according to the concepts of the present invention to specific forms of disclosure, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the present invention.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first and / or second may be used to describe various components, but the components should not be limited by the terms. The terms are intended to distinguish one element from another, for example, without departing from the scope of the invention in accordance with the concepts of the present invention, the first element may be termed the second element, The second component may also be referred to as a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between. Other expressions that describe the relationship between components, such as "between" and "between" or "neighboring to" and "directly adjacent to" should be interpreted as well.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this specification, the terms "comprises ", or" having ", or the like, specify that there is a stated feature, number, step, operation, , Steps, operations, components, parts, or combinations thereof, as a matter of principle.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined herein. Do not.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, the present invention will be described in detail with reference to the preferred embodiments of the present invention with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 장애물 감지 센서의 구성을 나타내는 블록도이다.1 is a block diagram illustrating a configuration of an obstacle detecting sensor according to an exemplary embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 장애물 감지 센서(100)는 제어부(110), 레이저부(120) 및 카메라부(130)를 포함할 수 있다.Referring to FIG. 1, the obstacle detecting sensor 100 according to the exemplary embodiment of the present invention may include a controller 110, a laser unit 120, and a camera unit 130.

제어부(110)는 구동제어부(112), 영상신호 송수신부(118), 판단부(116) 및 거리 계산부(114)를 포함할 수 있다. 구동제어부(112)는 레이저부(120) 및 카메라부(130)의 동작을 제어할 수 있으며, 호스트(105)로부터 센서 제어신호를 수신할 수 있다. 구동제어부(112)는 거리계산에 필요한 레이저 및 카메라 회전정보를 거리 계산부(114)로 전송하며, 레이저부(120) 및 카메라부(130)로 각각 레이저 제어신호 및 카메라 제어신호를 전송할 수 있다. 레이저 제어신호는 레이저(124)를 구동시킬지 여부에 대한 레이저 온(On)/오프(Off) 정보 및 레이저(124)를 회전시킬 각도에 대한 레이저 회전정보를 포함할 수 있다. 또한, 카메라 제어신호는 카메라(134)를 구동시킬지 여부에 대한 카메라 온(On)/오프(Off) 정보 및 카메라(134)를 회전시킬 각도에 대한 카메라 회전정보를 포함할 수 있다. The controller 110 may include a driving controller 112, an image signal transceiver 118, a determiner 116, and a distance calculator 114. The driving controller 112 may control operations of the laser unit 120 and the camera unit 130, and may receive a sensor control signal from the host 105. The driving controller 112 may transmit the laser and camera rotation information necessary for the distance calculation to the distance calculator 114, and may transmit the laser control signal and the camera control signal to the laser unit 120 and the camera unit 130, respectively. . The laser control signal may include laser on / off information on whether to drive the laser 124 and laser rotation information on an angle at which the laser 124 is to be rotated. In addition, the camera control signal may include camera on / off information on whether to drive the camera 134 and camera rotation information on an angle at which the camera 134 is to be rotated.

영상신호 송수신부(118)는 카메라부(130)로부터 영상 신호를 수신하여, 호스트(105) 및 판단부(116)로 영상신호를 전달할 수 있다. 호스트(105)는 수신되는 영상신호로부터 실시간으로 카메라(134)의 FOV(Field Of View)를 모니터링(monitoring) 할 수 있으며, 별도의 제어 명령으로 장애물 감지 센서(100)가 탑재된 로봇의 움직임을 제어할 수 있다. 이러한 로봇의 움직임은 예를 들어 장애물을 회피하여 주행하는 움직임일 수 있다. 판단부(116)는 영상신호 송수신부(118)로부터 영상신호를 수신하여, 영상신호로부터 전방에 장애물이 있는지 여부를 판단하여 판단결과를 생성할 수 있다. 판단결과는 카메라(134)의 FOV 상에 장애물이 존재하는지 여부 및 FOV 상에 존재하는 장애물의 위치정보(X축 및 Y축 정보)를 포함할 수 있다. 판단부(116)는 생성된 판단결과를 호스트(105) 및 거리 계산부(114)로 각각 전송할 수 있다. 거리 계산부(114)는 구동 제어부(112)로부터 레이저(124) 및 카메라(134) 회전정보를 수신하고 판단부(116)로부터 판단결과를 수신하며, 레이저(124) 및 카메라(134) 회전정보 및 판단결과로부터 장애물과의 거리를 계산하여 거리 계산결과를 산출하여 호스트(105)로 전송할 수 있다.The image signal transceiver 118 may receive an image signal from the camera unit 130 and transmit the image signal to the host 105 and the determination unit 116. The host 105 may monitor a field of view (FOV) of the camera 134 in real time from the received image signal, and monitor the movement of the robot equipped with the obstacle detecting sensor 100 by a separate control command. Can be controlled. The movement of the robot may be, for example, a movement to avoid an obstacle. The determination unit 116 may receive the image signal from the image signal transmission / reception unit 118, determine whether there is an obstacle in front of the image signal, and generate a determination result. The determination result may include whether an obstacle exists on the FOV of the camera 134 and position information (X-axis and Y-axis information) of the obstacle existing on the FOV. The determination unit 116 may transmit the generated determination result to the host 105 and the distance calculator 114, respectively. The distance calculator 114 receives the laser 124 and the camera 134 rotation information from the drive controller 112 and receives the determination result from the determination unit 116, and the rotation information of the laser 124 and the camera 134. The distance to the obstacle may be calculated from the determination result, and the distance calculation result may be calculated and transmitted to the host 105.

레이저부(120)는 레이저 구동부(122) 및 레이저(124)를 포함할 수 있다. 레이저 구동부(122)는 구동 제어부(112)로부터 레이저 제어신호를 수신하여 레이저(124) 전원의 온/오프 및 레이저(124)의 각도를 제어할 수 있다. 즉, 레이저 구동부(122)가 레이저(124)의 전원이 오프된 상태에서 레이저(124) 전원을 온 시키는 레이저 제어신호를 수신하면 레이저(124)의 전원을 온 시킬 수 있다. 레이저(124)의 각도는 장애물 감지 센서(100)가 탑재되는 로봇의 특성 및 작동 환경에 따라 결정될 수 있으며, 레이저 구동부(122)는 하나 또는 둘의 모터를 포함할 수 있다. 레이저 구동부(122)에 포함되는 각 모터는 레이저의 종축의 회전(tilt) 또는 횡축의 회전(pan)을 수행할 수 있다. 레이저(124)는 레이저 구동부(122)의 제어에 따라 온/오프될 수 있고 종축 또는 횡축으로 회전할 수 있으며 카메라(134)의 FOV 상에 라인(line) 형태의 광선을 조사할 수 있다.The laser unit 120 may include a laser driver 122 and a laser 124. The laser driver 122 may control the on / off of the power of the laser 124 and the angle of the laser 124 by receiving a laser control signal from the driving controller 112. That is, when the laser driver 122 receives the laser control signal for turning on the power of the laser 124 while the power of the laser 124 is turned off, the power of the laser 124 may be turned on. The angle of the laser 124 may be determined according to the characteristics and operating environment of the robot on which the obstacle detecting sensor 100 is mounted, and the laser driver 122 may include one or two motors. Each motor included in the laser driver 122 may perform a tilt of the longitudinal axis of the laser or a pan of the horizontal axis. The laser 124 may be turned on / off under the control of the laser driver 122, may rotate in the vertical axis or the horizontal axis, and may radiate line-shaped rays on the FOV of the camera 134.

카메라부(130)는 카메라 구동부(132) 및 카메라(134)를 포함할 수 있다. 카메라 구동부(132)는 구동 제어부(112)로부터 카메라 제어신호를 수신하여 카메라(134) 전원의 온/오프 및 카메라(134)의 각도를 제어할 수 있다. 즉, 카메라 구동부(132)가 카메라(134)의 전원이 오프된 상태에서 카메라(134) 전원을 온 시키는 카메라 제어신호를 수신하면 카메라(134)의 전원을 온 시킬 수 있다. 카메라(134)의 각도는 장애물 감지 센서(100)가 탑재되는 로봇의 특성 및 작동 환경에 따라 결정될 수 있으며, 레이저(124)의 각도와 동일하게 결정될 수 있으나 필요에 따라 달리 결정될 수도 있다. 카메라 구동부(132)는 하나 또는 둘의 모터를 포함할 수 있다. 카메라 구동부(132)에 포함되는 각 모터는 카메라(134)의 종축의 회전(tilt) 또는 횡축의 회전(pan)을 수행할 수 있다. 카메라(134)는 카메라 구동부(132)의 제어에 따라 온/오프될 수 있고 종축 또는 횡축으로 회전할 수 있으며, 조사된 레이저(124)를 포함하는 카메라(134)의 FOV를 촬영하여 실시간으로 영상신호를 영상신호 송수신부(118)로 전송할 수 있다.The camera unit 130 may include a camera driver 132 and a camera 134. The camera driver 132 may receive a camera control signal from the driving controller 112 and control the on / off power of the camera 134 and the angle of the camera 134. That is, when the camera driver 132 receives a camera control signal for turning on the power of the camera 134 while the power of the camera 134 is turned off, the camera 134 may turn on the power of the camera 134. The angle of the camera 134 may be determined according to the characteristics and operating environment of the robot on which the obstacle detecting sensor 100 is mounted. The angle of the camera 134 may be determined to be the same as the angle of the laser 124, but may be determined differently as necessary. The camera driver 132 may include one or two motors. Each motor included in the camera driver 132 may perform the rotation of the vertical axis of the camera 134 or the rotation of the horizontal axis. The camera 134 may be turned on / off under the control of the camera driver 132 and may rotate in the vertical or horizontal axis, and capture an FOV of the camera 134 including the irradiated laser 124 to capture an image in real time. The signal may be transmitted to the image signal transceiver 118.

본 발명의 실시예에 따른 장애물 감지 센서(100)에 의하면, 음파를 이용한 센서를 이용하면 환경에 따른 음파의 특성으로 인해 정확한 장애물의 감지가 어렵고, 카메라(134)의 영상 만으로 장애물의 유무를 판단하기 어려운 수중에서도 라인 형태의 광선을 조사함으로써 레이저(124)와 카메라(134) 만으로 장애물의 감지 및 장애물과의 거리 측정을 수행할 수 있어 보다 정확한 장애물 감지 센서(100)를 제공할 수 있다. According to the obstacle detecting sensor 100 according to the embodiment of the present invention, when the sensor using the sound wave is used, it is difficult to accurately detect the obstacle due to the characteristics of the sound wave according to the environment, and the presence or absence of the obstacle is determined only by the image of the camera 134. By irradiating a line-shaped beam of light in the water difficult to do it is possible to perform the detection of the obstacle and the distance measurement with the obstacle only by the laser 124 and the camera 134 can provide a more accurate obstacle detection sensor 100.

도 2는 도 1에 도시된 본 발명의 실시예에 따른 장애물 감지 센서(100)의 동작을 나타내는 흐름도이다. 2 is a flowchart illustrating an operation of the obstacle detecting sensor 100 according to the embodiment of the present invention shown in FIG. 1.

도 1 및 도 2를 참조하면, 구동 제어부(112)는 호스트(105)로부터 센서 제어신호를 수신하여 거리 계산부(114)로 레이저(124) 및 카메라(134) 회전정보를 전송하고, 레이저 구동부(122) 및 카메라 구동부(132)로 각각 레이저 제어신호 및 카메라 제어신호를 전송할 수 있다. 레이저 제어신호는 레이저(124)를 구동시킬지 여부에 대한 레이저 온(On)/오프(Off) 정보 및 레이저(124)를 회전시킬 각도에 대한 레이저 회전정보를 포함할 수 있다. 또한, 카메라 제어신호는 카메라(134)를 구동시킬지 여부에 대한 카메라(134) 온(On)/오프(Off) 정보 및 카메라(134)를 회전시킬 각도에 대한 카메라 회전정보를 포함할 수 있다. 레이저(124)가 장애물 감지 센서(100)가 탑재되는 로봇의 특성 및 작동 환경에 따라 레이저(124)의 회전이 필요한 경우 레이저 구동부(122)는 레이저 제어신호에 따라 일정 각도로 레이저(124)를 회전할 수 있다. 마찬가지로, 카메라(134)가 장애물 감지 센서(100)가 탑재되는 로봇의 특성, 작동 환경 및 레이저(124)의 회전 각도에 따라 카메라(134)의 회전이 필요한 경우 카메라 구동부(132)는 카메라 제어신호에 따라 일정 각도로 카메라(134)를 회전할 수 있다. 레이저(124) 및 카메라(134)의 회전이 충분하지 못한 경우 상기 과정을 반복하여 요구되는 위치로 레이저(124) 및 카메라(134)를 회전할 수 있다(S210, S220). 상기 S210, S220 단계는 반드시 필요한 단계는 아니며, 레이저(124) 및 카메라(134)의 회전이 필요하지 않은 경우 생략될 수 있다.1 and 2, the driving controller 112 receives a sensor control signal from the host 105 and transmits the laser 124 and the camera 134 rotation information to the distance calculator 114, and the laser driver. The laser control signal and the camera control signal may be transmitted to the 122 and the camera driver 132, respectively. The laser control signal may include laser on / off information on whether to drive the laser 124 and laser rotation information on an angle at which the laser 124 is to be rotated. In addition, the camera control signal may include camera 134 on / off information on whether to drive the camera 134 and camera rotation information on an angle at which the camera 134 is to be rotated. When the laser 124 requires rotation of the laser 124 according to the characteristics and operating environment of the robot on which the obstacle detecting sensor 100 is mounted, the laser driver 122 may operate the laser 124 at an angle according to the laser control signal. Can rotate Similarly, when the camera 134 is required to rotate the camera 134 according to the characteristics of the robot on which the obstacle detecting sensor 100 is mounted, the operating environment, and the rotation angle of the laser 124, the camera driver 132 may provide a camera control signal. The camera 134 may be rotated at a predetermined angle. When the rotation of the laser 124 and the camera 134 is not sufficient, the process may be repeated to rotate the laser 124 and the camera 134 to the required position (S210 and S220). The steps S210 and S220 are not necessarily required and may be omitted when the rotation of the laser 124 and the camera 134 is not necessary.

레이저(124) 및 카메라(134)가 필요한 각도로 회전을 마친 경우 카메라(134)는 레이저(124)가 조사하는 광선을 포함하는 영상을 촬영하여 영상신호 송수신부(118)로 영상신호를 전송할 수 있다. 영상신호 송수신부(118)는 수신된 영상신호를 즉시 호스트(105) 및 판단부(116)로 전송할 수 있다(S230).When the laser 124 and the camera 134 have finished rotating the required angle, the camera 134 may capture an image including the light beam emitted by the laser 124 and transmit the image signal to the image signal transceiver 118. have. The video signal transceiver 118 may immediately transmit the received video signal to the host 105 and the determination unit 116 (S230).

판단부(116)는 수신된 영상신호를 기초로 카메라(134)의 FOV 상에 장애물이 존재하는지 여부를 판단할 수 있고, 그 판단결과를 호스트(105) 및 거리 계산부(114)로 전송할 수 있다(S240). 판단부(116)가 장애물이 존재한다고 판단한 경우, 거리 계산부(114)는 판단결과에 포함된 카메라(134)의 FOV 상에 존재하는 장애물의 위치정보(X축 및 Y축 정보)를 기초로 장애물과의 거리를 계산하여 그 계산결과를 호스트(105)로 전송할 수 있다(S250).The determination unit 116 may determine whether an obstacle exists on the FOV of the camera 134 based on the received image signal, and transmit the determination result to the host 105 and the distance calculator 114. There is (S240). When the determination unit 116 determines that an obstacle exists, the distance calculation unit 114 based on the position information (X-axis and Y-axis information) of the obstacle existing on the FOV of the camera 134 included in the determination result. The distance from the obstacle may be calculated and the calculation result may be transmitted to the host 105 (S250).

도 3은 도 2에 도시된 장애물 존재 유무 판단 및 판단결과를 호스트와 거리 계산부로 전송하는 단계(S240) 및 장애물과의 거리 계산 및 계산결과를 호스트로 전송하는 단계(S250)를 상세히 설명하기 위한 흐름도이다.3 is a view illustrating in detail an operation of determining whether an obstacle exists in FIG. 2 and transmitting a result of the determination to the host and the distance calculating unit (S240) and transmitting a distance calculation and the calculation result of the obstacle to the host (S250). It is a flow chart.

도 1 내지 도 3을 참조하면, 카메라(134)는 카메라(134)의 FOV의 영상을 영상신호 송수신부(118)로 전송하며, 영상신호 송수신부(118)는 판단부(116)로 영상신호를 전달한다. 판단부(116)는 수신된 영상신호를 분석하여 카메라(134)의 FOV 상에 장애물이 존재하는지 여부를 판단하여 판단결과를 생성할 수 있다. 즉, 판단부(116)는 레이저(124)에 의해 조사된 라인 형태의 광선을 분석하여 후술할 장애물 발견조건을 만족하는지에 따라 판단결과를 생성할 수 있다(S242). 판단부(116)는 생성된 판단결과를 호스트(105) 및 거리 계산부(114)로 전송할 수 있다(S244). 판단결과는 카메라(134)의 FOV(Field Of View) 상에 장애물이 존재하는지 여부 및 FOV 상에 존재하는 장애물의 위치정보(X축 및 Y축 정보)를 포함할 수 있다. 1 to 3, the camera 134 transmits an image of the FOV of the camera 134 to the image signal transceiver 118, and the image signal transceiver 118 transmits the image signal to the determination unit 116. To pass. The determination unit 116 may analyze the received image signal to determine whether an obstacle exists on the FOV of the camera 134 and generate a determination result. That is, the determination unit 116 may analyze the light beam of the line shape irradiated by the laser 124 to generate a determination result according to whether an obstacle detection condition to be described below is satisfied (S242). The determination unit 116 may transmit the generated determination result to the host 105 and the distance calculator 114 (S244). The determination result may include whether an obstacle exists on the field of view (FOV) of the camera 134 and location information (X-axis and Y-axis information) of the obstacle existing on the FOV.

판단부(116)가 카메라(134)의 FOV 상에 장애물이 존재한다고 판단한 경우 즉, 호스트(105) 및 거리 계산부(114)가 장애물이 존재한다는 정보를 포함하는 판단결과를 수신한 경우 호스트(105)는 별도의 제어명령으로 장애물 감지 센서(100)가 탑재된 로봇의 움직임을 제어할 수 있다. 또한, 수신된 판단결과를 기초로 거리 계산부(114)는 장애물과의 거리를 계산하여 계산결과를 산출할 수 있다(S252, S254). 산출된 계산결과는 거리 계산부(114)에 의해 호스트로 전송될 수 있다(S256).When the determination unit 116 determines that an obstacle exists on the FOV of the camera 134, that is, when the host 105 and the distance calculating unit 114 receive a determination result including information that the obstacle exists, the host ( 105 may control the movement of the robot on which the obstacle detection sensor 100 is mounted as a separate control command. In addition, based on the received determination result, the distance calculation unit 114 may calculate the calculation result by calculating the distance to the obstacle (S252 and S254). The calculated calculation result may be transmitted to the host by the distance calculator 114 (S256).

도 4 내지 도 6은 본 발명의 실시예에 따른 장애물 감지 센서의 판단부(116)가 카메라(134)의 FOV 상에 장애물의 존재 여부를 판단하기 위한 장애물 발견조건을 설명하기 위한 블록도이다.4 to 6 are block diagrams illustrating an obstacle detection condition for determining whether an obstacle exists on the FOV of the camera 134 by the determination unit 116 of the obstacle detecting sensor according to the exemplary embodiment of the present invention.

도 4를 참조하면, 카메라(134) 위에 레이저(124)가 위치하며 카메라(134)의 FOV(410) 안에 라인 형태의 광선(420)이 위치할 수 있도록 레이저(124)가 빛을 조사한다. 레이저(124) 및 카메라(134)의 각도는 장애물 감지 센서(100)가 탑재되는 로봇의 특성 및 작동 환경에 따라 호스트(105)의 센서 제어신호에 따라 결정될 수 있으며, 도 4에 도시된 바와 같이 카메라(134) 위에 레이저(124)가 위치할 수 있으나 이에 한정된 것은 아니다. 카메라(134)의 FOV(410) 상에 라인 형태의 광선(420)이 존재하며, 판단부(116)가 카메라(134)의 FOV(410)를 장애물 발견조건에 따라 분석하면 장애물의 존재 여부를 판단할 수 있다. Referring to FIG. 4, the laser 124 irradiates light so that the laser 124 is positioned on the camera 134 and the line-shaped ray 420 is located in the FOV 410 of the camera 134. The angles of the laser 124 and the camera 134 may be determined according to the sensor control signal of the host 105 according to the characteristics and operating environment of the robot on which the obstacle detecting sensor 100 is mounted, as shown in FIG. 4. The laser 124 may be positioned on the camera 134, but is not limited thereto. A line of light 420 is present on the FOV 410 of the camera 134, and when the determination unit 116 analyzes the FOV 410 of the camera 134 according to the obstacle detection condition, it is determined whether there is an obstacle. You can judge.

장애물 발견조건은 라인 형태의 광선(420)의 연속성, 라인 형태의 광선(420)의 위치가 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)를 벗어나는지 여부 및 라인 형태의 광선(420)의 위치 변화의 속도에 따라 결정될 수 있다. 즉, 판단부(116)는 라인 형태의 광선(420)이 연속되지 않고 끊어지는 부분이 존재할 경우, 그 부분의 카메라(134)의 FOV(410) 상의 횡축의 좌표에서부터 장애물이 존재한다고 판단할 수 있다. 레이저(124) 및 카메라(134)의 회전이 완료된 후 영상신호 송수신부(118)로부터 수신된 영상신호로부터 판단부(116)는 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)를 결정할 수 있고, 기준 좌표(421)로부터 라인 형태의 광선(420)의 위치가 일정 오차 범위를 벗어나는 경우에도 그에 대응하는 횡축의 좌표에 장애물이 존재한다고 판단할 수 있다. 또한, 라인 형태의 광선(421)이 카메라(134)의 FOV(410) 상의 종축 상의 위치 변화가 급격히 이루어 지는 경우에도 그에 대응하는 횡축의 좌표에 장애물이 존재한다고 판단할 수 있다.Obstacle detection conditions include the continuity of the line-shaped ray 420, whether the position of the line-shaped ray 420 deviates from the reference coordinate 421 of the longitudinal axis on the FOV 410 of the camera 134, and the line-shaped ray May be determined according to the rate of change of position of 420. That is, the determination unit 116 may determine that an obstacle exists from the coordinates of the horizontal axis on the FOV 410 of the camera 134 of the portion when the line-shaped ray 420 is not continuous and is broken. have. After the rotation of the laser 124 and the camera 134 is completed, the determination unit 116 from the image signal received from the image signal transmission / reception unit 118 is a reference coordinate 421 of the longitudinal axis on the FOV 410 of the camera 134. When the position of the light ray 420 in the form of a line is out of a certain error range from the reference coordinate 421, it may be determined that an obstacle exists in the coordinate of the horizontal axis corresponding thereto. In addition, even when the line-shaped light ray 421 suddenly changes its position on the vertical axis of the FOV 410 of the camera 134, it may be determined that an obstacle exists in the coordinate of the horizontal axis corresponding thereto.

도 5를 참조하면, 도 4와 달리 장애물 감지 센서가 탑재된 로봇의 이동 경로의 평면 상에 볼록 형태의 장애물(430)이 카메라(134)의 FOV(410) 상의 우측에 존재하는 경우의 카메라(134)의 FOV(410)를 볼 수 있다. 라인 형태의 광선(420')은 카메라(134)의 FOV(410) 상의 횡축의 제1 좌표(422)에서 연속되지 않고 끊어지는 것을 볼 수 있으므로, 판단부(116)는 제1 좌표(422)가 장애물(430)이 존재하는 경계가 된다고 판단할 수 있다. 또한, 제1 좌표(422)의 우측에 있는 라인 형태의 광선은 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)에서 벗어난 제2 좌표(423)에 위치하므로, 제1 좌표(422)의 우측에 대응하는 횡축의 좌표에 장애물(430)이 존재한다고 판단할 수 있다. 제2 좌표(423)는 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)의 상부에 위치하는바 장애물 감지 센서(100)가 탑재된 로봇의 이동 경로의 평면에서 볼록한 형태의 장애물(430)이 존재함을 알 수 있다.Referring to FIG. 5, unlike FIG. 4, when the convex obstacle 430 is present on the right side of the FOV 410 of the camera 134 on the plane of the movement path of the robot equipped with the obstacle detecting sensor ( View FOV 410 of 134. Since the ray 420 ′ in the form of a line is seen to be broken without being continuous at the first coordinate 422 of the horizontal axis on the FOV 410 of the camera 134, the determination unit 116 determines the first coordinate 422. May be determined to be a boundary at which the obstacle 430 exists. Further, since the ray in the form of a line on the right side of the first coordinate 422 is located at the second coordinate 423 deviating from the reference coordinate 421 of the vertical axis of the camera 134 on the FOV 410, the first coordinate ( It may be determined that the obstacle 430 exists in the coordinates of the horizontal axis corresponding to the right side of 422. The second coordinate 423 is located above the reference coordinate 421 of the longitudinal axis on the FOV 410 of the camera 134, and the obstacle of the convex shape in the plane of the movement path of the robot on which the obstacle detecting sensor 100 is mounted. It can be seen that 430 exists.

도 6을 참조하면, 도 5와 달리 장애물 감지 센서(100)가 탑재된 로봇의 이동 경로의 평면 상에 오목 형태의 장애물(440)이 카메라(134)의 FOV(410) 상의 중앙에 존재하는 경우의 카메라(134)의 FOV(410)를 볼 수 있다. 라인 형태의 광선(420'')은 카메라(134)의 FOV(410) 상의 횡축의 제3 좌표(424) 및 제4 좌표(425)에서 연속되지 않고 끊어지는 것을 볼 수 있으므로, 판단부(116)는 제3 좌표(424) 및 제4 좌표(425)가 장애물(440)이 존재하는 경계가 된다고 판단할 수 있다. 또한, 제3 좌표(424) 및 제4 좌표(425)의 사이에 있는 라인 형태의 광선은 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)에서 벗어난 제5 좌표(426)에 위치하므로, 제3 좌표(424) 및 제4 좌표(425)의 사이에 대응하는 횡축의 좌표에 장애물(440)이 존재한다고 판단할 수 있다. 제5 좌표(426)는 카메라(134)의 FOV(410) 상의 종축의 기준 좌표(421)의 하부에 위치하는바 장애물 감지 센서(100)가 탑재된 로봇의 이동 경로의 평면에서 오목한 형태의 장애물(440)이 존재함을 알 수 있다.Referring to FIG. 6, unlike FIG. 5, a concave obstacle 440 exists in the center of the FOV 410 of the camera 134 on the plane of the movement path of the robot on which the obstacle detecting sensor 100 is mounted. FOV 410 of the camera 134 can be seen. Since the ray 420 ″ in the form of a line can be seen to be broken without being continuous at the third coordinate 424 and the fourth coordinate 425 of the horizontal axis on the FOV 410 of the camera 134, the determination unit 116. ) May determine that the third coordinate 424 and the fourth coordinate 425 are the boundaries at which the obstacle 440 exists. In addition, a ray in the form of a line between the third coordinate 424 and the fourth coordinate 425 is located at the fifth coordinate 426 deviating from the reference coordinate 421 of the longitudinal axis on the FOV 410 of the camera 134. Since it is located, it may be determined that the obstacle 440 exists at the coordinate of the horizontal axis corresponding to the third coordinate 424 and the fourth coordinate 425. The fifth coordinate 426 is located below the reference coordinate 421 of the longitudinal axis on the FOV 410 of the camera 134 and is an obstacle concave in the plane of the movement path of the robot on which the obstacle detecting sensor 100 is mounted. It can be seen that 440 exists.

도 7 내지 도 8은 도 1에 도시된 본 발명의 실시예에 따른 장애물 감지 센서(100)의 거리 계산부(114)가 카메라(134)의 FOV(410) 상에 장애물과의 거리 계산 결과를 산출하는 방법을 설명하기 위한 블록도이다.7 to 8 illustrate a result of distance calculation with the obstacle on the FOV 410 of the camera 134 by the distance calculator 114 of the obstacle detecting sensor 100 shown in FIG. 1. It is a block diagram for demonstrating the calculation method.

도 7을 참조하여, 장애물이 없는 경우에 거리 계산부(114)가 카메라(134)와 라인 형태의 광선이 지면과 만나는 점 사이의 거리를 산출하는 방법을 설명하기로 한다. 카메라(134)의 FOV(410)의 상부가 지면과 만나는 점은 yR , 영상에서의 물체들에 대한 투영점이 되는 지점은 yvp, 레이저(124)가 조사하는 라인 형태의 광선이 지면과 만나는 점은 yl , 카메라(134)의 캘리브레이션을 위한 두 점을 각각 y0 및 y1, 좌표축 상의 원점은 0 이라 정의한다. 카메라(134)의 영상에서 얻을 수 있는 정보는 FOV(410) 상에서 원점을 기준으로 라인 형태의 광선과의 거리에 대한 정보를 얻을 수 있으며, 이 값을 yl' 로 정의할 수 있다. 장애물과의 거리 계산에 앞서 카메라 캘리브레이션이 선행되어야 하며, 실제 거리를 알고 있는 y0 및 y1 사이의 거리인 dw 가 카메라(134)의 FOV(410)에서는 몇 픽셀(Pixcel)로 나타나는가로부터 카메라 캘리브레이션을 행할 수 있다. 카메라(134)의 FOV(410) 상에서 원점과 라인 형태의 광선 사이의 거리 y 로부터 원점과의 실제 거리인 yl을 구하는 식은 수학식 1과 같다.Referring to FIG. 7, a method of calculating the distance between the point where the distance calculator 114 meets the ground with the camera 134 and the line in the absence of an obstacle will be described. The point where the upper portion of the FOV 410 of the camera 134 meets the ground is y R , and the point that is the projection point for the objects in the image is y vp , and the line-shaped ray irradiated by the laser 124 meets the ground. Points are y l , y 0 for calibration of camera 134 And y 1 , the origin on the coordinate axis is defined as 0. Information obtained from the image of the camera 134 can obtain information about the distance to the line-shaped light ray on the FOV 410 with respect to the origin, and this value is y l ' . Before calibrating the distance to the obstacle, camera calibration must be preceded and y 0 knowing the actual distance. And y 1 Distance between d w In the FOV 410 of the camera 134, camera calibration can be performed from how many pixels (Pixcel) appears. Equation 1 for obtaining the actual distance y 1 from the origin from the distance y between the origin and the line-shaped light rays on the FOV 410 of the camera 134 is shown in Equation 1.

Figure pat00001
Figure pat00001

수학식 1에서 yw .R, D1 ,0 및 D0 은 다음과 같은 수학식 2 내지 수학식 4로부터 계산할 수 있다.In Equation 1, y w .R , D 1 , 0 and D 0 may be calculated from Equations 2 to 4 as follows.

Figure pat00002
Figure pat00002

Figure pat00003
Figure pat00003

Figure pat00004
Figure pat00004

이와 같이 거리 계산부(114)는 구동 제어부(112)로부터 레이저(124) 및 카메라(134) 회전정보를 수신하여 카메라(134)와 yvp 간의 거리를 계산할 수 있고, 카메라 캘리브레이션 결과를 이용해 yvp를 구할 수 있으며, 수학식 1 내지 수학식 4로부터 원점으로부터 라인 형태의 광선까지의 거리인 yl을 계산하여 결국 카메라(134)와 라인 형태의 광선까지의 거리를 산출하여 호스트로 전송할 수 있다.As such, the distance calculator 114 receives the laser 124 and the camera 134 rotation information from the drive controller 112 and y vp with the camera 134. The distance between the two can be calculated, and the y vp can be obtained using the camera calibration result, and from the equations (1) to (4), the distance y l , which is the distance from the origin to the ray in the form of a line, is calculated. Calculate the distance to the ray of light and send it to the host.

도 8을 참조하여, 장애물(430)이 있는 경우에 거리 계산부(114)가 카메라(134)와 볼록 형태의 장애물(430) 사이의 거리를 산출하는 방법을 설명하기로 한다. 도 7과 마찬가지로 카메라(134)의 FOV(410)의 상부가 지면과 만나는 점은 yR, 영상에서의 물체들에 대한 투영점이 되는 지점은 yvp, 좌표축 상의 원점은 0 이라 정의한다. 또한, 카메라(134)와 지면 사이의 높이는 hc, 카메라(134)와 원점사이의 거리는 dk, 라인 형태의 광선과 장애물(430)이 만나는 점의 높이는 ho, 카메라(134)의 FOV(410) 상에서 라인 형태의 광선과 장애물(430)이 만나는 점의 높이는 ho', 원점과 장애물(430)과의 사이의 거리는 yo로 각각 정의한다. 카메라(134)의 FOV(410) 상에서 원점과 라인 형태의 광선이 장애물(430)과 만나는 점 사이의 거리 ho'로부터 원점과의 실제 거리인 yo을 구하는 식은 수학식 5와 같다.Referring to FIG. 8, a method of calculating the distance between the camera 134 and the convex obstacle 430 when the obstacle 430 is present will be described. As shown in FIG. 7, the point where the upper portion of the FOV 410 of the camera 134 meets the ground is defined as y R, the point that becomes the projection point for the objects in the image is y vp , and the origin on the coordinate axis is 0. In addition, the height between the camera 134 and the ground is h c , the distance between the camera 134 and the origin is d k , the height of the point where the line-shaped ray and the obstacle 430 meet is h o , the FOV of the camera 134 ( The height of the point where the line-shaped ray meets the obstacle 430 on 410 is defined as h o ', and the distance between the origin and the obstacle 430 is defined as y o , respectively. Equal to the FOV (410) reference point and the line form of the light is an obstacle (430) and the distance h o street-level expression of equation (5) to obtain the y o and the reference point from the 'between points on the meeting of the camera 134.

Figure pat00005
Figure pat00005

수학식 5에서 d'w 및 y'w .R은 다음과 같은 수학식 6 및 수학식 7로부터 계산할 수 있다.In Equation 5 d 'w and y' .R w it can be calculated from the following equation 6 and equation 7 as.

Figure pat00006
Figure pat00006

Figure pat00007
Figure pat00007

이와 같이 거리 계산부(114)는 구동 제어부(112)로부터 레이저(124) 및 카메라(134) 회전정보를 수신하여 카메라(134)와 yvp 간의 거리를 계산할 수 있고, 카메라 캘리브레이션 결과를 이용해 yvp를 구하여 dk를 구할 수 있으며, 수학식 5 내지 수학식 7로부터 원점으로부터 장애물(430)까지의 거리인 yo을 계산하여 결국 카메라(134)와 장애물(430)까지의 거리를 산출하여 호스트(105)로 전송할 수 있다.As such, the distance calculator 114 receives the laser 124 and the camera 134 rotation information from the drive controller 112 and y vp with the camera 134. Distance can be calculated, and the camera calibration result can be used to obtain y vp to obtain d k , and calculate the distance y o , which is the distance from the origin to the obstacle 430 from Equation 5 to Equation 7, and finally the camera 134. ) And the distance to the obstacle 430 may be calculated and transmitted to the host 105.

이상 도 4 내지 도 8을 참조하여 설명한 장애물 발견조건과 장애물과의 거리 계산은 횡축 방향의 라인 레이저를 이용하는 것으로 설명하였지만, 종축 방향의 라인 레이저를 이용하는 경우에도 마찬가지로 계산할 수 있다. 더 나아가, 횡축 방향의 라인 레이저와 종축 방향의 라인 레이저를 동시에 이용하는 경우에도 마찬가지이다. Although the above-described obstacle discovery condition and distance calculation with the obstacles described with reference to FIGS. 4 to 8 have been described as using the line laser in the horizontal axis direction, the calculation can be similarly performed in the case of using the line laser in the longitudinal axis direction. The same applies to the case where the line laser in the horizontal axis direction and the line laser in the vertical axis direction are used simultaneously.

본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the appended claims. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

장애물 감지 센서(100)
제어부(110)
레이저부(120)
카메라부(130)
거리 계산부(114)
판단부(116)Obstacle Sensing Sensor (100)
Control unit 110
Laser part 120
Camera unit 130
Distance calculator 114
Determination unit 116

Claims (6)

라인 형태의 광선을 조사하는 레이저부;
조사된 상기 라인 형태의 광선을 촬영하는 카메라부; 및
상기 레이저부 및 카메라부의 동작을 제어하고, 상기 촬영된 영상에 기초하여 장애물의 존재 여부의 판단 및 상기 장애물과의 거리를 계산하는 제어부를 포함하되,
상기 제어부는
상기 장애물의 존재 여부를 판단하는 판단부;
상기 장애물과의 거리를 계산하는 거리 계산부; 및
상기 카메라부로부터 영상신호를 수신하여 상기 판단부로 전송하는 영상신호 송수신부를 포함하며,
상기 판단부는 상기 영상신호 송수신부로부터 수신된 상기 영상신호에 기초하여 상기 장애물의 존재 여부를 판단하여 상기 거리 계산부로 판단결과를 전송하는 장애물 감지 센서.A laser unit for irradiating line-shaped light rays;
A camera unit for photographing the light of the line shape; And
And a controller for controlling operations of the laser unit and the camera unit, determining whether an obstacle exists and calculating a distance to the obstacle based on the captured image.
The control unit
Determination unit for determining the presence of the obstacle;
A distance calculator configured to calculate a distance from the obstacle; And
A video signal transceiver for receiving an image signal from the camera unit and transmitting the video signal to the determination unit;
The determination unit determines the presence of the obstacle on the basis of the video signal received from the image signal transmission and reception unit for detecting the obstacle to the distance calculation unit. 제1항에 있어서,
상기 판단부는
상기 촬영된 영상의 FOV(Field Of View) 상에서 상기 라인 형태의 광선의 연속성, 상기 라인 형태의 광선의 위치가 상기 카메라의 FOV 상의 종축의 기준 좌표를 벗어나는지 여부 및 상기 라인 형태의 광선의 위치 변화의 속도 중 적어도 하나에 따라 상기 장애물의 존재 여부를 판단하는 장애물 감지 센서.The method of claim 1,
The determination unit
The continuity of the line-shaped rays on the field of view (FOV) of the photographed image, whether the position of the line-shaped rays deviates from the reference coordinates of the longitudinal axis on the FOV of the camera, and the positional change of the line-shaped rays Obstacle detection sensor for determining the presence of the obstacle in accordance with at least one of the speed. 제2항에 있어서,
상기 레이저부는
라인 형태의 광선을 조사하는 레이저; 및
상기 레이저의 온(On)/오프(Off) 및 상기 레이저를 회전시키는 레이저 구동부를 포함하는 장애물 감지 센서.The method of claim 2,
The laser unit
A laser for irradiating light in the form of lines; And
Obstacle detection sensor including a laser driver for rotating the laser (On) / Off (Off) of the laser. 제3항에 있어서,
상기 카메라부는
상기 레이저가 조사한 상기 라인 형태의 광선을 촬영하는 카메라; 및
상기 카메라의 온(On)/오프(Off) 및 상기 카메라를 회전시키는 카메라 구동부를 포함하는 장애물 감지 센서.The method of claim 3,
The camera unit
A camera for photographing the line-shaped rays irradiated by the laser; And
On / Off (Off) of the camera and the obstacle detection sensor including a camera driver for rotating the camera. 제4항에 있어서,
상기 거리 계산부는
수신된 상기 레이저 및 카메라의 회전정보 및 상기 촬영된 영상의 FOV 상에서 상기 라인 형태의 광선의 정보를 이용해 상기 장애물과의 거리를 계산하는 장애물 감지 센서.5. The method of claim 4,
The distance calculator
Obstacle detection sensor for calculating the distance to the obstacle using the information on the line-shaped beam on the FOV of the laser image and the camera and the received image. 제1항 내지 제5항 중 어느 한 항에 기재된 상기 장애물 감지 센서를 탑재한 수중 청소 로봇 장치.


The underwater cleaning robot apparatus equipped with the said obstacle detection sensor in any one of Claims 1-5.


KR1020120010730A 2012-02-02 2012-02-02 obstacle detection sensor KR101359649B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120010730A KR101359649B1 (en) 2012-02-02 2012-02-02 obstacle detection sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120010730A KR101359649B1 (en) 2012-02-02 2012-02-02 obstacle detection sensor

Publications (2)

Publication Number Publication Date
KR20130089403A true KR20130089403A (en) 2013-08-12
KR101359649B1 KR101359649B1 (en) 2014-02-05

Family

ID=49215313

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120010730A KR101359649B1 (en) 2012-02-02 2012-02-02 obstacle detection sensor

Country Status (1)

Country Link
KR (1) KR101359649B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475210B1 (en) * 2013-10-16 2014-12-30 삼성중공업 주식회사 Appraratus for simulation of vitural robot
CN108104178A (en) * 2017-11-24 2018-06-01 上海斌瑞检测技术服务有限公司 For underwater piling bar surface appearance detecting system and its detection method in muddy waters
CN110109147A (en) * 2019-06-05 2019-08-09 东莞市光劲光电有限公司 A kind of laser locating apparatus and the laser positioning method using it
CN114228704A (en) * 2021-12-02 2022-03-25 合肥晟泰克汽车电子股份有限公司 Obstacle detection control system and detection method thereof
KR20220059719A (en) * 2020-11-03 2022-05-10 포항공과대학교 산학협력단 Apparatus for scanning objects in water and method for scanning objects in water by using the same

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496754B2 (en) * 2000-11-17 2002-12-17 Samsung Kwangju Electronics Co., Ltd. Mobile robot and course adjusting method thereof
KR20090104226A (en) * 2008-03-31 2009-10-06 주식회사 신한은행 System and Method Managing Gold Accumulated Goods and Program Recording Medium
KR100901311B1 (en) 2009-03-13 2009-06-05 국방과학연구소 Autonomous mobile platform
KR101089276B1 (en) * 2010-05-10 2011-12-02 주식회사 제일메디칼코퍼레이션 Handpiece

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101475210B1 (en) * 2013-10-16 2014-12-30 삼성중공업 주식회사 Appraratus for simulation of vitural robot
CN108104178A (en) * 2017-11-24 2018-06-01 上海斌瑞检测技术服务有限公司 For underwater piling bar surface appearance detecting system and its detection method in muddy waters
CN108104178B (en) * 2017-11-24 2019-09-10 上海斌瑞检测技术服务有限公司 For piling bar surface appearance detection system underwater in muddy waters and its detection method
CN110109147A (en) * 2019-06-05 2019-08-09 东莞市光劲光电有限公司 A kind of laser locating apparatus and the laser positioning method using it
KR20220059719A (en) * 2020-11-03 2022-05-10 포항공과대학교 산학협력단 Apparatus for scanning objects in water and method for scanning objects in water by using the same
CN114228704A (en) * 2021-12-02 2022-03-25 合肥晟泰克汽车电子股份有限公司 Obstacle detection control system and detection method thereof
CN114228704B (en) * 2021-12-02 2023-08-22 合肥晟泰克汽车电子股份有限公司 Obstacle detection control system and detection method thereof

Also Published As

Publication number Publication date
KR101359649B1 (en) 2014-02-05

Similar Documents

Publication Publication Date Title
US20200208970A1 (en) Method and device for movable object distance detection, and aerial vehicle
US11320536B2 (en) Imaging device and monitoring device
US10378889B2 (en) Measurement system having a cooperative robot and three-dimensional imager
KR101359649B1 (en) obstacle detection sensor
US20140078519A1 (en) Laser Scanner
RU2015141333A (en) SYSTEMS AND METHODS OF TRACKING THE LOCATION OF A MOBILE TARGET OBJECT
JP5650942B2 (en) Inspection system and inspection method
JP2008275606A (en) Object recognition apparatus for recognizing autonomous mobile object
JPH07281753A (en) Moving robot
JP2009050936A (en) Interference determination device and leg wheel type robot
KR20170142379A (en) Apparatus for detect dimensional welding line of welding robot using image processing
JP2007275952A (en) Non-contact automatic method for detecting welding line and apparatus therefor
KR20220146617A (en) Method and apparatus for detecting blooming in lidar measurements
KR20140005516A (en) Shape measuring apparatus
JP2011179886A (en) Device and method for detecting obstacle
CN105929819B (en) Method for controlling electronic equipment and electronic equipment
JP4849013B2 (en) Vehicle periphery monitoring device
JP2009104363A (en) Object identification device
JP2005331353A (en) Positioning system and positioning method
JP2000123298A (en) Detector of obstacle position and detection method for the same
CN114355938A (en) Obstacle measuring method of sweeping robot and sweeping robot
JP5530771B2 (en) System and method for detecting turning angle, direction, and position of moving object
US9587950B2 (en) Carrier
KR101436097B1 (en) Non-Contacting Method for Measuring 6-DOF Motion Based on Laser Sensor
KR102484298B1 (en) An inspection robot of pipe and operating method of the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 7