KR20130123990A - Apparatus and method for controlling a cleaning robot - Google Patents

Apparatus and method for controlling a cleaning robot Download PDF

Info

Publication number
KR20130123990A
KR20130123990A KR1020120047556A KR20120047556A KR20130123990A KR 20130123990 A KR20130123990 A KR 20130123990A KR 1020120047556 A KR1020120047556 A KR 1020120047556A KR 20120047556 A KR20120047556 A KR 20120047556A KR 20130123990 A KR20130123990 A KR 20130123990A
Authority
KR
South Korea
Prior art keywords
image
cleaning
cleaning robot
state
unit
Prior art date
Application number
KR1020120047556A
Other languages
Korean (ko)
Other versions
KR101444387B1 (en
Inventor
최윤규
김병철
백상훈
서현우
윤지원
이동훈
이인호
이재용
정태일
정희용
최두진
Original Assignee
삼성중공업 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성중공업 주식회사 filed Critical 삼성중공업 주식회사
Priority to KR1020120047556A priority Critical patent/KR101444387B1/en
Publication of KR20130123990A publication Critical patent/KR20130123990A/en
Application granted granted Critical
Publication of KR101444387B1 publication Critical patent/KR101444387B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Cleaning In General (AREA)

Abstract

The present invention relates to a cleaning robot control device. The cleaning robot control device including a photographing device photographing images; an image analyzing unit detecting the cleanliness by analyzing the images photographed by the photographing device; and a control unit controlling a cleaning robot based on the detected cleanliness is disclosed. [Reference numerals] (110) Image photographing device;(120) Image analysis unit;(130) Control unit;(140) Cleaning brush motor;(150) Driving motor;(160) Cleaning schedule unit

Description

청소 로봇의 제어 장치 및 제어 방법{APPARATUS AND METHOD FOR CONTROLLING A CLEANING ROBOT}Control device and control method of cleaning robot {APPARATUS AND METHOD FOR CONTROLLING A CLEANING ROBOT}

본 발명은 청소 로봇의 제어 장치 및 제어 방법에 관한 것이다.The present invention relates to a control apparatus and a control method of a cleaning robot.

청소 로봇은 일반적으로 정해진 경로를 따라 주행하면서 청소 작업을 수행한다. 일 예로, 선박의 선저에는 해초나 물이끼, 패각류, 또는 따개비 등의 해양 생물이 부착될 수 있는데, 이러한 해양 생물을 제거하지 않으면 선박의 속력이 느려지고 연료의 소모량이 증가될 수 있으므로, 청소 로봇을 이용하여 선저 청소 작업을 수행할 수 있다.The cleaning robot generally carries out a cleaning operation while traveling along a predetermined path. For example, marine organisms such as seaweed, water moss, shellfish, or barnacle can be attached to the bottom of a ship. If such marine life is not removed, the speed of the ship may be slowed down and the consumption of fuel may increase. It is possible to perform the bottom cleaning operation.

예를 들어, 청소 로봇은 수중에서 선박의 선저 측으로 이동한 다음, 브러쉬 등을 이용하여 선저의 청소 작업을 수행할 수 있다. 그런데, 해양 생물의 부착량은 선저의 전체 면적에 걸쳐 일정하지 않은 것이 일반적이다.For example, the cleaning robot may move to the bottom of the vessel in water and then perform a bottom cleaning operation using a brush or the like. However, the deposition amount of marine organisms is not constant over the entire area of the bottom.

그럼에도 불구하고, 기존의 청소 로봇은 청소 스케쥴에 의하여 정해진 경로를 따라 일률적으로 주행하면서 청소 작업을 수행하고 있으므로, 청소 작업량이 많은 선저의 특정 부분에서는 해초나 물이끼, 패각류, 또는 따개비 등의 해양 생물이 완전히 제거되지 않을 수 있다.Nevertheless, existing cleaning robots perform cleaning operations while traveling uniformly along the route determined by the cleaning schedule. Therefore, in a specific portion of the bottom of the ship having a large amount of cleaning work, marine organisms such as seaweed, water moss, shellfish, May not be completely removed.

이를 방지하기 위하여 청소 로봇의 주행 속도를 느리게 설정하거나, 동일한 경로를 수회 반복하여 청소하도록 청소 스케쥴을 설정하게 되면, 해양 생물이 덜 부착된 영역에서의 청소 작업 시간이 필요 이상으로 길어지는 등, 청소 작업을 효율적으로 수행하지 못할 수 있다.In order to prevent this, if the traveling speed of the cleaning robot is set to be slow or the cleaning schedule is set so that the same route is repeatedly repeated several times, the cleaning work time in the area where less marine life is attached becomes longer than necessary, The work may not be performed efficiently.

본 발명이 해결하고자 하는 과제는 청소 상태를 고려하여 청소 로봇을 제어함으로써 청소 작업을 효과적이면서도 효율적으로 수행할 수 있는 청소 로봇의 제어 장치 및 제어 방법을 제공하는 것에 있다.Disclosure of Invention Problems to be Solved by the Invention The present invention is to provide a control apparatus and a control method of a cleaning robot that can efficiently and efficiently perform a cleaning operation by controlling a cleaning robot in consideration of a cleaning state.

본 발명이 해결하고자 하는 다른 과제는 영상 분석을 통해 청소 상태를 검출하고, 검출된 청소 상태를 고려하여 청소 로봇을 적응적으로 제어할 수 있는 청소 로봇의 제어 장치 및 제어 방법을 제공하는 것에 있다.Another object of the present invention is to provide a cleaning robot control apparatus and a control method capable of detecting a cleaning state through image analysis and adaptively controlling the cleaning robot in consideration of the detected cleaning state.

본 발명이 해결하고자 하는 과제는 이상에서 언급된 과제로 제한되지 않는다. 언급되지 않은 다른 기술적 과제들은 이하의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The problems to be solved by the present invention are not limited to the above-mentioned problems. Other technical subjects not mentioned may be clearly understood by those skilled in the art from the following description.

상기 과제를 해결하기 위한 본 발명의 일 측면에 따른 청소 로봇의 제어 장치는 영상을 촬영하는 영상 촬영 장치; 촬영된 상기 영상을 분석하여 청소 상태를 검출하는 영상 분석부; 그리고 검출된 상기 청소 상태에 기초하여 청소 로봇을 제어하는 제어부를 포함한다.Control device for a cleaning robot according to an aspect of the present invention for solving the above problems is an image photographing apparatus for photographing the image; An image analyzer for analyzing the photographed image to detect a cleaning state; And a control unit controlling a cleaning robot based on the detected cleaning state.

또한, 상기 영상 분석부는, 상기 영상으로부터 부유물의 영상을 추출하는 영상 추출부; 그리고 추출한 상기 부유물의 영상으로부터 상기 청소 상태를 검출하는 청소 상태 검출부를 포함하는 청소 로봇의 제어 장치가 제공될 수 있다.The image analyzing unit may include an image extracting unit that extracts an image of a floating object from the image; And a cleaning state detecting unit for detecting the cleaning state from the extracted image of the suspended object.

또한, 상기 영상 분석부는, 상기 영상 촬영 장치에 의해 촬영된 영상으로부터 인공광의 영상을 필터링하고, 잡음을 제거함으로써 영상을 전처리하는 영상 전처리부; 그리고 전처리된 영상으로부터 상기 청소 상태를 검출하는 영상 처리부를 포함하는 청소 로봇의 제어 장치가 제공될 수 있다.The image analyzing unit may include: an image preprocessing unit for pre-processing an image by filtering an image of artificial light from an image taken by the image photographing apparatus and removing noise; And an image processing unit for detecting the cleaning state from the preprocessed image.

또한, 상기 제어부는, 상기 청소 로봇의 청소 브러쉬의 구동을 제어하거나, 상기 청소 로봇의 청소 스케쥴을 조정함으로써 상기 청소 로봇을 제어하는 청소 로봇의 제어 장치가 제공될 수 있다.In addition, the controller may be provided with a control device of the cleaning robot for controlling the cleaning robot by controlling the driving of the cleaning brush of the cleaning robot, or by adjusting the cleaning schedule of the cleaning robot.

또한, 상기 제어부는, 상기 청소 로봇의 주행 속도, 상기 청소 로봇의 청소 경로 중의 하나 이상을 조정함으로써 상기 청소 스케쥴을 조정하는 청소 로봇의 제어 장치가 제공될 수 있다.In addition, the control unit may be provided with a control device of the cleaning robot for adjusting the cleaning schedule by adjusting at least one of the running speed of the cleaning robot, the cleaning path of the cleaning robot.

상기 과제를 해결하기 위한 본 발명의 다른 일 측면에 따른 청소 로봇의 제어 방법은 영상을 촬영하는 단계; 촬영된 상기 영상을 분석하여 청소 상태를 검출하는 단계; 그리고 검출된 상기 청소 상태에 기초하여 청소 로봇을 제어하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method for controlling a cleaning robot, the method including: photographing an image; Analyzing the photographed image to detect a cleaning state; And controlling the cleaning robot based on the detected cleaning state.

또한, 상기 청소 상태를 검출하는 단계는, 상기 영상으로부터 부유물의 영상을 추출하는 단계; 그리고 추출한 상기 부유물의 영상으로부터 상기 청소 상태를 검출하는 단계를 포함하는 청소 로봇의 제어 방법이 제공될 수 있다.The step of detecting the cleaning state may include extracting an image of a floating body from the image; And detecting the cleaning state from the extracted image of the suspended body.

또한, 상기 청소 로봇을 제어하는 단계는, 추출한 상기 부유물의 영상에 대응하는 부유물 상태를 청소 수행 초기의 부유물 상태와 비교하여 상기 청소 로봇을 제어하는 청소 로봇의 제어 방법이 제공될 수 있다.Also, the step of controlling the cleaning robot may include the step of controlling the cleaning robot by comparing the suspended state corresponding to the image of the suspended body with the suspended state of the initial stage of cleaning.

또한, 상기 청소 상태를 검출하는 단계는, 촬영된 상기 영상으로부터 인공광의 영상을 필터링하고, 잡음을 제거함으로써 영상을 전처리하는 단계; 그리고 전처리된 영상으로부터 상기 청소 상태를 검출하는 단계를 포함하는 청소 로봇의 제어 방법이 제공될 수 있다.In addition, the step of detecting the cleaning state may include: pre-processing an image by filtering an image of artificial light from the captured image and removing noise; And a step of detecting the cleaning state from the preprocessed image.

또한, 상기 청소 로봇을 제어하는 단계는, 상기 청소 로봇의 청소 브러쉬의 구동을 제어하거나, 상기 청소 로봇의 청소 스케쥴을 조정함으로써 상기 청소 로봇을 제어하는 청소 로봇의 제어 방법이 제공될 수 있다.The controlling of the cleaning robot may include providing a control method of the cleaning robot that controls the cleaning robot by controlling the driving of the cleaning brush of the cleaning robot or by adjusting the cleaning schedule of the cleaning robot.

본 발명의 일 실시 예에 의하면, 청소 상태를 고려하여 청소 작업을 효과적이면서도 효율적으로 수행할 수 있다.According to one embodiment of the present invention, the cleaning operation can be performed efficiently and efficiently in consideration of the cleaning state.

또한, 본 발명의 일 실시 예에 의하면, 영상 분석을 통해 청소 상태를 검출하고, 검출된 청소 상태를 고려하여 청소 로봇을 적응적으로 제어함으로써, 청소 작업의 효과를 높이면서도, 청소 작업 시간을 단축할 수 있다.In addition, according to an embodiment of the present invention, by detecting the cleaning state through the image analysis, and adaptively control the cleaning robot in consideration of the detected cleaning state, while increasing the effect of the cleaning operation, while reducing the cleaning operation time can do.

도 1a는 본 발명의 일 실시 예에 따른 청소 로봇의 사시도이다.
도 1b는 도 1a의 'A-A' 선에 따른 단면도이다.
도 2는 본 발명의 일 실시 예에 따른 청소 로봇의 제어 장치의 구성도이다.
도 3은 도 2의 영상 분석부의 예시적인 구성도이다.
도 4는 본 발명의 일 실시 예에 따른 청소 로봇의 제어 방법의 흐름도이다.
도 5는 도 4의 단계 42의 예시적인 흐름도이다.
도 6은 본 발명의 일 실시 예에 따른 청소 로봇의 제어 장치에 의하여 촬영된 영상과, 영상 처리 결과를 나타낸 도면이다.
도 7은 본 발명의 일 실시 예에 따른 청소 로봇의 제어 방법을 설명하기 위한 도면이다.1A is a perspective view of a cleaning robot according to an embodiment of the present invention.
1B is a cross-sectional view taken along line AA of FIG. 1A.
2 is a configuration diagram of a control apparatus for a cleaning robot according to an embodiment of the present invention.
3 is an exemplary configuration diagram of the image analysis unit of FIG.
4 is a flowchart illustrating a method of controlling a cleaning robot according to an embodiment of the present invention.
5 is an exemplary flow chart of step 42 of FIG.
FIG. 6 is a view showing an image taken by a control device of the cleaning robot and an image processing result according to an embodiment of the present invention.
7 is a view for explaining a control method of a cleaning robot according to an embodiment of the present invention.

본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술 되는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예는 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.Other advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the concept of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims.

만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 가진다. 일반적인 사전들에 의해 정의된 용어들은 관련된 기술 그리고/혹은 본 출원의 본문에 의미하는 것과 동일한 의미를 갖는 것으로 해석될 수 있고, 그리고 여기서 명확하게 정의된 표현이 아니더라도 개념화되거나 혹은 과도하게 형식적으로 해석되지 않을 것이다.Unless defined otherwise, all terms (including technical or scientific terms) used herein have the same meaning as commonly accepted by the generic art in the prior art to which this invention belongs. Terms defined by generic dictionaries may be interpreted to have the same meaning as in the related art and / or in the text of this application, and may be conceptualized or overly formalized, even if not expressly defined herein I will not.

도 1a는 본 발명의 일 실시 예에 따른 청소 로봇의 사시도이다. 도 1b는 도 1a의 'A-A' 선에 따른 단면도이다. 도 1a 및 도 1b를 참조하면, 본 발명의 일 실시 예에 따른 청소 로봇(200)은 프레임(210), 청소 브러쉬(220), 청소 브러쉬 모터(140), 구동 모터(150), 주행휠(230), 수평 추진 장치(240), 수직 추진 장치(250), 그리고 제어 장치(100)를 포함한다.1A is a perspective view of a cleaning robot according to an embodiment of the present invention. 1B is a cross-sectional view taken along the line A-A 'in FIG. 1A. 1A and 1B, a cleaning robot 200 according to an embodiment of the present invention includes a frame 210, a cleaning brush 220, a cleaning brush motor 140, a driving motor 150, a traveling wheel 230, a horizontal propelling device 240, a vertical propelling device 250, and a control device 100.

본 발명의 일 실시 예에 의하면, 프레임(210)은 상부프레임(211), 하부프레임(213), 그리고 상부프레임(211)과 하부프레임(212)을 연결하는 측면프레임(212)을 포함할 수 있다.According to one embodiment of the present invention, the frame 210 may include an upper frame 211, a lower frame 213, and a side frame 212 connecting the upper frame 211 and the lower frame 212 have.

청소 브러쉬(220)는 청소 브러쉬 모터(140)에 의하여 회전하면서 브러쉬를 통해 이물질을 제거할 수 있다. 본 발명의 일 실시 예에 의하면, 청소 브러쉬(220)는 선저 부분을 청소하도록 상부프레임(211)의 전방 측 상면에 양측으로 설치되어 있으나, 이에 제한되지는 않으며, 청소 브러쉬(220)의 설치 위치나, 설치 개수 등은 청소 대상물이나 제반 작업 환경 등을 고려하여 다양하게 변형될 수 있을 것이다.The cleaning brush 220 may be rotated by the cleaning brush motor 140 to remove foreign matter through the brush. According to an embodiment of the present invention, the cleaning brush 220 is disposed on both sides of the upper surface of the upper frame 211 so as to clean the bottom portion, but the present invention is not limited thereto. And the number of the installation can be variously modified in consideration of the object to be cleaned and the working environment.

이하, 청소 로봇(200)의 주행 방향을 제1 방향(X), 수평면에서 제1 방향(X)과 수직인 방향을 제2 방향(Y), 제1 방향(X) 및 제2 방향(Y)과 수직인 방향을 제3 방향(Z)으로 하여 본 발명의 실시 예에 대해 설명한다. 또한, 이하에서 '전방'은 청소 로봇(200)의 주행 방향을 기준으로 앞쪽을 의미하고, '후방'은 청소 로봇(200)의 주행 방향을 기준으로 뒤쪽을 의미한다.Hereinafter, the running direction of the cleaning robot 200 will be referred to as a first direction X, the direction perpendicular to the first direction X in the horizontal plane will be referred to as a second direction Y, a first direction X, and a second direction Y In the third direction Z will be described with reference to Figs. In the following description, 'forward' means the forward direction based on the traveling direction of the cleaning robot 200, and 'rear' means the backward direction based on the traveling direction of the cleaning robot 200.

수평 추진 장치(240)는 청소 로봇(200)을 제1 방향(X)으로 추진할 수 있다. 본 발명의 일 실시 예에 의하면, 수평 추진 장치(240)는 제1 추진체(242)를 구동하는 제1 구동모터(241), 그리고 제1 방향(X)으로 회전축이 제공되는 제1 추진체(242)를 포함할 수 있다.The horizontal propelling device 240 can propel the cleaning robot 200 in the first direction X. [ According to one embodiment of the present invention, the horizontal propelling device 240 includes a first driving motor 241 for driving the first propellant 242 and a first propellant 242 for providing a rotational axis in the first direction X ).

수직 추진 장치(250)는 청소 로봇(200)을 제3 방향(Z)으로 추진할 수 있다. 본 발명의 일 실시 예에 의하면, 수직 추진 장치(250)는 제2 추진체(252)를 구동하는 제2 구동모터(251), 그리고 제3 방향(Z)으로 회전축이 제공되는 제2 추진체(252)를 포함할 수 있다.The vertical propelling device 250 can propel the cleaning robot 200 in the third direction Z. [ According to one embodiment of the present invention, the vertical propulsion unit 250 includes a second drive motor 251 for driving the second propellant 252 and a second propellant 252 ).

주행휠(230)은 청소 로봇(200)을 주행시킬 수 있다. 본 발명의 일 실시 예에 의하면, 주행휠(230)은 선저를 따라 주행하도록 상부프레임(211)에 설치되어 있으나, 이에 제한되는 것은 아니며, 주행휠(230)의 설치 위치, 설치 개수 등은 청소 대상물과 제반 작업 환경 등을 고려하여 다양하게 변형될 수 있다.The traveling wheel 230 can make the cleaning robot 200 run. According to an embodiment of the present invention, the traveling wheel 230 is installed on the upper frame 211 so as to travel along the bottom, but the present invention is not limited thereto. The installation position and the installation number of the traveling wheel 230, And can be variously modified in consideration of objects and various working environments.

선박의 선저를 청소하는 경우를 예로 들면, 청소 로봇(200)은 수중에서 수평 추진 장치(240)와 수직 추진 장치(250)를 이용하여 선저 측으로 이동할 수 있으며, 선저에서 주행휠(230)에 의하여 청소 경로를 따라 주행하면서 청소 작업을 수행할 수 있다.The cleaning robot 200 can be moved to the bottom side by using the horizontal propelling device 240 and the vertical propelling device 250 in the water and by the traveling wheel 230 at the bottom, The cleaning operation can be performed while traveling along the cleaning route.

본 발명의 일 실시 예에 의하면, 복수 개의 주행휠(230) 중의 하나 이상은 구동 모터(150)에 의해 구동될 수 있다. 본 발명의 일 실시 예에 의하면, 청소 로봇(200)의 주행을 보조하기 위한 보조휠(231)이 제공될 수 있다. 예를 들어, 보조휠(231)은 주행휠(230)에 의한 청소 로봇(200)의 주행을 보조하도록 상부프레임(211)에 지지프레임(232)으로 고정될 수 있으나, 이에 제한되지는 않는다.According to one embodiment of the present invention, one or more of the plurality of traveling wheels 230 may be driven by the driving motor 150. [ According to an embodiment of the present invention, an auxiliary wheel 231 for assisting the running of the cleaning robot 200 may be provided. For example, the auxiliary wheel 231 may be fixed to the upper frame 211 with the support frame 232 to support the traveling of the cleaning robot 200 by the traveling wheel 230, but is not limited thereto.

본 발명의 일 실시 예에 의하면, 청소 로봇(200)에는 조명을 제공하기 위한 조명장치(260)가 제공될 수 있다. 일 예로, 조명장치(260)는 제1 방향(X)을 전방 측과 후방 측을 조명하기 위해 하부프레임(213)의 전방 측과 후방 측에 각각 설치될 수 있으나, 이에 제한되지는 않는다. 조명장치(260)는 예를 들어 LED(Light Emitting Diode) 등으로 구현될 수 있으나, 이에 제한되는 것은 아니다.According to one embodiment of the present invention, the cleaning robot 200 may be provided with a lighting device 260 for providing illumination. In one example, the lighting device 260 may be installed on the front side and the rear side of the lower frame 213 to illuminate the front side and the rear side in the first direction X, respectively, but is not limited thereto. The illumination device 260 may be implemented by, for example, an LED (Light Emitting Diode) or the like, but is not limited thereto.

도 2는 본 발명의 일 실시 예에 따른 청소 로봇의 제어 장치의 구성도이다. 도 1a, 도 1b, 및 도 2를 참조하면, 본 발명의 일 실시 예에 따른 청소 로봇의 제어 장치(100)는 영상 촬영 장치(110), 영상 분석부(120), 그리고 제어부(130)를 포함한다.2 is a configuration diagram of a control apparatus for a cleaning robot according to an embodiment of the present invention. The control apparatus 100 of the cleaning robot according to an embodiment of the present invention includes a video photographing apparatus 110, an image analyzing unit 120, and a controller 130 .

영상 촬영 장치(110)는 영상을 촬영할 수 있다. 본 발명의 일 실시 예에 의하면, 영상 촬영 장치(110)는 청소 로봇의 전방 측과 후방 측에 설치될 수 있으나, 이에 제한되는 것은 아니다. 영상 촬영 장치(110)는 예를 들어, CCD 카메라, 또는 CMOS 카메라 등일 수 있으나, 이에 제한되지는 않으며, 영상 촬영 장치(110)는 영상을 촬영할 수 있는 것이라면 특별한 제한 없이 사용이 가능하다.The image photographing apparatus 110 can photograph an image. According to an embodiment of the present invention, the image capturing apparatus 110 may be installed on the front side and the rear side of the cleaning robot, but the present invention is not limited thereto. The image capturing apparatus 110 may be, for example, a CCD camera, a CMOS camera, or the like, but the present invention is not limited thereto, and the image capturing apparatus 110 can be used without any particular limitation as long as it can capture an image.

영상 분석부(120)는 영상 촬영 장치(110)에 의해 촬영된 영상을 분석하여 청소 상태를 검출할 수 있다. 본 발명의 일 실시 예에 의하면, 영상 분석부(120)는 영상 촬영 장치(110)에 의해 촬영된 영상으로부터 부유물의 영상을 추출하고, 추출한 부유물의 영상으로부터 청소 상태를 검출할 수 있다.The image analysis unit 120 may analyze the image photographed by the image photographing apparatus 110 to detect the cleaning state. According to an embodiment of the present invention, the image analysis unit 120 may extract an image of a suspended object from an image captured by the image capturing apparatus 110, and detect a cleaning state from the extracted image of the suspended object.

도 3은 도 2의 영상 분석부의 예시적인 구성도이다. 도 3을 참조하면, 영상 분석부(120)는 영상 전처리부(121), 그리고 영상 처리부(122)를 포함할 수 있다. 영상 전처리부(121)는 영상 촬영 장치(110)에 의해 촬영된 영상을 전처리할 수 있다. 본 발명의 일 실시 예에 의하면, 영상 전처리부(121)는 필터링부(1211), 그리고 잡음 제거부(1212)를 포함할 수 있다.3 is an exemplary configuration diagram of the image analysis unit of FIG. Referring to FIG. 3, the image analysis unit 120 may include an image preprocessing unit 121 and an image processing unit 122. The image preprocessing unit 121 can preprocess the image photographed by the image photographing apparatus 110. According to an embodiment of the present invention, the image preprocessing unit 121 may include a filtering unit 1211 and a noise removing unit 1212.

필터링부(1211)는 영상 촬영 장치(110)에 의해 촬영된 영상으로부터 인공광의 영상을 필터링할 수 있다. 예를 들어, 필터링부(1211)는 조명장치(260)에 의한 인공광의 영상을 필터링할 수 있다. 필터링부(1211)는 예를 들어, YCrCb 채널 필터 등을 이용하여 인공광을 제거할 수 있다.The filtering unit 1211 may filter the image of the artificial light from the image photographed by the image photographing apparatus 110. For example, the filtering unit 1211 can filter the image of the artificial light by the illumination device 260. The filtering unit 1211 can remove artificial light using, for example, a YCrCb channel filter.

잡음 제거부(1212)는 필터링부(1211)에 의해 필터링된 영상으로부터 잡음을 제거할 수 있다. 잡음 제거부(1212)는 예를 들어, 이미지 블러링 등을 이용하여 미세 잡음을 제거할 수 있다. 일 예로, 잡음 제거부(1212)는 가우시안 블러(Gaussian Blur)를 이용하여 이미지 블러링(Image Blurring)을 수행하여 가우시안 잡음(Gaussina Noise)을 제거할 수 있으나, 이에 제한되지는 않는다.The noise removing unit 1212 can remove noise from the image filtered by the filtering unit 1211. The noise removing unit 1212 can remove fine noise using, for example, image blurring. For example, the noise removing unit 1212 may remove Gaussian noise by performing image blurring using a Gaussian blur, but the present invention is not limited thereto.

영상 처리부(122)는 영상 전처리부(121)에 의해 전처리된 영상을 입력받고, 영상 처리를 통해 청소 상태를 검출할 수 있다. 본 발명의 일 실시 예에 의하면, 영상 처리부(122)는 영상 추출부(1221), 그리고 청소 상태 검출부(1222)를 포함할 수 있다.The image processing unit 122 receives the image processed by the image preprocessing unit 121, and can detect the cleaning state through the image processing. According to an embodiment of the present invention, the image processing unit 122 may include an image extracting unit 1221 and a cleaning state detector 1222.

영상 추출부(1221)는 영상 전처리부(121)에 의하여 전처리된 영상으로부터 부유물의 영상을 추출할 수 있다. 영상 추출부(1221)는 예를 들어, 1차 미분, 2차 미분, 템플릿 매칭(Template matching), 로버츠(Roberts), 소벨(Sobel), 또는 라플라시안(Laplacian) 등의 기법을 이용하여 윤곽(contour)이나 에지(edge)를 추출함으로써 부유물의 영상을 추출할 수 있으나 이에 제한되지는 않는다. 영상에서 일부분의 영상의 윤곽이나 에지를 추출하는 기법은 공지되어 있으므로, 이에 대한 상세한 설명은 생략한다.The image extracting unit 1221 can extract the image of the floating object from the image processed by the image preprocessing unit 121. The image extracting unit 1221 extracts contours using a technique such as first order differential, second order differential, template matching, Roberts, Sobel, or Laplacian, ) Or an edge of the image, it is possible to extract the image of the floating object, but the present invention is not limited thereto. A technique of extracting a contour or an edge of a partial image from an image is well known, and a detailed description thereof will be omitted.

청소 상태 검출부(1222)는 영상 추출부(1221)에 의해 추출된 부유물의 영상으로부터 청소 상태를 검출할 수 있다. 청소 상태 검출부(1222)는 예를 들어, 히스토그램을 통한 분포를 통해 영상 추출부(1221)에 의해 추출된 부유물의 영상으로부터 부유물의 정도를 검출함으로써, 청소 상태를 검출할 수 있으나 이에 제한되지는 않는다.The cleaning state detection unit 1222 can detect the cleaning state from the image of the suspended body extracted by the image extraction unit 1221. [ The cleaning state detection unit 1222 can detect the cleaning state by detecting the degree of suspended matter from the image of the suspended body extracted by the image extracting unit 1221 through, for example, distribution through the histogram, but is not limited thereto .

히스토그램은 예를 들어 영상의 명암대비와 영상 안에서 픽셀들에 대한 명암 값 분포에 관한 정보를 제공할 수 있다. 일 예로, 히스토그램은 가로축의 256 그레이 레벨(gray-level) 영상의 명암 값에 대한 빈도수를 세로축으로 나타냄으로써, 영상의 명암 값 분포에 관한 정보를 제공할 수 있다. 일 예로 청소 상태 검출부(1222)는 히스토그램의 전체 명암 값의 분포로부터 청소 상태를 검출할 수 있다.The histogram may provide information, for example, about the contrast of the image and the distribution of the contrast value for the pixels in the image. For example, the histogram may provide information on the intensity distribution of the image by representing the frequency of intensity values of the 256 gray-level images on the horizontal axis on the vertical axis. For example, the cleaning state detection unit 1222 can detect the cleaning state from the distribution of the entire lightness value of the histogram.

제어부(130)는 영상 분석부(120)에 의하여 검출된 청소 상태에 기초하여 청소 로봇(200)을 제어할 수 있다. 본 발명의 일 실시 예에 의하면, 제어부(130)는 청소 브러쉬 모터(140), 구동 모터(150), 그리고 청소 스케쥴부(160)를 제어할 수 있다. 청소 스케쥴부(160)에는 예를 들어 청소 로봇(200)의 청소 경로에 관한 정보가 기록되어 있을 수 있다.The control unit 130 may control the cleaning robot 200 based on the cleaning state detected by the image analysis unit 120. According to an embodiment of the present invention, the controller 130 may control the cleaning brush motor 140, the driving motor 150, and the cleaning schedule unit 160. For example, information on the cleaning route of the cleaning robot 200 may be recorded in the cleaning schedule unit 160.

본 발명의 일 실시 예에 의하면, 제어부(130)는 추출한 부유물의 영상에 대응하는 부유물 상태를 청소 수행 초기의 부유물 상태와 비교하여 상기 청소 로봇을 제어할 수 있다. 일 예로, 제어부(130)는 청소 수행 초기의 부유물 정도를 기준으로, 부유물 정도의 변화량이 설정된 기준값을 초과하는 경우에만 청소 로봇(200)을 제어할 수 있다. 제어부(130)의 보다 구체적인 기능에 대하여는 이후 도 7을 참조하여 후술한다.According to an embodiment of the present invention, the control unit 130 may control the cleaning robot by comparing the suspended state corresponding to the image of the suspended object with the suspended state at the initial stage of cleaning. For example, the control unit 130 may control the cleaning robot 200 only when the change amount of the suspended matter exceeds a predetermined reference value, based on the float level at the initial stage of cleaning. More specific functions of the control unit 130 will be described later with reference to FIG.

도 4는 본 발명의 일 실시 예에 따른 청소 로봇의 제어 방법의 흐름도이다. 도 2 내지 도 4를 참조하면, 본 발명의 일 실시 예에 따른 청소 로봇의 제어 방법은 영상을 촬영하는 단계(41), 촬영된 영상을 분석하여 청소 상태를 검출하는 단계(42), 그리고 검출된 청소 상태에 기초하여 청소 로봇을 제어하는 단계(43)를 포함한다.4 is a flowchart illustrating a method of controlling a cleaning robot according to an embodiment of the present invention. 2 to 4, a control method of a cleaning robot according to an embodiment of the present invention includes a step 41 of photographing an image, a step 42 of detecting a cleaning state by analyzing the photographed image, And a step (43) of controlling the cleaning robot based on the cleaned state.

본 발명의 일 실시 예에 의하면, 단계 41에서 영상 촬영 장치(110)는 영상을 촬영할 수 있다. 본 발명의 일 실시 예에 의하면, 영상 촬영 장치(110)는 청소 로봇(200)의 주행 방향을 기준으로 후방 측의 영상을 촬영할 수 있다.According to one embodiment of the present invention, in step 41, the image photographing apparatus 110 can photograph an image. According to one embodiment of the present invention, the image photographing apparatus 110 can photograph a rear side image based on the traveling direction of the cleaning robot 200. [

예를 들어, 청소 로봇(200)이 수중에서 선저 부분을 주행하면서 청소 작업을 수행하는 경우, 청소 작업에 의한 부유물의 유체 흐름은 청소 로봇(200)의 주행 방향과 반대 방향으로 형성되므로, 청소 로봇(200)의 후방 측의 영상을 촬영함으로써 청소 상태를 파악하기 용이해질 수 있다.For example, when the cleaning robot 200 performs a cleaning operation while traveling on the bottom portion of the water, the fluid flow of the suspended body due to the cleaning operation is formed in a direction opposite to the running direction of the cleaning robot 200, It is easy to grasp the cleaning state by photographing the image on the rear side of the cleaning apparatus 200. [

본 발명의 일 실시 예에 의하면, 단계 42에서 영상 분석부(120)는 영상 촬영 장치(110)에 의해 촬영된 영상을 분석하여 청소 상태를 검출할 수 있다. 도 5는 도 4의 단계 42의 예시적인 흐름도이다. 도 2 내지 도 5를 참조하면, 단계 42는 영상을 전처리하는 단계(421), 그리고 전처리된 영상으로부터 청소 상태를 검출하는 단계(422)를 포함할 수 있다.According to an embodiment of the present invention, in step 42, the image analysis unit 120 may analyze the image photographed by the image photographing apparatus 110 to detect the cleaning state. 5 is an exemplary flow chart of step 42 of FIG. 2 through 5, step 42 may include an image preprocessing step 421 and a cleaning state detection step 422 from the preprocessed image.

단계 421에서 영상 전처리부(121)는 영상 촬영 장치(110)에 의해 촬영된 영상을 전처리할 수 있다. 본 발명의 일 실시 예에 의하면, 영상을 전처리하는 단계(421)는 영상을 필터링하는 단계(4211), 그리고 잡음을 제거하는 단계(4212)를 포함할 수 있다.In step 421, the image preprocessing unit 121 may preprocess the image photographed by the image photographing apparatus 110. [ According to one embodiment of the present invention, the step of pre-processing the image 421 may include filtering the image 4211 and removing the noise 4212.

예를 들어, 단계 4211에서 영상 전처리부(121)의 필터링부(1211)는 영상 촬영 장치(110)에 의해 촬영된 영상으로부터 인공광의 영상을 필터링할 수 있다. 본 발명의 일 실시 예에 의하면, 단계 4211에서 필터링부(1211)는 YCrCb 채널을 이용하여 조명장치(260) 등에 의한 인공광을 제거할 수 있다.For example, in step 4211, the filtering unit 1211 of the image preprocessing unit 121 may filter the image of the artificial light from the image photographed by the image photographing apparatus 110. According to an embodiment of the present invention, in step 4211, the filtering unit 1211 can remove artificial light by the illumination device 260 or the like using the YCrCb channel.

본 발명의 일 실시 예에 의하면, 단계 4212에서 잡음 제거부(1212)는 필터링부(1211)에 의해 필터링된 영상으로부터 잡음을 제거할 수 있다. 예를 들어, 단계 4212에서 영상 전처리부(121)의 잡음 제거부(1212)는 이미지 블러링 등을 이용하여 미세 잡음을 제거할 수 있다. 일 예로, 단계 4212에서 잡음 제거부(1212)는 가우시안 블러(Gaussian Blur)를 이용하여 이미지 블러링(Image Blurring)을 수행하여 가우시안 잡음(Gaussina Noise)을 제거할 수 있으나, 이에 제한되지는 않는다.According to an embodiment of the present invention, in step 4212, the noise removing unit 1212 may remove noise from the image filtered by the filtering unit 1211. [ For example, in step 4212, the noise removing unit 1212 of the image preprocessing unit 121 may remove fine noise using image blurring or the like. For example, in step 4212, the noise removing unit 1212 may remove Gaussian noise by performing image blurring using a Gaussian blur, but the present invention is not limited thereto.

단계 422에서 영상 처리부(122)는 영상 전처리부(121)에 의해 전처리된 영상으로부터 청소 상태를 검출할 수 있다. 본 발명의 일 실시 예에 의하면, 단계 422는 영상 전처리부(121)에 의해 전처리된 영상으로부터 부유물의 영상을 추출하는 단계(4221), 그리고 추출된 부유물의 영상으로부터 청소 상태를 검출하는 단계(4222)를 포함할 수 있다.In step 422, the image processing unit 122 can detect the cleaning state from the image preprocessed by the image preprocessing unit 121. According to an embodiment of the present invention, step 422 includes a step 4221 of extracting a float image from the image preprocessed by the image preprocessing unit 121, and a step 4222 of detecting a cleaning state from the extracted float image ).

예를 들어, 단계 4221에서 영상 처리부(122)의 영상 추출부(1221)는 영상 전처리부(121)로부터 전처리된 영상을 입력받고, 전처리된 영상으로부터 부유물의 영상을 추출할 수 있다. 일 예로, 단계 4221에서 영상 추출부(1221)는 예를 들어, 1차 미분, 2차 미분, 템플릿 매칭(Template matching), 로버츠(Roberts), 소벨(Sobel), 또는 라플라시안(Laplacian) 등의 기법을 이용하여 윤곽(contour)이나 에지(edge)를 추출함으로써 부유물의 영상을 추출할 수 있으나 이에 제한되지는 않는다.For example, in step 4221, the image extracting unit 1221 of the image processing unit 122 receives the preprocessed image from the image preprocessing unit 121 and extracts the image of the suspension from the preprocessed image. For example, in step 4221, the image extracting unit 1221 extracts the image data from the image by using a technique such as a first order differential, a second order differential, a template matching, Roberts, Sobel, or Laplacian But the present invention is not limited to this.

예를 들어, 단계 4222에서 영상 처리부(122)의 청소 상태 검출부(1222)는 히스토그램 분포를 통해 영상 추출부(1221)에 의해 추출된 부유물의 영상으로부터 부유물의 정도를 검출함으로써, 청소 상태를 검출할 수 있으나 이에 제한되지는 않는다.For example, in step 4222, the cleaning state detection unit 1222 of the image processing unit 122 detects the degree of suspended matter from the image of the suspended matter extracted by the image extraction unit 1221 through the histogram distribution, But are not limited thereto.

일 예로, 단계 4211에서 영상 촬영 장치(110)에 의해 촬영된 영상으로부터 인공광의 영상을 필터링하면, 영상 중에서 부유물의 영상은 밝게 나타나고, 부유물의 영상을 제외한 영상은 어둡게 나타날 수 있다. 이에 따라 부유물이 많은 청소 구역에서 영상의 히스토그램 분포는 오른쪽으로 치우쳐서 나타나고, 부유물이 적은 청소 구역에서 영상의 히스토그램 분포는 왼쪽으로 치우쳐서 나타날 수 있다. 따라서, 단계 4222에서 청소 상태 검출부(1222)는 히스토그램 분포로부터 부유물의 정도를 판단함으로써 청소 상태를 검출할 수 있다.For example, if the image of the artificial light is filtered from the image photographed by the image capturing apparatus 110 in step 4211, the image of the suspended body appears bright, and the image except the suspended image may appear dark. Accordingly, the histogram distribution of the image is shifted to the right in the cleaning area with many floats, and the histogram distribution of the image in the cleaning area where the floats are small can be shifted to the left. Thus, in step 4222, the cleaning state detector 1222 can detect the cleaning state by determining the degree of float from the histogram distribution.

다른 예로, 단계 4222에서 청소 상태 검출부(1222)는 영상을 여러 개의 부분영상으로 분할하고, 각 부분영상에 대한 히스토그램 분포를 통하여 어느 구역에 부유물이 집중되는지를 판단할 수 있다. 이에 따라 청소 상태 검출부(1222)는 청소 상태가 불량한 구역을 판단할 수 있다. 따라서, 청소 상태가 불량한 구역에 대하여 집중적으로 청소 작업을 수행하도록 함으로써, 청소 작업의 효과를 보다 향상시킬 수 있다.As another example, in step 4222, the cleaning state detector 1222 may divide the image into a plurality of partial images, and determine through which histograms the focused floats are concentrated through the histogram distribution for each partial image. Accordingly, the cleaning state detection unit 1222 can determine the area where the cleaning state is poor. Therefore, the cleaning operation is intensively performed on the area where the cleaning state is poor, so that the effect of the cleaning operation can be further improved.

다시 도 4를 참조하면, 단계 43에서 제어부(130)는 검출된 청소 상태에 기초하여 청소 로봇을 제어할 수 있다. 본 발명의 일 실시 예에 의하면, 단계 43에서 제어부(130)는 영상 처리부(122)의 영상 추출부(1221)에 의해 추출된 부유물의 영상에 대응하는 부유물 상태를 청소 수행 초기의 부유물 상태와 비교하여 청소 로봇(200)을 제어할 수 있다.Referring again to FIG. 4, in step 43, the control unit 130 can control the cleaning robot based on the detected cleaning state. According to an embodiment of the present invention, in step 43, the controller 130 compares the suspended state corresponding to the image of the suspended object extracted by the image extracting unit 1221 of the image processing unit 122 with the suspended state of the initial stage of the cleaning process So that the cleaning robot 200 can be controlled.

본 발명의 일 실시 예에 의하면, 단계 43에서 제어부(130)는 청소 상태 검출부(122)에서 검출한 청소 상태에 기초하여, 청소 로봇(200)의 청소 브러쉬(220)의 구동을 제어하거나, 청소 로봇(200)의 청소 스케쥴을 조정할 수 있다. 예를 들어, 제어부(130)는 청소 로봇(200)의 이동 속도, 청소 로봇(200)의 청소 경로 중의 하나 이상을 조정함으로써, 청소 스케쥴을 조정할 수 있다.The control unit 130 controls the driving of the cleaning brush 220 of the cleaning robot 200 based on the cleaning state detected by the cleaning state detection unit 122, The cleaning schedule of the robot 200 can be adjusted. For example, the control unit 130 can adjust one or more of the moving speed of the cleaning robot 200 and the cleaning path of the cleaning robot 200, thereby adjusting the cleaning schedule.

본 발명의 일 실시 예에 의하면, 제어부(130)는 영상 처리부(122)의 청소 상태 검출부(122)에서 검출한 청소 상태에 기초하여, 예를 들어 부유물이 많은 것으로 판단되는 경우 청소 브러쉬 모터(140)의 구동 속도를 증가시키고 부유물이 적은 것으로 판단되는 경우 청소 브러쉬 모터(140)의 구동 속도를 감소시킬 수 있다.The controller 130 controls the cleaning brush motor 140 (for example, when it is determined that the number of floating matters is large) based on the cleaning state detected by the cleaning state detector 122 of the image processing unit 122, The driving speed of the cleaning brush motor 140 can be reduced.

일 예로, 제어부(130)는 특정 청소 경로에 부유물이 많은 것으로 판단되는 경우, 청소 스케쥴부(160)를 조정하여 특정 청소 경로에 대한 청소 작업을 반복하여 실시할 수 있다.For example, when it is determined that there is a large amount of suspended matter in a specific cleaning route, the controller 130 may perform cleaning operations for a specific cleaning route by adjusting the cleaning schedule unit 160. [

다른 예로, 제어부(130)는 청소 상태 검출부(122)에서 검출한 청소 상태에 기초하여, 부유물이 많은 것으로 판단되는 경우, 청소 로봇의 주행 속도를 늦추기 위해 구동 모터(150)의 구동 속도를 감소시킬 수 있다.In other words, when the controller 130 determines that there is a large amount of suspended matter based on the cleaning state detected by the cleaning state detector 122, the controller 130 decreases the driving speed of the driving motor 150 to slow down the traveling speed of the cleaning robot .

본 발명의 일 실시 예에 의하면, 단계 43에서 제어부(130)는 추출한 부유물의 영상에 대응하는 부유물 상태를 청소 수행 초기의 부유물 상태와 비교하여 상기 청소 로봇을 제어할 수 있다. 예를 들어, 선박의 선저 주변의 해수에 많은 부유물이 포함되어 있는 경우에는 영상 분석부(120)에서 청소 상태가 불량한 것으로 판단하게 되므로, 선저의 청소 구역이 깨끗함에도 불구하고 불필요하게 해당 청소 구역에 대하여 집중적으로 청소 작업을 하게 될 수 있다.According to an embodiment of the present invention, in step 43, the controller 130 may control the cleaning robot by comparing the suspended state corresponding to the image of the suspended object with the suspended state of the initial stage of cleaning. For example, when a large amount of suspended matter is contained in the seawater around the bottom of the ship, the image analysis unit 120 determines that the cleaned state is poor. Therefore, even though the bottom cleaning area is clean, The cleaning operation can be performed intensively.

따라서, 단계 43에서 제어부(130)는 예를 들어, 청소 수행 초기의 부유물 정도를 기준으로, 부유물 정도의 변화량이 설정된 기준값을 초과하는 경우에만 청소 로봇(200)을 제어함으로써, 청소 로봇의 청소 작업 효과를 향상시킬 수 있다.Therefore, in step 43, the control unit 130 controls the cleaning robot 200 only when the change amount of the floatation degree exceeds the set reference value, for example, based on the degree of float at the initial stage of cleaning, The effect can be improved.

도 6은 본 발명의 일 실시 예에 따른 청소 로봇의 제어 장치에 의하여 촬영된 영상과, 영상 처리 결과를 나타낸 도면이다. 도 6의 (a), (b), (c)는 영상 촬영 장치(110)에 의해 촬영된 영상을 나타내고, 도 6의 (b), (d), (f)는 각 영상 (a), (b), (c)에 대한 영상 처리 결과를 나타낸다. 도 7은 본 발명의 일 실시 예에 따른 청소 로봇의 제어 방법을 설명하기 위한 도면이다.FIG. 6 is a view showing an image taken by a control device of the cleaning robot and an image processing result according to an embodiment of the present invention. 6 (a), 6 (b) and 6 (c) show images taken by the image capturing apparatus 110, (b) and (c). 7 is a view for explaining a control method of a cleaning robot according to an embodiment of the present invention.

도 6 및 도 7을 참조하면, 도 7의 (a)에 도시된 바와 같이, 청소 로봇(200)은 제1 경로(P1)를 따라 주행하면서 청소 작업을 수행할 수 있다. 본 발명의 일 실시 예에 의하면, 청소 로봇(200)은 청소 상태를 고려하여 제1 경로(P1)의 종단점(A)에서 제2 경로(P2)를 따라 주행하거나, 제3 경로(P3)를 따라 주행할 수 있다.Referring to FIGS. 6 and 7, the cleaning robot 200 moves along the first path P1 to perform a cleaning operation, as shown in FIG. 7 (a). According to an embodiment of the present invention, the cleaning robot 200 travels along the second path P2 at the end point A of the first path P1 in consideration of the cleaning state, or moves along the third path P3 You can follow along.

예를 들어, 청소 로봇(200)은 도 6의 (b)에서 보여지는 바와 같이 청소 상태가 양호하다고 판단하면, 도 7의 (b)에 도시된 바와 같이 최초의 청소 스케쥴부(160)에 정해진 제2 경로(P2)를 따라 주행하면서 청소 작업을 수행할 수 있다.For example, if the cleaning robot 200 determines that the cleaning state is good as shown in FIG. 6 (b), the cleaning robot 200 determines that the cleaning robot 200 The cleaning operation can be performed while traveling along the second path P2.

다른 예로, 청소 로봇(200)은 도 6의 (d)에서 보여지는 바와 같이 청소 상태가 다소 불량하다고 판단하면, 청소 스케쥴부(160)를 조정할 수 있다. 이에 따라, 청소 로봇(200)은 도 7의 (c)에 도시된 바와 같이, 제3 경로(P2)를 따라 이동하여 제1 경로(P1)에 대한 청소 작업을 한번 더 수행할 수 있다.As another example, if the cleaning robot 200 determines that the cleaning state is somewhat poor as shown in FIG. 6D, the cleaning schedule unit 160 can be adjusted. Accordingly, as shown in FIG. 7C, the cleaning robot 200 moves along the third path P2 to perform the cleaning operation for the first path P1 again.

또 다른 예로, 청소 로봇(200)은 도 6의 (f)에서 보여지는 바와 같이 청소 상태가 매우 불량하다고 판단하면, 청소 스케쥴부(160)를 조정하여 제1 경로(P1)에 대한 청소 작업을 한번 더 수행함과 동시에, 청소 브러쉬 모터(140)의 구동 속도를 증가시키거나 청소 로봇(200)의 주행 속도를 감소시킬 수 있다.6 (f), if the cleaning robot 200 determines that the cleaning state is very poor, the cleaning robot 200 adjusts the cleaning schedule unit 160 to perform a cleaning operation on the first path P1 The driving speed of the cleaning brush motor 140 may be increased or the traveling speed of the cleaning robot 200 may be reduced.

전술한 본 발명의 실시 예에 의하면, 영상 분석을 통해 검출한 청소 상태에 따라 청소 로봇(200)을 제어하여, 청소 상태가 불량한 영역에서는 집중적으로 청소 작업을 수행할 수 있고 청소 상태가 양호한 영역에서는 빠른 속도를 청소 작업을 수행할 수 있으므로, 청소 작업을 효과적이면서도 효율적으로 수행할 수 있다. 따라서, 본 발명의 실시 예에 의하면, 청소 작업을 양호하게 수행할 수 있으며, 청소 작업을 빠른 시간 내에 수행할 수 있다.According to the embodiment of the present invention described above, the cleaning robot 200 can be controlled according to the cleaning state detected through the image analysis, so that the cleaning operation can be performed intensively in the poor cleaning state, Since the cleaning operation can be performed at a high speed, the cleaning operation can be performed effectively and efficiently. Therefore, according to the embodiment of the present invention, the cleaning operation can be performed well, and the cleaning operation can be performed in a short time.

도 1a와 도 1b에서는 수중 청소 로봇을 예로 들어 청소 로봇(200)에 대해 설명하였으나, 본 발명이 수중 청소 로봇으로 제한되는 것은 아니다. 예를 들어, 본 발명은 지상에서 청소 작업을 수행하는 로봇에도 적용될 수도 있으며, 이러한 경우 청소 과정에서 공기 중에 부유하는 부유물의 정도를 영상으로 분석하여 청소 상태를 검출함으로써, 청소 로봇을 제어할 수 있다. 따라서, 본 발명은 청소 작업을 수행하는 청소 로봇이라면 특별히 제한됨이 없이 적용이 가능하다.Although the cleaning robot 200 has been described with reference to the underwater cleaning robot in FIGS. 1A and 1B, the present invention is not limited to the underwater cleaning robot. For example, the present invention may be applied to a robot performing a cleaning operation on the ground. In such a case, the cleaning robot may be controlled by detecting the degree of the suspended matter suspended in the air by image analysis to detect the cleaning state . Therefore, the present invention can be applied to any cleaning robot that performs a cleaning operation without any particular limitation.

이상의 실시예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시예들도 본 발명의 범위에 속할 수 있음을 이해하여야 한다. 예를 들어, 본 발명의 실시예에 도시된 각 구성 요소는 분산되어 실시될 수도 있으며, 반대로 여러 개로 분산된 구성 요소들은 결합되어 실시될 수 있다.It is to be understood that the above-described embodiments are provided to facilitate understanding of the present invention, and do not limit the scope of the present invention, and it is to be understood that various modifications may be made within the scope of the present invention. For example, each component shown in the embodiment of the present invention may be distributed and implemented, and conversely, a plurality of distributed components may be combined.

따라서, 본 발명의 기술적 보호범위는 특허청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 특허청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에 대하여까지 미치는 것임을 이해하여야 한다.Therefore, the technical protection scope of the present invention should be determined by the technical idea of the claims, and the technical protection scope of the present invention is not limited to the literary description of the claims, The invention of a category.

100: 제어 장치 110: 영상 촬영 장치
120: 영상 분석부 121: 영상 전처리부
1211: 필터링부 1212: 잡음 제거부
122: 영상 처리부 1221: 영상 추출부
1222: 청소 상태 검출부 130: 제어부
140: 청소 브러쉬 모터 150: 구동 모터
160: 청소 스케쥴부 200: 청소 로봇
220: 청소 브러쉬 230: 주행휠
240: 수평 추진 장치 250: 수직 추진 장치
260: 조명장치100: control device 110: image taking device
120: Image analysis unit 121: Image preprocessing unit
1211: Filtering unit 1212: Noise removing unit
122: image processing unit 1221: image extracting unit
1222: Cleaning state detecting unit 130:
140: cleaning brush motor 150: driving motor
160: Cleaning schedule part 200: Cleaning robot
220: cleaning brush 230: traveling wheel
240: Horizontal propelling device 250: Vertical propelling device
260: Lighting device

Claims (10)

영상을 촬영하는 영상 촬영 장치;
촬영된 상기 영상을 분석하여 청소 상태를 검출하는 영상 분석부; 그리고
검출된 상기 청소 상태에 기초하여 청소 로봇을 제어하는 제어부를 포함하는 청소 로봇의 제어 장치.An image capturing apparatus for capturing an image;
An image analyzer configured to detect the cleaning state by analyzing the photographed image; And
And a control unit for controlling the cleaning robot based on the detected cleaning state. 제1 항에 있어서,
상기 영상 분석부는,
상기 영상으로부터 부유물의 영상을 추출하는 영상 추출부; 그리고
추출한 상기 부유물의 영상으로부터 상기 청소 상태를 검출하는 청소 상태 검출부를 포함하는 청소 로봇의 제어 장치.The method according to claim 1,
Wherein the image analyzing unit comprises:
An image extractor which extracts an image of the suspended matter from the image; And
And a cleaning state detector for detecting the cleaning state from the extracted image of the suspended matter. 제1 항에 있어서,
상기 영상 분석부는,
상기 영상 촬영 장치에 의해 촬영된 영상으로부터 인공광의 영상을 필터링하고, 잡음을 제거함으로써 영상을 전처리하는 영상 전처리부; 그리고
전처리된 영상으로부터 상기 청소 상태를 검출하는 영상 처리부를 포함하는 청소 로봇의 제어 장치.The method according to claim 1,
Wherein the image analyzing unit comprises:
An image preprocessing unit for pre-processing an image by filtering an image of artificial light from the image taken by the image photographing apparatus and removing noise; And
And a video processing unit for detecting the cleaning state from a preprocessed image. 제1 항 내지 제3 항 중 어느 한 항에 있어서,
상기 제어부는,
상기 청소 로봇의 청소 브러쉬의 구동을 제어하거나, 상기 청소 로봇의 청소 스케쥴을 조정함으로써 상기 청소 로봇을 제어하는 청소 로봇의 제어 장치.4. The method according to any one of claims 1 to 3,
The control unit,
And control the cleaning robot by controlling the driving of the cleaning brush of the cleaning robot or by adjusting the cleaning schedule of the cleaning robot. 제4 항에 있어서,
상기 제어부는,
상기 청소 로봇의 주행 속도, 상기 청소 로봇의 청소 경로 중의 하나 이상을 조정함으로써 상기 청소 스케쥴을 조정하는 청소 로봇의 제어 장치.5. The method of claim 4,
The control unit,
And control the cleaning schedule by adjusting at least one of a traveling speed of the cleaning robot and a cleaning path of the cleaning robot. 영상을 촬영하는 단계;
촬영된 상기 영상을 분석하여 청소 상태를 검출하는 단계; 그리고
검출된 상기 청소 상태에 기초하여 청소 로봇을 제어하는 단계를 포함하는 청소 로봇의 제어 방법.Capturing an image;
Analyzing the photographed image to detect a cleaning state; And
Controlling a cleaning robot based on the detected cleaning state. 제6 항에 있어서,
상기 청소 상태를 검출하는 단계는,
상기 영상으로부터 부유물의 영상을 추출하는 단계; 그리고
추출한 상기 부유물의 영상으로부터 상기 청소 상태를 검출하는 단계를 포함하는 청소 로봇의 제어 방법.The method of claim 6,
The step of detecting the cleaning state includes:
Extracting an image of the suspended matter from the image; And
And detecting the cleaning state from the extracted image of the suspended matter. 제7 항에 있어서,
상기 청소 로봇을 제어하는 단계는,
추출한 상기 부유물의 영상에 대응하는 부유물 상태를 청소 수행 초기의 부유물 상태와 비교하여 상기 청소 로봇을 제어하는 청소 로봇의 제어 방법.The method of claim 7, wherein
Controlling the cleaning robot,
And controlling the cleaning robot by comparing the floating state corresponding to the extracted floating image with the floating state at the initial stage of cleaning. 제6 항에 있어서,
상기 청소 상태를 검출하는 단계는,
촬영된 상기 영상으로부터 인공광의 영상을 필터링하고, 잡음을 제거함으로써 영상을 전처리하는 단계; 그리고
전처리된 영상으로부터 상기 청소 상태를 검출하는 단계를 포함하는 청소 로봇의 제어 방법.The method of claim 6,
The step of detecting the cleaning state includes:
Filtering an image of artificial light from the captured image and removing noise to preprocess the image; And
Detecting the cleaning state from a pre-processed image. 제6 항 내지 제9 항 중 어느 한 항에 있어서,
상기 청소 로봇을 제어하는 단계는,
상기 청소 로봇의 청소 브러쉬의 구동을 제어하거나, 상기 청소 로봇의 청소 스케쥴을 조정함으로써 상기 청소 로봇을 제어하는 청소 로봇의 제어 방법.The method according to any one of claims 6 to 9,
Controlling the cleaning robot,
The cleaning robot control method of controlling the cleaning robot by controlling the driving of the cleaning brush of the cleaning robot or by adjusting the cleaning schedule of the cleaning robot.
KR1020120047556A 2012-05-04 2012-05-04 Ship hull cleaning robot and method for controlling the same KR101444387B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120047556A KR101444387B1 (en) 2012-05-04 2012-05-04 Ship hull cleaning robot and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120047556A KR101444387B1 (en) 2012-05-04 2012-05-04 Ship hull cleaning robot and method for controlling the same

Publications (2)

Publication Number Publication Date
KR20130123990A true KR20130123990A (en) 2013-11-13
KR101444387B1 KR101444387B1 (en) 2014-09-30

Family

ID=49853101

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120047556A KR101444387B1 (en) 2012-05-04 2012-05-04 Ship hull cleaning robot and method for controlling the same

Country Status (1)

Country Link
KR (1) KR101444387B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526117B1 (en) * 2014-05-02 2015-06-05 재단법인대구경북과학기술원 Cleaning robot control method and apparatus based on autonomous learning
KR101894301B1 (en) * 2017-07-13 2018-09-04 삼성중공업 주식회사 Apparatus and method for anti-fouling using ultrasonic wave
CN109159137A (en) * 2018-11-05 2019-01-08 南京特沃斯清洁设备有限公司 The floor-cleaning machine device people of ground effect is washed in a kind of video assessment
CN110179411A (en) * 2019-06-03 2019-08-30 嘉应学院 A kind of sweeping robot based on image recognition
KR102407366B1 (en) * 2022-02-08 2022-06-10 (주)에스엘엠 A system for cleaning hull of ship
KR20220170479A (en) * 2021-06-23 2022-12-30 (주)에스엘엠 A system for providing cleaning image of ship and a method for providing cleaning image using the same

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102528004B1 (en) * 2016-07-25 2023-05-02 현대모비스 주식회사 Apparatus and method for generating around view
KR102055880B1 (en) 2018-09-04 2019-12-13 박영준 A system for providing hull cleaning information and the method of providing hull cleaning information using the same
KR102153672B1 (en) * 2020-05-19 2020-09-09 주식회사 더브라이트 Method, apparatus, and system of controlling duct cleaning robot
KR102479795B1 (en) 2021-03-22 2022-12-22 주식회사 타스글로벌 Image processing method for making a plurality of camera images into one image of ship cleaning robot, computer readable recording medium, computer program, and robot controlling method using the same
WO2022203340A1 (en) 2021-03-22 2022-09-29 주식회사 타스글로벌 Image processing method for processing plurality of camera images of ship cleaning robot to generate one image, computer readable recording medium, computer program, and robot control method using same

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100811540B1 (en) * 2006-11-30 2008-03-07 대우조선해양 주식회사 Rov for cleaning and inspection of ship hull
KR101075340B1 (en) * 2009-03-31 2011-10-19 박재현 Robot Cleaner with real-time sensing and method thereof

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526117B1 (en) * 2014-05-02 2015-06-05 재단법인대구경북과학기술원 Cleaning robot control method and apparatus based on autonomous learning
KR101894301B1 (en) * 2017-07-13 2018-09-04 삼성중공업 주식회사 Apparatus and method for anti-fouling using ultrasonic wave
CN109159137A (en) * 2018-11-05 2019-01-08 南京特沃斯清洁设备有限公司 The floor-cleaning machine device people of ground effect is washed in a kind of video assessment
CN109159137B (en) * 2018-11-05 2024-02-27 南京特沃斯清洁设备有限公司 Floor washing robot capable of evaluating floor washing effect through video
CN110179411A (en) * 2019-06-03 2019-08-30 嘉应学院 A kind of sweeping robot based on image recognition
KR20220170479A (en) * 2021-06-23 2022-12-30 (주)에스엘엠 A system for providing cleaning image of ship and a method for providing cleaning image using the same
KR102407366B1 (en) * 2022-02-08 2022-06-10 (주)에스엘엠 A system for cleaning hull of ship
WO2023153598A1 (en) * 2022-02-08 2023-08-17 (주)에스엘엠 Hull cleaning system

Also Published As

Publication number Publication date
KR101444387B1 (en) 2014-09-30

Similar Documents

Publication Publication Date Title
KR101444387B1 (en) Ship hull cleaning robot and method for controlling the same
WO2022205525A1 (en) Binocular vision-based autonomous underwater vehicle recycling guidance false light source removal method
KR101454855B1 (en) Ship hull inspection and analysys system, and method thereof
CN107176432A (en) A kind of anchor pole foreign matter and belt tearing detecting system based on machine vision
CN105844622A (en) V-shaped groove welding seam detection method based on laser visual sense
WO2003009579A3 (en) Computational methods for the segmentation of images of objects from background in a flow imaging instrument
CN109242032B (en) Target detection method based on deep learning
CN113674206B (en) Extraction method suitable for characteristic parameters of deep-melting K-TIG welding molten pool and keyhole entrance
CN108921132A (en) Unmanned aerial vehicle onboard cable detection system
Shakeel et al. Automated multimodal background detection and shadow removal process using robust principal fuzzy gradient partial equation methods in intelligent transportation systems
KR20110010329A (en) Dust detection method of cleaning robot
WO2014066218A2 (en) Cast recognition method and device, and urine analyzer
JP4676978B2 (en) Face detection device, face detection method, and face detection program
AU2016257063B2 (en) Pool cleaning apparatus with optimized control
Gavet et al. Visual perception based automatic recognition of cell mosaics in human corneal endotheliummicroscopy images
Nishida et al. Crack detection in a concrete structure using an underwater vehicle
KR101845280B1 (en) System and method for recognizing vehicle number by removing shadow signals
AU2021368390B2 (en) Multi-target recognition system and method for follow-up robot based on coded thermal infrared mark
Sanap et al. License plate recognition system for Indian vehicles
US20240169485A1 (en) Image Processing Method of Processing Images from a Plurality of Cameras in Ship Cleaning Robot Into Single Image, Computer Readable Recording Medium, Computer Program, and Robot Control Method Using the Same
Paraskevas et al. Detecting Holes in Fish Farming nets: A Two–Method approach
Awalludin et al. A comparative study of various edge detection techniques for underwater images
Rahman et al. Architecture of the vision system of a line following mobile robot operating in static environment
KR102479795B1 (en) Image processing method for making a plurality of camera images into one image of ship cleaning robot, computer readable recording medium, computer program, and robot controlling method using the same
CN116385730A (en) Image processing and recognition method for assisting underwater robot operation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180903

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190829

Year of fee payment: 6