KR20150136783A - 모바일 기기, 청소로봇 및 그 제어방법 - Google Patents

모바일 기기, 청소로봇 및 그 제어방법 Download PDF

Info

Publication number
KR20150136783A
KR20150136783A KR1020140064205A KR20140064205A KR20150136783A KR 20150136783 A KR20150136783 A KR 20150136783A KR 1020140064205 A KR1020140064205 A KR 1020140064205A KR 20140064205 A KR20140064205 A KR 20140064205A KR 20150136783 A KR20150136783 A KR 20150136783A
Authority
KR
South Korea
Prior art keywords
cleaning robot
touch
cleaning
mobile device
display unit
Prior art date
Application number
KR1020140064205A
Other languages
English (en)
Other versions
KR102183012B1 (ko
Inventor
소제윤
김진희
윤상식
김신
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140064205A priority Critical patent/KR102183012B1/ko
Priority to CN201910376308.9A priority patent/CN110037621B/zh
Priority to PCT/KR2015/005346 priority patent/WO2015183005A1/en
Priority to CN201580028102.7A priority patent/CN106413501B/zh
Priority to EP15800141.2A priority patent/EP3149862B1/en
Priority to US15/314,506 priority patent/US10291765B2/en
Publication of KR20150136783A publication Critical patent/KR20150136783A/ko
Application granted granted Critical
Publication of KR102183012B1 publication Critical patent/KR102183012B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0016—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the operator's input device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04Q—SELECTING
    • H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/30—User interface
    • G08C2201/34—Context aware guidance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C2201/00—Transmission systems of control signals via wireless link
    • G08C2201/90—Additional features
    • G08C2201/93—Remote control using other portable devices, e.g. mobile phone, PDA, laptop

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Electric Vacuum Cleaner (AREA)

Abstract

모바일 기기, 청소 로봇 및 청소 로봇의 제어 방법에 관한 발명이다.
일 측면에 따른 모바일 기기는 촬영부, 촬영부에서 획득된 청소 로봇의 영상을 표시하고 터치를 입력받는 디스플레이부 및 입력된 터치에 대응되는 위치로 청소 로봇이 이동하도록 제어하는 제어부를 포함한다.
　　

Description

모바일 기기, 청소로봇 및 그 제어방법 { Mobile device, robot cleaner and method for controlling the same }
모바일 기기, 청소 로봇 및 모바일 기기의 증강 현실을 이용한 청소 로봇의 제어 방법에 관한 발명이다.
청소 로봇은 사용자의 조작 없이도 청소하고자 하는 영역을 스스로 주행하면서 바닥으로부터 먼지 등의 이물질을 흡입함으로써, 청소 영역을 자동으로 청소하는 장치이다.
종래에는 청소 로봇의 구동/제어를 위해 제품에 포함된 적외선 또는 근거리 통신 방식의 일반 리모컨을 이용하여 직진, 후진 좌회전, 우회전 등의 직각 주행이로 조정하거나, 리모컨 내의 관성센서를 이용하여 사용자가 이를 기울이거나 충격을 주어 청소로봇을 제어할 수 있었다.
또한, 청소로봇의 상태 정보를 사용자가 확인하는 방법으로 능동적인 방법과 수동적인 방법이 있었으며, 수동적인 방법은 청소로봇 자체에서 이상이 발생하여 구동하지 못하는 상황이 발생하면 사용자에게 알람표시 및 음성을 제공하였다.
다만, 위와 같은 제어 방법은 사용자가 원하는 위치로 쉽고 빠르게 청소로봇의 이동이 이루어 지지 않으며, 청소 로봇의 센서에 이상이 발생하면 사용자가 청소로봇의 상태를 파악하기 위해 직접 매뉴얼을 찾아봐야 하는 등의 불편함이 있었다.
본 발명은 상술한 문제점을 해결하기 위한 것으로 모바일 기기에 의해 주행 경로가 제어되는 청소 로봇 및 그 제어 방법을 제공하고자 한다.
또한, 문제 발생시 신속한 대응이 가능하도록 모바일 기기와 현재의 청소 로봇의 상태를 공유하는 청소 로봇 및 그 제어 방법을 제공하고자 한다.
또한, 모바일 기기와 청소 로봇의 청소 상태를 공유하는 청소 로봇 및 그 제어 방법을 제공하고자 한다.
상술한 목적을 달성하기 위한 일 측면에 따른 모바일 기기는 촬영부, 촬영부에서 획득된 청소 로봇의 영상을 표시하고, 터치를 입력받는 디스플레이부 및 입력된 터치에 대응되는 위치로 청소 로봇이 이동하도록 제어하는 제어부를 포함한다.
또한, 제어부는 청소로봇이 입력된 터치에 대응되는 위치까지 최단거리로 이동하도록 제어할 수 있다.
또한, 제어부는 청소 로봇이 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하도록 제어할 수 있다.
또한, 디스플레이부는, 연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받을 수 있다.
또한, 제어부는 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정할 수 있다.
또한, 제어부는 호모그래피 행렬 변환을 이용해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정할 수 있다.
또한, 제어부는 청소 로봇이 터치로부터 설정된 경로를 이탈한 것으로 판단되면, 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 재결정 할 수 있다.
또한, 제어부는, 모바일 기기의 이동이 있는 것으로 판단되면, 청소 로봇으로부터 수신한 맵 상에 모바일 기기의 이동 정도를 반영한 터치 지점을 결정할 수 있다.
또한, 제어부는 청소 로봇에 맵 정보를 출력해 터치에 대응되는 위치로 청소 로봇이 이동하도록 제어할 수 있다.
또한, 제어부는 맵을 통해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하고, 청소 로봇에 결정된 청소 로봇의 이동 거리 및 헤딩(heading) 각도에 대한 데이터 신호를 출력할 수 있다.
또한, 제어부는 맵 상에 결정된 청소 로봇의 현재 위치 및 터치 지점을 이용해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정할 수 있다.
또한, 청소 로봇은 마커를 포함하고, 제어부는 촬영부에서 획득된 영상을 영상 처리해 마커가 인식되면, 청소 로봇이 인식된 것으로 판단할 수 있다.
또한, 제어부는 촬영부에서 획득된 마커의 영상 정보를 이진화하고, 이진화된 영상 정보로부터 마커의 후보 영역을 검출해 마커를 인식할 수 있다.
또한, 디스플레이부는 청소 로봇이 인식되었음을 알리는 미리 설정된 청소 로봇의 검출 표지를 표시할 수 있다.
또한, 청소 로봇을 포함하는 외부 기기와 통신하는 통신부를 더 포함할 수 있다.
또한, 디스플레이부는 청소 로봇의 이동 경로를 표시할 수 있다.
또한, 디스플레이부는 청소 로봇의 청소 영역 또는 청소 필요 영역을 표시할 수 있다.
다른 측면에 따른 모바일 기기는 촬영부 및 촬영부에서 획득된 청소 로봇 영상 및 청소 로봇에 대한 상태 정보를 표시하는 디스플레이부를 포함한다.
또한, 상태 정보는 청소 배터리 충전 상태에 대한 정보, 이물질의 존재 여부에 대한 정보, 상가 청소 로봇의 먼지통에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보를 포함하는 군에서 선택된 적어도 하나를 포함할 수 있다.
또한, 디스플레이부는, 표시된 청소 로봇 영상 주위 또는 미리 설정된 디스플레이부 상의 소정의 지점에 청소 로봇에 대한 상태 정보를 표시할 수 있다.
또한, 청소 로봇에 대한 상태 정보를 출력하는 음향 출력부를 더 포함할 수 있다.
또한, 디스플레이부는 청소 로봇에 대한 상태 정보를 요청하는 사용자의 터치를 입력받을 수 있다.
또한, 청소 로봇을 포함하는 외부 기기와 통신을 수행하는 통신부를 더 포함할 수 있다.
또한, 청소 로봇에 대한 상태 정보 데이터가 저장된 저장부를 더 포함할 수 있다.
또한, 저장부에 저장된 상태 정보 데이터는 서비스 센터로부터 획득된 것을 포함할 수 있다.
다음으로, 일 측면에 따른 청소 로봇은 본체 및 본체에 마련된 마커를 포함하고, 마커가 모바일 기기의 디스플레이부에 표시되고 디스플레이부에 터치가 입력되면 터치 지점으로 이동한다.
또한, 마커가 디스플레이부에 표시되고 디스플레이부에 터치가 입력되면 터치 지점으로 이동하도록 제어하는 제어부를 더 포함할 수 있다.
또한, 마커는 본체 상부에 마련될 수 있다.
또한, 모바일 기기를 포함하는 외부 기기와 통신하는 통신부를 더 포함할 수 있다.
일 측면에 따른 청소 로봇의 제어 방법은 모바일 기기의 디스플레이부에 청소 로봇의 영상이 표시되는 단계, 디스플레이부에 터치를 입력받는 단계, 터치 지점에 대응되는 위치로 청소 로봇이 이동하는 단계를 포함한다.
또한, 터치 지점에 대응되는 위치로 청소 로봇이 이동하는 단계는, 청소 로봇이 입력된 터치에 대응되는 위치까지 최단거리로 이동하는 것을 포함할 수 있다.
또한, 터치 지점에 대응되는 위치로 청소 로봇이 이동하는 단계는, 청소 로봇이 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하는 것을 포함할 수 있다.
또한, 디스플레이부에 터치를 입력받는 단계는, 연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받는 것을 포함할 수 있다.
또한, 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계를 더 포함할 수 있다.
또한, 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는, 청소 로봇과 터치 지점과 대응되는 위치까지의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함할 수 있다.
또한, 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는, 호모그래피 행렬 변환을 이용해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함할 수 있다.
또한, 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
청소 로봇의 실세계 좌표와 터치 지점과 대응되는 위치의 위치 좌표를 이용해 청소 로봇과 터치 지점과 대응되는 위치까지의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함할 수 있다.
또한, 청소 로봇이 터치로부터 설정된 경로를 이탈한 것으로 판단되면, 청소 로봇의 경로 이탈을 보정하는 단계를 더 포함할 수 있다.
또한, 청소 로봇의 경로 이탈을 보정하는 단계는 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 재결정하는 것을 포함할 수 있다.
또한, 디스플레이부에 터치를 입력받는 단계는, 모바일 기기의 이동 후 디스플레이부에 터치를 입력받는 것을 포함할 수 있다.
또한, 모바일 기기의 이동을 반영해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계를 더 포함할 수 있다.
또한, 모바일 기기의 이동을 반영해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는, 청소 로봇으로부터 맵을 수신하는 단계, 모바일 기기의 이동 정도를 산출하는 단계 및 모바일 기기의 이동 정도를 고려해 맵 상에 터치 지점을 결정하는 단계를 포함할 수 있다.
또한, 모바일 기기의 이동을 반영해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는, 맵을 분석해 청소 로봇의 이동 거리 및 헤딩 각도를 결정하는 단계 및 청소 로봇의 이동 거리 및 헤딩 각도에 대한 정보를 청소 로봇에 송신하는 단계를 더 포함할 수 있다.
또한, 모바일 기기의 이동을 반영해 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는, 맵을 청소 로봇에 송신하는 단계 및 맵을 분석해 청소 로봇의 이동 거리 및 헤딩 각도를 결정하는 단계를 더 포함할 수 있다.
또한, 청소 로봇이 인식되었음을 확인하는 검출 표지를 출력하는 단계를 더 포함할 수 있다.
또한, 청소 로봇이 인식되었음을 확인하는 검출 표지를 출력하는 단계는, 디스플레이부에 검출 표지가 출력되는 것을 포함할 수 있다.
또한, 디스플레이부에 청소 로봇의 상태 정보를 표시하는 단계를 더 포함할 수 있다.
또한, 상태 정보는, 청소 배터리 충전 상태에 대한 정보, 이물질의 존재 여부에 대한 정보, 청소 로봇의 먼지통에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보를 포함하는 군에서 선택된 적어도 하나를 포함할 수 있다.
또한, 디스플레이부에 청소 로봇의 청소 상태를 표시하는 단계를 더 포함할 수 있다.
또한, 상기 디스플레이부에 청소 로봇의 청소 상태를 표시하는 단계는,청소 로봇의 이동 경로, 청소 영역 또는 청소 필요 영역을 표시하는 것을 포함할 수 있다.
이상에서 설명한 바와 같이 구성되는 모바일 기기, 청소 로봇 및 청소 로봇의 제어 방법에 의하면 다음과 같은 효과를 기대할 수 있다.
먼저, 증강 현실을 이용해 모바일 기기의 디스플레이부에 청소 로봇의 영상을 표시함으로써 청소 로봇의 이동 경로를 실시간으로 확인할 수 있다.
또한, 모바일 기기에 출력되는 영상을 이용한 피드백 제어(feedback control)가 가능한 바, 청소 로봇의 이동 중 생기는 오차를 보정하여 주행의 정확성을 확보할 수 있다.
또한, 모바일 기기를 이용해 청소 로봇의 이동 경로를 자유롭게 설정함으로써 간단하게 다양한 수동 조작을 수행할 수 있다.
또한, 증강 현실을 이용해 모바일 기기의 디스플레이부에 청소 로봇의 상태 또는 청소 상태 등을 표시할 수 있다.
도 1은 일 실시 예에 따른 청소 시스템의 구성도이다.
도 2는 도 1의 일 구성인 청소 로봇의 평면도이다.
도 3은 일 실시 예에 따른 청소 로봇의 저면도이다.
도 4는 청소 로봇의 전방과 후방을 명확하게 인식 가능하도록 하는 마커의 예를 도시한 도면이다.
도 5는 일 실시 예에 따른 청소 로봇의 제어 구성도이다.
도 6은 도 1의 일 구성인 모바일 기기의 평면도 이다.
도 7a 내지 도 7b은 일 실시 예에 따른 모바일 기기의 제어 구성도이다.
도 8은 일 실시 예에 따른 청소 시스템의 제어 구성도이다.
도 9 및 도 10은 일 실시 예에 따른 증강 현실을 이용한 청소 로봇의 이동 위치 지정 및 지정 위치 이동 과정을 나타낸 순서도이다.
도 11a 내지 도 11d는 일 실시 예에 따른 청소 로봇의 이동 위치 지정 및 지정 위치 이동의 예를 도시한 도면이다.
도 12a 내지 도 12b는 멀티 터치를 통한 청소 로봇의 이동 위치 지정 및 지정 위치 이동 예를 도시한 도면이다.
도 13a 내지 도 13b는 드래그 터치를 통한 청소 로봇의 이동 위치 지정 및 지정 위치 이동 예를 도시한 도면이다.
도 14는 청소 로봇의 이동 경로에 대한 오차 보정 과정을 포함하는 청소 로봇의 이동 위치 지정 및 지정 위치 이동 과정을 나타낸 순서도이다.
도 15a 내지 도 15c는 청소 로봇의 이동 경로에 대한 오차 보정 과정을 포함하는 청소 로봇의 이동 위치 지정 및 지정 위치 이동 예를 도시한 도면이다.
도 16 및 도 17은 모바일 기기의 이동을 포함하는 청소 로봇의 이동 위치 지정 및 지정 위치 이동 과정을 나타낸 순서도이다.
도 18a 내지 도 18d는 모바일 기기의 이동을 포함하는 청소 로봇의 이동 위치 지정 및 지정 위치 이동 과정의 예를 도시한 도면이다.
도 19는 일 실시 예에 따른 증강 현실을 이용한 청소 로봇의 상태 정보 공유 및 자가 검증 매뉴얼 제공 과정을 나타낸 순서도이다.
도 20 및 도 21는 모바일 기기의 디스플레이부에 청소 로봇의 상태가 공유된 예를 도시한 도면이다.
도 22a 내지 도 22c는 모바일 기기의 디스플레이부에 청소 로봇의 검증 매뉴얼이 제공되는 과정의 예를 도시한 도면이다.
도 23은 일 실시 예에 따른 증강 현실을 이용한 청소 상태 제공 및 확인 과정을 나타낸 순서도다.
도 24는 일 실시 예에 따른 청소 상태 제공 및 확인 과정의 예를 도시한 도면이다.
본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 바람직한 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시 예와 도면을 대체할 수 있는 다양한 변형　예들이 있을 수 있다.
이하에서는 첨부한 도면을 참조하여 본 발명에 대해 상세하게 설명한다.
도 1은 일 실시 예에 따른 청소 로봇(100)과, 청소 로봇(100)과의 도킹을 통해 청소 로봇(100)에 전력을 공급하는 충전대(200)와, 청소 로봇(100)과 통신을 수행하는 모바일 기기(300)를 포함하는 청소 시스템의 구성도이다.
청소 로봇(100)은 사용자에 의해 청소 명령이 입력되거나 청소 예약 시간이 되면 청소 모드를 수행한다. 이 때 청소 로봇(100)은 모바일 기기(300)로부터 출력되는 사용자의 주행 명령을 수신해 이동할 수 있으며, 청소 로봇(100)의 이동 경로 상에 존재하는 이물질을 흡입하며 청소를 수행할 수 있다.
청소 로봇(100)은 모바일 기기(300)에 터치가 입력되면, 입력된 터치에 대어응되는 위치로 이동한다. 청소 로봇(100)이 입력된 터치에 대응되는 위치로 이동하는 것은, 입력된 터치에 대응되는 위치까지 최단거리로 이동하는 것을 포함할 수 있다. 또한, 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하는 것을 포함할 수 있다.
청소 로봇(100)은 모바일 기기(300)로부터 단일 지점에 대한 터치가 입력되면 입력된 단일 터치에 대응되는 위치로 이동할 수 있으며, 복수 지점에 대한 터치가 입력되면 입력된 복수 터치에 대응되는 지점을 거치며 이동할 수 있으며, 드래그 터치가 입력되면 입력된 드래그 터치와 대응되는 경로를 따라 이동할 수 있다.
충전대(200)는 청소 로봇(100)이 도킹되어 전력을 공급받는 장소이다. 청소 로봇(100)은 사용자로부터 청소 종료 명령이 입력되거나, 청소가 완료 되었다고 판단되거나, 또는 배터리의 양이 기준 양보다 낮아지게 되면 충전대(200)와의 도킹을 수행하고, 도킹이 완료되면 충전대(200)로부터 전력을 공급받아 충전을 수행한다.
충전대(200)는 외부의 상용 교류 전원과 연결되어 외부의 상용 교류 전원을 공급받고 외부에서 공급된 상용 교류 전력을 변환하는 트랜스포머와, 변환된 전력을 반파 정류 또는 전파 정류하는 정류부와, 정류된 전력을 평활하는 평활부와, 평활된 전력을 일정 전압을 가진 직류 전력으로 출력하는 전압조절부를 포함하고, 전압 조절부에서 출력된 직류 전력을 전원 단자를 통해 청소 로봇(100)에 공급할 수 있다.
충전대(200)는 청소 로봇(100)과의 도킹을 위한 도킹 신호를 청소 로봇(100)과 송수신하는 통신부를 더 포함할 수 있다.
모바일 기기(300)는 이동 및 통신이 가능하고 영상 촬영이 가능한 기기로 청소 로봇(100)과 통신을 수행한다. 이러한 모바일 기기(300)는IP 제 3 촬영부(331), 스마트폰, 디지털 제 3 촬영부(331), 노트북, 태블릿 등을 포함할 수 있다.
모바일 기기(300)를 통해 청소 로봇(100)의 이동 위치를 지정할 수 있으며, 청소 로봇(100)의 상태 정보 또는 청소 상태가 출력될 수 있다.
모바일 기기(300)는 사용자의 연속적인 터치 또는 불연속적인 터치를 입력 받거나, 단일 터치 또는 멀티 터치를 입력받을 수 있다.
이하, 청소 로봇(100)과 모바일 기기(300)에 대해 보다 상세하게 설명한다.
먼저 도 2 내지 5를 참조해 청소 로봇(100)에 대해 설명하고, 도 6, 도 7a 및 도 7b를 참조해 모바일 기기(300)에 대해 설명한다.
도 2는 도 1의 일 구성인 청소 로봇(100)의 평면도이고, 도 3은 일 실시 예에 따른 청소 로봇(100)의 저면도이고, 도 4는 청소 로봇(100)의 전방과 후방을 명확하게 인식 가능하도록 하는 마커(105)의 예를 도시한 도면이고, 도 5는 일 실시 예에 따른 청소 로봇(100)의 제어 구성도이다.
도 2 내지 도 5을 참조하면, 일 실시 예에 따른 청소 로봇(100)은 외관을 형성하는 본체(110)와, 본체(110)의 상부에 장착되어 동작 정보 및 예약 정보를 입력받고 동작 정보를 표시하는 디스플레이부(120)와, 본체(110)의 상부에 장착되어 청소 영역 내 본체(110) 주변의 영상을 수집하는 영상부(130)와, 본체(110)의 전면 및 좌우 측면에 장착되어 청소 로봇(100)의 전방 및 좌우 측방에 위치한 장애물을 감지하는 장애물 센서(140)와, 충전대(200) 및 모바일 기기(300)와 같은 외부 기기와 통신을 수행하는 통신부(150)와, 본체(110)의 하부에 설치되어 본체(110)를 이동시키는 이동 어셈블리(160)와, 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸리거나 비산된 먼지를 흡입하는 청소 툴 어셈블리(170, 174)와, 구동 모듈(190)을 포함할 수 있다. 구동 모듈(190)은 구동부(193, 194)와, 저장부(192)와, 제어부(195)를 포함할 수 있으며, 이하 후술할 모바일 기기(300)의 제어 구성과의 구분을 위해 제 1 디스플레이부, 제 1 영상부(130), 제 1 통신부(151), 제 2 통신부(152), 제 1 구동부(193), 제 2 구동부(194), 제 1 저장부(192), 제 1 제어부(195)로 기재한다.
본체(110)의 전면 또는 후면에는 장애물과 충돌 시 충격을 완화시키는 범퍼(111)가 장착될 수 있으며, 본체(110)의 상부에는 모바일 기기(300)가 청소 로봇(100)을 인식하도록 마련된 마커(105)가 형성될 수 있다.
마커(105)는 청소 로봇(100) 의 존부와 청소 로봇(100)이 향하고 있는 방향을 인지하는 수단으로, 청소 로봇(100)의 전방과 후방을 명확하게 인식 가능하도록 하는 모든 형상으로 마련될 수 있다.
예를들어, 도 2의 경우에는 마커(105) a 구역의 장축을 기준으로 청소 로봇(100)의 전방과 후방을 결정하고, 마커(105) a 구역의 단축이 향하는 마커(105) b 구역 방향을 청소 로봇(100)의 후방으로 결정하고, 마커(105) a 구역의 단축이 향하는 마커(105) b 구역의 반대 방향을 청소 로봇(100)의 전방으로 결정할 수 있다.
도 4를 참조하면,　도 4의 (a)의 경우 하나의 원이 향하는 방향을 청소 로봇(100)의 전방으로 결정하고, 두 개의 원이 향하는 방향을 청소 로봇(100)의 후방으로 결정할 수 있다. 도 4의 (b)의 경우 이등변 삼각형의 꼭지점이 향하는 방향을 청소 로봇(100)의 전방으로 결정하고, 이등변 삼각형의 밑변이 향하는 방향을 청소 로봇(100)의 후방으로 결정할 수 있다. 도 4의 (c)의 경우 가장 얇은 직육면체가 향하는 방향을 청소 로봇(100)의 전방으로 결정하고, 가장 두꺼운 직육면체가 향하는 방향을 청소 로봇(100)의 후방으로 결정할 수 이다. 도 4의 (d)의 경우 이등변 삼각형의 꼭지점이 향하는 방향을 청소 로봇(100)의 전방으로 결정하고, 이등변 삼각형 아래의 원이 향하는 방향을 청소 로봇(100)의 후방으로 결정할 수 있다.
마커(105)의 예가 이에 한정되는 것은 아니며 통상의 기술자가 용이하게 생각할 수 있는 범위 내의 변경을 포함할 수 있으며, 마커(105)는 청소 로봇(100)의 인식률을 높이기 위해 청소 로봇(100)의 형상/디자인, 신호 발신 시스템, 특정색 LED 등으로 대체될 수 있다.
제 1 디스플레이부(120)는 사용자로부터 명령을 입력 받고 청소 로봇(100)의 동작 상태 등을 표시한다. 보다 상세하게, 제 1 디스플레이부(120)는 청소 예약 정보, 청소 시작/종료, 운전 모드 및 주행 패턴 등을 입력받는 입력부(121)와, 청소 예약 정보, 충전 상태, 집진 상태, 주행 패턴 및 운전 모드 등을 표시하는 표시부(122)를 포함할 수 있다. 여기서 운전 모드는 청소 모드, 대기 모드, 도킹 모드 및 예약 모드 등을 포함할 수 있다. 이하, 후술할 모바일 기기(300)의 제어 구성과의 구분을 위해 제 1 입력부(121), 제 1 표시부(122)로 기재한다.
제 1 영상부(130)는 본체(110)의 주변 영상을 수집한다. 일 실시 예에 따른 제 1 영상부(130)의 촬영 방향은 바닥 면과 반대 방향인 상측 방향을 향할 수 있다.
제 1 영상부(130)는 맵 작성 모드일 때 홈 내의 맵을 작성하기 위해 본체(110) 주변의 영상을 수집할 수 있고, 청소 모드일 때 본체(110)의 위치 정보 및 장애물을 검출하기 위해 본체(110) 주변의 영상을 수집할 수 있다.
제 1 영상부(130)는 제 1 촬영부(131)와 제 2 촬영부(132)를 포함할 수 있다. 제 1 촬영부(131)와 제 2 촬영부(132)는 주행 방향을 기준으로 전후로 배치될 수 있으며, 주행 방향을 기준으로 좌우로 배치되는 것도 가능하다.
제 1 촬영부(131)와 제 2 촬영부(132)는 2차원의 컬러 카메라를 각각 포함할 수 있으며, 2차원의 컬러 카메라를 이용해 2차원의 컬러 영상을 각각 수집할 수 있다. 이 때, 제 1 촬영부(131)와 제 2 촬영부(132)에서 수집된 2차원의 두 영상은 3차원의 영상을 획득하는데 이용될 수 있다.
제 1 촬영부(131)와 제 2 촬영부(132)는 적외선(IR : Infra Red) 송수신 장치를 포함하는 것도 가능하다. 또한, 제 1 촬영부(131)는 2차원의 컬러 카메라를 포함하고, 제 2 촬영부(132)는 3차원 카메라인 깊이 카메라(Depth camera)를 포함하는 것도 가능하다.
제 1 영상부(130)는 맵 작성모드일 때에 제 1 촬영부(131)와 제 2 촬영부(132)를 모두 동작시킬 수 있으며, 청소 모드일 때 제 1 촬영부(131)만 동작시킬 수 있다.
장애물 센서(140)는 장애물과의 거리를 감지하는 거리 센서 및 장애물과의 충돌을 감지하는 충돌 센서 중 적어도 하나를 포함할 수 있다.
통신부(150)는 제 1 제어부(195)의 제어에 따라 청소 로봇(100)을 외부 기기와 연결할 수 있다. 　통신부(150)는, 도킹 모드 시에 충전대(200)와 통신을 수행하기 위한 제 1 통신부(151)와, 모바일 기기(300)와 통신을 수행하기 위한 제 2 통신부(152)를 포함할 수 있다.
제 1 통신부(151)는 도킹을 위해 RF 통신, 적외선 통신, 초음파 통신 중 적어도 하나의 방식으로 통신을 수행할 수 있으며, 제 2 통신부(152)는 모바일 기기(300)와의 통신을 위해 무선 랜, 근거리 통신 중 적어도 하나의 방식으로 통신을 수행할 수 있다.
무선 랜 방식은 제 1 제어부(195)의 제어에 따라 AP(Access point)가 설치된 장소에서 무선을 이용하여 AP(Access point)와 연결될 수 있다.
근거리 통신은 블루투스(bluetooth), 블루투스 저에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(WiFi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
이동 어셈블리(160)는　본체(110)의 중앙 영역을 기준으로 좌우 가장자리에 설치되어 청소 로봇(100)을 전진, 후진 및 회전시키는 한 쌍의 횔(161, 162)과, 각 휠(161, 162)에 이동력을 인가하는 휠 모터(163, 164)와, 본체(110)의 전방에 설치되어 청소 로봇(100)이 이동하는 바닥 면의 상태에 따라 회전하여 각도가 변화하는 캐스터 휠(165)을 포함한다.
한 쌍의 휠(161, 162)은 본체(110)에 서로 대칭적으로 배치될 수 있다.
캐스터 휠(165)은 청소 로봇(100)의 자세 안정 및 추락 방지 등에 활용되어 청소 로봇(100)을 지지하며, 롤러나 캐스터 형상을 가질 수 있다.
청소 툴 어셈블리(170, 174)는 본체(110)의 하부에 설치되어 바닥의 먼지를 쓸거나 비산시키고 쓸거나 비산된 먼지를 흡입하는 메인 브러시 어셈블리(170)와, 본체(110)의 하부에 설치되되 외부로 돌출 가능하게 설치되고 메인 브러시 어셈블리(170)에 의해 청소되는 영역과 다른 영역의 먼지를 쓸어 메인 브러시 어셈블리(170)로 전달하는 사이드 브러시 어셈블리(174)를 포함한다.
메인 브러시 어셈블리(170)는 본체(110) 하부의 흡입구에 마련될 수 있다. 또한, 본체(110) 하측 바닥의 먼지를 쓸거나 비산시키는 메인 브러시(172)와, 메인 브러시(172)를 회전시키는 브러시 모터(173)를 포함할 수 있다. 또한, 메인 브러시(172)는 브러시 모터(173)에 기계적으로 연결된 롤러와, 롤러의 외주면에 장착된 브러시 부재를 포함할 수 있다. 즉, 브러시 모터(173)의 구동에 의해 메인 브러시(172)의 롤러가 회전하면서 롤러에 장착된 브러시 부재를 회전시킬 수 있으며, 이 때 메인 브러시(172)의 브러시 부재는 바닥면의 먼지를 흡입구(171)로 보낼 수 있다.
사이드 브러시 어셈블리(174)는 본체(110)의 전방 및 사이드 방향의 바닥 먼지와 메인 브러시(172)가 쓸지 못하는 곳의 바닥 먼지를 흡입구(171) 측으로 쓸어 주어 청소 효율을 향상시킬 수 있으며, 본체(110) 전면의 좌 측면에 위치한 제 1 사이드 브러시 어셈블리(174a)와 본체(110) 전면의 우 측면에 위치한 제 2 사이드 브러시 어셈블리(174b)를 포함할 수 있다.
또한, 제 1, 2 사이드 브러시 어셈블리(174a, 174b)는 본체(110)에 분리 가능하게 장착된 몸체와, 몸체에 회전 가능하게 장착되어 본체(110)의 외부로 돌출 가능한 사이드 암과, 본체(110)의 외부로 돌출 가능한 사이드 암에 회전 가능하게 장착된 브러시를 포함할 수 있다. 또한, 제 1, 2 사이드 브러시 어셈블리(174a, 174b)는 본체(110)의 전면 좌우 측면에 회전 가능하게 장착된 사이드 브러시만 포함하는 것도 가능하다.
전원부(180)는 본체(110)에 장착된 각종 구성부와 전기적으로 연결되어 각종 구성부에 구동을 위한 전력을 공급하는 배터리를 포함할 수 있다. 배터리는 재충전이 가능한 2차 배터리를 포함할 수 있으며, 충전단자를 통해 충전대(200)와 전기적으로 연결되어 충전대(200)로부터 전력을 공급받아 충전될 수 있다.
구동 모듈(190)은 제 1 디스플레이부(120)의 제 1 표시부(122)를 구동시키고, 또한 제 1 디스플레이부(120)의 제 1 입력부(121)에 입력된 정보, 장애물 센서(140)에서 감지된 장애물 정보 및 모바일 기기(300)에서 전송된 영상 정보에 기초하여 이동 어셈블리(160), 청소 툴 어셈블리(170, 174) 및 통신부(150)를 구동시킬 수 있다.
제 1 저장부(192)는 청소 로봇(100)을 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다.
제 1 저장부(192)는 통신부(150), 제 1 디스플레이부(120), 및 전원부(180)의 구동에 대응되는 입/출력 신호 또는 데이터를 저장할 수 있다.
제 1 저장부(192)는 청소 로봇(100) 및 제 1 제어부(195)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되는 전용 어플리케이션 또는 외부에서부터 다운로드 받은 범용 어플리케이션, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
제 1 저장부(192)는 청소 로봇(100)의 주행 경로에 대한 정보를 저장할 수 있다.
제 1 저장부(192)는 청소 로봇(100)의 상태에 대한 정보를 데이터베이스화해 저장할 수 있다. 청소 로봇(100)의 상태 대한 데이터베이스는 먼지통에 대한 정보, 바퀴에 대한 정보, 메인 브러시(172)에 대한 정보, 장애물 센서(140)에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보 등을 포함할 수 있다. 아울러, 제 1 저장부(192)는 서비스 센터와의 통신 과정에서 수신된 청소 로봇(100)의 상태에 대한 정보를 저장할 수도 있다.
제 1 구동부(193)는 이동 어셈블리(160)의 휠 모터(163, 164)를 구동시킨다. 이 때, 좌우 휠 모터(163, 164)의 회전 속도를 달리 함으로써 본체(110)의 회전이 가능하도록 할 수 있다.
제 2 구동부(194)는 청소 툴 어셈블리(170, 174)의 브러시 모터(173)를 구동시킨다.
제 1 제어부(195)는 청소 로봇(100)의 전반적인 동작 및 청소 로봇(100)의 내부 구성요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제 1 제어부(195)는 사용자로부터 명령이 입력되거나, 미리 설정되어 저장된 조건을 만족하는 경우 제 1 저장부(192)에 저장된 프로그램 또는 어플리케이션을 실행할 수 있다.
제 1 제어부(195)는 제 1 디스플레이부(120)의 제 1 입력부(121)로부터 입력받은 청소 예약 정보, 청소 시작/종료 등에 대한 내용이 제 1 디스플레이부(120)의 제 1 표시부(122)에서 출력되도록 제어할 수 있다.
제 1 제어부(195)는 제 1 영상부(130)의 제 1 촬영부(131)와 제 2 촬영부(132)를 통해 수집된 영상으로부터 청소 영역의 맵을 작성할 수 있으며, 작성된 맵이 제 1 저장부(192)에 저장되도록 제어할 수 있다. 아울러, 제 1 영상부(130)에서 수집된 영상으로부터 청소 로봇(100)의 위치를 파악할 수 있다. 청소 로봇(100)의 위치를 파악하는 것은 작성된 맵 상에 청소 로봇(100)의 위치를 파악하는 것을 포함할 수 있다.
제 1 제어부(195)는 장애물 센서(140)로부터 출력된 장애물 감지 정보를 수신하고 이를 제 1 구동부(193)로 출력해 장애물을 회피하며 주행하도록 휠 모터(163, 164)의 구동을 제어할 수 있다.
제 1 제어부(195)는 제 2 통신부(152)를 통해 모바일 기기(300)로부터 청소 로봇(100)의 제어 신호를 수신할 수 있다. 보다 상세하게, 제 1 제어부(195)는 제 2 통신부(152)를 통해 수신한 제어 신호를 제 1 구동부(193)로 출력해 휠 모터(163, 164)의 구동을 제어할 수 있으며, 제어 신호를 제 2 구동부(194)로 출력해 브러시 모터(173)의 구동을 제어할 수 있다. 이에, 청소 로봇(100)은 모바일 기기(300)에서 입력된 터치 지점과 대응되는 위치로 이동할 수 있다.
청소 로봇(100)이 모바일 기기(300)에서 입력된 터치 지점과 대응되는 위치로 이동하는 중에 이동 오차가 발생될 수 있다. 이 경우, 제 1 제어부(195)는 모바일 기기(300)와 연결 가능한 제 2 통신부(152)를 통해 청소 로봇(100)의 이동 오차가 보정된 새로운 경로에 대한 제어 신호를 수신할 수 있으며, 이동 오차가 보정된 새로운 경로로 청소 로봇(100)이 이동하도록 제어할 수 있다.
제 1 제어부(195)는 제 2 통신부(152)를 통해 청소 로봇(100)의 상태 또는 청소 로봇(100)의 청소 상태에 대한 정보가 모바일 기기(300)를 포함한 외부 기기로 출력되도록 제어할 수 있다.
다음으로, 도 6은 도 1의 일 구성인 모바일 기기(300)의 예시도 이고, 도 7a 및 도 7b은 일 실시 예에 따른 모바일 기기(300)의 제어 구성도이다.
도 6, 도 7a, 및 도 7b를 참조하면, 일 실시 예에 따른 모바일 기기(300)는 외관을 형성하는 본체(310)와, 본체(310) 전면에 마련되어 사용자로부터 동작 정보를 입력 받고 동작 정보를 표시하는 디스플레이부(320)와, 본체(310)의 전면 또는 후면에 마련되어 본체(310) 주위의 영상을 수집하는 영상부(330)와, 모바일 기기(300)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장하는 저장부(340)와, 청소 로봇(100)을 포함하는 외부 기기와 통신을 수행하는 통신부(350)와, 모바일 기기(300)의 전반적인 동작을 제어하는 제어부(360)를 포함할 수 있다. 아울러, 청소 로봇(100)에 대한 상태 정보를 출력하는 음향 출력부(270)를 더 포함할 수 있다. 이하, 전술한 청소 로봇(100)의 제어 구성과의 구분을 위해 각각 제 2 디스플레이부(320), 제 2 영상부(330), 제 2 저장부(340), 제 3 통신부(350) 및 제 2 제어부(360)로 기재한다.
제 2 디스플레이부(320)는 사용자의 명령을 입력받고 동작 정보를 출력하는 것으로, 영상 촬영, 영상 선택, 영상 전송 명령 및 태스크를 입력받는 제 2 입력부(321)와, 촬영된 영상, 전송 안내, 전송 결과 및 태스크 항목 등을 표시하는 제 2 표시부(322)를 포함할 수 있다.
제 2 디스플레이부(320)는 터치 스크린으로 구현될 수 있으며, 이 경우 제 2 입력부(321)는 사용자의 터치를 입력받을 수 있다. 또한, 제 2 입력부(321)는 음성 인식, 동작 인식, 및 클릭 명령을 포함하는 다양한 수단의 입력 방식이 채용될 수 있다.
제 2 디스플레이부(320)는 청소 로봇(100)이 인식되었음을 알리는 미리 설정된 청소 로봇(100)의 검출 표지를 표시할 수 있다. 청소 로봇(100)이 인식되었음을 알리는 수단은 제 2 디스플레이부(320)를 통한 검출 표지 출력에 한정되는 것은 아니며, 소리 또는 모바일 기기(300)의 진동을 포함한 통상의 기술자가 용이하게 채용할 수 있는 수단을 포함하는 개념으로 넓게 이해되어야 할 것이다. 　
제 2 디스플레이부는, 청소 로봇(100)의 상태 정보를 표시하거나, 청소 로봇(100)의 이동 경로, 청소 영역 또는 청소 필요 영역을 표시할 수 있다. 청소 로봇(100)의 상태 정보를 표시하는 것은 청소 로봇(100) 주위 또는 미리 설정된 제 2 디스플레이부 상의 특정 지점에 표시하는 것을 포함할 수 있다.
제 2 영상부(330)는 청소 로봇(100)의 이미지를 획득하기 위한 장치로, 모바일 기기(300)의 전면 또는 후면에 장착된 촬영부(331)를 포함할 수 있다. 촬영부(331)는 모바일 기기(300)의 전면과 후면 중 어느 하나에 장착되거나, 전면과 후면 모두에 장착될 수 있으며, 전면과 후면 모두에 장착된 경우 사용자의 선택에 따라 영상 수집 방향을 결정할 수 있다. 이하, 청소 로봇(100)의 구성 요소와의 구분을 위해 제 3 촬영부(331)로 표기한다.
제 2 저장부(340)는 모바일 기기(300) 및 제 2 제어부(360)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되는 전용 어플리케이션 또는 외부에서부터 다운로드 받은 범용 어플리케이션, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
제 2 저장부(340)는 제 2 영상부(330)에서 촬영된 영상을 저장할 수 있으며, 이러한 정보는 청소 로봇(100)의 인식을 위해 제공될 수 있다.
제 2 저장부(340)는 모바일 기기(300)의 제 1 디스플레이부(120)에 입력되는 터치 정보를 저장할 수 있다. 보다 상세하게, 제 1 디스플레이부(120)에 입력되는 연속적인 터치 또는 불연속적인 터치, 단일 터치 또는 멀티 터치 청보를 저장할 수 있다.
제 2 저장부(340)는 청소 로봇(100)의 상태에 대한 정보를 데이터베이스화해 저장할 수 있다. 청소 로봇(100)의 상태 정보는 배터리 충전 상태에 대한 정보, 이물질의 존재 여부에 대한 정보, 먼지통에 대한 정보, 바퀴에 대한 정보, 메인 브러시(172)에 대한 정보, 장애물 센서(140)에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보 등을 포함할 수 있음은 전술한 바와 같다. 또한, 제 2 저장부(340)는 서비스 센터와의 통신 과정에서 수신된 청소 로봇(100)의 상태에 대한 정보를 저장할 수도 있다. 이러한 정보는 청소 로봇(100)의 상태를 확인하고 이를 검증하는 과정에 제공될 수 있다.
제 2 저장부(340)는 청소 로봇(100)의 주행 경로를 저장할 수 있으며, 청소 영역의 맵을 저장할 수 있다. 청소 로봇(100)의 주행 경로 및 청소 영역의 맵은 청소 로봇(100)의 청소 상태 확인을 위한 용도에 제공될 수 있다.
제 3 통신부(350)는 청소 로봇(100)의 제 2 통신부(152)와 통신을 수행한다. 모바일 기기(300)의 제 3 통신부(350)를 통해 청소 로봇(100)에 제어 신호를 송신할 수 있으며, 청소 로봇(100)으로부터 청소 로봇(100)의 상태에 관한 정보 또는 청소 로봇(100)의 청소 상태(또는 이동 경로)에 대한 정보 수신할 수 있다.
제 2 제어부(360)는 모바일 기기(300)의 전반직인 동작 및 모바일 기기(300)의 내부 구성요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제 2 제어부(360)는 사용자로부터 명령이 입력되거나, 미리 설정되어 저장된 조건을 만족하는 경우 제 2 저장부(340)에 저장된 프로그램 또는 어플리케이션을 실행할 수 있다.
제 2 제어부(360)는 청소 로봇인식부와, 사용자 모션 감지부를 포함할 수 있다.
청소 로봇 인식부는 청소 로봇(100)을 인식하기 위한 이미지 캡쳐부와, 청소 로봇(100)의 마커(105)를 검출하는 마커 검출부와, 제 2 디스플레이부(320)에 입력된 터치 지점과 대응되는 위치의 위치 좌표를 산출하는 사용자 지정인식부와, 청소 로봇(100)과 제 2 디스플레이부(320)에 입력된 터치 지점을 기반으로 2차원 공간 거리를 검출하는 이동방향 및 거리 산출부를 포함할 수 있다.
청소 로봇 인식부는 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정할 수 있으며, 보다 상세하게 호모그래피 행렬 변환을 이용해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정할 수 있다.
청소 로봇 인식부는 청소 로봇이 터치로부터 설정된 경로를 이탈한 것으로 판단되면, 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 재결정할 수 있다.
사용자 모션 감지부는 사용자가 모바일 기기(300)를 이동시킬 경우 인식된 청소 로봇(100)으로부터 얼마의 이동이 있었는지를 계산하기 위한 것으로, 이미지 특징점 추출부와, 추출된 특징점을 이용하여 이동 경로를 트래킹하는 슬램(SLAM) 알고리즘부와, 모바일 기기(300)의 이동 위치를 산출해 내는 이동위치 산출부를 포함할 수 있다.
사용자 모션 감지부는, 모바일 기기(300)의 이동이 있는 경우 청소 로봇(100)으로부터 수신한 맵 상에 모바일 기기(300)의 이동 정도를 반영한 터치 지점을 결정할 수 있다. 맵 상에 터치 지점이 결정된 경우, 모바일 기기(100)는 터치에 대응되는 위치로 청소 로봇(100)이 이동하도록 청소 로봇(100)에 맵을 출력하거나, 맵을 이용해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정하고 결정된 이동 거리 및 헤딩(heading) 각도로 청소 로봇(100)이 이동하도록 제어할 수 있다. 여기서, 맵을 이용해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정하는 것은 맵 상에 결정된 청소 로봇(100)의 현재 위치 및 터치 지점의 위치를 이용해 결정하는 것을 포함할 수 있다.
위와 같이 구성되는 청소 로봇(100)을 포함하는 청소 시스템을 종합하면 도 8과 같이 표시될 수 있다.
도 8을 참조하면, 모바일 기기(300)는 제 3 통신부(350)를 통해 청소 로봇(100)과 통신을 수행하며 청소 로봇(100)의 이동 위치를 자유롭게 지정할 수 있다. 또한, 청소 로봇(100)은 모바일 기기(300)와 청소 로봇(100)의 상태 정보를 공유해 모바일 기기(300)를 통해 사용자에게 자가 검증 매뉴얼을 제공할 수 있다. 또한, 청소 로봇(100)은 모바일 기기(300)와 청소 로봇(100)의 청소 상태 정보를 공유해 모바일 기기(300)를 통해 청소 로봇(100)의 청소 진행 과정을 제공할 수 있다.
이하, 전술한 청소 로봇(100) 제어 과정에 대해 설명한다.
먼저, 모바일 기기(300)를 통한 청소 로봇(100)의 이동 위치 지정 기술에 대해 설명한다. 일 실시 예에 따른 청소 로봇(100)의 제어 방법은, 모바일 기기(300)의 제 2 디스플레이부(320)에 청소 로봇(100)의 영상이 표시되는 단계, 제 2 디스플레이부(320)에 터치를 입력받는 단계, 터치 지점에 대응되는 위치로 청소 로봇(100)이 이동하는 단계를 포함한다.
제 2 디스플레이부(320)에 터치를 입력받는 단계는, 연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받는 것을 포함할 수 있다.
터치 지점에 대응되는 위치로 청소 로봇(100)이 이동하는 단계는 청소 로봇(100)이 입력된 터치에 대응되는 위치까지 최단거리로 이동하는 것을 포함할 수 있으며, 청소 로봇(100)이 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하는 것을 포함할 수 있다.
이하, 첨부된 도면을 참조하여 청소 로봇(100)의 이동 위치 지정 기술에 대해 설명한다. 도 9 및 도 10은 일 실시 예에 따른 증강 현실을 이용한 청소 로봇(100)의 이동 위치 지정 및 지정 위치 이동 과정을 나타낸 순서도이고, 도 11a 내지 도 11d는 일 실시 예에 따른 청소 로봇(100)의 이동 위치 지정 및 지정 위치 이동의 예를 도시한 도면이고, 도 12a 및 도 12b는 멀티 터치가 입력된 경우 청소 로봇(100)의 이동 위치 지정 및 지정 위치 이동 예를 도시한 도면이고, 도 13a 및 도 13b는 드래그 터치가 입력된 경우 청소 로봇(100)의 이동 위치 지정 및 지정 위치 이동 예를 도시한 도면이다.
도 9를 참조하면, 모바일 기기(300)를 통해 청소 로봇(100)의 이동 위치를 지정하기 위해 모바일 기기(300)와 청소 로봇(100)이 연결된다. 모바일 기기(300)와 청소 로봇(100)은 무선 랜 방식 또는 근거리 통신 방식을 적용해 연결될 수 있으며, 모바일 기기(300)와 청소 로봇(100)의 연결 상태가 제 2 디스플레이부(320)에 표시될 수 있다. 모바일 기기(300)와 청소 로봇(100)의 통신과 관련 전술한 바와 중복되는 설명은 생략한다(400).
모바일 기기(300)와 청소 로봇(100)이 연결되면 모바일 기기(300)의 제 3 촬영부(331)를 통해 영상을 수집한다(405).
제 3 촬영부(331)를 통해 수집된 영상은 모바일 기기(300)의 제 2 디스플레이부(320)에 표시될 수 있다. 본 과정은 청소 로봇(100)에 대한 영상을 수집해 청소 로봇(100)을 인식하는 것에 목적이 있는 바, 모바일 기기(300)의 제 2 디스플레이부(320) 내에 청소 로봇(100)의 영상이 들어오도록 조절될 수 있다.
즉, 도 11a에 도시된 바와 같이, 모바일 기기(300)의 제 2 디스플레이부(320) 내에 청소 로봇이 위치하도록 조절되는 것이 바람직하다.
제 3 촬영부(331)를 통해 영상이 수집되면 청소 로봇(100)의 인식을 위한 영상 처리 과정이 수행된다(410). 도 10에는 일 실시 예에 따른 영상 처리 과정이 단계적으로 도시되어 있다. 영상 처리 과정은 도 10에 도시된 모든 과정을 포함할 수 있으며 설계 방법에 따라 특정 과정이 생략될 수도 있다.
도 10을 참조하면, 제 3 촬영부(331)로부터 영상이 수집되면 이진화 임계값이 설정될 수 있다(411). 이진화 임계값은 제 2 저장부(340)에 미리 저장된 이진화 임계값으로 설정될 수 있으며, 사용자에 의해 수동으로 설정되거나, 미리 저장된 프로그램에 따라 실시간 환경에 따라 캘리브레이션(calibration)되어 설정될 수도 있다.
이진화 임계값이 설정되면, 제 3 촬영부(331)에서 실시간으로 수집된 영상을 캡쳐하여 이미지화하고, 411 과정에서 설정된 이진화 임계값을 이용해 이미지화한 영상 정보를 이진화한다(412, 413).
다음으로, 이진화된 영상 정보를 통해 청소 로봇(100)의 상부에 형성된 마커(105)의 후보 영역과 특징점을 검출한다(414, 415).
이후, 잡영을 제거하고 검출된 특징점을 통해 청소 로봇(100)의 존재 여부, 위치 및 방향을 인식할 수 있다(416).
영상 처리 과정 후 청소 로봇(100)의 인식 여부를 판단한다(420).
청소 로봇(100)이 인식되지 않은 것으로 판단되면 405 및 410 과정이 반복 수행될 수 있다.
청소 로봇(100)이 인식된 것으로 판단되면 제 2 디스플레이부(320) 상에 검출 표지가 출력될 수 있다. 사용자는 검출 표지로부터 청소 로봇(100)이 인식 되었음을 확인할 수 있다(425).
검출 표지는 도 11b에 도시된 바와 같이 청소 로봇(100)에 대한 영상과 겹쳐지도록 표시될 수 있다. 또한, 제 2 디스플레이부(320)의 특정 지점에 표시될 수도 있으며, 음향 출력부(370)를 통해 청소 로봇(100)이 인식 되었음을 확인할 수도 있다.
청소 로봇(100)의 검출 표지가 출력되면, 청소 로봇(100)의 위치 지정 명령의 입력 여부를 판단한다(430).
청소 로봇(100)의 위치 지정 명령은 제 2 디스플레이부(320) 상에 터치 입력여부를 판단하는 것을 포함할 수 있다. 도 11c를 참조하면, 사용자의 터치는 단일 터치 형태를 가질 수 있으며, 도 12a에 도시된 바와 같이 멀티 터치 형태를 가질 수 있고, 도 13a에 도시된 바와 같이 연속적인 드래그 터치 형태를 가질 수 있다. 이하, 청소 로봇(100)의 위치 지정 명령이 단일 터치 형태를 가지는 경우를 예로 들어 설명한다.
사용자의 위치 지정 명령이 입력되지 않으면, 405 내지 425 과정이 반복 수행될 수 있다.
사용자의 위치 지정 명령이 입력되면, 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도의 결정 과정이 수행될 수 있다(435).
청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정하는 과정은, 청소 로봇(100)과 터치 지점과 대응되는 위치 까지의 이동 거리 및 헤딩(heaing) 각도를 결정하는 것을 포함할 수 있다.
청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도 결정 과정은, 호모그래피 행렬 변환을 이용해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함할 수 있다. 다만, 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도 결정 과정이 호모그래피 행렬 변환에 한정되는 것은 아니다. 이하 설명의 편의상 호모그래피 행렬 변환을 예로 들어 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도 결정 과정에 대해 설명한다.
호모그래피는 3차원 공간에 존재하는 2차원 평면을 또 다른 2차원 평면으로 옮기는 투영 변환으로 이하의 수식 1로 나타낼 수 있다.
수식 1
Figure pat00001
수식 1과 같이 표시된 행렬을 호모그래피라 하며, 호모그래피 행렬은 투영된 두 평면 사이의 관계를 나타낸다. 즉, 투영된 좌표 u, v로 실세계 좌표 X, Y를 구할 수 있다.
이를 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도 결정 과정에 적용하면, "제 2 디스플레이부(320)에 투영된 청소 로봇(100)의 좌표"와 "제 2 디스플레이부(320)에 입력된 터치 좌표"로 각각 "실 세계 청소 로봇(100)의 좌표" 및 "터치 지점과 대응되는 위치 좌표"를 구할 수 있으며, "실세계 청소 로봇(100)의 좌표" 및 "터치 지점과 대응되는 위치 좌표"를 이용해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 결정될 수 있다.
청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 결정되면, 모바일 기기(300)는 이러한 정보를 청소 로봇(100)으로 송신하고, 도 11d에 도시된 바와 같이 송신한 이동 거리 및 헤딩(heading) 각도만큼 이동한다(440, 445).
도 12a 및 12b에 도시된 바와 같이 멀티 터치가 입력된 경우, 도 11a 내지 도 11d와 동일한 원리로 각각의 터치 지점에 대한 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 결정되고, 결정된 이동 거리 및 헤딩(heading) 각도에 따라 청소 로봇(100)이 이동할 수 있다.
도 13a 및 도 13b의 경우와 같이 드래그 터치가 입력된 경우, 도 11a 내지 도 11d와 동일한 원리로 드래그 터치 지점에 대한 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 결정되고 결정된 이동 거리 및 헤딩(heading) 각도에 따라 청소 로봇이 이동할 수 있다.
청소 로봇(100)의 이동 중 새로운 터치가 입력된 경우 역시 도 11c 및 도 11d와 동일한 원리로 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 새롭게 결정될 수 있으며, 결정된 이동 거리 및 헤딩(heading) 각도에 따라 청소 로봇(100)이 이동할 수 있다.
다음으로, 도 14는 청소 로봇(100)의 이동 경로에 대한 오차 보정 과정을 포함하는 청소 로봇(100)의 위치 지정 과정을 도시한 순서도이고, 도 15a 내지 도 15c는 청소 로봇(100)의 이동 경로에 대한 오차 보정 과정의 예를 도시한 도면이다.
도 14의 400 내지 445 단계는 도 9 및 도 10에서 설명한 것과 실질적으로 동일하며 이하 도 9 및 도 10과 중복되는 설명은 생략한다.
청소 로봇(100)이 이동하는 과정에서, 사용자의 키와 손의 각도 또는 제 2 디스플레이부(320)의 화소의 영향 등으로 오차가 발생할 수 있다. 청소 로봇(100)의 이동 중 오차가 발생된 것으로 판단되면 435 내지 445 과정이 반복 수행되며 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 재 설정될 수 있다.
일 예에 따른 오차 보정 과정은, 사전에 입력된 청소 로봇(100)의 이동 경로(이하 제 1 경로로 정의한다)와 실제 청소 로봇(100)의 이동 경로(이하 제 2 경로로 정의한다)가 차이가 있는 것으로 판단되면, 435 단계 내지 445 단계를 반복 수행하여 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 재 결정하는 것을 포함할 수 있다. 여기서 제 1 경로 및 제 2 경로는 제 2 디스플레이부(320) 상에 표시될 수 있다.
도 15a를 참조하면, 사용자에 의해 입력된 터치에 의해 제 1 경로(L1)가 지정될 수 있다. 도 15b를 참조하면, 청소 로봇(100)은 제 1 경로(L1)를 따라 이동하는 중 제 1 경로(L1)로부터 이탈되어 제 2 경로(L2)를 따라 이동할 수 있다. 제 2 디스플레이부(320)에 표시되는 제 2 경로(L2)가 제 1 경로(L1)로부터 미리 설정된 각도만큼 이탈되면 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 재 설정될 수 있다. 이후, 도 15c에 도시된 바와 같이 청소 로봇(100)은 제 3 경로(L3)를 거쳐 제 1 경로(L1)로 진입할 수 있다.
다음으로, 도 16 및 도 17는 모바일 기기(300)를 이동 하며 청소 로봇(100)의 위치를 지정할 필요가 있는 경우 청소 로봇(100)의 위치 지정 과정을 나타낸 순서도이고, 도 18a 내지 도 18d는 모바일 기기(300)를 이동하며 청소 로봇(100)의 위치를 지정하는 과정의 예를 도시한 도면이다.
도 16을 참조하면, 도 16의 400 내지 445 단계는 도 9 및 도 10에서 설명한 것과 실질적으로 동일하며 이하 도 9 및 도 10과 중복되는 설명은 생략한다.
청소 로봇(100)의 위치 지정 명령이 입력되면, 모바일 기기(300)의 이동 여부를 판단한다(455). 청소 로봇(100)의 위치 지정 명령은 사용자의 터치 입력을 포함할 수 있다. 이하, 청소 로봇(100)의 위치 지정 명령이 터치에 의한 위치 지정인 경우를 예로 들어 설명한다.
모바일 기기(300)가 이동한 것으로 판단되면, 모바일 기기(300)는 청소 로봇(100)으로부터 맵을 수신할 수 있다(460). 맵은 청소 로봇(100)이 SLAM 알고리즘을 통해 작성한 것을 포함할 수 있다. 맵의 수신은 본 단계 외에 청소 로봇(100)과 모바일 기기(300)간에 통신 망을 통해 연결되는 400 과정 또는 제 3 촬영부(331)를 통해 영상을 수집하는 405 과정에서 수행될 수 있으며, 그 밖에 통상의 기술자가 쉽게 생각할 수 있는 범위 내의 시점에 수행될 수 있다.
맵이 수신되면, 모바일 기기(300)의 이동 정도가 산출될 수 있다(465). 모바일 기기(300)의 이동 정도는 모바일 기기(300) 내에 포함되는 자이로 센서를 이용해 산출되거나, 모바일 기기(300)의 제 2 디스플레이부(320)에 출력되는 영상 정보를 영상 처리 과정에 제공함으로써 산출될 수 있다.
모바일 기기(300)의 이동 정도 산출 과정 역시 맵의 수신 후 뿐만 아니라 맵 의 수신 전을 포함한 통상의 기술자가 쉽게 생각할 수 있는 범위 내의 시점에 수행될 수 있다.
모바일 기기(300)의 이동 정도가 산출되면, 청소 로봇(100)으로부터 수신된 맵에 사용자의 위치 지정 명령이 입력된 지점을 결정할 수 있다(470).
모바일 기기(300)는 460 과정에서 청소 로봇(100)으로부터 수신한 맵과 465 과정에서 산출된 모바일 기기(300)의 이동 정도를 고려해 수신한 맵에 터치가 입력된 지점을 결정할 수 있다.
맵에 터치가 입력된 지점이 결정되면, 맵 정보가 청소 로봇(100)에 송신된다(475). 청소 로봇(100)은 맵을 수신받아, 수신된 맵을 분석해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 결정하고, 이동된 거리 및 헤딩(heading) 각도에 따라 이동한다(480, 445).
다음으로, 도 17을 참조하면 도 17의 400 내지 470 과정은 도 16과 동일하며, 이하 도 16과 중복되는 설명은 생략한다.
맵에 터치가 입력된 지점이 결정되면, 모바일 기기(300)가 맵을 분석해 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도가 결정될 수 있다(485).
모바일 기기(300)는 결정된 청소 로봇(100)의 이동 거리 및 헤딩(heading) 각도를 청소 로봇(100)으로 송신할 수 있으며(490), 청소 로봇(100)은 모바일 기기(300)로부터 수신한 이동 거리 및 헤딩(heading) 각도만큼 이동할 수 있다(445).
이하, 설명을 돕기위해 도 18a 내지 도 18d를 참조해 모바일 기기(300)를 이동하는 과정을 포함하는 청소 로봇(100)의 위치 지정 과정의 예를 설명한다.
먼저, 도 18a 내지 18b를 참조하면, 모바일 기기(300)의 제 2 디스플레이부(320)에 청소 로봇(100) 영상이 들어오도록 모바일 기기(300)의 위치가 조절될 수 있으며, 제 2 디스플레이부(320)에 청소 로봇(100)이 인식되었음을 알리는 미리 설정된 청소 로봇(100)의 검출 표지가 출력될 수 있다.
청소 로봇(100)이 인식되면, 도 18c에 도시된 바와 같이 모바일 기기(300)가 이동되고 제 2 디스플레이부(320)에 터치가 입력될 수 있다. 제 2 디스플레이부(320)는 전술한 바와 같이 연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받을 수 있으며 이하 단일 터치가 입력된 경우를 예로 들어 설명한다. 　
터치가 입력되면, 청소 로봇(100)은 도 18d에 도시된 바와 같이 입력된 터치에 대응되는 위치로 이동할 수 있다. 청소 로봇(100)은 입력된 터치에 대응되는 위치까지 최단거리로 이동할 수 있으며, 직선 또는 곡선으로 이동할 수 있다.
이상으로, 모바일 기기(300)를 통한 청소 로봇(100)의 이동 위치 지정 기술에 대해 설명하였다. 청소 로봇(100)의 이동 위치 지정 과정은 전술한 예에 한정되는 것은 아니며, 청소 로봇(100)의 이동 경로 오차 보정 과정 및 모바일 기기(300)를 이동하며 청소 로봇(100)의 이동 위치를 지정하는 과정을 모두 포함할 수도 있다. 아울러, 기타 통상의 기술자가 용이하게 생각할 수 있는 범위 내의 변경을 포함할 수 있다.
다음으로, 모바일 기기(300)와 청소 로봇(100)의 상태 정보 공유 및 사용자 자가 검증 기술에 대해 설명한다.
일 실시 예에 따른 청소 로봇(100)은 모바일 기기(300)와 상태 정보를 공유할 수 있으며, 공유된 청소 로봇(100)의 상태 정보는 제 2 디스플레이부(320)에 표시될 수 있다. 또한, 청소 로봇(100)에 대한 사용자의 자가 검증이 가능하도록 모바일 기기(300)를 통해 사용자 자가 검증 매뉴얼이 제공될 수 있다.
도 19는 일 실시 예에 따른 증강 현실을 이용한 청소 로봇(100)의 상태 정보 공유 및 자가 검증 매뉴얼 제공 과정을 나타낸 순서도이고, 도 20 및 도 21은 모바일 기기(300)의 제 2 디스플레이부(320)에 청소 로봇(100)의 상태가 공유된 예를 도시한 도면이고, 도 22a 내지 도 22c는 모바일 기기(300)의 디스플레이부(320)에 청소 로봇(100)의 검증 매뉴얼이 제공되는 과정의 예를 도시한 도면이다.
도 19을 참조하면, 먼저 모바일 기기(300)와 청소 로봇(100)이 연결되는 과정이 수행될 수 있다. 모바일 기기(300)와 청소 로봇(100)은 무선 랜 방식 또는 근거리 통신 방식을 적용해 연결될 수 있으며 전술한 바와 중복되는 설명은 생략한다(500)
모바일 기기(300)와 청소 로봇(100)이 연결되면, 모바일 기기(300)는 제 3 촬영부(331)를 통해 주위 영상을 수집할 수 있으며 청소 로봇(100)으로 부터 청소 로봇(100)의 상태 정보를 수신받을 수 있다(505).
제 3 촬영부(331)를 통해 수집된 주위 영상은 영상 처리 과정에 제공되어 청소 로봇(100)이 인식될 수 있다. 청소 로봇(100)의 인식 과정은 청소 로봇(100)의 상태 정보 분석 과정 전에 수행될 수도 있으나, 통상의 기술자가 쉽게 변경할 수 있는 범위 내에서 청소 로봇(100)의 상태 정보 분석 과정 수행 후 또는 상태 정보 분석 과정 중에 수행될 수도 있다.
청소 로봇(100)의 상태 정보가 수신된 후, 사용자로부터 특정 상태 정보 확인 명령이 입력되었는지 여부를 판단한다(515).
사용자로부터 특정 상태 정보 확인 명령이 입력된 경우, 입력된 명령에 대응되는 청소 로봇(100)의 상태 정보가 분석된다. 청소 로봇(100)의 상태 정보의 예와 관련 전술한 바와 중복되는 설명은 생략한다.
사용자로부터 특정 상태 정보 확인 명령이 입력되지 않은 경우, 청소 로봇(100)으로부터 수신된 청소 로봇(100)의 전체 상태 정보가 분석된다(525).
청소 로봇(100)의 상태 정보 분석을 위해 미리 저장된 상태 정보 분석 데이터가 이용될 수 있으며, 서비스 센터와 통신을 통해 수신된 상태 정보 분석 데이터가 이용될 수도 있다.
청소 로봇(100)의 상태 정보가 분석되면, 분석 결과가 출력된다(530).
분석 결과는 제 2 디스플레이부(320) 상에 출력될 수 있으며, 보다 상세하게 제 2 디스플레이부(320) 상의 청소 로봇(100) 주위에 출력될 수 있다. 분석 결과의 출력 방법은 제 2 디스플레이부(320) 상에 출력되는 방법 외에 모바일 기기(300)에 마련된 음향 출력부(370)를 통한 출력을 포함한 다양한 출력 방식이 적용될 수 있다.
청소 로봇(100)의 상태 정보 분석 결과 청소 로봇(100)에 이상이 없는 것으로 판단되면, 이상이 없다는 취지의 분석 결과가 출력될 수 있다.
청소 로봇(100)의 상태 정보 분석 결과 청소 로봇(100)에 이상이 있는 것으로 판단되면, 자가 검증 매뉴얼의 제공 명령 입력 여부의 판단 과정이 수행될 수 있다(535).
자가 검증 매뉴얼의 제공 명령이 입력되지 않은 경우, 자가 검증 매뉴얼의 제공 과정을 수행하지 않고 전체 과정이 종료될 수 있다.
자가 검증 매뉴얼의 제공 명령이 입력된 경우, 자가 검증 매뉴얼이 제공될 수 있다(540). 이 때, 자가 검증 매뉴얼은 제 2 디스플레이부(320)를 통해 출력 되거나 모바일 기기(300)에 마련된 음향 출력부(370)를 통해 출력되는 등의 다양한 출력 방식이 적용될 수 있다.
청소 로봇(100)의 상태 정보 분석 결과 청소 로봇(100)의 배터리가 부족한 것으로 판단되면, 도 20에 도시된 바와 같이 배터리의 부족을 알리는 경고 메시지가 출력될 수 있다. 청소 로봇(100)의 상태 정보 분석 결과 청소 로봇(100)의 바퀴에 실 꼬임이 발생된 것으로 판단되면, 도 21에 도시된 바와 같이 실 꼬임을 알리는 경고 메시지가 출력될 수 있다.
실 꼬임 발생에 대한 자가 검증 매뉴얼의 제공 명령이 입력되면 도 22a 내지 22c에 도시된 바와 같이 자가 검증 매뉴얼의 제공 과정이 수행될 수 있다.
도 22a 내지 22c를 참조하면, 자가 검증 매뉴얼은 도 22a에 도시된 바와 같이 "이물질이 끼었습니다. 바퀴를 분리해 주세요" 와 같은 메시지가 출력되는 과정, 도 22b에 도시된 바와 같이 "나사를 순서대로 풀어 주세요"와 같은 메시지가 출력되는 과정, 도 22c에 도시된 바와 같이 "걸려 있는 끈을 제거해 주세요." 와 같은 메시지가 출력되는 과정을 포함할 수 있다.
이상으로, 증강 현실을 이용한 청소 로봇(100)의 상태 정보 공유 및 자가 검증 매뉴얼의 제공 과정과 그 예에 대해 설명하였다. 청소 로봇(100)의 상태 공유 및 자가 검증 매뉴얼의 제공 과정과 그 예는 전술한 것에 한정되는 것은 아니며 통상의 기술자가 쉽게 생각할 수 있는 범위 내의 변경을 포함할 수 있다.
다음으로, 청소 로봇(100)의 청소 상태 제공 및 확인 과정에 대해 설명한다.
일 실시 예에 따른 청소 상태 제공 및 확인 과정은 청소 로봇(100)과 모바일 기기(300)가 청소 로봇(100)의 청소 상태를 공유하고, 모바일 기기(100)를 통해 제 2 청소 로봇(100)의 청소 상태를 출력하는 것을 포함할 수 있다. 청소 상태를 출력하는 것은 모바일 기기(100)의 제 2 디스플레이부(320)에 청소 상태를 표시하는 것을 포함할 수 있으며, 제 2 디스플레이부(320)는 청소 로봇(100)의 이동 경로를 표시하거나, 청소 로봇(100)의 청소 영역 또는 청소 필요 영역을 표시할 수 있다.
도 23은 일 실시 예에 따른 증강 현실을 이용한 청소 상태 제공 및 확인 과정을 나타낸 순서도이고, 도 24는 일 실시 예에 따른 청소 상태 제공 및 확인 과정의 예를 도시한 도면이다.
도 23을 참조하면, 먼저 모바일 기기(300)와 청소 로봇(100)이 연결되는 과정이 수행될 수 있으며, 이와 관련해 전술한 바와 중복되는 설명은 생략한다(600).
모바일 기기(300)와 청소 로봇(100)이 연결되면 모바일 기기(300)는 제 3 촬영부(331)를 통해 주위 영상을 수집하고, 동시에 청소 로봇(100)의 청소 상태에 대한 데이터를 수신할 수 있다(610). 청소 상태에 대한 데이터는 청소 로봇(100)의 주행 경로에 대한 데이터로부터 획득될 수 있다.
제 3 촬영부(331)의 영상 수집 및 모바일 기기(300)의 청소 상태 정보 수신 과정이 수행되면, 청소 로봇(100)의 인식 및 청소 상태 분석 과정이 수행될 수 있다(620).
청소 로봇(100)의 인식 과정에서는, 수집된 영상을 영상 처리 과정에 제공함으로써 청소 로봇(100)을 인식할 수 있다. 청소 로봇(100) 인식 과정과 청소 상태 분석 과정은 동시에 수행될 수 있으며, 청소 로봇(100)의 인식 과정이 청소 상태 분석 과정의 전후에 수행될 수도 있으며, 통상의 기술자가 용이하게 생각할 수 있는 범위 내에서 전체 과정 중에 수행될 수도 있다. 청소 로봇(100)의 인식과 관련한 구체적 내용은 도 9 및 도 10에서 설명한 바와 실질적으로 동일한 바 도 9 및 도 10과 중복되는 설명은 생략한다.
청소 상태 분석 과정은 청소 로봇(100)의 이동 경로 분석 과정을 포함할 수 있다. 모바일 기기(300)는 청소 로봇(100)의 이동 경로를 청소 영역으로 판단할 수 있다.
청소 로봇(100) 인식 및 청소 상태 분석 과정이 수행되면 청소 상태 분석 결과의 출력 과정이 수행될 수 있다. 청소 상태 분석 결과의 출력 과정은 제 2 디스플레이부(320)에 청소 상태를 표시하는 것을 포함할 수 있다. 제 2 디스플레이부(320)에는 청소 로봇(100)의 이동 경로, 청소 로봇(100)의 청소 영역, 또는 청소 로봇(100)의 청소 필요 영역이 표시될 수 있다.
도 24를 참조하면, 모바일 기기(300)의 제 2 디스플레이부(320) 내에 청소 로봇(100)의 영상이 들어오도록 조절해 청소 로봇(100)이 인식될 수 있다. 청소 로봇(100)이 인식되면 제 2 디스플레이부(320)에 청소 로봇(100)의 검출 표지가 출력될 수 있다.
청소 로봇(100)은 제 2 디스플레이부(320)에 터치가 입력되면 입력된 터치 지점으로 이동할 수 있으며, 청소 로봇(100)이 이동하면 모바일 기기(300)의 제 2 디스플레이부(320)에 청소 로봇(100)의 이동 경로가 표시될 수 있다. 이 때, 제 2 디스플레이부(320)에 표시된 청소 로봇(100)의 이동 경로로부터 청소 로봇(100)의 청소 상태를 확인할 수 있다. 즉, 청소 로봇(100)이 운전 중 이동한 경로를 청소 로봇(100)의 청소 영역으로 판단할 수 있다.
이상으로, 청소 로봇(100), 모바일 기기(300), 모바일 기기(300)를 이용한 청소 로봇(100)의 이동 위치 지정 기술, 모바일 기기(300)와 청소 로봇(100)의 상태 정보 공유 및 사용자 자가 검증 기술 및 모바일 기기(300)와 청소 로봇(100)의 청소 상태 공유 및 확인 기술에 대해 설명하였다. 개시된 발명은 전술한 예에 한정되는 것은 아니며 통상의 기술자가 쉽게 실시할 수 있는 범위 내의 변경을 포함하는 개념으로 넓게 이해되어야 할 것이다. 　　
100 : 청소 로봇 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　105 : 마커
110 : 청소 로봇 본체 　　　　　　　　　　　　　　　　　　　　　　　　120 : 제 1 디스플레이부
130 : 제 1 영상부 　　　　　　　　　　　　　　　　　　　　　　　　　　　140 : 장애물 센서
150 : 통신부 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　151 : 제 1 통신부
152 : 제 2 통신부 　　　　　　　　　　　　　　　　　　　　　　　　　　　160 : 이동 어셈블리
170, 174 : 청소 툴 어셈블리 　　　　　　　　　　　　　　　　　190 : 구동 모듈
192 : 제 1 저장부 　　　　　　　　　　　　　　　　　　　　　　　　　　　192, 194 : 제 1, 2 구동부
195 : 제 1 제어부 　　　　　　　　　　　　　　　　　　　　　　　　　　　200 : 충전대
300 : 모바일 기기 　　　　　　　　　　　　　　　　　　　　　　　　　　　310 : 모바일 기기 본체
320 : 제 2 디스플레이부 　　　　　　　　　　　　　　　　　　　　　330 : 제 2 영상부
331 : 촬영부 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　340 : 제 2 저장부
350 : 제 3 통신부 　　　　　　　　　　　　　　　　　　　　　　　　　　　360 : 제 2 제어부
370 : 음향 출력부

Claims (50)

  1. 촬영부;
    상기 촬영부에서 획득된 청소 로봇의 영상을 표시하고, 터치를 입력받는 디스플레이부; 및
    상기 입력된 터치에 대응되는 위치로 상기 청소 로봇이 이동하도록 제어하는 제어부;를 포함하는 모바일 기기.
  2. 제 1항에 있어서,
    상기 제어부는,
    상기 청소로봇이 상기 입력된 터치에 대응되는 위치까지 최단거리로 이동하도록 제어하는 모바일 기기.
  3. 제 1항에 있어서,
    상기 제어부는,
    상기 청소 로봇이 상기 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하도록 제어하는 모바일 기기.
  4. 제 1항에 있어서,
    상기 디스플레이부는,
    연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받는 모바일 기기.
  5. 제 1항에 있어서,
    상기 제어부는,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함하는 모바일 기기.
  6. 제 1항에 있어서,
    상기 제어부는,
    호모그래피 행렬 변환을 이용해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 모바일 기기.
  7. 제 1항에 있어서,
    상기 제어부는,
    상기 청소 로봇이 상기 터치로부터 설정된 경로를 이탈한 것으로 판단되면, 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 재결정하는 모바일 기기.
  8. 제 1항에 있어서,
    상기 제어부는,
    상기 모바일 기기의 이동이 있는 것으로 판단되면,
    상기 청소 로봇으로부터 수신한 맵 상에 상기 모바일 기기의 이동 정도를 반영한 상기 터치 지점을 결정하는 모바일 기기.
  9. 제 8항에 있어서,
    상기 제어부는,
    상기 청소 로봇에 상기 맵을 출력해 상기 터치에 대응되는 위치로 상기 청소 로봇이 이동하도록 제어하는 모바일 기기.
  10. 제 8항에 있어서,
    상기 제어부는,
    상기 맵을 통해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하고, 상기 이동 거리 및 헤딩(heading) 각도로 상기 청소 로봇이 이동하도록 제어하는 모바일 기기.
  11. 제 10항에 있어서,
    상기 제어부는,
    상기 맵 상에 결정된 상기 청소 로봇의 현재 위치 및 상기 터치 지점을 이용해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 모바일 기기.
  12. 제 1항에 있어서,
    상기 청소 로봇은 마커를 포함하고,
    상기 제어부는 상기 촬영부에서 획득된 상기 영상을 영상 처리해 상기 마커가 인식되면, 상기 청소 로봇이 인식된 것으로 판단하는 모바일 기기.
  13. 제 12항에 있어서,
    상기 제어부는,
    상기 촬영부에서 획득된 상기 마커의 영상 정보를 이진화하고, 상기 이진화된 영상 정보로부터 상기 마커의 후보 영역을 검출해 상기 마커를 인식하는 모바일 기기.
  14. 제 1항에 있어서,
    상기 디스플레이부는,
    상기 청소 로봇이 인식되었음을 알리는 미리 설정된 청소 로봇의 검출 표지를 표시하는 모바일 기기.
  15. 제 1항에 있어서,
    상기 청소 로봇을 포함하는 외부 기기와 통신하는 통신부;를 더 포함하는 모바일 기기.
  16. 제 1항에 있어서,
    상기 디스플레이부는, 상기 청소 로봇의 이동 경로를 표시하는 모바일 기기.
  17. 제 1항에 있어서,
    상기 디스플레이부는 상기 청소 로봇의 청소 영역 또는 청소 필요 영역을 표시하는 모바일 기기.
  18. 촬영부; 및
    상기 촬영부에서 획득된 청소 로봇 영상 및 상기 청소 로봇에 대한 상태 정보를 표시하는 디스플레이부;를 포함하는 모바일 기기.
  19. 제 18항에 있어서,
    상기 상태 정보는 상기 청소 배터리 충전 상태에 대한 정보, 이물질의 존재 여부에 대한 정보, 상가 청소 로봇의 먼지통에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보를 포함하는 군에서 선택된 적어도 하나를 포함하는 모바일 기기.
  20. 제 18항에 있어서,
    상기 디스플레이부는, 상기 표시된 상기 청소 로봇 영상 주위 또는 미리 설정된 상기 디스플레이부 상의 지점에 상기 상태 정보를 표시하는 모바일 기기.
  21. 제 18항에 있어서,
    상기 상태 정보를 출력하는 음향 출력부;를 더 포함하는 모바일 기기.
  22. 제 18항에 있어서,
    상기 디스플레이부는 사용자의 터치를 입력받는 모바일 기기.
  23. 제 18에 있어서,
    상기 청소 로봇을 포함하는 외부 기기와 통신을 수행하는 통신부;를 더 포함하는 모바일 기기.
  24. 제 18항에 있어서,
    상기 청소 로봇에 대한 상기 상태 정보 데이터가 저장된 저장부;를 더 포함하는 모바일 기기.
  25. 제 24항에 있어서,
    상기 저장부에 저장된 상기 상태 정보 데이터는 서비스 센터로부터 획득된 것을 포함하는 모바일 기기.
  26. 본체;
    상기 본체에 마련된 마커;를 포함하고,
    상기 마커가 모바일 기기의 디스플레이부에 표시되고 상기 디스플레이부에 터치가 입력되면 상기 터치 지점으로 이동하는 청소 로봇.
  27. 제 26항에 있어서,
    상기 마커가 상기 디스플레이부에 표시되고 상기 디스플레이부에 터치가 입력되면 상기 터치 지점으로 이동하도록 제어하는 제어부;를 더 포함하는 청소 로봇.
  28. 제 26항에 있어서,
    상기 마커는 상기 본체 상부에 마련된 청소 로봇.
  29. 제 26항에 있어서,
    상기 모바일 기기를 포함하는 외부 기기와 통신하는 통신부;를 더 포함하는 청소 로봇.
  30. 모바일 기기의 디스플레이부에 청소 로봇의 영상이 표시되는 단계;
    상기 디스플레이부에 터치를 입력받는 단계;
    상기 터치 지점에 대응되는 위치로 상기 청소 로봇이 이동하는 단계;를 포함하는 청소 로봇의 제어 방법.
  31. 제 30항에 있어서,
    상기 터치 지점에 대응되는 위치로 상기 청소 로봇이 이동하는 단계는,
    상기 청소 로봇이 상기 입력된 터치에 대응되는 위치까지 최단거리로 이동하는 것을 포함하는 청소 로봇의 제어 방법.
  32. 제 30항에 있어서,
    상기 터치 지점에 대응되는 위치로 상기 청소 로봇이 이동하는 단계는,
    상기 청소 로봇이 상기 입력된 터치에 대응되는 위치까지 직선 또는 곡선으로 이동하는 것을 포함하는 청소 로봇의 제어 방법.
  33. 제 30항에 있어서,
    상기 디스플레이부에 터치를 입력받는 단계는,
    연속적인 터치 또는 불연속적인 터치를 입력받거나, 단일 터치 또는 멀티 터치를 입력받는 것을 포함하는 청소 로봇의 제어 방법.
  34. 제 30항에 있어서,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  35. 제 34항에 있어서,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    상기 청소 로봇과 상기 터치 지점과 대응되는 위치까지의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함하는 청소 로봇의 제어 방법.
  36. 제 34항에 있어서,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    호모그래피 행렬 변환을 이용해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함하는 청소 로봇의 제어 방법.
  37. 제 34항에 있어서,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    상기 청소 로봇의 실세계 좌표와 상기 터치 지점과 대응되는 위치의 위치 좌표를 이용해 상기 청소 로봇과 상기 터치 지점과 대응되는 위치까지의 이동 거리 및 헤딩(heading) 각도를 결정하는 것을 포함하는 청소 로봇의 제어 방법.
  38. 제 30항에 있어서,
    상기 청소 로봇이 상기 터치로부터 설정된 경로를 이탈한 것으로 판단되면, 상기 청소 로봇의 경로 이탈을 보정하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  39. 제 38항에 있어서,
    상기 청소 로봇의 경로 이탈을 보정하는 단계는,
    상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 재결정하는 것을 포함하는 청소 로봇의 제어 방법.
  40. 제 30항에 있어서,
    상기 디스플레이부에 터치를 입력받는 단계는,
    상기 모바일 기기의 이동 후 상기 디스플레이부에 터치를 입력받는 것을 포함하는 청소 로봇의 제어 방법.
  41. 제 40항에 있어서,
    상기 모바일 기기의 이동을 반영해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  42. 제 41항에 있어서,
    상기 모바일 기기의 이동을 반영해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    상기 청소 로봇으로부터 맵을 수신하는 단계, 상기 모바일 기기의 이동 정도를 산출하는 단계 및 상기 모바일 기기의 이동 정도를 고려해 상기 맵 상에 상기 터치 지점을 결정하는 단계를 포함하는 청소 로봇의 제어 방법.
  43. 제 42항에 있어서,
    상기 모바일 기기의 이동을 반영해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    상기 맵을 분석해 상기 청소 로봇의 이동 거리 및 헤딩 각도를 결정하는 단계 및 상기 청소 로봇의 이동 거리 및 헤딩 각도에 대한 정보를 상기 청소 로봇에 송신하는 단계를 더 포함하는 청소 로봇의 제어 방법.
  44. 제 42항에 있어서,
    상기 모바일 기기의 이동을 반영해 상기 청소 로봇의 이동 거리 및 헤딩(heading) 각도를 결정하는 단계는,
    상기 맵을 상기 청소 로봇에 송신하는 단계 및 상기 맵을 분석해 상기 청소 로봇의 이동 거리 및 헤딩 각도를 결정하는 단계를 더 포함하는 청소 로봇의 제어 방법.
  45. 제 30항에 있어서,
    상기 청소 로봇이 인식되었음을 확인하는 검출 표지를 출력하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  46. 제 45항에 있어서,
    상기 청소 로봇이 인식되었음을 확인하는 검출 표지를 출력하는 단계는,
    상기 디스플레이부에 상기 검출 표지가 출력되는 것을 포함하는 청소 로봇의 제어 방법.
  47. 제 30항에 있어서,
    상기 디스플레이부에 상기 청소 로봇의 상태 정보를 표시하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  48. 제 47항에 있어서,
    상기 디스플레이부에 상기 청소 로봇의 상태 정보를 표시하는 단계의 상기 상태 정보는, 상기 청소 배터리 충전 상태에 대한 정보, 이물질의 존재 여부에 대한 정보, 상기 청소 로봇의 먼지통에 대한 정보, 캐스터에 대한 정보, 추락 센서에 대한 정보 및 사이드 브러시에 대한 정보를 포함하는 군에서 선택된 적어도 하나를 포함하는 청소 로봇의 제어 방법.
  49. 제 30항에 있어서,
    상기 디스플레이부에 상기 청소 로봇의 청소 상태를 표시하는 단계;를 더 포함하는 청소 로봇의 제어 방법.
  50. 제 49항에 있어서,
    상기 디스플레이부에 상기 청소 로봇의 청소 상태를 표시하는 단계는,
    상기 청소 로봇의 이동 경로, 청소 영역 또는 청소 필요 영역을 표시하는 것을 포함하는 청소 로봇의 제어 방법.
KR1020140064205A 2014-05-28 2014-05-28 모바일 기기, 청소로봇 및 그 제어방법 KR102183012B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020140064205A KR102183012B1 (ko) 2014-05-28 2014-05-28 모바일 기기, 청소로봇 및 그 제어방법
CN201910376308.9A CN110037621B (zh) 2014-05-28 2015-05-28 移动装置、清洁机器人及其控制方法
PCT/KR2015/005346 WO2015183005A1 (en) 2014-05-28 2015-05-28 Mobile device, robot cleaner, and method for controlling the same
CN201580028102.7A CN106413501B (zh) 2014-05-28 2015-05-28 移动装置、清洁机器人及其控制方法
EP15800141.2A EP3149862B1 (en) 2014-05-28 2015-05-28 Mobile device, robot cleaner, and method for controlling the same
US15/314,506 US10291765B2 (en) 2014-05-28 2015-05-28 Mobile device, robot cleaner, and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140064205A KR102183012B1 (ko) 2014-05-28 2014-05-28 모바일 기기, 청소로봇 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20150136783A true KR20150136783A (ko) 2015-12-08
KR102183012B1 KR102183012B1 (ko) 2020-11-25

Family

ID=54699269

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140064205A KR102183012B1 (ko) 2014-05-28 2014-05-28 모바일 기기, 청소로봇 및 그 제어방법

Country Status (5)

Country Link
US (1) US10291765B2 (ko)
EP (1) EP3149862B1 (ko)
KR (1) KR102183012B1 (ko)
CN (2) CN110037621B (ko)
WO (1) WO2015183005A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097917A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 전자 장치 및 그의 제어 방법
WO2020017752A1 (ko) * 2018-07-19 2020-01-23 삼성전자 주식회사 드로잉을 통한 이동 로봇 제어 장치 및 그것의 동작 방법
KR20200100019A (ko) * 2018-04-05 2020-08-25 엘지전자 주식회사 이동 로봇 및 그 제어방법

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10541751B2 (en) * 2015-11-18 2020-01-21 Crowdcomfort, Inc. Systems and methods for providing geolocation services in a mobile-based crowdsourcing platform
KR101697857B1 (ko) * 2015-04-08 2017-01-18 엘지전자 주식회사 이동 로봇 및 그의 위치인식방법
DE102015117502A1 (de) * 2015-10-14 2017-04-20 Readio Gmbh Verfahren und Vorrichtung zur kontextabhängigen Ansteuerung eines externen Geräts
US11445152B2 (en) 2018-08-09 2022-09-13 Cobalt Robotics Inc. Security automation in a mobile robot
US10486313B2 (en) 2016-02-09 2019-11-26 Cobalt Robotics Inc. Mobile robot map generation
US11325250B2 (en) 2017-02-06 2022-05-10 Cobalt Robotics Inc. Robot with rotatable arm
US11772270B2 (en) 2016-02-09 2023-10-03 Cobalt Robotics Inc. Inventory management by mobile robot
WO2017218234A1 (en) * 2016-06-15 2017-12-21 Irobot Corporation Systems and methods to control an autonomous mobile robot
JP6751263B2 (ja) * 2016-09-08 2020-09-02 富士ゼロックス株式会社 サービス提供システムおよび移動指示プログラム
US10723018B2 (en) 2016-11-28 2020-07-28 Brain Corporation Systems and methods for remote operating and/or monitoring of a robot
US10377040B2 (en) 2017-02-02 2019-08-13 Brain Corporation Systems and methods for assisting a robotic apparatus
US10913160B2 (en) 2017-02-06 2021-02-09 Cobalt Robotics Inc. Mobile robot with arm for door interactions
US11724399B2 (en) 2017-02-06 2023-08-15 Cobalt Robotics Inc. Mobile robot with arm for elevator interactions
US10906185B2 (en) 2017-02-06 2021-02-02 Cobalt Robotics Inc. Mobile robot with arm for access point security checks
DE102017104691A1 (de) 2017-03-07 2018-09-13 Miele & Cie. Kg Verfahren und Vorrichtung zum Visualisieren und/oder Einstellen einer Reinigungsroute eines Robotstaubsaugers
DE102017105724A1 (de) 2017-03-16 2018-09-20 Vorwerk & Co. Interholding Gmbh Verfahren zum Betrieb eines sich selbsttätig fortbewegenden Bodenbearbeitungsgerätes
CN106933227B (zh) * 2017-03-31 2020-12-18 联想(北京)有限公司 一种引导智能机器人的方法以及电子设备
CN111093447B (zh) * 2017-09-26 2022-09-02 伊莱克斯公司 机器人清洁设备的移动控制
CN108021134B (zh) * 2017-11-30 2021-02-02 厦门华蔚物联网科技有限公司 一种机器人纠偏系统及其控制方法
US11771283B2 (en) * 2017-12-06 2023-10-03 BISSELL , Inc. Method and system for manual control of autonomous floor cleaner
US10575699B2 (en) * 2018-01-05 2020-03-03 Irobot Corporation System for spot cleaning by a mobile robot
JP7108861B2 (ja) * 2018-01-31 2022-07-29 パナソニックＩｐマネジメント株式会社 掃除機の制御方法
JP7016751B2 (ja) * 2018-03-29 2022-02-07 ヤンマーパワーテクノロジー株式会社 運転支援システム
US11687092B2 (en) 2018-04-23 2023-06-27 Sharkninja Operating Llc Techniques for bounding cleaning operations of a robotic surface cleaning device within a region of interest
CN108803597A (zh) * 2018-05-07 2018-11-13 北京三辰环卫机械有限公司 控制垃圾桶的方法、装置和系统
DE102018111504A1 (de) * 2018-05-14 2019-11-14 Hako Gmbh Bedienungseinrichtung mit berührungsempfindlichem Bildschirm für eine Bodenreinigungsmaschine sowie System umfassend eine Bodenreinigungsmaschine und eine Bedienungseinrichtung
CN108814450A (zh) * 2018-07-31 2018-11-16 上海爱优威软件开发有限公司 一种与扫地机器人进行交互的方法、系统及终端
US11460849B2 (en) 2018-08-09 2022-10-04 Cobalt Robotics Inc. Automated route selection by a mobile robot
US11082667B2 (en) 2018-08-09 2021-08-03 Cobalt Robotics Inc. Contextual automated surveillance by a mobile robot
CN110833361A (zh) * 2018-08-17 2020-02-25 速感科技（北京）有限公司 一种清洁机器人及其多区域清洁方法
CN111358365B (zh) * 2018-12-26 2021-11-19 珠海一微半导体股份有限公司 清洁机器人的作业区域划分方法、系统及芯片
CN111657791A (zh) * 2019-03-07 2020-09-15 北京奇虎科技有限公司 一种遥控清扫方法和装置
JP7400217B2 (ja) * 2019-05-30 2023-12-19 セイコーエプソン株式会社 ロボットシステムおよび可搬型教示装置
CN110301866B (zh) * 2019-08-01 2023-07-21 商洛市虎之翼科技有限公司 收集垃圾的装置及其操作方法
CN110558901B (zh) * 2019-09-09 2024-06-14 北京小狗吸尘器集团股份有限公司 一种扫地机器人移动方法及扫地机器人
US12087172B2 (en) 2019-11-28 2024-09-10 Sony Group Corporation Image processing device and image processing method
US11731278B1 (en) * 2020-04-20 2023-08-22 Google Llc Robot teleoperation using mobile device motion sensors and web standards
CN111604903A (zh) * 2020-05-20 2020-09-01 济南浪潮高新科技投资发展有限公司 一种机器人任务执行控制方法、装置、设备及存储介质
CN111583346A (zh) * 2020-07-06 2020-08-25 深圳市瑞立视多媒体科技有限公司 基于机器人扫场的相机标定系统
CN112022012A (zh) * 2020-09-28 2020-12-04 珠海市一微半导体有限公司 清扫机器人的共享柜
CN112415991A (zh) * 2020-11-30 2021-02-26 Oppo广东移动通信有限公司 一种控制方法及设备、存储介质
CN114831536A (zh) * 2022-04-26 2022-08-02 北京市商汤科技开发有限公司 一种清洁机器人
CN117666402A (zh) * 2022-08-30 2024-03-08 北京小米移动软件有限公司 交互方法、装置、电子设备及存储介质
JP2024062176A (ja) * 2022-10-24 2024-05-09 株式会社クボタ 作業機の遠隔操作支援システム、遠隔装置
SE2251486A1 (en) * 2022-12-19 2024-06-20 Husqvarna Ab Method and system for defining a lawn care area

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100821162B1 (ko) * 2007-03-30 2008-04-14 삼성전자주식회사 청소로봇 제어 방법 및 시스템
KR20130027339A (ko) * 2011-09-07 2013-03-15 엘지전자 주식회사 이동 로봇, 및 이동 로봇의 원격 제어 시스템 및 방법

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0666700A1 (en) * 1994-02-03 1995-08-09 AT&T Corp. Virtual mobile location area
GB9726912D0 (en) * 1997-12-19 1998-02-18 Advanced Communications Consul Apparatus and method for detection of signals
FR2796240B1 (fr) * 1999-07-05 2001-10-12 Cit Alcatel Procede de mise a jour des enregistreurs de localisations de terminaux mobiles d'usager dans un reseau radiotelephonique d'un operateur
JP3857148B2 (ja) * 2001-12-12 2006-12-13 株式会社エヌ・ティ・ティ・ドコモ ＱｏＳ保証パスの移動追従システム、このシステムに用いるルータ装置、移動通信端末、ルータ装置を制御するための制御プログラム
KR100663478B1 (ko) * 2003-01-30 2007-01-02 삼성전자주식회사 휴대단말기의 화면표시 장치 및 방법
KR20060084678A (ko) * 2005-01-20 2006-07-25 삼성전자주식회사 이동 통신 단말기를 이용한 이동체의 위치 검출 시스템 및그 방법
KR20080029548A (ko) * 2006-09-29 2008-04-03 삼성전자주식회사 실사기반 이동기기 제어 방법 및 장치
WO2008072293A1 (ja) * 2006-12-08 2008-06-19 Pioneer Corporation ナビゲーション装置及びナビゲーション方法
CN101282142A (zh) * 2007-04-05 2008-10-08 联想移动通信科技有限公司 手机机器人及其控制方法
CN101150856B (zh) * 2007-11-02 2010-09-22 江苏华科导航科技有限公司 导航装置定位手机位置的方法
US8677571B2 (en) * 2011-07-21 2014-03-25 Ideal Clamp Products, Inc. Hose clamp with rippled spring liner
US9582000B2 (en) * 2011-09-07 2017-02-28 Lg Electronics Inc. Robot cleaner, and system and method for remotely controlling the same
US9037296B2 (en) * 2011-09-07 2015-05-19 Lg Electronics Inc. Robot cleaner, and system and method for remotely controlling the same
US9776332B2 (en) * 2011-12-08 2017-10-03 Lg Electronics Inc. Automatic moving apparatus and manual operation method thereof
KR101305944B1 (ko) * 2011-12-27 2013-09-12 전자부품연구원 랩어라운드 영상을 이용한 로봇 원격 제어를 위한 방법 및 이를 위한 장치
CN102866706B (zh) * 2012-09-13 2015-03-25 深圳市银星智能科技股份有限公司 一种采用智能手机导航的清扫机器人及其导航清扫方法
US9675226B2 (en) 2012-10-26 2017-06-13 Lg Electronics Inc. Robot cleaner system and control method of the same
US8970709B2 (en) * 2013-03-13 2015-03-03 Electronic Scripting Products, Inc. Reduced homography for recovery of pose parameters of an optical apparatus producing image data with structural uncertainty

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100821162B1 (ko) * 2007-03-30 2008-04-14 삼성전자주식회사 청소로봇 제어 방법 및 시스템
KR20130027339A (ko) * 2011-09-07 2013-03-15 엘지전자 주식회사 이동 로봇, 및 이동 로봇의 원격 제어 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180097917A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 전자 장치 및 그의 제어 방법
KR20200100019A (ko) * 2018-04-05 2020-08-25 엘지전자 주식회사 이동 로봇 및 그 제어방법
WO2020017752A1 (ko) * 2018-07-19 2020-01-23 삼성전자 주식회사 드로잉을 통한 이동 로봇 제어 장치 및 그것의 동작 방법

Also Published As

Publication number Publication date
US10291765B2 (en) 2019-05-14
CN106413501B (zh) 2019-06-04
CN110037621B (zh) 2021-12-14
EP3149862B1 (en) 2020-04-29
CN106413501A (zh) 2017-02-15
EP3149862A4 (en) 2018-03-07
US20170201617A1 (en) 2017-07-13
WO2015183005A1 (en) 2015-12-03
EP3149862A1 (en) 2017-04-05
CN110037621A (zh) 2019-07-23
KR102183012B1 (ko) 2020-11-25

Similar Documents

Publication Publication Date Title
KR102183012B1 (ko) 모바일 기기, 청소로봇 및 그 제어방법
CN114521836B (zh) 一种自动清洁设备
US20240118700A1 (en) Mobile robot and control method of mobile robot
US9950429B2 (en) Robot cleaning system and method of controlling robot cleaner
US10265858B2 (en) Auto-cleaning system, cleaning robot and method of controlling the cleaning robot
US11537135B2 (en) Moving robot and controlling method for the moving robot
US20180263449A1 (en) Floor cleaning system and method for cleaning a floor surface
KR101753361B1 (ko) 청소 로봇을 이용한 스마트 청소 시스템
KR20160146379A (ko) 이동 로봇 및 그 제어방법
KR102082757B1 (ko) 청소 로봇 및 그 제어 방법
US20200064838A1 (en) Vacuum cleaner and travel control method thereof
WO2019001237A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
WO2022041737A1 (zh) 一种测距方法、装置、机器人和存储介质
WO2018228258A1 (zh) 一种移动电子设备以及该移动电子设备中的方法
KR102314537B1 (ko) 이동 로봇 및 그 제어방법
CN114829085B (zh) 移动机器人及其控制方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant