KR102624560B1 - 청소기 - Google Patents

청소기 Download PDF

Info

Publication number
KR102624560B1
KR102624560B1 KR1020170014093A KR20170014093A KR102624560B1 KR 102624560 B1 KR102624560 B1 KR 102624560B1 KR 1020170014093 A KR1020170014093 A KR 1020170014093A KR 20170014093 A KR20170014093 A KR 20170014093A KR 102624560 B1 KR102624560 B1 KR 102624560B1
Authority
KR
South Korea
Prior art keywords
vacuum cleaner
area
processor
human
extracted
Prior art date
Application number
KR1020170014093A
Other languages
English (en)
Other versions
KR20180089235A (ko
Inventor
이정현
박성길
신동명
전형신
최혁두
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020170014093A priority Critical patent/KR102624560B1/ko
Priority to PCT/KR2018/001254 priority patent/WO2018143634A1/en
Priority to US15/883,841 priority patent/US11605244B2/en
Priority to AU2018216517A priority patent/AU2018216517B9/en
Priority to EP18748553.7A priority patent/EP3576592A4/en
Publication of KR20180089235A publication Critical patent/KR20180089235A/ko
Application granted granted Critical
Publication of KR102624560B1 publication Critical patent/KR102624560B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805—Parameters or conditions being sensed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857—User input or output elements for control, e.g. buttons, switches or displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Robotics (AREA)
  • Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

본 발명의 일 실시 예에 따른 청소기는 청소기 본체, 바닥 면의 먼지를 흡입하는 흡입 노즐, 상기 흡입 노즐로부터 전달된 먼지를 상기 청소기 본체로 전달하는 흡입 호스를 포함하고, 상기 청소기 본체는 상기 청소기 본체를 이동시키는 주행 구동부, 상기 청소기 본체 주위의 사물에 대한 영상 정보를 획득하는 깊이 센서 및 획득된 영상 정보에 기초하여, 사람의 발바닥 영역을 추출하고, 추출된 발바닥 영역에 기초하여, 상기 청소기 본체의 이동 지점을 획득하고, 획득된 이동 지점으로, 상기 청소기 본체를 이동시키도록 상기 주행 구동부를 제어하는 프로세서를 포함할 수 있다.

Description

청소기{CLEANER}
본 발명은 청소기에 관한 것으로, 보다 상세하게는 사람을 자동으로 추종할 수 있는 청소기에 관한 발명이다.
일반적으로 청소기는 본체 내부에 장착되는 흡입 모터에 의하여 발생되는 흡입력을 이용하여, 먼지가 포함된 공기를 흡입한 다음, 본체 내부에서 먼지를 필터링하는 장치이다.
이러한, 청소기는 수동 청소기와 자동 청소기로 구분된다. 수동 청소기는 사용자가 직접 청소기를 이동시켜, 청소를 수행하여야 하는 청소기이고, 자동 청소기는 스스로 주행하면서 청소를 수행하는 청소기이다.
수동 청소기는, 흡입 노즐이 청소기 본체와는 별도로 구비되어 연장관에 의해 연결되는 캐니스터 방식과, 흡입 노즐이 본체와 결합되는 업라이트 방식으로 구별할 수 있다.
이러한, 종래의 수동 청소기는 사용자가 힘을 주어 끌어야 하므로, 손목이나 허리에 부담이 간다.
또한, 사용자가 핸들을 통해 흡입 호스와 연결된 청소기 본체를 억지로 끌어 당기면, 흡입 호스가 청소기 본체로부터 분리되는 문제가 있었다.
이러한, 문제를 해결하기 위해 청소기가 자동으로 사람을 추종하는 기술들이 개발되었다.
예를 들어, 종래의 청소기는 초음파 센서를 이용하여, 사용자와 청소기 간의 거리 및 방향을 측정하여, 청소기 본체가 사용자를 추종할 수 있었다.
하지만, 초음파 센서를 이용하는 경우, 초음파의 특성상 거리를 정확하게 측정할 수 없어, 청소기와 사용자가 충돌할 수 있고, 장애물을 정확히 검출하지 못하는 제약이 있었다.
또한, 기존의 선행 등록 특허 KR10-0585709는 청소기에 부착된 적외선 카메라를 이용하여, 열원의 온도 분포를 감지하고, 감지 결과에 따라 움직이는 대상물체를 추종하는 기술을 개시하고 있다.
그러나, 이 경우, 인체를 감지하기 위한 적외선 카메라를 별도로 추가해야 하는 비용 상의 부담이 있었고, 사용자가 움직이지 않으면, 사용자를 감지할 수 없어, 사용자를 추종할 수 없는 문제가 있었다.
또한, 스테레오 카메라를 이용하여, 삼각 측량 방식으로, 사용자와의 거리 취득하는 경우, 연산량이 많아, 청소기의 반응 속도가 느린 문제가 있었다.
본 발명은 움직이는 대상체가 아닌 사람을 정확히 인식하고, 인식된 사람을 자동으로 추종할 수 있는 것을 그 목적으로 한다.
본 발명은 사람으로부터 일정 거리만큼 떨어진 위치로, 사람을 자동으로 추종하는 청소기를 제공하는 것을 그 목적으로 한다.
본 발명은 사람 후보 영역들로부터 정확한 추종 대상을 선정하는 것을 그 목적으로 한다.
본 발명은 사람 후보 영역으로부터 장애물로 판단된 영역을 자동으로 회피할 수 있는 것을 그 목적으로 한다.
본 발명은 외부 환경의 영향으로 인해, 사람 후보 영역이 검출되지 못한 경우를 보완할 수 있는 것을 그 목적으로 한다.
본 발명은 인체를 감지하는 인체 센서의 추가 없이, 사람을 인식하여, 인식된 사람을 자동으로 추종할 수 있는 청소기를 제공하는 것을 목적으로 한다.
본 발명의 실시 예에 따른 청소기는 깊이 센서를 통해 획득한 영상 정보로부터 추출된 사람의 발바닥 영역에 기초하여, 청소기 본체가 이동해야 될 타겟 지점으로, 청소기 본체를 이동시킬 수 있다.
본 발명의 실시 예에 따른 청소기는 발바닥 영역의 진행 방향 및 발바닥 영역에 포함된 좌 발바닥 영역과 우 발바닥 영역 간의 상대적 위치를 이용하여, 청소기가 이동해야 될 이동 지점을 획득할 수 있다.
본 발명의 실시 예에 따른 청소기는 사람 후보 영역으로부터, 사람 영역을 추출하고, 사람 영역으로부터 발바닥 영역을 추출할 수 있다.
본 발명의 실시 예에 따른 청소기는 사람 후보 영역이 장애물로 판단된 경우, 장애물을 회피하도록 주행 구동부를 제어할 수 있다.
본 발명의 실시 예에 따른 청소기는 깊이 센서를 통해 사람 후보 영역이 추출되지 않은 경우, RGB 센서를 통해 사람 후보 영역을 추출할 수 있다.
본 발명의 실시 예에 따른 청소기의 깊이 센서는 청소기 본체의 상단 전면에 장착될 수 있다.
본 발명의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 발명의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 발명의 바람직한 실시 예와 같은 특정 실시 예는 단지 예시로 주어진 것으로 이해되어야 한다.
본 발명의 실시 예에 따르면, 청소기가 추종해야 될 사람이 정확히 인식되어, 사람을 안정적으로 추종할 수 있다.
본 발명의 실시 예에 따르면, 청소기는 사용자의 후방에 일정 거리만큼 떨어져 있어, 사용자가 청소를 수행하는데 방해를 받지 않을 수 있고, 흡입 호스가 꼬이지 않게 할 수 있다.
본 발명의 실시 예에 따르면, 청소기는 장애물과 사람 영역을 정확히 구분하여, 사람이 아닌 다른 대상을 추종하는 것이 방지될 수 있다.
본 발명의 실시 예에 따르면, 청소기는 장애물을 자동으로 회피하여, 장애물과의 충돌로 인한 손상이 방지될 수 있다.
본 발명의 실시 예에 따르면, 깊이 센서가 활용 불가능한 외부 환경 변화에 상관 없이, 추종 대상을 추출할 수 있다.
본 발명의 실시 예에 따르면, 인체를 감지하기 위한, 별도의 인체 감지 센서가 장착될 필요가 없어, 비용이 절감되는 효과가 있다.
도 1a는 본 발명의 일 실시 예에 따른 청소기의 구성을 설명하기 위한 블록도이다.
도 1b는 본 발명의 일 실시 예에 따른 캐니스터 타입의 청소기를 설명하는 도면이다.
도 1c 및 1d는 본 발명의 일 실시 예에 따른 로봇 타입의 청소기를 설명하는 도면이다.
도 1e 및 도 1f는 본 발명의 일 실시 예에 따른 깊이 센서의 구조 및 영상 정보를 획득하는 원리를 설명하는 도면이다.
도 2는 본 발명의 일 실시 예에 따른 청소기의 동작 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시 예에 따라 획득된 영상 정보에 기초하여, 사람 후보 영역을 추출하는 과정을 설명하는 흐름도이다.
도 4는 본 발명의 일 실시 예에 따라 획득된 영상 정보에 기초하여, 전경 영역과 배경 영역을 분리하는 예를 설명하는 도면이다.
도 5는 본 발명의 일 실시 예에 따라 메모리에 저장된 3차원 사람 모델의 예시를 보여준다.
도 6은 본 발명의 일 실시 예에 따라 획득된 사람 영역으로부터 청소기의 이동 지점을 획득하는 예를 설명하는 흐름도이다.
도 7은 본 발명의 일 실시 예에 따라 다리 영역 간의 거리에 기초하여, 동일한 사람의 다리 쌍인지를 판단하는 예를 설명하는 도면이다.
도 8 및 도 9는 본 발명의 일 실시 예에 따라 청소기가 추종 대상으로 선정한 다리 쌍을 바닥 평면에 투사시켜, 투사된 발바닥 영역을 획득하는 과정을 설명하는 도면이다.
도 10 내지 도 14는 본 발명의 실시 예에 따라 발바닥 영역을 이용하여, 청소기의 이동 지점을 획득하는 과정을 설명하는 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 1a는 본 발명의 일 실시 예에 따른 청소기의 구성을 설명하기 위한 블록도이다.
도 1a에 도시된 청소기(100)는 흡입 호스를 포함하는 캐니스터 타입의 청소기, 흡입 호스를 포함하지 않는 로봇 타입의 청소기에 모두 적용될 수 있다. 이에 대해서는 후술한다.
도 1a를 참조하면, 본 발명의 일 실시 예에 따른 청소기(100)는 영상 정보 획득부(110), 장애물 감지부(130), 메모리(150), 주행 구동부(170) 및 프로세서(190)를 포함할 수 있다.
영상 정보 획득부(110)는 청소기(100) 주위의 영상에 대한 정보인 영상 정보를 획득할 수 있다.
영상 정보 획득부(110)는 깊이 센서(111) 및 RGB 센서(113) 중 하나 이상을 포함할 수 있다.
깊이 센서(111)는 발광부(미도시)로부터 조사된 빛이 사물에 반사되어 돌아옴을 감지할 수 있다. 깊이 센서(111)는 돌아온 빛을 감지한 시간 차이, 돌아온 빛의 양 등에 기초하여, 사물과의 거리를 측정할 수 있다.
깊이 센서(111)는 측정된 사물 간의 거리에 기초하여, 청소기(100) 주위에 대한 2차원 영상 정보 또는 3차원 영상 정보를 획득할 수 있다.
RGB 센서(113)는 청소기(100) 주위의 사물에 대한 컬러 영상 정보를 획득할 수 있다. 컬러 영상 정보는 사물의 촬영 영상일 수 있다. RGB 센서(113)는 RGB 카메라로 명명될 수 있다.
영상 정보 획득부(110)에 대해서는 자세히 후술한다.
장애물 감지부(130)는 청소기(200)의 주위에 배치된 장애물을 감지할 수 있다.
장애물 감지부(130)는 초음파 센서, 적외선 센서, 레이져 센서 및/또는 비젼 카메라 등을 포함할 수 있다. 장애물 감지부(130)는 레이져 센서에 의해 레이져가 조사된 청소 구역을 촬영하여 영상을 획득하는 카메라를 포함할 수 있다.
프로세서(190)는 카메라를 통해 획득된 영상으로부터 레이져 광 패턴을 추출하고, 영상에서의 상기 패턴의 위치와, 형태, 자세 등의 변화를 바탕으로 청소 구역 내의 장애물 상황과 청소 구역의 지도를 생성할 수 있다.
도 1a에서 장애물 감지부(130)와 영상 정보 획득부(110)는 별개의 구성으로 설명되었으나, 이에 한정될 필요는 없다. 즉, 장애물 감지부(130)는 영상 정보 획득부(110)의 구성에 포함될 수도 있고, 청소기(100)의 구성에 포함되지 않을 수 있다. 이 경우, 영상 정보 획득부(110)가 장애물 감지를 대체한다.
메모리(150)는 다리 형상을 포함하는 복수의 사람 모델을 저장하고 있을 수 있다. 복수의 사람 모델은 2차원 또는 3차원 사람 모델일 수 있다.
주행 구동부(170)는 청소기(100)를 특정 방향으로 또는 특정 거리만큼 이동시킬 수 있다. 주행 구동부(170)는 청소기(100)의 좌륜을 구동시키는 좌륜 구동부(171) 및 우륜을 구동시키는 우륜 구동부(173)를 포함할 수 있다.
좌륜 구동부(171)는 좌륜을 구동시키기 위한 모터를 포함할 수 있고, 우륜 구동부(173)는 우륜을 구동시키기 위한 모터를 포함할 수 있다.
도 1a에서는 주행 구동부(170)가 좌륜 구동부(171) 및 우륜 구동부(173)를 포함하는 것을 예로 들어 설명하였으나, 이에 한정될 필요는 없고, 휠이 하나인 경우, 하나의 구동부만이 구비될 수도 있다.
프로세서(190)는 청소기(100)의 동작을 전반적으로 제어할 수 있다.
프로세서(190)는 영상 정보 획득부(110)가 획득한 영상 정보에 기초하여, 하나 이상의 사람 후보 영역을 추출할 수 있다.
프로세서(190)는 추출된 하나 이상의 사람 후보 영역 중 사람 영역을 추출하고, 추출된 사람 영역에 기초하여, 사람의 위치 및 자세를 판단할 수 있다.
프로세서(190)는 판단된 사람의 위치 및 자세에 기초하여, 청소기(100)가 자동으로 이동할 이동 지점을 선정할 수 있다.
프로세서(190)는 선정된 이동 지점으로 청소기(100)가 이동하도록 주행 구동부(170)를 제어할 수 있다.
이에 따라, 청소기(100)는 사람과 일정 거리만큼 떨어진 지점으로, 사람을 추종할 수 있다.
프로세서(190)는 좌륜 구동부(171)와 우륜 구동부(173)의 작동을 독립적으로 제어할 수 있다. 이에 따라 청소기(100)의 직진, 후진 또는 선회가 이루어 진다.
도 1a의 실시 예에 따른 청소기(100)는 캐니스터 타입 또는 로봇 타입의 청소기에 적용될 수 있다.
도 1b는 본 발명의 일 실시 예에 따른 캐니스터 타입의 청소기를 설명하는 도면이다.
캐니스터 타입의 청소기(100-1)는 청소기 본체(10) 및 흡입 장치(20)를 포함할 수 있다.
청소기 본체(10)는 도 1에서 설명한 청소기(100)의 구성 요소들을 모두 포함할 수 있다.
청소기 본체(10)는 흡입 장치(20)에서 흡입된 공기와 먼지를 서로 분리시키는 먼지 분리부(미도시)와, 먼지 분리부에서 분리된 먼지를 저장하는 먼지통(101)을 더 포함할 수 있다.
먼지통(101)은 청소기 본체(10)에 분리 가능하게 장착될 수 있다. 먼지 분리부는 먼지통(101)과 별도의 물품으로 제조되거나, 먼지통(101)과 하나의 모듈을 이룰 수 있다.
흡입 장치(20)는 청소기 본체(10)와 연결되어, 청소기 본체(10)로 먼지를 포함한 공기를 안내할 수 있다.
흡입 장치(20)는 바닥 면의 먼지와 공기를 흡입하기 위한 흡입 노즐(21) 및 흡입 노즐(21)를 청소기 본체(10)에 연결시키기 위한 연결부(22, 23, 24)를 포함할 수 있다.
연결부(22, 23, 24)는 흡입 노즐(21)에 연결되는 연장관(24), 연장관(24)에 연결되는 핸들(22) 및 핸들(22)을 청소기 본체(10)에 연결시키는 흡입 호스(23)를 포함할 수 있다.
청소기 본체(10)는 영상 정보 획득부(110)를 포함할 수 있다. 영상 정보 획득부(110)는 청소기 본체(10)의 상단 전면에 배치될 수 있다.
청소기 본체(10)는 일정한 높이를 가질 수 있다. 일정한 높이는 15cm 내지 30cm 의 범위에 속할 수 있으나, 이는 예시에 불과하다.
깊이 센서(111)가 청소기 본체(10)의 상단 전면에 배치된 경우, 하방으로, 광원이 조사될 수 있어, 바닥 면의 위에 놓여진 사람의 무릎 아래의 영상에 대한 정보가 정확히 추출될 수 있다.
다음으로, 로봇 타입의 청소기를 설명한다.
도 1c 및 1d는 본 발명의 일 실시 예에 따른 로봇 타입의 청소기를 설명하는 도면이다.
도 1c 및 도 1d를 참조하면, 로봇 타입의 청소기(100-2)는 청소기 본체(50), 좌륜(61a), 우륜(61b) 및 흡입부(70)를 포함할 수 있다.
청소기 본체(50)는 도 1에서 설명한 청소기(100)의 구성 요소들을 모두 포함할 수 있다.
특히, 로봇 타입 청소기(100-2)의 전면 상단에는 깊이 센서(111)를 포함하는 영상 정보 획득부(110)가 구비될 수 있다. 물론, 추가적으로, RGB 센서(113)도 구비될 수 있다.
좌륜(61a) 및 우륜(61b)은 청소기 본체(50)를 주행시킬 수 있다. 좌륜(61a) 및 우륜(61b)이 주행 구동부(170)에 의해 회전됨에 따라, 흡입부(70)를 통해 먼지나 쓰레기 등의 이물질이 흡입될 수 있다.
흡입부(70)는 청소기 본체(50)에 구비되어 바닥 면의 먼지를 흡입할 수 있다.
흡입부(70)는 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 상기 필터에 의해 채집된 이물질들이 축적되는 이물질 수용기(미도시)를 더 포함할 수 있다.
도 1e 및 도 1f는 본 발명의 일 실시 예에 따른 깊이 센서의 구조 및 영상 정보를 획득하는 원리를 설명하는 도면이다.
도 1e 및 도 1f에서 깊이 센서는 TOF(Time Of Flight) 타입의 깊이 센서임을 가정하여 설명하나, 이는 예시에 불과하다.
TOF 타입의 깊이 센서(111)는 빛을 조사하여, 반사되어 오는 시간을 측정하여, 사물과의 거리를 측정할 수 있다.
TOF 타입의 깊이 센서(111)는 반사된 빛의 양을 이용하여, 사물과의 거리를 측정할 수 있다.
TOF 타입의 깊이 센서(111)는 TOF 방식을 이용하여, 도 1e에 도시된 바와 같이, 실제 사물(91)에 대해 depth 이미지(93)를 포함하는 영상 정보를 출력할 수 있다.
도 1f는 TOF 타입의 깊이 센서의 예를 보여준다.
TOF 타입의 깊이 센서(111)는 도 1f에서와 같이, 발광부(미도시) 및 발광부로부터 나온 빛이 반사되어 오는 빛을 감지하는 복수의 셀(95)들을 포함할 수 있다.
발광부는 일정 시간 간격으로, 빛을 외부로 조사할 수 있다. 일정 시간 은 발광부의 점멸 간격을 나타낼 수 있다.
복수의 셀들 각각(95)은 제1 수신기(95a) 및 제2 수신기(95b)를 포함할 수 있다.
제1 수신기(95a)는 발광부에서 빛을 조사하는 동안, 활성화될 수 있고, 활성화된 상태에서, 반사되어 돌아오는 빛을 수신할 수 있다.
제2 수신기(95b)는 발광부에서 빛을 조사하지 않는 동안, 활성화될 수 있고, 활성화된 상태에서, 반사되어 돌아오는 빛을 수신할 수 있다.
제1 수신기(95a) 및 제2 수신기(95b) 각각이 서로 시간 차를 두고, 활성화되면, 사물과의 거리에 따라 각 수신기에 누적되는 빛의 양에 차이가 발생한다.
이러한, 빛의 양의 차이를 비교하여, 사물과의 거리가 측정될 수 있다.
TOF 타입의 깊이 센서(111)는 실제 사물(91)을 측정된 거리에 따라 도 1e에 도시된 깊이 이미지(93)로 변환하여, 출력할 수 있다.
변환된 깊이 이미지(93)를 이용하여, 사람 후보 영역을 추출하는데 사용될 수 있다.
도 2는 본 발명의 일 실시 예에 따른 청소기의 동작 방법을 설명하기 위한 흐름도이다.
이하에서는 도 2의 실시 예에 따른 청소기의 동작 방법을 도 1의 실시 예에 결부시켜 설명한다.
청소기(100)의 영상 정보 획득부(110)는 청소기(100) 주위에 위치한 영상에 대한 정보인 영상 정보를 획득한다(S201).
일 실시 예에서 영상 정보 획득부(110)는 깊이 센서(111) 및 RGB 센서(113) 중 하나 이상을 포함할 수 있다.
깊이 센서(111)는 픽셀 단위로 조사된 광이 반사된 경우, 반사된 광을 감지하여, 깊이 센서와 사물 간의 거리 데이터를 획득할 수 있다.
프로세서(190)는 깊이 센서(111)에 의해 획득된 거리 데이터에 기초하여, 3차원 영상 정보를 획득할 수 있다. 3차원 영상 정보는 추후, 사람 후보 영역을 추출하는데 사용될 수 있다.
본 발명의 또 다른 실시 예에 따르면, 영상 정보를 획득하기 위해, RGB 센서(113)가 추가적으로 사용될 수 있다. RGB 센서(113)는 청소기(100) 주위의 사물에 대한 컬러 영상 정보를 획득할 수 있다.
RGB 센서(113)는 깊이 센서(111)가 획득된 영상 정보를 통해 사람 후보 영역이 추출되지 못한 경우, 사용될 수 있다. 즉, RGB 센서(113)는 깊이 센서(113)를 보완하는 역할을 수행할 수 있다.
즉, 프로세서(190)는 깊이 센서(111)가 획득한 영상 정보를 통해 사람 후보 영역이 추출되지 못한 경우, RGB 센서(113)가 획득한 컬러 영상 정보를 이용하여, 사람 후보 영역을 추출할 수 있다.
깊이 센서(111)가 사람 후보 영역을 추출하지 못하는 경우란, 태양광을 비롯한 외부 광원이 깊이 센서(111)의 발광부에 직접 조사되는 경우일 수 있다.
또 다른 예로, 깊이 센서(111)가 사람 후보 영역을 추출하지 못하는 경우란, 깊이 센서(111)와의 사물 간의 거리가 매우 가깝거나, 사물의 반사도가 심해, 광 포화(light saturation) 현상이 발생되는 경우일 수 있다.
깊이 센서(111)가 활용 불가능한 외부 환경 변화에 상관 없이, RGB 센서(113)를 통해 사람 후보 영역이 추출될 수 있다.
반대로, 프로세서(190)는 RGB 센서(113)가 획득한 컬러 영상 정보를 통해 사람 후보 영역이 추출되지 못한 경우, 깊이 센서(111)가 획득한 거리 데이터에 기초하여, 사람 후보 영역을 추출할 수 있다.
RGB 센서(113)가 획득한 컬러 영상 정보를 통해 사람 후보 영역이 추출되지 못한 경우란, 불이 꺼져 있는 것과 같이, 주위의 조도가 기 설정된 조도 미만이어서, 촬영에 의해 사람 후보 영역을 추출할 수 없는 경우일 수 있다.
영상 정보 획득을 위해 깊이 센서(111) 및 RGB 센서(113)가 모두 이용되는 경우, 어느 하나의 센서는 다른 하나의 센서를 보완하므로, 사람 후보 영역의 검출 능력이 향상될 수 있다.
청소기(100)의 프로세서(190)는 획득한 영상 정보에 기초하여, 하나 이상의 사람 후보 영역을 추출한다(S203).
프로세서(190)는 획득한 영상 정보에 기초하여, 전경 영역으로부터 배경 영역을 분리하여, 사람 후보 영역을 추출할 수 있다.
또 다른 실시 예에서 프로세서(190)는 분리된 전경 영역으로부터 바닥 평면 영역을 제거하여, 사람 후보 영역을 추출할 수 있다.
또 다른 실시 예에서 프로세서(190)는 획득한 영상 정보에 RGB 정보가 포함되어 있는 경우, HOG(Histogram of Oriented Gradient) 기반 사람 인식 알고리즘을 이용하여, 사람 후보 영역을 추출할 수 있다.
RGB 정보는 RGB 센서(113)가 획득한 컬러 영상일 수 있다.
HOG 기반 사람 인식 알고리즘은 컬러 영상을 분할한 복수의 셀들 중 엣지(edge) 픽셀들의 방향에 대해 히스토그램을 획득하여, 컬러 영상에 포함된 사람 영역을 인식하는 알고리즘 기법이다. 여기서, 엣지 픽셀은 기울기 크기가 일정 크기 이상인 픽셀이다.
프로세서(190)는 획득한 영상 정보를 이용하여, 최소 2개 이상의 사람 후보 영역을 추출할 수 있다.
단계 S203에 대해서는 이하의 도면을 참조하여 설명한다.
도 3은 본 발명의 일 실시 예에 따라 획득된 영상 정보에 기초하여, 사람 후보 영역을 추출하는 과정을 설명하는 흐름도이다.
특히, 도 3은 도 2의 단계 S203을 구체화한 도면이다.
도 3을 참조하면, 프로세서(190)는 획득된 영상 정보에 RGB 정보가 포함되어 있는지를 판단한다(S301).
프로세서(190)는 획득된 영상 정보에 RGB 정보가 포함되어 있지 않은 경우 , 획득된 영상 정보에 기초하여, 전경 영역으로부터 배경 영역을 분리한다(S303).
이 경우, 프로세서(190)는 깊이 센서만을 이용하여, 사람 후보 영역을 추출할 수 있다. 즉, 영상 정보에 RGB 정보가 포함되지 않은 경우, 해당 영상 정보는 깊이 센서를 통해 감지된 깊이 정보일 수 있다.
깊이 정보는 깊이 센서와 주변 사물 간의 거리를 나타내는 거리 데이터를 포함할 수 있다.
단계 S303에 대해서는 도 4를 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따라 획득된 영상 정보에 기초하여, 전경 영역과 배경 영역을 분리하는 예를 설명하는 도면이다.
도 4를 참조하면, 청소기(100)의 전면에 위치한 실제 영상(400)이 도시되어 있다.
영상 정보 획득부(110)의 깊이 센서는 실제 영상(400)에 대응하는 영상 정보를 획득할 수 있다.
프로세서(190)에 포함된 전처리부(미도시)는 획득된 영상 정보를 전처리 하여, 실제 영상(400)의 전체에 대응하는 전경 영역(410)을 획득할 수 있다. 이 과정에서, 전처리부는 영상 정보에서 노이즈를 제거할 수 있고, 노이즈가 제거된 전경 영역(410)을 획득할 수 있다.
전경 영역(410)은 사물 영역들(413, 415)을 포함하지 않은 배경 영역(411)을 포함할 수 있다. 전처리부는 전경 영역(410)으로부터 사물 영역들(413, 415)을 포함하지 않은 배경 영역(411)을 분리할 수 있다.
다시 도 3을 설명한다.
프로세서(190)는 배경 영역이 분리된 전경 영역 중 움직임이 있는 영역 또는 전경 영역 중 바닥 평면 영역을 제거한 영역을 사람 후보 영역으로 추출한다(S305).
일 실시 예에서, 프로세서(190)는 배경 영역이 분리된 상태의 전경 영역 내에 움직임이 있는 영역들을 사람 후보 영역으로 추출할 수 있다.
도 4를 참조하면, 프로세서(190)는 배경 영역(411)이 분리된 상태의 전경 영역(410) 내에 움직임이 존재하는 사물 영역들(413, 415)을 추출할 수 있다.
프로세서(190)는 제1 시점에서 획득된 제1 영상 정보 및 제2 시점에서 획득된 제2 영상 정보에 기초하여, 사물 영역들(413, 415) 각각이 이동된 경우, 영역들(413, 415) 각각을 사람 후보 영역으로 추출할 수 있다. 여기서, 제2 시점은 제1 시점보다 더 늦은 시점일 수 있다.
만약, 사물 영역들(413, 415) 중 어느 하나의 영역이 제1 시점 및 제2 시점에서 동일한 위치에 있는 경우, 프로세서(190)는 해당 영역을 사람 후보 영역으로 추출하지 않을 수 있다.
또 다른 실시 예에서 배경 영역이 바닥 평면 영역으로 한정된 경우, 프로세서(190)는 전경 영역 내에서 바닥 평면 영역을 분리하고, 분리된 바닥 평면 영역을 제거할 수 있다.
프로세서(190)는 바닥 평면 영역을 제거한 후, 남아 있는 영역에서, 움직임이 존재하는 영역을 사람 후보 영역으로 추출할 수 있다.
한편, 프로세서(190)는 획득된 영상 정보에 RGB 정보가 포함된 경우, HOG 기반 사람 인식 알고리즘을 수행하고(S307), 수행 결과에 따라 사람 후보 영역을 추출한다(S309).
프로세서(190)는 RGB 센서를 통해 획득된 RGB 정보를 이용하여, HOG 기반 사람 인식 알고리즘을 수행할 수 있다.
HOG 기반 사람 인식 알고리즘은 위에서 설명한 바대로, RGB 정보에 대응하는 영상 영역을 분할한 복수의 셀들 중 엣지(edge) 픽셀들의 방향에 대해 히스토그램을 획득하여, 대상 영역에 포함된 사람 영역을 인식하는 알고리즘 기법이다.
단계 S301 내지 S307에 따라, 프로세서(190)는 최소 2개 이상의 사람 후보 영역들을 추출할 수 있다. 2개 이상의 사람 후보 영역들이 추출됨에 따라 사람 영역이 보다 정확하게 추출될 수 있다.
다시 도 2를 설명한다.
프로세서(190)는 추출된 하나 이상의 사람 후보 영역 중 사람으로 판단되는 영역이 있는지를 판단하고(S205), 판단 결과에 따라 사람 영역을 획득한다(S207).
일 실시 예에서 프로세서(190)는 추출된 사람 후보 영역을 3차원 좌표로 변환하여, 3차원 사람 후보 영역을 획득할 수 있다.
프로세서(190)는 메모리(150)에 저장된 3차원 사람 모델과 3차원 사람 후보 영역 간을 매칭시켜, 3차원 사람 후보 영역이 사람 영역인지를 판단할 수 있다.
3차원 사람 모델은 사람의 다리 형상을 포함하는 모델일 수 있다.
메모리(150)는 다양한 다리 형상들에 대응하는 3차원 사람 모델들을 저장하고 있을 수 있다.
프로세서(190)는 매칭 결과, 3차원 사람 후보 영역이 3차원 사람 모델과 매칭된 경우, 해당 사람 후보 영역이 사람 영역인 것으로 판단할 수 있다.
3차원 사람 모델에 대해서는 도 5를 참조하여 설명한다.
한편, 추출된 하나 이상의 사람 후보 영역 중 사람으로 판단되지 않은 영역이 있는 경우, 프로세서(190)는 해당 사람 후보 영역을 장애물 영역으로 간주하고, 장애물 영역을 회피하기 위해 주행 구동부를 제어한다(S206).
프로세서(190)는 매칭 결과, 3차원 사람 후보 영역이 3차원 사람 모델과 매칭되지 않은 경우, 해당 사람 후보 영역을 사람 영역이 아닌 장애물로 판단할 수 있다.
사람 후보 영역이 장애물로 판단된 경우, 프로세서(190)는 장애물을 회피하도록 청소기(100)의 주행을 제어할 수 있다.
도 5는 본 발명의 일 실시 예에 따라 메모리에 저장된 3차원 사람 모델의 예시를 보여준다.
청소기(100)의 메모리(150)는 복수의 3차원 사람 모델들(510, 530, 550)을 저장하고 있을 수 있다. 각 차원 사람 모델은 사람의 뒷 모습에 대응하는 다리 쌍을 포함하는 형상을 가질 수 있다.
프로세서(190)는 추출된 사람 후보 영역과 메모리(150)에 저장된 복수의 3차원 사람 모델들(510, 530, 550) 각각을 비교할 수 있다.
프로세서(190)는 추출된 사람 후보 영역과 기 저장된 3차원 사람 모델 간의 매칭율이 기 설정된 매칭율 이상인 경우, 추출된 사람 후보 영역을 사람 영역으로 판단할 수 있다.
프로세서(190)는 사람 후보 영역이 사람 영역이 아닌 것으로 판단된 경우, 사람 후보 영역을 장애물 영역으로 인식할 수 있다.
다시 도 2를 설명한다.
프로세서(190)는 획득된 사람 영역으로부터 추출된 발바닥 영역에 기초하여, 청소기(100)의 이동 지점을 획득하고(209), 획득된 이동 지점으로 청소기(100)가 이동하도록 주행 구동부(170)를 제어한다(S211).
일 실시 예에서 프로세서(190)는 사람 영역으로부터 발바닥 영역을 추출할 수 있고, 추출된 발바닥 영역을 이용하여, 청소기(100)의 이동 지점을 획득할 수 있다.
청소기(100)의 이동 지점은 사람의 이동 방향에 따라 사람을 추종하도록, 청소기(100)가 이동해야 될 지점일 수 있다.
특히, 청소기(100)의 이동 지점은 사람의 이동을 방해하지 않으면서, 추종하기 위해 필요한 최소한의 거리일 수 있다.
청소기(100)가 캐니스터 타입인 경우, 프로세서(190)는 청소기 본체(10)를 획득된 이동 지점으로 이동시키도록 주행 구동부(170)를 제어할 수 있다.
단계 S209에 대해서는 도 6을 참조하여 설명한다.
도 6은 본 발명의 일 실시 예에 따라 획득된 사람 영역으로부터 청소기의 이동 지점을 획득하는 예를 설명하는 흐름도이다.
도 6을 참조하면, 프로세서(190)는 획득된 사람 영역으로부터 하나 이상의 다리 쌍들을 추출한다(S601).
일 실시 예에서, 획득된 사람 영역은 사람의 전체 영역을 포함할 수도 있고, 다리 영역을 포함하는 사람의 일부 영역만을 포함할 수 있다.
프로세서(190)는 추출된 각 다리 쌍에 포함된 다리 영역 간의 거리가 일정 거리 이내인지를 판단한다(S603).
만약, 다리 쌍에 포함된 다리 영역 간의 거리가 일정 거리 이내인 경우, 프로세서(190)는 해당 다리 쌍이 동일한 사람의 다리 쌍인 것으로 인식할 수 있다.
만약, 다리 쌍에 포함된 다리 영역 간의 거리가 일정 거리를 초과하는 경우, 해당 다리 쌍은 동일한 사람의 다리 쌍이 아닌 것으로 인식한다(S604).
여기서, 일정 거리는 80cm 일 수 있으나, 이는 예시에 불과한 수치이다.
도 7은 본 발명의 일 실시 예에 따라 다리 영역 간의 거리에 기초하여, 동일한 사람의 다리 쌍인지를 판단하는 예를 설명하는 도면이다.
도 7을 참조하면, 하나의 사람 영역으로부터 추출된 다리 쌍들(710, 720)이 도시되어 있다.
제1 다리 쌍(710)은 제1 다리 영역(711) 및 제2 다리 영역(713)을 포함할 수 있다.
제2 다리 쌍(720)은 제3 다리 영역(721) 및 제4 다리 영역(732)을 포함할 수 있다.
프로세서(190)는 제1 다리 영역(711) 및 제2 다리 영역(713) 간의 제1 거리(d1)가 일정 거리 이내에 있는지를 판단한다. 일정 거리는 80cm일 수 있다.
프로세서(190)는 제1 거리(d1)가 80cm 이내인 경우, 제1 다리 쌍(710)을 동일한 사람의 다리 쌍인 것으로 판단할 수 있다.
한편, 프로세서(190)는 제3 다리 영역(721) 및 제4 다리 영역(723) 간의 제2 거리(d2)가 일정 거리 이내에 있는지를 판단한다.
프로세서(190)는 제2 거리(d2)가 일정 거리를 초과하는 경우, 제2 다리 쌍(720)을 동일한 사람의 다리 쌍이 아닌 것으로 인식할 수 있다. 프로세서(190)는 동일한 사람의 다리 쌍이 아닌 것으로 인식된 제2 다리 쌍(720)을 제거할 수 있다.
이 과정에 따라, 청소기(100)가 추종해야 할 추종 대상이 명확해 질 수 있다.
다시 도 6을 설명한다.
프로세서(190)는 다리 영역 간의 거리가 일정 거리 이내인 다리 쌍을 추출하고, 추출된 다리 쌍이 2개 이상인지를 판단한다(S605).
프로세서(190)는 추출된 다리 쌍이 2개 이상인 경우 , 영상 정보 획득부(110)에 포함된 깊이 센서(111)와 가장 가까운 거리에 위치한 다리 쌍을 추종 대상으로 선정한다(S607).
일 실시 예에서 프로세서(190)는 추출된 다리 쌍들 각각과 깊이 센서(111)간의 거리 데이터를 획득할 수 있다.
프로세서(190)는 도 2의 단계 S201에서 깊이 센서(111)를 통해 사물의 깊이 정보에 포함된 거리 데이터를 이용하여, 다리 쌍들 각각과 깊이 센서(111) 간의 거리를 획득할 수 있다.
프로세서(190)는 다리 쌍들 각각과 깊이 센서(111) 간의 거리 중 깊이 센서(111)와 가장 가까운 거리에 위치한 다리 쌍을 청소기(100)가 추종할 대상으로 선정할 수 있다.
프로세서(190)는 추종 대상으로 선정된 다리 쌍을 바닥 평면에 투사한다(S609).
도 8 및 도 9는 본 발명의 일 실시 예에 따라 청소기가 추종 대상으로 선정한 다리 쌍을 바닥 평면에 투사시켜, 투사된 발바닥 영역을 획득하는 과정을 설명하는 도면이다.
도 8은 제1 시점에서 획득된 발바닥 영역을 설명하는 도면이고, 도 9는 제1 시점에서 일정 시점이 경과한, 제2 시점에서 획득된 발바닥 영역을 설명하는 도면이다.
프로세서(190)는 추종 대상으로 선정된 제1 다리 쌍(810)을 바닥 평면(830)에 투사시킬 수 있다. 이에 따라, 제1 발바닥 영역(850)이 획득될 수 있다. 제1 발바닥 영역(850)은 추후, 청소기(100)가 사람의 추종을 위해 자동으로 이동해야 될 이동 지점을 획득하는데 사용될 수 있다.
마찬가지로, 청소기(100)의 추종 대상인 사람이 이동한 경우, 프로세서(190)는 추종 대상으로 선정된 제2 다리 쌍(910)을 바닥 평면(930)에 투사시킬 수 있다. 이에 따라, 제2 발바닥 영역(850)이 획득될 수 있다.
제2 발바닥 영역(950)은 추후, 청소기(100)가 사람의 추종을 위해 자동으로 이동해야 될 이동 지점을 획득하는데 사용될 수 있다.
다시 도 6을 설명한다.
프로세서(190)는 투사에 의해 얻어진 다리 쌍에 대응하는 발바닥 영역의 진행 방향을 추정한다(S611).
프로세서(190)는 추정된 진행 방향 및 좌우 발바닥 영역 간의 상대적 위치를 이용하여, 청소기(100)의 이동 지점을 획득한다(S5613).
일 실시 예에서 프로세서(190)는 추정된 진행 방향, 좌 발바닥 영역 및 우 발바닥 영역 간의 상대적 위치 기초하여, 청소기(100)가 이동해야 할 지점을 획득할 수 있다.
이에 대해서는 도 10 내지 도 14를 참조하여, 설명한다.
도 10 내지 도 14는 본 발명의 실시 예에 따라 발바닥 영역을 이용하여, 청소기의 이동 지점을 획득하는 과정을 설명하는 도면이다.
도 10 내지 도 14에서 타겟 지점으로 설명된 부분은 청소기(100)가 사람을 추종하기 위해 자동으로 이동되어야 할 이동 지점을 나타낼 수 있다.
먼저, 도 10을 설명한다. 도 10은 좌 발바닥 영역 및 우 발바닥 영역이 전방을 향하는 경우, 청소기(100)의 이동 지점을 선정하는 방법을 설명하는 도면이다.
도 10을 참조하면, 제1 발바닥 영역(1000)이 도시되어 있다.
제1 발바닥 영역(1000)은 좌 발바닥 영역(1010) 및 우 발바닥 영역(1030)을 포함할 수 있다.
프로세서(190)는 좌 발바닥 영역(1010) 및 우 발바닥 영역(1030) 각각이 취하는 방향을 인식할 수 있고, 인식 결과에 따라 제1 발바닥 영역(1000)은 전방을 향하고 있는 것으로 판단할 수 있다.
프로세서(190)는 좌/우 발바닥 영역의 형상을 이용하여, 발바닥 영역의 진행 방향을 추정할 수 있다. 발바닥 영역(1000)의 진행 방향이 추정됨에 따라, 사람의 진행 방향 또한, 추정될 수 있다. 즉, 발바닥 영역(1000)의 진행 방향은 청소기(100)가 사람을 보다 정확한 방향으로 추종할 수 있는 근거가 될 수 있다.
프로세서(190)는 좌 발바닥 영역(1010)의 중심(1011) 및 우 발바닥 영역(1030)의 중심(1031)을 이은 선분의 중심(1050)을 획득할 수 있다.
프로세서(190)는 선분의 중심(1050)으로부터 사람의 진행 방향인 전방과 반대 방향(후방)으로 일정 거리만큼 떨어진 지점(1070)을 청소기(100)의 이동 지점으로 선정할 수 있다.
여기서, 일정 거리는 사람을 추종하는데 방해가 되지 않는 최소한의 거리일 수 있다. 일정 거리는 70cm 일 수 있으나, 이는 예시에 불과한 수치이다.
프로세서(190)는 선정된 이동 지점(1070)으로 청소기(100)를 이동시키도록 주행 구동부(170)를 제어할 수 있다.
다음으로, 도 11을 설명한다. 특히, 도 11은 좌 발바닥 영역 및 우 발바닥 영역이 전방을 향하고, 우 발바닥 영역이 좌 발바닥 영역보다 더 앞서 있는 경우, 청소기(100)의 이동 지점을 선정하는 방법을 설명하는 도면이다.
도 11을 참조하면, 제2 발바닥 영역(1100)이 도시되어 있다.
제2 발바닥 영역(1100)은 좌 발바닥 영역(1110) 및 우 발바닥 영역(1130)을 포함할 수 있다.
프로세서(190)는 좌 발바닥 영역(1110) 및 우 발바닥 영역(1130) 각각이 취하는 방향을 인식할 수 있고, 인식 결과에 따라 제2 발바닥 영역(1100)은 전방을 향하고 있는 것으로 판단할 수 있다.
프로세서(190)는 좌 발바닥 영역(1110)의 중심(1111) 및 우 발바닥 영역(1130)의 중심(1131)을 이은 선분의 중심(1150)을 획득할 수 있다.
프로세서(190)는 선분의 중심(1150)으로부터 사람의 진행 방향인 전방과 반대 방향(후방)으로 일정 거리만큼 떨어진 지점(1170)을 청소기(100)의 이동 지점으로 선정할 수 있다.
프로세서(190)는 선정된 이동 지점(1170)으로 청소기(100)를 이동시키도록 주행 구동부(170)를 제어할 수 있다.
다음으로, 도 12를 설명한다. 특히, 도 12는 좌 발바닥 영역 및 우 발바닥 영역이 전방을 향하고, 좌 발바닥 영역이 우 발바닥 영역보다 더 앞서 있는 경우, 청소기(100)의 이동 지점을 선정하는 방법을 설명하는 도면이다.
도 12를 참조하면, 제3 발바닥 영역(1200)이 도시되어 있다.
제3 발바닥 영역(1200)은 좌 발바닥 영역(1210) 및 우 발바닥 영역(1230)을 포함할 수 있다.
프로세서(190)는 좌 발바닥 영역(1210) 및 우 발바닥 영역(1230) 각각이 취하는 방향을 인식할 수 있고, 인식 결과에 따라 제3 발바닥 영역(1200)은 전방을 향하고 있는 것으로 판단할 수 있다.
프로세서(190)는 좌 발바닥 영역(1210)의 중심(1211) 및 우 발바닥 영역(1230)의 중심(1231)을 이은 선분의 중심(1250)을 획득할 수 있다.
프로세서(190)는 선분의 중심(1250)으로부터 사람의 진행 방향인 전방과 반대 방향(후방)으로 일정 거리만큼 떨어진 지점(1270)을 청소기(100)의 이동 지점으로 선정할 수 있다.
프로세서(190)는 선정된 이동 지점(1270)으로 청소기(100)를 이동시키도록 주행 구동부(170)를 제어할 수 있다.
다음으로, 도 13을 설명한다. 특히, 도 13은 좌 발바닥 영역 및 우 발바닥 영역이 좌측 전방을 향하는 경우, 청소기(100)의 이동 지점을 선정하는 방법을 설명하는 도면이다.
도 13을 참조하면, 제4 발바닥 영역(1300)이 도시되어 있다.
제4 발바닥 영역(1300)은 좌 발바닥 영역(1310) 및 우 발바닥 영역(1330)을 포함할 수 있다.
프로세서(190)는 좌 발바닥 영역(1310) 및 우 발바닥 영역(1330) 각각이 취하는 방향을 인식할 수 있고, 인식 결과에 따라 제4 발바닥 영역(1300)은 좌측 전방을 향하고 있는 것으로 판단할 수 있다.
프로세서(190)는 좌 발바닥 영역(1310)의 중심(1311) 및 우 발바닥 영역(1330)의 중심(1331)을 이은 선분의 중심(1350)을 획득할 수 있다.
프로세서(190)는 선분의 중심(1350)으로부터 사람의 진행 방향인 좌측 전방과 반대 방향(우측 후방)으로 일정 거리만큼 떨어진 지점(1370)을 청소기(100)의 이동 지점으로 선정할 수 있다.
프로세서(190)는 선정된 이동 지점(1370)으로 청소기(100)를 이동시키도록 주행 구동부(170)를 제어할 수 있다.
다음으로, 도 14를 설명한다. 특히, 도 14는 좌 발바닥 영역 및 우 발바닥 영역이 우측 전방을 향하는 경우, 청소기(100)의 이동 지점을 선정하는 방법을 설명하는 도면이다.
도 14를 참조하면, 제5 발바닥 영역(1400)이 도시되어 있다.
제5 발바닥 영역(1400)은 좌 발바닥 영역(1410) 및 우 발바닥 영역(1430)을 포함할 수 있다.
프로세서(190)는 좌 발바닥 영역(1410) 및 우 발바닥 영역(1430) 각각이 취하는 방향을 인식할 수 있고, 인식 결과에 따라 제5 발바닥 영역(1400)은 좌측 전방을 향하고 있는 것으로 판단할 수 있다.
프로세서(190)는 좌 발바닥 영역(1410)의 중심(1411) 및 우 발바닥 영역(1430)의 중심(1431)을 이은 선분의 중심(1450)을 획득할 수 있다.
프로세서(190)는 선분의 중심(1450)으로부터 사람의 진행 방향인 우측 전방과 반대 방향(좌측 후방)으로 일정 거리만큼 떨어진 지점(1470)을 청소기(100)의 이동 지점으로 선정할 수 있다.
프로세서(190)는 선정된 이동 지점(1470)으로 청소기(100)를 이동시키도록 주행 구동부(170)를 제어할 수 있다.
한편, 단계 S605에서 1개의 다리 쌍만이 추출된 경우, 프로세서(190)는 추출된 다리 쌍을 추종 대상으로 선정하고(S606), 단계 S609 및 그 이후의 과정을 수행한다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.
상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (15)

  1. 청소기에 있어서,
    청소기 본체;
    바닥 면의 먼지를 흡입하는 흡입 노즐;
    상기 흡입 노즐로부터 전달된 먼지를 상기 청소기 본체로 전달하는 흡입 호스를 포함하고,
    상기 청소기 본체는
    상기 청소기 본체를 이동시키는 주행 구동부,
    상기 청소기 본체 주위의 사물에 대한 영상 정보를 획득하는 깊이 센서,
    상기 청소기 주위의 사물에 대한 컬러 영상 정보를 획득하는 RGB 센서 및
    획득된 영상 정보에 기초하여, 하나 이상의 사람 후보 영역들을 추출하고, 상기 하나 이상의 사람 후보 영역들 중 다리 형상을 포함하는 영역을 사람 영역으로 추출하고, 추출된 사람 영역의 다리 쌍을 바닥 면에 투사시켜, 사람의 발바닥 영역을 추출하고, 추출된 발바닥 영역에 기초하여, 상기 청소기 본체의 이동 지점을 획득하고, 획득된 이동 지점으로, 상기 청소기 본체를 이동시키도록 상기 주행 구동부를 제어하는 프로세서를 포함하고,
    상기 프로세서는
    상기 깊이 센서가 획득된 영상 정보를 통해 상기 사람 후보 영역이 추출되지 않은 경우, 상기 RGB 센서가 획득된 컬러 영상 정보를 이용하여, 상기 사람 후보 영역을 추출하는
    청소기.
  2. 제1항에 있어서,
    상기 프로세서는
    추출된 발바닥 영역의 진행 방향 및 상기 발바닥 영역에 포함된 좌 발바닥 영역과 우 발바닥 영역 간의 상대적 위치를 이용하여, 상기 이동 지점을 획득하는
    청소기.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 좌 발바닥 영역의 중심과 상기 우 발바닥 영역의 중심을 이은 선분의 중심으로부터 상기 진행 방향과 반대 방향으로 일정 거리만큼 떨어진 지점을 상기 이동 지점으로 획득하는
    청소기.
  4. 삭제
  5. 제1항에 있어서,
    상기 프로세서는
    상기 하나 이상의 사람 후보 영역들 중 상기 사람 영역으로 판단되지 않은 사람 후보 영역을 장애물 영역으로 판단하고,
    상기 청소기 본체가 상기 장애물 영역을 회피하도록 상기 주행 구동부를 제어하는
    청소기.
  6. 삭제
  7. 제1항에 있어서,
    상기 청소기 본체는
    상기 다리 형상을 포함하는 사람 형상 모델을 저장하는 메모리를 더 포함하고,
    상기 프로세서는
    상기 메모리에 저장된 사람 형상 모델과 상기 하나 이상의 후보 영역들 간을 매칭하여, 상기 사람 영역을 추출하는
    청소기.
  8. 제1항에 있어서,
    상기 깊이 센서는
    상기 청소기 본체의 상단 전면에 배치된
    청소기.
  9. 청소기에 있어서,
    바닥 면의 먼지를 흡입하는 흡입부;
    상기 청소기를 이동시키는 주행 구동부;
    상기 청소기 주위의 사물에 대한 영상 정보를 획득하는 깊이 센서;
    상기 청소기 주위의 사물에 대한 컬러 영상 정보를 획득하는 RGB 센서 및
    획득된 영상 정보에 기초하여, 하나 이상의 사람 후보 영역들을 추출하고, 상기 하나 이상의 사람 후보 영역들 중 다리 형상을 포함하는 영역을 사람 영역으로 추출하고, 추출된 사람 영역의 다리 쌍을 바닥 면에 투사시켜, 사람의 발바닥 영역을 추출하고, 추출된 발바닥 영역에 기초하여, 상기 청소기의 이동 지점을 획득하고, 획득된 이동 지점으로, 상기 청소기를 이동시키도록 상기 주행 구동부를 제어하는 프로세서를 포함하고,
    상기 프로세서는
    상기 깊이 센서가 획득된 영상 정보를 통해 상기 사람 후보 영역이 추출되지 않은 경우, 상기 RGB 센서가 획득된 컬러 영상 정보를 이용하여, 상기 사람 후보 영역을 추출하는
    청소기.
  10. 제9항에 있어서,
    상기 프로세서는
    상기 프로세서는
    추출된 발바닥 영역의 진행 방향 및 상기 발바닥 영역에 포함된 좌 발바닥 영역과 우 발바닥 영역 간의 상대적 위치를 이용하여, 상기 이동 지점을 획득하는
    청소기.
  11. 제10항에 있어서,
    상기 프로세서는
    상기 좌 발바닥 영역의 중심과 상기 우 발바닥 영역의 중심을 이은 선분의 중심으로부터 상기 진행 방향과 반대 방향으로 일정 거리만큼 떨어진 지점을 상기 이동 지점으로 획득하는
    청소기.
  12. 삭제
  13. 제9항에 있어서,
    상기 프로세서는
    상기 하나 이상의 사람 후보 영역들 중 상기 사람 영역으로 판단되지 않은 사람 후보 영역을 장애물 영역으로 판단하고,
    상기 청소기가 상기 장애물 영역을 회피하도록 상기 주행 구동부를 제어하는
    청소기.
  14. 삭제
  15. 제9항에 있어서,
    상기 다리 형상을 포함하는 사람 형상 모델을 저장하는 메모리를 더 포함하고,
    상기 프로세서는
    상기 메모리에 저장된 사람 형상 모델과 상기 하나 이상의 후보 영역들 간을 매칭하여, 상기 사람 영역을 추출하는
    청소기.
KR1020170014093A 2017-01-31 2017-01-31 청소기 KR102624560B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170014093A KR102624560B1 (ko) 2017-01-31 2017-01-31 청소기
PCT/KR2018/001254 WO2018143634A1 (en) 2017-01-31 2018-01-30 Cleaner
US15/883,841 US11605244B2 (en) 2017-01-31 2018-01-30 Robot for automatically following a person
AU2018216517A AU2018216517B9 (en) 2017-01-31 2018-01-30 Cleaner
EP18748553.7A EP3576592A4 (en) 2017-01-31 2018-01-30 CLEANSER

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170014093A KR102624560B1 (ko) 2017-01-31 2017-01-31 청소기

Publications (2)

Publication Number Publication Date
KR20180089235A KR20180089235A (ko) 2018-08-08
KR102624560B1 true KR102624560B1 (ko) 2024-01-15

Family

ID=62976843

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170014093A KR102624560B1 (ko) 2017-01-31 2017-01-31 청소기

Country Status (5)

Country Link
US (1) US11605244B2 (ko)
EP (1) EP3576592A4 (ko)
KR (1) KR102624560B1 (ko)
AU (1) AU2018216517B9 (ko)
WO (1) WO2018143634A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180087798A (ko) * 2017-01-25 2018-08-02 엘지전자 주식회사 이동 로봇 및 그 제어방법
EP3899683A4 (en) * 2018-12-20 2022-08-10 Augean Robotics, Inc. COLLABORATIVE AUTONOMOUS GROUND VEHICLE
CN111352432B (zh) * 2018-12-20 2023-09-15 北京石头世纪科技股份有限公司 智能清洁设备及其控制方法和可读介质
JP2021029487A (ja) * 2019-08-21 2021-03-01 パナソニックＩｐマネジメント株式会社 自律走行型掃除機、自律走行型掃除機の制御方法、及び、プログラム
US11932306B2 (en) 2019-09-14 2024-03-19 Honda Motor Co., Ltd. Trajectory planner
US11927674B2 (en) * 2019-09-16 2024-03-12 Honda Motor Co., Ltd. System and method for providing a comprehensive trajectory planner for a person-following vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048666A (ja) * 2004-07-07 2006-02-16 Matsushita Electric Ind Co Ltd 移動体の対象者同行方法及び移動体用対象者同行装置
KR101558508B1 (ko) * 2014-05-02 2015-10-07 엘지전자 주식회사 청소기

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004147690A (ja) 2002-10-28 2004-05-27 Toshiba Tec Corp 電気掃除機
US7702420B2 (en) * 2004-07-07 2010-04-20 Panasonic Corporation Method for making mobile unit accompany objective person
KR100585709B1 (ko) 2004-12-29 2006-06-07 엘지전자 주식회사 로봇청소기의 움직임 추적장치 및 방법
KR100876698B1 (ko) 2007-05-09 2008-12-31 엘지전자 주식회사 능동 구동 청소기
WO2008117945A1 (en) 2007-03-28 2008-10-02 Chong, Chung-Ook Vacuum cleaner
US20090048727A1 (en) 2007-08-17 2009-02-19 Samsung Electronics Co., Ltd. Robot cleaner and control method and medium of the same
KR101362373B1 (ko) * 2007-08-17 2014-02-12 삼성전자주식회사 로봇청소기 및 그 제어방법
US8170280B2 (en) * 2007-12-03 2012-05-01 Digital Smiths, Inc. Integrated systems and methods for video-based object modeling, recognition, and tracking
US20110026770A1 (en) * 2009-07-31 2011-02-03 Jonathan David Brookshire Person Following Using Histograms of Oriented Gradients
US8861853B2 (en) * 2010-03-19 2014-10-14 Panasonic Intellectual Property Corporation Of America Feature-amount calculation apparatus, feature-amount calculation method, and program
WO2012063480A1 (ja) * 2010-11-10 2012-05-18 パナソニック株式会社 奥行き情報生成装置、奥行き情報生成方法、および、ステレオ画像変換装置
TW201220253A (en) * 2010-11-15 2012-05-16 Inst Information Industry Image calculation method and apparatus
US9665767B2 (en) * 2011-02-28 2017-05-30 Aic Innovations Group, Inc. Method and apparatus for pattern tracking
US8873852B2 (en) * 2011-09-29 2014-10-28 Mediatek Singapore Pte. Ltd Method and apparatus for foreground object detection
US8929592B2 (en) * 2012-03-13 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Camera-based 3D climate control
BR112015006203B1 (pt) * 2012-09-19 2022-05-24 Follow Inspiration Unipessoal, Lda Sistema autônomo para a localização de uma pessoa
US8972061B2 (en) * 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9956687B2 (en) * 2013-03-04 2018-05-01 Microsoft Technology Licensing, Llc Adapting robot behavior based upon human-robot interaction
KR20150057476A (ko) * 2013-11-19 2015-05-28 박재현 사용자 추종 이동 기능을 갖는 청소기
US9684928B2 (en) * 2014-01-15 2017-06-20 Holition Limited Foot tracking
KR101593187B1 (ko) * 2014-07-22 2016-02-11 주식회사 에스원 3차원 영상 정보를 이용한 이상 행동 감시 장치 및 방법
US9259838B1 (en) * 2014-07-24 2016-02-16 Google Inc. Systems and methods for ground plane estimation
KR101458931B1 (ko) * 2014-08-12 2014-11-07 (주) 골프존 운동 자세 분석 장치 및 운동 자세 분석 정보 생성 방법
KR102292683B1 (ko) * 2014-09-12 2021-08-23 삼성전자주식회사 보행 환경 인식 방법 및 장치
GB201419883D0 (en) * 2014-11-07 2014-12-24 F Robotics Acquisitions Ltd Domestic robotic system and method
US10518407B2 (en) * 2015-01-06 2019-12-31 Discovery Robotics Apparatus and methods for providing a reconfigurable robotic platform
US9722640B2 (en) * 2015-01-06 2017-08-01 Discovery Robotics Method and system for determining precise robotic position and orientation using near-simultaneous radio frequency measurements
US20180361581A1 (en) * 2015-01-06 2018-12-20 Discovery Robotics Robotic platform with following mode
EP3047777B1 (de) * 2015-01-20 2019-11-20 Eurofilters Holding N.V. Staubsaugerroboter
EP3047781B1 (de) * 2015-01-20 2019-08-28 Eurofilters N.V. Autonom betreibbarer Bodenstaubsauger, Verfahren zum Staubsaugen sowie Verwendung eines autonom betreibbaren Bodenstaubsaugers
SG11201800248PA (en) * 2015-07-14 2018-02-27 Gebaeudereinigung Lissowski Gmbh Cleaning device and method for cleaning a surface
GB2541884A (en) * 2015-08-28 2017-03-08 Imp College Of Science Tech And Medicine Mapping a space using a multi-directional camera
US9586316B1 (en) * 2015-09-15 2017-03-07 Google Inc. Determination of robotic step path
US10949656B2 (en) * 2015-09-29 2021-03-16 Sony Corporation Information processing apparatus and information processing method
US11927965B2 (en) * 2016-02-29 2024-03-12 AI Incorporated Obstacle recognition method for autonomous robots
US10016896B2 (en) * 2016-06-30 2018-07-10 Brain Corporation Systems and methods for robotic behavior around moving bodies
US10380756B2 (en) * 2016-09-08 2019-08-13 Sony Corporation Video processing system and method for object detection in a sequence of image frames
US10884417B2 (en) * 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
US10628960B2 (en) * 2016-11-24 2020-04-21 Ricoh Company, Ltd. Information processing apparatus, imaging apparatus, device control system, moving object, information processing method, and recording medium

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048666A (ja) * 2004-07-07 2006-02-16 Matsushita Electric Ind Co Ltd 移動体の対象者同行方法及び移動体用対象者同行装置
KR101558508B1 (ko) * 2014-05-02 2015-10-07 엘지전자 주식회사 청소기

Also Published As

Publication number Publication date
AU2018216517B2 (en) 2020-09-10
AU2018216517B9 (en) 2021-02-04
US20180213994A1 (en) 2018-08-02
US11605244B2 (en) 2023-03-14
AU2018216517A1 (en) 2019-09-12
EP3576592A1 (en) 2019-12-11
EP3576592A4 (en) 2021-03-31
WO2018143634A1 (en) 2018-08-09
KR20180089235A (ko) 2018-08-08

Similar Documents

Publication Publication Date Title
KR102624560B1 (ko) 청소기
CN110522359B (zh) 清洁机器人以及清洁机器人的控制方法
US10517456B2 (en) Mobile robot and method of controlling the same
US10705535B2 (en) Systems and methods for performing simultaneous localization and mapping using machine vision systems
EP3459691B1 (en) Robot vacuum cleaner
US11547255B2 (en) Cleaning robot
US10967512B2 (en) Moving robot and controlling method
EP3104194B1 (en) Robot positioning system
TWI706763B (zh) 移動式機器人及其控制方法
US20180200888A1 (en) Mobile robot system and control method thereof
KR101637359B1 (ko) 청소기
WO2016085717A1 (en) Systems and methods for performing simultaneous localization and mapping using machine vision systems
KR20100109257A (ko) 단일 카메라를 장착한 로봇 청소기의 3차원 환경 인식 방법
KR20190093800A (ko) 이동 로봇 및 이동 로봇의 제어방법
US10765284B2 (en) Cleaning robot
KR20180089234A (ko) 청소기
KR20180080877A (ko) 로봇 청소기
KR102553289B1 (ko) 청소기
KR20220012001A (ko) 로봇 청소기 및 이의 제어방법
KR102431986B1 (ko) 로봇 청소기 및 이의 제어방법
EP2325713B1 (en) Methods and systems for movement of robotic device using video signal
JP2021081851A (ja) 位置推定装置、位置推定方法およびプログラム
KR20210094378A (ko) 로봇 청소기 및 그의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant