KR20210004677A - 이동 로봇 및 그 제어방법 - Google Patents

이동 로봇 및 그 제어방법 Download PDF

Info

Publication number
KR20210004677A
KR20210004677A KR1020190081462A KR20190081462A KR20210004677A KR 20210004677 A KR20210004677 A KR 20210004677A KR 1020190081462 A KR1020190081462 A KR 1020190081462A KR 20190081462 A KR20190081462 A KR 20190081462A KR 20210004677 A KR20210004677 A KR 20210004677A
Authority
KR
South Korea
Prior art keywords
sound
mobile robot
image
unit
generation point
Prior art date
Application number
KR1020190081462A
Other languages
English (en)
Other versions
KR102306437B1 (ko
Inventor
조한민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190081462A priority Critical patent/KR102306437B1/ko
Priority to EP20836875.3A priority patent/EP3993967A4/en
Priority to US17/624,028 priority patent/US20220355481A1/en
Priority to PCT/KR2020/008680 priority patent/WO2021006547A2/en
Publication of KR20210004677A publication Critical patent/KR20210004677A/ko
Application granted granted Critical
Publication of KR102306437B1 publication Critical patent/KR102306437B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/0005Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00Manipulators not otherwise provided for
    • B25J11/008Manipulators for service tasks
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/003Controls for manipulators by means of an audio-responsive input
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • B25J9/161Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Alarm Systems (AREA)
  • Electric Vacuum Cleaner (AREA)
  • Manipulator (AREA)

Abstract

본 발명에 따른 이동 로봇 및 그 제어방법은, 영역 내에서 발생하는 소리를 감지하여, 소리의 종류 및 동작모드에 따라 소리 발생 지점으로 이동하고, 소리 발생 지점의 영상을 분석하여 실내상황을 판단함으로써 대응하는 동작을 수행하도록 구성되어, 소리를 감지하여, 소리가 발생된 위치의 사건, 사고를 판단할 수 있고, 사용자의 제어명령이 없더라도 이동 로봇이 발생된 사고에 대응하여 자동으로 지정된 동작을 실시할 수 있으므로 발생된 사건 사고에 신속하게 대응할 수 있다. 사람, 반려동물, 대상물체 등, 소리를 발생시키는 대상을 구분하여 각각 상이한 동작을 실시할 수 있다.

Description

이동 로봇 및 그 제어방법{Moving Robot and controlling method}
본 발명은 이동 로봇 및 그 제어방법에 관한 것으로, 영역에서 발생하는 소리에 대응하여 주행하고 지정된 동작을 수행하는 이동 로봇 및 그 제어방법에 관한 것이다.
일반적으로 이동 로봇은 영역 내에서 스스로 주행하여 지정된 동작을 수행한다. 예를 들어 청소용 로봇은 바닥면으로부터 먼지 등의 이물질을 흡입하여 자동으로 청소한다.
이동 로봇은, 영역을 주행하면서, 해당 영역에 대한 지도를 작성할 수 있다. 이동 로봇은, 생성된 지도를 바탕으로 영역을 주행할 수 있다.
대한민국 공개특허 10-2015-0086074호는, 로봇 청소기의 휴먼 케어방법에 관한 것이다. 로봇 청소기는 청소모듈이 구비되는 본체, 본체를 이동시키기 위한 구동부, 관리대상자의 영상정보를 생성하기 위한 영상생성부, 외부 통신수단과 통신 가능하도록 구비되고, 상기 영상정보를 상기 외부통신수단으로 전송하는 통신부, 상기 관리대상자를 인식하고, 상기 관리대상자의 위치변화에 따라 상기 영상정보에 상기 관리대상자가 포함되도록 제어하는 제어부를 포함한다.
로봇 청소기는 관리대상자를 인식하여 관리대상자에 대한 영상을 촬영하고, 촬영된 영상정보를 외부로 전송한다.
로봇 청소기가, 관리대상자를 인식함은 물론, 관리대상자의 이동에 맞춰 함께 이동하면서 영상을 촬영하여 외부로 전송함에 따라, 외부의 단말 등을 통해 관리대상자의 상태를 확인할 수 있도록 한다.
그러나 종래의 로봇 청소기는 영상을 촬영하여 전송함으로써 관리대상자의 상태를 확인할 수 있도록 하고 있으나, 단순히 관리대상자에 대한 영상을 촬영하는데에 한정되는 것으로 감시에 한정될 뿐이다.
문제 상황이 발생하더라도 로봇 청소기는 단순히 촬영만을 수행하므로, 실질적인 휴먼 케어에 대한 내용은 포함하지 않으므로 한계가 있다.
그에 따라, 본 발명은 단순한 감시 동작을 벗어나, 대상자의 상태를 확인하고, 그에 대응하는 동작을 실행함으로써, 위험이나 비상상황이 발생하는 경우에 즉각적으로 대처하여 대상에 필요한 동작을 실행함으로써 실질적인 케어를 수행하는 방안을 마련할 필요가 있다.
대한민국 공개특허 10-2015-0086074호
본 발명이 해결하고자 하는 과제는, 설정된 영역 내에서 발생하는 사건 사고를 감지하여 지정된 동작을 수행하는 이동 로봇 및 그 제어방법을 제공하는 것이다.
본 발명은 영역 내에서 발생하는 소리를 수집하여 분석함으로써, 소리가 발생된 위치로 이동하여 발생된 상황을 판단하고 그에 대응하는 동작을 수행하는 이동 로봇 및 그 제어방법을 제공한다.
본 발명은 이동 로봇이, 영역내에서 소리를 발생시킨 대상을 인식하여 분류하고, 대상 및 사고 상황에 대응하는 동작을 수행하는 이동 로봇 및 그 제어방법을 제공한다.
본 발명은 아이, 노약자, 반려동물 뿐 아니라, 수도시설, 화구 등의 대상을 구분하여 복수의 대상을 관리하는 이동 로봇 및 그 제어방법을 제공한다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위한 본 발명의 일 실시예에 따른 이동 로봇 및 그 제어방법은, 영역 내에서 발생하는 소리를 감지하여, 영역 내의 사건, 사고를 판단하는 것을 특징으로 한다.
본 발명은 감지되는 소리를 통해, 소리 발생 지점을 판단하여 이동하고, 해당 위치에서 발생된 사고를 판단하는 것을 특징으로 한다.
본 발명은 소리를 통해 소리를 발생시킨 대상을 인식하고, 소리를 발생시키는 대상에 따라 지정된 동작을 수행하는 것을 특징으로 한다.
본 발명은 소리의 발생 원인을 분석하여 영역 내의 환경변화를 판단하여 환경변화에 대응하여 사고를 감지하여, 신고하는 것을 특징으로 한다.
본 발명은 사람, 반려동물, 대상물체를 구분하여 대상에 대응하는 동작을 수행하는 것을 특징으로 한다.
본 발명은 소리 발생 지점에서 영상을 촬영하여, 지정된 단말로 전송하고, 소리의 발생 원인 및 대상에 대응하여, 지정된 동작을 수행하거나 지정된 연락처로 신고하는 것을 특징으로 한다.
본 발명은, 영역을 주행하는 본체; 복수의 센서를 포함하여 장애물 또는 움직임을 감지하는 센서부; 소리를 수집하는 오디오입력부; 상기 오디오입력부를 통해 수집되는 소리를 분석하여 소리를 종류를 판단하는 소리인식부; 영상을 촬영하는 영상획득부; 및 상기 소리의 종류 및 동작모드에 따라 상기 본체가 소리 발생 지점으로 이동하도록 하고, 상기 소리 발생 지점에서 상기 영상획득부로부터 촬영되는 영상을 분석하여 실내상황을 판단하고, 상기 실내상황에 대응하는 동작을 실시하는 제어부;를 포함한다.
본 발명은 영역 내 발생하는 소리를 오디오입력부가 감지하는 단계; 상기 소리를 분석하여 소리의 종류를 판단하는 단계; 상기 소리의 종류 및 동작모드에 대응하여 소리 발생 지점으로 이동하는 단계; 상기 소리 발생 지점에 대한 영상을 촬영하는 단계; 및 상기 영상을 분석하여 실내상황을 판단하여 대응하는 동작을 실시하는 단계; 를 포함한다.
본 발명의 이동 로봇 및 그 제어방법은 이동 로봇이 영역내에서 발생하는 소리를 감지하여, 소리가 발생된 위치의 사건, 사고를 판단할 수 있다.
본 발명은 특정 동작모드에서 감지되는 소리에 대응하여 지정된 동작을 수행할 수 있다.
본 발명은 특정 동작모드가 설정되지 않은 일반모드에서도 소리를 수집하여, 영역 내의 환경변화, 사람의 상태, 물체의 변경 등에 대한 사건 사고를 판단할 수 있다.
본 발명은 이동 로봇으로부터 전송되는 데이터를 사용자가 확인하지 않더라도, 이동 로봇이 발생된 사고에 대응하여 자동으로 지정된 동작을 실시할 수 있다.
본 발명은 이동 로봇이 발생하는 소리에 대응하여 동작을 실시함으로써, 발생된 사건 사고에 신속하게 대응할 수 있다.
본 발명은 사람, 반려동물, 대상물체 등, 소리를 발생시키는 대상을 구분하여 각각 상이한 동작을 실시할 수 있다.
본 발명은 발생된 소리에 따라 사건 또는 사고의 발생을 판단할 수 있다.
본 발명은 소리가 발생된 위치로 이동하여 영상을 촬영함으로써, 사용자가 사고 현장을 확인할 수 있도록 한다.
본 발명은 지정된 대상에 대한 상태를 확인하여 대응하는 동작을 실시할 수 있다.
도 1 은 본 발명의 일 실시예에 따른 이동 로봇이 도시된 사시도이다.
도 2 는 본 발명의 일 실시예에 따른 이동 로봇의 소리감지 대상을 설명하는데 참조되는 예시도이다.
도 3 은 본 발명의 일 실시예에 따른 이동 로봇의 구성이 간략하게 도시된 블록도이다.
도 4 는 본 발명의 일 실시예에 따른 이동 로봇의 동작에 따른 신호 흐름을 설명하는데 참조되는 도이다.
도 5 는 본 발명의 일 실시예에 따른 이동 로봇의 소리를 감지하여 동작을 제어하는 방법이 도시된 순서도이다.
도 6 은 본 발명의 일 실시예에 따른 이동 로봇의 방범모드 설정에 따른 동작의 실시예가 도시된 도이다.
도 7 은 본 발명의 일 실시예에 따른 이동 로봇의 방범모드 설정에 따른 제어방법이 도시된 순서도이다.
도 8 은 본 발명의 일 실시예에 따른 이동 로봇의 생활소음에 대한 동작의 실시예가 도시된 순서도이다.
도 9 는 본 발명의 일 실시예에 따른 이동 로봇의 생활소음에 대한 제어방법이 도시된 순서도이다.
도 10 은 본 발명의 일실시예에 따른 이동 로봇의 재실자 감지에 따른 동작의 실시예가 도시된 도이다.
도 11 은 본 발명의 일 실시예에 따른 이동 로봇의 재실자 감지에 따른 제어방법이 도시된 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 본 발명의 제어구성은 적어도 하나의 프로세서로 구성될 수 있다.
도 1 은 본 발명의 일 실시예에 따른 이동 로봇이 도시된 사시도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 이동 로봇(1)은 영역 내에서 이동하며, 지정된 동작을 수행하는 본체(10)와, 본체(10)의 전면에 배치되어 장애물을 감지하는 감지수단을 포함한다. 예를 들어 청소용 이동 로봇은 주행 중에 바닥 상의 먼지 등의 이물질을 흡입하도록 구성된다.
본체(10)는 외관을 형성하며 내측으로 본체(10)를 구성하는 부품들이 수납되는 공간을 형성하는 케이싱(미도시)과, 감지수단과, 케이싱에 회전 가능하게 구비되는 좌륜(미도시)과 우륜(미도시)을 포함할 수 있다. 좌륜과 우륜이 회전함에 따라 본체(10)가 영역의 바닥을 따라 이동된다.
본체(10)는 좌륜과 우륜을 구동시키는 주행부(미도시)를 포함할 수 있다. 주행부는 적어도 하나의 구동모터를 포함할 수 있다.
케이싱의 상면에는 사용자로부터 이동 로봇(1)의 제어를 위한 각종 명령을 입력받는 조작부(미도시)를 포함하는 컨트롤 패널이 구비될 수 있다.
감지수단은, 복수의 센서로 구성되는 센서부(미도시), 영상을 촬영하는 영상획득부(100)를 포함하여, 주행방향에 위치하는 장애물을 감지한다.
영상획득부(100)는 적어도 하나의 카메라로 구성되어, 카메라에 의해 영상을 촬영하고, 또한, 촬영되는 영상으로부터 장애물을 감지할 수 있다.
영상획득부(100)는 본체(10)의 전면에 배치될 수 있다.
영상획득부(100)는 이동 로봇(1)의 주행방향에 대한 영상을 촬영한다. 영상획득부(100)는 주행방향의 전방 또는 천장을 촬영할 수 있다. 영상획득부(100)는 천장을 향하도록 구비될 수 있고, 또한, 전방을 향하도록 구비되어 주행방향을 촬영할 수 있다.
또한, 영상획득부(100)는 본체(10)에서의 설치위치, 주행방향에 대한 설치각도에 따라 주행방향의 전방과 상향, 즉 천장을 동시에 촬영할 수도 있다. 영상획득부는 설치되는 카메라의 성능 또는 렌즈의 종류에 따라 촬영되는 화각이 상이하게 설정될 수 있다.
영상획득부(100)는 적어도 하나의 카메라를 포함하는 것을 예로 하여 설명하며, 카메라의 종류에 관계없이 영상을 촬영하는 영상획득수단이라면 무엇이든 적용 가능하다.
영상획득부(100)는 복수의 카메라를 포함할 수 있고, 전방과 천장을 향하는 두개의 카메라가 각각 본체의 전면과 상단부에 각각 설치되어 전방과 천장의 영상을 각각 촬영할 수 있다. 또한, 영상획득부(100)는 바닥면을 촬영하는 카메라가 별도로 구비될 수 있다.
센서부(150)는 적외선센서, 초음파센서, 레이저 센서를 포함하여 장애물을 감지할 수 있다. 센서부는 광패턴을 조사하여 촬영되는 영상을 통해 장애물을 감지하는 3D센서를 포함할 수 있다.
또한, 센서부(150)는 기울기센서, 예를 들어 틸팅센서, 자이로센서 등을 포함하여 본체(10)의 기울기를 감지할 수 있고, 조도센서를 포함하여 본체(10)가 위치하는 영역의 밝기를 감지할 수 있다.
이동 로봇(1)은 현재의 위치정보를 획득하기 위한 위치획득수단(미도시)을 더 포함할 수 있다. 이동 로봇(1)은, GPS, UWB를 포함하여 현재 위치를 판단한다.
예를 들어 청소용 이동 로봇은 주행 중에 바닥 상의 먼지 등의 이물질을 흡입하도록 구성된다. 이동 로봇은 케이싱에 배치되어 먼지나 쓰레기 등의 이물질을 흡입하는 흡입유닛(180))을 포함하여, 청소 과정에서 바닥면을 향해 형성된 흡입유닛(미도시)을 통해 이물질이 흡입된다.
흡입유닛(180)은 흡입력을 발생시키는 흡입 팬(미도시)과, 흡입 팬의 회전에 의해 생성된 기류가 흡입되는 흡입구(미도시)를 포함할 수 있다. 흡입유닛은 흡입구를 통해 흡입된 기류 중에서 이물질을 채집하는 필터(미도시)와, 필터에 의해 채집된 이물질들이 축적되는 이물질 채집통(미도시)을 포함할 수 있다.
흡입유닛(180)은 회전 브러시(미도시)를 포함하여, 기류를 흡입함과 동시에 회전 동작하여 이물질의 채집을 보조한다. 흡입유닛은 필요에 따라 탈부착 가능하게 구성된다. 본체(10)는 케이싱의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 복수의 브러시(미도시)가 더 구비될 수 있다.
또한, 흡입유닛(180)에는 물걸레청소부가 탈부착될 수 있다. 물걸레청소부는 흡입구의 후면에 장착될 수 있다. 경우에 따라 물걸레청소부는 흡입유닛과 별도로 구성되어 흡입유닛에 체결고정되는 위치에 교체되어 장착될 수 있다. 물걸레청소부는 이동 중에, 회전하며 주행방향의 바닥면을 닦는다.
본체(10)는 케이싱의 저면부 전방측에 위치하며, 방사상으로 연장된 다수개의 날개로 이루어진 솔을 갖는 복수의 브러시(미도시)가 더 구비될 수 있다. 수의 브러시는 회전에 의해 청소구역의 바닥으로부터 먼지들을 제거하며, 이렇게 바닥으로부터 분리된 먼지들은 흡입구를 통해 흡입되어 채집통에 모인다.
본체(10)에는 재충전이 가능한 배터리(미도시)가 구비되며, 배터리의 충전 단자(미도시)가 상용 전원(예를 들어, 가정 내의 전원 콘센트)과 연결되거나, 상용 전원과 연결된 별도의 충전대(미도시)에 본체(10)가 도킹되어, 충전 단자가 충전대의 단자와의 접촉을 통해 상용 전원과 전기적으로 연결되고, 배터리의 충전이 이루어질 수 있다. 이동 로봇(1)을 구성하는 전장 부품들은 배터리로부터 전원을 공급받을 수 있으며, 따라서, 배터리가 충전된 상태에서 이동 로봇(1)은 상용 전원과 전기적으로 분리된 상태에서 자력 주행이 가능하다.
이하, 이동 로봇(1)이 청소용 이동 로봇인 것을 예로 하여 설명하나, 이에 한정되지 아니하며, 영역을 자율 주행하며 소리를 감지하는 로봇이라면 적용 가능함을 명시한다.
도 2 는 본 발명의 일 실시예에 따른 이동 로봇의 소리감지 대상을 설명하는데 참조되는 예시도이다.
도 2에 도시된 바와 같이, 이동 로봇(1)은 영역 내에서 발생하는 소리를 감지한다. 이동 로봇(1)은 오디오입력부를 통해 소리를 수집하여, 분석함으로써 소리의 종류를 판단할 수 있다.
이동 로봇(1)은 영역과 영역을 구분하는 동시에, 개폐동작을 통해 영역을 상호 연결하는 문(도어)(11)로부터 발생하는 소리(S1)를 감지할 수 있다. 여닫이 문이 닫히는 경우 발생하는 소리, 미닫이 문이 밀려 열리거나 닫히는 소리, 도어락의 버튼음 또는 문의 개폐에 따른 효과음과 같은 소리를 감지할 수 있다.
이동 로봇(1)은 가전기기(12)의 소리(S2)를 감지할 수 있다.
이동 로봇(1)은 텔레비전(TV), 오디오, 냉장고, 세탁기, 건조기, 공기청정기, 에어컨, 청소기, 전자레인지 등과 같은 가전기기에서 발생하는 소리를 감지할 수 있다.
이동 로봇(1)은 물소리(14), 보일러의 경고음, 유리파손 시 발생하는 소리, 화재경보기 소리 등의 생활소음(S4)을 감지할 수 있다.
또한, 이동 로봇(1)은 재실자의 소리, 반려동물(13)의 소리(S3)를 감지할 수 있다.
사람의 경우 이동 로봇(1)은 사람과 반려동물을 구분할 수 있는 소리정보를 포함하여 음성을 구분한다. 예를 들어 이동 로봇(1)은 남자와 여자의 음성, 아기와 노인의 음성, 사람의 웃음소리, 재채기소리, 울음소리를 구분할 수 있다. 또한, 이동 로봇(1)은 별도의 음성등록을 통해, 사용자마다 음성을 인식하여 구분하는 것 또한 가능하다.
이동 로봇(1)은 반려동물에 대하여 종에 따른 소리, 예를 들어 개와 고양이의 소리를 감지할 수 있다.
도 3 은 본 발명의 일 실시예에 따른 이동 로봇의 구성이 간략하게 도시된 블록도이다.
도 3에 도시된 바와 같이, 이동 로봇(1)은 주행부(250), 청소부(260), 데이터부(280), 오디오입력부(120), 영상획득부(100), 센서부(150), 통신부(270), 조작부(160), 출력부(190) 그리고 동작 전반을 제어하는 제어부(200)를 포함한다.
조작부(160)는 적어도 하나의 버튼, 스위치, 터치패드 등의 입력수단을 포함하여 사용자명령을 입력받는다. 조작부는 앞서 설명한 바와 같이 본체(10)의 상단부에 구비될 수 있다.
출력부(190)는 LED, LCD와 같은 디스플레이를 구비하고, 이동 로봇(1)의 동작모드, 예약 정보, 배터리 상태, 동작상태, 에러상태 등을 표시한다. 또한, 출력부(190)는 스피커 또는 버저를 구비하여, 동작모드, 예약 정보, 배터리 상태, 동작상태, 에러상태에 대응하는 소정의 효과음, 경고음 또는 음성안내를 출력한다.
오디오입력부(120)는 적어도 하나의 마이크(Microphone)를 포함하여, 본체(10)로부터 일정거리 내의 주변, 또는 영역 내에서 발생하는 소리를 입력 받는다.
오디오입력부(120)는 입력되는 소리를 필터링하고, 증폭하여 변환하는 신호처리부(미도시)를 더 포함할 수 있다.
데이터부(280)에는 영상획득부(100)로부터 입력되는 획득영상이 저장되고, 장애물인식부(210)가 장애물을 판단하기 위한 기준데이터가 저장되며, 감지된 장애물에 대한 장애물정보가 저장된다.
데이터부(280)에는 사용자, 반려동물 등의 대상을 인식하기 위한 데이터가 저장되며, 입력되는 소리를 구분하기 위한 소리데이터가 저장되고, 또한, 각종 사건 사고를 구분하고 그에 대응하여 실시할 동작에 대한 데이터가 저장될 수 있다.
또한, 데이터부(280)에는 이동 로봇의 동작을 제어하기 위한 제어데이터 및 이동 로봇의 청소모드에 따른 데이터, 센서부(150)에 의한 초음파/레이저 등의 감지신호가 저장된다.
또한, 데이터부(280)는, 마이크로 프로세서(micro processor)에 의해 읽힐 수 있는 데이터를 저장하는 것으로, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치를 포함할 수 있다.
통신부(270)는, 무선통신 방식으로 단말(300)과 통신한다. 또한, 통신부(270)는 가정 내 네트워크를 통해, 인터넷망에 연결되어, 외부의 서버(90) 또는 이동 로봇을 제어하는 단말(300)과 통신할 수 있다.
통신부(270)는 생성되는 지도를 단말(300)로 전송하고, 단말로부터 청소명령을 수신하며, 이동 로봇의 동작상태, 청소상태에 대한 데이터를 단말로 전송한다. 또한, 통신부(270)는 주행 중에 감지되는 장애물에 대한 정보를 단말(300) 또는 서버(90)로 전송할 수 있다.
통신부(270)는 영역 내 발생하는 소리에 대응하여 소정의 경고메시지, 촬영된 영상 등의 데이터를 지정된 사용자의 단말로 전송할 수 있다.
또한, 통신부(270)는 외부의 단말, 서비스센터, 수리센터, 신고센터 등으로 소정의 메시지를 전송하거나, 신고전화를 연결할 수 있다.
통신부(270)는 지그비, 블루투스 등의 근거리 무선통신, 와이파이, 와이브로 등의 통신모듈을 포함하여 데이터를 송수신한다.
한편, 단말(300)은 통신모듈이 탑재되어 네트워크 접속이 가능하고 이동 로봇을 제어하기 위한 프로그램, 또는 이동 로봇 제어용 어플리케이션이 설치된 기기로, 컴퓨터, 랩탑, 스마트폰, PDA, 태블릿PC 등의 기기가 사용될 수 있다. 또한, 단말은, 스마트 워치 등의 웨어러블(wearable) 장치 또한 사용될 수 있다.
단말(300)은 이동 로봇(1)으로부터 수신되는 데이터에 따라, 소정의 경고음을 출력하거나, 수신된 영상을 표시할 수 있다.
주행부(250)는 적어도 하나의 구동모터를 포함하여 주행제어부(230)의 제어명령에 따라 이동 로봇이 주행하도록 한다. 주행부(250)는 앞서 설명한 바와 같이, 좌륜을 회전시키는 좌륜 구동모터와 우륜을 회전시키는 우륜 구동모터를 포함할 수 있다.
청소부(260)는 브러쉬를 동작시켜 이동 로봇 주변의 먼지 또는 이물질을 흡입하기 쉬운 상태로 만들고, 흡입장치를 동작시켜 먼지 또는 이물질을 흡입한다. 청소부(260)는 먼지나 쓰레기 등의 이물질을 흡입하는 흡입유닛에 구비되는 흡입 팬의 동작을 제어하여 먼지가 흡입구를 통해 이물질 채집통에 투입되도록 한다.
또한, 청소부(260)는 본체의 저면부 후방에 설치되어 바닥면과 접하여 바닥면을 물걸레질하는 물걸레청소부(미도시), 물걸레청소부로 물을 공급하는 물통(미도시)을 더 포함할 수 있다. 청소부(260)는 청소툴이 장착될 수 있다. 예를 들어 물걸레패드가 물걸레청소부에 장착되어 바닥면을 청소할 수 있다. 청소부(260)는 물걸레청소부의 물걸레패드에 회전력을 전달하는 별도의 구동수단을 더 포함할 수 있다.
배터리(미도시)는 구동 모터뿐만 아니라, 이동 로봇(1)의 작동 전반에 필요한 전원을 공급한다. 배터리가 방전될 시, 이동 로봇(1)은 충전을 위해 충전대로 복귀하는 주행을 할 수 있으며, 이러한 복귀 주행 중, 이동 로봇(1)은 스스로 충전대의 위치를 탐지할 수 있다. 충전대는 소정의 복귀 신호를 송출하는 신호 송출부(미도시)를 포함할 수 있다. 복귀 신호는 초음파 신호 또는 적외선 신호일 수 있으나, 반드시 이에 한정되는 것은 아니다.
센서부(150)는 복수의 센서를 포함하여 장애물을 감지한다. 센서부(150)는 초음파센서, 레이저센서, 적외선센서 중 적어도 하나를 이용하여 전방, 즉 주행방향의 장애물을 감지한다. 센서부(150)는 센서신호를 바탕으로 주행방향에 위치하는 장애물의 위치, 거리 크기를 감지할 수 있다.
또한, 센서부(150)는 주행구역 내 바닥에 낭떠러지의 존재 여부를 감지하는 낭떠러지 감지센서를 더 포함할 수 있다. 센서부(150)는 송출되는 신호가 반사되어 입사되는 경우, 장애물의 존재 여부 또는 장애물까지의 거리에 대한 정보를 장애물 감지신호로써 제어부(200)로 입력한다.
센서부(150)는 적어도 하나의 기울기센서를 포함하여 본체의 기울기를 감지한다. 기울기센서는 본체의 전, 후, 좌, 우 방향으로 기울어지는 경우, 기울어진 방향과 각도를 산출한다. 기울기센서는 틸트센서, 가속도센서 등이 사용될 수 있고, 가속도센서의 경우 자이로식, 관성식, 실리콘반도체식 중 어느 것이나 적용 가능하다.
또한, 센서부(150)는 이동 로봇(1)의 내부에 설치되는 센서를 통해 동작상태, 이상여부를 감지할 수 있다.
영상획득부(100)는 피사체의 상을 전기적 신호로 변환시킨 후 다시 디지털 신호로 바꿔 메모리소자에 기억시키는 카메라를 포함할 수 있다. 카메라는 적어도 하나의 광학렌즈와, 광학렌즈를 통과한 광에 의해 상이 맺히는 다수개의 광다이오드(photodiode, 예를들어, pixel)를 포함하여 구성된 이미지센서(예를 들어, CMOS image sensor)와, 광다이오드들로부터 출력된 신호를 바탕으로 영상을 구성하는 디지털 신호 처리기(DSP: Digital Signal Processor)를 포함할 수 있다. 디지털 신호 처리기는 정지영상은 물론이고, 정지영상으로 구성된 프레임들로 이루어진 동영상을 생성하는 것도 가능하다.
이미지센서는 광학 영상(image)을 전기적 신호로 변환하는 장치로, 다수개의 광 다이오드(photo diode)가 집적된 칩으로 구성되며, 광 다이오드로는 픽셀(pixel)을 예로 들 수 있다. 렌즈를 통과한 광에 의해 칩에 맺힌 영상에 의해 각각의 픽셀들에 전하가 축적되며, 픽셀에 축적된 전하들은 전기적 신호(예를들어, 전압)로 변환된다. 이미지센서로는 CCD(Charge Coupled Device), CMOS(Complementary Metal Oxide Semiconductor) 등이 잘 알려져 있다.
영상획득부(100)는 이동 로봇이 동작하면, 연속적으로 영상을 촬영한다. 또한, 영상획득부(100)는 소정 주기 또는 소정 거리 단위로 영상을 촬영할 수 있다. 영상획득부(100)는 센서부(150)에 의해 장애물이 감지되는 경우 영상을 촬영할 수 있고, 또한, 장애물이 감지되지 않은 이동 또는 청소상태에서도 영상을 촬영할 수 있다.
영상획득부(100)는 이동 로봇의 이동 속도에 따라 촬영 주기를 설정할 수 있다. 또한, 영상획득부(100)는 센서부에 의한 감지거리와 이동 로봇의 이동속도를 고려하여 촬영 주기를 설정할 수 있다.
영상획득부(100)는 주행방향에 대한 전방의 영상을 획득하는 것은 물론, 상향의 천장형태 또한 촬영할 수 있다.
영상획득부(100)는 본체가 주행하는 중에 촬영되는 영상을 영상데이터(182)로써 데이터부(280)에 저장한다.
센서부(150)는 구비되는 센서에 의해 감지되는 장애물에 대한 감지신호를 제어부로 입력할 수 있다. 영상획득부(100)는 촬영된 영상을 제어부로 입력한다.
제어부(200)는 주행영역 중 지정된 영역 내에서, 이동 로봇이 주행하도록 주행부(250)를 제어한다.
제어부(200)는 조작부(160)의 조작에 의해 입력되는 데이터를 처리하여 이동 로봇의 동작모드를 설정하고, 동작상태를 출력부(190)를 통해 출력하며, 동작상태, 에러상태 또는 장애물 감지에 따른 경고음, 효과음, 음성안내가 출력부(190)의 스피커를 통해 출력되도록 한다.
제어부(200)는 영상획득부(100)로부터 획득되는 영상, 센서부(150)로부터 감지되는 장애물정보를 바탕으로 주행영역에 대한 지도를 생성한다. 제어부(200)는 영역내의 주행중 장애물 정보를 바탕으로 지도를 생성하되, 영상획득부의 영상으로부터 주행영역의 형태를 판단하여 지도를 생성할 수 있다.
제어부(200)는 오디오입력부(120)로부터 입력되는 소리를 분석하여, 소리의 종류를 판단한다. 제어부(200)는 소리 발생 지점, 소리를 발생시킨 대상 또는 소리가 발생한 원인 등을 판단할 수 있다.
제어부(200)는 소리의 종류 및 동작모드에 대응하여 지정된 동작을 수행하도록 제어한다. 제어부(200)는 소리 발생 지점으로 본체가 이동하도록 제어하고, 소리의 종류에 따라 지정된 동작을 수행한다.
예를 들어 제어부(200)는 재실자가 없는 상태에서 개수대에 물이 틀어져 있는 것으로 판단되면, 감지되는 소리를 통해 물소리를 판단하고, 본체 이동 후 영상을 촬영하여 사용자의 단말(300)로 전송할 수 있다. 또한, 제어부(200)는 침입감지 시, 경고를 사용자 단말로 전송할 수 있고, 경찰서 또는 보안업체로 침입경고를 생성하여 전송할 수 있다.
제어부(200)는 영상획득부(100) 또는 센서부(150)로부터 감지되는 장애물에 대하여, 장애물을 인식하고, 그에 대응하여 특정 동작을 수행하거나 또는 경로를 변경하여 이동하도록 주행부를 제어한다. 또한, 제어부는 필요에 따라 출력부를 통해 소정의 효과음 또는 경고음을 출력할 수 있고, 영상을 촬영하도록 영상획득부를 제어할 수 있다.
제어부(200)는 주행 중, 주행부(250) 및 청소부(260)를 제어하여, 이동 로봇 주변의 먼지 또는 이물질을 흡수하도록 함으로써 주행구역에 대한 청소를 수행한다. 그에 따라 청소부(260)는 브러쉬를 동작시켜 이동 로봇 주변의 먼지 또는 이물질을 흡입하기 쉬운 상태로 만들고, 흡입장치를 동작시켜 먼지 또는 이물질을 흡입한다. 주행 중에 이물질을 흡입하여 청소를 수행하도록 청소부를 제어한다.
제어부(200)는 배터리의 충전용량을 체크하여 충전대로의 복귀 시기를 결정한다. 제어부(200)는 충전용량이 일정값에 도달하면, 수행중이던 동작을 중지하고, 충전대 복귀를 위해 충전대 탐색을 시작한다. 제어부(200)는 배터리의 충전용량에 대한 알림 및 충전대 복귀에 대한 알림을 출력할 수 있다. 또한, 제어부(200)는 충전대로부터 송신되는 신호가 통신부(270)를 통해 수신되는 경우, 충전대로 복귀할 수 있다.
제어부(200)는 장애물인식부(210), 맵생성부(220), 주행제어부(230), 소리인식부(240), 영상처리부(290)를 포함한다.
맵생성부(220)는 초기 동작 시, 또는 영역에 대한 지도가 저장되어 있지 않은 경우, 영역을 주행하면서 장애물 정보를 바탕으로 영역에 대한 지도를 생성한다. 또한, 맵생성부(220)는 주행중 획득되는 장애물 정보를 바탕으로, 기 생성된 지도를 갱신한다. 또한, 맵생성부(220)는 주행 중 획득되는 영상을 분석하여 영역의 형태를 판단하여 지도를 생성한다.
맵생성부(220)는 기초맵 생성 후, 청소영역을 복수의 영역으로 구분하고, 복수의 영역을 연결하는 연결통로를 포함하며, 각 영역 내의 장애물에 대한 정보를 포함하여 지도를 생성한다.
맵생성부(220)는 구분된 각 영역에 대하여, 영역의 형태를 가공한다. 맵생성부(220)는 구분된 영역에 대하여 속성을 설정할 수 있다.
또한, 맵생성부(220)는 영상으로부터 추출된 특징으로부터 영역을 구분할 수 있다. 맵생성부(220)는 특징의 연결관계를 바탕으로 문의 위치를 판단할 수 있고, 그에 따라 영역간의 경계선을 구분하여 복수의 영역으로 구성된 지도를 생성할 수 있다.
장애물인식부(210)는 영상획득부(100) 또는 센서부(150)로부터 입력되는 데이터를 통해 장애물을 판단한다.
장애물인식부(210)는 센서부(150)의 감지신호, 예를 들어 초음파 또는 레이저 등의 신호에 따라 장애물의 방향 또는 장애물까지의 거리를 산출한다. 또한, 장애물인식부는 패턴이 포함된 획득 영상을 분석하여 패턴을 추출하고 패턴의 형태를 분석하여 장애물을 판단할 수 있다. 장애물인식부(210)는 초음파 또는 적외선 신호를 이용하는 경우 장애물과의 거리 또는 장애물의 위치에 따라 수신되는 초음파의 형태, 초음파가 수신되는 시간에 차이가 있으므로 이를 바탕으로 장애물을 판단한다.
장애물인식부(210)는 인체를 감지할 수 있다. 장애물인식부(210)는 영상획득부(100)를 통해 입력되는 데이터를 분석하여 실루엣, 크기, 얼굴형태 등을 바탕으로 인체를 감지하고, 해당 인체가 등록된 사용자인지 여부를 판단한다. 장애물인식부(210)는 기 등록된 사용자의 데이터, 예를 들어 사용자에 대한 이미지, 사용자의 형상에 따른 특징을 데이터로써 저장하여, 인체 감지 시 등록된 사용자인지 여부를 판단할 수 있다.
장애물인식부(210)는 반려동물 또한 인식할 수 있다.
또한, 장애물인식부(210)는 가전기기, 생활용품, 문, 개수대 등의 기기를 인식한다.
장애물인식부(210)는 영상데이터를 분석하여 장애물의 특징으로 추출하고, 장애물의 형상(형태), 크기 및 색상 바탕으로 장애물을 판단하며, 그 위치를 판단한다.
장애물인식부(210)는 영상데이터로부터 영상의 배경을 제외하고, 기 저장된 장애물데이터를 바탕으로 장애물의 특징을 추출하여 장애물의 종류를 판단할 수 있다. 장애물데이터(181)는 서버로부터 수신되는 새로운 장애물데이터에 의해 갱신된다. 이동 로봇(1)은 감지되는 장애물에 대한 장애물데이터를 저장하고 그 외 데이터에 대하여 서버로부터 장애물의 종류에 대한 데이터를 수신할 수 있다.
또한, 장애물인식부(210)는 인식된 장애물의 정보를 장애물데이터에 저장하고, 또한, 인식 가능한 영상데이터를 통신부(270)를 통해 서버(90)로 전송하여 장애물의 종류를 판단하도록 한다. 통신부(270)는 적어도 하나의 영상데이터를 서버(90)로 전송한다.
영상처리부(290)는 영상획득부(100)로부터 입력되는 영상을 전처리 후 분석한다. 영상처리부(290)는 촬영된 영상으로부터 특징을 추출하여, 영상에 촬영된 피사체를 분석한다.
영상처리부(290)는 촬영된 영상을 압축하여 변환한다. 영상처리부(290)는 단말(300) 또는 서버로 전송하기 위해 지정된 영상포맷으로 영상을 변환할 수 있다.
경우에 따라 영상처리부(290)는 장애물인식부(210)에 포함될 수 있다. 장애물인식부(210)는 앞서 설명한 바와 같이, 영상으로부터 장애물인 인식함에 따라 영상처리부로써 동작할 수 있다.
소리인식부(240)는 오디오입력부(120)로부터 입력되는 소리를 분석하여 소리의 종류를 판단한다. 소리인식부(240)는 소리의 크기, 파장, 주파수, 소리가 발생한 방향과 같은 정보를 바탕으로 소리의 종류를 판단할 수 있다. 소리인식부(240)는 소리의 종류에 따라 소리 발생 지점, 소리의 발생 원인 또는 소리를 발생시킨 대상을 판단한다.
소리인식부(240)는 소리 발생 지점에 대한 결과를 주행제어부(230)로 인가하고, 그에 따라 주행제어부(230)는 소리 발생 지점을 기준으로 그 주변영역으로 주행하도록 제어한다.
또한, 소리인식부(240)는 기 저장된 데이터를 바탕으로 소리가 발생한 발생원인, 또는 소리를 발생시킨 대상을 판단할 수 있다.
예를 들어 소리인식부(240)는 아기 울음소리, 기침소리, 반려동물의 울음소리를 구분하여 소리의 발생 대상을 판단한다. 또한, 소리인식부(240)는 유리창이 깨지는 소리, 현관문의 도어락의 버튼음, 문을 여닫는 소리, 라디오소리, 알람소리, TV소리 등을 구분할 수 있다.
또한, 사용자별로 음성이 등록된 경우 소리인식부는 사용자의 음성을 인식하여 사용자를 식별할 수 잇다.
소리인식부(240)는 오디오입력부(120)를 통해 수집되는 소리를 필터링하고, 증폭하는 신호처리부를 포함할 수 있다.
주행제어부(230)는 지도를 바탕으로 영역을 주행하며, 감지되는 장애물 정보에 대응하여 이동방향 또는 주행경로를 변경하여 장애물을 통과하거나 또는 장애물을 회피하여 주행하도록 주행부(250)를 제어한다.
주행제어부(230)는 주행부(250)를 제어하여 좌륜 구동모터와 우륜 구동모터의 작동을 독립적으로 제어함으로써 본체(10)가 직진 또는 회전하여 주행하도록 한다. 주행제어부(230)는 청소명령에 따라 주행부(250)와 청소부(260)를 제어하여 본체(10)가 청소영역을 주행하면서 이물질을 흡입하여 청소가 수행되도록 한다.
주행제어부(230)는 맵생성부(220)에 의해 생성된 지도를 바탕으로 설정된 영역으로 이동하거나, 설정된 영역 내에서 본체가 이동하도록 주행부(250)를 제어한다. 또한, 주행제어부(230)는 장애물에 대응하여 소정의 동작을 수행하거나 주행경로를 변경하여 주행하도록 주행부를 제어한다.
주행제어부(230)는 감지되는 장애물에 대응하여, 회피, 접근, 접근거리에 대한 설정, 그리고 정지, 감속, 가속, 역주행, 유턴, 주행방향 변경 중 적어도 하나를 수행하도록 주행부를 제어한다.
또한, 주행제어부(230)는 에러를 출력하고, 필요에 따라 소정의 경고음 또는 음성안내를 출력할 수 있다.
주행제어부(230)는 소리인식부(240)로부터 입력되는 신호에 대응하여, 소리 발생 지점 또는 소리 발생 지점에 인접한 지점으로 본체가 이동하도록 제어한다.
소리 발생 지점에 도착하면, 영상획득부(100)는 영상을 촬영한다. 주행부(250)는 영상획득부가 촬영하는 동안, 소정 속도로 회전할 수 있고, 또한, 지정된 회전각 단위로 본체를 회전할 수 있다.
제어부(200)는 소리인식부(240)의 판단결과에 대하여, 사용자의 단말로 알림을 전송한다. 또한 제어부는 관련 소리데이터 또는 촬영된 영상의 영상데이터를 전송할 수 있다.
제어부(200)는 동작모드와 소리의 종류에 따라 지정된 동작이 수행되도록 제어한다. 또한, 제어부(200)는 특정 동작모드가 설정되지 않은, 일반 모드에서도 오디오입력부를 통해 수집되는 소리를 바탕으로 본체가 소정의 동작을 수행하도록 제어한다.
제어부(200)는 특정 소리, 특정대상에 대하여, 동작이 지정되어 있는 경우, 지정된 동작이 수행되도록 한다. 제어부는 소리인식부에 의해 발생된 소리의 대상, 소리 발생 지점에 따라 동작을 상이하게 실시할 수 있다.
예를 들어, 제어부는 아이가 우는 경우, 자장가를 재생하여 스피커를 통해 출력할 수 있다. 제어부는 반려동물이 짖는 경우, 기 녹음된 사용자의 음성을 출력하거나 또는 통신부를 통해 사용자의 단말로 통화를 연결할 수 있다. 또한, 제어부는 TV를 동작시켜 특정 채널의 방송이 출력되도록 할 수 있다.
한편, 재실자가 없는 거실에 TV가 켜져 있는 경우, TV소리를 감지하여 TV이 인접하여 오프(OFF)신호를 송출할 수 있다. TV가 네트워크에 연결되어 있는 경우, 제어부는 네트워크 연결을 통해 TV가 동작을 정지하도록 전원을 오프할 수 있다. 또한, 제어부는 침입이 감지되는 경우, 해당 위치로 이동하여 영상을 촬영하여 단말로 전송하고, 지정된 경찰서 또는 보안업체로 침입경고를 전송할 수 있다.
제어부(200)는 영상획득부를 제어하여 영상을 촬영할 수 있고, 출력부를 통해 경고음을 출력할 수 있으며, 통신부를 통해 경고메시지를 전송할 수 있다.
도 4 는 본 발명의 일 실시예에 따른 이동 로봇의 동작에 따른 신호 흐름을 설명하는데 참조되는 도이다.
도 4에 도시된 바와 같이, 이동 로봇(1)은 주행 중 또는 대기 중에, 오디오입력부(120)를 통해 소리를 수집한다(S11).
이동 로봇(1)은 수집된 소리를 저장하고, 소리를 분석하여 소리의 종류를 판단할 수 있다. 이동 로봇(1)은 소리를 발생시킨 대상 또는 소리가 발생된 위치를 판단할 수 있다. 또한, 이동 로봇(1)은 소리 발생 지점으로 이동하여 영상을 촬영하고, 소정의 경고를 출력할 수 있다.
이동 로봇(1)은 촬영된 영상 또는 소정의 알림메시지를 생성하여 지정된 단말(300)로 전송한다(S12).
단말(300)은 수신되는 알림메시지를 바탕으로 경고를 출력하고(S13), 또한, 수신되는 영상을 표시한다.
단말(300)은 사용자 입력에 대응하여, 이동 로봇(1)에 제어명령을 전송할 수 있다(S14). 예를 들어, 단말은 추가 영상 촬영, 경고음 출력, 대기, 이동 등의 제어명령을 이동 로봇으로 전송할 수 있다.
또한, 이동 로봇(1)은 소리의 종류에 따라 관련 기관에 신고를 진행할 수 있다. 예를 들어 이동 로봇(1)은 보안업체, 경찰서, 소방서 등에 신고할 수 있다(S15). 이동 로봇은 침입이 발생하는 경우 경찰서로 신고하고, 화재가 발생하는 경우에는 소방서로 신고할 수 있다. 신고는 연계프로그램을 통해 보안업체, 경찰서, 소방서 등의 서버(350)로 신고메시지 또는 별도의 신고양식의 데이터를 전송할 수 있다.
서버(350)는 신고를 접수하고(S17), 사고가 발생한 곳에 인접한 관한 경찰서 또는 소방서 등의 기관(380)으로 신고내용을 전달하고 경찰 또는 소방수가 출동하도록 한다(S18). 또한, 이동 로봇은 인접한 위치의 보안업체, 경찰서, 소방서에 직접 신고할 수도 있다.
이동 로봇(1)은 신고 및 관련 인원의 출동에 관련된 사항을 단말로 전송하여 진행상황을 보고할 수 있다.
도 5 는 본 발명의 일 실시예에 따른 이동 로봇의 소리를 감지하여 동작을 제어하는 방법이 도시된 순서도이다.
도 5에 도시된 바와 같이, 이동 로봇(1)은 오디오입력부(120)를 통해 소리를 감지하여 수집한다(S210).제어부(200)는 수집되는 소리를 필터링하고 증폭하여 처리한다.
제어부(200)는 소리를 분석하여 소리의 종류를 판단한다. 제어부(200)는 현재 설정된 이동 로봇(1)의 동작모드를 확인하고, 소리의 종류에 따른 영역내 상황을 분석한다. 제어부(200)의 소리인식부(240)는 소리를 분석하여 소리의 종류를 판단한다.
제어부(200)는 소리 발생 지점, 소리를 발생시킨 대상을 소리의 종류로써 판단할 수 있다.
예를 들어, 소리가 가전기기에서 발생하였는지, 문, 창문 등에서 발생하였는지 판단하고, 또는 사람, 반려동물의 소리를 구분하여 소리의 종류를 판단할 수 있다. 또한, 소리 발생 지점은 소리 발생 지점, 소리가 발생한 실(room), 소영역, 소리 발생 지점으로부터 인접한 위치가 될 수 있다.
제어부(200)는 소리의 종류에 따라, 알림메시지를 생성하여 단말(300)로 전송한다(S240).
또한, 제어부(200)의 주행제어부(230)는 주행부(250)를 제어하여 소리 발생 지점으로 이동한다(S250). 이동 로봇(1)은 소리 발생 지점, 즉 소리 발생 지점, 소리가 발생한 실(room), 소영역, 소리 발생 지점으로부터 인접한 위치로 이동할 수 있다.
제어부(200)는 소리 발생 지점에 도달하면, 영상획득부(100)로 제어명령을 인가하고, 그에 대응하여 영상획득부(100)는 영상을 촬영한다(S260).
주행부(250)는 주행제어부(230)의 제어명령에 따라, 소리 발생 지점에서 소정 속도로 회전하거나, 또는 소정 회전각 단위로 회전 후 정지하는 것을 반복할 수 있다. 영상획득부(100)는 정지영상, 동영상, 파노라마 중 적어도 하나의 형태로 영상을 촬영할 수 있다.
제어부(200)는 영상을 분석하여 침입상황 또는 위험상황을 판단할 수 있다(S270). 또한, 제어부(200)는 생활소음을 판단할 수 있다.
제어부(200)는 영상획득부(100)를 통해 촬영된 영상에 대하여, 장애물인식부(210) 또는 영상처리부(290)를 통해 대상(피사체)을 인식하여 침입상황 또는 긴급상황인지 여부를 판단할 수 있다.
제어부(200)는 현재 설정된 모드에 연동하여 영상분석 결과에 따라 침입상황과 위험상황을 판단한다. 예를 들어, 방범모드가 설정된 상태에서, 인식 불가능한 움직이는 사람이 감지되는 경우, 창문이 파손된 경우 등, 침입상황으로 판단할 수 있다. 또한, 제어부(200)는 영상을 분석하여 화재발생 여부 등을 판단할 수 있다.
침입상황이나 긴급상황으로 판단되면, 또한, 제어부(200)는 촬영된 영상을 알림메시지와 함께 단말(00)로 전송한다.
또한, 제어부(200)는 소정의 경고음을 출력하고, 지정된 기관으로 신고할 수 있다(S280). 제어부(200)는 신고 시, 감지된 소리에 대한 정보와 촬영된 영상을 서버로 송할 수 있다(S290).
제어부(200)는 발생된 상황에 따라 보안업체, 경찰서, 소방서 등의 서버로 데이터를 전송하여 침입 또는 긴급상황에 대하여 신고하거나, 해당 기관으로 통화를 연결하여 지정된 음성안내를 출력할 수 있다.
한편, 전송한 알림에 대응하여 단말(300)로부터 제어명령이 수신되면, 제어부(200)는 제어명령에 따라 동작한다(S300). 예를 들어, 제어부(200)는 경고음 출력에 따른 제어명령이 수신되면, 영역 내에서 경고음을 출력할 수 있다.
한편, 생활소음인 경우, 재실자에 의해 발생한 소리인 경우, 이동 로봇(1)은 영상을 단말로 전송하고, 단말의 제어명령에 따라 지정된 동작을 수행할 수 있다.
도 6 은 본 발명의 일 실시예에 따른 이동 로봇의 방범모드 설정에 따른 동작의 실시예가 도시된 도이다.
도 6의 (a)에 도시된 바와 같이, 실내 영역 중, 제 7 영역(A7)의 창문(P1)에서 소리가 발생한 경우, 또는 제 9 영역(A9)의 현관문(P2)에서 소리가 발생하는 경우, 이동 로봇(1)은 소리를 감지하여 분석하여 소리의 종류를 판단한다. 이는 설명의 편의를 위하여 함께 도시하였을 뿐, 각 소리는 동시에 발생하는 것은 아님을 명시한다.
이동 로봇(1)은 충전대(PO)에서 충전하거나 또는 주행하는 중에도 영역 내에서 발생하는 소리를 감지할 수 있다.
이동 로봇(1)은 소리 발생 지점을 베란다로 판단하고, 창문소리로 판단할 수 있다. 창문소리는 창문을 여닫는 소리, 또는 창문이 파손되는 소리로 구분될 수 있다.
또한, 이동 로봇(1)은 현관문으로부터 소리가 발생한 경우, 해당 소리를 수집하여 현관의 제 9 영역(A9)에 대한 소리 발생 지점을 판단한다. 예를 들어 현관문을 여닫는 소리, 도어락의 버튼음을 감지하여 구분할 수 있다.
이동 로봇(1)은 방범모드가 설정된 상태에서 제 9 영역에서 소리가 발생하는 경우, 제 9 영역의 소리를 수집하여 판단한다. 한편, 이동 로봇(1)은 방범모드가 해제된 상태에서는 제 9 영역에서 발생하는 현관문의 소리를 무시할 수 있다.
도 6의 (b)와 같이 이동 로봇(1)은 소리 발생 지점을 목적지로 하는 이동경로(L1)(L2)를 설정하고, 각각 소리 발생 지점으로 이동한다. 이동 로봇(1)은 소리 발생 지점으로 이동하되, 베란다의 제 7 영역(A7)로 진입할 수 없으므로, 인접한 제 5 영역(A5)으로 이동한다. 또한, 이동 로봇(1)은 현관의 제 9 영역(A9)에 인접한 지점으로 이동할 수 있다.
도 6의 (c)에 도시된 바와 같이, 이동 로봇(1)은 각각의 이동경로(L1)(L2)에 따라 이동하여, 소리 발생 지점에 도달하면, 영상을 촬영한다. 이동 로봇(1)은 각각 제 7 영역과 제 9 영역에서 영상을 촬영한다.
이동 로봇(1)은 소리 발생 지점에 도달하여, 장애물, 침입자를 감지하면, 해당 방향에 대하여 영상을 촬영함으로써 장애물 또는 침입자를 피사체로써 촬영할 수 있다. 이동 로봇(1)은 별도의 장애물 또는 침입자가 감지되지 않더라도, 영상을 촬영하여 저장할 수 있다.
또한, 이동 로봇(1)은 소리 발생 지점으로 이동하는 중에 새로운 장애물 또는 인체를 감지하는 경우 영상을 촬영할 수 있다.
이동 로봇(1)은 소리 발생 지점 또는 소리 발생 지점으로 이동하는 중, 지도에 포함되지 않는 장애물을 감지하는 경우, 또는 등록되지 않은 인체를 감지하는 경우 영상을 촬영할 수 있다.
이동 로봇(1)은 촬영된 영상을 단말(300)로 전송하여 사용자가 영역 내의 상황을 확인할 수 있도록 한다.
도 7 은 본 발명의 일 실시예에 따른 이동 로봇의 방범모드 설정에 따른 제어방법이 도시된 순서도이다.
도 7에 도시된 바와 같이, 이동 로봇(1)은 소리를 감지하고(S310), 감지된 소리를 분석한다.
이동 로봇(1)은 현재 설정된 모드가 방법모드 인지 여부를 판단한다(S320). 또한, 이동 로봇(1)은 방범모드가 설정된 상태에서, 감지된 소리의 분석결과, 즉 소리의 종류에 따라 침입상황인지 여부를 판단할 수 있다(S330).
예를 들어, 방범모드가 설정된 상태에서 문 또는 창문이 열리는 소리, 창문이 파손되는 소리, 도어락의 버튼음에 대하여 침입상황을 판단할 수 있다. 방범모드가 해제된 경우에에는 도어락의 버튼음, 문의 여닫는 소리 등은 무시할 수 있다.
방범모드가 아니고, 침입상황이 아닌 경우에는 생활소음 또는 재실자에 의한 소음을 여부를 판단한다(A).
소리를 분석한 결과에 따라, 방범모드가 설정된 상태에서 침입상황으로 판단되면, 이동 로봇(1)은 소리 발생 지점으로 이동한다(S350). 이동을 전 후로, 이동 로봇(1)은 알림 또는 경고를 생성하여 단말(300)로 전송할 수 있다(S340).
이동 로봇(1)은 소리 발생 지점에 도달하면, 영상획득부(100)를 동작하여 영상을 촬영한다(S360).
영상획득부(100)는 소정시간 간격으로 복수의 영상을 촬영할 수 있다. 또한, 영상획득부(100)는 본체가 회전하는 동안 동영상, 파노라마영상 또는 복수의 정지영상 중 어느 하나를 촬영할 수 있다.
제어부(200)는 센서부의 감지신호에 대응하여 영역 내의 움직임을 감지하고, 움직임이 감지된 방향에 대하여 영상을 촬영하도록 영상획득부를 제어할 수 있다.
제어부(200)는 촬영된 영상을 단말(300)로 전송할 수 있다.
제어부(200)의 영상처리부(290)는 촬영된 영상을 분석하고(S370), 장애물인식부(210)는 영상으로부터 침입자가 존재하는지 여부를 판단한다(S380). 또한, 제어부(200)는 기 전송된 영상에 대응하여, 단말(300)로부터 수신되는 제어명령에 따라 침입여부를 판단할 수 있다.
제어부(200)는 소정시간 간격으로 촬영된 영상을 비교하여, 움직임을 판단하고, 영상 속 인체를 인식하여 침입자를 판단할 수 있다. 또한, 영상의 인체가 기 등록된 인체인지 여부를 판단하거나 또는 얼굴인식을 통해 침입자 여부를 판단할 수 있다.
침입자로 판단되면, 제어부(200)는 출력부를 통해 경고음을 출력한다(S390). 또한 제어부(200)는 통신부를 통해 침입자에 대해 신고할 수 있다(S400).
또한, 제어부(200)는 침입자가 아닌 경우 침입상황을 해제한다(S410). 경우에 따라 단말로부터 수신되는 제어명령에 따라 침입상황을 해제할 수 있다.
도 8 은 본 발명의 일 실시예에 따른 이동 로봇의 생활소음에 대한 동작의 실시예가 도시된 순서도이다.
도 8의 (a)에 도시된 바와 같이, 영역 내에서, 이동 로봇은 제 5 영역(A5)의 주방(P3) 또는 제 10 영역(A10)의 화장실(P4)에서 발생하는 소리를 감지한다.
이동 로봇(1)은 수집된 소리를 바탕으로 주방의 조리도구에 의한 소리, 화장실의 물소리를 구분하고, 그 위치를 판단할 수 있다. 이동 로봇(1)은 물소리가 감지되는 경우 주방 또는 화장실인 것을 도출할 수 있다.
도 8의 (b)에 도시된 바와 같이, 제 5 영역(A5)에서 소리가 발생하면, 이동 로봇(1)은 제 5 영역으로 제 3 이동경로(L3)에 따라 이동한다.
또한, 제 10 영역(A10)에서 물소리가 발생하면, 이동 로봇(1)은 제 10 영역으로 제 4 이동경로(L4)에 따라 이동할 수 있다.
이동 로봇(1)은 재실자 유무 또는 외출모드의 설정에 따라 소리 발생지점으로 이동할 수 있다. 또한, 일반모드에서 재질자가 존재하더라도, 이동 로봇(1)은 동일한 소리가 일정시간 이상 발생하면, 소리 발생 지점으로 이동할 수 있다.
도 8의 (c)에 도시된 바와 같이, 이동 로봇(1)은 각각 제 5 영역(A5)과 제 10 영역(A10)에 대하여, 영상획득부(100)를 통해 영상을 촬영한다.
이동 로봇(1)은 제 10 영역에 진입하지 못하는 경우, 인접한 제 4 지점(P4a)에서 제 10 영역에 대한 영상을 촬영할 수 있다.
이동 로봇(1)은 촬영된 영상을 단말로 전송하고, 영상을 분석하여 긴급 상황인지 여부를 판단한다.
예를 들어, 주방에서 냄비의 내용물이 끓어 넘치거나, 가스레인지 등의 화구가 작동하고 있는 경우, 그에 대한 경고음을 출력할 수 있다. 주방에 인체가 감지되지 않는 상황에서 화구가 작동하는 경우 경고메세지를 단말로 전송할 수 있다.
또한, 화재 발생으로 판단되면, 출력부를 통해 경고를 출력할 뿐 아니라, 통신부를 통해 소방서로 화재를 신고할 수 있다.
물소리의 경우, 이동 로봇은 경고음을 출력하고, 또한 단말로 제 10 영역에 대한 영상을 전송하여 물이 틀어져 있음을 나타내는 알림메시지를 전송할 수 있다.
한편, 제 5 영역 또는 제 10 영역으로 이동하여, 해당 영역에서 인체가 감지되면, 수집된 소리는 무시하고 충전대로 복귀할 수 있다.
도 9 는 본 발명의 일 실시예에 따른 이동 로봇의 생활소음에 대한 제어방법이 도시된 순서도이다.
도 9에 도시된 바와 같이, 이동 로봇(1)은 감지되는 소리(S430)는 분석하여(S430) 소리의 종류를 판단한다.
이동 로봇(1)은 감지된 소리가 생활소음인지 여부를 판단한다(S440).
또한, 이동 로봇(1)은 생활 소음이 아닌 경우, 앞서 설명한 침입상황인지 여부를 판단할 수 있다.
이동 로봇(1)은 생활소음인 경우 외출모드인지 여부를 판단한다(S450). 또한, 재실자가 존재하는 지 여부를 판단한다(SS460).
외출모드가 설정되고 재실자가 존재하지 않는 때에, 생활소음이 감지되면, 이상상황으로 판단하여, 이동 로봇(1)은 단말(300)로 알림을 전송할 수 있다(S470).
이동 로봇(1)은 소리 발생 지점으로 이동하고(S480), 소리 발생 지점에 대한 영상을 촬영한다(S490). 또한, 이동 로봇(1)은 센서부의 감지신호를 바탕으로 긴급상황을 판단할 수 있다.
이동 로봇(1)은 영상을 분석하여, 긴급상황인지 여부를 판단한다(S500). 예를 들어, 이동 로봇(1)은 영상을 분석하여 화재발생 여부를 판단할 수 있다. 또한, 이동 로봇(1)은 센서부로부터 감지되는 감지신호를 바탕으로 긴급상황을 판단할 수 있다. 예를 들어 열감지센서를 통해 화재 발생 여부를 판단할 수 있다.
이동 로봇(1)은 화재 등의 긴급상황과, 이상상황을 구분하여 긴급상황인 경우 그에 대응하는 신고를 진행하고(S510), 단말로 긴급상황에 대한 알림을 전송한다(S520). 긴급상황과 이상상황에 대한 기준은 사용자의 설정에 의해 변경될 수 있다.
한편, 이상상황, 예를 들어 화장실에 물이 틀어져 있는 경우 이상상황으로 판단하여 영상을 단말로 전송하고, 지정된 동작을 수행한다.
또한, 이동 로봇(1)은 외출모드에서 TV가 켜져 있는 경우, 알림을 전송하고 전원을 꺼 동작을 정지시킬 수 있다. TV가 네트워크에 연결되어 있는 경우 네트워크 연결을 통해 그 동작을 제어할 수 있다.
한편, 이동 로봇(1)은 별도의 동작모드가 설정되지 않은 경우, TV소리를 감지하면, TV와의 거리에 대응하여, 흡입유닛의 흡입력 또는 브러시회전을 제어하여 본체로부터 발생하는 소음이 감소하도록 할 수 있다.
이동 로봇은, 청소중에 TV 또는 음악소리를 감지하면, TV 또는 오디오, 스피커로부터 일정 거리 내에 접근하면, 본체로부터 발생하는 소음을 감소시킨다. 이동 로봇은 이동속도, 흡입력, 브러시회전을 감소시켜 소음을 감소시킬 수 있다.
예를 들어, 이동 로봇(1)은 TV를 기준으로, 5m 이내 에서, 흡입력 20000 브러시는 500으로 설정하고, 5미터 이상 10m 이내에서 흡입력은 34000 브러시회전은 700로 설정하며, 10m 이상에서는 흡입력 45000 브러시회전 1000으로, 소리가 발생하는 대상, 즉 TV 또는 오디오와의 거리에 따라 소음을 발생 정도를 조절할 수 있다.
도 10 은 본 발명의 일실시예에 따른 이동 로봇의 재실자 감지에 따른 동작의 실시예가 도시된 도이다.
도 10의 (a)에 도시된 바와 같이, 이동 로봇(1)은 영역 내에서 발생하는 소음을 감지한다. 이동 로봇(1)은 휴먼케어모드에서 다음과 같이 동작할 수 있다.
제 4 영역(A4)에서 기침 소리가 발생하는 경우, 이동 로봇(1)은 감지된 소리를 분석하여, 사람의 기침소리인 것으로 소리의 종류를 판단할 수 있다. 경우에 따라 이동 로봇(1)은 각 실(room)의 정보를 바탕으로 기침소리가 발생한 지점을 구분할 수 있다.
또한, 제 1 영역(A1)에서 강아지가 짖는 경우, 이동 로봇(1)은 감지된 소리를 분석하여, 반려동물의 소리로, 소리의 종류를 판단할 수 있다.
또한, 이동 로봇(1)은 제 2 영역(A2)에서 아기의 울음소리가 발생하는 경우, 그 소리를 감지하고, 아기 울음소리로 소리의 종류를 판단할 수 있다.
이동 로봇은 기 저장된 데이터를 바탕으로, 소리의 종류를 판단한다. 이동 로봇(1)은 감지된 소리의 특징을 분석하여 소리의 크기, 파장, 주파수 등을 바탕으로 소리의 종류를 판단할 수 있다.
이동 로봇(1)은 소리가 발생한 방향을 바탕으로 소리 발생 지점을 판단할 수 있다. 또한, 이동 로봇(1)은 기 저장된 데이터를 바탕으로 소리의 종류에 따른 기준 크기를 설정하여, 소리의 크기에 대응하여 거리를 판단할 수도 있다.
도 10의 (b)에 도시된 바와 같이, 이동 로봇(1)은 소리 발생 지점을 목표로 각각의 이동경로(L5)(L6)(L7)를 설정하여 이동한다.
도 10의 (c)에 도시된 바와 같이, 이동 로봇(1)은 소리 발생 지점으로 이동하면, 영상을 촬영한다. 영상은 정지영상, 동영상, 파노라마 영상 등 다양한 형태로 촬영될 수 있다.
제 4 영역(A4)으로 이동한 이동 로봇은, 제 4 영역의 제 5 지점에서 인체(O5)를 촬영할 수 있다.
제 2 영역(A2)으로 이동한 이동 로봇은, 울고 있는 아기를 촬영할 수 있다.
또한, 제 1 영역(A1)의 제 6지점(P6)으로 이동한 로봇은 반려동물을 촬영할 수 있다.
도 11 은 본 발명의 일 실시예에 따른 이동 로봇의 재실자 감지에 따른 제어방법이 도시된 순서도이다.
도 11에 도시된 바와 같이, 이동 로봇(1)은 오디오입력부(120)를 통해 수집되는 소리를 감지하고 분석한다(S550). 제어부(200)는 소리의 파장, 크기, 주파수, 패턴을 분석하여 소리의 종류를 판단할 수 있다.
이동 로봇(1)은 동작모드와 소리의 종류에 따라 이동 여부를 결정할 수 있다. 이동 로봇(1)은 휴먼케어 모드 설정 시, 재실자에 대응하여 동작을 수행한다.
이동 로봇(1)은 재실자의 존재여부를 우선 판단하고(S560), 재실자가 있는 경우와, 그렇지 않은 경우는 구분하여 동작한다.
이동 로봇(1)은 재실자가 있는 상황에서 소리가 감지되면, 소리 발생 지점으로 이동하고(S570), 소리 발생 지점에서 영상을 촬영한다(S580).
이동 로봇(1)은 소리 발생에 따른 대상을 확인한다(S590). 대상이란, 소리가 발생된 근원으로, 사람, 반려동물, 가전기기 등이 될 수 있다.
대상이 사람인 경우, 제어부(200)는 영상을 분석하여 대상이 인체인지 구분할 뿐 아니라, 아기와 노약자를 구분할 수 있다(S600, S620). 제어부(200)는 장애물인식부 또는 영상처리부를 통해 등록된 사용자 인지 여부를 판단하여 대상을 인식할 수 있다.
제어부(200)는 아기인 경우, 앞서 설명한 바와 같이, 제 2 영역에서 아기 울움소리가 발생한 경우, 제 2 영역으로 이동하여 아기를 촬영함으로써, 소리와, 영상을 통해 대상이 아기인 것을 확인할 수 있다. 이동 로봇은 아기 울음소리를 기반으로 이동하여, 영상을 통해 대상이 아기인 것으로 판단되면, 소정의 음악을 재생할 수 있다(S610).
또한, 이동 로봇(1)은 통화를 연결하거나 녹음된 음성을 출력할 수 있다. 통화연결 시, 네트워크와 연결되는 스피커, TV, 홈 단말을 통해 연결될 수 있다.
제어부(200)는 알림 또는 영상을 단말(300)로 전송할 수 있다.
제어부(200)는 대상이 노약자인 경우, 이동 로봇(1)은 알림과 촬영된 영상을 지정된 단말(300)로 전송한다.
제어부(200)는 영상분석을 통해 긴급상황인지 여부를 판단할 수 있다(S640). 예를 들어 대상인 노약자가 쓰러지는 경우, 넘어지는 경우, 일정 시간 이상 움직임이 없는 경우 등에 대하여 긴급상황을 판단할 수 있다.
긴급상황으로 판단되면, 이동 로봇(1)은 119구급대, 병원 등에 사고를 신고할 수 있다(S660).
한편, 반려동물이 감지되면(S650), 이동 로봇(1)은 알림 및 영상을 전송하고, 등록된 단말과 통화를 연결할 수 있다.
단말로부터 제어명령이 수신되면, 이동 로봇(1)은 제어명령에 따라 지정된 동작을 수행한다(S680). 예를 들어 지정된 음악을 재생하거나, 음성을 출력할 수 있다.
한편, 환경케어 모드에서, 영역에 재실자가 존재하는 않는 상황에서, 소리가 감지되면, 이동 로봇(1)은 소리의 종류에 따라, 가전기기, 예를 들어 TV, 라디오 또는 오디오로부터 출력되는 소리인지 여부를 판단한다(S590).
TV소리인 경우, 소리 발생 지점으로 이동 로봇이 이동하고, 네트워크 연결 등을 통해 TV의 전원이 종료되도록 한다(S700).
상기에서와 같이 동작하는 본 실시예에 따른 이동 로봇은 독립적인 하드웨어 장치 형태로 구현될 수 있으며, 적어도 하나 이상의 프로세서(processor)로서 마이크로 프로세서나 범용 컴퓨터 시스템과 같은 다른 하드웨어 장치에 포함된 형태로 구동될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다.
1: 이동 로봇 400: 충전대
300: 단말
100: 영상획득부 120: 오디오입력부
150: 센서부 160: 조작부
190: 출력부 200:제어부
210: 장애물인식부 220: 맵생성부
230: 주행제어부 240: 소리인식부
290: 영상처리부

Claims (31)

  1. 영역을 주행하는 본체;
    복수의 센서를 포함하여 장애물 또는 움직임을 감지하는 센서부;
    소리를 수집하는 오디오입력부;
    상기 오디오입력부를 통해 수집되는 소리를 분석하여 소리를 종류를 판단하는 소리인식부;
    영상을 촬영하는 영상획득부; 및
    상기 소리의 종류 및 동작모드에 따라 상기 본체가 소리 발생 지점으로 이동하도록 하고, 상기 소리 발생 지점에서 상기 영상획득부로부터 촬영되는 영상을 분석하여 실내상황을 판단하고, 상기 실내상황에 대응하는 동작을 실시하는 제어부;를 포함하는 이동 로봇.
  2. 제 1 항에 있어서,
    상기 제어부는 상기 소리가 감지되면, 상기 소리의 종류에 대응하는 알림을 생성하여 지정된 단말로 전송하는 것을 특징으로 하는 이동 로봇.
  3. 제 1 항에 있어서,
    상기 제어부는 상기 영상을 포함하는 알림을 생성하여 지정된 단말로 전송하는 것을 특징으로 하는 이동 로봇.
  4. 제 1 항에 있어서,
    상기 제어부는, 일반모드에서, 상기 오디오입력부를 통해 감지되는 소리가 일정시간 이상 유지되면, 상기 소리 발생 지점으로 이동하여 상기 영상획득부를 통해 영상을 촬영하는 것을 특징으로 하는 이동 로봇.
  5. 제 1 항에 있어서,
    상기 제어부는 청소 중, 상기 오디오입력부를 통해 감지되는 소리에 대응하여, 상기 소리 발생 지점까지의 거리에 따라 흡입유닛 및 브러시의 동작을 제어하는 것을 특징으로 하는 이동 로봇.
  6. 제 1 항에 있어서,
    상기 제어부는 상기 소리가 생활소음인 경우, 재실자의 존재 여부에 따라 상기 소리 발생 지점으로 이동하거나 또는 대기하는 것을 특징으로 하는 이동 로봇.
  7. 제 6 항에 있어서,
    상기 제어부는 상기 소리 발생 지점에 재질자가 존재하지 않는 경우, 경고음을 출력하고, 상기 재질자가 존재하는 경우, 복귀하는 것을 특징으로 하는 이동 로봇.
  8. 제 6 항에 있어서,
    상기 제어부는 외출모드에서 상기 생활소음이 감지되면, 이상상황으로 판단하여 상기 소리 발생 지점으로 이동하는 것을 특징으로 하는 이동 로봇.
  9. 제 6 항에 있어서,
    상기 제어부는 상기 영상을 분석하여 화재 여부를 판단하고, 화재발생 시 화재를 신고하는 것을 특징으로 하는 이동 로봇.
  10. 제 6 항에 있어서,
    상기 제어부는 외출모드에서 가전기기에 의한 동작음이 감지되면, 네트워크로 연결되는 상기 가전기기의 동작을 종료하는 것을 특징으로 하는 이동 로봇.
  11. 제 1 항에 있어서,
    상기 제어부는 상기 소리 발생 지점에서 상기 영상으로부터 인체가 감지되면 아기와 노약자를 인식하는 것을 특징으로 하는 이동 로봇.
  12. 제 11 항에 있어서,
    상기 제어부는 상기 소리의 종류 및 상기 인체의 움직임에 대응하여 긴급상황인지 여부를 판단하고, 긴급상황을 신고하는 것을 특징으로 하는 이동 로봇.
  13. 제 1 항에 있어서,
    상기 제어부는 상기 소리 발생 지점에서 상기 영상으로부터 반려동물을 감지하는 것을 특징으로 하는 이동 로봇.
  14. 제 11 항 또는 제 13 항에 있어서,
    상기 제어부는 지정된 효과음 또는 음성을 출력하는 것을 특징으로 하는 이동 로봇.
  15. 제 1 항에 있어서,
    상기 제어부는 방범모드에서, 소리가 감지되면, 상기 소리 발생 지점으로 이동하여, 상기 센서부를 통해 움직임을 감지하는 것을 특징으로 하는 이동 로봇.
  16. 제 15 항에 있어서,
    상기 제어부는 움직임이 감지되는 지점에 대하여 상기 영상획득부를 통해 영상을 촬영하고,
    상기 소리 발생 지점에서 등록되지 않은 인체가 감지되는 경우, 침입상황으로 판단하여 지정된 기관에 침입상황을 신고하는 것을 특징으로 하는 이동 로봇.
  17. 제 1 항에 있어서,
    상기 소리인식부는 소리의 크기, 소리가 발생한 방향, 소리의 주파수, 소리의 패턴 중 적어도 하나를 통해 상기 소리의 종류 및 상기 소리 발생 지점을 판단하는 것을 특징으로 하는 이동 로봇.
  18. 영역 내 발생하는 소리를 오디오입력부가 감지하는 단계;
    상기 소리를 분석하여 소리의 종류를 판단하는 단계;
    상기 소리의 종류 및 동작모드에 대응하여 소리 발생 지점으로 이동하는 단계;
    상기 소리 발생 지점에 대한 영상을 촬영하는 단계; 및
    상기 영상을 분석하여 실내상황을 판단하여 대응하는 동작을 실시하는 단계; 를 포함하는 이동 로봇의 제어방법.
  19. 제 18 항에 있어서,
    상기 소리의 종류에 대응하는 알림을 생성하여 단말로 전송하는 단계; 를 더 포함하는 이동 로봇의 제어방법.
  20. 제 18 항에 있어서,
    상기 영상을 포함하는 알림을 생성하여 지정된 단말로 전송하는 단계를 더 포함하는 이동 로봇의 제어방법.
  21. 제 18 항에 있어서,
    일반모드에서, 상기 오디오입력부를 통해 감지되는 소리가 일정시간 이상 유지되면, 상기 소리 발생 지점으로 이동하여 영상을 촬영하는 것을 특징으로 하는 이동 로봇의 제어방법.
  22. 제 18 항에 있어서,
    청소 중, 상기 오디오입력부를 통해 감지되는 소리에 대응하여, 상기 소리 발생 지점까지의 거리에 따라 흡입유닛 및 브러시의 동작을 제어하여 소음을 감소시키는 단계를 더 포함하는 이동 로봇의 제어방법.
  23. 제 18 항에 있어서,
    상기 소리가 생활소음인 경우, 재실자의 존재 여부를 감지하는 단계;를 더 포함하고, 상기 재실자가 감지되지 않는 경우 상기 소리 발생 지점으로 이동하는 것을 특징으로 하는 이동 로봇의 제어방법.
  24. 제 23 항에 있어서,
    외출모드에서 상기 생활소음이 감지되면, 이상상황으로 판단하여 상기 소리 발생 지점으로 이동하는 것을 특징으로 하는 이동 로봇의 제어방법.
  25. 제 18 항에 있어서,
    상기 영상을 분석하여 화재 여부를 판단하는 단계;
    화재발생 시 경고를 출력하는 단계; 및
    화재를 신고하는 단계;를 더 포함하는 이동 로봇의 제어방법.
  26. 제 18 항에 있어서,
    외출모드에서 가전기기에 의한 동작음이 감지되면, 네트워크로 연결되는 상기 가전기기의 동작을 종료하는 단계;를 더 포함하는 이동 로봇의 제어방법.
  27. 제 18 항에 있어서,
    휴먼케어모드 설정 시, 상기 소리 발생 지점에서 상기 영상으로부터 인체를 감지하여 아기와 노약자를 인식하는 단계;
    상기 인체의 움직임, 상기 소리의 종류에 대응하여 긴급상황인지 여부를 판단하는 단계; 및
    긴급상황을 신고하는 단계를 더 포함하는 긴급상황을 신고하는 단계;를 더 포함하는 이동 로봇의 제어방법.
  28. 제 27 항에 있어서,
    상기 영상으로부터 반려동물을 감지하는 단계;를 더 포함하는 이동 로봇의 제어방법.
  29. 제 27 항 또는 제 28 항에 있어서,
    지정된 효과음 또는 음성을 출력하는 단계;를 더 포함하는 이동 로봇의 제어방법.
  30. 제 27 항에 있어서,
    방범모드에서, 상기 소리 발생 지점에 대한 움직임을 감지하는 단계; 를 더 포함하고,
    움직임이 감지되는 지점에 대한 영상을 촬영하는 것을 특징으로 하는 이동 로봇의 제어방법.
  31. 제 30 항에 있어서,
    상기 소리 발생 지점에서 등록되지 않은 인체가 감지되는 경우, 침입상황으로 판단하는 단계;
    지정된 기관에 침입상황을 신고하는 단계;를 더 포함하는 이동 로봇의 제어방법.

KR1020190081462A 2019-07-05 2019-07-05 이동 로봇 및 그 제어방법 KR102306437B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190081462A KR102306437B1 (ko) 2019-07-05 2019-07-05 이동 로봇 및 그 제어방법
EP20836875.3A EP3993967A4 (en) 2019-07-05 2020-07-02 MOBILE ROBOT AND ITS CONTROL METHOD
US17/624,028 US20220355481A1 (en) 2019-07-05 2020-07-02 Moving robot and method of controlling the same
PCT/KR2020/008680 WO2021006547A2 (en) 2019-07-05 2020-07-02 Moving robot and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190081462A KR102306437B1 (ko) 2019-07-05 2019-07-05 이동 로봇 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20210004677A true KR20210004677A (ko) 2021-01-13
KR102306437B1 KR102306437B1 (ko) 2021-09-28

Family

ID=74115012

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190081462A KR102306437B1 (ko) 2019-07-05 2019-07-05 이동 로봇 및 그 제어방법

Country Status (4)

Country Link
US (1) US20220355481A1 (ko)
EP (1) EP3993967A4 (ko)
KR (1) KR102306437B1 (ko)
WO (1) WO2021006547A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186469A1 (ko) * 2021-03-05 2022-09-09 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
WO2024111893A1 (ko) * 2022-11-23 2024-05-30 삼성전자주식회사 맵을 이용하여 공간을 주행하는 로봇 및 그의 위치 식별 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210096811A (ko) * 2020-01-29 2021-08-06 삼성전자주식회사 로봇 및 이의 제어 방법
CN117064255A (zh) * 2022-05-10 2023-11-17 神顶科技(南京)有限公司 扫地机器人和扫地机器人识别跌倒的方法
SE2350404A1 (en) * 2023-04-05 2024-10-06 Husqvarna Ab A robotic work tool adapted for monitoring using detected sounds

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010106845A (ko) * 2000-05-23 2001-12-07 이정철 다기능 가정용 로봇 및 그의 제어방법
KR20130103204A (ko) * 2012-03-09 2013-09-23 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20150086074A (ko) 2014-01-17 2015-07-27 엘지전자 주식회사 로봇청소기 및 이를 이용한 휴먼 케어방법
KR20160138632A (ko) * 2015-05-26 2016-12-06 한국전자통신연구원 로봇 청소기의 사람 검출 장치 및 그 방법
KR20170048815A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 청소 로봇 및 그 제어방법
JP2018517966A (ja) * 2015-05-13 2018-07-05 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung 自律走行式掃除機の動作方法
KR20190010303A (ko) * 2017-07-21 2019-01-30 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
JP2019103073A (ja) * 2017-12-06 2019-06-24 東芝ライフスタイル株式会社 電気機器および電気機器システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005103678A (ja) * 2003-09-29 2005-04-21 Toshiba Corp ロボット装置
JP4373903B2 (ja) * 2004-12-14 2009-11-25 本田技研工業株式会社 自律移動ロボット
EP2829939B1 (en) * 2005-12-02 2019-11-13 iRobot Corporation Autonomous coverage robot navigation system
EP2839769B1 (en) * 2013-08-23 2016-12-21 LG Electronics Inc. Robot cleaner and method for controlling the same
JP6030032B2 (ja) * 2013-08-30 2016-11-24 本田技研工業株式会社 音響処理装置、音響処理方法、及び音響処理プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010106845A (ko) * 2000-05-23 2001-12-07 이정철 다기능 가정용 로봇 및 그의 제어방법
KR20130103204A (ko) * 2012-03-09 2013-09-23 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR20150086074A (ko) 2014-01-17 2015-07-27 엘지전자 주식회사 로봇청소기 및 이를 이용한 휴먼 케어방법
JP2018517966A (ja) * 2015-05-13 2018-07-05 フォルヴェルク・ウント・ツェーオー、インターホールディング・ゲーエムベーハーVorwerk & Compagnie Interholding Gesellshaft Mit Beschrankter Haftung 自律走行式掃除機の動作方法
KR20160138632A (ko) * 2015-05-26 2016-12-06 한국전자통신연구원 로봇 청소기의 사람 검출 장치 및 그 방법
KR20170048815A (ko) * 2015-10-27 2017-05-10 삼성전자주식회사 청소 로봇 및 그 제어방법
KR20190010303A (ko) * 2017-07-21 2019-01-30 엘지전자 주식회사 인공지능 청소기 및 그 제어방법
JP2019103073A (ja) * 2017-12-06 2019-06-24 東芝ライフスタイル株式会社 電気機器および電気機器システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022186469A1 (ko) * 2021-03-05 2022-09-09 삼성전자주식회사 사용자 단말 장치 및 이의 제어 방법
WO2024111893A1 (ko) * 2022-11-23 2024-05-30 삼성전자주식회사 맵을 이용하여 공간을 주행하는 로봇 및 그의 위치 식별 방법

Also Published As

Publication number Publication date
WO2021006547A3 (en) 2021-02-18
WO2021006547A2 (en) 2021-01-14
KR102306437B1 (ko) 2021-09-28
EP3993967A2 (en) 2022-05-11
US20220355481A1 (en) 2022-11-10
EP3993967A4 (en) 2023-08-02

Similar Documents

Publication Publication Date Title
KR102306437B1 (ko) 이동 로봇 및 그 제어방법
KR102017148B1 (ko) 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
US11226633B2 (en) Mobile robot and method of controlling the same
EP3072432B2 (en) Robot cleaner and robot cleaning system having the same
EP2839769B1 (en) Robot cleaner and method for controlling the same
KR101976424B1 (ko) 이동 로봇
JP6158517B2 (ja) 警報システム
KR101356165B1 (ko) 로봇 청소기 및 이의 제어 방법
CN111479662A (zh) 学习障碍物的人工智能移动机器人及其控制方法
KR20200100019A (ko) 이동 로봇 및 그 제어방법
KR102330607B1 (ko) 장애물을 학습하는 인공지능 이동 로봇 및 그 제어방법
KR102178490B1 (ko) 로봇 청소기 및 그 동작방법
US20220280007A1 (en) Mobile robot and method of controlling the same
KR101498040B1 (ko) 로봇 청소기 및 이의 제어 방법
KR102508073B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR20210015154A (ko) 이동 로봇 및 그 제어방법
KR102364623B1 (ko) 이동 로봇 및 그 제어방법
KR102093709B1 (ko) 로봇 청소기, 이동 단말기 및 그 동작방법
KR20210004679A (ko) 이동 로봇 및 그 제어방법
JP6001930B2 (ja) 警報システム
KR20240029949A (ko) 이동 로봇

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant