KR102499574B1 - 이동 로봇 장치 - Google Patents

이동 로봇 장치 Download PDF

Info

Publication number
KR102499574B1
KR102499574B1 KR1020180045785A KR20180045785A KR102499574B1 KR 102499574 B1 KR102499574 B1 KR 102499574B1 KR 1020180045785 A KR1020180045785 A KR 1020180045785A KR 20180045785 A KR20180045785 A KR 20180045785A KR 102499574 B1 KR102499574 B1 KR 102499574B1
Authority
KR
South Korea
Prior art keywords
area
audio
target object
model
voice command
Prior art date
Application number
KR1020180045785A
Other languages
English (en)
Other versions
KR20190130196A (ko
Inventor
이정현
박정호
이재훈
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020180045785A priority Critical patent/KR102499574B1/ko
Publication of KR20190130196A publication Critical patent/KR20190130196A/ko
Application granted granted Critical
Publication of KR102499574B1 publication Critical patent/KR102499574B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/003—Controls for manipulators by means of an audio-responsive input
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/026—Acoustical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 자율 주행이 가능한 이동 로봇 장치에 관한 것으로서, 본체, 상기 본체를 이동시키는 주행모듈, 상기 본체 주변의 서로 다른 오디오분할영역에 대응하는 복수의 오디오센서를 포함하고, 상기 복수의 오디오센서에 대응한 복수의 오디오신호를 생성하는 오디오센싱모듈, 및 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 상기 복수의 오디오신호로부터 미리 설정된 복수의 명령어 중 적어도 하나에 대응하는 음성명령신호를 검출하고, 상기 음성명령신호에 대응하는 제어신호를 상기 주행모듈에 공급하는 제어모듈을 포함하는 이동 로봇 장치를 제공한다.

Description

이동 로봇 장치{MOVABLE ROBOT APPARATUS}
본 발명은 자율 주행이 가능한 이동 로봇 장치에 관한 것이다.
로봇은 산업용으로 개발되어 공장 자동화의 일 부분을 담당하여 왔다. 최근에는 로봇을 응용한 분야가 더욱 확대되어, 의료용 로봇, 우주 항공 로봇 등이 개발되고, 일반 가정에서 사용할 수 있는 가정용 로봇도 만들어지고 있다.
가정용 로봇의 대표적인 예로는 로봇 청소기 및 지능형 로봇이 있다.
로봇 청소기는 일정 영역을 스스로 주행하면서 주변의 먼지 또는 이물질을 흡입하여 청소하는 가전기기이다. 이러한 로봇 청소기는 충전 가능한 배터리를 구비하고, 주행 중 장애물을 피할 수 있는 장애물 센서를 구비하여 스스로 주행하며 청소기능을 실행한다.
지능형 로봇은 사용자의 감정 및 명령을 감지 및 응답하기 위한 인공지능을 탑재하고, 사용자의 감정 및 명령에 응답하여 주행 기능 및 대화 기능 등의 서비스를 제공한다.
이러한 로봇 청소기 및 지능형 로봇은 자율주행기능을 탑재한 이동 로봇 장치인 것이 일반적이다.
이동 로봇 장치에 관련하여, 대한민국 특허공개공보 제10-2017-0103556호 (2017.09.13 공개)에는 주변에 위치하는 지형 또는 장애물을 탐지하여 회피운전성능이 향상될 수 있는 이동 로봇을 개시한다.
그리고, 대한민국 특허공개공보 제10-2017-0107875호 (2017.09.26 공개)에는 이용자의 감정 반응을 보다 많이 끌어내어, 이용자의 요구에 대해서 보다 정확히 대응한 서비스를 제공할 수 있는 로봇 제어 시스템을 개시한다.
이러한 선행 기술문헌들에 따르면, 이동 로봇 장치를 사용하고자 하는 모든 사람에게 이동 로봇 장치의 서비스가 제공될 수 있는 문제점이 있다. 즉, 이동 로봇 장치의 서비스 대상이 특정 사용자로 지정되지 않는다. 그로 인해, 이동 로봇 장치에 대한 특정 사용자의 친밀도가 향상되는 데에 한계가 있는 문제점이 있다.
더불어, 이동 로봇 장치의 서비스 대상이 특정 사용자로 지정되지 않는 경우, 특정 사용자를 따라가는 기능, 특정 사용자로부터 멀어지는 기능 및 특정 사용자 주위를 맴도는 기능 등과 같이 특정 사용자를 기준으로 이동하는 기능을 제공하기 어려운 문제점이 있다.
그리고, 이족 보행 로봇이 아닌 경우, 이동 로봇 장치는 지면과 인접하게 배치된다. 그로 인해, 일반적인 이동 로봇 장치는 얼굴 인식 방식을 통해 특정 사용자를 감지하기 어려운 문제점이 있다.
만일 이동 로봇 장치가 얼굴 인식 방식을 이용하더라도, 사용자가 이동 로봇 장치의 카메라에 얼굴을 마주하도록 구부리는 자세를 취해야 하므로, 사용자의 불편함이 가중될 수 있는 문제점이 있다. 그리고 얼굴 인식에 따른 많은 연산량으로 인해 이동 로봇 장치의 연산 부하가 커질 수 있는 문제점이 있다.
본 발명의 목적은 특정 사용자를 감지함으로써 특정 사용자의 친밀도가 향상될 수 있는 이동 로봇 장치를 제공하는 것이다.
본 발명의 목적은 특정 사용자를 감지함으로써 특정 사용자를 기준으로 이동하는 기능을 제공할 수 있는 이동 로봇 장치를 제공하는 것이다.
본 발명의 목적은 얼굴 인식 방식을 이용하지 않고서도 특정 사용자를 감지할 수 있는 이동 로봇 장치를 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
본 발명의 일 실시예에 따른 이동 로봇 장치는 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 상기 복수의 오디오신호로부터 미리 설정된 복수의 명령어 중 적어도 하나에 대응하는 음성명령신호를 검출하는 제어모듈을 포함한다. 이로써, 특정 사용자의 음성으로 입력된 명령에 의해서만 제어신호를 생성하므로, 이동 로봇 장치에 대한 특정 사용자의 친밀도가 향상될 수 있다.
본 발명의 일 실시예에 따른 이동 로봇 장치는 화자종속모델을 기반으로 검출되는 음성명령신호가 가장 큰 음량크기인 오디오분할영역을 음성위치로 검출하는 음성위치 검출부 및 카메라센싱모듈에 대응하는 정면영역 중 특정 사용자에 대응하는 사용자위치좌표를 검출하는 사용자위치 검출부를 포함한다. 이로써, 특정 사용자의 유무 및 위치를 검출할 수 있으므로, 특정 사용자를 기준으로 이동하는 기능을 제공할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇 장치는 카메라센서모듈의 수평시야범위에 대응한 대상객체모델을 마련하고 3차원 모델에서 검출된 객체후보영역 중 대상객체모델에 대응하는 대상객체영역을 검출하는 대상객체 검출부를 포함한다. 이로써, 얼굴 인식 방식을 이용하지 않고서도 특정 사용자를 감지할 수 있다.
본 발명의 일 실시예에 따른 이동 로봇 장치는 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 상기 복수의 오디오신호로부터 미리 설정된 복수의 명령어 중 적어도 하나에 대응하는 음성명령신호를 검출하는 제어모듈을 포함한다. 이와 같이, 특정 사용자의 음성으로 학습된 화자종속모델을 기반으로 음성명령신호를 검출함에 따라, 특정 사용자의 음성을 감지할 수 있다. 즉, 특정 사용자의 음성으로 입력된 명령에 의해서만 제어신호를 생성하므로, 이동 로봇 장치에 대한 특정 사용자의 친밀도가 향상될 수 있는 장점이 있다.
그리고, 본 발명의 일 실시예에 따른 이동 로봇 장치의 제어모듈은 음성명령신호를 검출하면, 복수의 오디오신호 중 음성명령신호의 음량크기가 최대인 어느 하나의 오디오신호를 검출하고, 검출된 오디오신호에 대응한 오디오분할영역을 음성위치로 검출하는 음성위치 검출부를 포함한다. 이러한 음성위치 검출부에 의해 특정 사용자의 음성으로 학습된 화자종속모델을 기반으로 검출되는 음성명령신호가 가장 큰 음량크기인 오디오분할영역이 음성위치로 검출될 수 있다. 여기서 검출된 오디오분할영역은 특정 사용자와 인접한 영역이라고 추정될 수 있으므로, 특정 사용자의 위치가 용이하게 감지될 수 있다.
더불어, 본 발명의 일 실시예에 따른 이동 로봇 장치의 제어모듈은 카메라센싱모듈에 의한 3차원 거리영상신호에 기초하여 카메라센싱모듈에 대응하는 정면영역 중 특정 사용자에 대응하는 사용자위치좌표를 검출하는 사용자위치 검출부를 더 포함한다. 즉, 제어모듈은 영상 인식 기술을 기반으로 3차원 거리영상신호로부터 특정 사용자의 유무 및 위치를 검출할 수 있다.
이와 같이 특정 사용자의 유무 및 위치를 감지함에 따라, 특정 사용자를 기준으로 이동하는 기능이 제공될 수 있는 장점이 있다.
또한, 본 발명의 일 실시예에 따른 이동 로봇 장치의 제어 모듈의 사용자위치 검출부는 카메라센서모듈의 수평시야범위에 대응한 대상객체모델을 마련하고 3차원 모델에서 검출된 객체후보영역 중 대상객체모델에 대응하는 대상객체영역을 검출하는 대상객체 검출부를 포함한다. 여기서, 대상객체 검출부는 카메라센싱모듈의 수평시야범위에 대응하는 계수 대상의 형상을 모델링하여 대상객체모델을 마련하고, 3차원 모델의 객체후보영역 중 대상객체모델에 대응하는 대상객체영역을 검출한다. 이러한 대상객체모델을 이용하여 대상객체영역을 검출함에 따라 사람의 하체 형태로도 객체의 유무 및 위치를 검출할 수 있다. 이때, 음성명령신호가 가장 큰 음량크기인 오디오분할영역이 검출된 상태이므로, 사람의 하체 형태를 이용하여 객체의 유무 및 위치를 검출하더라도, 특정 사용자의 위치가 비교적 낮은 오류범위로 추정될 수 있다. 이로써, 대상객체모델이 특정 사용자의 얼굴로 한정될 필요가 없으므로, 얼굴 인식 방식을 이용하지 않고서도 특정 사용자를 감지할 수 있다. 그로 인해, 얼굴 인식 방식에 따른 연산량 증가가 방지될 수 있고, 얼굴 인식을 위한 별도의 카메라 또는 사용자의 자세 변경이 배제될 수 있는 장점이 있다.
상술한 효과와 더불어 본 발명의 구체적인 효과는 이하 발명을 실시하기 위한 구체적인 사항을 설명하면서 함께 기술한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 장치의 측면 투시도에 대한 일 예시를 나타낸 도면이다.
도 2는 도 1의 오디오센싱모듈에 대한 일 예시를 나타낸 도면이다.
도 3은 도 1의 제어모듈에 대한 일 예시를 나타낸 도면이다.
도 4는 도 3의 음성명령 검출부에 대한 일 예시를 나타낸 도면이다.
도 5 및 도 6은 도 3의 제어모듈이 제어신호를 생성하는 과정에 대한 예시들을 나타낸 도면이다.
도 7 및 도 8은 도 5 및 도 6의 대기상태의 제어신호에 기초하여 주행모듈이 본체를 회전시키는 경우에 대한 예시를 나타낸 도면이다.
도 9는 도 3의 사용자위치 검출부에 대한 일 예시를 나타낸 도면이다.
도 10은 카메라센싱모듈의 설치예시를 나타낸 도면이다.
도 11은 도 10의 예시에 있어서, 거리영상 정보 및 대상객체영역에 대한 일 예시를 나타낸 도면이다.
도 12는 도 9의 바닥 검출부가 바닥평면영역을 검출하는 과정에 대한 일 예시를 나타낸 도면이다.
도 13은 도 12의 아홉개의 지점과 기준지점에 대한 일 예시를 나타낸 도면이다.
도 14는 도 9의 바닥 검출부가 바닥평면영역을 검출하는 과정에 대한 다른 일 예시를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
이하에서는, 첨부된 도면을 참조하여 본 발명의 일 실시예에 따른 이동 로봇 장치에 대해 설명한다.
먼저, 도 1, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 이동 로봇 장치에 대해 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동 로봇 장치의 측면 투시도에 대한 일 예시를 나타낸 도면이다. 도 2는 도 1의 오디오센싱모듈 및 카메라센싱모듈에 대한 일 예시를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이동 로봇 장치(10)는 외형에 대응하는 본체(11), 본체(11)를 이동시키는 주행모듈(12), 본체(11) 주변의 소리를 센싱하는 오디오센싱모듈(13), 오디오센싱모듈(13)에 의한 오디오신호에 기초하여 주행모듈(12)에 제어신호를 공급하는 제어모듈(14)을 포함한다.
도 2에 도시된 바와 같이, 오디오센싱모듈(131, 132, 133, 134, 135, 136, 137, 138; 도 1의 13)은 본체(11) 주변의 서로 다른 오디오분할영역(ADA1, ADA2, ADA3, ADA3, ADA4, ADA5, ADA6, ADA7, ADA8; Audio Division Area)에 대응하는 복수의 오디오센서(131, 132, 133, 134, 135, 136, 137, 138)를 포함한다. 이에, 오디오센싱모듈(13)은 복수의 오디오센서(131, 132, 133, 134, 135, 136, 137, 138)에 대응한 복수의 오디오신호를 생성한다.
그리고, 도 1의 카메라센싱모듈(15)에 대응하는 정면영역(FA; Front Area)은 적어도 하나의 오디오분할영역(도 2에서 ADA1, ADA2, ADA8)과 중첩된다.
제어모듈(14)은 오디오센싱모듈(13)로부터 복수의 오디오신호가 입력되면, 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 복수의 오디오신호로부터 미리 설정된 복수의 명령어 중 적어도 하나에 대응하는 음성명령신호를 검출한다. 그리고, 제어모듈(14)은 음성명령신호에 대응하는 제어신호를 주행모듈(12)에 공급한다.
다음, 도 3, 도 4, 도 5, 도 6, 도 7 및 도 8을 참조하여, 도 1의 제어모듈에 대해 설명한다.
도 3은 도 1의 제어모듈에 대한 일 예시를 나타낸 도면이다. 도 4는 도 3의 음성명령 검출부에 대한 일 예시를 나타낸 도면이다. 도 5 및 도 6은 도 3의 제어모듈이 제어신호를 생성하는 과정에 대한 예시들을 나타낸 도면이다.
도 3에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이동 로봇 장치(10)의 제어모듈(14)은 복수의 오디오신호로부터 특정 사용자의 음성에 의한 음성명령신호를 검출하는 음성명령 검출부(141) 및 주행모듈(12)의 구동 제어를 위한 제어신호를 생성하는 제어신호 생성부(142)를 포함한다. 그리고, 제어모듈(14)은 음성명령신호가 최대 음량크기인 어느 하나의 오디오분할영역을 검출하는 음성위치 검출부(143)를 더 포함할 수 있다. 그리고, 제어모듈(14)은 카메라센싱모듈(15)에 의한 3차원 거리영상신호에 기초하여 정면영역(도 2의 FA) 중 특정 사용자에 대응하는 사용자위치좌표를 검출하는 사용자위치 검출부(144)를 더 포함할 수 있다.
음성명령 검출부(141)는 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 복수의 오디오신호로부터 음성명령신호를 검출한다.
예시적으로, 도 4에 도시한 바와 같이, 음성명령 검출부(141)는 형태소 분석부(1411), 인식오류 보정부(1412), 품사 필터부(1413) 및 불용어 필터부(1414)를 포함할 수 있다.
형태소 분석부(1411)는 복수의 오디오신호의 파장을 대역 별 주파수로 분리하고, 대역 별 주파수로 분리된 파장신호를 Z평면으로 전환하며, 특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 Z평면으로 전환된 신호로부터 유효 영역을 검출하여 형태소를 추출한다. 그리고, 여기서, 형태소 분석부(1411)는 고속 푸리에 변환(Fast Fourier Transform: FFT) 함수를 이용하여 파장을 대역 별 주파수로 분리할 수 있다.
인식오류 보정부(1412)는 자음 기반 최대 정합 방법을 통해 추출된 형태소를 기 저장된 단어의 형태소와 매칭함으로써, 추출된 형태소의 오류를 보정한다.
품사 필터부(1413)는 보정된 형태소 중 의미 없는 품사에 대응하는 형태소를 제거한다. 여기서 의미 없는 품사는 조사 및 어미 등일 수 있다.
불용어 필터부(1414)는 의미 있는 품사로 이루어진 형태소 중 제어에 연관된 정보가 아닌 형태소를 제거한다. 예시적으로, "왼쪽으로 돌아라"의 형태소가 검출된 경우, 품사 필터부(1413) 및 불용어 필터부(1414)에 의해 "왼쪽" 및 "돌아"가 검출될 수 있다.
도 5에 도시된 바와 같이, 도 3의 제어모듈(14)에 있어서, 복수의 오디오신호가 입력되면 (S11), 음성명령 검출부(141)는 복수의 오디오신호로부터 음성명령신호를 검출한다. (S12).
음성명령신호가 검출되면 (S12), 음성위치 검출부(도 3의 143)는 복수의 오디오신호 중 검출된 음성명령신호의 음량크기가 최대인 어느 하나의 오디오신호를 검출하고, 검출된 오디오신호에 대응하는 오디오분할영역을 검출한다. 여기서 검출된 오디오분할영역은 특정 사용자의 음성에 대응한 음성명령신호가 가장 큰 음량크기로 감지되는 영역이므로, 특정 사용자와 가장 인접한 영역, 즉 음성위치로 추정될 수 있다. (S13)
이와 같이 음성명령신호 및 음성위치가 검출되면 (S12, S13), 제어신호 생성부(142)는 대기상태의 제어신호를 생성한다. (S14)
대기상태의 제어신호는 이동 로봇 장치(10)가 특정 사용자를 감지한 상태임을 표시하기 위한 것이다. 예시적으로, 주행모듈(12)은 대기상태의 제어신호에 기초하여 정면영역(도 2의 FA)이 음성위치로 검출된 오디오분할영역에 배치되기까지 본체(11)를 회전시키는 구동을 실시할 수 있다.
더불어, 음성위치가 검출되면 (S13), 사용자위치 검출부(144)는 카메라센싱모듈(15)에 의한 3차원 거리영상신호에 기초하여 정면영역(FA) 중 특정 사용자에 대응하는 사용자위치좌표를 검출한다. (S15) 여기서, 사용자위치좌표를 검출하는 사용자위치 검출부(144)에 대해서는 이하에서 더욱 상세히 설명하기로 한다.
이때, 제어신호 생성부(142)는 음성명령신호에 대응한 명령어에 기초하여 주행모듈(12)의 구동을 위한 제어신호를 생성한다. (S16)
이때, 사용자위치좌표의 검출이 실패된 경우, 즉 정면영역(FA)에서 사람이 검출되지 않는 경우, 제어신호 생성부(142)는 음성명령신호에 대응하는 제어신호의 생성을 중단한다. (S17) 즉, 정면영역(FA)에서 사람이 검출되지 않으면, 이동 로봇 장치(10)에 인접하게 위치한 특정 사용자의 명령이 아니라고 추정하여, 제어신호의 생성을 중단한다. 이로써, 특정 사용자를 기반으로 이동하는 구동이 안정적으로 실시될 수 있다.
한편, 도 5와 달리, 제어신호 생성부(142)는 소정의 기동어가 검출된 경우에 대기상태의 제어신호를 생성할 수도 있다.
즉, 도 6에 도시한 바와 같이, 음성명령신호가 미리 저장된 복수의 명령어 중 특정 사용자가 이동 로봇 장치를 호명하기 위한 기동어에 대응하면 (S18), 제어신호 생성부(142)는 대기상태의 제어신호를 생성할 수 있다. (S14')
여기서 기동어는 특정 사용자가 이동 로봇 장치에 부여한 닉네임 또는 호칭일 수 있다.
그리고, 음성명령신호가 기동어에 대응하지 않으면 (S18), 사용자위치 검출부(144)는 카메라센싱모듈(15)에 의한 3차원 거리영상신호에 기초하여 정면영역(FA) 중 특정 사용자에 대응하는 사용자위치좌표를 검출한다. (S15')
이때, 제어신호 생성부(142)는 음성명령신호에 대응한 명령어에 기초하여 주행모듈(12)의 구동을 위한 제어신호를 생성한다. (S16)
이때, 사용자위치좌표의 검출이 실패된 경우, 즉 정면영역(FA)에서 사람이 검출되지 않는 경우, 제어신호 생성부(142)는 음성명령신호에 대응하는 제어신호의 생성을 중단한다. (S17)
도 7 및 도 8은 도 5 및 도 6의 대기상태의 제어신호에 기초하여 주행모듈이 본체를 회전시키는 경우에 대한 예시를 나타낸 도면이다.
도 7에 도시한 바와 같이, 이동 로봇 장치(10)의 주변 중 정면영역(FA)이 아닌 영역에 특정 사용자(20)가 위치한 상태에서 음성을 입력할 수 있다. 이때, 제어모듈(14)은 음성명령신호 및 음성위치(도 7의 ADA4)를 감지하면, 대기상태의 제어신호를 주행모듈(12)에 공급한다.
이에, 도 8에 도시한 바와 같이, 주행모듈(12)은 대기상태의 제어신호에 기초하여 본체(11)를 일 방향(도 8에서 시계방향)으로 회전시킨다. 이때 회전 동작은 정면영역(FA)이 음성위치로 검출된 오디오분할영역(ADA4)에 도달되기까지 실시된다.
다음, 도 9, 도 10, 도 11, 도 12, 도 13 및 도 14를 참조하여 도 3의 사용자위치 검출부(144)에 대해 설명한다.
도 9는 도 3의 사용자위치 검출부에 대한 일 예시를 나타낸 도면이다. 도 10은 카메라센싱모듈의 설치예시를 나타낸 도면이다. 도 11은 도 10의 예시에 있어서, 거리영상 정보 및 대상객체영역에 대한 일 예시를 나타낸 도면이다. 도 12는 도 9의 바닥 검출부가 바닥평면영역을 검출하는 과정에 대한 일 예시를 나타낸 도면이다. 도 13은 도 12의 아홉개의 지점과 기준지점에 대한 일 예시를 나타낸 도면이다.
도 14는 도 9의 바닥 검출부가 바닥평면영역을 검출하는 과정에 대한 다른 일 예시를 나타낸 도면이다.
도 9에 도시한 바와 같이, 사용자위치 검출부(144)는 모델 산출부(1441), 바닥 검출부(1442), 기울기 추정부(1443), 모델 복원부(1444), 높이맵 산출부(1445), 객체후보 검출부(1446), 대상객체 검출부(1447) 및 계수 처리부(1448)를 포함한다.
먼저, 카메라센싱모듈(15)은 거리영상센서(Range Image Sensor)(미도시)를 포함하고, 정면영역(FA)에 대응하는 3차원 거리영상신호를 취득한다. 여기서, 거리영상센서는 2차원 영상과, 2차원 영상의 각 지점(point)에 대한 센서의 원근거리를 센싱하는 수단이다. 예시적으로, 거리영상센서는 거리센서와 카메라센서의 조합, RGB-D 센서 및 3차원 뎁스 카메라(3D Depth Camera) 중 적어도 어느 하나일 수 있다.
도 10에 도시된 바와 같이, 본 발명의 일 실시예에 따른 이동 로봇 장치(10)의 카메라센싱모듈(15)은 지평면에 인접하고 지평면 측으로 비스듬한 주축을 갖도록 설치될 수 있다.
즉, 카메라센싱모듈(15)은 지평면으로부터 소정 높이(SH; Sensor Height)로 이격되고, 지평면에 수평한 평면을 기준으로 소정의 기울기(θ)로 지평면을 향하는 주축을 갖는다. 여기서, 지평면에 대한 카메라센싱모듈(15)의 높이(SH)는 성인의 허리 높이의 평균치보다 작게 설정될 수 있다.
이에, 카메라센싱모듈(15)의 수평시야범위(Vertical Field of View)(SVF; Sensor Vertical Field)는 지평면으로부터 카메라센싱모듈(15)의 높이(SH)에 대응될 수 있다. 예시적으로, 카메라센싱모듈(15)의 높이(SH)가 35㎝인 경우, 수평시야범위(SVF)는 카메라센싱모듈(15)에서 약 25㎝ 만큼 이격된 지점에서 약 150㎝ 만큼 이격된 지점까지의 영역일 수 있다. 다만, 이는 단지 예시일 뿐이며, 카메라센싱모듈(15)의 기울기(θ), 높이(SH) 및 수평시야범위(SVF)는 설치자의 재량 및 정면영역(FA)의 조건에 따라 변경될 수 있다.
그리고, 별도로 도시하고 있지 않으나, 카메라센싱모듈(15)는 둘 이상의 거리영상센서로부터 취득된 센싱값에 기초하여 3차원 거리영상신호를 생성할 수도 있다.
더불어, 카메라센싱모듈(15)는 거리영상 정보에 대한 전처리를 실시할 수 있다. 예시적으로, 거리영상 정보의 전처리는 노이즈 리덕션(Noise Reduction), 렉티피케이션(Rectification), 캘리브레이션(Calibration), 색상 강화(Color Enhancement), 색상 공간 변환(Color Space Conversion;CSC), 인터폴레이션(Interpolation), 카메라 게인 컨트롤(Camera Gain Control) 등을 포함할 수 있다.
모델 산출부(1441)는 거리영상 정보에 대응하는 3차원 모델을 산출한다. 여기서, 3차원 모델은 3차원 좌표계에 속한 복수의 점들의 집합 형태일 수 있다. 즉, 3차원 모델의 각 지점은 3차원 좌표계에서 X좌표, Y좌표, Z좌표로 정의될 수 있다.
바닥 검출부(1442)는 3차원 모델 중 바닥평면영역을 검출한다.
여기서, 바닥평면영역은 지평면에 대응하는 영역, 수평한 평면 영역 및 배경 영역 중 어느 하나에 대응할 수 있다. 그리고, 바닥 검출부(1442)는 바닥평면영역의 평균법선벡터를 더 산출한다.
예시적으로, 도 11에서 푸른 색으로 도시된 바와 같이, 바닥 검출부(1442)에 의해 3차원 모델 중 바닥평면영역이 검출될 수 있다.
이러한 바닥 검출부(1442)에 대해서는 이하에서 더욱 상세히 설명한다.
기울기 추정부(1443)는 바닥평면영역의 평균법선벡터에 기초하여 카메라센싱모듈(15)의 기울기를 추정한다.
예시적으로, 기울기 추정부(1443)는 바닥평면영역의 평균법선벡터 및 바닥평면영역에 포함된 임의지점의 좌표에 기초하여 평면 방정식을 도출하고, 평면 방정식을 이용하여 기울기를 추정할 수 있다. 여기서, 바닥평면영역에 포함된 임의지점은 바닥평면영역을 도출하기 위해 선택된 지점 또는 바닥평면영 역의 평균지점일 수 있다.
모델 복원부(1444)는 추정된 기울기에 기초하여 3차원 모델을 복원한다. 이로써, 카메라센싱모듈(15)가 바닥평면영역에 수직하게 설치되지 않은 경우에도, 3차원 모델을 투영하여 높이맵(Height Map)을 생성 시에 겹치는 부분(Occlusion)을 감소시킬 수 있다.
즉, 모델 복원부(1444)는 카메라센싱모듈(15)의 기울기(도 10의 θ)만큼 3차원 모델을 보정하여 겹침에 의해 가려지는 부분을 복원(Reconstruction)할 수 있다.
높이맵 산출부(1445)는 복원된 3차원 모델을 수평면에 수직인 방향으로 투영하여 높이맵을 산출한다.
객체후보 검출부(1446)는 산출된 높이맵에 기초하여 복원된 3차원 모델에서 객체후보영역을 검출한다.
예시적으로, 객체후보 검출부(1446)는 산출된 높이맵에 기초하여 복원된 3차원 모델에서 바닥평면영역을 제거함으로써, 객체후보영역을 검출할 수 있다.
대상객체 검출부(1447)는 카메라센싱모듈(15)의 수평시야범위에 따른 대상객체모델을 마련하고, 객체후보영역 중 대상객체모델에 대응하는 대상객체영역을 검출한다.
예시적으로, 도 10의 도시와 같이, 카메라센싱모듈(15)이 지평면보다 소정 높이만큼 높은 위치에서 지평면을 향하도록 지평면에 비스듬한 주축을 갖도록 설치될 수 있다.
이 경우, 도 11에 도시된 바와 같이, 대상객체모델은 직립 또는 보행하는 사람의 하체형태에 대응할 수 있다. 이때, 대상객체모델은 사람 하체의 측면과 같이 인접하게 배치되는 한 쌍의 사각형으로 이루어질 수 있다.
다만, 이는 단지 예시일 뿐이며, 대상객체 검출부(1447)는 카메라센싱모듈(15)의 수평시야범위, 즉 정면영역(FA)에 위치한 사람 하체의 형상을 모델링함으로써, 대상객체모델을 마련할 수 있다. 또는, 대상객체가 성인 사람이 아닌 아동이거나 동물인 경우에도, 정면영역(FA)에 대한 모델링을 통해 대상객체모델을 마련할 수 있다.
사용자좌표 검출부(1448)는 대상객체영역을 추적하여 정면영역(FA) 중 사용자위치좌표를 검출한다.
예시적으로, 사용자좌표 검출부(1448)는 대상객체영역이 복수 개 검출된 경우, 복수의 대상객체영역 중 움직이는 대상을 추적하여 특정 사용자에 대응하는 영역으로 선택하고, 선택된 영역에 기초하여 사용자위치좌표를 검출할 수 있다. 여기서, 사용자위치좌표는 선택된 영역 중 지면에 가장 인접한 좌표, 지면으로부터 가장 멀리 배치된 좌표 및 중점 좌표 중 어느 하나로 선택될 수 있다. 다만, 이는 예시일 뿐이며, 사용자위치좌표는 선택된 영역에 포함된 어느 하나의 좌표로 선택될 수 있다.
이와 달리, 사용자좌표 검출부(1448)는 대상객체영역이 복수 개 검출된 경우, 복수의 대상객체영역 중 본체(11)와 가장 인접한 대상을 추적하여 특정 사용자에 대응하는 영역으로 선택하고, 선택된 영역에 기초하여 사용자위치좌표를 검출할 수 있다.
또는, 사용자좌표 검출부(1448)는 대상객체영역이 복수 개 검출된 경우, 복수의 대상객체영역 중 동적객체를 먼저 검출한 다음, 동적객체 중 본체(11)와 가장 인접한 객체를 특정 사용자에 대응하는 영역으로 선택할 수도 있다.
도 12에 도시된 바와 같이, 바닥 검출부(1441)는 3차원 모델 중 일부 영역을 선택한다. (S101) 여기서, 일부 영역은 지평면, 수평한 평면 및 배경 중 어느 하나가 될 가능성이 높은 영역으로 선택된다.
바닥 검출부(1442)는 일부 영역의 가장자리에 배치되는 임의의 아홉 개의 지점을 선택한다. (S102) 그리고, 바닥 검출부(1442)는 일부 영역 내에 배치되는 임의의 기준지점을 선택한다. (S103)
일 예로, 도 13에 도시된 바와 같이, 통상 지평면은 영상의 하부에 배치되므로, 3차원 모델(3D)의 일부 영역(PA)은 3차원 모델(3D) 중 하부의 1/3 영역으로 선택될 수 있다. 여기서, 아홉 개의 지점(9P)은 일부 영역(PA)의 가장자리에 인접하게 배치될 수 있다. 더불어, 아홉 개의 지점(9P)을 하나의 라인으로 연결한 도형은 일부 영역(PA)과 같이 사각형일 수 있다. 그리고, 기준지점(BP)은 아홉 개의 지점(9P)을 하나의 라인으로 연결한 도형의 중점(Center)일 수 있다.
다음, 도 12의 도시와 같이, 바닥 검출부(1442)는 기준지점에 기초하여 아홉 개의 지점에 대응한 법선벡터를 산출한다. (S104)
일 예로, 도 13의 예시에서, 기준지점(BP)과 아홉 개의 지점(9P) 간의 관계에 기초하여, 법선벡터(NV)가 산출될 수 있다.
이어서, 산출된 법선벡터의 각도가 소정의 오차범위 미만이면 (S105), 일부 영역이 바닥평면영역으로 간주될 수 있다. (S106)
즉, 바닥 검출부(1442)는 거리영상정보 중 연속하는 서로 다른 프레임에서, 일부 영역에 대응한 법선벡터의 각도가 오차범위 미만으로 도출된 횟수가 임계 횟수 이상이면 (S111), 일부 영역을 바닥평면영역으로 검출한다. (S106)
구체적으로, 바닥 검출부(13)는 일부 영역에 대응한 법선벡터의 각도가 오차범위 미만이고 (S105), 각도가 오차범위 미만인 법선벡터의 도출개수가 임계개수 미만이면 (S111), 다른 프레임(S112)에서 일부 영역의 법선벡터를 더 산출한다. (S104)
그리고, 바닥 검출부(1442)는 일부 영역에 대응한 법선벡터의 각도가 오차범위 미만이고 (S105), 각도가 오차범위 미만인 법선벡터의 도출개수가 임계개수 이상이면 (S111), 일부 영역을 바닥평면영역으로 검출한다. (S106) 즉, 거리영상정보 중 다수 개의 프레임에 의해 일부 영역에 대응한 법선벡터가 다수 개 도출되며, 다수 개의 법선벡터 중 각도가 오차범위 미만인 법선벡터가 임계개수 이상 도출되면 (S105, S111), 일부 영역을 바닥평면영역으로 검출하고, 도출된 법선벡터의 평균치를 바닥평면영역의 평균법선벡터로 산출한다. (S106)
예시적으로, 임계개수는 5개일 수 있다. 다만, 이는 단지 예시일 뿐이며, 사용자의 임의에 따라 임계개수는 바닥평면영역의 신뢰도를 확보할 수 있을 정도의 범위에서 지정될 수 있다.
바닥 검출부(1442)는 거리영상정보에 포함되고 연속되는 다수 개의 프레임 중 일부 영역에 대응한 법선벡터의 각도가 오차범위 이상으로 도출되면 (S105), 해당 프레임을 삭제한다. (S113) 이어서, 다른 프레임(S112)에서 일부 영역의 법선벡터를 더 산출한다. (S104)
이때, 프레임의 삭제 개수가 임계 개수 이상이면 (S114), 바닥 검출부(1442)는 일부 영역의 크기를 1/2로 감소시킨다. (S115) 그리고, 감소된 일부 영역에 대해 법선벡터를 산출한다. (S104)
일 예로, 일부 영역(PA)에 대응한 법선벡터의 각도가 오차범위 이상으로 도출되는 프레임이 임계 개수 이상 발생되는 경우, 크기를 절반으로 감소시킨 일부 영역(PA')을 마련할 수 있다.
한편, 바닥 검출부(1442)는 도 12와 다른 방식으로 바닥평면영역을 검출할 수 있다.
도 14는 도 9의 바닥 검출부가 바닥평면영역을 검출하는 과정에 대한 다른 일 예시를 나타낸 도면이다.
도 14에 도시한 바와 같이, 바닥 검출부(1442)는 3차원 모델을 복수의 단위영역으로 분할한다. (S201)
바닥 검출부(1442)는 각 단위영역의 가장자리에 인접하게 배치되는 아홉 개의 지점을 선택하고 (S202), 각 단위영역 내에 배치되는 임의의 기준지점을 선택한다. (S203) 여기서, 기준지점은 아홉 개의 지점을 하나의 라인으로 연결한 도형의 중점일 수 있다.
바닥 검출부(1442)는 기준지점에 기초하여 아홉 개의 지점에 대응한 법선벡터를 산출한다. (S204) 이때, 도 13의 예시와 같이, 기준지점(BP)과 아홉 개의 지점(9P) 간의 관계에 기초하여, 각 단위영역에 대응한 법선벡터(NV)가 산출될 수 있다.
바닥 검출부(1442)는 산출된 법선벡터의 각도가 소정의 오차범위 미만이면 (S205), 각 단위영역을 바닥 범위로 지정한다. (S206)
반면, 바닥 검출부(13)는 산출된 법선벡터의 각도가 소정의 오차범위 이상이고 (S205), 법선벡터가 산출되지 않은 나머지 단위영역이 있으면 (S207), 나머지 단위영역 중 어느 하나로 변경하고 (S209), 변경된 단위영역에 대해 법선벡터의 산출 과정을 재개한다. (S202, S203, S204)
이어서, 바닥 검출부(1442)는 전체 단위영역에 대해 법선벡터를 산출하면 (S207), 바닥 범위로 지정된 단위영역들의 조합을 바닥평면영역으로 검출하고 바닥 범위로 지정된 단위영역들의 법선벡터의 평균치를 바닥평면영역의 평균법선벡터로 산출한다. (S208)
이와 같이 하면, 도 12의 과정에 비해 바닥평면영역의 검출을 위한 연산량이 감소되는 장점이 있다. 즉, 도 14의 과정에 따르면, 비교적 작은 너비인 단위영역에 대응한 법선벡터를 산출하는 점과, 프레임 별로 법선벡터를 산출하지 않는 점에서, 연산량이 감소될 수 있다.
이상과 같이, 본 발명의 일 실시예에 따른 이동 로봇 장치는 복수의 오디오센서에 의한 복수의 오디오신호로부터 특정 사용자의 음성으로 학습된 화자종속모델을 이용하여 음성명령신호를 검출한다. 이에 따라, 특정 사용자를 감지하여 특정 사용자에 대해서만 반응할 수 있으므로, 이동 로봇 장치에 대한 특정 사용자의 친밀도가 향상될 수 있다. 그리고, 특정 사용자를 기준으로 주행하는 기능을 제공할 수 있다.
더불어, 본 발명의 일 실시예에 따른 이동 로봇 장치는 대기상태의 제어신호에 기초하여 카메라센싱모듈(15)의 정면영역(FA)을 음성위치에 배치한 상태에서 취득된 3차원 거리영상신호를 이용하여 정면영역(FA)에 대한 사람의 유무 및 위치를 검출한다. 이로써, 복잡한 연산을 요구하는 얼굴인식기능을 배제하더라도, 특정 사용자를 감지할 수 있다.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
10: 이동 로봇 장치 11: 본체
12: 주행모듈 13: 오디오센싱모듈
14: 제어모듈 15: 카메라센싱모듈
131, 132, 133, 134, 135, 136, 137, 138: 오디오센서
ADA1, ADA2, ADA3, ADA4, ADA5, ADA6, ADA7, ADA8: 오디오분할영역
FA: 정면영역 3D: 3차원 모델
PA: 일부 영역 9P: 아홉 개의 지점
BP: 기준지점 NV: 법선벡터

Claims (12)

  1. 자율 주행이 가능한 이동 로봇 장치에 있어서,
    본체;
    상기 본체를 이동시키는 주행모듈;
    상기 본체 주변의 서로 다른 오디오분할영역에 대응하는 복수의 오디오센서를 포함하고, 상기 복수의 오디오센서에 대응한 복수의 오디오신호를 생성하는 오디오센싱모듈;
    상기 본체 주변 중 어느 일측영역인 정면영역의 3차원 거리영상신호를 생성하는 카메라센싱모듈; 및
    특정 사용자의 음성으로 학습된 화자종속모델에 기초하여 상기 복수의 오디오신호로부터 미리 설정된 복수의 명령어 중 적어도 하나에 대응하는 음성명령신호를 검출하고, 상기 음성명령신호에 대응하는 제어신호를 상기 주행모듈에 공급하는 제어모듈을 포함하고,
    상기 제어모듈은
    상기 복수의 오디오신호로부터 상기 음성명령신호를 검출하는 음성명령 검출부;
    상기 주행모듈의 구동 제어를 위한 제어신호를 생성하는 제어신호 생성부;
    상기 음성명령 검출부가 상기 음성명령신호를 검출하면, 상기 복수의 오디오신호 중 상기 음성명령신호의 음량크기가 최대인 어느 하나의 오디오신호를 검출하고, 상기 검출된 오디오신호에 대응한 오디오분할영역을 음성위치로 검출하는 음성위치 검출부; 및
    상기 3차원 거리영상신호에 대응하는 3차원 모델을 생성하고, 상기 3차원 모델에서 대상객체영역을 검출하고, 상기 대상객체영역을 추적하여 상기 특정 사용자에 대응하는 사용자위치좌표를 검출하는 사용자위치 검출부를 포함하는 이동 로봇 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 음성명령신호 및 상기 음성위치가 검출되면 상기 제어신호 생성부는 대기상태의 제어신호를 생성하고,
    상기 주행모듈은 상기 대기상태의 제어신호에 기초하여 상기 정면영역이 상기 음성위치 검출부에 의해 검출된 오디오분할영역에 배치되기까지 상기 본체를 회전시키는 이동 로봇 장치.
  6. 제 1 항에 있어서,
    상기 음성명령신호 및 상기 음성위치가 검출되고, 상기 음성명령신호가 상기 복수의 명령어 중 상기 특정 사용자가 상기 이동 로봇 장치를 호명하기 위한 기동어에 대응하면, 상기 제어신호 생성부는 상기 주행모듈에 대기상태의 제어신호를 전달하고,
    상기 주행모듈은 상기 대기상태의 제어신호에 기초하여 상기 정면영역이 상기 음성위치 검출부에 의해 검출된 오디오분할영역에 배치되기까지 상기 본체를 회전시키는 이동 로봇 장치.
  7. 삭제
  8. 제 1 항에 있어서,
    상기 사용자위치 검출부에 의한 상기 사용자위치좌표의 검출이 실패된 경우, 상기 제어신호 생성부는 상기 검출된 음성명령신호에 대응하는 제어신호의 생성을 중단하는 이동 로봇 장치.
  9. 제 1 항에 있어서,
    상기 사용자위치 검출부는,
    상기 3차원 거리영상신호에 대응하는 상기 3차원 모델을 산출하는 모델 산출부;
    상기 3차원 모델 중 바닥평면영역을 검출하는 바닥 검출부;
    상기 바닥평면영역의 평균법선벡터에 기초하여 상기 카메라센싱모듈의 기울기를 추정하는 기울기 추정부;
    상기 추정된 기울기에 기초하여 상기 3차원 모델을 복원하는 모델 복원부;
    상기 복원된 3차원 모델을 수평면에 수직인 방향으로 투영하여 높이맵(Height Map)을 산출하는 높이맵 산출부;
    상기 높이맵에 기초하여 상기 복원된 3차원 모델에서 객체후보영역을 검출하는 객체후보 검출부;
    상기 카메라센싱모듈의 수평시야범위에 대응한 대상객체모델을 마련하고, 상기 객체후보영역 중 상기 대상객체모델에 대응하는 상기 대상객체영역을 검출하는 대상객체 검출부; 및
    상기 대상객체영역을 추적하여, 상기 정면영역 중 상기 사용자위치좌표를 검출하는 사용자좌표 검출부를 포함하는 이동 로봇 장치.
  10. 제 9 항에 있어서,
    상기 대상객체모델은 사람의 하체 형태에 대응하는 이동 로봇 장치.
  11. 제 9 항에 있어서,
    상기 사용자좌표 검출부는 상기 대상객체영역이 복수 개 검출된 경우, 상기 복수의 대상객체영역 중 움직이는 대상을 추적하여 상기 특정 사용자에 대응한 영역으로 선택하고, 선택된 영역에 기초하여 상기 사용자위치좌표를 검출하는 이동 로봇 장치.
  12. 제 9 항에 있어서,
    상기 사용자좌표 검출부는 상기 대상객체영역이 복수 개 검출된 경우, 상기 복수의 대상객체영역 중 상기 본체와 가장 인접한 대상을 추적하여 상기 특정 사용자에 대응한 영역으로 선택하고, 선택된 영역에 기초하여 상기 사용자위치좌표를 검출하는 이동 로봇 장치.
KR1020180045785A 2018-04-19 2018-04-19 이동 로봇 장치 KR102499574B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180045785A KR102499574B1 (ko) 2018-04-19 2018-04-19 이동 로봇 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180045785A KR102499574B1 (ko) 2018-04-19 2018-04-19 이동 로봇 장치

Publications (2)

Publication Number Publication Date
KR20190130196A KR20190130196A (ko) 2019-11-22
KR102499574B1 true KR102499574B1 (ko) 2023-02-13

Family

ID=68730903

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180045785A KR102499574B1 (ko) 2018-04-19 2018-04-19 이동 로봇 장치

Country Status (1)

Country Link
KR (1) KR102499574B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111098301B (zh) * 2019-12-20 2020-08-18 西南交通大学 一种基于场景知识图谱任务型机器人的控制方法
CN113843814A (zh) * 2021-09-10 2021-12-28 北京声智科技有限公司 机械臂设备的控制系统、方法、装置和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101428877B1 (ko) * 2012-12-05 2014-08-14 엘지전자 주식회사 로봇 청소기

Also Published As

Publication number Publication date
KR20190130196A (ko) 2019-11-22

Similar Documents

Publication Publication Date Title
US11654574B2 (en) Cleaning robot
KR102219801B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
CN106537186B (zh) 用于使用机器视觉系统执行同时定位和映射的系统和方法
CN110968083B (zh) 栅格地图的构建方法、避障的方法、设备及介质
US9452526B2 (en) Robot cleaner
US10627828B2 (en) Autonomous movement device, autonomous movement method and program recording medium
KR102499574B1 (ko) 이동 로봇 장치
KR20190035376A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
US20110050883A1 (en) Machine vision based obstacle avoidance system
JP2022540160A (ja) 人工知能を利用した移動ロボット及び移動ロボットの制御方法
CN113787517B (zh) 自移动机器人控制方法、装置、设备及可读存储介质
Kallakuri et al. Probabilistic approach for building auditory maps with a mobile microphone array
US20220280007A1 (en) Mobile robot and method of controlling the same
KR102243178B1 (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
KR20200018184A (ko) 인공지능 이동 로봇
EP4390599A1 (en) Self-moving robot control method and apparatus, device, and readable storage medium
KR20200142865A (ko) 인공지능을 이용한 이동 로봇 및 이동 로봇의 제어방법
JP7354528B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
KR102337393B1 (ko) 이동 로봇
KR102203438B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
Scheidig et al. Generating persons movement trajectories on a mobile robot
JP7327596B2 (ja) 自律移動装置、自律移動装置のレンズの汚れ検出方法及びプログラム
Adachi et al. Guide robot's navigation based on attention estimation using gaze information
KR102361315B1 (ko) 이동 로봇 및 이동 로봇의 제어방법
KR102318756B1 (ko) 로봇 청소기 및 그의 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant