KR102360857B1 - 특정인을 추적하는 로봇시스템 - Google Patents

특정인을 추적하는 로봇시스템 Download PDF

Info

Publication number
KR102360857B1
KR102360857B1 KR1020200123735A KR20200123735A KR102360857B1 KR 102360857 B1 KR102360857 B1 KR 102360857B1 KR 1020200123735 A KR1020200123735 A KR 1020200123735A KR 20200123735 A KR20200123735 A KR 20200123735A KR 102360857 B1 KR102360857 B1 KR 102360857B1
Authority
KR
South Korea
Prior art keywords
specific person
face
robot
control unit
head
Prior art date
Application number
KR1020200123735A
Other languages
English (en)
Inventor
엄윤설
Original Assignee
주식회사에이로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사에이로봇 filed Critical 주식회사에이로봇
Priority to KR1020200123735A priority Critical patent/KR102360857B1/ko
Application granted granted Critical
Publication of KR102360857B1 publication Critical patent/KR102360857B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)

Abstract

본 발명은 특정인을 추적하는 로봇시스템에 대한 것이다.
본 발명에 따른 로봇시스템은 로봇의 헤드에 설치되며 주변 사물을 촬영하는 카메라, 인공지능모델을 이용하여 상기 카메라에 의해 촬영된 영상으로부터 사람의 얼굴 영역을 인식하는 얼굴인식부, 상기 인식된 각각의 사람에 대하여 무작위로 식별 ID를 할당하고, 복수의 식별 ID 중에서 임의로 선택된 하나의 식별 ID에 해당하는 얼굴 영역을 특정인의 얼굴영역으로 지정하는 특정인 지정부, 상기 지정된 특정인의 얼굴영역을 추적하며, 실시간으로 특정인의 얼굴영역에 대한 좌표를 획득하는 얼굴 좌표 획득부, 상기 특정인의 얼굴영역에 대한 좌표를 이용하여 상기 로봇의 헤드가 특정인의 얼굴과 대향되는 위치로 이동하기 위한 목표 좌표 및 표정 ID값을 생성하는 헤드 제어부, 상기 목표 좌표를 기반으로 상기 로봇의 헤드를 상하로 움직이게 하는 틸팅 모터 또는 상기 로봇의 헤드를 좌우로 움직이게 하는 패닝 모터의 회전 각도값을 산출하고, 산출된 회전 각도값을 이용하여 모터를 제어하는 모터 제어부, 그리고 상기 헤드 제어부 또는 모션 제어부에서 생성된 표정 ID값에 대응하는 이미지 프레임을 출력시키기 위해 빔 프로젝터의 구동을 제어하는 제어신호를 생성하는 화면 제어부를 포함한다.

Description

특정인을 추적하는 로봇시스템{Robot system that tracks a specific person}
본 발명은 특정인을 추적하는 로봇시스템에 관한 것으로서, 더욱 상세하게는 특정인의 얼굴 위치 좌표를 이용하여 로봇의 머리 또는 몸의 방향을 제어하고, 특정인의 얼굴 표정에 대응하여 적절한 얼굴 표정을 빔 프로젝터를 통해 출력시켜 특정인과 로봇이 서로 상호작용하는 로봇시스템에 관한 것이다.
전 세계 많은 기업들이 로봇 개발에 투자하면서 최첨단 기능을 선보이는 다양한 로봇들이 등장하고 있다. 애완견을 대신하는 로봇부터 어린이들에게 언어를 교육하는 로봇까지 매우 다양하다.
최근 과학 전문 잡지 'NewScientist'는 다양한 사람의 얼굴로 사람과 대화가 가능한 최첨단 '비서 로봇'이 개발됐다고 보도되었다.
'비서 로봇'은 사람의 얼굴을 그대로 형상화하며, 다양한 얼굴 이미지와 표정을 실시간으로 출력하고 있다. 이는 로봇이 주위 사람들의 말과 행동을 인식하고 어느 정도의 상호작용과 커뮤니케이션이 가능하다는 것을 보여주는 예로서 많은 사람들의 이목을 집중시키고 있다.
'비서 로봇'은 프로젝터 기술을 이용하여 얼굴을 통해 다양한 얼굴 이미지 및 표정을 출력시킨다. 자세히는 로봇의 얼굴 안쪽면에서 반투명의 얼굴 앞면을 향하여 다양한 얼굴의 형태와 표정을 투사하여 이미지를 만들어내는 것이다.
따라서, 사용자는 자신의 얼굴이나 친구의 얼굴을 로봇의 얼굴에 투사하거나, 로봇의 머리에 부탁된 카메라를 통해 상대의 얼굴 표정을 인식하여 사람의 감정에 대한 반응을 표현할 수 있다.
그러나 종래의 프로젝터는 로봇의 몸체에 내장되어 있어 특정인을 추적할 경우에는 로봇 전체의 움직임을 제어해야 하므로 특정인과의 자연스러운 아이 컨텍이 불가능하고, 특정인의 추적하는데 한계가 발생될 수 있다.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제10-2019-0103146호(2019.09.04. 공개)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는, 특정인의 얼굴 위치 좌표를 이용하여 로봇의 머리 또는 몸의 방향을 제어하고, 특정인의 얼굴 표정에 대응하여 적절한 얼굴 표정을 빔 프로젝터를 통해 출력시키는 로봇시스템을 제공하는데 목적이 있다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따른 특정인을 추적하는 로봇시스템에 있어서, 로봇의 헤드에 설치되며 주변 사물을 촬영하는 카메라, 인공지능모델을 이용하여 상기 카메라에 의해 촬영된 영상으로부터 사람의 얼굴 영역을 인식하는 얼굴인식부, 상기 인식된 각각의 사람에 대하여 무작위로 식별 ID를 할당하고, 복수의 식별 ID 중에서 임의로 선택된 하나의 식별 ID에 해당하는 얼굴 영역을 특정인의 얼굴영역으로 지정하는 특정인 지정부, 상기 지정된 특정인의 얼굴영역을 추적하며, 실시간으로 특정인의 얼굴영역에 대한 좌표를 획득하는 얼굴 좌표 획득부, 상기 특정인의 얼굴영역에 대한 좌표를 이용하여 상기 로봇의 헤드가 특정인의 얼굴과 대향되는 위치로 이동하기 위한 목표 좌표 및 표정 ID값을 생성하는 헤드 제어부, 상기 목표 좌표를 기반으로 상기 로봇의 헤드를 상하로 움직이게 하는 틸팅 모터 또는 상기 로봇의 헤드를 좌우로 움직이게 하는 패닝 모터의 회전 각도값을 산출하고, 산출된 회전 각도값을 이용하여 모터를 제어하는 모터 제어부, 그리고 상기 헤드 제어부 또는 모션 제어부에서 생성된 표정 ID값에 대응하는 이미지 프레임을 출력시키기 위해 빔 프로젝터의 구동을 제어하는 제어신호를 생성하는 화면 제어부를 포함한다.
상기 로봇이 수행해야 하는 모션을 복수개 설정하고, 설정된 복수개의 모션 중에서 선택된 하나의 모션을 수행하도록 하는 제어 신호를 출력하며, 상기 모션에 대응하는 표정 ID값을 생성하는 모션 제어부를 더 포함할 수 있다.
상기 빔 프로젝터는, 로봇의 헤드에 내장되어 설치되며, 얼굴 이미지 또는 표정 이미지를 출력할 수 있다.
상기 화면관리부는, 상기 모션 제어부로부터 수신된 표정 ID값보다 헤드 제어부로터 수신된 표정 ID값에 우선순위를 부여하며, 상기 표정 ID값을 기반으로 이미지 프레임의 출력 순서 및 출력 시점을 제어할 수 있다.
상기 얼굴 좌표 획득부는, 기 설정된 시간 동안 특정인의 얼굴영역에 대한 좌표를 획득하지 못한 경우에 특정인 추적 중단 신호를 생성하여 제어부에 전달하며, 상기 제어부는, 상기 추적 중단 신호에 따라 인사말을 출력할 수 있다.
상기 제어부는, 추적 중단이 된 특정인에 대해 재추적을 요청하는 신호를 얼굴 좌표 획득부에 전달하고, 재추적한 결과 특정인의 얼굴영역에 대한 좌표를 획득하지 못하면 다른 특정인을 지정하는 신호를 출력하고, 재추적한 결과 특정인의 얼굴영역에 대한 좌표를 다시 획득하면 인사말을 출력시킬 수 있다.
상기 모터 제어부는, 상기 로봇과 특정인 사이의 거리값을 이용하여 틸팅모터의 회전 각도값을 산출하고, 상기 특정인을 인식한 최초 시점에서 획득한 위치 정보를 기반으로 좌우 방향으로 이동이 발생된 것으로 판단되면, 특정인의 이동방향에 따라 패닝모터의 회전 각도값을 산출할 수 있다.
이와 같이 본 발명에 따르면, 얼굴 표정을 출력시키는 빔 프로젝터가 로봇의 머리 부분에 설치됨으로써 필요에 따라 로봇의 머리 부분과 몸체 부분을 분리하여 제어가능 하므로 모션을 수행중인 상황에서도 얼굴 추적 상태에 따라 즉각적으로 얼굴 표정을 변환할 수 있다.
또한, 본 발명에 따르면, 다양한 모션을 수행하는 동시에 특정인 추적을 통해 특정인과의 아이 컨택을 시도하고, 추적상태에 대응하여 즉각적으로 얼굴 표정을 바꿀 수 있으므로 실제 대화하는 듯한 효과를 도모할 수 있다.
도 1은 본 발명의 실시예에 따른 로봇시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 로봇시스템을 이용하여 특정인을 추적하는 방법을 설명하기 위한 순서도이다.
도 3은 도 2에 도시된 S270단계를 설명하기 위한 순서도이다.
도 4는 본 발명의 실시예에 따른 로봇의 얼굴을 통해 이미지가 출력된 상태를 나타낸다.
이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다.
또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
먼저, 도 1을 통해 본 발명의 실시예에 따른 특정인을 추적하는 로봇시스템에 대하여 설명한다.
도 1은 본 발명의 실시예에 따른 로봇시스템을 설명하기 위한 구성도이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 로봇시스템(100)은 카메라(110), 얼굴인식부(120), 특정인 지정부(130), 얼굴좌표 획득부(140), 헤드 제어부(150), 모터 제어부(160), 모션 제어부(170), 화면 제어부(180) 및 제어부(190)를 포함한다.
먼저, 카메라(110)는 로봇의 머리에 설치된 상태에서 전방을 촬영한다.
그리고, 얼굴인식부(120)는 카메라(110)를 통해 촬영된 영상을 이용하여 사람의 얼굴 영역을 인식한다. 즉, 얼굴인식부(120)는 얼굴을 인식할 수 있는 딥러닝 기반의 인공지능모델을 구축한 다음, 구축된 인공지능모델에 수신된 영상을 입력하여 사람의 얼굴에 해당하는 영역을 인식한다.
특정인 지정부(130)는 인식된 사람의 얼굴 영역에 식별 ID를 할당한다. 이때, 특정인 지정부(130)는 식별 ID는 무작위로 할당한다. 그리고, 특정인 지정부(130)는 사람의 얼굴 영역으로부터 특징점을 획득하고, 획득한 특징점과 할당된 식별 ID를 매칭하여 수집한다. 그 다음, 특정인 지정부(130)는 복수의 식별 ID 중에서 선택된 식별 ID를 특정인의 ID로 설정한다.
얼굴좌표 획득부(140)는 특정인으로 설정된 ID와 특징점을 이용하여 실시간으로 특정인의 얼굴영역에 대한 좌표를 획득한다. 이때, 좌표는 로봇이 위치하는 곳을 기준점으로 하여 3차원 상에 위치하고 있는 얼굴영역 좌표를 나타낸다.
헤드 제어부(150)는 획득한 특정인의 얼굴 영역 좌표를 이용하여 로봇의 헤드가 특정인의 얼굴과 대향되는 위치로 이동하기 위한 목표 좌표 및 표정 ID값을 생성한다.
모터 제어부(160)는 생성된 목표 좌표를 이용하여 특정인 사이의 거리값과 특정인의 움직임 정보를 획득한다. 그리고, 모터 제어부(160)는 획득한 거리값 및 움직임 정보를 이용하여 모터의 회전을 제어하는 각도값을 산출한다. 이때, 모터는 틸팅모터와 패닝모터를 포함하며, 모터 제어부(160)는 특정인과의 거리값을 이용하여 틸딩모터의 회전 각도값을 산출하고, 특정인의 움직임 정보를 이용하여 패닝모터의 회전 각도값을 산출한다.
모션 제어부(170)는 로봇으로 하여금 모션을 수행하게 한다. 모션은 어떤 몸놀림이나 동작을 나타내는 것으로서, 모션 제어부(170)는 로봇이 행할 수 있는 모션을 기 설정한다. 그 다음, 모션 제어부(170)는 기 설정된 복수의 모션들 중에서 선택된 모션을 수행하도록 제어신호를 출력한다. 또한, 모션 제어부(170)는 모션에 매칭되는 표정 ID값을 생성한다.
화면 제어부(180)는 빔 프로젝트를 통해 출력할 수 있는 로봇의 얼굴이미지 또는 표정이미지를 수집한다. 이때 수집되는 얼굴이미지 또는 표정이미지에는 고유의 표정 ID값이 부여되므로, 화면 제어부(180)는 얼굴이미지 또는 표정이미지와 부여된 표정 ID값을 매칭하여 저장한다.
그 다음, 화면 제어부(180)는 기 저장된 얼굴이미지 또는 표정이미지 중에서 헤드 제어부(150) 또는 모션 제어부(170)로부터 수신된 표정 ID값과 매칭되는 이미지를 추출하고, 추출된 이미지가 빔 프로젝터를 통해 출력되도록 제어신호를 생성한다.
마지막으로, 제어부(190)는 로봇으로 하여금 특정 모션을 수행하게 하거나, 음성을 출력시킨다.
이하에서는 도 2 내지 도 4를 이용하여 로봇시스템을 이용하여 특정인을 추적하는 방법에 대해 더욱 구체적으로 설명한다.
도 2는 본 발명의 실시예에 따른 로봇시스템을 이용하여 특정인을 추적하는 방법을 설명하기 위한 순서도이다.
도 2에 도시된 바와 같이, 본 발명의 실시예에 따른 로봇의 헤드 부분 일측에 설치된 카메라(110)는 실시간으로 주변환경을 촬영한다. 그 다음, 카메라(110)는 촬영된 영상을 얼굴인식부(120)에 전달한다(S210).
그 다음 얼굴인식부(120)는 전달받은 영상에 포함된 사람의 얼굴 영역을 인식한다(S220)
부연하자면, 얼굴인식부(120)는 딥러닝 기반의 인공지능모델을 구축한다.
그리고, 얼굴인식부(120)는 영상을 이용하여 사람의 얼굴을 인식하고, 인식된 얼굴 영역을 좌표값을 출력하도록 인공지능모델을 학습시킨다. 학습이 완료되면, 얼굴인식부(120)는 카메라(110)로부터 전달받은 영상을 인공지능모델에 입력하여 영상에 포함된 모든 사람의 얼굴 영역 및 그에 대응하는 좌표값을 추출한다. 추출된 얼굴 영역 및 그에 대응하는 좌표값은 특정인 지정부(130)에 전달된다.
그러면, 특정인 지정부(130)는 전달받은 얼굴 영역마다 식별 ID를 할당하고, 현재시점에서 추적해야 하는 하나의 얼굴 영역을 선택한다(S230).
이를 다시 설명하면, 특정인 지정부(130)는 인식된 사람 얼굴 영역마다 무작위로 식별 ID를 할당한 다음, 할당된 식별 ID 중에서 어느 하나의 사람 얼굴 영역을 특정인으로 지정한다. 그리고, 특정인 지정부(130)는 지정된 특정인의 식별 ID 및 얼굴 영역에 대한 최초의 좌표값을 후술되는 얼굴 좌표 획득부(130)에 전달한다.
본 발명의 실시예에 따른 따른 로봇시스템(100)은 인식된 복수의 사람 중에서 어느 하나의 사람을 특정인으로 설정하였으나, 이에 한정하지 않고, 복수의 사람 중에서 사용자로부터 수신된 정보와 매칭되는 사람을 특정인으로 설정할 수도 있다. 부연하자면, 사용자는 단말기를 이용하여 특정인의 얼굴 또는 신체에 나타나는 특징에 대한 정보를 입력하고, 입력된 정보는 무선 또는 유선을 통해 로봇시스템(100)에 전달된다. 그러면 로봇시스템(100)은 전달받은 특정인의 얼굴 또는 신체에 나타나는 특징에 대한 정보를 이용하여 매칭되는 사람을 추출하고, 추출된 사람을 특정인으로 설정한다.
S230단계에서 특정인에 대한 설정이 완료되면, 얼굴 좌표 획득부(140)는 특정인의 얼굴영역에 대한 좌표를 실시간으로 획득한다(S240).
얼굴 좌표 획득부(140)는 선택된 특정인의 ID를 이용하여 현재 시점에서의 특정인의 얼굴 영역에 대한 좌표값을 획득한다. 부연하자면, 얼굴 좌표 획득부(140)는 특정인의 ID와 얼굴영역에 포함된 특징값을 이용하여 특정인의 얼굴 영역을 실시간 추적한다. 그리고, 얼굴 좌표 획득부(140)는 추적하여 획득한 특정인의 얼굴영역에 대한 좌표값을 헤드 제어부(150) 및 모터 제어부(160)에 각각 전달한다.
그러면, 헤드 제어부(150)는 특정인의 얼굴과 대향되는 위치로 이동하기 위한 목표 좌표 및 표정 ID값을 생성한다(S250).
먼저, 헤드 제어부(150)는 얼굴 영역 크기를 이용하여 로봇과 사람과의 거리값을 획득한다. 이를 다시 설명하면, 카메라(110)와 사람간의 거리에 따라 인식된 얼굴 영역의 크기는 각각 상이하게 나타난다. 따라서, 헤드 제어부(150)는 특정인의 얼굴 영역에 대한 좌표값을 이용하여 카메라(110)와 특정인 간의 거리값을 획득한다.
그 다음, 헤드 제어부(150)는 최초에 특정인 얼굴에 대한 좌표값과 현재 시점에서 획득한 좌표값을 이용하여 좌우 방향으로 이동여부를 판단하고, 이동된 것으로 판단되면 좌측 또는 우측으로 이동된 거리값을 획득한다.
그 다음, 헤드 제어부(150)는 특정인 간의 거리값과 좌측 또는 우측으로 이동된 거리값을 이용하여 목표 좌표를 생성한다. 또한, 헤드 제어부(150)는 특정인과 대향되는 위치에 이동되었을 때 로봇의 표정에 대한 표정 ID값을 생성한다.
여기서 표정 ID값은 로봇의 얼굴을 통해 출력되는 얼굴이미지 또는 표정이미지를 나타낸다. 헤드 제어부(150)는 기본적으로 셋팅된 표정에 대응하는 표정 ID값을 생성할 수도 있고, 특정인의 표정에 대응되는 표정 ID값일 수도 있다.
헤드 제어부(150)는 생성된 목표 좌표값과 표정 ID값을 모터 제어부(160) 및 화면 제어부(180)에 각각 전달한다.
S250 단계가 완료되면, 모터 제어부(160)는 전달받은 목표 좌표값을 이용하여 틸팅 모터 및 패닝 모터의 회전 값도값을 산출하고, 산출된 회전 값도값을 이용하여 틸팅 모터 및 패닝 모터를 제어한다(S260).
여기서 틸팅 모터는 로봇의 헤드를 상하로 움직이게 하는 모터이고, 패닝 모터는 로봇의 헤드를 좌우로 움직이게 하는 모터이다.
따라서, 모터 제어부(160)는 수신된 목표 좌표값을 이용하여 로봇의 헤드를 상하 또는 좌우로 회전하여 특정인과 마주볼 수 있도록 한다. 그리고, 특정인과 대향되는 위치에 위치한 것으로 판단되면, 모터 제어부(160)는 화면 제어부(180)에 표정 출력 신호를 송신한다.
그러면, 화면 제어부(180)는 전달받은 표정 ID값에 대응하는 이미지 프레임을 출력하기 위해 빔 프로젝터를 구동시킨다(S270).
이하에서는 도 3을 이용하여 S270단계에 대해 더욱 상세하게 설명한다.
도 3은 도 2에 도시된 S270단계를 설명하기 위한 순서도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 화면 제어부(180)는 얼굴이미지 또는 표정이미지를 수집한다(S271).
화면 제어부(180)는 빔 프로젝터를 통해 출력되는 얼굴 이미지 또는 표정이미지를 수집한다. 이때, 수집된 얼굴 이미지 또는 표정이미지에는 임의의 표정 ID 값이 부여된다.
그 다음, 화면 제어부(180)는 수신된 표정 ID값에 대응하는 이미지를 추출하고, 추출된 이미지의 출력 순서를 설정한다(S272).
부연하자면, 화면 제어부(180)는 헤드 제어부(150) 또는 모션 제어부(170)로부터 표정 ID값을 전달받는다. 이때, 화면 제어부(180)는 전달받은 순서대로 표정 ID값에 대응되는 이미지를 추출하고, 추출된 순서대로 출력 순서를 설정한다.
다만, 헤드 제어부(150)와 모션 제어부(170)로부터 동시간에 표정 ID값을 수신할 경우, 화면 제어부(180)는 헤드 제어부(150)로부터 수신된 표정 ID값에 우선순위를 부여한다. 즉, 화면제어부(180)는 헤드 제어부(150)로부터 수신된 표정 ID값에 대응하는 이미지를 먼저 출력하고, 그 다음, 모션 제어부(170)로부터 전달받은 표정 ID값에 대응하는 이미지를 출력한다. 이는 모션을 수행 중인 상황에서도 특정인을 추적하는 상태에 따라 로봇의 표정을 즉각적으로 변환시키시 위함이다.
S272단계가 완료되면, 화면 제어부(180)는 빔 프로젝트의 구동을 제어하는 제어신호를 생성한다(S730).
도 4는 본 발명의 실시예에 따른 로봇의 얼굴을 통해 이미지가 출력된 상태를 나타낸다.
빔 프로젝터는 로봇의 얼굴 내부에 설치된다. 따라서, 빔 프로젝트는 화면 제어부(180)로부터 수신된 제어신호에 따라 이미지를 출력하며, 출력된 이미지는 도 4에 도시된 바와 같이, 로봇의 얼굴에 비춰지게 된다.
본 발명의 실시예에 따른 로봇시스템(100)은 특정인을 추적하고, 추적된 특정인과 아이 컨택이 발생되었을 경우, 로봇의 얼굴에 표정을 출력시키거나 모션을 수행한다.
그러나, 추적하던 특정인에 대해 더 이상의 추적이 불가능하다고 판단될 경우, 자세하게는 기 설정된 시간동안 특정인의 얼굴 영역에 대해 좌표를 획득하지 못하면, 얼굴 좌표 획득부(140)는 특정인 추적 중단 신호를 생성하고, 생성된 추적 중단 신호는 제어부(190)에 전달된다.
그러면, 제어부(190)는 수신된 추적 중단 신호에 따라 "안녕히 가세요"라는 인사말을 출력하고, 추적이 중단된 특정인에 대한 재추적 요청 신호를 생성하여 얼굴 좌표 획득부(140)에 전달한다.
그러면, 얼굴 좌표 획득부(140)는 특정인의 ID값 및 특정인에 대한 특징값을 이용하여 특정인을 재추적한다.
이때, 재추적한 결과 특정인의 얼굴 영역에 대한 좌표를 다시 획득하면, 제어부(190)는"안녕하세요"라는 인사말을 출력한다.
반면에 재추적한 결과 특정인의 얼굴 영역에 대한 좌표를 다시 획득하지 못하면, 제어부(190)는 다른 특정인을 지정하는 신호를 출력한다.
이와 같이 본 발명에 따른 로봇시스템은 얼굴 표정을 출력시키는 빔 프로젝터가 로봇의 머리 부분에 설치됨으로써 필요에 따라 로봇의 머리 부분과 몸체 부분을 분리하여 제어가능 하므로 모션을 수행중인 상황에서도 얼굴 추적 상태에 따라 즉각적으로 얼굴 표정을 변환할 수 있다.
또한, 본 발명에 따른 로봇시스템은 다양한 모션을 수행하는 동시에 특정인 추적을 통해 특정인과의 아이 컨택을 시도하고, 추적상태에 대응하여 즉각적으로 얼굴 표정을 바꿀 수 있으므로 실제 대화하는 듯한 효과를 도모할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 로봇시스템
110 : 카메라
120 : 얼굴인식부
130 : 특정인 지정부
140 : 얼굴좌표 획득부
150 : 헤드 제어부
160 : 모터 제어부
170 : 모션 제어부
180 : 화면 제어부
190 : 제어부

Claims (7)

  1. 특정인을 추적하는 로봇시스템에 있어서,
    로봇의 헤드에 설치되며 주변 사물을 촬영하는 카메라,
    인공지능모델을 이용하여 상기 카메라에 의해 촬영된 영상으로부터 사람의 얼굴 영역을 인식하는 얼굴인식부,
    상기 인식된 각각의 사람에 대하여 무작위로 식별 ID를 할당하고, 복수의 식별 ID 중에서 임의로 선택된 하나의 식별 ID에 해당하는 얼굴 영역을 특정인의 얼굴영역으로 지정하는 특정인 지정부,
    상기 지정된 특정인의 얼굴영역을 추적하며, 실시간으로 특정인의 얼굴영역에 대한 좌표를 획득하는 얼굴 좌표 획득부,
    상기 특정인의 얼굴영역에 대한 좌표를 이용하여 상기 로봇의 헤드가 특정인의 얼굴과 대향되는 위치로 이동하기 위한 목표 좌표 및 표정 ID값을 생성하는 헤드 제어부,
    상기 목표 좌표를 기반으로 상기 로봇의 헤드를 상하로 움직이게 하는 틸팅 모터 또는 상기 로봇의 헤드를 좌우로 움직이게 하는 패닝 모터의 회전 각도값을 산출하고, 산출된 회전 각도값을 이용하여 모터를 제어하는 모터 제어부, 그리고
    빔 프로젝터의 구동을 제어하는 제어신호를 생성하여 상기 표정 ID값에 대응하는 이미지 프레임을 출력시키는 화면 제어부를 포함하는 로봇시스템.
  2. 제1항에 있어서,
    상기 로봇이 수행해야 하는 모션을 복수개 설정하고, 설정된 복수개의 모션 중에서 선택된 하나의 모션을 수행하도록 하는 제어 신호를 출력하며, 상기 모션에 대응하는 표정 ID값을 생성하는 모션 제어부를 더 포함하는 로봇시스템.
  3. 제1항에 있어서,
    상기 빔 프로젝터는,
    로봇의 헤드에 내장되어 설치되며, 얼굴 이미지 또는 표정 이미지를 출력하는 로봇시스템.
  4. 제2항에 있어서,
    상기 화면 제어부는,
    상기 모션 제어부로부터 수신된 표정 ID값보다 헤드 제어부로터 수신된 표정 ID값에 우선순위를 부여하며,
    상기 표정 ID값을 기반으로 이미지 프레임의 출력 순서 및 출력 시점을 제어하는 로봇시스템.
  5. 제1항에 있어서,
    상기 얼굴 좌표 획득부는,
    기 설정된 시간 동안 특정인의 얼굴영역에 대한 좌표를 획득하지 못한 경우에 특정인 추적 중단 신호를 생성하여 제어부에 전달하며,
    상기 제어부는,
    상기 추적 중단 신호에 따라 인사말을 출력하는 로봇시스템.
  6. 제5항에 있어서,
    상기 제어부는,
    추적 중단이 된 특정인에 대해 재추적을 요청하는 신호를 얼굴 좌표 획득부에 전달하고, 재추적한 결과 특정인의 얼굴영역에 대한 좌표를 획득하지 못하면 다른 특정인을 지정하는 신호를 출력하고,
    재추적한 결과 특정인의 얼굴영역에 대한 좌표를 다시 획득하면 인사말을 출력시키는 로봇시스템.
  7. 제5항에 있어서,
    상기 모터 제어부는,
    상기 로봇과 특정인 사이의 거리값을 이용하여 틸팅모터의 회전 각도값을 산출하고,
    상기 특정인을 인식한 최초 시점에서 획득한 위치 정보를 기반으로 좌우 방향으로 이동이 발생된 것으로 판단되면, 특정인의 이동방향에 따라 패닝모터의 회전 각도값을 산출하는 로봇시스템.
KR1020200123735A 2020-09-24 2020-09-24 특정인을 추적하는 로봇시스템 KR102360857B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200123735A KR102360857B1 (ko) 2020-09-24 2020-09-24 특정인을 추적하는 로봇시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200123735A KR102360857B1 (ko) 2020-09-24 2020-09-24 특정인을 추적하는 로봇시스템

Publications (1)

Publication Number Publication Date
KR102360857B1 true KR102360857B1 (ko) 2022-02-11

Family

ID=80266300

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200123735A KR102360857B1 (ko) 2020-09-24 2020-09-24 특정인을 추적하는 로봇시스템

Country Status (1)

Country Link
KR (1) KR102360857B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046186A (ko) * 2018-10-18 2020-05-07 엘지전자 주식회사 로봇 및 그의 제어 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200046186A (ko) * 2018-10-18 2020-05-07 엘지전자 주식회사 로봇 및 그의 제어 방법

Similar Documents

Publication Publication Date Title
US10445917B2 (en) Method for communication via virtual space, non-transitory computer readable medium for storing instructions for executing the method on a computer, and information processing system for executing the method
JP3996015B2 (ja) 姿勢認識装置及び自律ロボット
JP4689107B2 (ja) 自律行動ロボット
US20180189549A1 (en) Method for communication via virtual space, program for executing the method on computer, and information processing apparatus for executing the program
US20060217837A1 (en) Robot device, movement method of robot device, and program
KR100813668B1 (ko) 안드로이드 로봇의 감정표현 방법
CN105867630A (zh) 机器人的手势识别方法及装置及机器人系统
JP2004133637A (ja) 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JPWO2013114493A1 (ja) コミュニケーション引き込みシステム、コミュニケーション引き込み方法およびコミュニケーション引き込みプログラム
JP4435212B2 (ja) 姿勢認識装置及び自律ロボット
CN108734083A (zh) 智能设备的控制方法、装置、设备和存储介质
US20180299948A1 (en) Method for communicating via virtual space and system for executing the method
JP2009166184A (ja) ガイドロボット
JP7394158B2 (ja) ヘッドマウントデバイスを介して仮想空間を提供するためにコンピュータで実行されるプログラムおよび方法ならびに情報処理装置
WO2019155735A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2017213558A2 (ru) Устройство для воздействия на виртуальные объекты дополненной реальности
KR20140009900A (ko) 로봇 제어 시스템 및 그 동작 방법
CN113056315B (zh) 信息处理装置、信息处理方法和程序
KR102360857B1 (ko) 특정인을 추적하는 로봇시스템
TWI683575B (zh) 一種注視識別及互動方法與裝置
WO2021005878A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
CN108459707A (zh) 一种利用智能终端识别动作并控制机器人的系统
KR20240086905A (ko) 특정인을 추적하는 로봇시스템
JP2001034388A (ja) 機器制御装置およびナビゲーション装置
Haritaoglu et al. Attentive Toys.

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant