KR102669074B1 - 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 - Google Patents
인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 Download PDFInfo
- Publication number
- KR102669074B1 KR102669074B1 KR1020210162757A KR20210162757A KR102669074B1 KR 102669074 B1 KR102669074 B1 KR 102669074B1 KR 1020210162757 A KR1020210162757 A KR 1020210162757A KR 20210162757 A KR20210162757 A KR 20210162757A KR 102669074 B1 KR102669074 B1 KR 102669074B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- human
- emotional expression
- visualization information
- generating
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000002996 emotional effect Effects 0.000 claims abstract description 98
- 238000012800 visualization Methods 0.000 claims abstract description 97
- 230000014509 gene expression Effects 0.000 claims abstract description 85
- 238000011156 evaluation Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 6
- 206010048909 Boredom Diseases 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 5
- 208000032140 Sleepiness Diseases 0.000 claims description 2
- 206010041349 Somnolence Diseases 0.000 claims description 2
- 230000037321 sleepiness Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 31
- 238000010586 diagram Methods 0.000 description 13
- 238000005516 engineering process Methods 0.000 description 9
- 230000004044 response Effects 0.000 description 7
- 238000007792 addition Methods 0.000 description 4
- 235000012054 meals Nutrition 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000005010 torso Anatomy 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
- B25J11/001—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means with emotions simulating means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J5/00—Manipulators mounted on wheels or on carriages
- B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Manipulator (AREA)
Abstract
본 발명에 따른 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법은, 상기 인간 친화형 로봇이 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의하는 단계; 상기 적어도 하나의 감정 표현 항목 각각이 시각적으로 표현된 몸짓 이미지를 수집하는 단계; 상기 수집된 몸짓 이미지에서 관절점을 추출하는 단계; 및 상기 추출된 관절점을 기초로 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 정보를 생성하는 단계;를 포함한다.
Description
본 발명은 로봇의 감정 표현을 지원하기 위한 기술로, 보다 상세하게는 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보를 생성할 수 있는 방법 및 장치에 관한 것이다.
최근, 금융업, 의료업, 교육업, 요식업, 가사 산업 등 다양한 산업 분야에서 로봇을 이용해 특정 서비스를 제공하는 기술이 확산되고 있다. 이러한 로봇을 이용한 서비스 기술 시장은 IT 기술 및 로봇 설계 기술의 발전 및 기술 수요 증대로 인해 대폭 성장하고 있는 추세다.
서비스 로봇이 사람과 대면하며 특정 서비스를 제공하는 과정에서 감정적 친밀도를 높이기 위해, 특정 감정 상태를 시각적으로 표현할 수 있는 인간 친화형 로봇이 등장하였다. 도 1을 참조하면, 일정 위치에 구비되는 디스플레이 장치(11)를 통해 반가움, 즐거움 등의 감정 상태를 이모티콘의 형태로 출력할 수 있는 인간 친화형 로봇(10)이 제안된 바 있다.
도 1에 도시된 인간 친화형 로봇(10)을 포함한 종래의 기술에 따르면, 서비스 제공시 발생할 수 있는 다양한 상황에서, 인간 친화형 로봇(10)이 대응 상황에 적합한 다양한 감정을 표현하는데 한계가 있었으며, 대면하는 사람의 입장에서 로봇의 감정 표현이 인위적 또는 이질적으로 느껴져 서비스에 대한 거부감이 발생될 수 있는 문제가 있었다.
이에, 인간 친화형 로봇을 통한 서비스 제공 과정에서, 인간 친화형 로봇이 대응 상황에 적합한 다양한 감정을 거부감 없이 표현할 수 있도록 지원하는 기술의 개발이 필요한 실정이다.
본 발명은 상술된 문제점을 해결하기 위해 도출된 것으로, 인간 친화형 로봇을 통한 서비스 제공 과정에서, 인간 친화형 로봇이 대응 상황에 적합한 다양한 감정을 거부감 없이 표현할 수 있도록 지원하는, 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치를 제공하고자 한다.
본 발명의 일 측면에 따른 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법은, 상기 인간 친화형 로봇이 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의하는 단계; 상기 적어도 하나의 감정 표현 항목 각각이 시각적으로 표현된 몸짓 이미지를 수집하는 단계; 상기 수집된 몸짓 이미지에서 기정의된 기준에 따라 관절점을 추출하는 단계; 및 상기 추출된 관절점을 기초로 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 정보를 생성하는 단계;를 포함하고, 상기 적어도 하나의 감정 표현 항목은, 상기 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출되며, 상기 서비스 제공 시나리오는 상기 인간 친화형 로봇이 특정 서비스를 제공하는 과정에서 발생할 수 있는 적어도 하나의 상황에 대한 정보를 포함한다.
일 실시예에서, 상기 적어도 하나의 감정 표현 항목은, 상기 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출될 수 있다.
일 실시예에서, 상기 적어도 하나의 감정 표현 항목은, 감사, 걱정, 고민, 궁금함, 즐거움, 놀람, 단호함, 당황, 따분함, 아쉬움, 반가움, 뿌듯함, 인지, 진지함, 친절함 및 미안함 중 적어도 하나를 포함할 수 있다.
일 실시예에서, 상기 몸짓 이미지를 수집하는 단계는 상기 적어도 하나의 감정 표현 항목 각각에 대한 복수의 샘플 이미지를 수집하는 단계; 및 상기 복수의 샘플 이미지에 대한 인지도 평가 결과에 따라 상기 적어도 하나의 감정 표현 항목 각각에 대한 몸짓 이미지를 결정하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 관절점을 추출하는 단계는, 상기 몸짓 이미지에서 복수 개의 관절점을 특징점으로서 추출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 특징점을 추출하는 단계는, 상기 추출된 특징점에 대한
2차원 좌표 정보를 생성하여 코드화하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 몸짓 시각화 정보를 생성하는 단계는, 추출된 복수의 특징점 중 적어도 일부를 선으로 연결한 몸짓 시각화 이미지를 생성하는 단계를 포함할 수 있다.
일 실시예에서, 상기 몸짓 이미지를 수집하는 단계는, 시간에 따라 순차적으로 변화하는 복수의 몸짓 이미지가 포함된 몸짓 이미지 세트를 수집하는 단계를 포함하며, 상기 몸짓 시각화 정보를 생성하는 단계는, 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하며 시간에 따라 순차적으로 변화하는 몸짓 시각화 정보를 생성하는 단계;를 포함할 수 있다.
일 실시예에서, 상기 몸짓 시각화 정보 생성 방법은, 상기 인간 친화형 로봇이 상황에 따라 기정의된 감정 표현 항목을 로봇의 몸체를 통해 행동할 수 있도록, 상기 생성된 몸짓 시각화 정보를 상기 인간 친화형 로봇에 제공하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 측면에 따른 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보를 생성하는 몸짓 시각화 정보 생성 장치는, 상기 인간 친화형 로봇이 시각적으로 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의하는 감정 표현 항목 정의부; 상기 적어도 하나의 감정 표현 항목 각각이 시각적으로 표현된 몸짓 이미지를 수집하는 이미지 수집부; 상기 수집된 몸짓 이미지에서 관절점을 추출하는 이미지 처리부; 및 상기 추출된 관절점을 기초로 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 정보를 생성하는 몸짓 시각화 정보 생성부;를 포함하고, 상기 적어도 하나의 감정 표현 항목은, 상기 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출되며, 상기 서비스 제공 시나리오는 상기 인간 친화형 로봇이 특정 서비스를 제공하는 과정에서 발생할 수 있는 적어도 하나의 상황에 대한 정보를 포함한다.
본 발명은, 인간 친화형 로봇이 표현할 수 있는 감정 표현 항목을 정의하고, 정의된 감정 표현 항목이 시각적으로 표현된 몸짓 이미지를 수집하며, 수집된 몸짓 이미지를 처리하여 감정 표현 항목을 직관적으로 시각화하는 몸짓 시각화 정보를 생성함으로써, 인간 친화형 로봇을 통한 서비스 제공 과정에서, 인간 친화형 로봇이 대응 상황에 적합한 다양한 감정을 거부감 없이 표현할 수 있도록 지원할 수 있다.
도 1은 인간 친화형 로봇을 설명하기 위한 참조도이다.
도 2는 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 참조도이다.
도 9는 [감사]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 10은 [걱정]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 11은 [고민]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 12은 [궁금함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 13은 [단호함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 14은 [당황]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 15은 [미안함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 16은 [반가움]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 흐름도이다.
도 4 내지 도 8은 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 참조도이다.
도 9는 [감사]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 10은 [걱정]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 11은 [고민]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 12은 [궁금함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 13은 [단호함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 14은 [당황]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 15은 [미안함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
도 16은 [반가움]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 나타내는 도면이다.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 장치를 설명하기 위한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 흐름도이며, 도 4 내지 9는 본 발명의 일 실시예에 따른 몸짓 시각화 정보 생성 방법을 설명하기 위한 참조도이다. 이하에서는 도 2 내지 9를 참조하여, 본 발명 및 본 발명의 다양한 실시예에 따른 몸짓 시각화 정보 생성 장치 및 방법에 대하여 상세하게 설명한다.
도 2를 참조하면, 몸짓 시각화 정보 생성 장치(100)는 컴퓨팅 장치로서, 감정 표현 항목 정의부(110), 이미지 수집부(120), 이미지 처리부(130), 몸짓 시각화 정보 생성부(140) 및 제어부(150)를 포함하여 구성될 수 있다.
감정 표현 항목 정의부(110)는 인간 친화형 로봇이 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의한다(단계 S310). 여기에서, 감정 표현 항목은 인간 친화형 로봇이 서비스 제공 과정에서 대면하는 사람과의 감정적 친밀도를 높이기 위하여 비언어적으로 표현할 수 있는 적어도 하나의 감정 요소를 의미할 수 있다.
일 실시예에서, 감정 표현 항목은 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출될 수 있다. 서비스 제공 시나리오는, 인간 친화형 로봇이 특정 서비스를 제공하는 과정에서 발생할 수 있는 적어도 하나의 상황에 대한 정보를 포함할 수 있다. 여기에서, 서비스 제공 시나리오에 포함된 상황 각각에 대해 인간 친화형 로봇이 표현할 수 있는 최적의 감정 요소가 감정 표현 항목으로서 정의될 수 있다.
예를 들어, 레스토랑 이용 서비스를 제공하는 시나리오는 레스토랑 이용단계를 고객의 레스토랑 입구 도착, 예약 확인, 식사 메뉴 및 좌석 지정 및 식사 서비스 정보 제공, 식사 완료 결제 및 고객 퇴장을 포함할 수 있다.
레스토랑 서비스 시나리오에 따라, 인간 친화형 로봇은 고객을 상대하기 위한 기본적인 대응 상황과 감정을 표현할 수 있는 몸짓을 표현할 수 있어야 한다.
| 서비스 항목 | 로봇 상황 | 감정 표현 항목 |
| 레스토랑 이용 시나리오 | 이용자와 대면 | 반가움 |
| 이용객의 상황 인식 | 인지 | |
| 이용객에 필요한 도움 물음 | 궁금함 | |
| 이용객의 요청 인식 | 인지 | |
| 메뉴 설명 | 친절함 |
상기 표 1은 서비스 제공 시나리오 및 이에 따라 도출된 감정 표현 항목을 설명하기 위한 예시로, 상기 표 1을 참조하면, 레스토랑 안내 서비스에 관한 서비스 제공 시나리오는 로봇의 다양한 상황에 대한 정보를 포함할 수 있으며, 각 상황에 적합한 감정 요소가 감정 표현 항목으로서 정의될 수 있다.일 실시예에서, 감정 표현 항목은 감정 요소 각각에 대한 필요성 평가 지수에 기초하여 결정될 수 있다. 예를 들어, 로봇 전문가 또는 서비스 전문가를 대상으로 하여 감사, 걱정, 고민 등 복수의 감정 요소 각각에 대한 필요성 평가 설문이 수행될 수 있으며, 필요성 평가 설문 결과에 따라 감정 요소 각각에 대한 평가 지수가 도출될 수 있다. 여기에서, 필요성 평가 지수의 순위에 기초하여 복수의 감정 요소들 중 적어도 일부가 감정 표현 항목으로서 결정될 수 있다.
일 실시예에서, 감정 표현 항목은 감사, 걱정, 고민, 궁금함, 즐거움, 놀람, 단호함, 당황, 따분함, 아쉬움, 반가움, 뿌듯함, 인지, 진지함, 친절함, 미안함, 신남, 졸림, 시무룩함, 집중, 편안함 중 적어도 하나를 포함하여 구성될 수 있다. 본 실시예에 따른 16개의 감정 표현 항목은 로봇 전문가를 대상으로 진행된 3차 필요성 평가에 의해 도출된 것으로, 인간 친화형 로봇이 서비스를 제공하는 과정에서 표현할 필요성이 높은 감정 요소들에 해당할 수 있다.
이미지 수집부(120)는 감정 표현 항목과 관련된 적어도 하나의 몸짓 이미지를 수집한다(단계 S320). 여기에서, 몸짓 이미지는 정의된 감정 표현 항목 각각이 시각적으로 표현된 이미지 데이터에 해당할 수 있다.
예를 들어, 도 4를 참조하면, 이미지 수집부(120)는 16개의 감정 표현 항목(감사, 걱정, 고민, 궁금함, 즐거움, 놀람, 단호함, 당황, 따분함, 아쉬움, 반가움, 뿌듯함, 인지, 진지함, 친절함, 미안함) 각각이 시각적으로 표현된 몸짓 이미지를 수집할 수 있다.
일 실시예에서, 이미지 수집부(120)는 감정 표현 항목 각각에 대한 몸짓 이미지를 외부 장치로부터 제공받을 수 있다. 여기에서, 몸짓 이미지는, 적어도 하나의 피험자에게 각 감정 요소를 표현하도록 요구한 후 피험자 각각의 몸짓을 촬영하는 방식으로 획득된 이미지에 해당할 수 있다.
다른 일 실시예에서, 이미지 수집부(120)는 감정 표현 항목이 레이블링된 이미지를 이미지 데이터 베이스에서 검색하는 방식으로 몸짓 이미지를 수집할 수 있다. 예를 들어, 이미지 수집부(120)는 감정 표현 항목 각각을 검색식으로 하여 검색 엔진을 이용해 이미지 검색을 수행할 수 있으며, 검색된 이미지를 감정 표현 항목 각각에 대한 몸짓 이미지로서 수집할 수 있다.
일 실시예에서, 이미지 수집부(120)는 감정 표현 항목 각각에 대한 복수의 샘플 이미지를 수집하고, 복수의 샘플 이미지에 대한 인지도 평가 결과에 따라 감정 표현 항목 각각에 대한 몸짓 이미지를 결정할 수 있다. 예를 들어, [감사]를 시각적으로 표현한 복수의 샘플 이미지가 수집되면, 샘플 이미지들 각각에 대하여 평가자들을 대상으로 인지도 평가(또는 관능 평가)가 수행될 수 있다. 인지도 평가는 0점에서 10점까지 점수화할 수 있다. 여기에서, 이미지 수집부(120)는 인지도 평가 결과, 가장 높은 평가를 받은 샘플 이미지를 [감사]에 관한 몸짓 이미지로 결정할 수 있다. 이 때, 이미지 수집부(120)는 인지도 평가 결과 정보를 입력받아 몸짓 이미지를 결정하거나, 관리자에 의해 입력되는 선택 신호에 기초하여 몸짓 이미지를 결정할 수 있을 것이다.
이미지 처리부(130)는 이미지 수집부(120)에 의해 수집된 몸짓 이미지에서 기정의된 기준에 따라 특징점을 추출한다(단계 S330). 여기에서, 특징점은 기정의된 특징을 만족하는 몸짓 이미지 상의 관절점을 의미할 수 있다.
예를 들어, 도 5 및 도 6을 참조하면, 이미지 처리부(130)는 [놀람]에 대한 몸짓 이미지 중 하나의 이미지에서 기정의된 특징을 만족하는 16개의 관절점들을 추출할 수 있다.
일 실시예에서, 이미지 처리부(130)는 몸짓 이미지에서 양팔, 양다리, 몸통, 머리등 행동에 변형을 가하는 복수 개의 관절점을 특징점으로서 추출할 수 있다. 한편, 관절점을 추출하는 방식은 Vision API 등 공지의 다양한 툴을 활용하여 구현될 수 있으며, 본 발명의 본질적인 구성은 아니므로 관절점을 추출하는 구체적인 방식에 관한 설명은 생략한다.
일 실시예에서, 이미지 처리부(130)는 몸짓 이미지상에서 추출된 관절점에 대한 2차원 좌표 정보를 생성하여 코드화할 수 있다. 예를 들어, 이미지 처리부(130)는 도 5에 도시된 몸짓 이미지의 관절점에 대한 2차원 좌표 정보를 생성하기 위하여, 특정 지점을 기준 좌표로 정의한 후, 양팔 6개, 양다리 6개, 몸통 4개 및 머리 1개으로 이루어진 총 16개의 관절점들 각각에 대한 X, Y 좌표 정보를 생성할 수 있다.
몸짓 시각화 정보 생성부(140)는 이미지 처리부(130)에 의해 추출된 관절점을 기초로 몸짓 시각화 정보를 생성한다(단계 S340). 여기에서, 몸짓 시각화 정보는 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화할 수 있는 이미지 데이터의 집합 또는 복수의 이미지에 해당할 수 있다.
일 실시예에서, 몸짓 시각화 정보 생성부(140)는 이미지 처리부(130)에 의해 생성된 관절점의 2차원 좌표 정보에 기초하여 감정 표현 항목 각각에 대한 몸짓 시각화 정보를 생성할 수 있다. 여기에서, 몸짓 시각화 정보는 감정 표현 항목 각각에 대한 복수의 몸짓 이미지의 각 이미지에서 도출된 관절점의 2차원 좌표 정보를 포함하여 구성될 수 있다.
예를 들어, [놀람]에 대한 몸짓 시각화 정보는 도 5 및 도 6에 도시된 바와 같이 [놀람]을 표현하는 몸짓 이미지에서 추출된 16개의 관절점의 2차원 좌표 정보를 포함하는 데이터로 구성될 수 있다.
일 실시예에서, 도 6을 참조하면, 몸짓 시각화 정보 생성부(140)는 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 이미지를 기초로 몸짓 시각화 정보의 데이터를 생성할 수 있다. 여기에서, 몸짓 시각화 정보 생성부(140)는 추출된 복수의 관절점 중 적어도 일부를 선으로 연결함으로써 단계별 몸짓 시각화 이미지를 생성할 수 있으며, 단계별 몸짓 시각화 이미지를 포함하는 몸짓 시각화 정보를 생성할 수 있다. 예를 들어, 몸짓 시각화 정보 생성부(140)는 [놀람]에 대한 몸짓 이미지에서 추출된 복수의 관절점들 중 적어도 일부를 선으로 연결하여, 도 6에 도시된 것과 같은 몸짓 시각화 이미지를 생성할 수 있다.
일 실시예에서, 몸짓 시각화 정보는 시간에 따라 시각적으로 변화하도록 구성될 수 있다. 보다 구체적으로, 이미지 수집부(120)는 감정 표현 항목 각각에 대해 복수의 몸짓 이미지가 포함된 몸짓 이미지 세트를 수집할 수 있다. 여기에서, 몸짓 이미지 세트는 시간에 따라 순차적으로 변화하는 복수의 몸짓 이미지를 포함하여 구성될 수 있다. 예를 들어, 이미지 수집부(120)는 도 7에 도시된 바와 같이 [놀람]에 해당하는 감정을 순차적으로 표현한 몸짓 이미지 세트(1단계 ~ 5단계)를 수집할 수 있으며, 다른 감정 표현 항목 각각에 대해서도 이와 같은 몸짓 이미지 세트를 수집할 수 있다. 이후, 이미지 처리부(130)는 몸짓 이미지 세트에 포함된 몸짓 이미지들 각각에 대한 관절점을 추출할 수 있다. 이후, 몸짓 시각화 정보 생성부(140)는 감정 표현 항목 각각에 대해 시간에 따라 순차적으로 변화하는 몸짓 시각화 정보를 생성할 수 있다. 예를 들어, 몸짓 시각화 정보 생성부(140)는 도 8에 도시된 바와 같이 [놀람]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트를 생성할 수 있으며, 이러한 몸짓 시각화 이미지 세트를 포함한 몸짓 시각화 정보를 생성할 수 있다. 본 실시예에 따르면, 인간 친화형 로봇이 대응 상황에 적합한 다양한 감정을 더욱 자연스럽게 표현할 수 있도록 지원할 수 있어, 대면하는 사람과의 감정적 친밀도를 더욱 높일 수 있다.
도 9는 [감사]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 10은 [걱정]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 11은 [고민]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 12은 [궁금함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 13은 [단호함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 14은 [당황]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 15은 [미안함]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다. 도 16은 [반가움]에 해당하는 감정을 순차적으로 표현한 몸짓 시각화 이미지 세트이다.
도 9 내지 도 16을 참조하면, 이미지 수집부(120)는 도 7에 도시된 바와 같은 방식으로, 감사, 걱정, 고민, 궁금함, 즐거움, 놀람, 단호함, 당황, 따분함, 아쉬움, 반가움, 뿌듯함, 인지, 진지함, 친절함 및 미안함 중 적어도 하나를 포함하는 감정 표현 항목에 해당하는 감정을 순차적으로 표현한 몸짓 이미지 세트(1단계 ~ 5단계)를 몸짓 시각화 정보로 생성한다.
일 실시예에서, 몸짓 시각화 정보 생성부(140)는 생성된 몸짓 시각화 정보를 인간 친화형 로봇에 제공할 수 있다. 즉, 몸짓 시각화 정보 생성부(140)는 인간 친화형 로봇이 상황에 따라 기정의된 감정 표현 항목을 로봇의 몸체를 통해 행동할 수 있도록, 인간 친화형 로봇의 제어부에 몸짓 시각화 정보를 제공할 수 있다. 예를 들어, 인간 친화형 로봇이 서비스 시나리오에 따라 [놀람]를 표현하여야 하는 경우, [놀람]에 대한 몸짓 시각화 정보에 포함된 2차원 좌표 정보 또는 몸짓 시각화 이미지 세트를 로봇을 통해 출력함으로써 [놀람]에 해당하는 감정을 로봇의 행동으로 표현할 수 있다.
이 때 로봇의 행동으로 출력되는 몸짓 시각화 정보는 서비스 시나리오 및 사람의 실제 몸짓에 기반하여 생성된 것으로, 인간 친화형 로봇이 대응 상황에 적합한 다양한 감정을 거부감 없이 표현할 수 있도록 지원할 수 있다.
제어부(150)는 감정 표현 항목 정의부(110), 이미지 수집부(120), 이미지 처리부(130) 및 몸짓 시각화 정보 생성부(140)의 동작 및 데이터의 흐름을 제어할 수 있다.
이상에서 설명한 본 발명에 따른 몸짓 시각화 정보 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다.
또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
상기한 본 발명의 바람직한 실시예는 예시의 목적을 위해 개시된 것이고, 본 발명에 대해 통상의 지식을 가진 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.
10: 인간 친화형 로봇
11: 디스플레이 장치
100: 몸짓 시각화 정보 생성 장치
110: 감정 표현 항목 정의부
120: 이미지 수집부
130: 이미지 처리부
140: 몸짓 시각화 정보 생성부
150: 제어부
11: 디스플레이 장치
100: 몸짓 시각화 정보 생성 장치
110: 감정 표현 항목 정의부
120: 이미지 수집부
130: 이미지 처리부
140: 몸짓 시각화 정보 생성부
150: 제어부
Claims (10)
- 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법에 있어서,
상기 인간 친화형 로봇이 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의하는 단계;
상기 적어도 하나의 감정 표현 항목 각각이 시각적으로 표현된 몸짓 이미지를 수집하는 단계;
상기 수집된 몸짓 이미지에서 관절점을 추출하는 단계; 및
상기 추출된 관절점을 기초로 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 정보를 생성하는 단계;를 포함하고,
상기 적어도 하나의 감정 표현 항목은, 상기 인간 친화형 로봇이 서비스 제공 과정에서 대면하는 사람과의 감정적 친밀도를 높이기 위하여 비언어적으로 표현할 수 있는 적어도 하나의 감정 요소로, 상기 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출되며, 로봇 전문가 또는 서비스 전문가를 대상으로 하여 수행된 감정 요소 각각에 대한 필요성 평가 설문 결과에 따라 도출된 필요성 평가 지수의 순위로부터 결정되고,
상기 서비스 제공 시나리오는 상기 인간 친화형 로봇이 특정 서비스를 제공하는 과정에서 발생할 수 있는 적어도 하나의 상황에 대한 정보를 포함하며,
상기 서비스 제공 시나리오에 포함된 상황 각각에 대해 상기 인간 친화형 로봇이 표현할 수 있는 최적의 감정 요소가 상기 적어도 하나의 감정 표현 항목으로서 정의되고,
상기 몸짓 이미지를 수집하는 단계는, 상기 적어도 하나의 감정 표현 항목 각각에 대한 복수의 샘플 이미지를 수집하는 단계 및, 상기 복수의 샘플 이미지에 대한 인지도 평가 결과에 따라 상기 적어도 하나의 감정 표현 항목 각각에 대한 몸짓 이미지를 결정하는 단계를 포함하는,
몸짓 시각화 정보 생성 방법. - 삭제
- 제1항에 있어서, 상기 적어도 하나의 감정 표현 항목은,
감사, 걱정, 고민, 궁금함, 즐거움, 놀람, 단호함, 당황, 따분함, 아쉬움, 반가움, 뿌듯함, 인지, 진지함, 친절함, 미안함, 신남, 졸림, 시무룩함, 집중, 편안함 중 적어도 하나를 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 삭제
- 제1항에 있어서, 상기 관절점을 추출하는 단계는,
상기 몸짓 이미지에서 복수 개의 관절점을 특징점으로서 추출하는 단계를 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 제5항에 있어서, 상기 특징점을 추출하는 단계는,
상기 추출된 특징점에 대한 2차원 좌표 정보를 생성하여 코드화하는 단계를 더 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 제1항에 있어서, 상기 몸짓 시각화 정보를 생성하는 단계는,
추출된 복수의 관절점 중 적어도 일부를 선으로 연결한 몸짓 시각화 이미지를 생성하는 단계를 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 제1항에 있어서,
상기 몸짓 이미지를 수집하는 단계는,
시간에 따라 순차적으로 변화하는 복수의 몸짓 이미지가 포함된 몸짓 이미지 세트를 수집하는 단계를 포함하며,
상기 몸짓 시각화 정보를 생성하는 단계는,
상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하며 시간에 따라 순차적으로 변화하는 몸짓 시각화 정보를 생성하는 단계;
를 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 제1항에 있어서, 상기 몸짓 시각화 정보 생성 방법은,
상기 인간 친화형 로봇이 상황에 따라 기정의된 감정 표현 항목을 로봇의 몸체를 통해 행동할 수 있도록, 상기 생성된 몸짓 시각화 정보를 상기 인간 친화형 로봇에 제공하는 단계를 더 포함하는 것을 특징으로 하는 몸짓 시각화 정보 생성 방법. - 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보를 생성하는 몸짓 시각화 정보 생성 장치에 있어서,
상기 인간 친화형 로봇이 시각적으로 표현할 수 있는 적어도 하나의 감정 표현 항목을 정의하는 감정 표현 항목 정의부;
상기 적어도 하나의 감정 표현 항목 각각이 시각적으로 표현된 몸짓 이미지를 수집하는 이미지 수집부;
상기 수집된 몸짓 이미지에서 관절점을 추출하는 이미지 처리부; 및
상기 추출된 관절점을 기초로 상기 적어도 하나의 감정 표현 항목 각각을 직관적으로 시각화하는 몸짓 시각화 정보를 생성하는 몸짓 시각화 정보 생성부;를 포함하고,
상기 적어도 하나의 감정 표현 항목은, 상기 인간 친화형 로봇이 서비스 제공 과정에서 대면하는 사람과의 감정적 친밀도를 높이기 위하여 비언어적으로 표현할 수 있는 적어도 하나의 감정 요소로, 상기 인간 친화형 로봇을 이용한 서비스 제공 시나리오에 기초하여 도출되며, 로봇 전문가 또는 서비스 전문가를 대상으로 하여 수행된 감정 요소 각각에 대한 필요성 평가 설문 결과에 따라 도출된 필요성 평가 지수의 순위로부터 결정되고,
상기 서비스 제공 시나리오는 상기 인간 친화형 로봇이 특정 서비스를 제공하는 과정에서 발생할 수 있는 적어도 하나의 상황에 대한 정보를 포함하며,
상기 서비스 제공 시나리오에 포함된 상황 각각에 대해 상기 인간 친화형 로봇이 표현할 수 있는 최적의 감정 요소가 상기 적어도 하나의 감정 표현 항목으로서 정의되고,
상기 이미지 수집부는, 상기 적어도 하나의 감정 표현 항목 각각에 대해 수집된 복수의 샘플 이미지에 대한 인지도 평가 결과에 따라, 상기 적어도 하나의 감정 표현 항목 각각에 대한 몸짓 이미지를 결정하는,
몸짓 시각화 정보 생성 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210162757A KR102669074B1 (ko) | 2021-11-23 | 2021-11-23 | 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210162757A KR102669074B1 (ko) | 2021-11-23 | 2021-11-23 | 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230076966A KR20230076966A (ko) | 2023-06-01 |
| KR102669074B1 true KR102669074B1 (ko) | 2024-05-24 |
Family
ID=86770992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210162757A KR102669074B1 (ko) | 2021-11-23 | 2021-11-23 | 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102669074B1 (ko) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011258159A (ja) | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| KR101530355B1 (ko) | 2014-03-27 | 2015-06-22 | (주)엠젠 | 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 |
| JP2015191471A (ja) | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 感情情報推定装置、方法及びプログラム |
| KR101650799B1 (ko) | 2009-05-11 | 2016-08-24 | 게스티곤 게엠베하 | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 |
| JP2018051701A (ja) | 2016-09-29 | 2018-04-05 | トヨタ自動車株式会社 | コミュニケーション装置 |
| CN113449570A (zh) | 2020-03-27 | 2021-09-28 | 虹软科技股份有限公司 | 图像处理方法和装置 |
| KR102310587B1 (ko) * | 2021-02-10 | 2021-10-13 | 주식회사 인피닉 | 연속된 이미지들에 대한 스켈레톤 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101494344B1 (ko) * | 2008-04-25 | 2015-02-17 | 삼성전자주식회사 | 휴머노이드 로봇의 움직임 제어 시스템 및 그 방법 |
| CN103999126B (zh) * | 2011-12-16 | 2017-02-15 | 吉士特贡有限公司 | 用于估计姿态的方法和装置 |
| KR20140009900A (ko) * | 2012-07-12 | 2014-01-23 | 삼성전자주식회사 | 로봇 제어 시스템 및 그 동작 방법 |
| KR101445700B1 (ko) * | 2013-03-19 | 2014-10-01 | 한국과학기술원 | 로봇 제스처 생성장치 및 방법 |
| KR20140134960A (ko) * | 2013-05-15 | 2014-11-25 | 조선대학교산학협력단 | 승마자의 3차원 모션 분석 시스템 |
| US10218949B2 (en) | 2015-07-08 | 2019-02-26 | Sony Corporation | Information processing apparatus, information processing method, and program |
| KR102371127B1 (ko) * | 2018-12-19 | 2022-03-07 | 한국전자기술연구원 | 골격의 길이 정보를 이용한 제스쳐 인식 방법 및 처리 시스템 |
-
2021
- 2021-11-23 KR KR1020210162757A patent/KR102669074B1/ko active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101650799B1 (ko) | 2009-05-11 | 2016-08-24 | 게스티곤 게엠베하 | 가변 자세를 포함하는 이미지를 컴퓨터를 사용하여 실시간으로 분석하는 방법 |
| JP2011258159A (ja) | 2010-06-11 | 2011-12-22 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び画像生成システム |
| KR101530355B1 (ko) | 2014-03-27 | 2015-06-22 | (주)엠젠 | 모션 캡쳐 데이터를 검색하는 검색 방법 및 시스템 |
| JP2015191471A (ja) | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 感情情報推定装置、方法及びプログラム |
| JP2018051701A (ja) | 2016-09-29 | 2018-04-05 | トヨタ自動車株式会社 | コミュニケーション装置 |
| CN113449570A (zh) | 2020-03-27 | 2021-09-28 | 虹软科技股份有限公司 | 图像处理方法和装置 |
| KR102310587B1 (ko) * | 2021-02-10 | 2021-10-13 | 주식회사 인피닉 | 연속된 이미지들에 대한 스켈레톤 데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230076966A (ko) | 2023-06-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Tuomi et al. | Applications and implications of service robots in hospitality | |
| US11836338B2 (en) | System and method for building and managing user experience for computer software interfaces | |
| Bach | The ambiguous construction of nondominant masculinity: configuring the “new” man through narratives of choice, involved fatherhood, and gender equality | |
| Stangl et al. | Going beyond one-size-fits-all image descriptions to satisfy the information wants of people who are blind or have low vision | |
| US5436830A (en) | Metaphor elicitation method and apparatus | |
| Stangl et al. | Browsewithme: An online clothes shopping assistant for people with visual impairments | |
| Eladhari et al. | Design for research results: experimental prototyping and play testing | |
| Paul et al. | Sensemaking in collaborative web search | |
| US10620822B2 (en) | Method and system for selecting and providing content of interest | |
| Indratmo et al. | Exploring blog archives with interactive visualization | |
| Park et al. | Attraction, social presence, sociability, and booking intentions: The moderating role of homophily | |
| JP5905652B1 (ja) | データ評価システム、データ評価方法、およびデータ評価プログラム | |
| KR102669074B1 (ko) | 인간 친화형 로봇의 감정 표현을 위한 몸짓 시각화 정보 생성 방법 및 장치 | |
| Hucko et al. | Confusion detection dataset of mouse and eye movements | |
| Zhang et al. | Do customers’ intrinsic characteristics matter in their evaluations of a restaurant service? | |
| Dondi et al. | Gaze-based human–computer interaction for museums and exhibitions: technologies, Applications and Future Perspectives | |
| Avolicino et al. | AI-based emotion recognition to study users’ perception of dark patterns | |
| KR102669078B1 (ko) | 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치 | |
| Dawson et al. | Evaluating User Experience of a Multimedia Storyteller Panorama Tour: The Story of the Markham Car Collection | |
| KR20220069144A (ko) | 인간 친화형 로봇의 감정 표현을 위한 표정 시각화 정보 생성 방법 및 장치 | |
| Niu et al. | Investigating notifications and awareness for multi-user multi-touch tabletop displays | |
| JP2005346171A (ja) | 求人情報提供システム | |
| Millet | UX Research Methods for Designing Interactive Media | |
| Chen | Visualizations for mental health topic models | |
| US20120311461A1 (en) | Metaphor elicitation tool |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |