KR101904453B1 - 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 - Google Patents
인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 Download PDFInfo
- Publication number
- KR101904453B1 KR101904453B1 KR1020160063996A KR20160063996A KR101904453B1 KR 101904453 B1 KR101904453 B1 KR 101904453B1 KR 1020160063996 A KR1020160063996 A KR 1020160063996A KR 20160063996 A KR20160063996 A KR 20160063996A KR 101904453 B1 KR101904453 B1 KR 101904453B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- information
- recognition sensor
- facial
- transparent display
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 42
- 238000000034 method Methods 0.000 title claims abstract description 21
- 230000008921 facial expression Effects 0.000 claims description 81
- 230000033001 locomotion Effects 0.000 claims description 43
- 230000001815 facial effect Effects 0.000 claims description 42
- 230000008859 change Effects 0.000 claims description 32
- 230000009471 action Effects 0.000 claims description 13
- 230000008451 emotion Effects 0.000 claims description 12
- 210000001097 facial muscle Anatomy 0.000 claims description 10
- 230000035945 sensitivity Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 206010012289 Dementia Diseases 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 210000003205 muscle Anatomy 0.000 description 2
- 230000000474 nursing effect Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000004641 brain development Effects 0.000 description 1
- 230000002860 competitive effect Effects 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G06K9/00228—
-
- G06K9/00261—
-
- G06K9/00342—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Abstract
인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이가 개시된다. 인공 지능 투명 디스플레이의 동작 방법은 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.
Description
본 발명은 디스플레이에 관한 것으로서, 보다 상세하게는 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 관한 것이다.
CRT(cathode ray tube)에 이어 디스플레이의 주역이 된 평판 디스플레이가 그동안 비약적으로 발전해 오는 과정에서 대형화와 박형화를 이루었다면, 미래의 핵심 진화 방향으로 플렉시블(flexible)화와 투명(transparent)화가 회자되고 있다. 일반적으로 투명 디스플레이란 영상이 꺼져 있는 상태에서 디스플레이 소자가 인지 가능한 수준의 투과도를 가지며 영상이 켜진 상태에서도 투과도가 일부 유지되는 디스플레이를 통칭한다. 아직 개발 초기 단계라 on/off 상태에서 투과도가 각각 어느 수준 이상이 되어야 한다거나 투명 디스플레이의 고유한 화질 측정 기준이 무엇인지 등이 확립되어 있지 않은 상태이나 적어도 화면의 off 상태에서 화면 뒤의 배경을 인지할 수 있도록 제작된 디스플레이는 모두 투 명디스플레이에 속한다고 말할 수 있다.
현재 디스플레이 시장의 주력이라 할 수 있는 LCD(liquid crystal display)(LED(light emitting diode) LCD 포함) TV의 기술 장벽이 점차 낮아지는 가운데 국가의 전폭적 지원을 받는 중국 제조업체들의 공급 능력 확대에 따라 국내 TV 및 패널업체들의 수익성이 위협받고 있으며 이런 추세가 고착화될 가능성 또한 매우 높은 현실이다. 스마트폰 및 태블릿 PC의 등장과 더불어 그 수요가 늘고 있는 고급 사양의 중소형 디스플레이의 경우 아직까지는 한국 및 일본의 선진업체들이 시장을 장악하고 있지만 머지않아 TV의 전례를 따를 가능성이 크다 하겠다. 이러한 어려움을 극복하기 위해서는 새로운 부가가치를 가진 경쟁력 있는 제품으로 TV, 모바일용 등 기존 디스플레이 시장의 지배력을 강화하면서 동시에 새로운 디스플레이 시장을 창출하여야 하는데 투명 디스플레이가 유력한 돌파구가 될 것으로 기대된다.
본 발명의 일 측면은 인공 지능 투명 디스플레이의 동작 방법을 제공한다.
본 발명의 다른 측면은 및 인공 지능 투명 디스플레이를 제공한다.
본 발명의 일 측면에 따른 인공 지능 투명 디스플레이의 동작 방법은 상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 사용자 정보를 센싱하는 단계, 상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계와 상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 또 다른 측면에 따른 인공 지능 투명 디스플레이는 사용자 정보를 센싱하도록 구현된 복수의 센서, 상기 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서와 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함할 수 있다.
한편, 상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고, 상기 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함할 수 있다.
또한, 상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 상기 사용자의 얼굴에 포함되는 각 구성부의 움직임 및 상기 얼굴의 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고, 상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정할 수 있다.
또한, 상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고, 상기 인공 지능 프로세서는 상기 초기 음성 정보를 기반으로 변화된 상기 사용자의 음성의 크기 및 빠르기의 변화를 센싱하여 상기 사용자의 감정을 판단하여 상기 반응 동작 정보를 생성할 수 있다.
또한, 상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고, 상기 인공 지능 프로세서는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자의 감정의 크기를 결정하여 상기 반응 동작 정보를 생성할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이에 따르면, 사용자에 의해 생성되는 표정 정보, 음성 정보, 동작 정보를 기반으로 사용자와 상호 작용을 수행함으로써 사용자를 위한 서비스 분야에서 다양하게 활용되어 사용자의 편의를 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예와 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조 부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.
이하, 도면들을 참조하여 본 발명의 바람직한 실시예들을 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이를 나타낸 개념도이다.
도 1에서는 사용자와의 실제 대화가 가능한 가상 캐릭터가 제공되는 인공 지능 투명 디스플레이 장치가 개시된다.
도 1을 참조하면, 인공 지능 투명 디스플레이는 사용자의 표정, 움직임, 소리 등을 감지하는 센서(100) 및 센서에 의해 센싱된 정보를 분석하여 사용자와의 대화를 수행할 수 있는 인공 지능 프로세서(120) 및 투명 디스플레이(140)를 포함할 수 있다.
인공 지능 투명 디스플레이에 구현된 센서(100)는 인공 지능 투명 디스플레이의 전면에 위치한 사용자의 표정을 탐지하는 안면 인식 센서, 사용자의 움직임을 센싱하는 동작 인식 센서, 사용자의 음성 정보를 센싱하는 음성 인식 센서 등을 포함할 수 있다. 이러한 센서들(100)은 하나의 예시로서 다른 다양한 센서가 인공 지능 투명 디스플레이와 사용자와의 상호 작용을 위해 활용될 수 있다.
인공 지능 프로세서(120)는 센서(100)로부터 수신한 센싱 정보(표정 정보, 동작 정보, 음성 정보 등)을 기반으로 한 사용자와의 상호 작용을 위해 구현될 수 있다. 인공 지능 투명 디스플레이는 투명 디스플레이(140)를 통해 인공 지능 객체(예를 들어, 사람의 이미지)를 제공할 수 있고, 인공 기능 객체는 인공 지능 프로세서(120)를 기반으로 사용자와의 상호 작용을 수행할 수 있다. 인공 지능 투명 디스플레이의 화면은 투명 디스플레이(transparent display)(140)로 구현되어 인공 지능 객체가 출력되는 부분을 제외한 나머지 부분은 투명하게 표시될 수 있다.
예를 들어, 인공 지능 프로세서(120)는 안면 인식 센서로부터 수신한 사용자의 표정 정보/음성 인식 센서로부터 수신한 음성 정보를 기반으로 사용자의 표정에 따른 대화 내용을 반응 동작 정보로서 생성할 수 있다. 인공 지능 프로세서(120)는 생성된 대화 내용을 반응 동작 정보로서 인공 지능 객체가 발화하도록 제어할 수 있다.
본 발명의 실시예에 따른 인공 지능 투명 디스플레이는 다양한 분야에서 활용될 수 있다.
예를 들어, 인공 지능 투명 디스플레이는 음식점이나 바(bar)와 같은 공간에서 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 밥을 먹거나 술을 먹는 사용자의 표정 정보, 동작 정보, 음성 정보 등과 같은 사용자 정보를 인공 지능 투명 디스플레이에 구현된 다양한 센서를 통해 획득하고, 사용자 정보에 대한 반응 동작 정보를 생성할 수 있다. 인공 지능 투명 디스플레이의 화면 상에서 출력되는 인공 지능 객체는 반응 동작 정보를 기반으로 한 동작을 수행할 수 있다. 예를 들어, 인공 지능 객체는 사용자의 표정 정보 및 사용자에 의해 발화된 목소리 정보를 분석하여 사용자에게 가장 맞는 답변을 제공할 수 있다.
또 다른 예로, 인공 지능 투명 디스플레이는 간병을 위한 장소/병원 등에 설치되어 환자들에게 대화 상대로서의 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 휠체어를 탄 거동이 불편한 환자의 대화 상대로서의 역할을 수행할 수 있다.
또는 인공 지능 투명 디스플레이는 환자의 상태를 센싱하고, 간병하기 위한 역할을 수행할 수 있다. 구체적으로 인공 지능 투명 디스플레이는 치매 환자, 고령 간병 대상자에 대한 간병, 간호 역할을 수행할 수 있다. 인공 지능 투명 디스플레이는 블루투스로 연결된 '스마트 밴드'와 디스플레이 기기 상단에 위치한 '행동 인식 센서, 음성 인식 센서, 안면 인식 센서' 등과 같은 센서를 통해 환자의 각종 건강 정보(체온, 맥박, 혈압, 표정, 움직임 등)을 계속적으로 측정, 관찰할 수 있다. 인공 지능 투명 디스플레이는 평상시에는 환자의 이야기 상대를 해주면서 인지증(치매, Alzheimer) 환자, 고령 간병 대상자에게 필요한 체조나 두뇌 개발 게임, 퀴즈 등을 통해 무료함을 달래줄 수 있다. 또한, 인공 지능 투명 디스플레이는 사용자가 젊은 시절 즐겨듣던 음악, 영화, 드라마 등을 검색하고 적시에 재생하여 혼자 있는 환자가 외로움을 느끼지 않도록 다양한 엔터테인먼트 서비스를 제공할 수 있다.
또한, 인공 지능 투명 디스플레이는 환자가 약을 먹을 시간, 식사할 시간을 알려주고 화장실에 가고 싶은 지에 대해 물어보고 필요한 시점에 간병인을 호출해줄 수 있다. 수면 시간 이외에 움직임이 없거나 건강에 이상이 발견되면 즉시 위험도에 따라 호출 대상을 인공 지능이 판단해 의사, 간호사, 혹은 가족에게 통지할 수 있다.
또한, 요리 서포트, 사무 어시스턴트, 회사 및/또는 호텔에서의 안내 접수, 가라오케(노래방), 유치원, 보육원, 학교, 복지 시설 등을 위해 인공 지능 투명 디스플레이가 활용될 수 있다. 구체적으로 인공 지능 투명 디스플레이는 사용자가 특정 요리를 수행할 경우, 특정 요리의 레시피에 대한 정보를 인공 지능 객체를 통해 제공할 수 있다. 또한, 인공 지능 객체가 사무적인 비서 역할을 수행하여 간단한 전화 업무 및 스케줄링 업무를 수행할 수도 있다. 또한, 회사 및 호텔의 컨시어지(concierge)에서 사용자에 대한 룸의 예약과 같은 업무가 인공 지능 투명 디스플레이 상의 인공 지능 객체를 통해 수행될 수 있다. 또한, 노래방과 같은 장소에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 곡에 따른 연주를 수행할 수도 있다. 또한, 학교, 보육원, 유치원에서 인공 지능 투명 디스플레이 상의 인공 지능 객체가 유아, 학생들과의 커뮤니케이션을 통해 학습 커리큘럼을 제공할 수도 있다. 이뿐만 아니라, 복지 시설에서 노인들에게 말동무가 되어 주거나 프로그램을 제공하기 위해 인공 지능 투명 디스플레이 상의 인공 지능 객체가 활용될 수도 있다.
인공 지능 객체는 사용자의 선택에 따라 다운로드될 수 있다. 예를 들어, 앱스토어 서버와 같은 다운로드 가능한 서버를 통해 사용자는 인공 지능 객체를 선택하여 다운로드할 수 있고, 다운로드된 인공 지능 객체는 인공 지능 투명 디스플레이 상에서 출력될 수 있다. 인공 지능 객체로서 다양한 캐릭터가 개발되고 인공 지능 객체의 판매가 하나의 수익 모델로 활용될 수 있다. 예를 들어, 아이돌, 만화 캐릭터, 모델, 탤런트 개그맨 또는 사용자와 관련된 인물(예를 들어, 가족)이 인공 지능 객체로서 활용될 수 있다.
도 2는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 2에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 2를 참조하면, 안면 인식 센서(200)는 사용자의 표정 정보를 결정할 수 있다. 예를 들어, 안면 인식 센서(200)는 표정 정보를 화남, 즐거움, 슬픔, 우울함, 흥분됨, 무표정 등 다양한 표정 카테고리 중 하나로 결정할 수 있다. 안면 인식 센서(200)는 사용자의 얼굴에서 눈의 움직임, 입술의 움직임, 얼굴 근육의 움직임 등을 분석하여 표정 정보를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 구체적으로 안면 인식 센서(200)는 사용자의 기본 얼굴 표정을 기준으로 변화 정도를 고려하여 표정 정보(250)를 다양한 표정 카테고리 중 하나로 결정할 수 있다. 사용자마다 감정에 따라 변화되는 얼굴 근육의 정도, 눈, 입의 모양이 서로 다르기 때문에 안면 인식 센서(200)는 사용자 별로 인식 감도를 다르게 설정할 수 있다.
예를 들어, 안면 인식 센서(200)는 설정된 시간 동안 사용자와의 초기 상호 작용을 통해 사용자의 표정의 변화 정도를 탐지하고, 사용자의 표정 변화 감도를 결정할 수 있다. 안면 인식 센서(200)는 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 1로 설정하여 표정 변화의 센싱 감도를 상대적으로 낮추고 표정 변화의 폭이 큰 사용자에 대해 표정 변화 감도를 5로 설정하여 표정 변화의 센싱 감도를 상대적으로 높일 수 있다.
이뿐만 아니라 사용자에 적응적으로 분석 알고리즘을 변화시킬 수 있다. 예를 들어, 사용자가 웃는 표정을 짓는 경우, 사용자의 눈과 입의 변화에 대한 정보가 획득될 수 있다. 사용자에 따라 눈의 변화, 입의 변화가 다를 수 있고, 이러한 구체적인 사용자별 표정 변화의 차이에 대한 정보는 사용자와 인공 지능 투명 디스플레이의 상호 작용 동안에 획득될 수 있다.
구체적으로 안면 인식 센서(200)는 사용자의 표정을 웃는 표정으로 판단할 수 있고, 인공 지능 투명 디스플레이는 안면 인식 센서(200)에 의해 인식된 제1 사용자 정보(표정 정보)를 기반으로 제1 반응 동작 정보를 생성할 수 있다. 사용자는 인공 지능 투명 디스플레이의 제1 반응 동작 정보를 기반으로 다시 제2 사용자 정보(표정 정보, 동작 정보, 음성 정보 등)를 생성할 수 있다. 인공 지능 투명 디스플레이는 수신한 제2 사용자 정보를 기반으로 제1 반응 동작 정보가 정확하였는지 여부에 대해 판단하고 결과적으로는 제1 사용자 정보가 안면 인식 센서에 의해 정확하게 센싱된 결과인지 여부를 판단할 수 있다.
만약, 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과인 경우, 안면 인식 센서는 동일한 분석 알고리즘을 사용하여 사용자의 표정 정보를 생성할 수 있다. 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 변화시켜 사용자의 표정 정보(250)를 생성할 수 있다.
구체적으로 반대로 제1 사용자 정보가 안면 인식 센서(200)에 의해 정확하게 센싱된 결과가 아닌 것으로 판단되는 경우, 안면 인식 센서(200)는 분석 알고리즘을 수정할 수 있다. 예를 들어, 사용자에 동일한 표정이 발생하는 경우, 사용자의 표정이 제1 사용자 정보로 판단되지 않도록 분석 알고리즘 상의 눈, 입과 같은 구성부에 대한 변화 및 얼굴 근육의 변화도를 조정될 수 있다.
도 2에서는 안면 인식 센서(200)가 사용자 정보(표정 정보)에 대한 판단까지 수행하는 경우를 가정하였으나, 안면 인식 센서(200)는 사용자의 안면에 일어난 변화에 대해서만 감지하고 인공 지능 프로세서가 사용자의 안면에 일어난 변화를 기반으로 사용자 정보(표정 정보(250))에 대한 판단을 수행할 수도 있다.
도 3은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 표정 정보 판단 방법을 나타낸 개념도이다.
도 3에서는 사용자의 사용자 정보로서 표정 정보를 보다 명확하게 판단하기 위한 방법이 개시된다.
도 3을 참조하면, 복수의 인공 지능 투명 디스플레이는 인공 지능 투명 디스플레이 서버(300)와 연결될 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 입력된 사용자의 이미지와 사용자의 이미지를 기반으로 판단된 사용자의 표정 정보 및 표정 정보의 판단에 대한 정오 여부에 대한 정보(이하, 표정 판단 오류 정보)를 인공 지능 투명 디스플레이 서버(300)로 전송할 수 있다. 표정 판단 오류 정보는 사용자의 이미지를 기반으로 생성된 사용자의 표정 정보가 정확했는지 부정확했는지 여부에 대한 정보일 수 있다. 전술한 바와 같이 표정 판단 오류 정보는 표정 정보를 기반으로 생성된 인공 지능 투명 디스플레이의 반응 동작 정보에 대한 사용자의 반응인 사용자 정보를 고려하여 결정될 수 있다.
인공 지능 투명 디스플레이 서버(300)는 복수의 인공 지능 투명 디스플레이 각각으로부터 수신한 사용자 이미지, 사용자 표정 정보 및 표정 판단 오류 정보를 기반으로 학습을 통해 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 생성할 수 있다. 예를 들어, 인공 지능 투명 디스플레이 서버(300)는 딥 러닝과 같은 기계 학습 알고리즘을 기반으로 보다 정확한 표정 정보를 생성하기 위한 판단 알고리즘을 지속적으로 업데이트할 수 있다.
인공 지능 투명 디스플레이 서버(300)는 업데이트된 표정 정보 판단 알고리즘을 복수의 인공 지능 투명 디스플레이 각각으로 전송할 수 있고, 복수의 인공 지능 투명 디스플레이 각각은 업데이트된 표정 정보 판단 알고리즘을 기반으로 표정 정보에 대한 판단을 수행할 수 있다.
구체적인 예로, 인공 지능 투명 디스플레이 서버(300)는 통일적인 하나의 표정 정보 판단 알고리즘을 인공 지능 투명 디스플레이로 제공하는 것이 아니라, 사용자의 이미지 별로 가장 적절한 표정 정보 판단 알고리즘을 제공할 수 있다. 사용자의 이미지를 기반으로 사용자의 성별, 나이, 두상, 얼굴 근육 등을 분석하고 사용자의 성별, 나이, 두상, 얼굴 근육 등에 가장 적절한 표정 정보 판단 알고리즘이 제공될 수 있다.
도 4는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 4에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 4를 참조하면, 음성 인식 센서(400)는 사용자의 음성 정보(420)를 수집할 수 있다.
음성 인식 센서(400)는 사용자로부터 초기 음성 정보(420)를 수신하고, 초기 음성 정보(420)를 기반으로 사용자의 음성에 대한 특징 정보를 획득할 수 있다. 예를 들어, 음성 인식 센서(400)는 주변 환경에 의해 발생되는 소음 속에서 사용자 음성을 분리하기 위해 사용자 음성에 대한 특징 정보를 획득하여 입력되는 소리 정보 중에서 사용자의 음성 정보만을 획득할 수 있다.
음성 인식 센서(400)는 수신된 음성 정보(420)를 텍스트 정보(440)로 변환할 수 있다. 예를 들어, 사용자가 "내일은 놀이 공원에 가려고 해."라는 문장을 음성으로 발화한 경우, 음성 인식 센서(400)는 사용자에 의해 발화된 음성을 텍스트로 변환하여 사용자 정보로서 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 텍스트화된 사용자의 발화 음성을 사용자 정보로서 수신하고, 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하고, 인공 지능 객체가 반응 동작 정보를 기반으로 한 동작을 수행하도록 구현될 수 있다. 예를 들어, 인공 지능 프로세서는 사용자 정보로서 "내일은 놀이 공원에 가려고 해."라는 텍스트 정보를 수신한 경우, 인공 지능 객체가 텍스트 정보에 대한 반응 동작 정보로서 "어떤 놀이 동산에 가려고 해", "재미있겠다, 놀이 기구는 뭘 타려고 해?"와 같은 음성 정보를 출력하도록 구현될 수 있다.
이러한 인공 지능 프로세서에 의해 생성되는 반응 동작 정보는 다양한 방법을 기반으로 결정될 수 있다.
음성 인식 센서(400)는 초기 음성 정보를 기준으로 사용자의 감정 상태도 추가적으로 판단할 수도 있다. 예를 들어, 음성 인식 센서(400)는 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기를 고려하여 사용자의 감정을 판단할 수 있다. 예를 들어, 사용자의 음성이 커지거나 사용자의 음성의 발화 속도가 빨라지는 경우, 사용자의 감정이 격해졌다고 판단하고 표정 인식 센서에 의해 판단된 사용자의 표정 카테고리와의 매칭 여부 및 감정의 정도에 대해 판단할 수 있다.
예를 들어, 사용자의 표정 카테고리가 화남으로 판단되는 경우, 음성 인식 센서(400)를 통해 입력되는 사용자 음성의 크기 및 사용자 음성의 빠르기가 추가적으로 고려되어 인공 지능 투명 디스플레이는 사용자의 감정의 정도(예를 들어, 화남의 정도)에 대한 구체적인 판단을 수행할 수 있다.
도 5는 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 5에서는 인공 지능 투명 디스플레이가 텍스트화된 사용자의 발화 음성에 대한 반응 동작 정보를 생성하기 위한 방법이 개시된다.
도 5를 참조하면, 인공 지능 투명 디스플레이와 연결된 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 수신하고, 대화 정보를 기반으로 기계 학습을 통해 반응 정보를 생성하도록 구현될 수 있다.
예를 들어, 인공 지능 투명 디스플레이 서버(500)는 기존에 존재하는 다양한 멀티미디어 정보로부터 대화 정보를 추출하고 추출된 대화 정보에 대한 기계 학습을 통해 반응 정보를 생성하여 데이터베이스를 형성할 수 있다. 인공 지능 투명 디스플레이 서버(500)는 사용자의 텍스트화된 사용자의 발화 음성을 수신하고, 기계 학습을 기반으로 구현된 데이터베이스를 기반으로 반응 동작 정보를 생성할 수 있다.
도 6은 본 발명의 실시예에 따른 인공 지능 투명 디스플레이의 동작을 나타낸 개념도이다.
도 6에서는 인공 지능 투명 디스플레이가 다양한 센서로부터 수집된 정보를 기반으로 반응 동작을 수행하는 방법이 개시된다.
도 6을 참조하면, 동작 인식 센서(600)는 사용자의 동작 정보를 수집할 수 있다. 동작 인식 센서(600)는 사용자의 동작을 인식하여 사용자의 동작 정보(650)를 생성하여 인공 지능 프로세서로 전송할 수 있다.
인공 지능 프로세서는 동작 인식 센서에 의해 센싱된 동작 정보(650)를 고려하여 반응 동작 정보를 생성할 수 있다. 예를 들어, 사용자의 팔의 움직임, 몸의 움직임에 대한 정보가 동작 정보(650)로서 생성될 수 있고, 동작 정보(650)는 반응 동작 정보를 생성하기 위해 고려될 수 있다.
예를 들어, 사용자가 어떠한 물건을 집는 동작, 음식을 먹거나 술을 마시는 동작 등이 동작 정보(650)로서 생성될 수 있고, 이러한 동작 정보(650)를 기반으로 인공 지능 투명 디스플레이는 반응 동작 정보를 생성할 수 있다. 또한, 인공 지능 프로세서는 사용자의 표정 정보 및 동작 정보(650)에 포함되는 사용자 동작의 패턴, 사용자 동작의 크기를 고려하여 사용자의 감정 정보를 판단할 수도 있다. 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 화남 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 화남의 정도를 추가적으로 판단하고 추가적으로 판단된 사용자의 화남의 정도에 따라 반응 동작 정보를 생성할 수 있다.
다른 예를 들어, 사용자의 표정 정보를 기반으로 사용자가 즐거움 상태로 판단되는 경우, 인공 지능 투명 디스플레이는 사용자의 동작 정보(650)를 추가적으로 고려하여 사용자의 즐거움의 정도를 추가적으로 판단하고, 추가적으로 판단된 사용자의 즐거움의 정도에 따라 반응 동작 정보를 생성할 수 있다.
이와 같은 인공 지능 투명 디스플레이의 동작 방법은 애플리케이션으로 구현되거나 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들일 수 있고, 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다.
컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
Claims (10)
- 인공 지능 투명 디스플레이의 동작 방법은,
상기 인공 지능 투명 디스플레이에 구현된 복수의 센서가 제1 사용자 정보를 센싱하는 단계;
상기 인공 지능 투명 디스플레이에 구현된 인공 지능 프로세서가 상기 제1 사용자 정보를 기반으로 반응 동작 정보를 생성하는 단계; 및
상기 인공 지능 투명 디스플레이에 구현된 투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 단계를 포함하고,
상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
상기 제1 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하고,
상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 사용자 얼굴 구성부의 움직임 및 사용자 얼굴 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하고,
상기 인공 지능 프로세서는 상기 반응 동작 정보에 대한 반응으로 제2 사용자 정보를 수신하고, 상기 제2 사용자 정보를 기반으로 상기 반응 동작 정보의 정오 여부에 대해 판단을 수행하고, 상기 정오 여부에 따라 상기 표정 정보를 결정하기 위한 분석 알고리즘 상에서 상기 사용자 얼굴 구성부에 대한 변화도 및 상기 사용자 얼굴 근육의 변화도를 조정하는 것을 특징으로 하는 방법. - 삭제
- 삭제
- 제1항에 있어서,
상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 사용자 음성 크기 및 사용자 음성 빠르기의 변화를 센싱하여 상기 표정 카테고리에 대응되는 사용자 감정의 세기를 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법. - 제4항에 있어서,
상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자 감정의 세기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 방법. - 인공 지능 투명 디스플레이는,
제1 사용자 정보를 센싱하도록 구현된 복수의 센서;
상기 제1 사용자 정보를 기반으로 반응 동작 정보를 생성하도록 구현되는 인공 지능 프로세서; 및
투명 디스플레이 상에서 출력되는 인공 지능 객체가 상기 반응 동작 정보에 따른 동작을 수행하는 인공 지능 객체를 출력하도록 구현되는 투명 디스플레이를 포함하되,
상기 복수의 센서는 안면 인식 센서, 음성 인식 센서 및 동작 인식 센서를 포함하고,
상기 제1 사용자 정보는 상기 안면 인식 센서에 의해 생성된 표정 정보, 상기 음성 인식 센서에 의해 생성된 음성 정보, 상기 동작 인식 센서에 의해 생성된 동작 정보를 포함하고,
상기 안면 인식 센서는 초기에 획득된 사용자의 기본 얼굴 표정 정보를 기준으로 사용자 얼굴 구성부의 움직임 및 사용자 얼굴 근육의 움직임을 분석하여 복수의 표정 카테고리 중 하나의 표정 카테고리를 상기 표정 정보로 결정하고,
상기 안면 인식 센서는 상기 사용자의 표정 변화 정도를 탐지하여 상기 표정 정보를 생성하기 위한 표정 변화 센싱 감도를 결정하고,
상기 인공 지능 프로세서는 상기 반응 동작 정보에 대한 반응으로 제2 사용자 정보를 수신하고, 상기 제2 사용자 정보를 기반으로 상기 반응 동작 정보의 정오 여부에 대해 판단을 수행하고, 상기 정오 여부에 따라 상기 표정 정보를 결정하기 위한 분석 알고리즘 상에서 상기 사용자 얼굴 구성부에 대한 변화도 및 상기 사용자 얼굴 근육의 변화도를 조정하는 것을 특징으로 하는 인공 지능 투명 디스플레이. - 삭제
- 삭제
- 제6항에 있어서,
상기 음성 인식 센서는 초기에 획득된 상기 사용자의 초기 음성 정보를 기반으로 상기 사용자의 음성에 대한 특징 정보를 추출하고, 상기 특징 정보를 기반으로 입력되는 소리 중 상기 사용자의 음성을 추출하고,
상기 인공 지능 투명 디스플레이는 상기 초기 음성 정보를 기반으로 변화된 사용자 음성 크기 및 사용자 음성 빠르기의 변화를 센싱하여 상기 표정 카테고리에 대응되는 사용자 감정의 세기를 판단하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이. - 제9항에 있어서,
상기 동작 인식 센서는 상기 사용자의 동작의 패턴 및 상기 사용자의 동작의 크기를 센싱하고,
상기 인공 지능 투명 디스플레이는 상기 동작의 패턴 및 상기 동작의 크기를 고려하여 상기 사용자 감정의 세기를 결정하여 상기 반응 동작 정보를 생성하는 것을 특징으로 하는 인공 지능 투명 디스플레이.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160063996A KR101904453B1 (ko) | 2016-05-25 | 2016-05-25 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
| EP16903242.2A EP3467616A4 (en) | 2016-05-25 | 2016-06-01 | METHOD FOR OPERATING A TRANSPARENT DISPLAY WITH ARTIFICIAL INTELLIGENCE AND TRANSPARENT DISPLAY WITH ARTIFICIAL INTELLIGENCE |
| PCT/KR2016/005807 WO2017204394A1 (ko) | 2016-05-25 | 2016-06-01 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
| US16/303,191 US20190187785A1 (en) | 2016-05-25 | 2016-06-01 | Method for operating artificial intelligence transparent display and artificial intelligence transparent display |
| JP2018562231A JP2019522273A (ja) | 2016-05-25 | 2016-06-01 | 人工知能透明ディスプレイ及びその動作方法 |
| CN201680086062.6A CN109313482A (zh) | 2016-05-25 | 2016-06-01 | 人工智能透明显示装置的运转方法及人工智能透明显示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160063996A KR101904453B1 (ko) | 2016-05-25 | 2016-05-25 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170133048A KR20170133048A (ko) | 2017-12-05 |
| KR101904453B1 true KR101904453B1 (ko) | 2018-10-04 |
Family
ID=60411705
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160063996A KR101904453B1 (ko) | 2016-05-25 | 2016-05-25 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20190187785A1 (ko) |
| EP (1) | EP3467616A4 (ko) |
| JP (1) | JP2019522273A (ko) |
| KR (1) | KR101904453B1 (ko) |
| CN (1) | CN109313482A (ko) |
| WO (1) | WO2017204394A1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10910001B2 (en) * | 2017-12-25 | 2021-02-02 | Casio Computer Co., Ltd. | Voice recognition device, robot, voice recognition method, and storage medium |
| EP3906508B1 (en) * | 2018-12-31 | 2024-03-13 | Intel Corporation | Securing systems employing artificial intelligence |
| CN110716641B (zh) * | 2019-08-28 | 2021-07-23 | 北京市商汤科技开发有限公司 | 交互方法、装置、设备以及存储介质 |
| KR102276951B1 (ko) * | 2019-09-19 | 2021-07-13 | 주식회사 세미콘네트웍스 | 목소리 및 얼굴 안면 감정값의 산출 방법 및 이를 이용한 인공지능 스피커의 출력 방법 |
| KR102433964B1 (ko) * | 2019-09-30 | 2022-08-22 | 주식회사 오투오 | 관계 설정을 이용한 실감형 인공지능기반 음성 비서시스템 |
| US20230066616A1 (en) * | 2020-05-21 | 2023-03-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | User interaction method and apparatus, device and medium |
| DK202070795A1 (en) * | 2020-11-27 | 2022-06-03 | Gn Audio As | System with speaker representation, electronic device and related methods |
| KR102378885B1 (ko) * | 2021-09-29 | 2022-03-28 | 주식회사 인피닉 | 발화자의 얼굴을 이용한 메타데이터 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
| KR102480291B1 (ko) * | 2022-10-07 | 2022-12-26 | 주식회사 토노베이션 | 안면인식을 통한 고객 맞춤 서비스 제공 시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH10289006A (ja) * | 1997-04-11 | 1998-10-27 | Yamaha Motor Co Ltd | 疑似感情を用いた制御対象の制御方法 |
| JP2001083984A (ja) * | 1999-09-09 | 2001-03-30 | Alpine Electronics Inc | インタフェース装置 |
| US20110118870A1 (en) * | 2007-09-06 | 2011-05-19 | Olympus Corporation | Robot control system, robot, program, and information storage medium |
| CN102077260B (zh) * | 2008-06-27 | 2014-04-09 | 悠进机器人股份公司 | 利用机器人的交互式学习系统和在儿童教育中操作该系统的方法 |
| KR101558553B1 (ko) * | 2009-02-18 | 2015-10-08 | 삼성전자 주식회사 | 아바타 얼굴 표정 제어장치 |
| US20120011477A1 (en) * | 2010-07-12 | 2012-01-12 | Nokia Corporation | User interfaces |
| US8743244B2 (en) * | 2011-03-21 | 2014-06-03 | HJ Laboratories, LLC | Providing augmented reality based on third party information |
| JP2013086226A (ja) * | 2011-10-20 | 2013-05-13 | Kyoto Sangyo Univ | コミュニケーションロボット |
| KR101793628B1 (ko) * | 2012-04-08 | 2017-11-06 | 삼성전자주식회사 | 투명 디스플레이 장치 및 그 디스플레이 방법 |
| US20140032466A1 (en) * | 2012-07-30 | 2014-01-30 | Boris Kaplan | Computer system of artificial intelligence of a cyborg or an android, wherein a received signal-reaction of the computer system of artificial intelligence of the cyborg or the android, an association of the computer system of artificial intelligence of the cyborg or the android, a thought of the computer system of artificial intelligence of the cyborg or the android are substantiated, and a working method of this computer system of artificial intelligence of a cyborg or an android |
| US10139937B2 (en) * | 2012-10-12 | 2018-11-27 | Microsoft Technology Licensing, Llc | Multi-modal user expressions and user intensity as interactions with an application |
| KR101978743B1 (ko) * | 2012-10-19 | 2019-08-29 | 삼성전자주식회사 | 디스플레이 장치, 상기 디스플레이 장치를 제어하는 원격 제어 장치, 디스플레이 장치 제어 방법, 서버 제어 방법 및 원격 제어 장치 제어 방법 |
| US9046884B2 (en) * | 2012-12-31 | 2015-06-02 | Microsoft Technology Licensing, Llc | Mood-actuated device |
| KR20140132246A (ko) * | 2013-05-07 | 2014-11-17 | 삼성전자주식회사 | 오브젝트 선택 방법 및 오브젝트 선택 장치 |
| KR20150009032A (ko) * | 2013-07-09 | 2015-01-26 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어방법 |
| KR20150057424A (ko) * | 2013-11-19 | 2015-05-28 | 한국전자통신연구원 | 증강현실 아바타 상호작용 방법 및 시스템 |
| US9554100B2 (en) * | 2014-09-30 | 2017-01-24 | Qualcomm Incorporated | Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor |
| AU2017210289B2 (en) * | 2016-01-19 | 2021-10-21 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
-
2016
- 2016-05-25 KR KR1020160063996A patent/KR101904453B1/ko active IP Right Grant
- 2016-06-01 CN CN201680086062.6A patent/CN109313482A/zh not_active Withdrawn
- 2016-06-01 JP JP2018562231A patent/JP2019522273A/ja active Pending
- 2016-06-01 WO PCT/KR2016/005807 patent/WO2017204394A1/ko unknown
- 2016-06-01 EP EP16903242.2A patent/EP3467616A4/en not_active Withdrawn
- 2016-06-01 US US16/303,191 patent/US20190187785A1/en not_active Abandoned
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104951077A (zh) * | 2015-06-24 | 2015-09-30 | 百度在线网络技术（北京）有限公司 | 基于人工智能的人机交互方法、装置和终端设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019522273A (ja) | 2019-08-08 |
| WO2017204394A1 (ko) | 2017-11-30 |
| EP3467616A4 (en) | 2020-01-15 |
| EP3467616A1 (en) | 2019-04-10 |
| CN109313482A (zh) | 2019-02-05 |
| KR20170133048A (ko) | 2017-12-05 |
| US20190187785A1 (en) | 2019-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101904453B1 (ko) | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 | |
| KR102446962B1 (ko) | 다수의 연령 및/또는 어휘 수준을 수용하는 자동화 어시스턴트 | |
| US10957325B2 (en) | Method and apparatus for speech interaction with children | |
| US10290222B2 (en) | Interactive tutorial with integrated escalating prompts | |
| US20090002325A1 (en) | System and method for operating an electronic device | |
| JP2011519429A (ja) | 言語能力開発のための方法およびデバイス | |
| US20190013092A1 (en) | System and method for facilitating determination of a course of action for an individual | |
| Wargnier et al. | Usability assessment of interaction management support in LOUISE, an ECA-based user interface for elders with cognitive impairment | |
| US20210151154A1 (en) | Method for personalized social robot interaction | |
| US8315552B2 (en) | Body interactively learning method and apparatus | |
| Geronazzo et al. | Creating an audio story with interactive binaural rendering in virtual reality | |
| Charness et al. | Designing products for older consumers: A human factors perspective | |
| WO2009090671A2 (en) | System and method to stimulate human genius | |
| US20220142535A1 (en) | System and method for screening conditions of developmental impairments | |
| US20140045158A1 (en) | System And Method For Associating Auditory Stimuli With Visual Depictions | |
| Lin et al. | Design guidelines of social-assisted robots for the elderly: a mixed method systematic literature review | |
| Levac et al. | A tablet-based interactive movement tool for pediatric rehabilitation: development and preliminary usability evaluation | |
| Ramadas et al. | Hypnotic computer interface (hypCI) using GEORGIE: An approach to design discrete voice user interfaces | |
| EP3576075A1 (en) | Operating a toy for speech and language assessment and therapy | |
| Campbell et al. | Word level stress and lexical processing in 17‐month‐old infants | |
| Ritschel | Real-time generation and adaptation of social companion robot behaviors | |
| WO2019190817A1 (en) | Method and apparatus for speech interaction with children | |
| Middendorf | Phonotrauma in children: Management and treatment | |
| Malzkuhn | Recognizing Highly Variable American Sign Language in Virtual Reality | |
| Shane et al. | AAC in the 21st century The outcome of technology: Advancements and amended societal attitudes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |