KR20190105536A - 선호도 기반 서비스 제공 시스템, 장치 및 방법 - Google Patents
선호도 기반 서비스 제공 시스템, 장치 및 방법 Download PDFInfo
- Publication number
- KR20190105536A KR20190105536A KR1020190104623A KR20190104623A KR20190105536A KR 20190105536 A KR20190105536 A KR 20190105536A KR 1020190104623 A KR1020190104623 A KR 1020190104623A KR 20190104623 A KR20190104623 A KR 20190104623A KR 20190105536 A KR20190105536 A KR 20190105536A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- preference
- electronic device
- service
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000004458 analytical method Methods 0.000 claims description 33
- 230000002996 emotional effect Effects 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 29
- 239000000284 extract Substances 0.000 claims description 20
- 238000009825 accumulation Methods 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 15
- 238000003062 neural network model Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 20
- 238000004422 calculation algorithm Methods 0.000 abstract description 17
- 238000010801 machine learning Methods 0.000 abstract description 16
- 230000008451 emotion Effects 0.000 description 27
- 230000006870 function Effects 0.000 description 24
- 238000013528 artificial neural network Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 22
- 230000008921 facial expression Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 230000001815 facial effect Effects 0.000 description 15
- 230000033001 locomotion Effects 0.000 description 14
- 238000013135 deep learning Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 230000005236 sound signal Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000001186 cumulative effect Effects 0.000 description 6
- 238000004590 computer program Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000009795 derivation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000007935 neutral effect Effects 0.000 description 2
- 238000012913 prioritisation Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000003925 brain function Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 235000021109 kimchi Nutrition 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G06N3/0454—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/176—Dynamic expression
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
- H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
- H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
- H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Signal Processing (AREA)
- Social Psychology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Psychiatry (AREA)
- Computer Graphics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
사물 인터넷을 위해 연결된 5G 환경에서 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여 선호도 기반 서비스 제공 시스템 및 장치를 동작시키는 선호도 기반 서비스 제공 방법이 개시된다. 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하는 단계와, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 단계와, 사용자의 선호도에 기초하여 전자 디바이스가 제공하는 서비스의 우선순위를 설정하는 단계와, 우선순위에 기초하여 전자 디바이스가 제공하는 서비스의 추천 목록을 제공하는 단계를 포함할 수 있다.
Description
본 발명은 선호도 기반 서비스 제공 시스템, 장치 및 방법에 관한 것으로, 더욱 상세하게는 전자 디바이스를 사용하는 사용자의 얼굴 정보에 기초해 분석한 사용자 선호도를 기반으로 하여 전자 디바이스의 서비스를 제공할 수 있도록 하는 선호도 기반 서비스 제공 시스템, 장치 및 방법에 관한 것이다.
최근에는 전세계적으로 아날로그 방송에서 디지털 방송으로 전환되는 추세에 있다. 아날로그 방송 환경과 달리, 디지털 방송 환경에서는 수십 개 내지는 수백 개에 이르는 채널을 통해 다양한 방송 데이터가 전송된다. 예를 들어, 디지털 TV 서비스의 종류인 IPTV(Internet Protocol Television), smart TV 서비스의 경우 사용자로 하여금 시청 프로그램의 종류, 시청 시간 등을 능동적으로 선택할 수 있도록 하는 양방향성을 제공한다.
선행기술 1은 사용자의 선호도에 따른 방송 장르를 계층화함으로써, 계층화된 사용자의 장르별 선호도를 방송자나 광고주에게 제공하는 시청 정보와 메타 데이터를 사용한 선호도 추론 방법에 대한 기술을 개시하고 있다.
즉, 선행기술 1은 사용자가 이전에 시청하였던 콘텐츠 빈도 및 히스토리를 기반으로 콘텐츠를 추천할 수 있도록 하는 것을 특징으로 한다. 그러나, 선행기술 1은 실제 콘텐츠 이용 시 사용자의 감정, 집중도 등을 파악할 수 없어 정확한 선호도 추출이 어렵다는 문제가 있다.
선행기술 2는 IT기기의 전방 카메라에서 영상을 획득하고 영상에서 사용자의 시선 정보(응시 시간, 응시 순서)를 분석하여 사용자 취향에 맞는 서비스를 추천하는 전방 카메라를 이용한 사용자 관심도 추적 및 분석 방법에 대한 기술을 개시하고 있다.
즉, 선행기술 2는 전방 카메라를 이용해 사용자의 관심도를 추적 및 분석하여 사용자 관심도에 맞는 서비스를 추천하는 것을 특징으로 한다. 그러나 선행기술 2는 사용자의 시선을 기반으로 관심도를 추천 및 분석하기 때문에, 사용자의 자세 등의 사용자 정보에 의해 시선이 달라지는 상황을 분석할 수 없어, 사용자 관심도 분석의 정확도가 떨어지는 문제가 있다.
전술한 배경기술은 발명자가 본 발명의 도출을 위해 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 기술 정보로서, 반드시 본 발명의 출원 전에 일반 공중에게 공개된 공지기술이라 할 수는 없다.
본 개시의 실시 예의 일 과제는, 전자 디바이스를 사용하는 사용자의 얼굴 정보에 기초해 분석한 사용자 선호도를 기반으로 하여 전자 디바이스의 서비스를 제공함으로써, 실제 사용자의 만족도를 반영하여 사용자가 최선의 서비스를 이용할 수 있도록 하는데 있다.
본 개시의 실시 예의 일 과제는, 전자 디바이스를 사용하는 사용자의 얼굴 정보를 트래킹하여 분석함으로써, 사용자 맞춤형 선호 서비스를 제공할 수 있도록 하여 선호도 기반 서비스 제공 장치의 성능을 향상시키는데 있다.
본 개시의 실시 예의 일 과제는, 전자 디바이스 전원 구동 또는 제공 서비스 요청 시, 선호도 기반 서비스를 추천하여 제공함으로써, 매번 사용자가 원하는 서비스를 검색해야 하는 번거로움을 해소할 수 있도록 하는데 있다.
본 개시의 실시 예의 일 과제는, 카메라를 구비한 전자 디바이스에 모두 적용 가능하여, 선호도 기반 서비스 제공 장치의 제품 활용성 및 경제성을 향상시키는데 있다.
본 개시의 실시 예의 일 과제는, 사용자 선호도 분석에 성별 및 나이 정보를 적용하여 선호도 기반 서비스 제공 장치의 제품 신뢰도 향상시키는데 있다.
본 개시의 실시 예의 일 과제는, 서비스를 요청한 시점에서의 사용자 감정에 대응하는 사용자 맞춤형 서비스를 제공함으로써, 선호도 기반 서비스 제공 장치의 커뮤니케이션 성능을 향상시키는데 있다.
본 개시의 실시 예의 일 과제는, 사용자의 얼굴 정보뿐만 아니라, 히스토리 정보 및 생체 신호 정보 중 하나 이상을 반영하여 우선순위를 설정함으로써, 사용자의 제품 이용 만족도를 향상시키는데 있다.
본 개시의 실시 예의 일 과제는, 인공지능 및/또는 기계학습 알고리즘을 이용하여 전자 디바이스의 제공 서비스의 선호도 기반 우선순위를 보다 정확하게 설정할 수 있도록 하여 선호도 기반 서비스 제공 장치의 성능을 향상시키는데 있다.
본 개시의 실시예의 목적은 이상에서 언급한 과제에 한정되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시 예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 알 수 있을 것이다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스를 사용하는 사용자의 얼굴 정보에 기초해 분석한 사용자 선호도를 기반으로 하여 전자 디바이스의 서비스를 제공하는 단계를 포함할 수 있다.
구체적으로 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하는 단계와, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 단계와, 사용자의 선호도에 기초하여 전자 디바이스가 제공하는 서비스의 우선순위를 설정하는 단계와, 우선순위에 기초하여 전자 디바이스가 제공하는 서비스의 추천 목록을 제공하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 통하여, 전자 디바이스를 실제 사용하는 사용자의 선호도에 기초하여 전자 디바이스의 서비스를 제공함으로써, 사용자의 만족도를 반영하여 사용자 맞춤 최선의 서비스를 제공할 수 있다.
또한, 사용자의 선호도를 분석하는 단계는, 사용자 영상 정보로부터 사용자의 얼굴 이미지 및 자세 이미지를 추출하는 단계와, 사용자의 얼굴 이미지 및 자세 이미지를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 추출하는 단계를 포함할 수 있다.
또한, 사용자의 선호도를 분석하는 단계는, 사용자 특성 정보 각각을 수치화하는 단계와, 일정 시간 동안 사용자 특성 정보 각각의 평균치를 합산하는 단계와, 사용자 특성 정보 각각의 평균치를 합산한 결과를 사용자의 선호도로 도출하는 단계를 포함할 수 있다.
또한, 사용자의 선호도를 분석하는 단계는, 사용자 영상 정보 중 얼굴 이미지 및 자세 이미지를 추출하는 단계와, 추출된 얼굴 이미지를 기초로 제 1 심층 신경망 모델을 이용하여 사용자의 감정 상태를 도출하는 단계와, 자세 이미지를 기초로 제 2 심층 신경망 모델을 이용하여 사용자의 집중도를 도출하는 단계와, 도출된 사용자의 감정 상태 및 집중도를 기초로 사용자의 선호도를 분석하는 단계를 포함하고, 제 1 심층 신경망 모델은 사람의 얼굴 이미지에 따라 사람의 감정 상태를 추정하도록 미리 훈련된 것이고, 제 2 심층 신경망 모델은 사람의 자세 이미지에 따라 사람의 집중도를 추정하도록 미리 훈련된 것일 수 있다.
또한, 우선순위를 설정하는 단계는, 사용자의 선호도가 높은 순서대로 우선순위를 설정하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 사용자의 선호도를 분석하는 단계와 우선순위를 설정하는 단계를 통하여, 전자 디바이스를 사용하는 사용자의 얼굴 정보를 트래킹하여 분석함으로써, 사용자 맞춤형 선호 서비스를 제공할 수 있도록 하여 제품 성능을 향상시킬 수 있으며, 사용자 선호도 분석에 성별 및 나이 정보를 적용하여 제품의 기능을 다양화시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스가 제공하는 서비스에 대한 요청을 사용자로부터 수신하는 단계와, 요청 시점에 사용자를 촬영한 사용자 영상 정보를 획득하는 단계와, 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 사용자의 감정 상태를 분석하는 단계를 더 포함할 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 통하여, 인공지능 및/또는 기계학습 알고리즘을 이용하여 전자 디바이스의 제공 서비스의 선호도 기반 우선순위를 보다 정확하게 설정할 수 있도록 함으로써, 선호도 기반 서비스 제공 장치의 커뮤니케이션 성능을 향상시킬 수 있다.
또한, 우선순위를 설정하는 단계는, 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보와, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득하는 단계와, 제1 히스토리 정보 및 제2 히스토리 정보를 반영하여 우선순위를 재조정하는 단계를 포함할 수 있다.
또한, 제1 히스토리 정보와 제2 히스토리 정보를 획득하는 단계는, 제1 히스토리 정보 및 제2 히스토리 정보에 포함되는 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 우선순위를 설정하는 단계와, 제1 히스토리 정보와 제2 히스토리 정보를 획득하는 단계를 통하여, 사용자의 얼굴 정보뿐만 아니라, 히스토리 정보를 반영하여 우선순위를 설정함으로써, 사용자의 제품 이용 만족도를 향상시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스를 이용 중인 사용자의 생체 신호 정보를 획득하는 단계를 더 포함할 수 있고, 사용자 선호도를 분석하는 단계는, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보와, 사용자의 생체 신호 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 통하여, 카메라를 구비한 전자 디바이스에 모두 적용 가능하되, 전자 디바이스 자체 기능에 의한 사용자 정보를 획득함으로써, 보다 다양한 데이터에 기초해 사용자 선호도를 분석할 수 있도록 하여 제품 정확도 및 활용성을 향상시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 방법은, 전자 디바이스에서 제공중인 서비스, 서비스가 제공되는 시점에서의 환경 정보, 사용자가 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 상태, 제공중인 서비스 이용 시 사용자의 선호도 도출 결과, 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보 및 사용자의 생체 신호 정보를 입력 데이터로 수신하는 단계와, 수신된 입력 데이터를, 사용자의 선호도 분석 결과에 따라 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위한 학습 모델에 적용하는 단계와, 학습 모델로부터 선호도 기반 서비스 추천 목록 데이터를 출력하는 단계를 포함하고, 학습 모델은, 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위해 복수의 기 입력된 입력 데이터 각각에 대응하여 기 산출된 사용자의 선호도 분석 결과와, 복수의 기 입력된 입력 데이터에 기초하여, 우선순위 설정에 따른 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하도록 학습된 것일 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치는, 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하는 획득부와, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 분석부와, 사용자의 선호도에 기초하여 전자 디바이스가 제공하는 서비스의 우선순위를 설정하는 우선순위 설정부와, 우선순위에 기초하여 전자 디바이스가 제공하는 서비스의 목록을 제공하는 제공부를 포함할 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치를 통하여, 전자 디바이스 전원 구동 또는 제공 서비스 요청 시, 선호도 기반 서비스를 추천하여 제공함으로써, 매번 사용자가 원하는 서비스를 검색해야 하는 번거로움을 해소시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치는, 사용자 영상 정보로부터 사용자의 얼굴 이미지 및 자세 이미지를 추출하는 얼굴 추출부와, 사용자의 얼굴 이미지 및 자세 이미지를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 추출하는 사용자 특성 추출부를 포함할 수 있다.
또한, 분석부는, 사용자 특성 정보 각각을 수치화하여 일정 시간 동안의 사용자 특성 정보 각각의 평균치를 합산하고, 사용자 특성 정보 각각의 평균치를 합산한 결과를 사용자의 선호도로 도출할 수 있다.
또한, 우선순위 설정부는, 사용자의 선호도가 높은 순서대로 우선순위를 설정할 수 있다.
본 개시의 일 실시 예에 따른 사용자 특성 추출부와 분석부와 우선순위 설정부를 통하여, 전자 디바이스를 사용하는 사용자의 얼굴 정보에 기초해 분석한 사용자 선호도를 기반으로 하여 전자 디바이스의 서비스를 제공함으로써, 실제 사용자의 만족도를 반영할 수 있으며, 전자 디바이스를 사용하는 사용자의 얼굴 정보를 트래킹하여 분석함으로써, 사용자 맞춤형 선호 서비스를 제공할 수 있도록 하여 제품 성능을 향상시킬 수 있다.
또한, 획득부는, 전자 디바이스가 제공하는 서비스에 대한 요청이 사용자로부터 수신되면, 요청 시점에 사용자를 촬영한 사용자 영상 정보를 획득하고, 분석부는, 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 사용자의 감정 상태를 분석할 수 있다.
본 개시의 일 실시 예에 따른 획득부를 통하여, 전자 디바이스가 제공하는 서비스를 요청한 시점에서의 사용자 감정을 파악하여 사용자 감정에 대응하는 서비스를 제공함으로써, 선호도 기반 서비스 제공 장치의 커뮤니케이션 성능을 향상시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치는, 사용자 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보와, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득하는 히스토리 획득부를 더 포함할 수 있고, 우선순위 설정부는, 제1 히스토리 정보 및 제2 히스토리 정보를 반영하여 우선순위를 재조정할 수 있다.
또한, 히스토리 획득부는, 제1 히스토리 정보 및 제2 히스토리 정보에 포함되는 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득할 수 있다.
본 개시의 일 실시 예에 따른 히스토리 획득부와 우선순위 설정부를 통하여, 인공지능 및/또는 기계학습 알고리즘을 이용하여 전자 디바이스의 제공 서비스의 선호도 기반 우선순위를 보다 정확하게 설정할 수 있도록 하여 선호도 기반 서비스 제공 장치의 성능을 향상시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치는, 전자 디바이스를 이용 중인 사용자의 생체 신호 정보를 획득하는 생체신호 수신부를 더 포함할 수 있고, 분석부는, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보와, 사용자의 생체 신호 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치를 통하여, 사용자의 얼굴 정보뿐만 아니라, 히스토리 정보 및 생체 신호 정보 중 하나 이상을 반영하여 우선순위를 설정함으로써, 사용자의 제품 이용 만족도를 향상시킬 수 있다.
또한, 본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 장치는, 전자 디바이스에서 제공중인 서비스, 서비스가 제공되는 시점에서의 환경 정보, 사용자가 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 상태, 제공중인 서비스 이용 시 사용자의 선호도 도출 결과, 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보 및 사용자의 생체 신호 정보를 입력 데이터로 수신하는 학습 입력부와, 수신된 입력 데이터를, 사용자의 선호도 분석 결과에 따라 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위한 학습 모델에 적용하는 러닝 프로세서와, 학습 모델로부터 선호도 기반 서비스 추천 목록 데이터를 출력하는 학습 출력부를 포함하고, 학습 모델은, 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위해 복수의 기 입력된 입력 데이터 각각에 대응하여 기 산출된 사용자의 선호도 분석 결과와, 복수의 기 입력된 입력 데이터에 기초하여, 우선순위 설정에 따른 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하도록 학습된 것일 수 있다.
본 개시의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템은, 사용자가 이용하는 전자 디바이스와, 사용자를 촬영하는 카메라와, 전자 디바이스 및 카메라와 통신하는 서버를 포함하고, 서버는, 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하여, 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보를 기초로 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하고, 사용자의 선호도를 기초로 전자 디바이스가 제공하는 서비스의 우선순위를 설정하여 우선순위를 기초로 전자 디바이스가 제공하는 서비스의 추천 목록을 제공할 수 있다.
이 외에도, 본 발명의 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 개시의 실시 예에 의하면, 전자 디바이스를 사용하는 사용자의 얼굴 정보에 기초해 분석한 사용자 선호도를 기반으로 하여 전자 디바이스의 서비스를 제공함으로써, 실제 사용자의 만족도를 반영하여 사용자 맞춤형 최선의 서비스를 제공할 수 있다.
또한, 전자 디바이스를 사용하는 사용자의 얼굴 정보를 트래킹하여 분석함으로써, 사용자 맞춤형 선호 서비스를 제공할 수 있도록 하여 선호도 기반 서비스 제공 장치의 성능을 향상시킬 수 있다.
또한, 전자 디바이스 전원 구동 또는 제공 서비스 요청 시, 선호도 기반 서비스를 추천하여 제공함으로써, 매번 사용자가 원하는 서비스를 검색해야 하는 번거로움이 해소될 수 있도록 하여 사용자 만족도를 향상시킬 수 있다.
또한, 카메라를 구비한 전자 디바이스에 모두 적용 가능하여, 선호도 기반 서비스 제공 장치의 제품 활용성 및 경제성을 향상시킬 수 있다.
또한, 사용자 선호도 분석에 성별 및 나이 정보를 적용하여 우선순위를 설정함으로써, 선호도 기반 서비스 제공 장치의 제품 신뢰도 향상시킬 수 있다.
또한, 사용자 선호도 및 제공 서비스 요청 시 사용자 감정을 기반으로 하여 사용자 맞춤형 서비스를 제공함으로써, 선호도 기반 서비스 제공 장치의 커뮤니케이션 성능을 향상시킬 수 있다.
또한, 사용자의 얼굴 정보뿐만 아니라, 히스토리 정보 및 생체 신호 정보 중 하나 이상을 반영하여 우선순위를 설정함으로써, 사용자의 제품 이용 만족도를 향상시킬 수 있다.
또한, 인공지능 및/또는 기계학습 알고리즘을 이용하여 전자 디바이스의 제공 서비스의 선호도 기반 우선순위를 보다 정확하게 설정할 수 있도록 하여 선호도 기반 서비스 제공 장치의 성능을 향상시킬 수 있다.
또한, 선호도 기반 서비스 제공 장치 자체는 대량 생산된 획일적인 제품이지만, 사용자는 선호도 기반 서비스 제공 장치를 개인화된 장치로 인식하므로 사용자 맞춤형 제품의 효과를 낼 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치, 전자 디바이스, 사용자 단말기, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 선호도 기반 서비스 제공 시스템 환경의 예시도이다.
도 2는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 개략적인 블록도이다.
도 4는 도 3의 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치 중 처리부의 개략적인 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 사용자 특성 정보 추출 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 선호도 분석 방법을 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 서비스 제공 화면을 개략적으로 나타낸 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 생체 신호 정보 획득 방법을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 학습 방법을 설명하기 위한 개략적인 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 도시한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 우선순위 재조정 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템을 개략적으로 설명하기 위하여 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 개략적인 블록도이다.
도 4는 도 3의 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치 중 처리부의 개략적인 블록도이다.
도 5는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 사용자 특성 정보 추출 방법을 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 선호도 분석 방법을 설명하기 위한 예시도이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 서비스 제공 화면을 개략적으로 나타낸 예시도이다.
도 9는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 생체 신호 정보 획득 방법을 설명하기 위한 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 학습 방법을 설명하기 위한 개략적인 블록도이다.
도 11은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 도시한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 우선순위 재조정 방법을 도시한 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치, 전자 디바이스, 사용자 단말기, 서버 및 이들을 서로 연결하는 네트워크를 포함하는 선호도 기반 서비스 제공 시스템 환경의 예시도이다.
도 1을 참조하면, 선호도 기반 서비스 제공 시스템(1)환경은 선호도 기반 서비스 제공 장치(100), 전자 디바이스(200), 사용자 단말기(300), 서버(400) 및 네트워크(500)를 포함하여 구성될 수 있다.
선호도 기반 서비스 제공 장치(100)는 소정의 공간, 예를 들어 가정, 회사, 병원 등에서 전자 디바이스(200)에 부착된 카메라를 통해 전자 디바이스(200)에 대한 사용자의 선호도를 분석하여 사용자의 선호도를 기반으로 하는 전자 디바이스(200)의 서비스를 제공할 수 있는 장치이다. 본 실시 예에서, 전자 디바이스(200)는 소정의 공간에 구비되는 모든 전자 디바이스(200) 중 어느 하나를 포함할 수 있으며, 특히 음성인식, 인공지능 등이 구현 가능한 단말, 오디오 신호 및 비디오 신호 중 하나 이상을 출력하는 단말 등을 포함할 수 있다. 예를 들어, 전자 디바이스(200)는 TV(210), 냉장고(220), AI스피커(230), 로봇 청소기(240) 등을 포함할 수 있다. 즉, 본 실시 예에서, 선호도 기반 서비스 제공 장치(100)는 전자 디바이스(200)에 적용되어, 사용자의 선호도를 기반으로 하는 전자 디바이스(200)의 서비스 및 서비스의 목록을 제공할 수 있다. 예를 들어, 선호도 기반 서비스 제공 장치(100)가 TV(210)에 적용된 경우, 본 실시 예에서는, 사용자가 TV(210)의 전원을 켜면, 사용자 선호도를 기반으로 하여 설정한 우선순위가 높은 순서대로 추천 채널 목록을 제공할 수 있다. 또한, 선호도 기반 서비스 제공 장치(100)가 AI스피커(230)에 적용된 경우, 본 실시 예에서는, 사용자가 AI스피커(230)의 기동어를 발화하면 사용자 선호도에 기초한 우선순위가 가장 높은 서비스(예를 들어, 오늘의 날씨 정보 제공 서비스, 오늘의 미세먼지 정보 제공 서비스 등)를 제공할 수 있다. 즉, 본 실시 예에서, 전자 디바이스(200)가 제공하는 서비스는, 사용자에게 제공 가능한 편의 정보 관점의 서비스와 전자 디바이스(200)의 기능 관점의 서비스를 포함할 수 있다.
이때, 선호도 기반 서비스 제공 장치(100)는 전자 디바이스(200)의 상단 측에 설치되는 것이 바람직하나, 이에 한정되지 않고 사용자의 얼굴을 촬영하기 용이한 위치에 설치될 수 있다. 본 실시 예에서 전자 디바이스(200)를 상술한 단말로 한정하고 있으나, 이에 국한되지 않고 다양한 홈 어플라이언스(예를 들어, 세탁기, 건조기, 의류 처리 장치, 에어컨, 김치 냉장고 등)를 포함할 수 있다. 다만, 선호도 기반 서비스 제공 장치(100)는 소정의 공간 내 구비되는 모든 전자 디바이스(200) 중 어느 하나에 적용될 수 있으나, 본 실시 예에서는, TV(210)에 적용되는 것을 실시 예로 하여 설명하도록 한다.
도 2는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치를 개략적으로 설명하기 위하여 도시한 도면이다. 도 2를 참조하면, 본 실시 예에서, 선호도 기반 서비스 제공 장치(100)는 TV(210)의 상단 측에 설치되어, TV(210)를 시청하는 사용자를 촬영한 사용자 영상 정보에 기초하여 분석한 사용자 선호도를 기반으로 하는 서비스를 제공할 수 있도록 할 수 있다. 한편, 본 실시 예에서 TV(210)는 멀티미디어 디바이스를 의미할 수 있다. 멀티미디어 디바이스는, 예를 들어 방송 수신 기능에 컴퓨터 지원 기능을 추가한 네트워크 TV로서, 방송 수신 기능에 충실하면서도 인터넷 기능 등이 추가되어, 수기 방식의 입력 장치, 터치 스크린 또는 공간 리모컨 등 보다 사용에 편리한 인터페이스를 구비할 수 있다. 그리고 멀티미디어 디바이스는, 유선 또는 무선 인터넷 기능의 지원으로 인터넷 및 컴퓨터에 접속되어, 이메일, 웹브라우징, 뱅킹 또는 게임 등의 기능도 수행 가능하도록 할 수 있다. 이러한 다양한 기능을 위해 표준화된 범용 운영체제(operating system, OS)가 사용될 수 있다. 따라서, 본 실시 예에서 기술되는 멀티미디어 디바이스는, 예를 들어, 범용의 운영체제 커널(kernel) 상에 다양한 어플리케이션이 자유롭게 추가되거나 삭제 가능할 수 있으며, 이에 사용자 친화적인 다양한 기능이 수행되도록 할 수 있다.
한편, 본 실시 예에서, TV(210)는 방송 수신부(미도시), 외부장치 인터페이스부(미도시), 사용자입력 인터페이스부(미도시), 무선 통신부(미도시), 디스플레이부(미도시), 오디오 출력부(미도시), 전원공급부(미도시)를 포함할 수 있다. 그리고 방송 수신부는 튜너(미도시), 복조부(미도시) 및 네트워크 인터페이스부(미도시)를 포함할 수 있다. 튜너는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있고, 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다. 또한, 튜너는 사용자 입력에 대응되는 채널 번호에 대응되는 주파수 대역에서 비디오, 오디오 및 데이터를 수신할 수 있다. 그리고 튜너는 지상파 방송, 케이블 방송, 또는, 위성 방송 등과 같이 다양한 소스에서부터 방송 신호를 수신할 수 있다. 튜너는 다양한 소스에서부터 아날로그 방송 또는 디지털 방송 등과 같은 소스로부터 방송 신호를 수신할 수도 있다. 튜너는 TV(210)와 일체형(all-in-one)으로 구현되거나 또는 TV(210)와 전기적으로 연결되는 튜너 유닛을 가지는 별개의 장치(예를 들어, 셋톱박스(set-top box), 포트에 연결되는 튜너)로 구현될 수 있다. 튜너는 유선 또는 무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 TV(210)에서 수신하고자 하는 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 방송 신호는 비디오(video), 오디오(audio) 및 부가 데이터(예를 들어, EPG(Electronic Program Guide)를 포함할 수 있다.
복조부는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다. 외부장치 인터페이스부는 인접하는 외부 장치 내의 어플리케이션 또는 어플리케이션 목록을 수신하여, TV(210)에 전달할 수 있다. 외부장치 인터페이스부는 TV(210)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부장치 인터페이스부는 TV(210)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여, TV(210)로 전달할 수 있다. 외부장치 인터페이스부는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
또한, 외부장치 인터페이스부를 통해 입력된 외부장치의 영상 신호는 디스플레이부를 통해 출력될 수 있다. 외부장치 인터페이스부를 통해 입력된 외부장치의 음성 신호는 오디오 출력부를 통해 출력될 수 있다. 외부장치 인터페이스부에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 시어터 중 어느 하나일 수 있으나, 이에 한정되지 않는다. 네트워크 인터페이스부는 TV(210)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부는 접속된 네트워크(500) 또는 접속된 네트워크(500)에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 디바이스와 데이터를 송신 또는 수신할 수 있다. 또한, 네트워크 인터페이스부는 접속된 네트워크(500) 또는 접속된 네트워크(500)에 링크된 다른 네트워크를 통해, 소정 웹페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다. 그리고, 네트워크 인터페이스부는 콘텐츠 제공자 또는 네트워크 운영자가 제공하는 콘텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부는 네트워크를 통하여 콘텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 콘텐츠 및 그와 관련된 정보를 수신할 수 있다. 또한, 네트워크 인터페이스부는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 콘텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
이와 같이, 본 실시 예에서, TV(210)는 방송 수신부를 통해 수신한 방송 신호에 따른 방송 프로그램 콘텐츠를 재생시킬 수 있다. 또한, TV(210)는 외부장치로부터 수신한 외부 신호에 대응한 다른 종류의 콘텐츠도 재생시킬 수 있다. 외부 신호는 네트워크 인터페이스를 통해 수신할 수 있다. 또한, 네트워크 인터페이스는 외부장치로부터 콘텐츠 및 콘텐츠 메타 데이터를 수신할 수 있다. 이때, 콘텐츠는 비디오 데이터, 오디오 데이터, 이미지 데이터 및 텍스트 데이터 중 적어도 하나를 포함할 수 있다. 또한, 콘텐츠의 메타 데이터는 콘텐츠의 종류, 콘텐츠가 방송되는 채널의 번호, 채널의 이름, 콘텐츠의 이름, 방송 시간, 콘텐츠에 소개되는 장소, 콘텐츠가 촬영된 장소, 콘텐츠에 등장하는 적어도 한 명의 출연자 및 콘텐츠에 소개되는 음악 중 적어도 하나를 포함할 수 있다. 더 나아가, 콘텐츠의 메타 데이터는 콘텐츠 식별 정보, 콘텐츠가 디스플레이되는 TV(210)에 대한 데이터, 콘텐츠를 실행시킬 사용자에 대한 데이터, 네트워크를 통해 전송될 경우, 이를 구분하기 위한 데이터 및 실행 여부 정보 중 적어도 하나를 더 포함할 수 있다.
한편, 본 실시 예에서 선호도 기반 서비스 제공 장치(100)는 제어를 위해 사용자로부터 서비스 제공 요청을 수신할 수 있다. 선호도 기반 서비스 제공 장치(100)가 사용자로부터 서비스 제공 요청을 수신하는 방법은, 사용자로부터 UI(User Interface)에 대한 터치(또는 버튼 입력) 신호를 수신하는 경우, 사용자로부터 서비스 요청에 대응하는 발화 음성을 수신하는 경우 등을 포함할 수 있다. 이때, UI는 본 실시 예의 입력부(도 3의 150)에 포함될 수 있고, 사용자 단말기(300)에 포함될 수도 있다. 또한 발화 음성을 수신은, 별도 마이크가 구비되어 음성 인식 기능이 실행될 수 있으며, 선호도 기반 서비스 제공 장치(100)가 설치된 전자 디바이스(200)의 음성인식 기능에 의해 구현 가능할 수도 있다. 즉, UI는 TV(210)의 사용자입력 인터페이스부에 의해 구현 가능할 수 있다.
사용자 단말기(300)는 선호도 기반 서비스 제공 시스템 작동 어플리케이션 또는 선호도 기반 서비스 제공 시스템 작동 사이트에 접속한 후 인증 과정을 통하여 선호도 기반 서비스 제공 시스템(1)의 작동 또는 제어를 위한 서비스를 제공받을 수 있다. 본 실시 예에서 인증 과정을 마친 사용자 단말기(300)는 선호도 기반 서비스 제공 시스템(1)을 작동시키고, 선호도 기반 서비스 제공 장치(100)의 동작을 제어할 수 있다.
본 실시 예에서 사용자 단말기(300)는 사용자가 조작하는 데스크 탑 컴퓨터, 스마트폰, 노트북, 태블릿 PC, 스마트 TV, 휴대폰, PDA(personal digital assistant), 랩톱, 미디어 플레이어, 마이크로 서버, GPS(global positioning system) 장치, 전자책 단말기, 디지털방송용 단말기, 네비게이션, 키오스크, MP3 플레이어, 디지털 카메라, 가전기기 및 기타 모바일 또는 비모바일 컴퓨팅 장치일 수 있으나, 이에 제한되지 않는다. 또한, 사용자 단말기(300)는 통신 기능 및 데이터 프로세싱 기능을 구비한 시계, 안경, 헤어 밴드 및 반지 등의 웨어러블 단말기 일 수 있다. 사용자 단말기(300)는 상술한 내용에 제한되지 아니하며, 웹 브라우징이 가능한 단말기는 제한 없이 차용될 수 있다.
서버(400)는 각종 인공 지능 알고리즘을 적용하는데 필요한 빅데이터와, 선호도 기반 서비스 제공 시스템(1)을 동작시키는 데이터를 제공하는 데이터베이스 서버일 수 있다. 그 밖에 서버(400)는 사용자 단말기(300)에 설치된 선호도 기반 서비스 제공 시스템 작동 어플리케이션 또는 선호도 기반 서비스 제공 시스템 작동 웹 브라우저를 이용하여 선호도 기반 서비스 제공 시스템(1)의 동작을 원격에서 제어할 수 있도록 하는 웹 서버 또는 어플리케이션 서버를 포함할 수 있다. 여기서 인공 지능(artificial intelligence, AI)은, 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 의미할 수 있다.
또한, 인공 지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접적으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공 지능적 요소를 도입하여, 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.
머신 러닝(machine learning)은 인공 지능의 한 분야로, 컴퓨터에 명시적인 프로그램 없이 배울 수 있는 능력을 부여하는 연구 분야를 포함할 수 있다. 구체적으로 머신 러닝은, 경험적 데이터를 기반으로 학습을 하고 예측을 수행하고 스스로의 성능을 향상시키는 시스템과 이를 위한 알고리즘을 연구하고 구축하는 기술이라 할 수 있다. 머신 러닝의 알고리즘들은 엄격하게 정해진 정적인 프로그램 명령들을 수행하는 것이라기보다, 입력 데이터를 기반으로 예측이나 결정을 이끌어내기 위해 특정한 모델을 구축하는 방식을 취할 수 있다.
한편, 본 실시 예에서, 선호도 기반 서비스 제공 시스템(1)은 사용자가 이용하는 전자 디바이스(200)와, 사용자를 촬영하는 선호도 기반 서비스 제공 장치(100)의 카메라(도 3의 비전 카메라 센서를 의미할 수 있음)와, 전자 디바이스(200) 및 카메라와 통신하는 서버(400)를 포함할 수 있다. 이때 서버(400)는 전자 디바이스(200)를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하여 사용자 영상 정보(얼굴 이미지 및 자세 이미지)를 기초로 전자 디바이스(200)가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다. 또한 서버(400)는 사용자의 선호도를 기초로 전자 디바이스(200)가 제공하는 서비스의 우선순위를 설정하여 우선순위를 기초로 전자 디바이스(200)가 제공하는 서비스의 추천 목록을 제공할 수 있다.
즉, 서버(400)는 선호도 기반 서비스 제공 시스템(1)으로부터 서비스 요청 정보를 수신하여 분석하고, 서비스 요청 정보에 대응하는 서비스 응답 정보를 생성하여 선호도 기반 서비스 제공 시스템(1)으로 전송할 수 있다. 특히, 서버(400)는 선호도 기반 서비스 제공 장치(100)로부터 전자 디바이스(200)를 이용 중인 사용자를 촬영한 사용자 영상 정보를 수신하고, 사용자 영상 정보에 기초해 전자 디바이스(200)가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다. 그리고 서버(400)는 사용자의 선호도에 기초하여 전자 디바이스(200)가 제공하는 서비스의 우선순위를 설정하여 전자 디바이스(200)에 제공할 수 있다. 또한 서버(400)는 선호도 기반 서비스 제공 시스템(1)으로부터 사용자의 서비스 요청에 대응하는 발화 음성을 수신하고, 음성 인식 처리를 통하여 발화 음성의 처리 결과를 서비스 응답 정보로 생성하여 선호도 기반 서비스 제공 시스템(1)으로 제공할 수 있다. 여기서, 선호도 기반 서비스 제공 장치(100)의 프로세싱 능력에 따라, 선호도 기반 서비스 제공 장치(100) 내에서 상술한 사용자의 서비스 요청에 대응하는 발화 음성을 인식 처리하고 그 처리 결과를 서비스 응답 정보로 생성할 수도 있다.
네트워크(500)는 선호도 기반 서비스 제공 장치(100)와, 전자 디바이스(200)와, 사용자 단말기(300)와, 서버(400)를 연결하는 역할을 수행할 수 있다. 이러한 네트워크(500)는 예컨대 LANs(local area networks), WANs(Wide area networks), MANs(metropolitan area networks), ISDNs(integrated service digital networks) 등의 유선 네트워크나, 무선 LANs, CDMA, 블루투스, 위성 통신 등의 무선 네트워크를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 또한 네트워크(500)는 근거리 통신 및/또는 원거리 통신을 이용하여 정보를 송수신할 수 있다. 여기서 근거리 통신은 블루투스(bluetooth), RFID(radio frequency identification), 적외선 통신(IrDA, infrared data association), UWB(ultra-wideband), ZigBee, Wi-Fi(Wireless fidelity) 기술을 포함할 수 있고, 원거리 통신은 CDMA(code division multiple access), FDMA(frequency division multiple access), TDMA(time division multiple access), OFDMA(orthogonal frequency division multiple access), SC-FDMA(single carrier frequency division multiple access) 기술을 포함할 수 있다.
네트워크(500)는 허브, 브리지, 라우터, 스위치 및 게이트웨이와 같은 네트워크 요소들의 연결을 포함할 수 있다. 네트워크(500)는 인터넷과 같은 공용 네트워크 및 안전한 기업 사설 네트워크와 같은 사설 네트워크를 비롯한 하나 이상의 연결된 네트워크들, 예컨대 다중 네트워크 환경을 포함할 수 있다. 네트워크(500)에의 액세스는 하나 이상의 유선 또는 무선 액세스 네트워크들을 통해 제공될 수 있다. 더 나아가 네트워크(500)는 사물 등 분산된 구성 요소들 간에 정보를 주고받아 처리하는 IoT(Internet of Things, 사물인터넷) 망 및/또는 5G 통신을 지원할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 개략적인 블록도이다. 이하의 설명에서 도 1 및 도 2에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 3을 참조하면, 선호도 기반 서비스 제공 장치(100)는 통신부(110), 비전카메라센서(120), 생체감지센서(130), 메모리(140), 입력부(150), 출력부(160), 처리부(170) 및 제어부(180)를 포함할 수 있다.
통신부(110)는 네트워크(500)와 연동하여 선호도 기반 서비스 제공 장치(100), 전자 디바이스(200), 사용자 단말기(300) 및/또는 서버(400) 간의 송수신 신호를 패킷 데이터 형태로 제공하는데 필요한 통신 인터페이스를 제공할 수 있다. 또한, 통신부(110)는 각종 사물 지능 통신(IoT(internet of things), IoE(internet of everything), IoST(internet of small things) 등)을 지원할 수 있으며, M2M(machine to machine) 통신, V2X(vehicle to everything communication) 통신, D2D(device to device) 통신 등을 지원할 수 있다.
비전카메라센서(120)는 전자 디바이스(200)에 구비되어, 전자 디바이스(200)를 이용 중인 사용자를 촬영할 수 있다. 즉 비전카메라센서(120)는 사람이 눈으로 보고하는 작업을 카메라와 컴퓨터로 대신할 수 있도록 센서를 의미할 수 있다. 즉 비전카메라센서(120)로부터 얻은 영상 정보를 컴퓨터(또는 제어부)가 분석 처리하도록 할 수 있다. 다만, 본 실시 예에서, 비전카메라센서(120)는 촬영만을 수행하는 카메라센서를 포함할 수도 있다. 본 실시 예에서, 비전카메라센서(120)는 전자 디바이스(200)를 이용 중인 사용자를 촬영해, 사용자 영상 정보에서 추출되는 얼굴 정보에 기초하여 사용자 특성 정보를 추출할 수 있도록 할 수 있다. 이때, 본 실시 예에서는, 비전카메라센서(120) 및 후술하는 생체감지센서(130), 그리고 음성 인식 센서(미도시) 등의 센서를 통해 사용자 특성 정보를 획득하여 사용자를 식별할 수 있다. 예를 들어, 본 실시 예에서는, 사용자의 얼굴, 지문, 홍채, 음성 톤, 음성 크기 등과 같은 사용자 특성 정보를 이용하여 사용자를 식별할 수 있다. 사용자의 얼굴이나 음성 톤 등을 이용하여 사용자를 식별하는 구체적인 방법은 공지의 방법들이 사용될 수 있으며, 이에 자세한 설명은 생략하도록 한다.
생체감지센서(130)는 전자 디바이스(200)를 이용 중인 사용자의 생체 신호를 감지하여 사용자의 생체 신호 정보를 획득하는 것으로, 전자 디바이스(200) 및/또는 전자 디바이스(200) 제어를 위한 디바이스(예를 들어, 리모컨)에 구비될 수 있다. 또한, 생체감지센서(130)는 예를 들어 통신 기능 및 데이터 프로세싱 기능을 구비한 웨어러블 형태의 사용자 단말기(300)에 구비될 수 있다. 생체감지센서(130)는 열 감지 센서, 지문 감지 센서, 홍채 감지 센서, 맥박 감지 센서 등 사용자의 생체 신호를 감지하는 센서를 포함할 수 있으며, 이에 한정되지 않는다. 본 실시 예에서는, 이러한 생체감지센서(130)에서 획득한 생체 신호 정보를 반영하여 사용자 선호도를 분석할 수 있도록 하고, 사용자를 식별할 수 있도록 할 수 있다.
메모리(140)는 선호도 기반 서비스 제공 시스템(1)의 다양한 기능을 지원하는 정보를 저장할 수 있다. 메모리(430)는 선호도 기반 서비스 제공 시스템(1)에서 구동되는 다수의 응용 프로그램(application program 또는 어플리케이션(application)), 선호도 기반 서비스 제공 시스템(1)의 동작을 위한 정보들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신 통해 외부 서버로부터 다운로드 될 수 있다. 또한, 메모리(140)는 선호도 기반 서비스 제공 시스템(1)과 인터랙션을 수행하려는 한 명 이상의 사용자 정보를 저장할 수 있다. 이러한 사용자 정보는 인식된 사용자가 누구인지 식별하는데 사용될 수 있는 얼굴 정보 및 체형 정보(예를 들어, 비전카메라센서(120)에 의해 촬영)와, 음성 정보 등을 포함할 수 있다.
또한, 메모리(140)는 선호도 기반 서비스 제공 시스템(1)을 구동시킬 수 있는 기동어가 저장되어 있어서, 사용자가 기동어를 발화하면 처리부(170)에서 이를 인식하여 비활성화 상태였던 선호도 기반 서비스 제공 시스템(1)을 활성화 상태로 변경할 수 있다. 또한 메모리(140)는 사용자의 음성 명령(예를 들어, 선호도 기반 서비스 제공 시스템(1)을 제어하기 위한 명령어 등)에 대응하여 선호도 기반 서비스 제공 시스템(1)이 수행해야 할 작업 정보 등을 저장할 수 있다. 또한 본 실시 예에서, 메모리(140)는 선호도 기반 서비스 제공 시스템(1)의 전체 동작 정보와, 전자 디바이스(200)의 성능 정보와, 해당 사용자임을 특정할 수 있는 사용자의 특성 정보(예를 들어, 얼굴 정보, 음성 정보 등)와, 특정 사용자의 경우 제공할 전자 디바이스(200)의 서비스 등을 저장할 수 있다. 여기서, 전자 디바이스(200) 성능 정보는, 출력 세기 정보, 채널 수 정보, 그 외 구동 성능을 나타내는 다양한 정보 등을 포함할 수 있다.
본 실시 예에서 메모리(140)는 제어부(180)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(140)는 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. 이러한 메모리(140)는 내장 메모리 및/또는 외장 메모리를 포함할 수 있으며, DRAM, SRAM, 또는 SDRAM 등과 같은 휘발성 메모리, OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, NAND 플래시 메모리, 또는 NOR 플래시 메모리 등과 같은 비휘발성 메모리, SSD, CF(compact flash) 카드, SD 카드, Micro-SD 카드, Mini-SD 카드, Xd 카드, 또는 메모리 스틱(memory stick) 등과 같은 플래시 드라이브, 또는 HDD와 같은 저장 장치를 포함할 수 있다.
본 실시 예에서, 입력부(150)는 선호도 기반 서비스 제공 시스템(1)의 정보 획득을 위한 입력 수단을 모두 포함할 수 있다. 예를 들어, 음성 인식을 위한 마이크(미도시), 사용자 입력 UI(미도시) 등을 포함할 수 있다. 마이크는, 제어부(180)의 제어 하에, 선호도 기반 서비스 제공 장치(100)를 향하여 사용자가 발화한 발화 음성을 입력 받을 수 있다. 또한 본 실시 예에서는, 사용자의 발화 음성을 더 정확하게 수신하기 위해 복수의 마이크를 구비할 수 있다. 여기서, 복수의 마이크 각각은 서로 다른 위치에 이격되어 배치될 수 있고, 수신한 사용자의 발화 음성을 전기적인 신호로 처리할 수 있다. 본 실시 예에서는 마이크를 통해 수신한 사용자의 발화 음성의 음성 인식을 수행하기 위하여 음성인식부(미도시)를 포함할 수 있다. 음성인식부는 사용자의 발화 음성을 수신하는 과정에서 발생하는 노이즈를 제거하기 위한 다양한 노이즈 제거 알고리즘을 사용할 수 있다. 선택적 실시 예로 음성인식부는 사용자의 발화 음성 수신 시에 노이즈를 제거하는 필터(미도시), 필터에서 출력되는 신호를 증폭하여 출력하는 증폭기(미도시) 등 음성 신호 처리를 위한 각종 구성 요소들을 포함할 수 있다. 한편, 마이크는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 입력을 위한 입력 수단은 제한 없이 차용될 수 있다.
사용자 입력 UI는 사용자가 선호도 기반 서비스 제공 시스템(1)의 전체 동작 및 제어와 관련한 정보를 입력할 수 있는 구성이다. 즉, 사용자와의 인터페이스를 위한 구성이다. 따라서, 본 실시 예에서는, 입력부(150)를 통해 선호도 기반 서비스 제공 시스템(1)에서 제공하는 전자 디바이스 서비스를 선택 및 설정할 수 있다.
한편, 본 실시 예에서, 출력부(160)는 선호도 기반 서비스 제공 시스템(1)의 정보 출력을 위한 출력 수단을 모두 포함할 수 있다. 예를 들어, 스피커(미도시), 출력 UI(미도시) 등을 포함할 수 있다. 스피커는, 선호도 기반 서비스 제공 시스템(1)의 동작과 관련한 정보를 청각 데이터로 출력할 수 있다. 즉 스피커는 선호도 기반 서비스 제공 시스템(1)의 동작과 관련한 정보를 오디오 데이터로 출력할 수 있는데, 제어부(180)의 제어에 따라 경고음, 동작모드, 동작상태, 에러상태 등의 알림 메시지와, 사용자의 음성 명령에 대응하는 정보, 사용자 음성 명령에 대응하는 처리 결과 등을 오디오로 출력할 수 있다. 또한 스피커는 제어부(180)로부터의 전기 신호를 오디오 신호로 변환하여 출력할 수 있다. 그리고 스피커는 선호도 기반 서비스 제공 장치(100)와 유/무선 통신 가능한 기기로부터의 오디오 신호(예를 들어, 음악 재생 등)를 출력할 수 있다. 한편, 스피커는 일 실시 예로, 그 위치 및 구현 방법이 한정되지 않으며, 오디오 신호 출력을 위한 출력 수단을 모두 포함할 수 있다.
출력 UI는 사용자가 선호도 기반 서비스 제공 시스템(1)의 전체 동작 및 제어와 관련한 정보를 출력할 수 있는 구성이다. 즉, 사용자와의 인터페이스를 위한 구성이다. 따라서, 본 실시 예에서는, 출력부(160)를 통해 선호도 기반 서비스 제공 시스템(1)의 전자 디바이스 제공 서비스 등을 출력할 수 있다.
즉, UI는 사용자 입력 UI와 출력 UI를 포함할 수 있으며, 사용자가 선호도 기반 서비스 제공 시스템(1)과 관련한 정보를 입력할 수 있을 뿐만 아니라, 선호도 기반 서비스 제공 시스템(1)과 관련한 정보를 확인할 수 있는 구성이다. 다시 말해, UI는 사용자와의 인터페이스를 위한 구성이다. 본 실시 예에서, UI는 선호도 기반 서비스 제공 시스템(1)의 컨트롤을 위해 입력 및 출력이 가능한 컨트롤패널을 의미할 수 있다. 이를 위해 UI는 터치 인식 디스플레이 제어기 또는 이외의 다양한 입출력 제어기로 구성될 수 있다. 일 예로, 터치 인식 디스플레이 제어기는 장치와 사용자 사이에 출력 인터페이스 및 입력 인터페이스를 제공할 수 있다. 터치 인식 디스플레이 제어기는 전기 신호를 제어부(180)와 송수신할 수 있다. 또한, 터치 인식 디스플레이 제어기는 사용자에게 시각적인 출력을 표시하며, 시각적 출력은 텍스트, 그래픽, 이미지, 비디오와 이들의 조합을 포함할 수 있다. 이와 같은 UI는 예를 들어 터치 인식이 가능한 OLED(organic light emitting display) 또는 LCD(liquid crystal display) 또는 LED(light emitting display)와 같은 소정의 디스플레이 부재일 수 있다.
한편, 본 실시 예에서, 입력부(150) 및 출력부(160)는 사용자 단말기(도 1의 300) 및/또는 전자 디바이스(도 1의 200)에서 구현 가능할 수 있다. 예를 들어, 본 실시 예에서는, 사용자 단말기의 선호도 기반 서비스 제공 시스템 작동 어플리케이션 또는 선호도 기반 서비스 제공 시스템 작동 사이트에 접속 화면을 통해 사용자 입력 및 정보 출력 등이 가능하도록 할 수 있다. 또한 전자 디바이스 자체에서 사용자 입력 및 정보 출력 등이 가능하도록 할 수 있다.
처리부(170)는 선호도 기반 서비스 제공 시스템(1)으로 전자 디바이스(200)를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하고, 사용자 영상 정보(얼굴 이미지 및 자세 이미지)에 기초하여 전자 디바이스(200)가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다. 그리고 처리부(170)는 사용자의 선호도에 기초하여 전자 디바이스(200)가 제공하는 서비스의 우선순위를 설정하고, 우선순위에 기초하여 전자 디바이스(200)가 제공하는 서비스의 추천 목록을 제공할 수 있다.
본 실시 예에서 처리부(170)는 도 3에 도시된 바와 같이 제어부(180)의 외부에 구비될 수도 있고, 제어부(180) 내부에 구비되어 제어부(180)처럼 동작할 수도 있으며, 도 1의 서버(400) 내부에 구비될 수도 있다. 이하 처리부(170)의 상세한 동작은 도 4를 참조하여 설명하기로 한다.
제어부(180)는 일종의 중앙처리장치로서 메모리(140)에 탑재된 제어 소프트웨어를 구동하여 선호도 기반 서비스 제공 시스템(1) 전체의 동작을 제어할 수 있다. 본 실시 예에서, 제어부(180)는 비전카메라센서(120)를 통해 전자 디바이스(200)를 이용 중인 사용자를 촬영하고, 촬영한 사용자 영상 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다. 그리고 제어부(180)는 사용자의 선호도에 기초하여 전자 디바이스(200)가 제공하는 서비스의 우선순위를 설정하고, 설정한 우선순위에 기초하여 통신부(110) 및/또는 출력부(160)를 통해 전자 디바이스(200)의 서비스, 즉 전자 디바이스(200)의 서비스의 추천 목록을 제공할 수 있다. 또한, 제어부(180)는 생체감지센서(130)를 통해 전자 디바이스(200)를 이용 중인 사용자의 생체 신호 정보를 획득하여, 사용자 영상 정보에 생체 신호 정보를 반영하여 사용자 선호도를 분석할 수 있다. 이때 제어부(180)는 입력부(150)를 통해 사용자로부터 선호도를 직접 입력 받을 수도 있다. 또한 제어부(180)는 입력부(150)를 통해 전자 디바이스(200)가 제공하는 서비스를 선택 입력 받을 수 있다.
여기서, 제어부(180)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
본 실시 예에서 제어부(180)는 선호도 기반 서비스 제공 시스템(1)의 얼굴 정보(얼굴 이미지 및 자세 이미지) 추출, 사용자 특성 정보 추출, 사용자 선호도 분석, 우선순위 설정, 음성 명령어 획득, 음성 명령어에 대응하는 선호도 기반 서비스 제공 시스템(1)의 동작 및 사용자 맞춤 동작 등에 대하여 딥러닝(Deep Learning) 등 머신 러닝(machine learning)을 수행할 수 있고, 메모리(140)는, 머신 러닝에 사용되는 데이터, 결과 데이터 등을 저장할 수 있다.
머신 러닝의 일종인 딥러닝(deep learning) 기술은 데이터를 기반으로 다단계로 깊은 수준까지 내려가 학습할 수 있다. 딥러닝은 단계를 높여갈수록 복수의 데이터들로부터 핵심적인 데이터를 추출하는 머신 러닝 알고리즘의 집합을 나타낼 수 있다.
딥러닝 구조는 인공신경망(ANN)을 포함할 수 있으며, 예를 들어 딥러닝 구조는 CNN(convolutional neural network), RNN(recurrent neural network), DBN(deep belief network) 등 심층신경망(DNN)으로 구성될 수 있다. 본 실시 예에 따른 딥러닝 구조는 공지된 다양한 구조를 이용할 수 있다. 예를 들어, 본 발명에 따른 딥러닝 구조는 CNN, RNN, DBN 등을 포함할 수 있다. RNN은, 자연어 처리 등에 많이 이용되고 있으며, 시간의 흐름에 따라 변하는 시계열 데이터(time-series data) 처리에 효과적인 구조로 매 순간마다 레이어를 쌓아올려 인공신경망 구조를 구성할 수 있다. DBN은 딥러닝 기법인 RBM(restricted boltzman machine)을 다층으로 쌓아 구성되는 딥러닝 구조를 포함할 수 있다. RBM 학습을 반복하여, 일정 수의 레이어가 되면 해당 개수의 레이어를 가지는 DBN을 구성할 수 있다. CNN은 사람이 물체를 인식할 때 물체의 기본적인 특징들을 추출한 다음 뇌 속에서 복잡한 계산을 거쳐 그 결과를 기반으로 물체를 인식한다는 가정을 기반으로 만들어진 사람의 뇌 기능을 모사한 모델을 포함할 수 있다.
한편, 인공신경망의 학습은 주어진 입력에 대하여 원하는 출력이 나오도록 노드간 연결선의 웨이트(weight)를 조정(필요한 경우 바이어스(bias) 값도 조정)함으로써 이루어질 수 있다. 또한, 인공신경망은 학습에 의해 웨이트(weight) 값을 지속적으로 업데이트시킬 수 있다. 또한, 인공신경망의 학습에는 역전파(back propagation) 등의 방법이 사용될 수 있다.
즉 선호도 기반 서비스 제공 시스템(1)에는 인공신경망(artificial neural network)이 탑재될 수 있으며, 즉 제어부(180)는 인공신경망, 예를 들어, CNN, RNN, DBN 등 심층신경망(deep neural network: DNN)을 포함할 수 있다. 따라서 제어부(180)는 선호도 기반 서비스 제공 시스템(1)의 얼굴 정보(얼굴 이미지 및 자세 이미지) 추출, 사용자 특성 정보 추출, 사용자 선호도 분석, 우선순위 설정, 음성 명령어 획득, 음성 명령어에 대응하는 선호도 기반 서비스 제공 시스템(1)의 동작 및 사용자 맞춤 동작을 위해 심층신경망을 학습할 수 있다. 이러한 인공신경망의 머신 러닝 방법으로는 자율학습(unsupervised learning)과 지도학습(supervised learning)이 모두 사용될 수 있다. 제어부(180)는 설정에 따라 학습 후 인공신경망 구조를 업데이트시키도록 제어할 수 있다.
도 4는 도 3의 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치 중 처리부의 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 3에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다. 도 4를 참조하면, 처리부(170)는 획득부(171), 얼굴 추출부(172), 사용자 특성 추출부(173), 분석부(174), 우선순위 설정부(175), 제공부(176), 분류부(177), 히스토리 획득부(178) 및 생체신호 수신부(179)를 포함할 수 있다.
획득부(171)는 전자 디바이스(도 1의 200)를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득할 수 있다. 즉 본 실시 예에서 획득부(171)는 전자 디바이스에 설치된 비전카메라센서(도 3의 120)를 통해 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득할 수 있다. 이때 사용자 영상 정보는, 사용자의 얼굴 이미지 및 자세 이미지를 포함할 수 있으며, 그 외 전자 디바이스의 전면 측에 위치한 비전카메라센서를 통해 해당 전자 디바이스를 사용하는 사용자의 얼굴, 신체, 몸짓 등을 촬영한 영상을 포함할 수 있다. 다만 전자 디바이스로부터의 사용자의 위치는 이에 한정되지는 않는다. 또한 이때의 사용자는 식별 가능한 등록 사용자일 수 있고, 기등록된 사용자가 아닐 수도 있다. 그리고 사용자가 등록 사용자일 경우, 복수의 사용자 중 한 명일 수 있으며, 이에 본 실시 예에서는, 복수의 등록 사용자 중 한 명의 사용자를 식별하여 사용자 영상 정보를 획득할 수 있다.
얼굴 추출부(172)는 사용자 영상 정보로부터 얼굴 정보를 추출할 수 있다. 본 실시 예에서, 얼굴 추출부(172)는 획득부(171)에서 획득한 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보, 즉 비전카메라센서로 촬영한 사용자 영상 정보로부터 얼굴 이미지 및 자세 이미지를 추출할 수 있다. 이때 얼굴 추출부(172)는 사용자 영상 정보에 객체 감지(object detection), 예를 들어 얼굴 추출 또는 얼굴 인식 알고리즘을 적용하여 사용자의 얼굴 정보를 추출할 수 있다. 객체 감지는, 영상(또는 이미지)에서 객체의 인스턴스를 찾아내는 프로세스에 의한 객체 식별 기술이다. 또한 객체 감지는, 딥러닝을 통해 실행되는 경우 이미지에서 객체를 식별할 뿐만 아니라 위치까지 파악되는 객체 인식의 서브셋이라고 할 수 있다. 한편, 객체 감지 알고리즘과 관련된 기술은 이미 공지된 것이므로 상세한 설명은 생략하기로 한다.
본 실시 예에서, 얼굴 추출부(172)는 전자 디바이스 중 TV(도 1의 210)를 시청하는 사용자 영상 정보를 획득하여 사용자 영상 정보에서 얼굴 부분을 추출할 수 있다. 이때 사용자 영상 정보에 복수의 사람이 포함되어 있는 경우, 얼굴 추출부(172)는 등록된 사용자의 얼굴을 식별하여 해당 사용자의 얼굴 정보만을 추출할 수 있다. 예를 들어, 얼굴 추출부(172)는 사용자 영상 정보에서 복수의 사람의 얼굴을 모두 추출하고, 메모리(140)에 저장된 사용자의 얼굴 정보와 비교하여 사용자를 식별한 후 사용자의 얼굴 정보만을 추출할 수 있다. 다만 본 실시 예에서 얼굴 추출부(172)는 복수의 사람이 포함된 사용자 영상 정보로부터 복수의 사람의 각각의 얼굴 정보를 추출할 수도 있다. 여기서 얼굴 정보는, 얼굴 크기 정보, 얼굴의 특징(눈, 코, 입 등)의 위치 및 크기 정보, 얼굴 표정 정보, 얼굴 방향 정보, 눈과 관련된 정보로 홍채 크기 정보 등을 포함할 수 있다. 또한 얼굴 정보는, 사용자의 얼굴 촬영 영상과 같이, 얼굴 크기 정보, 얼굴의 특징의 위치 및 크기 정보, 얼굴 표정 정보, 얼굴 방향 정보, 눈과 관련된 정보 등을 포함하는 다양한 콘텐츠가 예시될 수 있으며, 이에 따른 얼굴 정보는 하나 이상의 영상 프레임을 포함할 수 있다. 또한 얼굴 정보는 2차원 영상뿐만 아니라 3차원 영상 정보를 포함할 수 있다. 3차원 영상의 경우에는 가상현실 장치와 같은 복합 장치로부터 얼굴 정보가 획득될 수 있으며, 이 경우 얼굴 정보에는 안구 인식, 얼굴 근육 센서, 음성 인식, 모션 마우스 동작 및 신체 인식 등과 같은 다양한 부가 정보가 더 포함될 수 있다.
사용자 특성 추출부(173)는 얼굴 추출부(172)에서 추출한 얼굴 정보를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 추출할 수 있다. 사용자 특성 추출부(173)는 예를 들어, 얼굴 정보에 감정 분류를 위한 분류기(classification)를 적용하여 감정 상태를 분석하고, 얼굴 랜드마크(face landmark) 및 비전 알고리즘(vision algorithm)을 적용하여 집중도를 분석할 수 있으며, 멀티 레이블 분류기(multi label classification)을 적용하여 성별 및 나이를 분석할 수 있다. 즉 본 실시 예에서, 사용자 특성 추출부(173)는 AI solution(예를 들어, emotion, face landmark, skeleton, gender/age, face orientation, gaze tracking 등)을 적용하여 얼굴 정보에서 사용자 특성 정보를 추출할 수 있다. 본 실시 예에서, 사용자 특성 추출부(173)는 도 5를 참조하여 보다 구체적으로 설명하도록 한다.
도 5는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 사용자 특성 정보 추출 방법을 설명하기 위한 예시도이다. 도 5를 참조하면, 사용자 특성 추출부(173)는 추출된 얼굴 정보에 포함되는 얼굴 이미지, 특히 얼굴 생김새에 대한 정보에 기초하여 얼굴 표정 정보를 추출하고 얼굴 표정 정보에 대응하는 사용자의 감정 상태를 추정할 수 있다. 또한 사용자 특성 추출부(173)는 추출된 얼굴 정보에 포함되는 자세 이미지, 특히 얼굴 움직임에 대한 정보에 기초하여 사용자의 전자 디바이스(또는 전자 디바이스에서 제공하는 서비스)에 대한 집중도를 추정할 수 있다. 그리고 사용자 특성 추출부(173)는 성별 및 나이 분류를 위한 학습 모델을 통해 사용자의 얼굴 정보에서 성별 및 나이를 추정할 수 있다.
보다 구체적으로 살펴보면, 사용자 특성 추출부(173)는 예를 들어, 눈썹(A), 눈(B), 입(C) 등의 얼굴 생김새 정보에 기초하여 얼굴 표정 정보를 분석할 수 있는데, 본 실시 예에서는 메모리에 저장된 감정 카테고리별 기준 얼굴 표정 정보에 기초하여 분석할 수 있다. 즉, 사용자 특성 추출부(173)는 예를 들어, 눈썹, 눈, 입 각각의 특징점을 추출하고, 특징점의 위치, 특징점의 움직임 벡터 등을 통해 눈썹, 눈, 입의 모양을 분석하여 기준 얼굴 표정 정보와의 비교 분석을 통해 얼굴 표정 정보를 분석할 수 있다. 예를 들어, 사용자 특성 추출부(173)는 입 꼬리의 위치에 대응하는 특징점이 위로 향하는 입모양이 분석되면 얼굴 표정 정보를 웃는 표정(긍정적인 표정)이라고 분석할 수 있고, 입 꼬리의 위치에 대응하는 특징점이 아래로 향하는 입모양이 분석되면 얼굴 표정 정보를 부정적인 표정이라고 분석할 수 있다. 여기서 얼굴 표정 정보는 예를 들어 긍적적인 표정에 대응하는 얼굴 생김새 정보의 특징점 위치와 움직임 벡터, 부정적인 표정에 대응하는 얼굴 생김새 정보의 특징점 위치와 움직임 벡터, 중립적인 표정에 대응하는 얼굴 생김새 정보의 특징점 위치와 움직임 벡터 등을 포함할 수 있다. 또한 감정 카테고리는 예를 들어, 중립(neutral), 행복(happy), 슬픔(sad), 화남(angry), 경멸(contempt), 싫음(disgust), 두려움(fear), 놀람(surprise) 등을 포함할 수 있다. 이때 얼굴 표정 정보의 분류 및 감정 카테고리의 분류는 이에 한정되지 않으며 보다 세부적으로 분류될 수 있다.
사용자 특성 추출부(173)는 예를 들어, 시선 방향, 얼굴 방향, 홍채 크기 등의 얼굴 움직임 정보에 기초하여 집중도를 분석할 수 있는데, 본 실시 예에서는 메모리에 저장된 기준 얼굴 움직임 지표에 기초하여 분석할 수 있다. 이때 기준 얼굴 움직임 지표는 예를 들어, 홍채 방향, 홍채 크기, 얼굴 방향에 각각 대응되는 집중도를 나타내는 수치를 포함할 수 있다. 또한, 예를 들어, 본 실시 예에서는, 얼굴 방향이 정면을 기준으로 0ㅀ인 경우 집중도 수치를 90%로 산출할 수 있고, 얼굴 방향이 정면을 기준으로 ㅁ15ㅀ인 경우 집중도 수치를 80%로 산출할 수 있다. 그리고 사용자 특성 추출부(173)는 사람마다 각각 눈의 크기 및 홍채의 크기가 다르기 때문에, 사용자의 홍채 크기 및 눈의 크기를 산출할 수 있다. 홍채는 집중 시에 팽창(크기가 커짐)하고, 산만 시에 수축(크기가 작아짐)하는 특징이 있어, 사용자 특성 추출부(173)는 홍채의 크기로 집중도의 수치를 알 수 있다. 즉 본 실시 예에서는 예를 들어 홍채 방향, 홍채 크기, 얼굴 방향 각각에 해당하는 집중도 수치를 종합하여 집중도 수치를 산출할 수 있다. 본 실시 예에서는 집중도 수치를 백분율로 표시하고 있으나, 표시 방법은 이에 한정되지 않는다.
한편, 전자 디바이스(예를 들어, TV)를 이용하는 중에는, 사용자의 감정 및 집중도가 변화할 수 있다. 예를 들어, 방송 중인 프로그램이 재미있거나 가슴 따뜻한 장면을 보여주는 경우, 사용자는 정면을 응시하며 웃는 얼굴을 나타낼 수 있으며, 이때 사용자가 느끼는 감정은 행복감 또는 즐거움에 해당할 수 있고 집중도가 높다고 할 수 있다. 반면 방송 중인 프로그램이 따분하거나 사용자를 화나게 하는 장면을 보여주는 경우, 사용자는 무표정한 얼굴로 아래 또는 옆을 바라볼 수 있다. 이때 사용자가 느끼는 감정은 따분함 또는 화남에 해당할 수 있고 집중도가 낮다고 할 수 있다. 이와 같이 사용자의 감정 및 집중도는 얼굴 표정뿐만 아니라, 다양한 사용자의 움직임 또는 발화되는 음성 등을 통해서도 파악될 수 있다. 즉 본 실시 예에서는 얼굴 표정, 시선 방향, 얼굴 방향 등을 종합적으로 분석하여 사용자의 감정 및 집중도를 파악할 수 있고, 더 나아가 음성, 시선, 눈동작, 제스쳐 등을 포함하여 종합적인 분석을 통해 사용자의 감정 및 집중도를 파악할 수 있다. 다만, 사용자의 감정 및 집중도를 분석하는 요소는 이에 한정되지 않고 사람의 감정을 표현할 수 있는 다양한 요소들이 포함될 수 있다. 이때 사용자의 감정 및 집중도는 고정되는 것이 아니라, 시간이 흘러감에 따라 변하기 때문에, 방송되는 프로그램의 내용에 따라 변화되는 사용자의 얼굴을 촬영한 복수의 프레임들 간에는 시간에 따라 변화되는 감정 및 집중도의 변화량이 나타날 수 있다. 즉 사용자 특성 추출부(173)는 미리 설정한 일정 시간 동안의 사용자 특성 정보를 추출하거나 선택하여 분석할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 선호도 분석 방법을 설명하기 위한 예시도이다. 도 6을 참조하면, 분석부(174)는 사용자 영상 정보에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석할 수 있다. 즉 분석부(174)는 사용자 특성 추출부(173)에서 추출한 사용자 특성 정보를 수치화하고 이를 통해 사용자의 선호도를 분석할 수 있다. 한편, 상술한 바와 같이 사용자 특성 정보는 시간에 따라 변화할 수 있기 때문에, 본 실시 예에서 분석부(174)는 일정 시간 동안의 사용자 특성 정보 각각의 평균치를 합산하고, 사용자 특성 정보 각각의 평균치를 합산한 결과를 사용자의 선호도로 도출할 수 있다. 예를 들어, 분석부(174)는 소프트맥스(softmax) 함수에서 도출되는 컨피던스(confidence)를 이용하여 사용자의 감정에 대한 수치를 산출할 수 있고, 집중도 수치는 시선 방향, 얼굴 방향 등의 수치를 0~1 범위의 수치로 산출할 수 있다. 또한 본 실시 예에서는 성별 및 나이에 대해서도 기설정된 알고리즘에 의해 수치로 산출될 수 있다. 이때, 분석부(174)는 감정 상태, 집중도, 성별 및 나이 각각의 값들에 가중치를 부여하여 합산할 수 있다. 예를 들어, 본 실시 예에서는 감정 수치에 대해 0.5, 집중도 수치에 대해 0.4, 그리고 성별 및 나이 수치에 대해 0.1의 가중치를 부여할 수 있다. 따라서 본 실시 예에서는, 예를 들어 전자 디바이스에서 제공하는 콘텐츠 종류 또는 서비스 종류에 따라 추출된 감정 수치, 집중도 수치 및 성별 및 나이 수치에 가중치를 부여하여 합산함으로써 선호도를 산출할 수 있다. 도 6을 참조하면 C 콘텐츠 종류(또는 서비스 종류)의 선호도가 가장 높은 것을 알 수 있다. 이때 감정 수치, 집중도 수치, 성별 및 나이 수치 각각에 부여되는 가중치는 변경 가능할 수 있다.
우선순위 설정부(175)는 분석부(174)에서 분석한 사용자의 선호도에 기초하여 전자 디바이스(200)가 제공하는 서비스의 우선순위를 설정할 수 있다. 이때, 우선순위 설정부(175)는 사용자의 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 예를 들어, 본 실시 예에서, 전자 디바이스(200)가 TV(210)인 경우, 우선순위 설정부(175)는 TV(210)에서 방송되는 프로그램에 대하여 해당 콘텐츠, 콘텐츠의 장르, 콘텐츠의 종류, 이외의 콘텐츠의 세부 정보 각각을 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 또한 우선순위 설정부(175)는 TV에서 제공되는 방송 채널과 채널의 분야 등 채널 자체에 대해서도 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 더 나아가 우선순위 설정부(175)는 시간, 날씨, 날짜, 성별 및 나이에 따라서 콘텐츠 및 채널을 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 즉 우선순위 설정부(175)는 TV에서 제공되는 분류 가능한 모든 서비스 항목에 대해서 선호도에 대한 분석 결과를 입력 받아 선호도가 높은 순서대로 우선순위를 설정하여 메모리에 저장할 수 있으며, 이를 종합적으로 분석하여 우선순위를 설정하고 재조정할 수 있다.
제공부(176)는 우선순위 설정부(175)에서 설정한 우선순위에 기초하여 전자 디바이스에서 제공하는 서비스의 목록을 제공할 수 있다. 즉 제공부(176)는 우선순위가 높은 순서대로 서비스 목록을 제공할 수 있다. 다만 이에 한정되는 것은 아니며, 우선순위가 가장 높은 서비스를 제공할 수도 있다. 예를 들어, 제공부(176)는 전자 디바이스가 TV인 경우, 우선순위에 기초해 추천 채널 목록을 제공하여 사용자가 선호도가 높은 채널을 빠르고 편리하게 선택할 수 있도록 할 수 있다. 이때 제공부(176)는 출력부(도 3의 160)를 통해 우선순위에 대응하는 전자 디바이스의 서비스를 제공할 수 있다. 예를 들어, 제공부(176)는 TV 화면을 통해 우선순위에 대응하는 채널을 제공할 수 있다. 이때, 제공부(176)는 사용자로부터 전자 디바이스가 제공하는 서비스에 대한 요청이 수신되면, 우선순위에 대응하는 전자 디바이스의 서비스를 제공할 수 있다. 예를 들어, 사용자가 TV의 전원을 켜거나 추천 채널 제공을 요청한 경우, 선호도가 높은 콘텐츠가 방영되고 있는 채널을 추천 채널로 제공하거나, 선호도가 높은 채널을 추천 채널로 제공할 수 있다. 즉, 서비스에 대한 요청은, 사용자가 전자 디바이스의 전원을 켜거나, 추천 서비스를 제공받기 위한 동작을 수행하는 것을 포함할 수 있다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 서비스 제공 화면을 개략적으로 나타낸 예시도이다. 도 7 및 도 8을 참조하면, 제공부(176)는 추천 채널 영역(161)을 통해 우선순위에 대응하는 채널을 제공할 수 있다. 제공부(176)는 도 7에 도시된 바와 같이 가장 선호도가 높은, 즉 첫 번째 우선순위인 채널을 추천 채널 영역(161)을 통해 제공할 수 있다. 그리고 제공부(176)는 도 8에 도시된 바와 같이 선호도가 높은 순서대로, 즉 첫 번째부터 네 번째까지의 우선순위 채널목록을 추천 채널 영역(161)을 통해 제공할 수 있다. 이때 본 실시 예에서는 추천 채널 영역(161)에 채널 미리 보기를 슬라이드 쇼 형식으로 제공할 수 있으나, 제공 형식이 이에 한정되는 것은 아니다. 또한 본 실시 예에서, 추천 채널 영역(161)에 제공 가능한 추천 채널의 수는 설정에 따라 변경 가능할 수 있다. 따라서, 본 실시 예에서는, 도 7에 도시된 바와 같이 추천 채널 영역(161)이 한 칸으로 구성된 경우에도, 슬라이드 쇼 형식으로 우선순위 채널목록을 제공할 수 있다. 한편, 전자 디바이스가 예를 들어 AI스피커(도 1의 230)인 경우, 제공부(176)는 사용자가 AI스피커를 구동시켰을 때 AI스피커의 제공 서비스 중 우선순위가 높은 서비스를 실행하거나, 추천할 수 있다. 이와 같이 TV 이외의 전자 디바이스에서는 우선순위에 대응하는 서비스를 바로 실행하거나 추천할 수 있으며, 해당 전자 디바이스의 디스플레이 화면이나 음성을 통해 서비스를 추천할 수 있다.
본 실시 예에서, 분류부(177)는 예를 들어, TV에서 방송되는 프로그램의 해당 콘텐츠, 콘텐츠의 장르, 콘텐츠의 종류, 이외의 콘텐츠의 세부 정보 각각에 대하여 우선순위를 설정하기 위해, TV에서 방송되는 프로그램의 해당 콘텐츠, 콘텐츠의 장르, 콘텐츠의 종류, 이외의 콘텐츠의 세부 정보 각각에 대한 정보와, 선호도에 대한 분석 결과를 메모리에 저장할 수 있다. 또한, 분류부(177)는 예를 들어, TV에서 제공되는 방송 채널과 채널의 분야 등 채널 자체에 대한 우선순위를 설정하기 위해, TV에서 제공되는 방송 채널과 채널의 분야 등 채널 자체에 대한 정보와, 선호도에 대한 분석 결과를 메모리에 저장할 수 있다. 즉 본 실시 예에서, 분류부(177)는 TV뿐만 아니라 전자 디바이스에서 제공되는 분류 가능한 모든 서비스 항목(콘텐츠, 채널, 기능 등)과, 해당 항목에 대한 사용자의 선호도 분석 결과를 분류하여 저장할 수 있다.
또한, 분류부(177)는 서비스가 제공되는 시점에서의 환경 정보와, 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 정보를 저장할 수 있다. 여기서, 서비스가 제공되는 시점에서의 환경 정보는, 시간, 장소, 날짜, 날씨 등을 포함할 수 있다. 즉 본 실시 예에서는, 예를 들어, 사용자가 TV의 전원을 켰을 때의 사용자의 감정 상태에 기초하여, 해당 감정 상태일 때 선호도가 높았던 콘텐츠가 방영 중인 채널을 추천 채널로 제공할 수 있다. 또한, 본 실시 예에서는, 사용자의 감정 정보, 시간, 장소, 날씨 등 모든 정보를 반영하여 우선순위를 설정 및 재조정할 수 있다. 다시 말해, 분류부(177)는 전자 디바이스에서 제공중인 서비스, 서비스가 제공되는 시점에서의 환경 정보, 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 정보와, 제공중인 서비스 이용 시 사용자의 선호도에 대한 분석 결과를 분류하여 메모리에 저장함으로써, 모든 서비스 항목의 선호도 분석 결과를 종합적으로 분석하여 최적의 우선순위 설정이 가능하도록 할 수 있다.
한편, 본 실시 예에서는, 우선순위에 대응하는 전자 디바이스의 서비스를 제공했을 때, 제공 서비스를 사용자가 선택 및/또는 변경하였는지 여부를 확인해 메모리에 저장되어 있는 선호도 결과값에 가중치를 부여하여 우선순위를 재조정할 수 있다.
히스토리 획득부(178)는 사용자 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보와, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득할 수 있다. 이때, 히스토리 획득부(178)는 제1 히스토리 정보 및 제2 히스토리 정보에 포함되는 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득할 수 있다. 따라서, 본 실시 예에서, 우선순위 설정부(175)는 제1 히스토리 정보 및 제2 히스토리 정보를 반영하여 우선순위를 재조정할 수 있다. 예를 들어, 히스토리 획득부(178)는 사용자 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스를 사용자가 몇 번 선택하여 실행되었는지, 해당 서비스가 변경 없이 얼마 동안 실행되었는지, 사용자 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스를 사용자가 몇 번 변경하였는지 등의 히스토리 정보를 획득할 수 있다. 또한 히스토리 획득부(178)는 사용자가 서비스 제공 요청을 하지 않고 수동으로 서비스를 선택하거나, 서비스 목록에 포함되지 않은 서비스를 수동으로 선택한 경우, 수동 선택 서비스에 대한 정보를 획득할 수 있다.
한편, 본 실시 예에서는, 사용자 영상 정보뿐만 아니라 사용자의 생체 신호 정보에 의해서도 선호도를 분석할 수 있다. 즉 본 실시 예의 생체신호 수신부(179)는 전자 디바이스를 이용 중인 사용자의 생체 신호 정보를 획득할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 장치의 생체 신호 정보 획득 방법을 설명하기 위한 예시도이다. 도 9를 참조하면, 본 실시 예에서 생체신호 수신부(179)는 생체감지센서(130)로부터 사용자의 생체 신호 정보를 획득할 수 있다. 본 실시 예에서 생체감지센서(130)는 전자 디바이스, 예를 들어 TV(210) 및/또는 TV(210) 제어를 위한 입력부(150), 예를 들어 리모컨에 구비될 수 있다. 여기서 입력부(150)는 선호도 기반 서비스 제공 장치(100)의 입력부와는 별도로 구비되는 전자 디바이스의 입력수단일 수 있다. 그리고 생체감지센서(130)는 예를 들어 통신 기능 및 데이터 프로세싱 기능을 구비한 웨어러블 형태의 사용자 단말기에 구비될 수 있다. 즉 생체신호 수신부(179)에서 사용자의 생체 신호 정보를 획득하면, 분석부(도 4의 174)는 생체 신호 정보를 반영하여 사용자 선호도를 분석할 수 있다. 예를 들어, 분석부는 TV를 시청하는 사용자의 생체 신호 중 맥박을 감지하여 사용자의 맥박이 기준치 보다 빠른 경우 TV에서 방송되고 있는 프로그램에 대한 집중도가 높은 것으로 분석할 수 있고, 사용자의 맥박이 기준치 보다 느린 경우 프로그램에 대한 집중도가 낮을 것으로 분석할 수 있다. 분석부는 그 외의 생체 신호 정보에 기초하여 전자 디바이스에서 서비스를 제공할 때의 사용자의 생체 변화를 감지하고 이를 선호도를 분석하는 데 반영하여 보다 정확한 선호도 분석이 가능하도록 할 수 있다.
한편, 본 실시 예에서는 미리 훈련된 심층 신경망 학습을 위한 파라미터를 수집할 수 있다. 이때, 심층 신경망 학습을 위한 파라미터는 얼굴 정보 추출을 위한 얼굴 인식 데이터, 사용자 특성 정보 중 감정 상태 추출을 위한 얼굴 이미지(얼굴 생김새 정보) 데이터, 사용자 특성 정보 중 집중도 추정을 위한 자세 이미지(얼굴 움직임 정보) 데이터, 사용자 특성 정보 중 성별 및 나이 추정을 위한 분류 데이터, 사용자 선호도 분석을 위한 사용자 특성 정보 데이터, 우선순위 설정을 위한 사용자 선호도 분석 정보 데이터와 히스토리 정보 데이터 등을 포함할 수 있다. 또한 음성 명령어, 음성 명령어에 대응하는 선호도 기반 서비스 제공 시스템(1)의 동작 및 사용자 맞춤 동작 데이터를 포함할 수 있다. 다만 본 실시 예에서는 심층 신경망 학습을 위한 파라미터가 이에 한정되는 것은 아니다. 이때 본 실시 예에서는, 학습 모델을 정교화하기 위해서 실제 사용자가 사용한 데이터를 수집할 수 있다. 즉 본 실시 예에서는 입력부(150), 통신부(110), 사용자 단말기(300), 전자 디바이스(200) 자체 내의 입력 수단 중 하나 이상을 통해 사용자로부터 사용자 데이터를 입력 받을 수 있다. 또한 선호도 기반 서비스 제공 시스템(1)은 예를 들어, 사용자가 본인의 선호도에 대응하는 우선순위를 직접 입력하여 설정한 경우, 학습 모델의 결과와 상관없이 전자 디바이스에서 제공하는 서비스와 해당 서비스에 대응하는 선호도 또는 우선순위를 서버 및/또는 메모리에 저장할 수 있다. 즉 본 실시 예에서, 선호도 기반 서비스 제공 시스템(1)은 사용자가 전자 디바이스를 사용하면서 발생되는 데이터를 서버에 저장하여 빅데이터를 구성하고, 서버단에서 딥러닝을 실행하여 관련 파라미터를 선호도 기반 서비스 제공 시스템(1) 내부에 업데이트하여 점차 정교해지도록 할 수 있다. 다만 본 실시 예에서는 선호도 기반 서비스 제공 시스템(1), 선호도 기반 서비스 제공 장치(100) 또는 전자 디바이스(200)의 엣지(edge) 단에서 자체적으로 딥러닝을 실행하여 업데이트를 수행할 수도 있다. 즉 본 실시 예는, 선호도 기반 서비스 제공 시스템(1)의 초기 출시 또는 초기 설정 시에는 실험실 조건의 딥러닝 파라미터를 내장하고, 사용자가 선호도 기반 서비스 제공 시스템(1)을 사용할수록 누적되는 데이터를 통해 업데이트를 수행할 수 있다. 따라서 본 실시 예에서는 수집한 데이터를 라벨링하여 지도학습을 통한 결과물을 얻을 수 있도록 하며, 이를 선호도 기반 서비스 제공 시스템(1) 자체 메모리에 저장하여 진화하는 알고리즘이 완성되도록 할 수 있다. 즉, 선호도 기반 서비스 제공 시스템(1)은 선호도 분석을 위한 데이터들을 수집하여 학습 데이터 세트를 생성하고, 우선순위 설정을 위해 학습 데이터 세트를 기계학습 알고리즘을 통해 학습시켜서 학습된 모델을 결정할 수 있다. 그리고 선호도 기반 서비스 제공 시스템(1)은 실제 사용자가 사용한 데이터를 수집하여 서버에서 재학습시켜서 재학습된 모델을 생성할 수 있다. 따라서 본 실시 예는, 학습된 모델로 판단한 후에도 계속 데이터를 수집하고, 기계학습모델을 적용하여 재학습시켜서, 재학습된 모델로 성능을 향상시킬 수 있다.
도 10은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 학습 방법을 설명하기 위한 개략적인 블록도이다. 이하의 설명에서 도 1 내지 도 9에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 10을 참조하면, 본 실시 예에서는, 학습부(1700)를 포함할 수 있으며, 학습부(1700)는 처리부(170)에 포함될 수 있으나, 이에 한정되는 것은 아니다. 학습부(1700)는 학습 입력부(1710), 학습 출력부(1720), 러닝 프로세서(1730) 및 학습 메모리(1740)를 포함할 수 있다. 학습부(1700)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치, 시스템 또는 서버를 의미할 수 있다. 여기서, 학습부(1700)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다. 이때, 학습부(1700)는 선호도 기반 서비스 제공 시스템의 일부의 구성으로 포함되어, AI 프로세싱 중 적어도 일부를 함께 수행할 수도 있다.
학습 입력부(1710)는 전자 디바이스에서 제공중인 서비스, 서비스가 제공되는 시점에서의 환경 정보, 사용자가 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 상태, 제공중인 서비스 이용 시 사용자의 선호도 도출 결과, 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보, 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보 및 사용자의 생체 신호 정보를 입력 데이터로 수신할 수 있다.
러닝 프로세서(1730)는 수신된 입력 데이터를, 사용자의 선호도 분석 결과에 따라 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위한 학습 모델에 적용할 수 있다. 학습 모델은 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위해 복수의 기 입력된 입력 데이터 각각에 대응하여 기 산출된 사용자의 선호도 분석 결과와, 복수의 기 입력된 입력 데이터에 기초하여, 우선순위 설정에 따른 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하도록 학습된 것일 수 있다. 또한 학습 모델은, 예를 들어, 사람의 얼굴 이미지에 따라 사람의 감정 상태를 추정하도록 미리 훈련된 제 1 심층 신경망 모델, 및 사람의 자세 이미지에 따라 사람의 집중도를 추정하도록 미리 훈련된 제 2 심층 신경망 모델을 포함할 수 있다. 이에 본 실시 예에서는, 얼굴 이미지를 기초로 제 1 심층 신경망 모델을 이용하여 사용자의 감정 상태를 도출할 수 있고, 자세 이미지를 기초로 제 2 심층 신경망 모델을 이용하여 사용자의 집중도를 도출할 수 있다. 학습 모델은 인공 신경망의 AI 서버에 탑재된 상태에서 이용되거나, 외부 장치에 탑재되어 이용될 수도 있다.
학습 출력부(1720)는 학습 모델로부터 사용자의 감정 상태 데이터, 사용자의 집중도 데이터 등 선호도 분석을 위한 데이터를 출력할 수 있으며, 특히 선호도 기반 서비스 추천 목록 데이터를 출력할 수 있다.
학습 메모리(1740)는 모델 저장부(1741)를 포함할 수 있다. 모델 저장부(1741)는 러닝 프로세서(1730)를 통하여 학습 중인 또는 학습된 모델(또는 인공 신경망)을 저장할 수 있다. 학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 학습 메모리(1740)에 저장될 수 있다.
도 11은 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 방법을 도시한 흐름도이다. 이하의 설명에서 도 1 내지 도 10에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 11을 참조하면, S1110단계에서, 선호도 기반 서비스 제공 시스템(1)은 전자 디바이스(도 1의 200)를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득한다. 즉 본 실시 예에서 선호도 기반 서비스 제공 시스템(1)은 전자 디바이스에 설치된 비전카메라센서(도 3의 120)를 통해 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득할 수 있다. 예를 들어, 전자 디바이스가 TV인 경우, 비전카메라센서는 TV의 상단 측에 설치될 수 있고, 선호도 기반 서비스 제공 시스템(1)은 TV의 전면 측에서 TV를 시청하고 있는 사용자를 촬영하여 사용자 영상 정보를 획득할 수 있다.
S1120단계에서, 선호도 기반 서비스 제공 시스템(1)은 전자 디바이스가 제공하는 서비스에 대한 사용자 선호도를 분석한다. 즉 선호도 기반 서비스 제공 시스템(1)은 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보(얼굴 이미지 및 자세 이미지)에 기초하여 전자 디바이스가 제공하는 서비스에 대한 사용자 선호도를 분석할 수 있다. 그리고 선호도 기반 서비스 제공 시스템(1)은 예를 들어, TV를 시청하는 사용자 영상 정보로부터 얼굴 정보를 추출하고, 추출한 얼굴 정보를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 산출할 수 있다. 즉 선호도 기반 서비스 제공 시스템(1)은 얼굴 정보에 포함되는 얼굴 이미지(얼굴 생김새 정보)에 기초하여 얼굴 표정 정보를 추출하고 얼굴 표정 정보에 대응하는 사용자의 감정 상태를 추정할 수 있다. 또한 선호도 기반 서비스 제공 시스템(1)은 얼굴 정보에 포함되는 자세 이미지(얼굴 움직임 정보)에 기초하여 사용자의 전자 디바이스(또는 전자 디바이스에서 제공하는 서비스)에 대한 집중도를 추정할 수 있다. 그리고 선호도 기반 서비스 제공 시스템(1)은 성별 및 나이 분류를 위한 학습 모델을 통해 사용자의 얼굴 정보에서 성별 및 나이를 추정할 수 있다. 따라서, 선호도 기반 서비스 제공 시스템(1)은 사용자의 감정 상태, 집중도, 성별 및 나이를 포함하는 사용자 특성 정보를 추정하여 수치화하고 이를 통해 사용자의 선호도를 분석할 수 있다. 이때 사용자 특성 정보는 시간에 따라 변화할 수 있기 때문에, 선호도 기반 서비스 제공 시스템(1)은 사용자 특성 정보 각각을 수치화하여, 일정 시간 동안의 사용자 특성 정보 각각의 평균치를 합산하고, 사용자 특성 정보 각각의 평균치를 합산한 결과를 사용자의 선호도로 도출할 수 있다.
S1130단계에서, 선호도 기반 서비스 제공 시스템(1)은 사용자의 선호도에 기초하여 전자 디바이스가 제공하는 서비스의 우선순위를 설정한다. 이때, 선호도 기반 서비스 제공 시스템(1)은 사용자의 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 예를 들어, 본 실시 예에서, 전자 디바이스가 TV인 경우, 선호도 기반 서비스 제공 시스템(1)은 TV에서 방송되는 프로그램에 대하여 해당 콘텐츠, 콘텐츠의 장르, 콘텐츠의 종류, 이외의 콘텐츠의 세부 정보 각각을 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 또한 선호도 기반 서비스 제공 시스템(1)은 TV에서 제공되는 방송 채널과 채널의 분야 등 채널 자체에 대해서도 선호도가 높은 순서대로 우선순위를 설정할 수 있다. 즉 선호도 기반 서비스 제공 시스템(1)은 TV에서 제공되는 분류 가능한 모든 서비스 항목에 대해서 선호도에 대한 분석 결과를 입력 받아 선호도가 높은 순서대로 우선순위를 설정하여 메모리에 저장할 수 있으며, 이를 종합적으로 분석하여 우선순위를 설정할 수 있다.
S1140단계에서, 선호도 기반 서비스 제공 시스템(1)은 우선순위에 기초하여 전자 디바이스가 제공하는 서비스 및/또는 서비스 추천 목록을 제공한다. 예를 들어, 전자 디바이스가 TV인 경우, 선호도 기반 서비스 제공 시스템(1)은 우선순위에 대응하는 채널을 제공하여 사용자가 선호도가 높은 채널을 빠르고 편리하게 선택할 수 있도록 할 수 있다. 이때 선호도 기반 서비스 제공 시스템(1)은 사용자가 TV의 전원을 켜거나 추천 채널 제공 요청에 해당하는 작동을 수행한 경우, 선호도가 높은 콘텐츠가 방영되고 있는 채널을 추천 채널로 제공하거나, 선호도가 높은 채널을 추천 채널로 제공할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 선호도 기반 서비스 제공 시스템의 우선순위 재조정 방법을 도시한 흐름도이다. 이하의 설명에서 도 1 내지 도 11에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.
도 12를 참조하면, S1210단계에서, 선호도 기반 서비스 제공 시스템(1)은 사용자 선호도 기반 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보를 획득한다.
그리고 S1220단계에서, 선호도 기반 서비스 제공 시스템(1)은 사용자의 수동 조작 신호에 의해 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득한다. 이때, 선호도 기반 서비스 제공 시스템(1)은 제1 히스토리 정보 및 제2 히스토리 정보에 포함되는 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득할 수 있다.
S1230단계에서, 선호도 기반 서비스 제공 시스템(1)은 제1 히스토리 정보 및 제2 히스토리 정보를 이용하여 우선순위를 재조정한다. 즉 선호도 기반 서비스 제공 시스템(1)은 우선순위에 대응하는 전자 디바이스의 서비스를 제공했을 때, 제공 서비스를 사용자가 선택 및/또는 변경하였는지 여부를 확인해 메모리에 저장되어 있는 선호도 결과값에 가중치를 부여하여 우선순위를 재조정할 수 있다. 이때 선호도 기반 서비스 제공 시스템(1)은 제1 히스토리 정보 및 제2 히스토리 정보에 포함되는 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 이용하여 우선순위를 재조정할 수 있다.
S1240단계에서, 선호도 기반 서비스 제공 시스템(1)은 재조정한 우선순위에 기초하여 전자 디바이스 서비스 및/또는 서비스의 추천 목록을 제공한다. 즉, 선호도 기반 서비스 제공 시스템(1)은 사용자 영상 정보뿐만 아니라 사용자의 히스토리 정보에 의해서도 선호도를 분석할 수 있어, 보다 사용자 맞춤형 서비스 제공이 가능하도록 할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
1 : 선호도 기반 서비스 제공 시스템
100 : 선호도 기반 서비스 제공 장치
200 : 전자 디바이스
300 : 사용자 단말기
400 : 서버
500 : 네트워크
100 : 선호도 기반 서비스 제공 장치
200 : 전자 디바이스
300 : 사용자 단말기
400 : 서버
500 : 네트워크
Claims (20)
- 선호도 기반 서비스 제공 방법으로서,
전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하는 단계;
상기 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 상기 사용자 영상 정보에 기초하여 상기 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 단계;
상기 사용자의 선호도에 기초하여 상기 전자 디바이스가 제공하는 서비스의 우선순위를 설정하는 단계; 및
상기 우선순위에 기초하여 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 제공하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자의 선호도를 분석하는 단계는,
상기 사용자 영상 정보로부터 상기 사용자의 얼굴 이미지 및 자세 이미지를 추출하는 단계; 및
상기 사용자의 얼굴 이미지 및 자세 이미지를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 추출하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 2 항에 있어서,
상기 사용자의 선호도를 분석하는 단계는,
상기 사용자 특성 정보 각각을 수치화하는 단계;
일정 시간 동안의 상기 사용자 특성 정보 각각의 평균치를 합산하는 단계; 및
상기 사용자 특성 정보 각각의 평균치를 합산한 결과를 상기 사용자의 선호도로 도출하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자의 선호도를 분석하는 단계는,
상기 사용자 영상 정보 중 얼굴 이미지 및 자세 이미지를 추출하는 단계;
상기 추출된 얼굴 이미지를 기초로 제 1 심층 신경망 모델을 이용하여 상기 사용자의 감정 상태를 도출하는 단계;
상기 자세 이미지를 기초로 제 2 심층 신경망 모델을 이용하여 상기 사용자의 집중도를 도출하는 단계; 및
상기 도출된 상기 사용자의 감정 상태 및 집중도를 기초로 상기 사용자의 선호도를 분석하는 단계를 포함하고,
상기 제 1 심층 신경망 모델은 사람의 얼굴 이미지에 따라 사람의 감정 상태를 추정하도록 미리 훈련된 것이고,
상기 제 2 심층 신경망 모델은 사람의 자세 이미지에 따라 사람의 집중도를 추정하도록 미리 훈련된 것인,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 우선순위를 설정하는 단계는,
상기 사용자의 선호도가 높은 순서대로 우선순위를 설정하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 전자 디바이스가 제공하는 서비스에 대한 요청을 상기 사용자로부터 수신하는 단계;
상기 요청 시점에 상기 사용자를 촬영한 사용자 영상 정보를 획득하는 단계; 및
상기 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 상기 사용자의 감정 상태를 분석하는 단계를 더 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 우선순위를 설정하는 단계는,
상기 사용자의 선호도를 기반으로 한 상기 우선순위 설정에 의해 상기 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보와, 상기 사용자의 수동 조작 신호에 의해 상기 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득하는 단계; 및
상기 제1 히스토리 정보 및 상기 제2 히스토리 정보를 반영하여 우선순위를 재조정하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 7 항에 있어서,
상기 제1 히스토리 정보와 제2 히스토리 정보를 획득하는 단계는,
상기 제1 히스토리 정보 및 상기 제2 히스토리 정보에 포함되는 상기 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 전자 디바이스를 이용 중인 사용자의 생체 신호 정보를 획득하는 단계를 더 포함하고,
상기 사용자 선호도를 분석하는 단계는,
상기 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 상기 사용자 영상 정보와, 상기 사용자의 생체 신호 정보에 기초하여 상기 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 단계를 포함하는,
선호도 기반 서비스 제공 방법.
- 제 1 항에 있어서,
상기 전자 디바이스에서 제공중인 서비스, 상기 서비스가 제공되는 시점에서의 환경 정보, 사용자가 상기 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 상태, 상기 제공중인 서비스 이용 시 상기 사용자의 선호도 도출 결과, 상기 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보, 상기 사용자의 수동 조작 신호에 의해 상기 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보 및 사용자의 생체 신호 정보를 입력 데이터로 수신하는 단계;
상기 수신된 입력 데이터를, 상기 사용자의 선호도 분석 결과에 따라 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위한 학습 모델에 적용하는 단계; 및
상기 학습 모델로부터 상기 선호도 기반 서비스 추천 목록 데이터를 출력하는 단계를 포함하고,
상기 학습 모델은, 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위해 복수의 기 입력된 상기 입력 데이터 각각에 대응하여 기 산출된 사용자의 선호도 분석 결과와, 상기 복수의 기 입력된 상기 입력 데이터에 기초하여, 우선순위 설정에 따른 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하도록 학습된 것인,
선호도 기반 서비스 제공 방법.
- 선호도 기반 서비스 제공 장치로서,
전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하는 획득부;
상기 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 사용자 영상 정보에 기초하여 상기 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는 분석부;
상기 사용자의 선호도에 기초하여 상기 전자 디바이스가 제공하는 서비스의 우선순위를 설정하는 우선순위 설정부; 및
상기 우선순위에 기초하여 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 제공하는 제공부를 포함하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 사용자 영상 정보로부터 상기 사용자의 얼굴 이미지 및 자세 이미지를 추출하는 얼굴 추출부; 및
상기 사용자의 얼굴 이미지 및 자세 이미지를 분석하여 감정 상태, 집중도, 나이 및 성별 중 하나 이상을 포함하는 사용자 특성 정보를 추출하는 사용자 특성 추출부를 포함하는,
선호도 기반 서비스 제공 장치.
- 제 12 항에 있어서,
상기 분석부는,
상기 사용자 특성 정보 각각을 수치화하여 일정 시간 동안의 상기 사용자 특성 정보 각각의 평균치를 합산하고, 상기 사용자 특성 정보 각각의 평균치를 합산한 결과를 상기 사용자의 선호도로 도출하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 우선순위 설정부는,
상기 사용자의 선호도가 높은 순서대로 우선순위를 설정하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 획득부는,
상기 전자 디바이스가 제공하는 서비스에 대한 요청이 상기 사용자로부터 수신되면, 상기 요청 시점에 상기 사용자를 촬영한 사용자 영상 정보를 획득하고,
상기 분석부는,
상기 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 상기 사용자의 감정 상태를 분석하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 사용자의 선호도를 기반으로 한 상기 우선순위 설정에 의해 상기 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보와, 상기 사용자의 수동 조작 신호에 의해 상기 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보를 획득하는 히스토리 획득부를 더 포함하고,
상기 우선순위 설정부는,
상기 제1 히스토리 정보 및 상기 제2 히스토리 정보를 반영하여 우선순위를 재조정하는,
선호도 기반 서비스 제공 장치.
- 제 16 항에 있어서,
상기 히스토리 획득부는,
상기 제1 히스토리 정보 및 상기 제2 히스토리 정보에 포함되는 상기 전자 디바이스가 제공하는 서비스에 대한 선택 또는 설정 누적치, 이용시간 누적치 및 변경 횟수 누적치 중 하나 이상을 획득하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 전자 디바이스를 이용 중인 사용자의 생체 신호 정보를 획득하는 생체신호 수신부를 더 포함하고,
상기 분석부는,
상기 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 상기 사용자 영상 정보와, 상기 사용자의 생체 신호 정보에 기초하여 상기 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하는,
선호도 기반 서비스 제공 장치.
- 제 11 항에 있어서,
상기 전자 디바이스에서 제공중인 서비스, 상기 서비스가 제공되는 시점에서의 환경 정보, 사용자가 상기 서비스를 요청한 시점에서의 사용자 영상 정보에 기초하여 분석된 사용자의 감정 상태, 상기 제공중인 서비스 이용 시 상기 사용자의 선호도 도출 결과, 상기 사용자의 선호도를 기반으로 한 우선순위 설정에 의해 전자 디바이스가 제공하는 서비스의 추천 목록 중에서 서비스를 선택한 이력을 포함하는 제1 히스토리 정보, 상기 사용자의 수동 조작 신호에 의해 상기 전자 디바이스가 제공하는 서비스를 선택하거나 설정한 이력을 포함하는 제2 히스토리 정보 및 사용자의 생체 신호 정보를 입력 데이터로 수신하는 학습 입력부;
상기 수신된 입력 데이터를, 상기 사용자의 선호도 분석 결과에 따라 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위한 학습 모델에 적용하는 러닝 프로세서; 및
상기 학습 모델로부터 상기 선호도 기반 서비스 추천 목록 데이터를 출력하는 학습 출력부를 포함하고,
상기 학습 모델은, 상기 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하기 위해 상기 복수의 기 입력된 상기 입력 데이터 각각에 대응하여 기 산출된 사용자의 선호도 분석 결과와, 상기 복수의 기 입력된 상기 입력 데이터에 기초하여, 우선순위 설정에 따른 전자 디바이스가 제공하는 서비스의 추천 목록을 생성하도록 학습된 것인,
선호도 기반 서비스 제공 장치.
- 선호도 기반 서비스 제공 시스템으로서,
사용자가 이용하는 전자 디바이스;
상기 사용자를 촬영하는 카메라; 및
상기 전자 디바이스 및 상기 카메라와 통신하는 서버를 포함하고,
상기 서버는,
상기 전자 디바이스를 이용 중인 사용자를 촬영한 사용자 영상 정보를 획득하여, 상기 사용자의 얼굴 이미지 및 자세 이미지를 포함하는 상기 사용자 영상 정보를 기초로 상기 전자 디바이스가 제공하는 서비스에 대한 사용자의 선호도를 분석하고, 상기 사용자의 선호도를 기초로 상기 전자 디바이스가 제공하는 서비스의 우선순위를 설정하여 상기 우선순위를 기초로 상기 전자 디바이스가 제공하는 서비스의 목록을 제공하는,
선호도 기반 서비스 제공 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190104623A KR102708367B1 (ko) | 2019-08-26 | 2019-08-26 | 선호도 기반 서비스 제공 시스템, 장치 및 방법 |
| US16/584,265 US11206450B2 (en) | 2019-08-26 | 2019-09-26 | System, apparatus and method for providing services based on preferences |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190104623A KR102708367B1 (ko) | 2019-08-26 | 2019-08-26 | 선호도 기반 서비스 제공 시스템, 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190105536A true KR20190105536A (ko) | 2019-09-17 |
| KR102708367B1 KR102708367B1 (ko) | 2024-09-20 |
Family
ID=68070021
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190104623A KR102708367B1 (ko) | 2019-08-26 | 2019-08-26 | 선호도 기반 서비스 제공 시스템, 장치 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US11206450B2 (ko) |
| KR (1) | KR102708367B1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210066754A (ko) * | 2019-11-28 | 2021-06-07 | 경희대학교 산학협력단 | 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 |
| KR20210085270A (ko) * | 2019-12-30 | 2021-07-08 | 한국전자통신연구원 | 응시 대상 관심도 검출 장치 및 방법 |
| KR102285482B1 (ko) * | 2020-08-28 | 2021-08-03 | 주식회사 마블러스 | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 |
| CN113553020A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 智能音箱的播报控制方法和装置 |
| WO2022014798A1 (ko) * | 2020-07-15 | 2022-01-20 | (주)헬로팩토리 | 고객 만족도 조사 수행 시스템 |
| CN114422859A (zh) * | 2020-10-28 | 2022-04-29 | 贵州省广播电视信息网络股份有限公司 | 基于深度学习的有线电视运营商的排序推荐系统及方法 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10803301B1 (en) * | 2019-08-02 | 2020-10-13 | Capital One Services, Llc | Detecting fraud in image recognition systems |
| US20210125065A1 (en) * | 2019-10-25 | 2021-04-29 | Affectiva, Inc. | Deep learning in situ retraining |
| KR20210062955A (ko) * | 2019-11-22 | 2021-06-01 | 엘지전자 주식회사 | 사용자인식에 기반한 디바이스의 제어 |
| CN115176223A (zh) * | 2019-12-27 | 2022-10-11 | 索尼集团公司 | 信息处理装置、信息处理方法和计算机程序 |
| CN111652282B (zh) * | 2020-04-30 | 2023-08-08 | 中国平安财产保险股份有限公司 | 基于大数据的用户偏好分析方法、装置及电子设备 |
| CN113763255A (zh) * | 2020-06-05 | 2021-12-07 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN111666496B (zh) * | 2020-06-09 | 2022-12-16 | 中森云链(成都)科技有限责任公司 | 一种基于评论文本的组推荐方法 |
| CN111782061B (zh) * | 2020-06-30 | 2024-05-07 | 北京百度网讯科技有限公司 | 用于推荐智能手表的输入方式的方法和装置 |
| CN112036571B (zh) * | 2020-08-25 | 2023-12-29 | 深圳市酷开网络科技股份有限公司 | 一种多领域专家系统联合推理方法及系统 |
| US11656681B2 (en) * | 2020-08-31 | 2023-05-23 | Hypear, Inc. | System and method for determining user interactions with visual content presented in a mixed reality environment |
| US11799940B1 (en) * | 2021-09-28 | 2023-10-24 | Amazon Technologies, Inc. | Techniques for upload prioritization of content |
| US11792506B2 (en) * | 2022-02-09 | 2023-10-17 | Motorola Mobility Llc | Electronic devices and corresponding methods for defining an image orientation of captured images |
| US11843829B1 (en) * | 2022-05-24 | 2023-12-12 | Rovi Guides, Inc. | Systems and methods for recommending content items based on an identified posture |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130125367A (ko) * | 2010-11-12 | 2013-11-18 | 마이크로소프트 코포레이션 | 콘텐츠의 시청자 기반 제공 및 맞춤화 |
| KR20140113315A (ko) * | 2013-03-15 | 2014-09-24 | 삼성전자주식회사 | 사용자의 콘텐츠 관심도 측정 시스템, 장치 및 방법, 컴퓨터 판독가능 기록매체 |
| KR20160056454A (ko) | 2014-11-11 | 2016-05-20 | 주식회사 버즈니 | 전방 카메라를 이용한 사용자 관심도 추적 및 분석 |
| KR101875230B1 (ko) | 2012-02-07 | 2018-08-03 | 한국전자통신연구원 | 시청 정보와 메타 데이터를 사용한 선호도 추론 장치 및 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10911829B2 (en) * | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
| JP2012186621A (ja) * | 2011-03-04 | 2012-09-27 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| US20160182955A1 (en) * | 2014-12-23 | 2016-06-23 | Rovi Guides, Inc. | Methods and systems for recommending media assets |
| KR102395243B1 (ko) * | 2017-09-26 | 2022-05-06 | 삼성전자주식회사 | 전자 장치 및 이의 제어방법 |
| US10171877B1 (en) * | 2017-10-30 | 2019-01-01 | Dish Network L.L.C. | System and method for dynamically selecting supplemental content based on viewer emotions |
| US11043230B1 (en) * | 2018-01-25 | 2021-06-22 | Wideorbit Inc. | Targeted content based on user reactions |
| US10834452B2 (en) * | 2019-01-02 | 2020-11-10 | International Business Machines Corporation | Dynamic live feed recommendation on the basis of user real time reaction to a live feed |
| US20200273485A1 (en) * | 2019-02-22 | 2020-08-27 | Synaptics Incorporated | User engagement detection |
-
2019
- 2019-08-26 KR KR1020190104623A patent/KR102708367B1/ko active IP Right Grant
- 2019-09-26 US US16/584,265 patent/US11206450B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130125367A (ko) * | 2010-11-12 | 2013-11-18 | 마이크로소프트 코포레이션 | 콘텐츠의 시청자 기반 제공 및 맞춤화 |
| KR101875230B1 (ko) | 2012-02-07 | 2018-08-03 | 한국전자통신연구원 | 시청 정보와 메타 데이터를 사용한 선호도 추론 장치 및 방법 |
| KR20140113315A (ko) * | 2013-03-15 | 2014-09-24 | 삼성전자주식회사 | 사용자의 콘텐츠 관심도 측정 시스템, 장치 및 방법, 컴퓨터 판독가능 기록매체 |
| KR20160056454A (ko) | 2014-11-11 | 2016-05-20 | 주식회사 버즈니 | 전방 카메라를 이용한 사용자 관심도 추적 및 분석 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20210066754A (ko) * | 2019-11-28 | 2021-06-07 | 경희대학교 산학협력단 | 연합 학습을 활용한 사용자 특성 분석을 위한 딥 러닝 모델 생성 방법 |
| KR20210085270A (ko) * | 2019-12-30 | 2021-07-08 | 한국전자통신연구원 | 응시 대상 관심도 검출 장치 및 방법 |
| CN113553020A (zh) * | 2020-04-23 | 2021-10-26 | 百度在线网络技术（北京）有限公司 | 智能音箱的播报控制方法和装置 |
| WO2022014798A1 (ko) * | 2020-07-15 | 2022-01-20 | (주)헬로팩토리 | 고객 만족도 조사 수행 시스템 |
| KR102285482B1 (ko) * | 2020-08-28 | 2021-08-03 | 주식회사 마블러스 | 생체 정보의 기계 학습 분석에 기반하여 컨텐츠를 제공하기 위한 방법 및 장치 |
| CN114422859A (zh) * | 2020-10-28 | 2022-04-29 | 贵州省广播电视信息网络股份有限公司 | 基于深度学习的有线电视运营商的排序推荐系统及方法 |
| CN114422859B (zh) * | 2020-10-28 | 2024-01-30 | 贵州省广播电视信息网络股份有限公司 | 基于深度学习的有线电视运营商的排序推荐系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US11206450B2 (en) | 2021-12-21 |
| KR102708367B1 (ko) | 2024-09-20 |
| US20200021886A1 (en) | 2020-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102708367B1 (ko) | 선호도 기반 서비스 제공 시스템, 장치 및 방법 | |
| KR102659288B1 (ko) | 전자 장치 및 그 동작 방법 | |
| US11482000B2 (en) | Image processing apparatus and control method thereof | |
| KR102425578B1 (ko) | 객체를 인식하는 방법 및 장치 | |
| US11470385B2 (en) | Method and apparatus for filtering video | |
| CN110263213B (zh) | 视频推送方法、装置、计算机设备及存储介质 | |
| US20190297381A1 (en) | Artificial intelligence device and operating method thereof | |
| US11556302B2 (en) | Electronic apparatus, document displaying method thereof and non-transitory computer readable recording medium | |
| KR102420567B1 (ko) | 음성 인식 장치 및 방법 | |
| KR102037419B1 (ko) | 영상 표시 장치 및 그 동작 방법 | |
| KR20190062030A (ko) | 영상 표시 장치 및 그 동작 방법 | |
| KR102449877B1 (ko) | 컨텐트를 제공하는 방법 및 단말기 | |
| US20210201146A1 (en) | Computing device and operation method thereof | |
| KR102390685B1 (ko) | 전자 장치 및 그 제어 방법 | |
| KR102664418B1 (ko) | 디스플레이 장치 및 그의 서비스 제공 방법 | |
| KR102396794B1 (ko) | 전자 장치 및 이의 제어 방법 | |
| KR102423754B1 (ko) | 디바이스 사용 문의에 대한 응답을 제공하는 디바이스 및 방법 | |
| KR20190061824A (ko) | 전자장치 및 그 제어 방법 | |
| KR20190048630A (ko) | 전자 장치 및 그 제어 방법 | |
| KR20190031829A (ko) | 전자 장치 및 그 제어 방법 | |
| KR102709916B1 (ko) | 복수 객체에 대한 오디오 포커싱 방법 및 장치 | |
| KR102419860B1 (ko) | 운전자 또는 콘텐츠 시청자의 몰입도 측정 방법 및 장치 | |
| EP4386621A1 (en) | Display apparatus and operating method therefor | |
| KR20230067299A (ko) | 이미지 공유 플랫폼 관리 방법 및 장치 | |
| KR20190035363A (ko) | 전자 장치 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |