KR20150013394A - Smart device having a user interface based on human emotion or tendency and user interface method - Google Patents

Smart device having a user interface based on human emotion or tendency and user interface method Download PDF

Info

Publication number
KR20150013394A
KR20150013394A KR1020140173440A KR20140173440A KR20150013394A KR 20150013394 A KR20150013394 A KR 20150013394A KR 1020140173440 A KR1020140173440 A KR 1020140173440A KR 20140173440 A KR20140173440 A KR 20140173440A KR 20150013394 A KR20150013394 A KR 20150013394A
Authority
KR
South Korea
Prior art keywords
user
smart device
tendency
user interface
unit
Prior art date
Application number
KR1020140173440A
Other languages
Korean (ko)
Inventor
이종식
Original Assignee
이종식
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이종식 filed Critical 이종식
Priority to KR1020140173440A priority Critical patent/KR20150013394A/en
Publication of KR20150013394A publication Critical patent/KR20150013394A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a smart device having a user interface based on human emotion or tendency and a user interface method. The present invention has an effect of supplying content to a user, changing a channel, driving an application program, and supplying advertisement in consideration of the emotion or tendency of the user.

Description

인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법{SMART DEVICE HAVING A USER INTERFACE BASED ON HUMAN EMOTION OR TENDENCY AND USER INTERFACE METHOD}TECHNICAL FIELD [0001] The present invention relates to a smart device and a user interface method having a user interface based on a human emotion or a tendency of a user.

본 발명은 사용자 인터페이스 장치 및 사용자 인터페이스 방법에 관한 것으로서, 보다 상세하게는, 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기 및 사용자 인터페이스 방법에 관한 것이다. The present invention relates to a user interface device and a user interface method, and more particularly, to a smart device and a user interface method having a user interface based on a feeling or a tendency of a human being.

텔레비전은 19세기 말에 처음 등장한 이후, 화면 표시 방법이나 디자인 등이 지속적으로 발전하면서 20세기 후반부터 가장 대중적인 정보 전달 기기로 확고히 자리잡았다. 그러나, 종래의 텔레비젼들은 방송국에서 전해주는 단방향의 정보를 시청자들이 일방적으로 수용해야만 한다는 단점이 있었다. Since television first appeared at the end of the 19th century, screen display methods and designs have steadily developed and have become firmly established as the most popular information transmission device since the latter half of the 20th century. However, conventional TVs have a disadvantage that viewers must unilaterally receive unidirectional information transmitted from broadcasting stations.

이러한 단방향 통신의 문제점을 해결하기 위해 스마트TV(Smart TV)가 등장하였다. 스마트TV란 TV에 인터넷 접속 기능을 결합, 각종 앱(application: 응용프로그램)을 설치해 웹 서핑 및 VOD 시청, 소셜 네트워크 서비스(Social Networking Service, 이하 SNS), 게임 등의 다양한 기능을 활용할 수 있는 다기능 TV이다. To solve the problem of unidirectional communication, Smart TV has emerged. Smart TV is a multi-function TV that can utilize various functions such as web surfing, VOD watching, social networking service (SNS) and game by installing various applications (application) to be.

스마트TV의 가장 큰 특징은 사용자와 TV가 서로 정보를 주고받을 수 있는 기능을 갖췄다는 점이다. 이는 정보를 일방적으로 전달하기만 하는 기존의 TV와의 가장 큰 차이점이다. The biggest feature of smart TV is that users and TV have the ability to exchange information with each other. This is the biggest difference from conventional TVs that only transmit information unilaterally.

스마트TV가 대두되면서, 사용자와 TV가 서로 정보를 주고받을 수 있는 방식에 관한 기술들이 제안되었는데, 이와 같은 기술 중 대표적인 것이 음성인식 기술이다. 즉, 종래에는 사용자가 채널변경 등 TV를 제어하고 싶을 때, 리모컨 등을 사용하였으나, 점차 음성인식과 같이 사용자 친화적인 인터페이스를 갖추게 되었다. As smart TVs have emerged, technologies have been proposed about how users and TV can exchange information. One of these technologies is speech recognition technology. That is, conventionally, when a user wants to control a TV such as a channel change, he or she has used a remote controller, etc., but gradually has a user-friendly interface such as voice recognition.

그러나, 음성인식과 같은 기술 만으로는 사용자의 성향이나 감정에 따라, 사용자에게 필요한 컨텐츠 등을 제공할 수 없다는 문제점이 있었다. However, there has been a problem in that contents or the like necessary for the user can not be provided according to the tendency or emotion of the user only by a technique such as speech recognition.

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위한 것으로, 사용자의 성향이나 스마트 기기를 사용하고 있는 현재 사용자의 감정 상태를 반영하여 사용자에게 적합한 컨텐츠 등을 제공할 수 있는 스마트 기기 및 사용자 인터페이스 방식을 제공하는데 그 목적이 있다. SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems of the prior art and it is an object of the present invention to provide a smart device and a user interface method capable of providing content suitable for a user by reflecting a tendency of a user or an emotional state of a current user using a smart device The purpose is to provide.

본 발명에 따른 스마트 기기는, 사용자의 얼굴 이미지 정보를 획득하는 카메라부와, 상기 카메라부를 통해 획득된 이미지를 이용하여 사용자의 감정 이나 성향 중 적어도 하나에 관한 정보를 생성하는 인식부와, 상기 카메라부 및 인식부를 제어하고, 상기 인식부로부터 전달된 정보를 기초로 하여, 어떤 화면 혹은 음향을 출력할 것인지 선택하는 제어부 및 상기 제어부의 선택에 따라, 화면 혹은 음향을 출력하는 출력부를 포함하여 이루어진다.A smart device according to the present invention includes a camera unit for acquiring face image information of a user, a recognition unit for generating information on at least one of a feeling or a tendency of the user using the image acquired through the camera unit, And an output unit for outputting a screen or sound in accordance with the selection of the control unit. The display unit may include a control unit for controlling the display unit and the recognition unit, and for selecting a screen or sound to be output based on the information transmitted from the recognition unit.

본 발명에 따른 스마트 기기의 사용자 인터페이스 방법은, 스마트 기기에 구비된 카메라부를 통해 획득된 사용자의 얼굴 이미지 정보를 이용하여 사용자의 감정 상태 또는 사용자의 성향 중 적어도 하나를 인식하는 단계와, 상기 인식된 결과에 상응하는 컨텐츠 제공, 채널 변경, 응용프로그램 구동, 광고 제공 중 어느 하나를 실행하는 단계를 포함하여 이루어진다. A user interface method for a smart device according to the present invention includes the steps of recognizing at least one of a user's emotional state or a user's tendency using face image information of a user obtained through a camera unit provided in a smart device, Executing the program, providing the content corresponding to the result, changing the channel, driving the application program, or providing the advertisement.

본 발명은 사용자의 성향이나 사용자의 현재 감정상태에 따른 적합한 컨텐츠 등을 사용자에게 제공할 수 있도록 하는 효과가 있다. The present invention has the effect of providing the user with appropriate contents according to the tendency of the user or the current emotional state of the user.

도 1 은 본 발명에 따른 사용자의 감정/성향 인식이 가능한 스마트 기기를 나타낸 일 실시예 구성도이다.
도 2 는 본 발명에 따른 스마트 기기를 이용하여, 사용자의 감정에 따른 인터페이스 방법을 나타낸 일실시예 흐름도이다.
도 3 은 본 발명에 따른 스마트 기기를 이용하여, 사용자의 성향에 따른 인터페이스 방법을 나타낸 일실시예 흐름도이다. FIG. 1 is a block diagram illustrating a smart device capable of recognizing emotion / orientation of a user according to an embodiment of the present invention.
2 is a flowchart illustrating an interface method according to a user's emotions using a smart device according to an embodiment of the present invention.
3 is a flowchart illustrating an interface method according to a user's tendency using a smart device according to an embodiment of the present invention.

도 1 은 본 발명에 따른 사용자의 감정/성향 인식이 가능한 스마트 기기를 나타낸 일 실시예 구성도이다. FIG. 1 is a block diagram illustrating a smart device capable of recognizing emotion / orientation of a user according to an embodiment of the present invention.

도 1 을 참조하면, 사용자의 감정/성향 인식이 가능한 스마트 기기(10)는, 카메라부(11), 인식부(12), 제어부(13) 및 출력부(14)를 포함하여 이루어진다. Referring to FIG. 1, a smart device 10 capable of recognizing emotion / disposition of a user includes a camera unit 11, a recognition unit 12, a control unit 13, and an output unit 14.

본 발명에서 스마트 기기(10)는 사용자의 제어에 따라 컨텐츠나 응용프로그램을 구동할 수 있는 전자기기로서, 스마트TV, 스마트폰, 스마트 광고 디스플레이 장치, 노트북 컴퓨터 및 놀이/교육이 가능한 로봇을 포함한다.In the present invention, the smart device 10 is an electronic device capable of driving contents or application programs under the control of a user, and includes a smart TV, a smart phone, a smart advertisement display device, a notebook computer, and a robot capable of play / education .

본 발명에 따른 스마트 기기(10)에 구비된 카메라부(11)는 현재 사용자의 얼굴 이미지 정보를 실시간으로 획득한다. 카메라부(11)는 스마트 기기(10)의 전면에 장착되어, 스마트 기기(10)를 사용하는 사용자의 얼굴 이미지 정보를 용이하게 획득할 수 있도록 하는 것이 바람직하다. The camera unit 11 included in the smart device 10 according to the present invention acquires the face image information of the current user in real time. The camera unit 11 is mounted on the front surface of the smart device 10 so that it can easily acquire the user's face image information using the smart device 10. [

카메라부(11)를 통해 획득된 사용자의 얼굴 이미지 정보는 인식부(12)로 전달된다. 인식부(12)는 카메라부(11)를 통해 획득된 사용자의 얼굴 이미지를 분석하여 사용자의 현재 감정이나 성향을 도출해 낸다. 예를 들어, 사람들이 일반적으로 가지는 감정은 무표정, 기쁨, 슬픔, 화남 및 놀람의 다섯가지로 구분할 수 있다. 또한, 사람의 성향은 내향적인 사람, 외향적인 사람, 두가지 성향이 혼합된 사람으로 구분할 수 있다. The face image information of the user obtained through the camera unit 11 is transmitted to the recognition unit 12. The recognition unit 12 analyzes the face image of the user obtained through the camera unit 11 to derive the current emotion or disposition of the user. For example, the feelings that people generally have can be classified into five categories: expressionlessness, joy, sorrow, angryness, and surprise. In addition, the tendency of a person can be divided into an introverted person, an extrovert person, and a person with a mixture of two tendencies.

인식부(12)에서는 카메라부(11)를 통해 전달된 사용자의 얼굴 이미지 정보를 분석하여, 사용자가 현재 어떠한 감정 상태를 가지고 있는지를 파악한다. 즉, 인식부(12)에서는 카메라부(11)를 통해 전달된 사용자의 표정을 통해, 사용자가 현재 무표정한 상태인지, 기쁜 상태인지, 슬픈 상태인지, 화가 난 상태인지, 혹은 놀란 상태인지를 판단한다. The recognition unit 12 analyzes the facial image information of the user transmitted through the camera unit 11 and grasps what emotion state the user currently has. That is, the recognition unit 12 determines whether the user is currently in a state of no expression, a state of joy, a sad state, an angry state, or a state of surprise through the user's facial expression transmitted through the camera unit 11 .

한편, 인식부(12)에서는 사용자의 무표정한 상태로부터 기쁜 상태, 슬픈 상태, 화가 난 상태, 놀란 상태로부터의 얼굴 변화를 통해, 사용자가 내향적인 사람인지, 외향적인 사람인지, 혹은 두가지 성향이 혼합된 사람인지 여부를 판단한다. On the other hand, the recognition unit 12 recognizes whether the user is an introverted person, an extrovert person, or a mixture of two inclinations through face change from a non-expressive state of the user to a delightful state, a sad state, an angry state, It is judged whether or not it is a person.

이와 같이, 인식부(12)를 통해 실시간으로 판단된 사용자의 감정/성향 정보는 제어부(13)로 전달된다. 제어부(13)는 인식부를 통해 전달된 정보를 기초로 하여, 사용자에게 표출할 컨텐츠나 구동시킬 응용프로그램(어플리케이션), 혹은 광고를 선택한다. In this manner, the emotion / inclinations of the user determined in real time through the recognition unit 12 are transmitted to the controller 13. The control unit 13 selects content to be displayed to the user, an application program (application) to be driven, or an advertisement based on the information transmitted through the recognition unit.

예를 들어, 사용자의 현재 상태가 기쁜 상태인 것으로 인식된 경우, 제어부(13)는 코메디 프로그램이나, 오락물에 해당하는 컨텐츠가 출력부(14)를 통해 출력되도록 제어할 수 있다. 한편, 사용자의 현재 상태가 화난 상태 혹은 놀란 상태인 것으로 인식된 경우, 제어부(13)는 마음을 안정시킬 수 있는 좋은 음악이나, 드라마 혹은 광고등이 출력부(14)를 통해 출력되도록 제어할 수 있다. 또한, 사용자의 현재 상태가 슬픈 상태로 인식된 경우에는, 감동을 줄 수 있는 영화나 게임 응용프로그램 혹은 광고 등이 출력부(14)를 통해 출력되도록 제어할 수 있다. For example, when the current state of the user is recognized as being in a state of joy, the control unit 13 can control the output of the comedy program or the content corresponding to the entertainment through the output unit 14. [ On the other hand, when the current state of the user is recognized as an angry state or a surprised state, the control unit 13 can control the output unit 14 to output good music, drama, advertisement, have. In addition, when the current state of the user is recognized as a sad state, it is possible to control a movie, a game application program, an advertisement, or the like that can be impressed through the output unit 14.

또한, 사용자가 내향적인 사람으로 인식된 경우, 제어부(13)는 감동을 줄 수 있는 영화나 음악 등의 컨텐츠 및/또는 사용자의 성향에 적합한 광고(예를 들어, 클래식 공연 광고)등이 출력부(14)를 통해 출력되도록 제어할 수 있다. 한편, 사용자가 외향적인 사람으로 인식된 경우, 제어부(13)는 스포츠 등의 컨텐츠 및/또는 사용자의 성향에 적합한 광고(예를 들어, 스포츠 광고)등이 출력부(14)를 통해 출력되도록 제어할 수 있다. When the user is recognized as an introverted person, the control unit 13 displays contents such as movies and music that can be impressed, and / or an advertisement (e.g., a classical performance advertisement) (14). ≪ / RTI > On the other hand, when the user is recognized as a person who is extroverted, the control unit 13 controls the output unit 14 to output contents such as sports and / or advertisements (e.g., sports advertisements) can do.

출력부(14)는 제어부(13)의 제어에 따라 화면 및/또는 음향을 출력한다. The output unit 14 outputs a screen and / or a sound under the control of the control unit 13.

도 2 는 본 발명에 따른 스마트 기기를 이용하여, 사용자의 감정에 따른 인터페이스 방법을 나타낸 일실시예 흐름도이다. 2 is a flowchart illustrating an interface method according to a user's emotions using a smart device according to an embodiment of the present invention.

사용자가 스마트 기기(10)를 사용하기 위해 스마트 기기 앞에 나타나면, 스마트 기기는 사용자의 출현을 인식하고(S21), 스마트 기기(10)를 켤 것인지 여부를 사용자에게 묻기 위해, 질문을 디스플레이 한다(S22). 예를 들어, "TV를 켜시겠습니까?"와 같은 질문을 디스플레이 할 수 있다. 이에 대해, 사용자가 음성 또는 리모컨 등을 사용하여 스마트 기기(10)를 켤 것을 명령하면, 스마트 기기(10)가 작동된다(S23). If the user appears before the smart device 10 to use the smart device 10, the smart device recognizes the appearance of the user (S21) and displays a question to ask the user whether to turn on the smart device 10 (S22 ). For example, you can display a question such as "Would you like to turn on the TV?" On the other hand, when the user instructs to turn on the smart device 10 using a voice or a remote controller, the smart device 10 is operated (S23).

스마트 기기(10)가 작동되면, 인식부(12)는 카메라부(11)를 통해 전달된 사용자의 얼굴 이미지 정보를 분석하여, 사용자의 현재 감정 상태를 판단한다(S24). 스마트 기기(10)는 사용자의 감정 상태에 따라, 사용자에게 도움이 될 것으로 판단되는 컨텐츠 리스트를 제공하거나, 채널 리스트 혹은 응용프로그램 리스트를 제공한다(S25). 이때, 상기 리스트와 함께 혹은 개별적으로 사용자의 감정상태에 도움이 될 것으로 판단되는 서비스 혹은 상품에 관련되는 광고를 제공할 수도 있다.When the smart device 10 is activated, the recognition unit 12 analyzes the face image information of the user transmitted through the camera unit 11 to determine the current emotion state of the user (S24). The smart device 10 provides a list of contents, which is determined to be helpful to the user, or provides a channel list or an application program list, according to the emotional state of the user (S25). At this time, an advertisement related to a service or a product that is judged to be helpful to the emotional state of the user together with the list or individually may be provided.

이때, 스마트 기기(10)는 사용자에게 리스트를 제공하지 않고, 직접 필요한 컨텐츠, 채널, 응용프로그램을 선택하여 사용자에게 출력하도록 할 수도 있다. At this time, the smart device 10 may not directly provide the list to the user, but may directly select necessary contents, channels, and application programs and output them to the user.

사용자가 스마트 기기(10)로부터 추천된 컨텐츠/채널/응용프로그램 중에서 어느 하나를 선택하면(S26), 스마트 기기(10)는 추천된 컨텐츠를 실행하거나, 채널을 설정하거나, 응용프로그램을 구동시킨다(S27).When the user selects any one of the recommended content / channel / application program from the smart device 10 (S26), the smart device 10 executes the recommended content, sets the channel, or drives the application program S27).

도 3 은 본 발명에 따른 스마트 기기를 이용하여, 사용자의 성향에 따른 인터페이스 방법을 나타낸 일실시예 흐름도이다. 3 is a flowchart illustrating an interface method according to a user's tendency using a smart device according to an embodiment of the present invention.

스마트 기기(10)가 작동하면서, 컨텐츠를 사용자에게 표출하면(S31), 스마트 기기(10)는 표출된 컨텐츠에 따른 사용자의 표정 변화에 관한 정보를 획득한다(S32). When the smart device 10 operates, the content is displayed to the user (S31), and the smart device 10 acquires information about the user's facial expression change according to the displayed content (S32).

스마트 기기(10)는 사용자의 표정 변화에 관한 정보를 바탕으로 사용자의 성향을 파악해 낸다(S33). 예를 들어, 사용자의 성향이 외향적인 것으로 판정하거나, 내향적인 것으로 판정하거나 혹은 두가지 성향이 혼합된 것으로 판정할 수 있다. The smart device 10 grasps the user's tendency based on the information about the user's facial expression change (S33). For example, the user's tendency may be determined to be extroverted, determined to be introverted, or a combination of the two tendencies.

이와 같이, 판정된 사용자 정보는 스마트 기기(10)의 메모리에 저장된다(S34). 스마트 기기(10)는 저장된 사용자의 성향 정보 및/또는 실시간으로 획득된 사용자의 현재 감정 상태 정보를 활용하여 사용자에게 적합한 컨텐츠/채널/응용프로그램을 추천한다(S35). 이때, 사용자의 성향 및/또는 감정상태 정보를 기초로 그에 상응하는 서비스나 상품에 관한 광고를 제공할 수 있다. In this way, the determined user information is stored in the memory of the smart device 10 (S34). The smart device 10 recommends a content / channel / application program suitable for the user using the stored user's propensity information and / or the current emotion state information of the user obtained in real time (S35). At this time, based on the user's propensity and / or emotion state information, an advertisement about a corresponding service or product can be provided.

사용자가 추천된 컨텐츠/채널/응용프로그램 중 어느 하나를 선택하면(S36), 선택된 컨텐츠를 출력하거나, 채널설정을 하거나, 응용프로그램을 구동시킨다(S37). When the user selects one of the recommended content / channel / application program (S36), the selected content is output, the channel is set, or the application program is started (S37).

Claims (5)

스마트 기기에 있어서,
사용자의 얼굴 이미지 정보를 획득하는 카메라부;
상기 카메라부를 통해 획득된 이미지를 이용하여 사용자의 감정 이나 성향 중 적어도 하나에 관한 정보를 생성하는 인식부;
상기 카메라부 및 인식부를 제어하고, 상기 인식부로부터 전달된 정보를 기초로 하여, 어떤 화면 혹은 음향을 출력할 것인지 선택하는 제어부; 및
상기 제어부의 선택에 따라, 화면 혹은 음향을 출력하는 출력부
를 포함하여 이루어지는 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기.In a smart device,
A camera unit for acquiring face image information of a user;
A recognition unit for generating information on at least one of a feeling or a tendency of the user by using the image obtained through the camera unit;
A control unit for controlling the camera unit and the recognition unit and selecting a screen or sound to be output based on the information transmitted from the recognition unit; And
According to the selection of the control unit, an output unit
And a user interface based on a feeling or a tendency of the user. 제 1 항에 있어서,
상기 화면 혹은 음향은 상기 스마트 기기를 통해 제공될 수 있는 컨텐츠, 채널 혹은 응용프로그램 중 어느 하나의 실행에 따른 것임을 특징으로 하는 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기.The method according to claim 1,
Wherein the screen or sound is an execution of any one of a content, a channel, and an application program that can be provided through the smart device. 제 2 항에 있어서,
상기 사용자의 감정에 관한 정보는, 무표정, 기쁨, 슬픔, 화남, 놀람 중 어느 하나인 것을 특징으로 하는 인간의 감정 또는 성향 기반으로 한 사용자 인터페이스를 구비한 스마트 기기.3. The method of claim 2,
Wherein the information about the user's emotions is one of face expression, joy, sadness, angryness, and surprise. 제 2 항에 있어서,
사용자의 성향에 관한 정보는, 외향적 성향, 내향적 성향, 혼합된 성향 중 어느 하나인 것을 특징으로 하는 스마트 기기.3. The method of claim 2,
Wherein the information about the user's propensity is one of outward propensity, inward propensity, and mixed propensity. 스마트 기기의 사용자 인터페이스 방법에 있어서,
스마트 기기에 구비된 카메라부를 통해 획득된 사용자의 얼굴 이미지 정보를 이용하여 사용자의 감정 상태 또는 사용자의 성향 중 적어도 하나를 인식하는 단계; 및
상기 인식된 결과에 상응하는 컨텐츠 제공, 채널 변경, 응용프로그램 구동, 광고 제공 중 어느 하나를 실행하는 단계
를 포함하여 이루어지는 스마트 기기의 사용자 인터페이스 방법. A user interface method of a smart device,
Recognizing at least one of an emotional state of the user or a tendency of the user using the face image information of the user obtained through the camera unit provided in the smart device; And
Executing one of providing a content corresponding to the recognized result, changing a channel, driving an application program, and providing an advertisement
Wherein the smart device is a smart device.
KR1020140173440A 2014-12-04 2014-12-04 Smart device having a user interface based on human emotion or tendency and user interface method KR20150013394A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140173440A KR20150013394A (en) 2014-12-04 2014-12-04 Smart device having a user interface based on human emotion or tendency and user interface method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140173440A KR20150013394A (en) 2014-12-04 2014-12-04 Smart device having a user interface based on human emotion or tendency and user interface method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020130012809A Division KR20140096935A (en) 2013-01-29 2013-02-05 Smart device having a user interface based on human emotion or tendency and user interface method

Publications (1)

Publication Number Publication Date
KR20150013394A true KR20150013394A (en) 2015-02-05

Family

ID=52570895

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140173440A KR20150013394A (en) 2014-12-04 2014-12-04 Smart device having a user interface based on human emotion or tendency and user interface method

Country Status (1)

Country Link
KR (1) KR20150013394A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017927A1 (en) * 2021-08-11 2023-02-16 오로라월드 주식회사 Method for recommending product on basis of play type, and method for generating product recommendation model therefor

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017927A1 (en) * 2021-08-11 2023-02-16 오로라월드 주식회사 Method for recommending product on basis of play type, and method for generating product recommendation model therefor

Similar Documents

Publication Publication Date Title
CN111372109B (en) Intelligent television and information interaction method
WO2021088320A1 (en) Display device and content display method
JP4796209B1 (en) Display device, control device, television receiver, display device control method, program, and recording medium
WO2021189358A1 (en) Display device and volume adjustment method
US11973999B2 (en) User chosen watch parties
JP2020120410A5 (en)
JP2020120411A5 (en)
CN112788422A (en) Display device
WO2014119900A1 (en) Smart device having user interface based on human emotions or inclinations, and user interface method
CN113489938B (en) Virtual conference control method, intelligent device and terminal device
WO2020248699A1 (en) Sound processing method and display apparatus
WO2020248829A1 (en) Audio and video processing method and display device
KR20150013394A (en) Smart device having a user interface based on human emotion or tendency and user interface method
KR20140096935A (en) Smart device having a user interface based on human emotion or tendency and user interface method
CN109076265A (en) The display device and its operating method for crawling function are provided
CN111405228A (en) Television, device and method for realizing automatic optimization of video call fluency
CN112839254A (en) Display apparatus and content display method
CN112783380A (en) Display apparatus and method
KR20170045829A (en) Digital device and method of processing data the same
US20230031160A1 (en) Information processing apparatus, information processing method, and computer program
CN113365124B (en) Display device and display method
CN112883144A (en) Information interaction method
US20220272409A1 (en) Display device for controlling one or more home appliances in consideration of viewing situation
CN113015023A (en) Method and device for controlling video in HTML5 webpage
CN112073803A (en) Sound reproduction method and display equipment

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101001786; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160325

Effective date: 20170928