KR102661340B1 - 전자 장치 및 이의 제어 방법 - Google Patents

전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
KR102661340B1
KR102661340B1 KR1020180113869A KR20180113869A KR102661340B1 KR 102661340 B1 KR102661340 B1 KR 102661340B1 KR 1020180113869 A KR1020180113869 A KR 1020180113869A KR 20180113869 A KR20180113869 A KR 20180113869A KR 102661340 B1 KR102661340 B1 KR 102661340B1
Authority
KR
South Korea
Prior art keywords
application
information
identified
electronic device
user
Prior art date
Application number
KR1020180113869A
Other languages
English (en)
Other versions
KR20200034275A (ko
Inventor
최송아
부영종
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020180113869A priority Critical patent/KR102661340B1/ko
Priority to PCT/KR2019/011326 priority patent/WO2020060070A1/en
Priority to EP19863208.5A priority patent/EP3811198A4/en
Priority to US16/566,021 priority patent/US11468887B2/en
Priority to CN201910851075.3A priority patent/CN110942364A/zh
Publication of KR20200034275A publication Critical patent/KR20200034275A/ko
Application granted granted Critical
Publication of KR102661340B1 publication Critical patent/KR102661340B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/47815—Electronic shopping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Signal Processing (AREA)
  • Finance (AREA)
  • General Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 전자 장치는 스토리지 및 컨텐츠 출력 화면과 연관된 키워드에 대응되는 카테고리를 식별하고, 복수의 어플리케이션에 대한 정보에 기초하여 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하고, 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 프로세서를 포함한다.

Description

전자 장치 및 이의 제어 방법{ Electronic device and control method thereof }
본 발명은 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 사용자 음성을 수신하는 전자 장치 및 이의 제어 방법에 관한 것이다.
전자 기술이 발달함에 따라, 다양한 유형의 전자 장치가 개발 및 보급되고 있는 실정이다.
특히, 최근 사용자 음성에 기반하여 제어되는 다양한 유형의 전자 장치가 개발됨에 사용자의 직관적인 조작이 가능해졌으며, 편의성이 증대되었다.
다만, 종래의 전자 장치는 사용자의 음성 명령을 올바르게 인식하여, 음성 명령에 대응되는 기능을 수행하기에는 음성 인식 성능이 다소 미흡하였다.
이를 극복하기 위해 일부 전자 장치는 사용자의 음성 명령을 적절히 인식하기 위해 사용자의 발화가 어떠한 단어를 포함하여야 하는지 또는 어떠한 문장 형태이어야 하는지를 가이드 하는 대표 발화 예시를 디스플레이하였다.
이와 같은 대표 발화 예시는 현재 상황과는 관련이 없거나, 출력 중인 컨텐츠와는 무관하여 오히려 사용자로 하여금 잘못된 발화를 유도하는 문제점이 있었다.
따라서, 사용자가 보다 직관적으로 이해하고, 올바르게 발화할 수 있도록 유도하는 가이드 정보가 제공되어야 할 필요성이 대두되었다.
또한, 종래의 전자 장치는 음성 명령을 통해 전자 장치 자체의 기능을 제어하기 위한 가이드 정보만을 제공하였다.
전자 장치는 전자 장치 자체의 기능 외에도, 사용자가 이용하는 외부 전자 장치들의 기능을 음성 명령을 통해 제어할 수 있는 가이드 정보를 사용자에게 제공할 필요성이 있었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명의 목적은 사용 이력에 기초한 가이드 정보를 제공하는 전자 장치 및 이의 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 전자 장치는 스토리지 및 컨텐츠 출력 화면과 연관된 키워드에 대응되는 카테고리를 식별하고, 복수의 어플리케이션에 대한 정보에 기초하여 상기 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하고, 상기 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 상기 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는, 프로세서를 포함한다.
또한, 상기 프로세서는, 상기 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 상기 키워드와 관련된 어플리케이션을 식별하고, 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 상기 프로세서는, 상기 적어도 하나의 어플리케이션 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별하고, 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
여기서, 상기 프로세서는, 상기 키워드와 관련하여 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 상기 프로세서는, 상기 식별된 카테고리에 대응되는 복수의 키워드를 식별하고, 사용자의 발화 이력 중 상기 복수의 키워드 중 적어도 하나를 포함하는 발화 정보가 식별되면, 상기 식별된 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
여기서, 상기 프로세서는, 상기 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 상기 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 통신 인터페이스를 더 포함하며, 상기 프로세서는, 상기 통신 인터페이스를 통해 외부 장치로부터 상기 복수의 어플리케이션에 대한 정보를 수신하고, 상기 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 상기 선택된 어플리케이션을 실행하기 위한 제어 명령을 상기 외부 장치로 제공할 수 있다.
또한, 상기 프로세서는, 상기 복수의 어플리케이션 중 적어도 하나와 관련된 사용자 음성이 수신되면, 상기 사용자 음성을 해당 어플리케이션에 대한 사용 이력 정보로 저장할 수 있다.
또한, 상기 가이드 정보는, 사용자의 음성 명령을 가이드 하는 정보일 수 있다.
또한, 디스플레이를 더 포함하며, 상기 프로세서는, 상기 컨텐츠 출력 화면 및 상기 가이드 정보를 디스플레이하도록 상기 디스플레이를 제어할 수 있다.
또한, 스피커를 더 포함하며, 상기 프로세서는, 상기 스피커를 통해 출력 중인 사운드에 기초하여 상기 키워드를 획득할 수 있다.
한편, 본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 컨텐츠 출력 화면과 연관된 키워드에 대응되는 카테고리를 식별하는 단계, 복수의 어플리케이션에 대한 정보에 기초하여 상기 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하는 단계 및 상기 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 상기 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함한다.
여기서, 상기 가이드 정보를 제공하는 단계는, 상기 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 상기 키워드와 관련된 어플리케이션을 식별하는 단계 및 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
또한, 상기 가이드 정보를 제공하는 단계는, 상기 적어도 하나의 어플리케이션 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별하는 단계 및 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 상기 가이드 정보를 제공하는 단계는, 상기 키워드와 관련하여 상기 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 상기 식별된 카테고리에 대응되는 복수의 키워드를 식별하는 단계 및 사용자의 발화 이력 중 상기 복수의 키워드 중 적어도 하나를 포함하는 발화 정보가 식별되면, 상기 식별된 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 상기 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 상기 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
또한, 외부 장치로부터 상기 복수의 어플리케이션에 대한 정보를 수신하는 단계 및 상기 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 상기 선택된 어플리케이션을 실행하기 위한 제어 명령을 상기 외부 장치로 제공하는 단계를 포함할 수 있다.
또한, 상기 복수의 어플리케이션 중 적어도 하나와 관련된 사용자 음성이 수신되면, 상기 사용자 음성을 해당 어플리케이션에 대한 사용 이력 정보로 저장하는 단계를 포함할 수 있다.
또한, 상기 가이드 정보는, 사용자의 음성 명령을 가이드 하는 정보일 수 있다.
본 발명의 다양한 실시 예에 따르면, 사용자는 컨텐츠 출력 화면과 관련된 가이드 정보를 제공받을 수 있고, 사용자가 전자 장치 또는 외부 장치를 제어함에 있어서 편의성이 증대될 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
도 2는 도 1에 도시된 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 3은 본 개시의 일 실시 예에 따른 가이드 정보를 설명하기 위한 도면이다.
도 4는 본 개시의 다른 실시 예에 따른 가이드 정보를 설명하기 위한 도면이다.
도 5 및 도6은 본 개시의 일 실시 예에 따른 전자 장치 및 외부 장치를 설명하기 위한 도면이다.
도 7은 본 개시의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 8은 본 개시의 일 실시 예에 따른 서버를 설명하기 위한 도면이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.　
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 개시의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.　그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 개시의 일 실시 예에 따른 전자 장치의 구성을 도시한 블록도이다.
여기서, 전자 장치(100)는 디스플레이 장치로 구현될 수 있으나, 이에 한정되는 것은 아니며 컨텐츠를 출력하는 다양한 종류의 전자 장치(100)로 구현 가능하다. 예를 들어, 전자 장치(100)는 블루레이 플레이어(Blu Ray Player), DVD(Digital Versatile Disc) 플레이어, 스트리밍 컨텐츠 출력 장치, 셋탑 박스 등과 같이 컨텐츠를 디스플레이 장치로 제공하는 다양한 유형의 소스 장치로 구현될 수 있다. 전자 장치(100)는 컨텐츠를 자체적으로 구비한 디스플레이를 통해 출력할 수도 있고, 타 전자 장치로 제공할 수도 있다.
또한, 전자 장치(100)는 TV, 스마트폰, 태블릿 PC, PMP, PDA, 노트북 PC, 스마트 워치, HMD(Head mounted Display), NED(Near Eye Display) 등과 같이 디스플레이 기능을 갖춘 장치로 구현될 수도 있음은 물론이다. 전자 장치(100)는 디스플레이 기능을 제공하기 위해 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태의 디스플레이를 구비하도록 구현될 수도 있다.
또한, 전자 장치(100)는 스피커, 냉장고, 세탁기, 에어컨, 공기 청정기, 각종 사물 인터넷 장치(internet of things) 등과 같은 다양한 형태의 가전 제품(home appliance)으로 구현될 수도 있음은 물론이다.
도 1은 참조하면, 전자 장치(100)는 스토리지(110) 및 프로세서(120)를 포함한다.
스토리지(110)는 전자 장치(100)를 구동시키기 위한 O/S(Operating System) 소프트웨어 모듈, 각종 멀티미디어 컨텐츠와 같은 다양한 데이터를 저장한다.
프로세서(120)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(120)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
특히, 프로세서(120)는 컨텐츠 출력 화면과 연관된 키워드를 획득할 수 있다. 일 예로, 전자 장치(100)가 전자 장치(100)에 구비된 디스플레이를 통해 컨텐츠를 출력하면, 프로세서(120)는 컨텐츠 출력 화면으로부터 키워드를 획득할 수 있다. 프로세서(120)는 컨텐츠 출력 화면을 분석하여 화면 내의 오브젝트를 식별하고, 식별된 오브젝트로부터 키워드를 획득할 수 있다. 예를 들어, 프로세서(120)는 공지의 영상 분석 알고리즘, 오브젝트 인식 알고리즘 등을 이용하여 화면 내의 오브젝트를 식별할 수 있다. 이어서, 프로세서(120)는 식별된 오브젝트로부터 키워드를 획득할 수 있다.
일 실시 예에 따라, 프로세서(120)는 화면 내에 포함된 ‘건축물’을 오브젝트로 식별하고, 오브젝트로부터 건축물의 이름, 건축물이 위치한 지명 등을 키워드로 획득할 수 있다. 예를 들어, 프로세서(120)는 화면 내에 포함된 ‘에펠탑’을 식별하고, ‘에펠탑’, ‘프랑스’, ‘파리’ 등을 키워드로 획득할 수 있다.
한편, 이에 한정되는 것은 아니며, 프로세서(120)는 다양한 데이터를 이용하여 컨텐츠에 기초한 키워드, 컨텐츠 출력 화면에 기초한 키워드 등을 획득할 수 있음은 물론이다. 예를 들어, 프로세서(120)는 컨텐츠의 메타데이터, 핑거프린팅(Fingerprinting) 등에 기초하여 컨텐츠의 키워드를 획득할 수 있다. 다른 예로, 프로세서(120)는 컨텐츠 출력 화면에 포함된 텍스트, 로고, 이미지 등에 기초하여 키워드를 획득할 수 있다. 예를 들어, 컨텐츠 출력 화면에 OCR(Optical character recognition)을 수행하여 화면에 포함된 텍스트를 획득하고, 텍스트에 기초하여 키워드를 획득할 수 있다.
또 다른 예로, 프로세서(120)는 ACR(Automatic Content Recognition)을 이용하여 컨텐츠 출력 화면에 기초하여 키워드를 획득할 수 있다. 예를 들어, 프로세서(120)는 화면에서 오디오 및 비디오 신호 중 적어도 하나를 획득하고, 획득된 신호에 기초하여 화면 내에 포함된 복수의 오브젝트를 식별할 수 있다. 이어서, 프로세서(120)는 식별된 오브젝트에 기초하여 키워드를 획득할 수 있다. 예를 들어, 프로세서(120)는 ACR을 이용하여 화면 내에 포함된 사람, 사물, 장소 중 적어도 하나를 식별하고, 식별된 사람, 사물, 장소 중 적어도 하나에 기초하여 컨텐츠 명을 키워드로 획득할 수 있다. 또한, 식별된 사람에 기초하여 특정 인물의 이름을 키워드로 획득하거나, 식별된 사물에 기초하여 특정 사물의 이름을 키워드로 획득할 수도 있음은 물론이다.
다른 예로, 프로세서(120)는 컨텐츠의 메타 데이터, 핑거프린팅 등에 기초하여 컨텐츠와 관련된 키워드를 획득할 수도 있다. 예를 들어, 프로세서(120)는 컨텐츠의 메타데이터 등에 기초하여 컨텐츠의 타이틀, 내용, 제작진, 제작일, 식별 기호, 관리 번호 등을 획득할 수 있고, 컨텐츠와 관련된 키워드를 획득할 수 있다. 다른 예로, 프로세서(120)는 핑거프린팅 기술이 적용된 ACR(Automatic Content Recognition, 자동 컨텐츠 인식)에 기초하여 컨텐츠의 사운드 신호 또는 비디오 신호의 특징점에 기초하여 컨텐츠와 연관된 키워드를 획득할 수도 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 획득된 키워드에 대응되는 카테고리를 식별할 수 있다. 일 실시 예에 따라, 스토리지(110)는 복수의 카테고리 및 복수의 카테고리 각각에 복수의 키워드를 포함할 수 있다. 일 예로, 스토리지(110)는 ‘여행’ 카테고리 및 ‘여행’ 카테고리에 대한 복수의 키워드로서 ‘비행기’, ‘기차’, ‘호텔’, ‘숙박’, ‘하이킹’, ‘해변’, ‘휴가’, ‘유럽’, ‘미국’, ‘자유 여행’, ‘해외 여행’, ‘국내 여행’ 등을 포함할 수 있다. 이 외에도 스토리지(110)는 다양한 카테고리 및 각 카테고리에 대한 복수의 키워드를 포함할 수 있다.
한편, 이는 일 예로서 반드시 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(100)는 복수의 카테고리 및 카테고리에 대응되는 복수의 키워드를 서버(미도시)와 통신을 수행하여 획득할 수도 있다. 예를 들어, 프로세서(120)는 컨텐츠 출력 화면에 기초하여 키워드를 획득하고, 서버와 통신을 수행하여 키워드에 대응되는 카테고리를 식별할 수도 있음은 물론이다. 또한, 프로세서(120)는 컨텐츠 출력 화면을 서버로 전송하고, 키워드 및 키워드에 대응되는 카테고리를 서버로부터 수신할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 스토리지(110)에 저장된 복수의 어플리케이션에 대한 정보에 기초하여 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 여기서, 어플리케이션에 대한 정보는 어플리케이션의 카테고리 및 어플리케이션의 사용 이력 등을 포함할 수 있다. 예를 들어, 어플리케이션은 어플리케이션 스토어(application store)에 분류된 바와 같이 ‘여행 및 지역정보’,’사진’,‘소셜(Social)’,‘라이프스타일’등의 여러 카테고리 중 적어도 하나의 카테고리에 속할 수 있다. 어플리케이션에 대한 정보는 해당 어플리케이션의 카테고리 및 해당 어플리케이션의 사용자 사용 이력 등을 포함할 수 있다.
프로세서(120)는 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 예를 들어, 프로세서(120)는 식별된 카테고리가 ‘음식’이면, ‘음식’ 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 프로세서(120)는 ‘음식’카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력으로, 레시피(recipe) 어플의 사용 이력, 음식 배달 어플의 사용 이력, 칼로리 계산 어플의 사용 이력 등을 획득할 수 있다. 이어서, 획득된 사용 이력에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 예를 들어, 레시피 어플의 사용 이력에 기초하여 ‘레시피 어플에서 파스타 조리법 찾아줘’를 가이드 하는 가이드 정보를 제공할 수 있다. 다른 예로, 배달 어플의 사용 이력에 기초하여 ‘배달 어플에서 가장 최근에 주문한 피자 주문해줘’가 가이드 정보로 제공될 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 키워드와 관련된 어플리케이션을 식별할 수 있다. 일 예로, 컨텐츠 출력 화면에 기초하여 ‘피자’를 키워드로 획득한 경우를 상정할 수 있다. 이 경우, 프로세서(120)는 ‘피자’에 대응되는 카테고리로 ‘배달’을 식별할 수 있다. 이어서, 프로세서(120)는 ‘배달’에 대응되는 적어도 하나의 어플리케이션의 사용 이력으로서, A피자 배달 어플의 사용 이력, B피자 배달 어플의 사용 이력, C햄버거 배달 어플의 사용 이력 등을 획득할 수 있다. 프로세서(120)는 획득된 적어도 하나의 어플리케이션의 사용 이력 중 키워드 ‘피자’와 관련된 A피자 배달 어플의 사용 이력, B피자 배달 어플의 사용 이력에 기초하여 A피자 배달 어플 및 B피자 배달 어플의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 예를 들어, 프로세서(120)는 ‘A피자 배달 어플에서 가장 최근에 주문한 피자 주문해줘’, ‘B피자 배달 어플에서 피자 가격 확인해줘’등을 가이드 정보로 제공할 수 있다. 이에 따라, 카테고리에 대응되는 복수의 어플리케이션 각각의 사용 이력 중 키워드와 관련된 어플리케이션을 식별하고, 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 본 개시의 일 실시 예에 따른 프로세서(120)는 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별할 수 있다. 예를 들어, 프로세서(120)는 식별된 카테고리에 대응되는 복수의 어플리케이션 중 이용 횟수가 기설정된 횟수 이상인 어플리케이션을 식별하고, 식별된 어플리케이션의 사용 이력에 기초하여 가이드 정보를 제공할 수 있다. 또한, 프로세서(120)는 이용 횟수가 가장 많은 어플리케이션, 이용 횟수가 두 번째로 많은 어플리케이션 등을 식별하고, 식별된 어플리케이션의 사용 이력에 기초하여 가이드 정보를 제공할 수도 있음은 물론이다.
다른 예로, 프로세스(120)는 식별된 카테고리에 대응되는 복수의 어플리케이션 중 가장 최근에 이용한 어플리케이션을 식별하고, 식별된 어플리케이션의 사용 이력에 기초하여 가이드 정보를 제공할 수 있다. 또 다른 예로, 프로세서(120)는 식별된 카테고리에 대응되는 복수의 어플리케이션 중 가장 최근에 이용한 기설정된 개수만큼의 어플리케이션을 식별하고, 식별된 어플리케이션의 사용 이력에 기초하여 가이드 정보를 제공할 수 있다.
또 다른 예로, 프로세서(120)는 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션 중 사용 가능 여부에 기초하여 어플리케이션을 식별할 수도 있다. 예를 들어, 적어도 하나의 어플리케이션 중 계정 로그인이 요구되는 어플리케이션, 업데이트가 요구되는 어플리케이션, 추가 결제(예를 들어, 인 앱 결제)가 요구되는 어플리케이션 등은 제외할 수도 있다. 프로세서(120)는 복수의 어플리케이션 중 사용 가능한 것으로 식별된 어플리케이션의 사용 이력에 기초하여 가이드 정보를 제공할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 키워드와 관련하여 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 일 예로, 컨텐츠 출력 화면에 기초하여 ‘이탈리아’를 키워드로 획득한 경우를 상정할 수 있다. 이 경우, 프로세서(120)는 ‘이탈리아’에 대응되는 카테고리로 ‘여행’을 식별할 수 있다. 이어서, 프로세서(120)는 ‘여행’에 대응되는 적어도 하나의 어플리케이션의 사용 이력으로서, 항공권 예약 어플의 사용 이력, 호텔 예약 어플의 사용 이력, 지도 어플의 사용 이력 등을 획득할 수 있다. 이어서, 프로세서(120)는 키워드 및 획득된 적어도 하나의 어플리케이션의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 예를 들어, 프로세서(120)가 호텔 예약 어플의 사용 이력으로 ‘파리 소재 5성급 호텔 예약 이력’, ‘런던 소재 미술관 인근 호텔 예약 이력’이 획득된 경우를 상정할 수 있다. 이 경우, 프로세서(120)는 키워드 ‘이탈리아’ 및 획득된 사용 이력에 기초하여 ‘호텔 예약 어플에서 이탈리아 소재 5성급 호텔 예약 해줘’ 및 ‘호텔 예약 어플에서 이탈리아 소재 미술관 인근 호텔 예약 해줘’를 가이드 정보로 제공할 수 있다. 프로세서(120)는 호텔 예약 어플에서 이탈리아 소재 호텔을 예약한 사용 이력이 없어도, 키워드 및 사용 이력 정보에 기초하여 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
본 개시의 일 실시 예에 따른 프로세서(120)는 컨텐츠 출력 화면에 기초하여 키워드를 획득하고, 키워드에 대응되는 카테고리를 식별할 수 있다. 이어서, 프로세서(120)는 카테고리에 대응되는 복수의 키워드를 식별할 수 있다. 본 개시의 일 실시 예에 따른 프로세서(120)는 사용자의 발화 이력 중 복수의 키워드 중 적어도 하나를 포함하는 발화 정보를 식별할 수 있다. 이어서, 프로세서(120)는 식별된 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
예를 들어, 키워드로 ‘축구’가 식별되면, ‘스포츠’를 카테고리로 식별할 수 있다. 프로세서(120)는 ‘스포츠’에 대응되는 복수의 키워드로 ‘야구’, ‘축구’, ‘월드컵’, ‘올림픽’ 등을 식별할 수 있다. 이어서, 프로세서(120)는 사용자의 발화 이력 중 ‘야구’, ‘축구’, ‘월드컵’, ‘올림픽’ 등을 포함하는 발화 정보를 식별할 수 있다.
여기서, 사용자의 발화 이력은 전자 장치(100)에 저장될 수 있다. 일 예로, 프로세서(120)는 사용자 음성 명령이 수신되면, 사용자 음성 명령을 사용자의 발화 이력으로 저장할 수 있다. 다른 예로, 전자 장치(100)는 서버로부터 사용자 발화 이력을 수신하여 스토리지(110)에 저장할 수 있다. 프로세서(120)는 사용자의 발화 이력 중 복수의 키워드 중 적어도 하나를 포함하는 발화 정보를 식별할 수 있다. 여기서, 발화 정보는 사용자의 음성 명령을 의미할 수 있다. 예를 들어, 복수의 어플리케이션 중 적어도 하나와 관련된 사용자의 음성이 수신되면, 프로세서(120)는 해당 어플리케이션 및 사용자 음성 등을 발화 이력을 저장할 수 있다. 이어서, 프로세서(120)는 발화 이력 중 ‘야구’, ‘축구’, ‘월드컵’, ‘올림픽’ 중 적어도 하나를 포함하는 발화 이력을 식별할 수 있다. 프로세서(120)는 식별된 발화 이력에서 어플리케이션 및 사용자 음성을 획득할 수 있다. 여기서, 획득된 어플리케이션 및 사용자 음성은 발화 정보를 의미할 수 있다. 프로세서(120)는 식별된 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
예를 들어, 프로세서(120)는 사용자의 발화 이력에서 어플리케이션으로 ‘스포츠 스코어 어플’ 및 사용자 음성으로 ‘팀A의 경기 결과 알려줘’을 획득할 수 있다. 프로세서(120)는 ‘스포츠 스코어 어플’ 및 ‘팀 A의 경기 결과 알려줘’에 기초하여 ‘스포츠 스코어 어플에서 팀A의 경기 결과 알려줘’를 가이드 정보로 제공할 수 있다. 일 예로, 가이드 정보는 사용자의 음성 명령을 가이드 하는 정보일 수 있다.
본 개시의 일 실시 예에 따라 가이드 정보에 대한 선택 명령이 입력되면, 프로세서(120)는 선택된 가이드 정보에 따라 어플리케이션을 실행할 수 있다. 예를 들어, 가이드 정보로 제공된 ‘레시피 어플에서 파스타 조리법 찾아줘’에 대한 선택 명령이 입력되면, 프로세서(120)는 레시피 어플을 실행하고, 파스타 조리법을 검색할 수 있다. 일 실시 예에 따라, 사용자에게 제공되는 가이드 정보는 사용자의 음성 명령을 가이드 하는 정보일 수 있다. 이에 따라, 선택 명령은 마이크(미도시)를 통해 입력된 사용자의 음성 명령일 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 프로세서(120)는 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 여기서, 응답 정보는 발화 정보에 따라 식별된 어플리케이션 및 해당 어플리케이션의 동작을 의미할 수 있다. 예를 들어, 프로세서(120)는 사용자의 발화 정보에 기초하여 ‘영화 예약 어플에서 액션 영화 예약해줘’ 응답 정보로 제공될 수 있다. 이어서, 전자 장치(100)는 제공된 응답 정보에 대한 사용자의 선택 여부를 식별할 수 있다. 예를 들어, 사용자의 발화 정보에 따라 제공된 응답 정보가 사용자의 발화와 일치율이 높다면, 사용자는 제공된 응답 정보를 선택할 수 있다. 다른 예로, 사용자의 발화 정보에 따라 제공된 응답 정보가 사용자의 발화와 일치율이 낮다면, 사용자는 제공된 응답 정보를 선택하지 않을 수 있다. 전자 장치(100)는 사용자의 선택 여부를 누적하여 기록한 선택 히스토리를 생성할 수 있다.
전자 장치(100)는 선택 히스토리에 기초하여 사용자의 선택율이 기설정된 임계값 이상이면, 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 다른 예로, 전자 장치(100)는 선택율이 기설정된 임계값 미만이면, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 예를 들어, 사용자의 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택율이 낮으므로, 제공된 가이드 정보가 선택되지 않을 수 있다. 이에 따라, 전자 장치(100)는 사용자의 발화 정보가 아닌, 타 사용자의 발화 정보에 기초하여 가이드 정보를 제공할 수 있다. 또한 예를 들어, 기설정된 임계값은 70%일 수 있다. 다만, 이에 한정되는 것은 아니며, 사용자의 설정, 제조사의 목적 등에 따라 다양하게 설정될 수 있음은 물론이다.
또 다른 예로, 전자 장치(100)는 선택율이 기설정된 임계값 미만인지 여부에 관계 없이, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공할 수도 있음은 물론이다. 예를 들어, 전자 장치(100)는 사용자의 발화 정보 및 타 사용자의 발화 정보 모두에 기초하여 가이드 정보를 제공할 수도 있다.
도 2는 도 1에 도시된 전자 장치의 세부 구성을 나타내는 블럭도이다.
도 2에 따르면, 전자 장치(100)는 스토리지(110), 프로세서(120), 통신 인터페이스(130), 마이크(140), 디스플레이(150) 및 스피커(160)를 포함한다. 도 2에 도시된 구성 중 도 1에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략하도록 한다.
본 개시의 일 실시 에에 따른 프로세서(120)는 CPU, 전자 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 또는 비 휘발성 메모리) 및 전자 장치(100)의 외부에서부터 입력되는 데이터를 저장하거나 전자 장치(100)에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 램(RAM, 또는 휘발성 메모리)을 포함할 수 있다.
프로세서(120)는 스토리지(110)에 저장된 각종 프로그램을 이용하여 전자 장치(100)의 전반적인 동작을 제어한다.
프로세서(120)는 RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스, 버스를 포함한다. 이때, RAM, ROM, 그래픽 처리부, 메인 CPU, 제1 내지 n 인터페이스 등은 버스를 통해 서로 연결될 수 있다.
ROM에는 시스템 부팅을 위한 명령어 세트 등이 저장된다. 턴온 명령이 입력되어 전원이 공급되면, 메인 CPU는 ROM에 저장된 명령어에 따라 스토리지(110)에 저장된 O/S를 RAM에 복사하고, O/S를 실행시켜 시스템을 부팅시킨다. 부팅이 완료되면, 메인 CPU는 메모리에 저장된 각종 어플리케이션 프로그램을 RAM에 복사하고, RAM에 복사된 어플리케이션 프로그램을 실행시켜 각종 동작을 수행한다.
그래픽 처리부는 연산부 및 렌더링부를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 제어 명령을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다.
메인 CPU는 스토리지(110)에 액세스하여, 스토리지(110)에 저장된 O/S를 이용하여 부팅을 수행한다. 그리고, 메인 CPU는 스토리지(110)에 저장된 각종 프로그램, 컨텐츠, 데이터 등을 이용하여 다양한 동작을 수행한다.
제1 내지 n 인터페이스는 상술한 각종 구성요소들과 연결된다. 인터페이스들 중 하나는 네트워크를 통해 외부 장치와 연결되는 네트워크 인터페이스가 될 수도 있다.
여기서, 스토리지(110)는 프로세서(120)에 포함된 롬(ROM), 램(RAM) 등의 내부 메모리로 구현되거나, 프로세서(120)와 별도의 메모리로 구현될 수도 있다. 이 경우, 스토리지(110)는 데이터 저장 용도에 따라 전자 장치(100)에 임베디드된 메모리 형태로 구현되거나, 전자 장치(100)에 탈부착이 가능한 메모리 형태로 구현될 수도 있다. 예를 들어, 전자 장치(100)의 구동을 위한 데이터의 경우 전자 장치(100)에 임베디드된 메모리에 저장되고, 전자 장치(100)의 확장 기능을 위한 데이터의 경우 전자 장치(100)에 탈부착이 가능한 메모리에 저장될 수 있다. 한편, 전자 장치(100)에 임베디드된 메모리의 경우 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등과 같은 형태로 구현되고, 음향 출력 장치(100)에 탈부착이 가능한 메모리의 경우 메모리 카드(예를 들어, micro SD 카드, USB 메모리 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
통신 인터페이스(130)는 외부 서버와 통신하기 위한 구성이다. 특히, 통신 인터페이스(130)는 기타 외부장치와 통신할 수 있다. 이때, 외부 장치는 영상 콘텐츠를 출력할 수 있는 전자 장치일 수 있다. 예를 들어, 외부 장치가 TV인 경우, 외부 장치의 종류는 영상 기기이고, TV의 출력 데이터 정보는 TV의 모델 명, TV의 출력 콘텐츠의 오디오 특성, TV의 출력 콘텐츠 중 출력 오디오의 주파수 특성 등을 포함할 수 있으나 이에 한정되지 않는다. 또한, 통신 인터페이스(130)가 통신하는 외부 장치는 영상 콘텐츠를 출력할 수 있는 장치 외에도 블루투스 스피커, 조명 장치, 스마트 청소기, 스마트 냉장고, IOT 홈 매니저 등을 포함할 수 있다.
마이크를 포함하는 외부 장치와 통신하는 경우, 통신 인터페이스(130)는 외부 장치가 수신한 화자의 음성 신호에 대한 정보를 수신할 수 있다. 이 경우 통신 인터페이스(130)는 외부 장치을 통해 입력되는 사용자의 음성 명령을 수신할 수 있다. 이는 일 실시 예에 불과하며, 통신 인터페이스(130)는 BT 모듈을 통해 신호를 수신할 수 있다.
한편, 통신 인터페이스(130)는 Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), GPS(global positioning system), CSMA/CD(carrier sense multiple access/collision detection) 방식을 통한 이더넷(Ethernet) 또는 cellular 통신(예: LTE, LTE-A, CDMA, WCDMA, UMTS, Wibro 또는 GSM 등) 유/무선 LAN(Local Area Network), WAN, 이더넷, IEEE 1394, HDMI, USB, MHL, AES/EBU, 옵티컬(Optical), 코액셜(Coaxial) 중 적어도 하나의 통신 방식에 대한 통신 모듈을 포함할 수 있다.
특히, 통신 인터페이스(130)는 외부 장치로부터 복수의 어플리케이션에 대한 정보를 수신할 수 있다. 예를 들어, 외부 장치로부터 수신된 복수의 어플리케이션에 대한 정보는 외부 장치에 저장된 복수의 어플리케이션 각각의 카테고리 및 어플리케이션의 사용 이력 등을 포함할 수 있다. 다른 예로, 통신 인터페이스(130)를 서버를 통해 외부 장치에 저장된 복수의 어플리케이션에 대한 정보를 수신할 수도 있음은 물론이다. 전자 장치(100) 및 타 전자 장치 각각에 저장된 어플리케이션에 대한 정보가 서버로 송신될 수 있다. 전자 장치(100)는 서버로부터 전자 장치(100)에 저장된 복수의 어플리케이션에 대한 정보 및 타 전자 장치에 저장된 복수의 어플리케이션에 대한 정보를 수신할 수도 있다. 예를 들어, 사용자가 동일한 계정으로 사용하는 복수의 전자 장치에 대한 사용 이력이 서버로 송신될 수 있고, 전자 장치(100)는 서버 및 타 전자 장치 중 적어도 하나와 통신을 수행하여 타 전자 장치에 저장된 복수의 어플리케이션에 대한 정보를 수신할 수 있다.
본 개시의 일 실시 예에 따른 통신 인터페이스(130)는 외부 장치에 저장된 사용자의 발화 이력을 수신할 수 있다. 예를 들어, 외부 장치에 저장된 복수의 어플리케이션 중 적어도 하나와 관련된 사용자 음성이 발화 이력으로 저장되고, 통신 인터페이스(130)는 외부 장치와 통신을 수행하여 외부 장치에 저장된 발화 이력을 수신할 수 있다. 다만, 이에 한정되는 것은 아니며 통신 인터페이스(130)는 서버와 통신을 수행하여 복수의 타 전자 장치 각각에 저장된 사용자의 발화 이력을 수신할 수도 있음은 물론이다.
일 실시 예에 따른 프로세서(120)는 컨텐츠 출력 화면에 기초하여 키워드를 획득하고, 획득된 키워드에 대응되는 카테고리를 식별할 수 있다. 이어서, 프로세서(120)는 통신 인터페이스(130)를 통해 수신된 외부 장치에 저장된 복수의 어플리케이션에 대한 정보 및 스토리지(110)에 저장된 복수의 어플리케이션에 대한 정보에 기초하여 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 이어서, 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 해당 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 프로세서(120)는 선택된 어플리케이션을 실행할 수 있다. 특히, 선택된 어플리케이션이 외부 장치에 저장된 복수의 어플리케이션에 포함되면, 선택된 어플리케이션을 실행하기 위한 제어 명령을 통신 인터페이스(130)를 통해 외부 장치로 전송할 수 있다.
본 개시의 일 실시 예에 따른 통신 인터페이스(130)는 전자 장치(100)에 저장된 복수의 어플리케이션에 대한 정보, 전자 장치(100)에 대한 사용자의 발화 명령, 발화 명령 등을 서버로 전송할 수 있다.
한편, 본 개시의 일 실시 예에 따른 통신 인터페이스(130)는 사용자의 음성을 서버로 전송할 수 있다. 서버는 전자 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환하여, 전자 장치(100)로 텍스트 정보를 전송할 수 있다. 예를 들어, 서버는 STT(Speech to Text)를 위한 알고리즘을 이용하여, 전자 장치(100)로부터 수신된 사용자 음성을 텍스트 정보로 변환할 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)가 자체적으로 사용자 음성을 텍스트 정보로 변환할 수도 있음은 물론이다.
마이크(140)는 사용자의 발화 음성을 수신할 수 있다. 본 개시의 일 실시 예에 따른 전자 장치(100)는 마이크(140)를 통해 수신된 사용자 음성에 따라 어플리케이션을 실행하고 동작을 수행할 수 있다. 예를 들어, 제공된 가이드 정보를 선택하는 사용자의 음성 명령이 마이크(140)를 통해 수신되면, 프로세서(120)는 선택된 가이드 정보에 포함된 어플리케이션을 실행할 수 있다. 한편, 본 개시의 일 실시 예에 따라, 전자 장치(100)는 마이크(140)를 통해 사용자 발화 음성을 수신할 수도 있고, 전자 장치(100)의 원격 제어 장치(미도시)에 구비된 마이크를 통해 사용자 발화 음성을 수신할 수도 있다. 다른 예로, 전자 장치(100)는 통신 인터페이스(130)를 통해 사용자 단말 장치(미도시)와 통신을 수행할 수 있고, 사용자 단말 장치로부터 사용자 발화 음성을 수신할 수도 있음은 물론이다.
예를 들어, 사용자 단말 장치는 전자 장치(100)와 통신을 수행할 수 있는 어플리케이션을 포함할 수 있다. 일 예로, 사용자 단말 장치에 전자 장치(100)를 제어하기 위한 리모콘 어플리케이션이 설치되어 있을 수 있다. 사용자 단말 장치는 리모콘 어플리케이션을 통해 사용자 발화 음성을 전자 장치(100)로 전송할 수 있다. 여기서, 리모콘 어플리케이션은 전자 장치(100)의 제어를 가이드하는 UI를 포함할 수 있다. 리모콘 어플리케이션은 사용자 단말 장치에 기 설치되어 있을 수도 있고, 사용자 또는 제조사의 선택 등에 따라 사용자 단말 장치에 설치될 수도 있음은 물론이다.
디스플레이(150)는 전자 장치(100)을 통해 제공 가능한 다양한 컨텐츠 화면을 제공할 수 있다. 여기서, 컨텐츠 화면은 이미지, 동영상, 텍스트, 음악 등과 같은 다양한 컨텐츠, 다양한 컨텐츠를 포함하는 어플리케이션 실행 화면, GUI(Graphic User Interface) 화면 등을 포함할 수 있다.
디스플레이는 LCD(liquid crystal display), OLED(organic light-emitting diode), LCoS(Liquid Crystal on Silicon), DLP(Digital Light Processing), Micro LED, QD(quantum dot) 디스플레이 패널 등과 같은 다양한 형태로 구현될 수 있으나, 이에 한정되는 것은 아니다. 또한, 디스플레이는 경우에 따라 플렉서블 디스플레이, 투명 디스플레이 등으로 구현되는 것도 가능하다.
또한, 본 발명의 일 실시 예에 따른, 디스플레이는 영상을 출력하는 디스플레이 패널뿐만 아니라, 디스플레이 패널을 하우징하는 베젤을 포함할 수 있다. 특히, 본 발명의 일 실시예에 따른, 베젤은 사용자 인터렉션을 감지하기 위한 터치 센서(미도시)를 포함할 수 있다.
특히, 본 개시의 일 실시 예에 따른 디스플레이(150)는 컨텐츠 출력 화면, 가이드 정보 등을 디스플레이할 수 있다.
한편, 전자 장치(100)에 구비된 디스플레이(150)는 그래픽 처리부에서 생성된 다양한 화면을 디스플레이할 수 있다. 전자장치(100)는 디스플레이(150)를 구성요소로 포함하고 있을 수 있으나, 외부 장치에 포함된 디스플레이에 다양한 화면을 표시하는 경우에는 인터페이스를 이용하여 외부 장치의 디스플레이에 다양한 화면을 디스플레이할 수도 있다.
스피커(160)는 오디오 신호를 출력하는 기능을 한다. 스피커(160)는 적어도 하나의 스피커 유닛(또는 오디오 앰프(audio amplifier))을 포함할 수 있다. 특히, 본 개시의 일 실시 예에 따른 전자 장치(100)는 스피커(160)를 통해 컨텐츠를 출력할 수 있다. 프로세서(120)는 스피커(160)를 통해 출력 중인 사운드에 기초하여 키워드를 획득할 수 있다. 예를 들어, 프로세서(100)는 스피커(160)를 통해 출력 중인 사운드 신호에 음성 인식을 수행하여 키워드를 획득할 수 있다. 일 예로, 출력 중인 사운드 신호에서 ‘Spain’이 키워드로 획득되면, 프로세서(120)는 ‘Spain’에 대응되는 ‘여행’, ‘지리 정보’ 등을 카테고리로 획득할 수 있다. 프로세서(120)는 ‘여행’등의 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하고, 사용 이력 정보에 기초하여 해당 어플리케이션의 이용을 가이드 하는 가이드 정보를 스피커(160)를 통해 출력할 수 있다. 예를 들어, 항공권 예약 어플이 식별되고, 항공권 예약 어플의 사용 이력에서 ‘바르셀로나행 티켓 예약해줘’가 획득되면, 프로세서(120)는 스피커(160)를 통해 ‘항공권 예약 어플을 통해 바르셀로나행 티켓 예약할까요?’를 가이드 정보로 출력할 수 있다. 이어서, 해당 가이드 정보를 선택하는 사용자 입력이 수신되면, 프로세서(120)는 항공권 예약 어플을 실행하고, 바르셀로나행 티켓 예약을 수행할 수 있다. 여기서, 사용자 입력은 마이크(140)를 통해 수신된 음성 명령일 수도 있다.
리모콘 신호 수신부(미도시)는 리모콘으로부터 전송되는 리모콘 신호를 수신하기 위한 구성이다. 리모콘 신호 수신부는 IR(Infra Red) 신호를 입력받기 위한 수광부를 포함하는 형태로 구현될 수도 있고, 리모콘과 블루투스나 와이파이와 같은 무선 통신 프로토콜에 따라 통신을 수행하여 리모콘 신호를 수신하는 형태로 구현될 수도 있다. 예를 들어, 리모콘 신호 수신부는 무선 통신 칩을 포함할 수 있다. 여기서, 무선 통신 칩은 IEEE, 지그비, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evoloution), WI-FI, Bluetooth 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. 일 실시 예에 따른 전자 장치(100)는 리모콘에 구비된 마이크를 통해 입력된 사용자 음성을 리모콘 신호 수신부를 통해 수신할 수 있다.
여기서, 리모콘 신호 수신부는 리모콘과 무선 통신을 수행할 수 있고, 사용자의 음성, 제어 명령 등을 리모콘으로부터 수신할 수 있다. 예를 들어, 전자 장치(100)는 리모콘에 구비된 마이크를 통해 입력된 사용자의 발화 음성을 리모콘 신호 수신부를 통해 수신할 수 있다. 다만, 이에 한정되는 것은 아니며, 전자 장치(100)는 리모콘 신호 수신부를 통해 다양한 유형의 통신 방식으로 리모콘과 통신을 수행할 수 있고, 사용자 음성, 제어 명령, 데이터, 다양한 유형의 신호 등을 리모콘과 송수신할 수 있음은 물론이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 인터페이스(미도시)를 포함한다. 인터페이스(120)는 디스플레이 장치(미도시)와 유/무선 통신을 수행하여 컨텐츠 및 가이드 정보를 전송할 수 있다. 예를 들어, 인터페이스는 HDMI, DVI, DP, 컴포넌트, 유선 이더넷, WI-FI, Bluetooth 등과 같은 다양한 통신 방식을 통해 디스플레이 장치와 통신을 수행할 수 있다. 일 실시 예에 따라 전자 장치(100)가 소스 장치로서, 디스플레이 장치에 컨텐츠 및 가이드 정보를 전송할 수 있다. 다만, 이에 한정되는 것은 아니고 전자 장치(100)에 구비된 디스플레이(150)를 통해 컨텐츠, 가이드 정보 등을 출력할 수도 있음은 물론이다.
일 실시 예에 따른 인터페이스는 비디오 및 오디오를 입출력하기 위해, 외부 장치를 연결하기 위한 구성이다. 구체적으로 입출력 인터페이스는 유선 통신을 위한 구성인 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard 232), POTS(plain old telephone service) DVI, DP(display port), 썬더볼트 중 적어도 하나를 포함할 수 있다. HDMI는 오디오 및 비디오 출력하는 AV 기기용 고성능 데이터의 전송이 가능한 인터페이스이다. DP는 1920x1080의 풀HD급은 물론, 2560x1600이나 3840x2160과 같은 초고해상도의 화면, 그리고 3D 입체영상을 구현할 수 있고, 디지털 음성 또한 전달 가능한 인터페이스이다. 썬더볼트는 고속 데티어 전송 및 연결을 위한 입출력 인터페이스이며, PC, 디스플레이, 저장장치 등을 모두 하나의 포트로 병렬 연결할 수 있다.
상술한 입출력 단자들은 실시 예에 불가하며, 입출력 인터페이스는 이외에 오디오 신호만을 출력하기 위한 포트 또는 비디오 신호만을 출력하기 위한 포트를 포함할 수도 있다.
도 3은 본 개시의 일 실시 예에 따른 가이드 정보를 설명하기 위한 도면이다.
도 3을 참조하면, 전자 장치(100)는 디스플레이 장치로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며 전자 장치(100)가 디스플레이를 구비한 타 전자 장치와 연결되고, 타 전자 장치로 컨텐츠 및 가이드 정보를 전송하는 형태로 구현될 수도 있음은 물론이다. 이하에서는 설명의 편의를 위해 전자 장치(100)가 컨텐츠 및 가이드 정보를 출력하는 경우를 상정하여 설명하도록 한다.
전자 장치(100)는 컨텐츠 출력 화면(10)에 기초하여 키워드를 획득할 수 있다. 전자 장치(100)는 컨텐츠 출력 화면(10)에 영상 분석 알고리즘, 오브젝트 인식 알고리즘 등을 이용하여 복수의 오브젝트를 식별할 수 있다. 예를 들어, 도 3에 도시된 바와 같이 전자 장치(100)는 컨텐츠 출력 화면(10)에 오브젝트 인식 알고리즘을 이용하여 복수의 음식 오브젝트를 식별할 수 있다. 식별된 복수의 음식 오브젝트에 기초하여 ‘음식’을 카테고리로 식별할 수 있다. 다른 예로, 컨텐츠 출력 화면에 기초하여 ‘ 중화 요리(Chinese food)’를 키워드로 식별할 수 있다. 또 다른 예로, 복수의 오브젝트 중 기설정된 조건에 따른 오브젝트를 식별하고, 식별된 오브젝트를 키워드로 획득할 수 있다. 예를 들어, 복수의 오브젝트 중 가장 크기가 큰 오브젝트가 ‘피자’이면, 전자 장치(100)는 컨텐츠 출력 화면(10)에 기초하여 ‘피자’를 키워드로 획득할 수 있다. 다른 예로, 식별된 복수의 오브젝트 중 ‘음식’에 대응되는 오브젝트가 최다 식별되면, 전자 장치(100)는 ‘음식’을 카테고리로 식별할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 복수의 어플리케이션에 대한 정보에 기초하여 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 예를 들어, 전자 장치(100)는 게임, 스포츠, 예약, 배달 등 다양한 카테고리에 대응되는 복수의 어플리케이션을 포함하고, 복수의 어플리케이션 각각은 적어도 하나의 카테고리에 포함될 수 있다. 전자 장치(100)는 식별된 카테고리에 포함된 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 일 예로, 식별된 카테고리가 ‘음식’이면, ‘음식’에 포함된 어플리케이션으로 ‘배달 어플’, ‘식당 검색 어플’, ‘레시피 어플’ 등의 사용 이력을 획득할 수 있다.
일 실시 예에 따른 전자 장치(100)는 복수의 어플리케이션 각각의 사용 이력 정보에 기초하여 해당 복수의 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 여기서, 가이드 정보(20)는 사용 이력 정보에 기초하여 획득될 수 있다. 예를 들어, ‘배달 어플’의 사용 이력에서 ‘피자 주문 이력’ 및 ‘햄버거 주문 이력’을 획득하고, ‘레시피 어플’의 사용 이력에서 ‘중화 요리 레시피 검색 이력’을 획득할 수 있다. 전자 장치(100)는 획득된 사용 이력 정보에 기초하여 복수의 어플리케이션 예를 들어, ‘배달 어플’ 및 ‘레시피 어플’의 이용을 가이드 하는 가이드 정보(20)를 디스플레이 할 수 있다. 도 3을 참조하면, 가이드 정보(20)는 ‘배달 App1으로 피자 주문해줘’, ‘배달 App1으로 햄버거 주문해줘’, ‘배달 App2로 치킨 주문해줘’등을 제공할 수 있다. 여기서, 가이드 정보(20)는 사용자의 음성 명령을 가이드 하는 정보일 수 있다. 사용자가 ‘배달 App1으로 피자 주문해줘’를 전자 장치(100)에 구비된 마이크(140)를 통해 발화하면, 전자 장치(100)는 배달 App1을 실행하여 피자를 주문할 수 있다. 다른 예로, 리모컨(미도시)에 구비된 마이크를 통해 사용자 음성 명령을 수신할 수도 있다. 또 다른 예로, 전자 장치(100)와 통신을 수행하는 스마트폰에 구비된 마이크를 통해 사용자 음성 명령을 수신할 수도 있음은 물론이다.
한편, 본 개시의 일 실시 예에 따른 전자 장치(100)는 컨텐츠 출력 화면에 기초하여 획득된 키워드(예를 들어, 중화 요리)에 기초하여 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 것 외에도, 키워드가 포함된 카테고리를 식별하고, 식별된 카테고리에 대응되는 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 이에 따라, 키워드로 ‘중화 요리’가 획득된 경우에도, 전자 장치(100)는 레시피 어플, 피자 배달 어플 등 다양한 어플리케이션의 사용 이력 정보에 기초하여 가이드 정보를 획득 및 제공할 수 있다.
도 4는 본 개시의 다른 실시 예에 따른 가이드 정보를 설명하기 위한 도면이다.
도 4를 참조하면, 전자 장치(100)는 컨텐츠 출력 화면(10)에서 유명 건축물(예를 들어, 에펠탑)을 식별할 수 있다. 이이서, 전자 장치(100)는 식별된 오브젝트, 식별된 건축물의 명칭에 따라 키워드를 획득할 수 있다. 예를 들어, 전자 장치(100)는 에펠탑, 파리 등을 키워드로 획득할 수 있다. 일 실시 예에 따라, 전자 장치(100)는 컨텐츠 출력 화면(10)을 서버로 전송하고, 서버로부터 컨텐츠 출력 화면에 대한 이미지 검색, ACR, 영상 분석 알고리즘, 오브젝트 인식 알고리즘의 수행 결과를 수신할 수 있다. 전자 장치(100)는 서버로부터 수신된 수행 결과에 기초하여 키워드를 획득할 수 있다. 다만, 이에 한정되는 것은 아니며 전자 장치(100)가 컨텐츠 출력 화면(10)에 다양한 유형의 영상 분석 알고리즘 수행하여 키워드를 획득할 수도 있다. 다른 예로, 전자 장치(100)는 컨텐츠의 메타 데이터, 핑거프린팅, 컨텐츠 출력 화면(10)에 대한 OCR 수행 등에 기초하여 키워드를 획득할 수도 있음은 물론이다.
전자 장치(100)는 획득된 키워드에 대응되는 카테고리를 식별하고, 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득할 수 있다. 도 6을 참조하면, 에펠탑, 파리 등이 키워드로 획득되면, 전자 장치(100)는 키워드에 대응되는 카테고리로 ‘여행’ 카테고리를 식별할 수 있다. 이어서, 전자 장치(100)는 ‘여행’ 카테고리에 포함된 복수의 어플리케이션 각각의 사용 이력을 획득할 수 있다. 예를 들어, 전자 장치(100)는 ‘호텔 예약 어플의 사용 이력’, ‘비행기 티켓 예약 어플의 사용 이력’, ‘파리 지하철 어플의 사용 이력’ 등을 획득할 수 있다. 전자 장치(100)는 키워드와 관련된 어플리케이션을 식별하고, 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 예를 들어, 파리가 키워드이면, 획득된 복수의 어플리케이션 각각의 사용 이력 중 ‘파리 지하철 어플의 사용 이력’에 기초하여 가이드 정보(20)를 제공할 수 있다. 일 예로, 전자 장치(100)는 ‘루브르 박물관으로 가는 지하철 경로 알려줘’를 가이드 정보(20)로 제공할 수 있다. 일 실시 예에 따라, 사용자 음성 명령으로 ‘루브르 박물관으로 가는 지하철 경로 알려줘’가 수신되면, 전자 장치(100)는 파리 지하철 어플을 실행하고, 루브르 박물관 행 지하철 경로를 검색 및 제공할 수 있다. 다만, 이는 일 실시 예로서, 사용자의 음성 명령이 제공된 가이드 정보(20)와 상이하여도 전자 장치(100)는 해당 어플리케이션을 실행할 수 있음은 물론이다. 예를 들어, 제공된 가이드 정보(20)와 상이한 ‘오르세 미술관으로 가는 지하철 경로 알려줘’가 사용자 음성 명령으로 수신되면, 전자 장치(100)는 파리 지하철 어플을 실행하고, 오르세 미술관 행 지하철 경로를 검색 및 제공할 수도 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 적어도 하나의 어플리케이션 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별할 수 있다. 일 예로, 전자 장치(100)가 예약 어플리케이션으로 예약 App1, 예약 App2 및 예약 App3 각각의 사용 이력을 획득한 경우를 상정할 수 있다. 전자 장치(100)는 예약 App1, 예약 App2 및 예약 App3 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 예약 App1 및 예약 App2를 식별할 수 있다. 예를 들어, 이용 횟수가 예약 App1, 예약 App2 순으로 많을 수 있다. 이 경우, 전자 장치(100)는 식별된 어플리케이션인 예약 App1 및 예약 App2의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 키워드와 관련하여 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 예를 들어, ‘여행’ 카테고리에서 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 호텔 예약 App1 및 비행기 예약 App2가 식별되면, 전자 장치(100)는 키워드 ‘파리’와 관련하여 호텔 예약 App1 및 비행기 예약 App2의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 도 4에 도시된 바와 같이, ‘예약 App1으로 파리숙소 예약해줘’, ‘예약 App2로 파리행 티켓 예약해줘’가 가이드 정보(20)로 제공될 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 카테고리에 대응되는 복수의 어플리케이션 각각의 사용 이력이 키워드와 관련이 없어도, 키워드와 관련하여 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다. 호텔 예약 App1의 사용 이력에 ‘파리 숙소 예약 이력’이 없어도, 전자 장치(100)는 식별된 키워드 ‘파리’와 관련하여 호텔 예약 App1의 이용을 가이드 하는 가이드 정보(20)로서 ‘예약 App1으로 파리숙소 예약해줘’를 제공할 수 있다.
도 5 및 도6은 본 개시의 일 실시 예에 따른 전자 장치 및 외부 장치를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 외부 장치(200)와 통신을 수행할 수 있다. 도 5를 참조하면, 전자 장치(100)는 컨텐츠 출력 화면(10)에서 ‘스마트폰’을 키워드로 획득할 수 있다. 이어서, 전자 장치(100)는 ‘스마트폰’에 대응되는 카테고리로서 ‘스마트폰’, ‘쇼핑’등을 식별할 수 있다. 전자 장치(100)는 식별된 카테고리인 ‘스마트폰’, ‘쇼핑’에 대응되는 복수의 어플리케이션의 사용 이력을 획득할 수 있다.
여기서, 복수의 어플리케이션의 사용 이력은 외부 장치(200)에 저장될 수 있다. 전자 장치(100)는 외부 장치(200)와 통신을 수행하여 외부 장치(200)에 저장된 복수의 어플리케이션의 사용 이력을 획득할 수 있다.
예를 들어, 전자 장치(100)는 식별된 카테고리인 ‘쇼핑’에 대응되는 쇼핑 App1, 쇼핑 App2, 쇼핑 App3 각각의 사용 이력을 획득할 수 있고, 쇼핑 App1, 쇼핑 App2, 쇼핑 App3는 외부 장치(200)에 저장된 어플리케이션일 수 있다.
전자 장치(100)는 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 예를 들어, ‘쇼핑 App1으로 블루투스 이어폰 찾아줘’, ‘쇼핑 App2로 스마트 워치 찾아줘’, ‘쇼핑 App3으로 스마트폰 케이스 찾아줘’가 가이드 정보(20)로 제공될 수 있다. 여기서, 블루투스 이어폰, 스마트 워치, 스마트폰 케이스 각각은 ‘쇼핑’ 카테고리에 포함된 복수의 키워드 중 일부일 수 있다.
한편, 전자 장치(100)가 ‘스마트폰’에 대응되는 카테고리로서 ‘스마트폰’, ‘쇼핑’등을 식별하는 것은 일 실시 예에 불과하다. 예를 들어, 전자 장치(100)는 서버와 통신을 수행하여 ‘스마트폰’을 검색어로 전송하고, ‘스마트폰’을 포함하는 상위 개념 즉, 카테고리를 서버로부터 수신할 수도 있다. 다른 예로, 전자 장치(100)는 제조사가 전자 장치(100) 제조 시에 저장한 데이터베이스, 사용자가 설정한 데이터베이스 등에 기초하여 키워드에 대응되는 카테고리를 획득할 수도 있음은 물론이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 사용자의 발화 이력 중 복수의 키워드 중 적어도 하나를 포함하는 발화 정보를 식별할 수 있다. 예를 들어, 획득된 키워드 ‘스마트폰’과 동일한 카테고리 내 복수의 키워드 중 일부인 ‘블루투스 이어폰’, ‘스마트 워치’, ‘스마트폰 케이스’를 포함하는 사용자의 발화를 식별할 수 있다. 일 예로 전자 장치(100)는 사용자의 발화 이력 중 ‘블루투스 이어폰’을 포함하는 발화 이력을 식별할 수 있다. 이어서, 전자 장치(100)는 사용자의 발화 이력 및 해당 발화 이력과 관련된 어플리케이션을 식별할 수 있다. 전자 장치(100)는 사용자의 발화 이력 중 하나인 ‘블루투스 이어폰 최저가 검색해줘’ 및 ‘쇼핑 App1’을 발화 정보로 식별할 수 있다. 전자 장치(100)는 식별된 발화 정보를 가이드 정보(20)로 제공할 수 있다. 예를 들어, 전자 장치(100)는 ‘쇼핑 App1으로 블루투스 이어폰 찾아줘’, ‘쇼핑 App1으로 블루투스 이어폰 최저가 검색해줘’를 가이드 정보(20)로 제공할 수 있다.
일 실시 예에 따라, 복수의 어플리케이션은 전자 장치(100)와 통신을 수행하는 외부 장치(200)에 저장될 수 있다. 가이드 정보(20)에 대한 사용자의 선택 명령에 따라, 전자 장치(100)는 선택된 가이드 정보(20)에 대응되는 어플리케이션을 실행하기 위한 제어 명령을 외부 장치(200)로 제공할 수 있다. 예를 들어, ‘쇼핑 App2로 스마트 워치 찾아줘’가 가이드 정보(20)로 제공되고, 사용자의 선택 명령에 따라 ‘쇼핑 App2로 스마트 워치 찾아줘’가 선택된 경우를 상정할 수 있다. 여기서, 쇼핑 App2가 외부 장치(200)에 저장된 어플리케이션이면, 전자 장치(100)는 사용자의 선택 명령에 대응하여 쇼핑 App2를 실행하기 위한 제어 명령을 외부 장치(200)로 전송할 수 있다.
도 6을 참조하면, 가이드 정보(20)는 사용자의 음성 명령을 가이드 하는 정보일 수 있다. 전자 장치(100)를 통해 제공된 가이드 정보(20)에 따라 사용자의 음성 명령이 수신되면, 전자 장치(100)는 사용자의 음성 명령에 따라 선택된 어플리케이션을 실행하기 위한 제어 명령을 외부 장치(200)로 제공할 수 있다.
예를 들어, 전자 장치(100)는 외부 장치(200)로부터 복수의 어플리케이션에 대한 정보를 수신할 수 있다. 이어서, 전자 장치(100)는 복수의 어플리케이션에 대한 정보에서 식별된 카테고리(예를 들어, ‘여행’)에 대응되는 적어도 하나의 어플리케이션 각각의 사용 이력 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는 숙소 예약 App1의 사용 이력, 티켓 예약 App2의 사용 이력, 갤러리 App의 사용 이력을 획득할 수 있다. 전자 장치(100)는 획득된 사용 이력에 기초하여 해당 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 한편, 숙소 예약 App1, 티켓 예약 App2 및 갤러리 App은 외부 장치(200)에 저장된 어플리케이션일 수 있다.
전자 장치(100)는 가이드 정보(20)에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 선택된 어플리케이션을 실행하기 위한 제어 명령을 외부 장치(200)로 제공할 수 있다.
예를 들어, 전자 장치(100)는 ‘파리행 티켓 예약해줘’라는 사용자 선택 명령이 수신되면, 외부 장치(200)가 예약 App2를 실행하여 파리행 티켓을 예약하도록 제어하는 명령을 외부 장치(200)로 전송할 수 있다.
도 7은 본 개시의 다른 실시 예에 따른 전자 장치를 설명하기 위한 도면이다.
도 7을 참조하면, 전자 장치(100)는 디스플레이(150)를 구비하지 않을 수도 있다. 예를 들어, 전자 장치(100)는 스피커(160)가 구비된 AI 스피커 등으로 구현될 수도 있다.
전자 장치(100)는 스피커(160)를 통해 출력되는 사운드에 기초하여 키워드를 획득할 수 있다. 일 실시 예에 따른 전자 장치(100)는 기설정된 시간 동안 출력된 사운드로부터 텍스트 정보를 획득하고, 획득된 텍스트 정보에서 키워드를 획득할 수 있다. 여기서, 기설정된 시간은 사용자의 설정, 제조사의 목적 등에 따라 다양하게 설정될 수 있음은 물론이다.
전자 장치(100)는 획득된 키워드에 대응되는 카테고리를 식별하고, 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하고, 사용 이력 정보에 기초하여 해당 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
다른 예로, 전자 장치(100)는 식별된 카테고리에 대응되는 복수의 키워드를 획득할 수 있다. 일 예로, ‘음식’ 카테고리에 대응되는 ‘햄버거’, ‘피자’등을 획득할 수 있다. 이어서, 전자 장치(100)는 사용자의 발화 이력 중 획득된 ‘햄버거’, ‘피자’를 포함하는 발화 이력을 식별할 수 있다. 또한, 식별된 카테고리에 대응되는 어플리케이션을 식별할 수 있다. 예를 들어, ‘음식’ 카테고리에 대응되는 ‘배달 어플’, ‘레시피 어플’등을 식별할 수 있다. 전자 장치(100)는 식별된 발화 이력 및 어플리케이션에 기초하여 식별된 발화 정보의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 여기서, 발화 정보는 식별된 사용자의 발화 이력과 식별된 어플리케이션 간의 조합을 의미할 수 있다. 예를 들어, 사용자의 발화 이력과 ‘배달 어플’의 조합에 따른 발화 정보 ‘배달 App1으로 피자 주문해줘’ 및 ‘배달 App1으로 햄버거 주문해줘’가 가이드 정보(20)로 제공될 수 있다.
도 8은 본 개시의 일 실시 예에 따른 서버를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 디스플레이 장치와 연결되어 컨텐츠 및 가이드 정보(20)를 디스플레이 장치로 전송할 수 있다. 다른 예로, 전자 장치(100)는 자체적으로 디스플레이가 구비된 디스플레이 장치(100’)로 구현될 수도 있다.
일 실시 예에 따른 전자 장치(100)는 컨텐츠 출력 화면(10)를 서버(300)로 전송하고, 컨텐츠 출력 화면(10)에 기초한 키워드 및 키워드에 대응되는 카테고리를 서버(300)로부터 수신할 수 있다.
또한, 전자 장치(100)는 전자 장치(100)에 저장된 적어도 하나의 어플리케이션과 관련된 사용자 음성이 수신되면, 사용자 음성을 해당 어플리케이션에 대한 사용 이력 정보로 저장할 수 있다. 여기서, 전자 장치(100)는 사용 이력 정보를 서버(300)로 전송할 수 있다. 일 실시 예에 따른 서버(300)는 전자 장치(100)로부터 전송된 사용 이력 정보 및 외부 장치(200)로부터 전송된 사용 이력 정보를 저장할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치(100)는 외부 장치(200)에 저장된 복수의 어플리케이션의 이용을 가이드 하는 가이드 정보(20)를 제공할 수 있다. 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되고, 선택된 어플리케이션이 외부 장치(200)에 저장된 복수의 어플리케이션 중 어느 하나이면, 전자 장치(100)는 서버(300) 통해 외부 장치(200)로 해당 어플리케이션의 실행을 제어하는 명령을 전송할 수 있다. 예를 들어, 전자 장치(100)는 선택 명령에 대응되는 제어 신호를 서버(300)로 전송할 수 있다. 이어서, 서버(300)는 제어 신호를 외부 장치(200)로 전송할 수 있다. 외부 장치(200)는 서버(300)로부터 수신된 제어 신호에 따라 어플리케이션을 실행하고 동작을 수행할 수 있다. 다만, 이는 일 실시 예로서, 전자 장치(100)와 외부 장치(200)간 통신을 수행하여 제어 명령, 복수의 어플리케이션 각각에 대한 정보, 다양한 데이터를 송수신할 수도 있음은 물론이다.
한편, 본 개시의 일 실시 예에 따른 서버(300)는 전자 장치(100)로부터 수신된 사용자 음성에 대해 음성 인식을 수행하여 텍스트 정보를 획득할 수 있다. 이어서, 서버(300)는 획득된 텍스트 정보를 전자 장치(100)로 전송할 수 있다. 다만, 이는 일 실시 예로서 전자 장치(100)가 자체적으로 사용자 음성에 대해 음성 인식을 수행하여 텍스트 정보를 획득할 수도 있음은 물론이다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 흐름도이다.
본 발명의 일 실시 예에 따른 전자 장치의 제어 방법은 컨텐츠 출력 화면에 기초하여 키워드를 획득한다(S910).
이어서, 키워드에 대응되는 카테고리를 식별한다(S920).
이어서, 복수의 어플리케이션에 대한 정보에 기초하여 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득한다(S930).
이어서, 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공한다(S940).
여기서, 가이드 정보를 제공하는 S940 단계는, 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 키워드와 관련된 어플리케이션을 식별하는 단계 및 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
본 개시의 일 실시 예에 따른 가이드 정보를 제공하는 S940단계는, 적어도 하나의 어플리케이션 각각의 이용 횟수 및 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별하는 단계 및 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 가이드 정보를 제공하는 S940단계는, 키워드와 관련하여 식별된 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공할 수 있다.
또한, 본 개시의 일 실시 예에 따른 제어 방법은, 식별된 카테고리에 대응되는 복수의 키워드를 식별하는 단계 및 사용자의 발화 이력 중 복수의 키워드 중 적어도 하나를 포함하는 발화 정보가 식별되면, 식별된 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
여기서, 일 실시 예에 따른 제어 방법은 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하는 단계를 포함할 수 있다.
일 실시 예에 따른 제어 방법은 외부 장치로부터 복수의 어플리케이션에 대한 정보를 수신하는 단계 및 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 선택된 어플리케이션을 실행하기 위한 제어 명령을 외부 장치로 제공하는 단계를 포함할 수 있다.
복수의 어플리케이션 중 적어도 하나와 관련된 사용자 음성이 수신되면, 사용자 음성을 해당 어플리케이션에 대한 사용 이력 정보로 저장하는 단계를 포함할 수 있다.
또한, 가이드 정보는, 사용자의 음성 명령을 가이드 하는 정보일 수 있다.
한편, 본 개시의 일 실시 예에 따른 제어 방법은 컨텐츠 출력 화면과 연관된 키워드를 획득하는 S910 단계, 키워드에 대응되는 카테고리를 식별하는 S920 단계, 복수의 어플리케이션에 대한 정보에 기초하여 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션의 사용 이력을 획득하는 S930단계, 적어도 하나의 어플리케이션 각각의 사용 이력 정보에 기초하여 적어도 하나의 어플리케이션의 이용을 가이드 하는 가이드 정보를 제공하는 S940 단계에 이어서, 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되고 선택된 어플리케이션이 외부 장치에 포함된 어플리케이션이면, 선택된 어플리케이션을 실행하기 위한 제어 명령을 외부 장치로 제공할 수 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시 예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 처리 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium) 에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 처리 동작을 특정 기기가 수행하도록 할 수 있다.
비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 전자 장치 200: 외부 장치
300: 서버

Claims (20)

  1. 스토리지;
    디스플레이; 및
    상기 디스플레이에 컨텐츠의 이미지를 디스플레이하고,
    현재 디스플레이되는 상기 컨텐츠에 대응되는 키워드를 식별하는 동작을 수행하고,
    상기 식별된 키워드에 대응되는 카테고리를 식별하고,
    상기 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션을 식별하고,
    상기 식별된 카테고리에 대응되는 상기 적어도 하나의 어플리케이션과 관련된 사용 이력을 획득하고,
    상기 사용 이력에 기초하여, 상기 적어도 하나의 어플리케이션의 이용을 위한 사용자의 발화를 가이드하는 가이드 정보를 제공하는 프로세서;를 포함하며,
    상기 가이드 정보는, 상기 컨텐츠의 상기 이미지와 함께 제공되며,
    상기 가이드 정보는, 상기 적어도 하나의 어플리케이션을 식별하기 위한 식별자를 포함하는 텍스트 명령을 포함하며,
    상기 프로세서는,
    상기 텍스트 명령에 대응되는 상기 사용자의 발화에 기초하여, 상기 텍스트 명령에 대응되는 동작을 수행하도록 상기 적어도 하나의 어플리케이션을 실행하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 어플리케이션 각각의 사용 이력에 기초하여 상기 키워드와 관련된 어플리케이션을 식별하고,
    상기 식별된 어플리케이션을 이용하기 위한 상기 사용자의 발화를 가이드하는 상기 가이드 정보를 제공하며,
    상기 텍스트 명령은, 상기 식별된 어플리케이션을 식별하기 위한 식별자를 포함하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 어플리케이션 각각의 이용 횟수 또는 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별하고,
    상기 식별된 어플리케이션을 이용하기 위한 상기 사용자의 발화를 가이드하는 상기 가이드 정보를 제공하며,
    상기 텍스트 명령은, 상기 식별된 어플리케이션을 식별하기 위한 식별자를 포함하는, 전자 장치.
  4. 제3항에 있어서,
    상기 텍스트 명령은,
    상기 키워드와 관련된 상기 식별된 어플리케이션의 이용을 가이드하기 위한 텍스트를 더 포함하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 식별된 카테고리에 대응되는 복수의 키워드를 식별하고,
    사용자의 발화 이력 중 상기 복수의 키워드 중 적어도 하나를 포함하는 발화 정보가 식별되면, 상기 식별된 발화 정보의 이용을 가이드하는 상기 가이드 정보를 제공하는, 전자 장치.
  6. 제5항에 있어서,
    상기 프로세서는,
    상기 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 상기 발화 정보의 이용을 가이드하는 상기 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드하는 가이드 정보를 제공하는, 전자 장치.
  7. 제1항에 있어서,
    통신 인터페이스;를 더 포함하며,
    상기 프로세서는,
    상기 통신 인터페이스를 통해 외부 장치로부터 상기 적어도 하나의 어플리케이션에 대한 정보를 수신하고,
    상기 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 상기 선택된 어플리케이션을 실행하기 위한 제어 명령을 상기 외부 장치로 제공하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 어플리케이션 중 적어도 하나와 관련된 상기 사용자의 발화가 수신되면, 상기 사용자의 발화를 상기 적어도 하나의 어플리케이션 중 적어도 하나와 관련된 상기 사용 이력에 저장하는, 전자 장치.
  9. 삭제
  10. 삭제
  11. 제1항에 있어서,
    스피커;를 더 포함하며,
    상기 프로세서는,
    상기 스피커를 통해 출력 중인 사운드에 기초하여 상기 키워드를 획득하는, 전자 장치.
  12. 전자 장치의 제어 방법에 있어서,
    컨텐츠의 이미지를 디스플레이하는 단계;
    현재 디스플레이되는 상기 컨텐츠에 대응되는 키워드를 식별하는 동작을 수행하는 단계;
    상기 식별된 키워드에 대응되는 카테고리를 식별하는 단계;
    상기 식별된 카테고리에 대응되는 적어도 하나의 어플리케이션과 관련된 사용 이력을 획득하는 단계; 및
    상기 사용 이력에 기초하여, 상기 적어도 하나의 어플리케이션의 이용을 위한 사용자의 발화를 가이드하는 가이드 정보를 제공하는 단계;를 포함하며,
    상기 가이드 정보는, 상기 컨텐츠의 상기 이미지와 함께 제공되며,
    상기 가이드 정보는, 상기 적어도 하나의 어플리케이션을 식별하기 위한 식별자를 포함하는 텍스트 명령을 포함하며,
    상기 제어 방법은,
    상기 텍스트 명령에 대응되는 상기 사용자의 발화에 기초하여, 상기 텍스트 명령에 대응되는 동작을 수행하도록 상기 적어도 하나의 어플리케이션을 실행하는 단계;를 더 포함하는, 제어 방법.
  13. 제12항에 있어서,
    상기 가이드 정보를 제공하는 단계는,
    상기 적어도 하나의 어플리케이션 각각의 사용 이력에 기초하여 상기 키워드와 관련된 어플리케이션을 식별하는 단계; 및
    상기 식별된 어플리케이션을 이용하기 위한 상기 사용자의 발화를 가이드하는 상기 가이드 정보를 제공하는 단계; 를 포함하며,
    상기 텍스트 명령은, 상기 식별된 어플리케이션을 식별하기 위한 식별자를 포함하는, 제어 방법.
  14. 제12항에 있어서,
    상기 가이드 정보를 제공하는 단계는,
    상기 적어도 하나의 어플리케이션 각각의 이용 횟수 또는 이용 시점 중 적어도 하나에 기초하여 어플리케이션을 식별하는 단계; 및
    상기 식별된 어플리케이션을 이용하기 위한 상기 사용자의 발화를 가이드하는 상기 가이드 정보를 제공하는 단계;를 포함하며,
    상기 텍스트 명령은, 상기 식별된 어플리케이션을 식별하기 위한 식별자를 포함하는, 제어 방법.
  15. 제14항에 있어서,
    상기 텍스트 명령은,
    상기 키워드와 관련된 상기 식별된 어플리케이션의 이용을 가이드하기 위한 텍스트를 더 포함하는, 제어 방법.
  16. 제12항에 있어서,
    상기 식별된 카테고리에 대응되는 복수의 키워드를 식별하는 단계; 및
    사용자의 발화 이력 중 상기 복수의 키워드 중 적어도 하나를 포함하는 발화 정보가 식별되면, 상기 식별된 발화 정보의 이용을 가이드하는 상기 가이드 정보를 제공하는 단계;를 포함하는, 제어 방법.
  17. 제16항에 있어서,
    상기 식별된 발화 정보에 기초하여 제공된 응답 정보에 대한 사용자의 선택 히스토리에 기초하여 상기 발화 정보의 이용을 가이드하는 상기 가이드 정보를 제공하거나, 타 사용자의 발화 정보의 이용을 가이드 하는 가이드 정보를 제공하는 단계;를 포함하는, 제어 방법.
  18. 제12항에 있어서,
    외부 장치로부터 상기 적어도 하나의 어플리케이션에 대한 정보를 수신하는 단계; 및
    상기 가이드 정보에 포함된 어플리케이션에 대한 선택 명령이 입력되면, 상기 선택된 어플리케이션을 실행하기 위한 제어 명령을 상기 외부 장치로 제공하는 단계;를 포함하는, 제어 방법.
  19. 제12항에 있어서,
    상기 적어도 하나의 어플리케이션 중 적어도 하나와 관련된 상기 사용자의 발화가 수신되면, 상기 사용자의 발화를 상기 적어도 하나의 어플리케이션 중 적어도 하나와 관련된 상기 사용 이력에 저장하는 단계;를 포함하는, 제어 방법.
  20. 삭제
KR1020180113869A 2018-09-21 2018-09-21 전자 장치 및 이의 제어 방법 KR102661340B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020180113869A KR102661340B1 (ko) 2018-09-21 2018-09-21 전자 장치 및 이의 제어 방법
PCT/KR2019/011326 WO2020060070A1 (en) 2018-09-21 2019-09-03 Electronic device and control method thereof
EP19863208.5A EP3811198A4 (en) 2018-09-21 2019-09-03 ELECTRONIC DEVICE AND CONTROL PROCEDURE FOR IT
US16/566,021 US11468887B2 (en) 2018-09-21 2019-09-10 Electronic device and control method thereof
CN201910851075.3A CN110942364A (zh) 2018-09-21 2019-09-10 电子装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180113869A KR102661340B1 (ko) 2018-09-21 2018-09-21 전자 장치 및 이의 제어 방법

Publications (2)

Publication Number Publication Date
KR20200034275A KR20200034275A (ko) 2020-03-31
KR102661340B1 true KR102661340B1 (ko) 2024-04-30

Family

ID=69883493

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180113869A KR102661340B1 (ko) 2018-09-21 2018-09-21 전자 장치 및 이의 제어 방법

Country Status (5)

Country Link
US (1) US11468887B2 (ko)
EP (1) EP3811198A4 (ko)
KR (1) KR102661340B1 (ko)
CN (1) CN110942364A (ko)
WO (1) WO2020060070A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111813489A (zh) * 2020-08-11 2020-10-23 Oppo（重庆）智能科技有限公司 一种屏保显示方法、装置及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150127675A1 (en) 2013-11-05 2015-05-07 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
US20160350304A1 (en) * 2015-05-27 2016-12-01 Google Inc. Providing suggested voice-based action queries
KR102282487B1 (ko) 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5638210B2 (ja) 2009-08-27 2014-12-10 京セラ株式会社 携帯電子機器
KR20130094577A (ko) * 2012-02-16 2013-08-26 삼성전자주식회사 어플리케이션을 실행하는 디스플레이 장치 및 그 방법
JP6223744B2 (ja) * 2013-08-19 2017-11-01 株式会社東芝 方法、電子機器およびプログラム
KR102297519B1 (ko) 2014-02-25 2021-09-03 삼성전자주식회사 서버 및 이의 가이드 문장 생성 방법
JP6375521B2 (ja) * 2014-03-28 2018-08-22 パナソニックＩｐマネジメント株式会社 音声検索装置、音声検索方法、および表示装置
KR102281178B1 (ko) 2014-07-09 2021-07-23 삼성전자주식회사 멀티-레벨 음성 인식 방법 및 장치
KR20160039830A (ko) 2014-10-02 2016-04-12 엘지전자 주식회사 멀티미디어 장치 및 그의 음성 가이드 제공방법
KR101972740B1 (ko) 2015-09-01 2019-04-26 김세복 동기부여 알람 서비스 제공 방법
US10291565B2 (en) * 2016-05-17 2019-05-14 Google Llc Incorporating selectable application links into conversations with personal assistant modules
US10249300B2 (en) * 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
CN107871501A (zh) 2016-09-27 2018-04-03 Fmr有限责任公司 使用智能语音识别的自动化软件执行方法
US20180101855A1 (en) * 2016-10-12 2018-04-12 International Business Machines Corporation Automated reward mechanism for graphic content selection
US11205426B2 (en) 2017-02-27 2021-12-21 Sony Corporation Information processing device, information processing method, and program
KR101852905B1 (ko) * 2017-12-20 2018-06-20 삼성전자주식회사 앱 리스트 제공 방법 및 이를 위한 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150127675A1 (en) 2013-11-05 2015-05-07 Samsung Electronics Co., Ltd. Display apparatus and method of controlling the same
KR102282487B1 (ko) 2014-05-08 2021-07-26 삼성전자주식회사 애플리케이션 실행 장치 및 방법
US20160350304A1 (en) * 2015-05-27 2016-12-01 Google Inc. Providing suggested voice-based action queries

Also Published As

Publication number Publication date
US11468887B2 (en) 2022-10-11
US20200098364A1 (en) 2020-03-26
EP3811198A1 (en) 2021-04-28
CN110942364A (zh) 2020-03-31
KR20200034275A (ko) 2020-03-31
EP3811198A4 (en) 2021-08-25
WO2020060070A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
US11812232B2 (en) Electronic device and music visualization method thereof
KR102453833B1 (ko) 전자 장치 및 그 제어 방법
KR102092164B1 (ko) 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들
US10121449B2 (en) Method and apparatus for screen sharing
KR102207208B1 (ko) 음악 정보 시각화 방법 및 장치
US11099809B2 (en) Display apparatus and control method thereof
US20150067521A1 (en) Method and apparatus for presenting content using electronic devices
US10387510B2 (en) Content search method and electronic device implementing same
US20150061971A1 (en) Method and system for presenting content
US20140092007A1 (en) Electronic device, server and control method thereof
US20140125757A1 (en) Method of providing information-of-users' interest when video call is made, and electronic apparatus thereof
US10999501B2 (en) Electronic device and method for controlling display of panorama image
US10110843B2 (en) Image display device and operating method of the same
KR20170011359A (ko) 방송 콘텐트와 관련된 정보를 제공하는 전자 장치 및 그 방법
EP3720111A1 (en) Electronic device and operation method thereof
CN112075085A (zh) 电子装置及其控制方法
US10691717B2 (en) Method and apparatus for managing data
US20170278166A1 (en) Method and apparatus for providing information about object
CN111246264A (zh) 显示设备及其控制方法
KR102661340B1 (ko) 전자 장치 및 이의 제어 방법
KR20200056712A (ko) 전자 장치 및 그 제어 방법
US11373634B2 (en) Electronic device for recognizing abbreviated content name and control method thereof
KR20190097687A (ko) 전자 장치 및 전자 장치의 요약 영상 생성 방법
US11243740B2 (en) Electronic device and method for controlling same
KR102326067B1 (ko) 디스플레이 장치, 서버 장치 및 이들을 포함하는 디스플레이 시스템과 그 컨텐츠 제공 방법들

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant