WO2021221186A1 - 디스플레이 장치 및 그의 동작 방법 - Google Patents

디스플레이 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021221186A1
WO2021221186A1 PCT/KR2020/005535 KR2020005535W WO2021221186A1 WO 2021221186 A1 WO2021221186 A1 WO 2021221186A1 KR 2020005535 W KR2020005535 W KR 2020005535W WO 2021221186 A1 WO2021221186 A1 WO 2021221186A1
Authority
WO
WIPO (PCT)
Prior art keywords
language
usage information
main
user
processor
Prior art date
Application number
PCT/KR2020/005535
Other languages
English (en)
French (fr)
Inventor
손철민
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2020/005535 priority Critical patent/WO2021221186A1/ko
Priority to EP20933926.6A priority patent/EP4145842A4/en
Priority to US17/921,462 priority patent/US20230188799A1/en
Publication of WO2021221186A1 publication Critical patent/WO2021221186A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4856—End-user interface for client configuration for language selection, e.g. for the menu or subtitles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/263—Language identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/4401—Bootstrapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/454—Multi-language systems; Localisation; Internationalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Abstract

본 개시의 일 실시 예는 디스플레이 장치에 있어서, 디스플레이부; 외부 장치와 통신하는 통신부; 및 사용자의 언어 사용 정보를 수신하고, 상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하고, 설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하고, 상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 프로세서를 포함하는, 디스플레이 장치를 제공한다.

Description

디스플레이 장치 및 그의 동작 방법
본 개시(disclosure)는 설정된 시스템 언어를 갱신하는 디스플레이 장치 및 그의 동작 방법에 관한 것이다.
사용자마다 자신이 선호하고 많이 이용하는 언어가 있으며, 이는 서로 다를 수 있다. 따라서, 건물 로비에 설치된 디스플레이 장치나 숙박 시설의 객실 내 디스플레이 장치와 같이 여러 사용자가 이용하는 디스플레이 장치에 있어서도 각 사용자마다 선호하는 시스템 언어가 서로 다를 수 있다.
기존에는 각 사용자는 디스플레이 장치에 설정된 시스템 언어가 자신이 선호하는 언어가 아닐 경우에, 수동으로 디스플레이 장치의 시스템 언어를 설정하는 작업을 하여야 했다. 이와 같이, 사용자가 시스템 언어를 수동으로 설정하여야 할 경우 사용자에게 큰 불편을 초래할 수 있다. 특히, 기존에 설정된 시스템 언어가 사용자가 모르는 언어일 경우에 시스템 언어를 수정하기가 어렵다는 문제점이 있다.
본 개시는 현재 사용자에게 적합한 시스템 언어를 판단하여 자동으로 설정된 시스템 언어를 변경하거나 사용자에게 시스템 언어의 변경을 제안함으로써 설정된 시스템 언어를 갱신하는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
또한, 본 개시는 현재 사용자의 주 사용 언어를 판단한 이후에 자동으로 시스템 언어를 변경할 것인지 판단하는 디스플레이 장치 및 그의 동작 방법을 제공하고자 한다.
본 개시의 일 실시 예는, 디스플레이부; 외부 장치와 통신하는 통신부; 및 사용자의 언어 사용 정보를 수신하고, 상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하고, 설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하고, 상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 프로세서를 포함하는, 디스플레이 장치를 제공한다.
상기 언어 사용 정보는 웹 사이트에서 수신하는 HTTP 응답(HTTP response)의 콘텐츠 언어 엔티티(content-language entity), 웹 페이지에 포함된 텍스트의 언어 정보, 미디어 컨텐츠의 음성의 언어 정보, 상기 미디어 컨텐츠의 자막의 언어 정보, 사용자 발화 음성의 언어 정보 또는 사용자 단말기의 시스템 언어 정보 중에서 적어도 하나 이상을 포함할 수 있다.
상기 프로세서는 상기 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택하고, 상기 선택된 언어 사용 정보 각각에 대하여 가중치를 부여하고, 상기 선택된 언어 사용 정보 각각에 대응하는 가중치를 고려하여 상기 주 사용 언어를 결정할 수 있다.
상기 프로세서는 상기 선택된 언어 사용 정보 각각에 대하여 도과된 시간이 짧을수록 더 높은 시간 가중치를 부여하고, 상기 선택된 언어 사용 정보 각각에 대하여 언어 사용 정보의 종류마다 미리 정해진 종류 가중치를 부여하고, 상기 시간 가중치와 상기 종류 가중치에 기초하여 종합 가중치를 산출할 수 있다.
상기 프로세서는 상기 선택된 언어 사용 정보 각각에 대하여 산출된 상기 종합 가중치에 기초하여 각 언어별 상기 종합 가중치의 합을 산출하고, 상기 종합 가중치의 합이 가장 큰 언어를 상기 주 사용 언어로 결정할 수 있다.
상기 프로세서는 상기 선택된 언어 사용 정보에 대응하는 가중치 및 언어 사용 정보의 종류마다 미리 정해진 우선 순위를 고려하여 상기 주 사용 언어를 결정할 수 있다.
상기 프로세서는 상기 선택된 언어 사용 정보 중에서 상기 우선 순위가 가장 높은 제1 언어 사용 정보를 선택하고, 상기 제1 언어 사용 정보의 가중치를 고려하여 상기 주 사용 언어를 고려할 수 있다.
상기 사용자 단말기의 시스템 언어의 우선 순위는 다른 언어 사용 정보의 우선 순위보다 높고, 상기 미디어 컨텐츠의 자막의 언어의 우선 순위는 상기 미디어 컨텐츠의 음성의 언어의 우선 순위보다 높을 수 있다.
상기 프로세서는 상기 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택하고, 상기 선택된 언어 사용 정보와 주 사용 언어 결정 모델을 이용하여 상기 주 사용 언어를 결정하고, 상기 주 사용 언어 결정 모델은 ANN(Artificial Neural Network)을 포함하고, 머신 러닝 알고리즘 또는 딥 러닝 알고리즘에 기초하여 학습되는 모델일 수 있다.
상기 주 사용 언어 결정 모델은 RNN(Recurrent Neural Network)을 포함하고, 실시간으로 상기 언어 사용 정보가 입력되면 상기 주 사용 언어를 결정하여 출력하는 모델일 수 있다.
상기 프로세서는 상기 시스템 언어를 변경하거나 변경을 시도한 경우에, 상기 사용 언어 정보 및 변경 결과에 대응하는 학습 데이터를 생성하고, 상기 학습 데이터는 상기 주 사용 언어 결정 모델의 갱신에 이용될 수 있다.
상기 프로세서는 언어 갱신 모드가 자동 갱신 모드인 경우, 상기 시스템 언어와 상기 주 사용 언어가 상이할 때 자동으로 상기 시스템 언어를 상기 주 사용 언어로 변경하고, 상기 시스템 언어를 변경하였음을 알리는 제1 알림을 출력하고, 상기 제1 알림에 대응하는 상기 사용자의 입력에 기초하여 상기 시스템 언어의 변경의 취소 여부를 결정할 수 있다.
상기 프로세서는 상기 언어 갱신 모드가 수동 갱신 모드인 경우, 상기 시스템 언어와 상기 주 사용 언어가 상이할 때 상기 시스템 언어를 상기 주 사용 언어로 변경할 것을 제안하는 제2 알림을 출력하고, 상기 제2 알림에 대응하는 상기 사용자의 입력에 기초하여 상기 시스템 언어의 변경 여부를 결정할 수 있다.
또한, 본 개시의 일 실시 예는, 사용자의 언어 사용 정보를 수신하는 단계; 상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하는 단계; 설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하는 단계; 및 상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 단계를 포함하는, 디스플레이 장치의 동작 방법을 제공한다.
또한, 본 개시의 일 실시 예는, 사용자의 언어 사용 정보를 수신하는 단계; 상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하는 단계; 설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하는 단계; 및 상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 단계를 포함하는, 디스플레이 장치의 동작 방법을 기록한 기록 매체를 제공한다.
본 개시의 다양한 실시 예에 따르면, 현재 사용자에게 적합한 시스템 언어를 결정함으로써 사용자가 갱신하고자 하는 시스템 언어를 선택하지 않더라도 간편히 시스템 언어 설정을 갱신할 수 있고, 이에 따라 사용자 편의성을 증대시킬 수 있다.
또한, 본 개시의 다양한 실시 예에 따르면, 사용자의 사용 패턴에 기초하여 자동으로 시스템 언어 설정을 갱신할지 여부를 결정하므로, 사용자마다 만족도가 높은 시스템 언어 설정 기능을 제공할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치를 나타낸 블록도이다.
도 2는 본 개시의 일 실시 예에 따른 원격 제어 장치를 나타낸 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치를 나타낸 도면이다.
도 4는 본 개시의 일 실시 예에서 원격 제어 장치를 통하여 디스플레이 장치와 상호 작용하는 예시를 나타낸다.
도 5는 본 개시의 일 실시 예에 따른 인공 지능 서버를 나타낸 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치의 동작 방법을 나타낸 동작 흐름도이다.
도 7은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
도 8은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
도 9는 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
도 10은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
도 11은 언어 사용 정보의 종류별로 부여된 가중치 및 우선 순위의 예시를 나타낸 도면이다.
도 12는 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
도 13은 본 개시의 일 실시 예에 따른 주 사용 언어 판단 모델의 예시를 나타낸 도면이다.
도 14는 본 개시의 일 실시 예를 나타낸 도면이다.
도 15는 본 개시의 일 실시 예를 나타낸 도면이다.
도 16은 본 개시의 일 실시 예를 나타낸 도면이다.
도 17은 본 개시의 일 실시 예를 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 '모듈' 및 '부'는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 개시의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
도 1은 본 개시의 일 실시 예에 따른 디스플레이 장치(100)를 나타낸 블록도이다.
도 1을 참조하면, 디스플레이 장치(100)는 원격 제어 장치(200), 단말기(300) 또는 인공 지능 서버(400) 중에서 적어도 하나 이상과 연결되어 데이터 또는 신호를 송수신할 수 있다.
디스플레이 장치(100)는 디스플레이부(180, 또는 디스플레이 패널)를 포함하여 화상 출력이 가능한 장치를 의미하며, TV, 프로젝터, 휴대폰, 스마트폰, 데스크탑 컴퓨터, 랩탑, 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 태블릿 PC, 웨어러블 장치, 셋톱박스(STB), DMB 수신기, 라디오, 세탁기, 냉장고, 디지털 사이니지, 로봇, 차량 등과 같은, 고정형 기기 또는 이동 가능한 기기 등으로 구현될 수 있다.
사용자 단말기(300)는 휴대 전화, 스마트폰, 태블릿 PC, 랩탑, 웨어러블 디바이스(wearable device), PDA 등으로 구현될 수 있다.
디스플레이 장치(100)는 통신부(110), 방송 수신부(130), 외부 장치 인터페이스부(135), 메모리(140), 입력부(150), 프로세서(170), 디스플레이부(180), 오디오 출력부(185), 전원 공급부(190)를 포함할 수 있다.
통신부(110)는 유선 또는 무선 통신을 통해 외부 기기와 통신을 수행할 수 있다. 예컨대, 통신부(110)는 다른 디스플레이 장치 등의 외부 장치들과 센서 정보, 사용자 입력, 학습 모델, 제어 신호 등을 송수신할 수 있다. 여기서, 다른 디스플레이 장치(100)는 본 발명에 따른 디스플레이 장치(100)와 데이터를 상호 교환하는 것이 가능한(또는 연동 가능한) 웨어러블 디바이스(wearable device, 예를 들어, 스마트워치(smartwatch), 스마트 글래스(smart glass), HMD(head mounted display)), 스마트 폰과 같은 이동 단말기가 될 수 있다.
통신부(110)는 디스플레이 장치(100) 주변의 통신 가능한 웨어러블 디바이스를 감지(또는 인식)할 수 있다. 나아가, 프로세서(170)는 감지된 웨어러블 디바이스가 디스플레이 장치(100)와 통신하도록 인증된 디바이스인 경우, 디스플레이 장치(100)에서 처리되는 데이터의 적어도 일부를 통신부(110)를 통해 웨어러블 디바이스로 송신할 수 있다. 따라서, 웨어러블 디바이스의 사용자는 디스플레이 장치(100)에서 처리되는 데이터를 웨어러블 디바이스를 통해 이용할 수 있다.
통신부(110)가 이용하는 통신 기술에는 GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), LTE(Long Term Evolution), 5G, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), 블루투스(Bluetooth쪠), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), ZigBee, NFC(Near Field Communication) 등이 있다.
통신부(110)는 통신 모뎀(communication modem) 또는 통신 인터페이스(communication interface)라 칭할 수도 있다.
방송 수신부(130)는 튜너(131), 복조부(132) 및 네트워크 인터페이스부(133)를 포함할 수 있다.
튜너(131)는 채널 선국 명령에 따라 특정 방송 채널을 선국할 수 있다. 튜너(131)는 선국된 특정 방송 채널에 대한 방송 신호를 수신할 수 있다.
복조부(132)는 수신한 방송 신호를 비디오 신호, 오디오 신호, 방송 프로그램과 관련된 데이터 신호로 분리할 수 있고, 분리된 비디오 신호, 오디오 신호 및 데이터 신호를 출력이 가능한 형태로 복원할 수 있다.
외부 장치 인터페이스부(135)는 인접하는 외부 장치 내의 애플리케이션 또는 애플리케이션 목록을 수신하여, 프로세서(170) 또는 메모리(140)로 전달할 수 있다.
외부 장치 인터페이스부(135)는 디스플레이 장치(100)와 외부 장치 간의 연결 경로를 제공할 수 있다. 외부 장치 인터페이스부(135)는 디스플레이 장치(100)에 무선 또는 유선으로 연결된 외부장치로부터 출력된 영상, 오디오 중 하나 이상을 수신하여 프로세서(170)로 전달할 수 있다. 외부 장치 인터페이스부(135)는 복수의 외부 입력 단자들을 포함할 수 있다. 복수의 외부 입력 단자들은 RGB 단자, 하나 이상의 HDMI(High Definition Multimedia Interface) 단자, 컴포넌트(Component) 단자를 포함할 수 있다.
외부 장치 인터페이스부(135)를 통해 입력된 외부 장치의 영상 신호는 디스플레이부(180)를 통해 출력될 수 있다. 외부 장치 인터페이스부(135)를 통해 입력된 외부장치의 음성 신호는 오디오 출력부(185)를 통해 출력될 수 있다.
외부 장치 인터페이스부(135)에 연결 가능한 외부 장치는 셋톱박스, 블루레이 플레이어, DVD 플레이어, 게임기, 사운드 바, 스마트폰, PC, USB 메모리, 홈 씨어터 중 어느 하나일 수 있으나, 이는 예시에 불과하다.
네트워크 인터페이스부(133)는 디스플레이 장치(100)를 인터넷을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공할 수 있다. 네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 다른 사용자 또는 다른 전자 기기와 데이터를 송신 또는 수신할 수 있다.
디스플레이 장치(100)에 미리 등록된 다른 사용자 또는 다른 전자 기기 중 선택된 사용자 또는 선택된 전자기기에 디스플레이 장치(100)에 저장된 일부의 컨텐츠 데이터를 송신할 수 있다.
네트워크 인터페이스부(133)는 접속된 네트워크 또는 접속된 네트워크에 링크된 다른 네트워크를 통해, 소정 웹 페이지에 접속할 수 있다. 즉, 네트워크를 통해 소정 웹 페이지에 접속하여, 해당 서버와 데이터를 송신 또는 수신할 수 있다.
네트워크 인터페이스부(133)는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다. 즉, 네트워크 인터페이스부(133)는 네트워크를 통하여 컨텐츠 제공자 또는 네트워크 제공자로부터 제공되는 영화, 광고, 게임, VOD, 방송 신호 등의 컨텐츠 및 그와 관련된 정보를 수신할 수 있다.
네트워크 인터페이스부(133)는 네트워크 운영자가 제공하는 펌웨어의 업데이트 정보 및 업데이트 파일을 수신할 수 있으며, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자에게 데이터들을 송신할 수 있다.
네트워크 인터페이스부(133)는 네트워크를 통해, 공중에 공개(open)된 애플리케이션들 중 원하는 애플리케이션을 선택하여 수신할 수 있다.
메모리(140)는 프로세서(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장하고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수 있다. 예컨대, 메모리(140)는 입력부(150)에서 획득한 입력 데이터, 학습 데이터, 학습 모델, 학습 히스토리 등을 저장할 수 있다.
메모리(140)는 외부 장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 영상, 음성, 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있으며, 채널 기억 기능을 통하여 소정 이미지에 관한 정보를 저장할 수도 있다.
메모리(140)는 외부 장치 인터페이스부(135) 또는 네트워크 인터페이스부(133)로부터 입력되는 애플리케이션 또는 애플리케이션 목록을 저장할 수 있다.
디스플레이 장치(100)는 메모리(140) 내에 저장되어 있는 컨텐츠 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일, 애플리케이션 파일 등)을 재생하여 사용자에게 제공할 수 있다.
입력부(150)는 다양한 종류의 데이터를 획득할 수 있다. 입력부(120)는 영상 신호 입력을 위한 카메라, 오디오 신호를 수신하기 위한 마이크로폰, 사용자로부터 정보를 입력 받기 위한 사용자 입력부 등을 포함할 수 있다.
사용자 입력부는 사용자가 입력한 신호를 프로세서(170)로 전달하거나, 프로세서(170)로부터의 신호를 사용자에게 전달할 수 있다. 예를 들어, 사용자 입력 인터페이스부(150)는 블루투스(Bluetooth), WB(Ultra Wideband), 지그비(ZigBee) 방식, RF(Radio Frequency) 통신 방식 또는 적외선(IR) 통신 방식 등 다양한 통신 방식에 따라, 원격 제어 장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 제어 신호를 수신하여 처리하거나, 프로세서(170)로부터의 제어 신호를 원격 제어 장치(200)로 송신하도록 처리할 수 있다.
사용자 입력부는 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 제어 신호를 프로세서(170)에 전달할 수 있다.
러닝 프로세서(160)는 학습 데이터를 이용하여 인공 신경망으로 구성된 모델을 학습시킬 수 있다. 여기서, 학습된 인공 신경망을 학습 모델이라 칭할 수 있다. 학습 모델은 학습 데이터가 아닌 새로운 입력 데이터에 대하여 결과 값을 추론해 내는데 사용될 수 있고, 추론된 값은 어떠한 동작을 수행하기 위한 판단의 기초로 이용될 수 있다.
러닝 프로세서(160)는 인공 지능 서버(400)의 러닝 프로세서(440)과 함께 인공 지능 프로세싱을 수행할 수 있다.
러닝 프로세서(160)는 디스플레이 장치(100)에 통합되거나 구현된 메모리를 포함할 수 있다. 또는, 러닝 프로세서(160)는 메모리(170), 디스플레이 장치(100)에 직접 결합된 외부 메모리 또는 외부 장치에서 유지되는 메모리를 사용하여 구현될 수도 있다.
프로세서(170)에서 영상 처리된 영상 신호는 디스플레이부(180)로 입력되어 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 프로세서(170)에서 영상 처리된 영상 신호는 외부 장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
프로세서(170)에서 처리된 음성 신호는 오디오 출력부(185)로 오디오 출력될 수 있다. 또한, 프로세서(170)에서 처리된 음성 신호는 외부 장치 인터페이스부(135)를 통하여 외부 출력장치로 입력될 수 있다.
프로세서(170)는 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다.
프로세서(170)는 사용자 입력부를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 디스플레이 장치(100)를 제어할 수 있으며, 네트워크에 접속하여 사용자가 원하는 애플리케이션 또는 애플리케이션 목록을 디스플레이 장치(100) 내로 다운받을 수 있도록 할 수 있다.
프로세서(170)는 사용자가 선택한 채널 정보 등이 처리한 영상 또는 음성신호와 함께 디스플레이부(180) 또는 오디오 출력부(185)를 통하여 출력될 수 있도록 한다.
프로세서(170)는 사용자 입력부를 통하여 수신한 외부장치 영상 재생 명령에 따라, 외부 장치 인터페이스부(135)를 통하여 입력되는 외부 장치, 예를 들어, 카메라 또는 캠코더로부터의, 영상 신호 또는 음성 신호가 디스플레이부(180) 또는 오디오 출력부(185)를 통해 출력될 수 있도록 한다.
프로세서(170)는 영상을 표시하도록 디스플레이부(180)를 제어할 수 있으며, 예를 들어 튜너(131)를 통해 입력되는 방송 영상, 또는 외부 장치 인터페이스부(135)를 통해 입력되는 외부 입력 영상, 또는 네트워크 인터페이스부를 통해 입력되는 영상, 또는 메모리(140)에 저장된 영상이 디스플레이부(180)에서 표시되도록 제어할 수 있다. 이 경우, 디스플레이부(180)에 표시되는 영상은 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
프로세서(170)는 디스플레이 장치(100) 내에 저장된 컨텐츠, 또는 수신된 방송 컨텐츠, 외부로 부터 입력되는 외부 입력 컨텐츠가 재생되도록 제어할 수 있으며, 상기 컨텐츠는 방송 영상, 외부 입력 영상, 오디오 파일, 정지 영상, 접속된 웹 화면, 및 문서 파일 등 다양한 형태일 수 있다.
프로세서(170)는 데이터 분석 알고리즘 또는 머신 러닝 알고리즘을 사용하여 결정되거나 생성된 정보에 기초하여, 디스플레이 장치(100)의 적어도 하나의 실행 가능한 동작을 결정할 수 있다. 그리고, 프로세서(170)는 디스플레이 장치(100)의 구성 요소들을 제어하여 결정된 동작을 수행할 수 있다.
이를 위해, 프로세서(170)는 러닝 프로세서(160) 또는 메모리(140)의 데이터를 요청, 검색, 수신 또는 활용할 수 있고, 상기 적어도 하나의 실행 가능한 동작 중 예측되는 동작이나, 바람직한 것으로 판단되는 동작을 실행하도록 디스플레이 장치(100)의 구성 요소들을 제어할 수 있다.
프로세서(170)는 사용자 입력에 대하여 의도 정보를 획득하고, 획득한 의도 정보에 기초하여 사용자의 요구 사항을 결정할 수 있다.
프로세서(170)는 음성 입력을 문자열로 변환하기 위한 STT(Speech To Text) 엔진 또는 자연어의 의도 정보를 획득하기 위한 자연어 처리(NLP: Natural Language Processing) 엔진 중에서 적어도 하나 이상을 이용하여, 사용자 입력에 상응하는 의도 정보를 획득할 수 있다.
STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 적어도 일부가 머신 러닝 알고리즘에 따라 학습된 인공 신경망으로 구성될 수 있다. 그리고, STT 엔진 또는 NLP 엔진 중에서 적어도 하나 이상은 러닝 프로세서(160)에 의해 학습된 것이나, 인공 지능 서버(400)의 러닝 프로세서(440)에 의해 학습된 것이거나, 또는 이들의 분산 처리에 의해 학습된 것일 수 있다.
프로세서(170)는 디스플레이 장치(100)의 동작 내용이나 동작에 대한 사용자의 피드백 등을 포함하는 이력 정보를 수집하여 메모리(150) 또는 러닝 프로세서(160)에 저장하거나, 인공 지능 서버(400) 등의 외부 장치에 전송할 수 있다. 수집된 이력 정보는 학습 모델을 갱신하는데 이용될 수 있다.
디스플레이부(180)는 프로세서(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부 장치 인터페이스부(135)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R, G, B 신호로 변환하여 이미지를 출력할 수 있다.
한편, 도 1에 도시된 디스플레이 장치(100)는 본 개시의 일 실시 예에 불과하며, 도시된 구성요소들 중 일부는 실제 구현되는 디스플레이 장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
일 실시 예에서, 디스플레이 장치(100)의 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 개시의 실시 예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 개시의 권리 범위를 제한하지 아니한다.
본 개시의 일 실시 예에 따르면, 디스플레이 장치(100)는, 도 1에 도시된 바와 달리, 튜너(131)와 복조부(132)를 구비하지 않고 네트워크 인터페이스부(133) 또는 외부 장치 인터페이스부(135)를 통해서 영상을 수신하여 재생할 수도 있다. 예를 들어, 디스플레이 장치(100)는 방송 신호 또는 다양한 네트워크 서비스에 따른 컨텐츠들을 수신하기 위한 등과 같은 셋탑 박스 등과 같은 영상 처리 장치와 상기 영상 처리 장치로부터 입력되는 컨텐츠를 재생하는 컨텐츠 재생 장치로 분리되어 구현될 수 있다. 이 경우, 이하에서 설명할 본 개시의 일 실시 예에 따른 디스플레이 장치의 동작 방법은 도 1을 참조하여 설명한 바와 같은 디스플레이 장치(100)뿐 아니라, 상기 분리된 셋탑 박스 등과 같은 영상 처리 장치 또는 디스플레이부(180) 및 오디오 출력부(185)를 구비하는 컨텐츠 재생 장치 중 어느 하나에 의해 수행될 수도 있다.
도 2는 본 개시의 일 실시 예에 따른 원격 제어 장치(200)를 나타낸 블록도이다.
도 2를 참조하면, 원격 제어 장치(200)는 지문 인식부(210), 통신부(220), 사용자 입력부(230), 센서부(240), 출력부(250), 전원 공급부(260), 저장부(270), 프로세서(280), 음성 획득부(290)를 포함할 수 있다.
통신부(225)는 전술하여 설명한 본 개시의 실시 예들에 따른 디스플레이 장치(100) 중 임의의 어느 하나와 신호를 송수신할 수 있다.
원격 제어 장치(200)는 RF 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 RF 모듈(221)을 구비하며, IR 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 IR 모듈(223)을 구비할 수 있다. 또한, 원격 제어 장치(200)는 블루투스 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 블루투스 모듈(225)를 구비할 수 있다. 또한, 원격 제어 장치(200)는 NFC(Near Field Communication) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수할 수 있는 NFC 모듈(227)을 구비하며, WLAN(Wireless LAN) 통신 규격에 따라 디스플레이 장치(100)와 신호를 송수신할 수 있는 WLAN 모듈(229)을 구비할 수 있다.
통신부(220)를 통해 디스플레이 장치(100)로 원격 제어 장치(200)의 움직임 등에 관한 정보가 담긴 신호를 통신부(220)를 통해 전송할 수 있다.
원격 제어 장치(200)는 디스플레이 장치(100)가 전송한 신호를 RF 모듈(221)을 통하여 수신할 수 있으며, 필요에 따라 IR 모듈(223)을 통하여 디스플레이 장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(230)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(230)를 조작하여 원격 제어 장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(230)가 하드 키 버튼을 구비할 경우, 사용자는 하드 키 버튼의 푸쉬 동작을 통하여 원격 제어 장치(200)으로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다.
사용자 입력부(230)에 터치 스크린이 포함될 경우, 사용자는 터치 스크린의 소프트 키를 터치하여 원격 제어 장치(200)로 디스플레이 장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(230)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력 수단을 구비할 수 있다.
센서부(240)는 자이로 센서(241) 또는 가속도 센서(243)를 구비할 수 있으며, 자이로 센서(241)는 원격 제어 장치(200)의 움직임에 관한 정보를 센싱할 수 있다. 예를 들어, 자이로 센서(241)는 원격 제어 장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있으며, 가속도 센서(243)는 원격 제어 장치(200)의 이동 속도 등에 관한 정보를 센싱할 수 있다. 한편, 원격 제어 장치(200)는 거리 측정 센서를 더 구비할 수 있어, 디스플레이 장치(100)의 디스플레이부(180)와의 거리를 센싱할 수 있다.
출력부(250)는 사용자 입력부(235)의 조작에 대응하거나 디스플레이 장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 사용자는 출력부(250)를 통하여 사용자 입력부(235)의 조작 여부 또는 디스플레이 장치(100)의 제어 여부를 인지할 수 있다. 예를 들어, 출력부(250)는 사용자 입력부(235)가 조작되거나 통신부(225)를 통하여 디스플레이 장치(100)와 신호가 송수신되면 점등되는 LED 모듈(251), 진동을 발생하는 진동 모듈(253), 음향을 출력하는 음향 출력 모듈(255), 또는 영상을 출력하는 디스플레이 모듈(257)을 구비할 수 있다.
전원 공급부(260)는 원격 제어 장치(200)으로 전원을 공급할 수 있다. 전원 공급부(260)는 원격 제어 장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원 공급부(260)는 원격 제어 장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
메모리(270)는 원격 제어 장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등을 저장할 수 있다.
원격 제어 장치(200)가 RF 모듈(221)을 통하여 디스플레이 장치(100)와 무선으로 신호를 송수신할 경우, 원격 제어 장치(200)과 디스플레이 장치(100)는 소정 주파수 대역을 통하여 신호를 송수신할 수 있다. 이를 위하여, 원격 제어 장치(200)의 프로세서(280)는 원격 제어 장치(200)과 페어링된 디스플레이 장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 메모리(270)에 저장하고 참조할 수 있다.
프로세서(280)는 원격 제어 장치(200)의 제어에 관련된 제반사항을 제어한할 수 있다. 프로세서(280)는 사용자 입력부(235)의 소정 키 조작에 대응하는 신호 또는 센서부(240)에서 센싱한 원격 제어 장치(200)의 움직임에 대응하는 신호를 통신부(225)를 통하여 디스플레이 장치(100)로 전송할 수 있다.
음성 획득부(290)는 음성을 획득할 수 있다. 음성 획득부(290)는 적어도 하나 이상의 마이크(291)을 포함할 수 있고, 마이크(291)를 통해 음성을 획득할 수 있다.
도 3은 본 개시의 일 실시 예에 따른 원격 제어 장치(200)를 나타낸 도면이다.
도 3을 참조하면, 원격 제어 장치(200)는 복수의 버튼을 포함할 수 있다. 원격 제어 장치(200)에 포함되는 복수의 버튼에는 지문 인식 버튼(212), 전원 버튼(231), 홈 버튼(232), 라이브 버튼(233), 외부 입력 버튼(234), 음량 조절 버튼(235), 음성 인식 버튼(236), 채널 변경 버튼(237), 확인 버튼(238) 및 뒤로 가기 버튼(239) 등이 포함될 수 있다.
지문 인식 버튼(212)은 사용자의 지문을 인식하기 위한 버튼일 수 있다. 일 실시 예에서로, 지문 인식 버튼(212)은 푸쉬 동작이 가능하여, 푸쉬 동작 및 지문 인식 동작을 수신할 수도 있다. 전원 버튼(231)은 디스플레이 장치(100)의 전원을 온/오프 하기 위한 버튼일 수 있다. 홈 버튼(232)은 디스플레이 장치(100)의 홈 화면으로 이동하기 위한 버튼일 수 있다. 라이브 버튼(233)은 실시간 방송 프로그램을 디스플레이 하기 위한 버튼일 수 있다. 외부 입력 버튼(234)은 디스플레이 장치(100)에 연결된 외부 입력을 수신하기 위한 버튼일 수 있다. 음량 조절 버튼(235)은 디스플레이 장치(100)가 출력하는 음량의 크기를 조절하기 위한 버튼일 수 있다. 음성 인식 버튼(236)은 사용자의 음성을 수신하고, 수신된 음성을 인식하기 위한 버튼일 수 있다. 채널 변경 버튼(237)은 특정 방송 채널의 방송 신호를 수신하기 위한 버튼일 수 있다. 확인 버튼(238)은 특정 기능을 선택하기 위한 버튼일 수 있고, 뒤로 가기 버튼(239)은 이전 화면으로 되돌아가기 위한 버튼일 수 있다.
도 4는 본 개시의 일 실시 예에서 원격 제어 장치(200)를 통하여 디스플레이 장치(100)와 상호 작용하는 예시를 나타낸다.
도 4를 참조하면, 원격 제어 장치(200)에 대응하는 포인터(205)가 디스플레이부(180)에 표시될 수 있다.
도 4의 (a)를 참조하면, 사용자는 원격 제어 장치(200)를 상/하, 좌/우로 움직이거나 회전할 수 있다.
디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)는 원격 제어 장치(200)의 움직임에 대응하여 움직일 수 있다. 원격 제어 장치(200)는 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘이라 명명할 수 있다.
도 4의 (b)를 참조하면, 사용자가 원격 제어 장치(200)를 왼쪽으로 이동하면, 디스플레이 장치(100)의 디스플레이부(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동할 수 있다.
원격 제어 장치(200)의 센서를 통하여 감지된 원격 제어 장치(200)의 움직임에 관한 정보는 디스플레이 장치(100)로 전송될 수 있다. 디스플레이 장치(100)는 원격 제어 장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출하고, 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4의 (c)를 참조하면, 사용자가 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서 원격 제어 장치(200)를 디스플레이부(180)에서 멀어지도록 이동시키는 경우. 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌 인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서 원격 제어 장치(200)를 디스플레이부(180)에서 가까워지도록 이동시키는 경우, 포인터(205)에 대응하는 디스플레이부(180) 내의 선택 영역이 줌 아웃되어 축소 표시될 수 있다.
한편, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지는 경우에 선택 영역이 줌 아웃되고, 원격 제어 장치(200)가 디스플레이부(180)에 가까워지는 경우에 선택 영역이 줌 인될 수도 있다.
또한, 원격 제어 장치(200) 내의 특정 버튼을 누른 상태에서는 상/하, 좌/우 이동의 인식이 배제될 수 있다. 즉, 원격 제어 장치(200)가 디스플레이부(180)에서 멀어지거나 접근하도록 이동하는 경우, 원격 제어 장치(200)의 상/하/좌/우 이동은 인식되지 않고, 앞/뒤 이동만 인식될 수도 있다. 이 경우, 원격 제어 장치(200) 내의 특정 버튼을 누르지 않은 상태에서는 원격 제어 장치(200)의 상/하/좌/우 이동에 따라 포인터(205)만 이동할 수 있다.
포인터(205)의 이동 속도나 이동 방향은 원격 제어 장치(200)의 이동 속도나 이동 방향에 대응할 수 있다.
본 개시에서 포인터(205)는 원격 제어 장치(200)의 동작에 대응하여 디스플레이부(180)에 표시되는 오브젝트를 의미할 수 있다. 따라서, 포인터(205)는 도 4에 도시된 화살표 형상 외에 다양한 형상의 오브젝트도 가능하다. 예를 들어, 포인터(205)는 점, 커서, 프롬프트, 두꺼운 외곽선 등을 포함할 수 있다. 그리고, 포인터(205)가 디스플레이부(180) 상의 가로 축과 세로 축 중 어느 한 지점(point)에 대응하여 표시되는 것은 물론, 선(line), 면(surface) 등 복수 지점에 대응하여 표시될 수도 있다.
도 5는 본 개시의 일 실시 예에 따른 인공 지능 서버(400)를 나타낸 블록도이다.
도 5를 참조하면, 인공 지능 서버(400)는 머신 러닝 알고리즘을 이용하여 인공 신경망을 학습시키거나 학습된 인공 신경망을 이용하는 장치를 의미할 수 있다. 여기서, 인공 지능 서버(400)는 복수의 서버들로 구성되어 분산 처리를 수행할 수도 있고, 5G 네트워크로 정의될 수 있다.
인공 지능 서버(400)는 디스플레이 장치(100)의 인공 지능 프로세싱 중 적어도 일부를 함께 수행할 수도 있다. 인공 지능 프로세싱은 인공 지능 모델의 학습에 필요한 연산을 의미할 수 있다.
인공 지능 서버(400)는 통신부(410), 메모리(430), 러닝 프로세서(440) 및 프로세서(460) 등을 포함할 수 있다.
통신부(410)는 디스플레이 장치(100) 등의 외부 장치와 데이터를 송수신할 수 있다.
메모리(430)는 모델 저장부(431)를 포함할 수 있다. 모델 저장부(431)는 러닝 프로세서(440)을 통하여 학습 중인 또는 학습된 모델(431a, 또는 인공 신경망)을 저장할 수 있다.
러닝 프로세서(440)는 학습 데이터를 이용하여 인공 신경망(431a)을 학습시킬 수 있다. 학습 모델은 인공 신경망의 인공 지능 서버(400)에 탑재된 상태에서 이용되거나, 디스플레이 장치(100) 등의 외부 장치에 탑재되어 이용될 수도 있다.
학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어(instruction)는 메모리(430)에 저장될 수 있다.
프로세서(460)는 학습 모델을 이용하여 새로운 입력 데이터에 대하여 결과 값을 추론하고, 추론한 결과 값에 기초한 응답이나 제어 명령을 생성할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 디스플레이 장치(100)의 동작 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 사용자의 언어 사용 정보를 수신한다(S601).
사용자의 언어 사용 정보는 디스플레이 장치(100)에서 사용하는 언어에 대한 정보뿐만 아니라 사용자 단말기(300)에서 사용하는 언어에 대한 정보를 포함할 수 있다.
사용자의 언어 사용 정보에는 웹 브라우징 과정에서 웹 사이트에서 수신하는 HTTP 응답(HTTP response)의 콘텐츠 언어(content-language) 엔티티(entity), 웹 페이지에 포함된 텍스트의 언어 정보, 미디어 컨텐츠의 음성의 언어 정보, 미디어 컨텐츠의 자막의 언어 정보, 사용자 발화 음성의 언어 정보, 사용자 단말기(300)의 시스템 언어 정보 등이 포함될 수 있다.
콘텐츠 언어 엔티티는 디스플레이 장치(100)의 웹 브라우저 어플리케이션을 통한 웹 브라우징 과정에서 웹 사이트로부터 수신하는 HTTP 응답에 포함될 수 있다. 예컨대, 특정 웹 사이트에서 수신한 HTTP 응답의 콘텐츠 언어 엔티티가 "en-US"인 경우, 이는 해당 웹 사이트의 언어가 영어임을 나타낸다.
미디어 컨텐츠의 음성의 언어 정보는 미디어 컨텐츠의 음성의 언어를 선택 가능할 때, 선택되어 있는 음성의 언어 정보를 의미할 수 있다.
미디어 컨텐츠의 자막의 언어 정보는 미디어 컨텐츠에 대응하는 자막의 언어를 선택 가능할 때, 선택되어 있는 자막의 언어 정보를 의미할 수 있다.
사용자 발화 음성은 입력부(150)의 마이크로폰을 통해 수신할 수도 있고, 통신부(110)를 통해 사용자 단말기(300)로부터 수신할 수도 있다. 프로세서(170)는 언어 판별 모델을 이용하여 사용자 발화 음성의 언어 정보를 획득할 수 있다.
언어 판별 모델은 음성 데이터가 입력되면 그에 대응하는 언어를 출력하는 모델을 의미할 수 있다. 언어 판별 모델은 인공 신경망(ANN: Artificial Neural Network)을 포함하며, 머신 러닝 알고리즘 또는 딥 러닝 알고리즘을 이용하여 학습될 수 있다. 언어 판별 모델은 디스플레이 장치(100)의 프로세서(170) 또는 러닝 프로세서(160)에 의해 학습될 수도 있고, 인공 지능 서버(400)의 프로세서(460) 또는 러닝 프로세서(440)에 의해 학습될 수도 있다.
언어 사용 정보에는 시간 정보가 포함될 수 있다. 언어 사용 정보에 포함된 시간 정보는 각 언어 사용 정보가 얼마나 오래된 항목인지 판단하는데 이용될 수 있다. 이와 관련하여, 사용자 단말기(300)의 시스템 언어 정보는 시간 정보는 실시간을 나타내거나 또는 포함되지 않을 수 있다. 즉, 시스템 언어 정보는 상태 정보일 수 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 언어 사용 정보에 기초하여 사용자의 주 사용 언어를 결정한다(S603).
주 사용 언어는 사용자가 주로 사용하는 언어를 의미하며, 대체로 사용되는 빈도가 가장 높은 언어가 주 사용 언어로 결정될 수 있다. 예컨대, 사용자가 웹 브라우저 어플리케이션을 통해 웹 브라우징을 하고 있고, 방문 웹 페이지의 대부분 (예컨대, 90퍼센트 이상)이 한국어 웹 페이지인 경우라면, 프로세서(170)는 사용자의 주 사용 언어를 한국어로 결정할 수 있다. 예컨대, 사용자의 발화 음성이 한국어일 경우, 프로세서(170)는 사용자의 주 사용 언어를 한국어로 결정할 수 있다. 예컨대, 사용자가 미디어 컨텐츠의 자막을 한국어로 설정하는 경우라면, 프로세서(170)는 사용자의 주 사용 언어를 한국어로 결정할 수 있다. 예컨대, 디스플레이 장치(100)와 사용자 단말기(300)가 연동되고, 연동된 사용자 단말기(300)의 시스템 언어가 한국어인 경우, 프로세서(170)는 사용자의 주 사용 언어를 한국어로 결정할 수 있다.
그러나, 각 언어 사용 정보마다 우선 순위 또는 가중치가 상이하여 빈도가 높지 않은 언어라도 주 사용 언어로 결정될 수도 있다. 프로세서(170)는 수신한 언어 사용 정보에 대하여 각 언어 사용 정보마다 부여된 가중치 또는 우선 순위를 고려하여 사용자의 주 사용 언어를 결정할 수 있다.
또한, 프로세서(170)는 수신한 언어 사용 정보의 시간 정보를 고려하여, 도과한 시간이 짧은 언어 사용 정보에 더 높은 가중치를 부여하여 주 사용 언어를 결정할 수 있다.
일 실시 예에서, HTTP 응답의 콘텐츠 언어 엔티티는 웹 페이지에 포함된 텍스트의 언어 정보보다 높은 우선 순위를 가질 수 있다. 일 실시 예에서, 미디어 컨텐츠의 자막의 언어 정보는 미디어 컨텐츠의 음성의 언어 정보보다 높은 우선 순위를 가질 수 있다. 일 실시 예에서, 사용자 단말기(300)의 시스템 언어 정보가 다른 언어 사용 정보에 비하여 높은 우선 순위를 가질 수 있다.
또한, 프로세서(170)는 주 사용 언어 판단 모델을 이용하여 사용자의 주 사용 언어를 결정할 수 있다.
주 사용 언어 판단 모델은 사용자의 언어 사용 정보로부터 사용자의 주 사용 언어를 판단하는 (또는 결정하는) 모델을 의미할 수 있다. 즉, 주 사용 언어 판단 모델은 사용자의 언어 사용 정보가 입력되면, 해당 사용자의 주 사용 언어를 출력하는 모델일 수 있다.
주 사용 언어 판단 모델은 머신 러닝 알고리즘 또는 딥 러닝 알고리즘에 기초하여 시스템 언어를 자동으로 주 사용 언어로 갱신할 것인지 여부를 판단하는 모델을 의미할 수 있다. 주 사용 언어 판단 모델은 인공 신경망(ANN: Artificial Neural Network)을 포함할 수 있다.
주 사용 언어 판단 모델은 디스플레이 장치(100)의 프로세서(170) 또는 러닝 프로세서(160)에 의해 학습될 수도 있고, 인공 지능 서버(400)의 프로세서(460) 또는 러닝 프로세서(440)에 의해 학습될 수도 있다. 나아가, 주 사용 언어 판단 모델은 디스플레이 장치(100)의 프로세서(170) 또는 러닝 프로세서(160)뿐만 아니라 인공 지능 서버(400)의 프로세서(460) 또는 러닝 프로세서(440)에 의해 학습될 수도 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 시스템 언어와 주 사용 언어가 동일한지 판단한다(S605).
디스플레이 장치(100)의 시스템 언어는 디스플레이 장치(100)에서 설정된 언어를 의미하며, 메뉴에 표시되는 언어, 도움말에서 표시되는 언어, 어플리케이션에 설정된 언어, 음성 비서 언어, 오디오 가이드 언어 등이 포함될 수 있다.
디스플레이 장치(100)의 시스템 언어는 시스템 텍스트 언어와 시스템 음성 언어를 포함할 수 있다. 시스템 텍스트 언어와 시스템 음성 언어는 동일하게 설정되는 것이 좋지만, 통상적으로 지원되는(supported) 시스템 텍스트 언어가 지원되는 시스템 음성 언어보다 많다는 점에서 시스템 텍스트 언어와 시스템 음성 언어가 상이하게 설정될 수도 있다.
단계(S605)의 판단 결과, 시스템 언어와 주 사용 언어가 동일한 경우, 디스플레이 장치(100)의 프로세서(170)는 설정된 시스템 언어를 변경하지 않고 절차를 종료한다.
단계(S605)의 판단 결과, 시스템 언어와 주 사용 언어가 상이한 경우, 디스플레이 장치(100)의 프로세서(170)는 언어 갱신 모드가 자동 갱신 모드인지 판단한다(S607).
언어 갱신 모드는 시스템 언어와 주 사용 언어가 상이한 경우에 설정된 시스템 언어를 자동으로 갱신할 것인지 여부를 설정하는 모드를 의미할 수 있다. 프로세서(170)는 설정된 언어 갱신 모드에 기초하여 설정된 시스템 언어를 갱신하는 과정을 수행할 수 있다.
단계(S607)의 판단 결과, 설정된 언어 갱신 모드가 자동 갱신 모드인 경우, 디스플레이 장치(100)의 프로세서(170)는 자동으로 시스템 언어를 주 사용 언어로 변경한다(S609).
자동 갱신 모드는 자동으로 시스템 언어를 갱신하는 모드를 의미할 수 있다. 따라서 설정된 언어 갱신 모드가 자동 갱신 모드일 경우, 프로세서(170)는 사용자에게 시스템 언어의 갱신 여부를 묻지 않고 시스템 언어를 결정된 주 사용 언어로 갱신할 수 있다.
다만, 프로세서(170)가 사용자의 의사를 묻지 않고 자동으로 시스템 언어를 변경할 경우, 이러한 시스템 언어의 변경이 사용자의 의사에 반하는 상황이 생길 수도 있다. 따라서, 일 실시 예에서, 프로세서(170)는 시스템 언어를 자동으로 변경한 이후에, 디스플레이부(180)를 통해 시스템 언어가 자동으로 변경되었음을 알리는 알림을 출력할 수 있고, 출력되는 알림에는 시스템 언어의 변경을 취소하는 항목을 포함할 수 있다.
단계(S607)의 판단 결과, 설정된 언어 갱신 모드가 자동 갱신 모드가 아닌 경우 (즉, 설정된 언어 갱신 모드가 수동 갱신 모드인 경우), 디스플레이 장치(100)의 프로세서(170)는 디스플레이부(180)를 통해 시스템 언어의 갱신을 제안하는 알림을 출력하고(S611), 사용자의 응답이 갱신 수락인지 판단한다(S613).
수동 갱신 모드는 사용자에게 시스템 언어의 갱신을 제안하고, 사용자의 동의가 있을 경우에 시스템 언어를 갱신하는 모드를 의미할 수 있다. 따라서, 설정된 언어 갱신 모드가 수동 갱신 모드일 경우, 프로세서(170)는 사용자에게 시스템 언어의 갱신을 제안할 수 있고, 사용자의 응답에 기초하여 시스템 언어의 갱신 여부를 결정할 수 있다.
시스템 언어의 갱신을 제안하는 알림에는 현재 설정된 시스템 언어에 대한 정보, 갱신될 주 사용 언어에 대한 정보, 갱신을 수락하는 항목 또는 갱신을 거절하는 항목 중에서 적어도 하나 이상이 포함될 수 있다.
시스템 언어의 갱신을 제안하는 알림은 현재 설정된 시스템 언어와 갱신될 주 사용 언어, 즉 2개의 언어로 제공될 수 있다. 예컨대, 현재 설정된 시스템 언어가 영어이고, 갱신될 주 사용 언어가 한국어일 경우, 프로세서(170)는 디스플레이부(180)를 통해 시스템 언어를 영어에서 한국어로 바꿀 것을 제안하는 알림을 영어와 한국어를 병기하거나 교차로 출력할 수 있다.
단계(S613)의 판단 결과, 사용자의 응답이 시스템 언어의 갱신 수락인 경우, 디스플레이 장치(100)의 프로세서(170)는 시스템 언어를 주 사용 언어로 변경하고(S615), 시스템 언어 갱신 기록으로부터 학습 데이터를 생성한다(S617).
프로세서(170)는 시스템 언어를 주 사용 언어로 변경한 이후에, 디스플레이부(180)를 통해 시스템 언어가 주 사용 언어로 변경되었음을 알리는 알림을 출력할 수 있다.
단계(S613)의 판단 결과, 사용자의 응답이 시스템 언어의 갱신 거부인 경우, 디스플레이 장치(100)의 프로세서(170)는 시스템 언어를 변경하지 않고, 시스템 언어 갱신 기록으로부터 학습 데이터를 생성한다(S617).
학습 데이터는 언어 사용 정보, 기존에 설정되었던 시스템 언어, 주 사용 언어 및 시스템 언어 갱신 여부를 포함할 수 있다. 생성된 학습 데이터는 주 사용 언어 판단 모델의 학습에 이용될 수 있다.
디스플레이 장치(100)의 프로세서(170) 또는 러닝 프로세서(160)는 생성된 학습 데이터를 이용하여 주 사용 언어 판단 모델을 갱신하고, 갱신한 주 사용 언어 판단 모델을 메모리(140)에 저장할 수 있다. 또는, 디스플레이 장치(100)의 프로세서(170)는 통신부(110)를 통해 생성된 학습 데이터를 인공 지능 서버(400)에 전송할 수 있고, 인공 지능 서버(400)의 프로세서(460) 또는 러닝 프로세서(440)는 학습 데이터를 이용하여 주 사용 언어 판단 모델을 갱신하고, 디스플레이 장치(100)의 프로세서(170)는 통신부(110)를 통해 인공 지능 서버(400)로부터 갱신된 주 사용 언어 판단 모델을 수신하여 메모리(140)에 저장할 수 있다.
도 6에 도시된 단계들(steps)의 순서는 하나의 예시에 불과하며, 본 개시가 이에 한정되지는 않는다. 즉, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계의 순서가 서로 바뀌어 수행될 수도 있다. 또한, 일 실시 예에서, 도 6에 도시된 단계들 중 일부 단계는 병렬적으로 수행될 수도 있다. 또한, 도 6에 도시된 단계들 중 일부만 수행될 수도 있다.
도 6은 디스플레이 장치(100)의 동작 방법을 한 사이클(cycle)만 나타낸 것으로, 본 개시가 이에 한정되지 않는다. 즉, 도 6에 도시된 단계들은 반복적으로 수행될 수 있다.
도 7은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
구체적으로, 도 7은 웹 브라우징에 따른 언어 사용 정보를 수신하는 상황에서, 디스플레이 장치(100)가 규칙-기반(rule-based) 판단 방법에 따라 주 사용 언어를 결정하는 일 실시 예를 나타낸다.
도 7을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 HTTP 응답(HTTP response)에 컨텐츠-언어 엔티티(content-language entity)가 존재하는지 판단한다(S701).
컨텐츠-언어 엔티티는 웹 사이트의 언어를 나타낼 수 있다. 따라서, 사용자가 웹 브라우징하면서 방문하는 웹 사이트의 언어는 해당 사용자의 주 사용 언어라 볼 수 있다.
단계(S701)의 판단 결과, HTTP 응답에 컨텐츠-언어 엔티티가 존재하는 경우, 디스플레이 장치(100)의 프로세서(170)는 컨텐츠 언어 엔티티에 대응하는 언어를 주 사용 언어로 결정한다(S703).
단계(S703)의 판단 결과, HTTP 응답에 컨텐츠-언어 엔티티가 존재하지 않는 경우, 디스플레이 장치(100)의 프로세서(170)는 웹 페이지에 포함된 텍스트의 언어를 주 사용 언어로 결정한다(S705).
HTTP 응답에 컨텐츠-언어 엔티티가 존재하지 않더라도, 웹 페이지에는 텍스트가 포함될 수 있다. 따라서, 프로세서(170)는 웹 페이지에 포함된 텍스트의 언어를 분석하여 해당 언어를 사용자의 주 사용 언어로 결정할 수 있다.
만약, 웹 페이지에 포함된 텍스트가 복수의 언어로 구성되어 있는 경우라면, 프로세서(170)는 웹 페이지에 포함된 텍스트의 언어들 중에서 가장 많은 빈도를 나타내는 언어를 사용자의 주 사용 언어로 결정할 수 있다.
도 8은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
구체적으로, 도 8은 미디어 컨텐츠의 출력에 따른 언어 사용 정보를 수신하는 상황에서, 디스플레이 장치(100)가 규칙-기반(rule-based) 판단 방법에 따라 주 사용 언어를 결정하는 일 실시 예를 나타낸다.
도 8을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 미디어 컨텐츠의 음성 또는 자막의 언어가 변경되었는지 판단한다(S801).
미디어 컨텐츠는 기본적으로 음성의 언어가 고정되어 있지만, 경우에 따라 음성의 언어를 여러 후보 언어들 중에서 선택 가능하기도 하다. 따라서, 미디어 컨텐츠의 음성의 언어가 변경될 경우, 이는 사용자가 변경되기 전의 음성의 언어보다 변경 후의 음성의 언어를 더 선호한다고 볼 수 있다.
다만, 미디어 컨텐츠에서 제공하는 음성의 언어는 미디어 컨텐츠에서 제공하는 자막의 언어에 비해서 그 수가 부족하기 때문에, 음성의 언어가 사용자의 주 사용 언어를 대표한다고 보기 어려울 수 있다. 따라서, 미디어 컨텐츠의 음성의 언어보다는 미디어 컨텐츠의 자막의 언어가 더 높은 우선 순위를 가진다고 볼 수 있다.
단계(S801)의 판단 결과, 미디어 컨텐츠의 음성 또는 자막의 언어가 변경된 경우, 디스플레이 장치(100)의 프로세서(170)는 변경된 음성의 언어 또는 변경된 자막의 언어를 주 사용 언어로 결정한다(S803).
일 실시 예에서, 상술한 것과 같이, 미디어 컨텐츠의 자막의 언어가 미디어 컨텐츠의 음성의 언어보다 더 높은 우선 순위를 가질 수 있다. 만약, 음성의 언어와 자막의 언어가 모두 변경된 경우, 프로세서(170)는 변경된 자막의 언어를 주 사용 언어로 결정할 수도 있다.
단계(S803)의 판단 결과, 미디어 컨텐츠의 음성 또는 자막의 언어가 변경되지 않은 경우, 디스플레이 장치(100)의 프로세서(170)는 미디어 컨텐츠의 음성의 언어 또는 자막의 언어를 주 사용 언어로 결정한다(S805).
일 실시 예에서, 상술한 것과 같이, 미디어 컨텐츠의 자막의 언어가 미디어 컨텐츠의 음성의 언어보다 더 높은 우선 순위를 가질 수 있다. 만약, 음성의 언어와 자막의 언어가 서로 다를경우, 프로세서(170)는 자막의 언어를 주 사용 언어로 결정할 수도 있다.
도 9는 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
구체적으로, 도 9는 사용자 단말기(300)와의 연동에 따른 언어 사용 정보를 수신하는 상황에서, 디스플레이 장치(100)가 규칙-기반 판단 방법에 따라 주 사용 언어를 결정하는 일 실시 예를 나타낸다.
도 9를 참조하면, 디스플레이 장치(100)의 프로세서(170)는 사용자 단말기(300)와 연결되었는지 판단한다(S901).
디스플레이 장치(100)와 사용자 단말기(300)는 연동(pairing) 과정을 거쳐 연결될(connected) 수 있으며, 두 장치가 연결된다는 것은 현재 연결된 상태임을 의미한다.
단계(S901)의 판단 결과, 사용자 단말기(300)와 연결된 경우, 디스플레이 장치(100)의 프로세서(170)는 연결된 사용자 단말기(300)의 시스템 언어를 주 사용 언어로 결정한다(S903).
단계(S901)의 판단 결과, 사용자 단말기(300)와 연결되지 않은 경우, 디스플레이 장치(100)의 프로세서(170)는 디스플레이 장치(100)의 시스템 언어를 주 사용 언어로 결정한다(S905).
이는 연결된 사용자 단말기(300)가 존재하지 않음에 따라, 사용자 단말기(300)의 시스템 언어를 주 사용 언어로 결정할 수 없음을 의미할 수 있다.
상술한 도 7 내지 9는 사용자의 긱 언어 사용 정보를 독립적으로 고려하여 사용자의 주 사용 언어를 결정하는 예시들을 나타낸 것으로, 본 개시가 이에 한정되지 않는다. 이에 반하여, 후술하는 도 10 등은 사용자의 여러 언어 사용 정보를 종합적으로 고려하여 주 사용 언어를 결정하는 예시들을 나타낸다.
도 10은 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
구체적으로, 도 10은 디스플레이 장치(100)가 규칙-기반(rule-based) 판단 방법에 따라 여러 언어 사용 정보를 고려하여 주 사용 언어를 결정하는 일 실시 예를 나타낸다.
도 10을 참조하면, 디스플레이 장치(100)의 프로세서(170)는 수신한 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택한다(S1001).
미리 정해진 기간은 현재 시점으로부터 일정한 과거까지의 기간을 의미할 수 있다. 예컨대, 미리 정해진 기간은 현재 시점으로부터 60분 이전까지의 기간을 의미할 수 있다. 이는 현재 사용자의 주 사용 언어를 결정하는데 있어서 최근의 언어 사용 정보가 갖는 중요도가 크다는 것을 의미한다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 각 선택된 언어 사용 정보에 대하여 가중치를 부여한다(S1003).
프로세서(170)는 각 선택된 언어 사용 정보에 대하여, 언어 사용 정보의 종류와 시간 정보를 고려하여 가중치를 부여할 수 있다.
프로세서(170)는 각 언어 사용 정보에 대하여, 도과된 시간이 길수록 더 낮은 가중치 (또는 시간 가중치)를 부여할 수 있다. 반대로, 프로세서(170)는 각 언어 사용 정보에 대하여, 도과된 시간이 짧을수록 더 높은 가중치를 부여할 수 있다.
프로세서(170)가 언어 사용 정보에 대하여 도과된 시간에 기초하여 가중치를 부여한다는 점에서, 상기 단계(S1001)에서 미리 정해진 기간의 언어 사용 정보를 선택하는 동작은 일정 기간 이내에 속하지 않는 언어 사용 정보에 가중치를 0을 부여하는 것으로 볼 수도 있다. 즉, 미리 정해진 기간의 언어 사용 정보를 선택하는 단계(S1001)는 각 언어 사용 정보에 대하여 가중치를 부여하는 과정의 일부로 볼 수 있다.
프로세서(170)는 각 언어 사용 정보에 대하여, 언어 사용 정보의 종류를 고려하여 가중치 (또는 종류 가중치)를 부여할 수 있다. 각 언어 사용 정보의 종류마다 가중치가 미리 설정되어 있을 수 있다. 예컨대, 웹 사이트의 콘텐츠-언어 엔티티의 가중치는 웹 페이지에 포함된 텍스트의 언어의 가중치보다 더 높게 설정되어 있을 수 있다.
프로세서(170)는 각 언어 사용 정보에 대하여 부여된 시간 가중치와 종류 가중치에 기초하여 종합 가중치를 산출할 수 있다. 예컨대, 프로세서(170)는 각 언어 사용 정보에 대하여 부여된 시간 가중치와 종류 가중치를 곱하여 종합 가중치를 산출할 수 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 각 선택된 언어 사용 정보에 대응하는 가중치와 우선 순위를 고려하여 주 사용 언어를 결정한다(S1005).
프로세서(170)는 각 선택된 언어 사용 정보에 대하여 우선 순위가 가장 높은 언어 사용 정보끼리 비교하여 주 사용 언어를 결정하며, 동일한 우선 순위의 언어 사용 정보끼리는 부여된 가중치에 기초하여 가장 가중치의 합이 (또는 점수의 합이) 큰 언어를 주 사용 언어로 결정할 수 있다. 예컨대, 제1 언어 사용 정보는 1순위이고, 제2 언어 사용 정보가 2순위이고, 제1 언어 사용 정보에 대응하는 언어가 영어이고, 제2 언어 사용 정보에 대응하는 한국어인 경우, 프로세서(170)는 1순위인 제1 언어 사용 정보에 대응하는 언어인 영어를 주 사용 언어로 결정할 수 있다. 반면, 제1 언어 사용 정보와 제2 언어 사용 정보가 모두 2순위이고, 제1 언어 사용 정보에 대응하는 언어가 영어이고, 제2 언어 사용 정보에 대응하는 언어가 한국어인 경우, 프로세서(170)는 제1 언어 사용 정보의 가중치와 제2 언어 사용 정보의 가중치 중에서 높은 가중치를 갖는 언어를 주 사용 언어로 결정할 수 있다. 여기서, 가중치는 종합 가중치를 의미할 수 있다.
프로세서(170)가 주 사용 언어를 결정함에 있어서, 우선 순위가 가중치에 비하여 우선적으로 고려될 수 있다. 따라서, 1순위인 제1 언어 사용 정보에 부여된 가중치가 2순위인 제2 언어 사용 정보에 부여된 가중치보다 낮더라도, 프로세서(170)는 1순위인 제1 언어 사용 정보에 대응하는 언어를 주 사용 언어로 결정할 수 있다.
각 언어 사용 정보의 종류마다 우선 순위가 미리 설정될 수 있다. 예컨대, 사용자 단말기(300)의 시스템 언어는 우선 순위가 1순위이고, 사용자의 발화 음성의 언어는 우선 순위가 2순위이고, 그 이외의 언어 사용 정보는 우선 순위가 3순위일 수 있다.
각 언어 사용 정보는 종류에 기초하여 가중치 (또는 종류 가중치)와 우선 순위가 부여될 수 있으며, 이러한 가중치와 우선 순위는 강한 양의 상관 관계를 갖도록 설정될 수 있다. 즉, 우선 순위가 높은 언어 사용 정보는 높은 종류 가중치가 설정될 수 있을 것이다. 그러므로, 다른 실시 예에서는, 각 언어 사용 정보에 대한 우선 순위를 고려하지 않고 오직 가중치만을 고려하여 주 사용 언어를 결정할 수도 있다.
도 11은 언어 사용 정보의 종류별로 부여된 가중치 및 우선 순위의 예시를 나타낸 도면이다.
상술하였듯, 가중치와 우선 순위는 높은 양의 상관 관계를 갖도록 설정될 수 있다. 그리고, 실시 예에 따라 가중치와 우선 순위가 모두 고려될 수도 있고, 가중치만 고려될 수도 있다. 또는, 반대로, 실시 예에 따라 우선 순위만 고려될 수도 있다.
이하에서 기술하는 가중치 값은 예시에 불과하며, 실시 예에 따라 그 값이 다양하게 변경될 수 있다.
도 11을 참조하면, 각 언어 사용 정보는 그 종류(1110)에 기초하여 가중치(1120)와 우선 순위(1130)가 부여될 수 있다.
예컨대, 사용자 단말기(300)의 시스템 언어(1111)는 가장 높은 우선 순위인 1순위가 부여되고, 가중치도 다른 언어 사용 정보에 비하여 높은 값인 1이 부여될 수 있다. 사용자 발화 음성의 언어(1112)는 2순위가 부여되고, 가중치로 0.5가 부여될 수 있다. 미디어 컨텐츠의 자막의 언어(1113)는 3순위가 부여되고, 가중치로 0.3이 부여될 수 있다. 미디어 컨텐츠의 음성의 언어(1114)는 5순위가 부여되고, 가중치로 0.1이 부여될 수 있다. 웹 사이트의 컨텐츠-언어 엔티티(1115)는 3순위가 부여되고, 가중치로 0.15가 부여될 수 있다. 웹 페이지에 포함된 텍스트의 언어(1116)는 4순위가 부여되고, 가중치로 0.05가 부여될 수 있다.
도 12는 도 6에 도시된 언어 사용 정보에 기초하여 주 사용 언어를 결정하는 단계(S603)의 일 예를 나타낸 동작 흐름도이다.
구체적으로, 도 12는 디스플레이 장치(100)가 학습-기반(learning-based) 판단 방법에 따라 여러 언어 사용 정보를 고려하여 주 사용 언어를 결정하는 일 실시 예를 나타낸다.
도 12를 참조하면, 디스플레이 장치(100)의 프로세서(170)는 수신한 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택한다(S1201).
미리 정해진 기간은 현재 시점으로부터 일정한 과거까지의 기간을 의미할 수 있다. 예컨대, 미리 정해진 기간은 현재 시점으로부터 60분 이전까지의 기간을 의미할 수 있다.
그리고, 디스플레이 장치(100)의 프로세서(170)는 주 사용 언어 판단 모델을 이용하여 선택된 언어 사용 정보로부터 주 사용 언어를 결정한다(S1203).
주 사용 언어 결정 모델은 언어 사용 정보가 입력되면 입력된 언어 사용 정보에 대응하는 주 사용 언어를 결정하여 출력하는 인공 지능 모델을 의미할 수 있다.
일 실시 예에서, 프로세서(170)는 사용자의 언어 사용 정보를 실시간으로 수신 (또는 수집)할 수 있고, 수신한 언어 사용 정보를 주 사용 언어 결정 모델에 입력함으로써 주 사용 언어를 결정할 수 있다. 즉, 주 사용 언어 결정 모델에 언어 사용 정보가 시계열적으로 입력되며, 주 사용 언어 결정 모델이 시계열적으로 입력된 언어 사용 정보에 대응하는 주 사용 언어를 판단할 수 있다. 이를 위해, 주 사용 언어 결정 모델은 RNN(Recurrent Neural Network)을 포함할 수 있다.
주 사용 언어 결정 모델은 언어 사용 정보와 그에 대응하는 주 사용 언어가 라벨링된 학습 데이터에 기초하여 학습될 수 있다. 주 사용 언어 결정 모델의 학습에 이용되는 학습 데이터는 디스플레이 장치(100)의 시스템 언어가 변경되는 경우나, 디스플레이 장치(100)의 시스템 언어의 변경을 시도하였으나 사용자가 거부하여 시스템 언어를 변경하지 않았을 경우에 생성될 수 있다. 예컨대, 특정 상황에서 프로세서(170)가 시스템 언어를 제1 언어에서 제2 언어로 자동으로 변경하였으나, 사용자가 시스템 언어의 변경을 거부한 경우 (즉, 시스템 언어를 제2 언어에서 제1 언어로 복귀시킨 경우), 프로세서(170)는 해당 상황에 대응하는 언어 사용 기록에 제1 언어를 라벨링하여 학습 데이터를 생성할 수 있다.
도 13은 본 개시의 일 실시 예에 따른 주 사용 언어 판단 모델의 예시를 나타낸 도면이다.
도 13을 참조하면, 주 사용 언어 판단 모델(1310)은 RNN을 포함할 수 있고, 시계열적으로 언어 사용 정보(1320)가 입력되면, 그에 대응하는 주 사용 언어(1330)를 출력할 수 있다. 주 사용 언어 판단 모델(1310)이 RNN을 포함하므로, 주 사용 언어 모델(1310)은 해당 시점의 언어 사용 정보(1320)뿐만 아니라 이전 시점의 주 사용 언어 판단 모델(1310)에서 전파되는 값들에 기초하여 주 사용 언어(1330)를 결정할 수 있다.
예컨대, T1 시점에 언어 사용 정보(1320)가 주 사용 언어 판단 모델(1310)로 입력되면, 주 사용 언어 판단 모델(1310)은 입력된 언어 사용 정보(1320)와 T1의 직전 시점의 주 사용 언어 판단 모델(1310)로부터 전파되는 값들에 기초하여 T1 시점의 주 사용 언어(1330)를 결정하고, 결정한 주 사용 언어(1330)를 출력할 수 있다.
T2 시점에 언어 사용 정보(1320)가 주 사용 언어 판단 모델(1310)로 입력되지 않더라도, 주 사용 언어 판단 모델(1310)은 T1 시점의 주 사용 언어 판단 모델(1310)로부터 전파되는 값들에 기초하여 T2 시점의 주 사용 언어(1330)를 결정하고, 결정한 주 사용 언어(1330)를 출력할 수 있다. 이 경우, T2 시점에 언어 사용 정보(1320)가 입력되지 않았으므로, 주 사용 언어 판단 모델(1310)은 T2 시점에 대응하여 출력되는 주 사용 언어(1330)는 T1 시점에 대응하여 결정된 주 사용 언어(1330)와 동일하도록 학습됨이 바람직하다.
T3 시점에 언어 사용 정보(1320)가 주 사용 언어 판단 모델(1310)로 입력되면, 주 사용 언어 판단 모델(1310)은 입력된 언어 사용 정보(1320)와 T2 시점의 주 사용 언어 판단 모델(1310)로부터 전파되는 값들에 기초하여 T3 시점의 주 사용 언어(1330)를 결정하고, 결정한 주 사용 언어(1330)를 출력할 수 있다.
도 13은 주 사용 언어 판단 모델(1310)이 RNN을 포함하는 경우의 실시 예를 나타내는 도면으로, 본 개시가 이에 한정되지 않는다. 즉, 본 개시의 여러 실시 예에서 주 사용 언어 판단 모델(1310)은 RNN을 포함하지 않는 인공 신경망으로 구성될 수도 있다.
도 14는 본 개시의 일 실시 예를 나타낸 도면이다.
구체적으로, 도 14는 디스플레이 장치(1410)의 언어 갱신 모드가 수동 갱신 모드일 때의 일 실시 예를 나타낸다.
도 14를 참조하면, 사용자(1420)의 단말기(1430)가 디스플레이 장치(1410)과 연결되는 경우, 디스플레이 장치(1410)는 단말기(1430)의 시스템 언어를 사용자(1420)의 주 사용 언어로 결정할 수 있다. 그리고, 디스플레이 장치(1410)는 설정된 시스템 언어와 결정된 주 사용 언어가 동일한지 판단할 수 있다. 만약, 디스플레이 장치(1410)의 시스템 언어가 영어(EN)이고, 단말기(1430)의 시스템 언어가 한국어(KR)로 서로 다르다면, 디스플레이 장치(1410)는 현재 설정된 시스템 언어 '영어(EN)'를 연결된 단말기의 시스템 언어 '한국어(KR)'로 변경하는 시스템 언어 변경의 제안을 제공할 수 있다.
디스플레이 장치(1410)는 시스템 언어 변경의 제안을 음성 알림(1440) 또는 화상 알림(1450) 중에서 적어도 하나 이상으로 제공할 수 있다.
디스플레이 장치(1410)는 "현재 시스템 언어(EN)을 연결된 단말기의 시스템 언어(KR)로 변경할까요?" 또는 "현재 시스템 언어(EN)을 언어(KR)로 변경할까요?"라는 음성 알림(1440)을 출력하여 시스템 언어 변경의 제안을 제공할 수 있고, 이에 대응하는 사용자(1420)의 음성 응답에 기초하여 시스템 언어의 변경 여부를 결정할 수 있다.
디스플레이 장치(1410)는 "현재 시스템 언어(EN)을 연결된 단말기의 시스템 언어(KR)로 변경할까요?" 또는 "현재 시스템 언어(EN)을 언어(KR)로 변경할까요?"라는 메시지와 수락 아이템(1451) 및 거절 아이템(1452)을 포함하는 화상 알림(1450)을 출력하여 시스템 언어 변경의 제안을 제공할 수 있고, 이에 대응하는 사용자(1420)의 입력에 기초하여 시스템 언어의 변경 여부를 결정할 수 있다. 이 경우, 사용자(1420)는 원격 제어 장치(200)를 이용하여 수락 아이템(1451) 또는 거절 아이템(1452)를 선택하는 입력을 인가할 수 있다.
디스플레이 장치(1410)는 사용자(1420)에 시스템 언어 변경의 제안을 제공하였으나 미리 정해진 시간 이내에 응답을 수신하지 못하는 경우, 시스템 언어를 변경하지 않는 것으로 결정할 수 있다.
디스플레이 장치(1410)가 사용자(1420)에 시스템 언어 변경의 제안을 제공한 경우, 디스플레이 장치(1410)는 사용자(1420)의 언어 사용 기록과 시스템 언어의 변경 여부를 포함하는 학습 데이터를 생성할 수 있고, 생성된 학습 데이터는 주 사용 언어 결정 모델의 학습에 이용될 수 있다.
도 15는 본 개시의 일 실시 예를 나타낸 도면이다.
구체적으로, 도 15는 디스플레이 장치(1410)의 언어 갱신 모드가 자동 갱신 모드일 때의 일 실시 예를 나타낸다.
도 15를 참조하면, 사용자(1420)의 단말기(1430)가 디스플레이 장치(1410)과 연결되는 경우, 디스플레이 장치(1410)는 설정된 시스템 언어와 연결된 단말기(1430)의 시스템 언어가 동일한지 판단할 수 있다. 만약, 디스플레이 장치(1410)의 시스템 언어가 영어(EN)이고, 단말기(1430)의 시스템 언어가 한국어(KR)로 서로 다르다면, 디스플레이 장치(1410)는 현재 설정된 시스템 언어 '영어(EN)'를 연결된 단말기의 시스템 언어 '한국어(KR)'로 변경하고, 시스템 언어가 변경되었음을 알리는 알림 (또는 시스템 언어 변경 완료의 알림)을 제공할 수 있다.
또는, 디스플레이 장치(1410)는 연결된 단말기(1430)로부터 설정된 시스템 언어를 포함하는 사용자(1420)의 언어 사용 정보를 수신하고, 수신한 언어 사용 정보과 주 사용 언어 결정 모델을 이용하여 사용자(1420)의 주 사용 언어를 결정할 수 있다. 만약, 사용자(1420)의 주 사용 언어가 '한국어(KR)'로 결정되었다면, 디스플레이 장치(1410)는 현재 설정된 시스템 언어 '영어(EN)'를 결정된 주 사용 언어 '한국어(KR)'로 변경하고, 시스템 언어가 변경되었음을 알리는 알림을 제공할 수 있다.
디스플레이 장치(1410)는 시스템 언어 변경 완료의 알림을 음성 알림(1540) 또는 화상 알림(1550) 중에서 적어도 하나 이상으로 제공할 수 있다.
디스플레이 장치(1410)는 "현재 시스템 언어(EN)을 언어(KR)로 변경했습니다."라는 음성 알림(1540)을 출력하여 시스템 언어 변경 완료의 알림을 제공할 수 있다. 디스플레이 장치(1410)는 시스템 언어 변경 완료의 알림의 제공 이후 사용자(1420)의 음성 응답에 기초하여 시스템 언어의 변경 작업을 취소하거나 취소하지 않을 수 있다.
디스플레이 장치(1410)는 "현재 시스템 언어(EN)을 언어(KR)로 변경했습니다."라는 메시지와 확인 아이템(1551) 및 거절 아이템(1552)을 포함하는 화상 알림(1550)을 출력하여 시스템 언어 변경 완료의 알림을 제공할 수 있고, 이에 대응하는 사용자(1420)의 입력에 기초하여 시스템 언어의 변경 작업을 취소하거나 취소하지 않을 수 있다. 이 경우, 사용자(1420)는 원격 제어 장치(200)를 이용하여 확인 아이템(1551) 또는 취소 아이템(1552)를 선택하는 입력을 인가할 수 있다.
디스플레이 장치(1410)는 사용자(1420)에 시스템 언어 변경 완료의 알림을 제공하였으나 미리 정해진 시간 이내에 응답을 수신하지 못하는 경우, 시스템 언어의 변경 작업을 취소하지 않는 것으로 결정할 수 있다.
디스플레이 장치(1410)가 사용자(1420)에 시스템 언어 변경 완료의 알림을 제공한 경우 또는 시스템 언어를 변경한 경우, 디스플레이 장치(1410)는 사용자(1420)의 언어 사용 기록과 시스템 언어의 변경 작업의 취소 여부를 포함하는 학습 데이터를 생성할 수 있고, 생성된 학습 데이터는 주 사용 언어 결정 모델의 학습에 이용될 수 있다.
상술한 도 14 및 15의 실시 예에서, 디스플레이 장치(1410)는 사용자(1420)의 단말기(1430)의 시스템 언어뿐만 아니라 단말기(1430)에서의 언어 사용 기록에 기초하여 사용자(1420)의 주 사용 언어를 결정할 수도 있다. 단말기(1430)에서의 언어 사용 기록에는 단말기(1430)에서의 웹 브라우징 시 웹 페이지에 포함된 텍스트의 언어, 웹 사이트의 컨텐츠-언어 엔티티 등이 포함될 수 있다.
도 16은 본 개시의 일 실시 예를 나타낸 도면이다.
구체적으로, 도 16은 디스플레이 장치(1610)의 언어 갱신 모드가 수동 갱신 모드일 때의 일 실시 예를 나타낸다.
도 16을 참조하면, 원격 제어 장치(1630)는 디스플레이 장치(1610)과 연결되고, 디스플레이 장치(1610)는 원격 제어 장치(1630)에 의해 제어될 수 있다. 사용자(1620)가 원격 제어 장치(1630)를 통해 디스플레이 장치(1610)의 미디어 컨텐츠의 자막의 언어를 변경하는 제어를 수행하는 경우, 디스플레이 장치(1610)는 미디어 컨텐츠의 자막의 언어를 사용자(1620)의 주 사용 언어로 결정할 수 있다. 그리고, 디스플레이 장치(1610)는 설정된 시스템 언어와 결정된 주 사용 언어가 동일한지 판단할 수 있다. 만약, 디스플레이 장치(1610)의 시스템 언어가 영어(EN)이고, 디스플레이 장치(1610)에서 제공하는 미디어 컨텐츠의 음성(1611)의 언어가 영어(EN)이고, 사용자(1620)의 설정한 미디어 컨텐츠의 자막(1612)의 언어가 한국어(KR)로 서로 다르다면, 디스플레이 장치(1610)는 현재 설정된 시스템 언어 '영어(EN)'를 미디어 컨텐츠의 자막(1612)의 언어 '한국어(KR)'로 변경하는 시스템 언어 변경의 제안을 제공할 수 있다.
디스플레이 장치(1610)는 시스템 언어 변경의 제안을 음성 알림(1640) 또는 화상 알림(1650) 중에서 적어도 하나 이상으로 제공할 수 있다.
디스플레이 장치(1610)는 "현재 시스템 언어(EN)을 언어(KR)로 변경할까요?"라는 음성 알림(1640)을 출력하여 시스템 언어 변경의 제안을 제공할 수 있고, 이에 대응하는 사용자(1620)의 음성 응답에 기초하여 시스템 언어의 변경 여부를 결정할 수 있다.
디스플레이 장치(1610)는 "현재 시스템 언어(EN)을 언어(KR)로 변경할까요?"라는 메시지와 수락 아이템(1651) 및 거절 아이템(1652)을 포함하는 화상 알림(1650)을 출력하여 시스템 언어 변경의 제안을 제공할 수 있고, 이에 대응하는 사용자(1620)의 입력에 기초하여 시스템 언어의 변경 여부를 결정할 수 있다. 이 경우, 사용자(1620)는 원격 제어 장치(200)를 이용하여 수락 아이템(1651) 또는 거절 아이템(1652)를 선택하는 입력을 인가할 수 있다.
디스플레이 장치(1610)는 사용자(1620)에 시스템 언어 변경의 제안을 제공하였으나 미리 정해진 시간 이내에 응답을 수신하지 못하는 경우, 시스템 언어를 변경하지 않는 것으로 결정할 수 있다.
디스플레이 장치(1610)가 사용자(1620)에 시스템 언어 변경의 제안을 제공한 경우, 디스플레이 장치(1610)는 사용자(1620)의 언어 사용 기록과 시스템 언어의 변경 여부를 포함하는 학습 데이터를 생성할 수 있고, 생성된 학습 데이터는 주 사용 언어 결정 모델의 학습에 이용될 수 있다.
도 17은 본 개시의 일 실시 예를 나타낸다.
도 17을 참조하면, 원격 제어 장치(1630)는 디스플레이 장치(1610)과 연결되고, 디스플레이 장치(1610)는 원격 제어 장치(1630)에 의해 제어될 수 있다. 사용자(1620)가 원격 제어 장치(1630)를 통해 디스플레이 장치(1610)의 미디어 컨텐츠의 자막의 언어를 변경하는 제어를 수행하는 경우, 디스플레이 장치(1610)는 미디어 컨텐츠의 자막의 언어를 사용자(1620)의 주 사용 언어로 결정할 수 있다. 그리고, 디스플레이 장치(1610)는 설정된 시스템 언어와 결정된 주 사용 언어가 동일한지 판단할 수 있다. 만약, 디스플레이 장치(1610)의 시스템 언어가 영어(EN)이고, 디스플레이 장치(1610)에서 제공하는 미디어 컨텐츠의 음성(1611)의 언어가 영어(EN)이고, 사용자(1620)의 설정한 미디어 컨텐츠의 자막(1612)의 언어가 한국어(KR)로 서로 다르다면, 디스플레이 장치(1610)는 현재 설정된 시스템 언어 '영어(EN)'를 미디어 컨텐츠의 자막(1612)의 언어 '한국어(KR)'로 변경하고, 시스템 언어가 변경되었음을 알리는 알림을 제공할 수 있다.
또는, 디스플레이 장치(1610)는 연결된 원격 제어 장치(1630)의 제어에 의하여 변경된 미디어 컨텐츠의 자막(1612)의 언어를 포함하는 사용자(1620)의 언어 사용 정보를 수신하고, 수신한 언어 사용 정보과 주 사용 언어 결정 모델을 이용하여 사용자(1620)의 주 사용 언어를 결정할 수 있다. 만약, 사용자(1620)의 주 사용 언어가 '한국어(KR)'로 결정되었다면, 디스플레이 장치(1610)는 현재 설정된 시스템 언어 '영어(EN)'를 결정된 주 사용 언어 '한국어(KR)'로 변경하고, 시스템 언어가 변경되었음을 알리는 알림을 제공할 수 있다.
디스플레이 장치(1610)는 시스템 언어 변경 완료의 알림을 음성 알림(1740) 또는 화상 알림(1750) 중에서 적어도 하나 이상으로 제공할 수 있다.
디스플레이 장치(1610)는 "현재 시스템 언어(EN)을 언어(KR)로 변경했습니다."라는 음성 알림(1740)을 출력하여 시스템 언어 변경 완료의 알림을 제공할 수 있다. 디스플레이 장치(1610)는 시스템 언어 변경 완료의 알림의 제공 이후 사용자(1620)의 음성 응답에 기초하여 시스템 언어의 변경 작업을 취소하거나 취소하지 않을 수 있다.
디스플레이 장치(1610)는 "현재 시스템 언어(EN)을 언어(KR)로 변경했습니다."라는 메시지와 확인 아이템(1751) 및 거절 아이템(1752)을 포함하는 화상 알림(1750)을 출력하여 시스템 언어 변경 완료의 알림을 제공할 수 있고, 이에 대응하는 사용자(1620)의 입력에 기초하여 시스템 언어의 변경 작업을 취소하거나 취소하지 않을 수 있다. 이 경우, 사용자(1620)는 원격 제어 장치(200)를 이용하여 확인 아이템(1751) 또는 취소 아이템(1752)를 선택하는 입력을 인가할 수 있다.
디스플레이 장치(1610)는 사용자(1620)에 시스템 언어 변경 완료의 알림을 제공하였으나 미리 정해진 시간 이내에 응답을 수신하지 못하는 경우, 시스템 언어의 변경 작업을 취소하지 않는 것으로 결정할 수 있다.
디스플레이 장치(1610)가 사용자(1620)에 시스템 언어 변경 완료의 알림을 제공한 경우 또는 시스템 언어를 변경한 경우, 디스플레이 장치(1610)는 사용자(1620)의 언어 사용 기록과 시스템 언어의 변경 작업의 취소 여부를 포함하는 학습 데이터를 생성할 수 있고, 생성된 학습 데이터는 주 사용 언어 결정 모델의 학습에 이용될 수 있다.
도 16 및 17에서는 미디어 컨텐츠의 음성(1611)의 언어와 미디어 컨텐츠의 자막(1612)의 언어가 상이한 예시를 나타내었으나, 본 개시는 이에 한정되지 않는다. 즉, 본 개시의 다양한 실시 예에서는 미디어 컨텐츠의 자막(1612)의 언어가 미디어 컨텐츠의 음성(1611)의 언어와 동일하게 설정되더라도, 미디어 컨텐츠의 자막(1612)의 언어가 사용자(1620)의 주 사용 언어로 결정될 수 있다.
본 개시의 일 실시 예에 따르면, 전술한 방법은 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다.

Claims (15)

  1. 디스플레이 장치에 있어서,
    디스플레이부;
    외부 장치와 통신하는 통신부; 및
    사용자의 언어 사용 정보를 수신하고, 상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하고, 설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하고, 상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 프로세서
    를 포함하는, 디스플레이 장치.
  2. 청구항 1에 있어서,
    상기 언어 사용 정보는
    웹 사이트에서 수신하는 HTTP 응답(HTTP response)의 콘텐츠 언어 엔티티(content-language entity), 웹 페이지에 포함된 텍스트의 언어 정보, 미디어 컨텐츠의 음성의 언어 정보, 상기 미디어 컨텐츠의 자막의 언어 정보, 사용자 발화 음성의 언어 정보 또는 사용자 단말기의 시스템 언어 정보 중에서 적어도 하나 이상을 포함하는, 디스플레이 장치.
  3. 청구항 2에 있어서,
    상기 프로세서는
    상기 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택하고, 상기 선택된 언어 사용 정보 각각에 대하여 가중치를 부여하고, 상기 선택된 언어 사용 정보 각각에 대응하는 가중치를 고려하여 상기 주 사용 언어를 결정하는, 디스플레이 장치.
  4. 청구항 3에 있어서,
    상기 프로세서는
    상기 선택된 언어 사용 정보 각각에 대하여 도과된 시간이 짧을수록 더 높은 시간 가중치를 부여하고, 상기 선택된 언어 사용 정보 각각에 대하여 언어 사용 정보의 종류마다 미리 정해진 종류 가중치를 부여하고, 상기 시간 가중치와 상기 종류 가중치에 기초하여 종합 가중치를 산출하는, 디스플레이 장치.
  5. 청구항 4에 있어서,
    상기 프로세서는
    상기 선택된 언어 사용 정보 각각에 대하여 산출된 상기 종합 가중치에 기초하여 각 언어별 상기 종합 가중치의 합을 산출하고, 상기 종합 가중치의 합이 가장 큰 언어를 상기 주 사용 언어로 결정하는, 디스플레이 장치.
  6. 청구항 3에 있어서,
    상기 프로세서는
    상기 선택된 언어 사용 정보에 대응하는 가중치 및 언어 사용 정보의 종류마다 미리 정해진 우선 순위를 고려하여 상기 주 사용 언어를 결정하는, 디스플레이 장치.
  7. 청구항 6에 있어서,
    상기 프로세서는
    상기 선택된 언어 사용 정보 중에서 상기 우선 순위가 가장 높은 제1 언어 사용 정보를 선택하고, 상기 제1 언어 사용 정보의 가중치를 고려하여 상기 주 사용 언어를 고려하는, 디스플레이 장치.
  8. 청구항 6에 있어서,
    상기 사용자 단말기의 시스템 언어의 우선 순위는 다른 언어 사용 정보의 우선 순위보다 높고, 상기 미디어 컨텐츠의 자막의 언어의 우선 순위는 상기 미디어 컨텐츠의 음성의 언어의 우선 순위보다 높은, 디스플레이 장치.
  9. 청구항 3에 있어서,
    상기 프로세서는
    상기 언어 사용 정보 중에서 미리 정해진 기간의 언어 사용 정보를 선택하고, 상기 선택된 언어 사용 정보와 주 사용 언어 결정 모델을 이용하여 상기 주 사용 언어를 결정하고,
    상기 주 사용 언어 결정 모델은
    ANN(Artificial Neural Network)을 포함하고, 머신 러닝 알고리즘 또는 딥 러닝 알고리즘에 기초하여 학습되는 모델인, 디스플레이 장치.
  10. 청구항 9에 있어서,
    상기 주 사용 언어 결정 모델은
    RNN(Recurrent Neural Network)을 포함하고, 실시간으로 상기 언어 사용 정보가 입력되면 상기 주 사용 언어를 결정하여 출력하는 모델인, 디스플레이 장치.
  11. 청구항 9에 있어서,
    상기 프로세서는
    상기 시스템 언어를 변경하거나 변경을 시도한 경우에, 상기 사용 언어 정보 및 변경 결과에 대응하는 학습 데이터를 생성하고,
    상기 학습 데이터는
    상기 주 사용 언어 결정 모델의 갱신에 이용되는, 디스플레이 장치.
  12. 청구항 1에 있어서,
    상기 프로세서는
    언어 갱신 모드가 자동 갱신 모드인 경우, 상기 시스템 언어와 상기 주 사용 언어가 상이할 때 자동으로 상기 시스템 언어를 상기 주 사용 언어로 변경하고, 상기 시스템 언어를 변경하였음을 알리는 제1 알림을 출력하고, 상기 제1 알림에 대응하는 상기 사용자의 입력에 기초하여 상기 시스템 언어의 변경의 취소 여부를 결정하는, 디스플레이 장치.
  13. 청구항 12에 있어서,
    상기 프로세서는
    상기 언어 갱신 모드가 수동 갱신 모드인 경우, 상기 시스템 언어와 상기 주 사용 언어가 상이할 때 상기 시스템 언어를 상기 주 사용 언어로 변경할 것을 제안하는 제2 알림을 출력하고, 상기 제2 알림에 대응하는 상기 사용자의 입력에 기초하여 상기 시스템 언어의 변경 여부를 결정하는, 디스플레이 장치.
  14. 디스플레이 장치의 동작 방법에 있어서,
    사용자의 언어 사용 정보를 수신하는 단계;
    상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하는 단계;
    설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하는 단계; 및
    상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 단계
    를 포함하는, 방법.
  15. 디스플레이 장치의 동작 방법을 기록한 기록 매체에 있어서, 상기 방법은
    사용자의 언어 사용 정보를 수신하는 단계;
    상기 언어 사용 정보에 기초하여 상기 사용자의 주 사용 언어를 결정하는 단계;
    설정된 시스템 언어와 상기 주 사용 언어를 서로 비교하는 단계; 및
    상기 시스템 언어와 상기 주 사용 언어가 상이하면 상기 시스템 언어를 상기 주 사용 언어로 변경하거나 변경할 것을 제안하는 단계
    를 포함하는, 기록 매체.
PCT/KR2020/005535 2020-04-27 2020-04-27 디스플레이 장치 및 그의 동작 방법 WO2021221186A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/KR2020/005535 WO2021221186A1 (ko) 2020-04-27 2020-04-27 디스플레이 장치 및 그의 동작 방법
EP20933926.6A EP4145842A4 (en) 2020-04-27 2020-04-27 DISPLAY DEVICE AND ITS OPERATING METHOD
US17/921,462 US20230188799A1 (en) 2020-04-27 2020-04-27 Display device and operation method for same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/005535 WO2021221186A1 (ko) 2020-04-27 2020-04-27 디스플레이 장치 및 그의 동작 방법

Publications (1)

Publication Number Publication Date
WO2021221186A1 true WO2021221186A1 (ko) 2021-11-04

Family

ID=78332004

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/005535 WO2021221186A1 (ko) 2020-04-27 2020-04-27 디스플레이 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20230188799A1 (ko)
EP (1) EP4145842A4 (ko)
WO (1) WO2021221186A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053013A1 (en) * 2002-12-05 2006-03-09 Roland Aubauer Selection of a user language on purely acoustically controlled telephone
KR20080016206A (ko) * 2006-08-18 2008-02-21 엘지전자 주식회사 언어 인식을 이용한 시스템 언어 설정방법
KR20160030663A (ko) * 2014-09-11 2016-03-21 엘지전자 주식회사 이동단말기의 초기셋팅방법
US20180089175A1 (en) * 2016-09-28 2018-03-29 Panasonic Intellectual Property Corporation Of America Method for recognizing speech sound, mobile terminal, and recording medium
US9953630B1 (en) * 2013-05-31 2018-04-24 Amazon Technologies, Inc. Language recognition for device settings

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8788259B1 (en) * 2011-06-30 2014-07-22 Google Inc. Rules-based language detection
US20190065458A1 (en) * 2017-08-22 2019-02-28 Linkedin Corporation Determination of languages spoken by a member of a social network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060053013A1 (en) * 2002-12-05 2006-03-09 Roland Aubauer Selection of a user language on purely acoustically controlled telephone
KR20080016206A (ko) * 2006-08-18 2008-02-21 엘지전자 주식회사 언어 인식을 이용한 시스템 언어 설정방법
US9953630B1 (en) * 2013-05-31 2018-04-24 Amazon Technologies, Inc. Language recognition for device settings
KR20160030663A (ko) * 2014-09-11 2016-03-21 엘지전자 주식회사 이동단말기의 초기셋팅방법
US20180089175A1 (en) * 2016-09-28 2018-03-29 Panasonic Intellectual Property Corporation Of America Method for recognizing speech sound, mobile terminal, and recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4145842A4 *

Also Published As

Publication number Publication date
EP4145842A1 (en) 2023-03-08
EP4145842A4 (en) 2024-01-03
US20230188799A1 (en) 2023-06-15

Similar Documents

Publication Publication Date Title
WO2018199390A1 (ko) 전자기기
WO2021045447A1 (en) Apparatus and method for providing voice assistant service
WO2015194693A1 (ko) 영상 표시 기기 및 그의 동작 방법
WO2021060590A1 (ko) 디스플레이 장치 및 인공 지능 시스템
WO2016013705A1 (ko) 원격제어장치 및 그의 동작 방법
WO2020145615A1 (en) Method of providing recommendation list and display device using the same
WO2019135433A1 (ko) 디스플레이 장치 및 디스플레이 장치를 포함하는 시스템
WO2021060575A1 (ko) 인공 지능 서버 및 그의 동작 방법
WO2021070976A1 (ko) 소스 기기 및 무선 시스템
WO2022149620A1 (ko) 디스플레이 장치
WO2021221186A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2020022571A1 (ko) 스마트 디바이스 및 그 제어 방법
WO2022014738A1 (ko) 디스플레이 장치
WO2021060570A1 (ko) 가전 기기 및 서버
WO2021033785A1 (ko) 사용자의 음성을 통해 가전 기기를 제어할 수 있는 디스플레이 장치 및 인공 지능 서버
WO2019164020A1 (ko) 디스플레이 장치
WO2020230923A1 (ko) 음성 인식 서비스를 제공하기 위한 디스플레이 장치 및 그의 동작 방법
WO2020111567A1 (en) Electronic device and operation method thereof
WO2022050433A1 (ko) 음성 인식 기동어의 인식 민감도를 조절하는 디스플레이 장치 및 그의 동작 방법
WO2019124775A1 (ko) 전자 장치 및 전자 장치에서 방송 콘텐트와 관련된 서비스 정보 제공 방법
WO2024005226A1 (ko) 디스플레이 장치
WO2022145553A1 (ko) 이동 단말기 및 디스플레이 시스템
WO2024010110A1 (ko) 디스플레이 장치 및 그의 동작 방법
WO2023200026A1 (ko) 디스플레이 장치
WO2023182542A1 (ko) 디스플레이 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20933926

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020933926

Country of ref document: EP

Effective date: 20221128