KR20210073305A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20210073305A
KR20210073305A KR1020190163991A KR20190163991A KR20210073305A KR 20210073305 A KR20210073305 A KR 20210073305A KR 1020190163991 A KR1020190163991 A KR 1020190163991A KR 20190163991 A KR20190163991 A KR 20190163991A KR 20210073305 A KR20210073305 A KR 20210073305A
Authority
KR
South Korea
Prior art keywords
electronic device
visual content
image
processor
audio content
Prior art date
Application number
KR1020190163991A
Other languages
English (en)
Inventor
장정록
바이잘아난트
박진솔
최윤주
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020190163991A priority Critical patent/KR20210073305A/ko
Priority to PCT/KR2020/013764 priority patent/WO2021118032A1/ko
Publication of KR20210073305A publication Critical patent/KR20210073305A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Abstract

본 발명의 일 실시예에 따른 전자장치에 있어서, 적어도 하나의 인터페이스부(interface circuitry); 디스플레이부; 및 상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고, 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고, 상기 오디오컨텐트를 재생하고, 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 프로세서를 포함할 수 있다.

Description

전자장치 및 그 제어방법{ELECTRONIC APPARATUS AND THE METHOD THEREOF}
본 발명은 외부장치로터 전송된 오디오컨텐트를 재생할 수 있는 전자장치 및 그 제어방법에 관한 것이다.
미러링(mirroring)이란 파일 동기화의 일종으로서 동일한 정보를 여러 장치에서 제공하기 위한 기술이다. 미러링은, 예컨대, 휴대폰 등과 같은 전자장치에서 조작하는 화면을 그대로 TV 등을 통해 출력하는 스크린 미러링(screen mirroring)이 대표적이다. 이 기술은 오디오컨텐트에도 적용할 수 있는데, 예컨대, 휴대폰 등에서 재생되는 음원 파일을 스피커 등을 통해 출력할 수 있고, 이를 사운드 미러링(sound mirroring)이라고 한다.
본 발명의 목적은, 외부장치로부터 전송된 오디오컨텐트를 재생할 때 사용자의 경험 등 사용자의 편의를 보다 향상시킬 수 있는 전자장치 및 그 제어방법을 제공하는 것이다.
본 발명의 일 실시예에 따른 전자장치에 있어서, 적어도 하나의 인터페이스부(interface circuitry); 디스플레이부; 및 상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고, 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고, 상기 오디오컨텐트를 재생하고, 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 프로세서를 포함할 수 있다.
상기 프로세서는, 상기 오디오컨텐트의 음원정보에 기초하여 상기 오디오컨텐트의 특성을 식별할 수 있다.
상기 프로세서는, 상기 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보에 기초하여 상기 오디오컨텐트의 특성을 식별할 수 있다.
상기 프로세서는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 상기 오디오컨텐트를 재생한 오디오신호를 복수의 스피커를 통해 출력하고, 상기 복수의 스피커의 배치 상태에 기초하여 상기 전자장치의 상태 정보를 획득할 수 있다.
상기 프로세서는, 상기 전자장치의 주변 환경, 장소, 시간 또는 날씨 중 적어도 하나에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 사용자입력에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하고, 상기 GUI를 이용한 상기 사용자입력을 수신할 수 있다.
상기 프로세서는, 상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하고, 상기 GUI를 이용한 상기 사용자입력을 수신할 수 있다.
상기 프로세서는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득할 수 있다.
상기 프로세서는, 상기 오디오컨텐트의 재생 요청을 수신하고, 상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하고, 상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하고, 상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않을 수 있다.
상기 프로세서는, 상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법에 있어서, 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계; 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계; 상기 오디오컨텐트를 재생하는 단계; 및 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하는 단계; 상기 GUI를 이용한 사용자입력을 수신하는 단계; 및 상기 수신한 사용자입력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법은 상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하는 단계; 및 상기 GUI를 이용한 상기 사용자입력을 수신하는 단계를 더 포함할 수 있다.
상기 비주얼컨텐트를 획득하는 단계는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자장치의 제어방법은 상기 오디오컨텐트의 재생 요청을 수신하는 단계; 상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하는 단계; 상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 단계; 상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 단계를 포함할 수 있다.
상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시하는 단계를 더 포함할 수 있다.
컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은, 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계; 상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계; 상기 오디오컨텐트를 재생하는 단계; 및 상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함할 수 있다.
제공되는 오디오컨텐트와 관련된 비주얼컨텐트를 함께 제공함으로써, 사용자의 이용만족도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 의한 전체 시스템을 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 상태정보에 따른 동작 모습을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자장치에 제공되는 GUI(Graphic User Interface)를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 사용자입력에 따른 전자장치의 동작 모습을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다.
이하에서는 첨부 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 도면에서 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 구성요소를 지칭하며, 도면에서 각 구성요소의 크기는 설명의 명료성과 편의를 위해 과장되어 있을 수 있다. 다만, 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 이하의 실시예에 설명된 구성 또는 작용으로만 한정되지는 않는다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
본 발명의 실시예에서, 제1, 제2 등과 같이 서수를 포함하는 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 발명의 실시예에서, '구성되다', '포함하다', '가지다' 등의 용어는 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 또한, 본 발명의 실시예에서, '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있으며, 적어도 하나의 모듈로 일체화되어 구현될 수 있다. 또한, 본 발명의 실시예에서, 복수의 요소 중 적어도 하나(at least one)는, 복수의 요소 전부뿐만 아니라, 복수의 요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 본 발명의 일 실시예에 의한 전체 시스템을 도시한 블록도이다.
도 1에 도시된 바와 같이, 전자장치(100, 110)는 영상을 표시할 수 있는 디스플레이장치로 구현될 수 있다. 일 예로, 전자장치(100, 110)는 TV, 컴퓨터, 스마트 폰, 태블릿, 휴대용 미디어 플레이어, 웨어러블 디바이스, 비디오 월, 전자액자 등을 포함할 수 있다. 또한, 전자장치(100, 110)는 디스플레이를 구비하지 않는 사운드바, AI어시스턴스기기(AI스피커 등), 블루투스 스피커, 셋탑박스 등의 영상처리장치, 냉장고, 세탁기 등의 생활가전, 컴퓨터본체와 같은 정보처리장치 등 다양한 종류의 장치로 구현될 수 있다.
본 발명의 일 실시예에 따르면, 도 1에는 전자장치(100, 110)와 외부장치(120)가 도시되어 있다. 외부장치(120)는 전자장치(100, 110)와 연결되어 오디오컨텐트를 제공할 수 있으며, 이 때 외부장치(120)의 종류는 한정되지 않는다. 예컨대, 외부장치(120)는 스마트폰(smart phone)이나 태블릿(tablet)과 같은 스마트패드(smart pad)를 포함하는 모바일 장치(mobile device), 셋탑박스(set-top box, STB), 블루레이(Blu-ray) 또는 DVD(digital versatile disc)와 같은 광디스크 재생장치, 테스크탑(desktop) 또는 랩탑(laptop)을 포함하는 컴퓨터(PC) 등을 포함한다. 전자장치(100)는 외부장치(120)로부터 유선 또는 무선 네트워크 통신에 의해 실시간 스트리밍에 따른 파일 형태로 제공되는 컨텐트를 제공받을 수 있으며, 이 때 통신의 종류는 한정되지 않는다.
도 1에서 도시된 바와 같이, 본 발명에서 전자장치(100)는 오디오컨텐트를 재생하는 경우, 오디오컨텐트와 관련된 비주얼컨텐트를 함께 제공할 수 있다. 이 때, 제공되는 비주얼컨텐트는 도 1에 도시된 바와 같이 비주얼 효과나 동영상 등이 될 수 있으며, 이 외에도 이미지, 가사 등 다양하게 제공될 수 있다. 비주얼컨텐트를 획득하는 방법에 대해서는 후술한다.
본 발명의 일 실시예에 따르면, 외부장치(120)에서 전자장치(100)로 오디오컨텐트를 전송하여 이를 재생하는 경우, 단순히 오디오컨텐트만 재생하는 경우(전자장치(110))와 비교하여, 사용자에게 오디오컨텐트 감상을 풍부하게 해줄 수 있다.
도 2는 본 발명의 일 실시예에 의한 전자장치의 구성을 도시한 블록도이다.
도 2에 도시된 바와 같이, 전자장치(100)는 인터페이스부(210)를 포함할 수 있다. 인터페이스부(210)는 유선 인터페이스부(211)를 포함할 수 있다. 유선 인터페이스부(211)는 지상파/위성방송 등 방송규격에 따른 방송신호를 수신할 수 있는 안테나가 연결되거나, 케이블 방송 규격에 따른 방송신호를 수신할 수 있는 케이블이 연결될 수 있는 커넥터 또는 포트를 포함한다. 다른 예로서, 전자장치(100)는 방송신호를 수신할 수 있는 안테나를 내장할 수도 있다. 유선 인터페이스부(211)는 HDMI 포트, DisplayPort, DVI 포트, 썬더볼트, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCART 등과 같이, 비디오 및/또는 오디오 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 USB 포트 등과 같은 범용 데이터 전송규격에 따른 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 광 전송규격에 따라 광게이블이 연결될 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 외부 마이크 또는 마이크를 구비한 외부 오디오기기가 연결되며, 오디오기기로부터 오디오 신호를 수신 또는 입력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 헤드셋, 이어폰, 외부 스피커 등과 같은 오디오기기가 연결되며, 오디오기기로 오디오 신호를 전송 또는 출력할 수 있는 커넥터 또는 포트 등을 포함할 수 있다. 유선 인터페이스부(211)는 이더넷 등과 같은 네트워크 전송규격에 따른 커넥터 또는 포트를 포함할 수 있다. 예컨대, 유선 인터페이스부(211)는 라우터 또는 게이트웨이에 유선 접속된 랜카드 등으로 구현될 수 있다.
유선 인터페이스부(211)는 상기 커넥터 또는 포트를 통해 셋탑박스, 광학미디어 재생장치와 같은 외부기기, 또는 외부 디스플레이장치나, 스피커, 서버 등과 1:1 또는 1:N(N은 자연수) 방식으로 유선 접속됨으로써, 해당 외부기기로부터 비디오/오디오 신호를 수신하거나 또는 해당 외부기기에 비디오/오디오 신호를 송신한다. 유선 인터페이스부(211)는, 비디오/오디오 신호를 각각 별개로 전송하는 커넥터 또는 포트를 포함할 수도 있다.
그리고, 본 실시예에 따르면 유선 인터페이스부(211)는 전자장치(100)에 내장되나, 동글(dongle) 또는 모듈(module) 형태로 구현되어 전자장치(100)의 커넥터에 착탈될 수도 있다.
인터페이스부(210)는 무선 인터페이스부(212)를 포함할 수 있다. 무선 인터페이스부(212)는 전자장치(100)의 구현 형태에 대응하여 다양한 방식으로 구현될 수 있다. 예를 들면, 무선 인터페이스부(212)는 통신방식으로 RF(radio frequency), 지그비(Zigbee), 블루투스(bluetooth), 와이파이(Wi-Fi), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등 무선통신을 사용할 수 있다. 무선 인터페이스부(212)는 와이파이(Wi-Fi) 방식에 따라서 AP와 무선통신을 수행하는 무선통신모듈이나, 블루투스 등과 같은 1대 1 다이렉트 무선통신을 수행하는 무선통신모듈 등으로 구현될 수 있다. 무선 인터페이스부(212)는 네트워크 상의 서버와 무선 통신함으로써, 서버와의 사이에 데이터 패킷을 송수신할 수 있다. 무선 인터페이스부(212)는 적외선 통신규격에 따라 IR(Infrared) 신호를 송신 및/또는 수신할 수 있는 IR송신부 및/또는 IR수신부를 포함할 수 있다. 무선 인터페이스부(212)는 IR송신부 및/또는 IR수신부를 통해 리모컨 또는 다른 외부기기로부터 리모컨신호를 수신 또는 입력하거나, 다른 외부기기로 리모컨신호를 전송 또는 출력할 수 있다. 다른 예로서, 전자장치(100)는 와이파이(Wi-Fi), 블루투스(bluetooth) 등 다른 방식의 무선 인터페이스부(212)를 통해 리모컨 또는 다른 외부기기와 리모컨신호를 송수신할 수 있다.
전자장치(100)는 인터페이스부(210)를 통해 수신하는 비디오/오디오신호가 방송신호인 경우, 수신된 방송신호를 채널 별로 튜닝하는 튜너(tuner)를 더 포함할 수 있다.
전자장치(100)는 디스플레이부(220)를 포함할 수 있다. 디스플레이부(220)는 화면 상에 영상을 표시할 수 있는 디스플레이 패널을 포함한다. 디스플레이 패널은 액정 방식과 같은 수광 구조 또는 OLED 방식과 같은 자발광 구조로 마련된다. 디스플레이부(220)는 디스플레이 패널의 구조에 따라서 부가적인 구성을 추가로 포함할 수 있는데, 예를 들면 디스플레이 패널이 액정 방식이라면, 디스플레이부(220)는 액정 디스플레이 패널과, 광을 공급하는 백라이트유닛과, 액정 디스플레이 패널의 액정을 구동시키는 패널구동기판을 포함한다.
전자장치(100)는 사용자입력부(230)를 포함할 수 있다. 사용자입력부(230)는 사용자의 입력을 수행하기 위해 마련된 다양한 종류의 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(230)는 전자장치(100)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예컨대, 전자장치(100)의 기계적 또는 전자적 버튼부, 전자장치(100)와 분리된 리모트 컨트롤러, 전자장치(100)와 연결된 외부기기에서의 입력부, 터치패드, 디스플레이부(220)에 설치된 터치스크린 등이 있다.
전자장치(100)는 저장부(240)를 포함할 수 있다. 저장부(240)는 디지털화된 데이터를 저장한다. 저장부(240)는 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성의 스토리지(storage)와, 프로세서(270)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성의 메모리(memory)를 포함한다. 스토리지에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있으며, 메모리에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있다.
전자장치(100)는 마이크로폰(250)을 포함할 수 있다. 마이크로폰(250)은 사용자 음성을 비롯한 외부 환경의 소리를 수집한다. 마이크로폰(250)은 수집된 소리의 신호를 프로세서(270)에 전달한다. 전자장치(100)는 사용자 음성을 수집하는 마이크로폰(250)을 구비하거나, 또는 인터페이스부(210)를 통해 마이크로폰을 가진 리모트 컨트롤러, 스마트폰 등의 외부장치로부터 음성신호를 수신할 수 있다. 외부장치에 리모트 컨트롤러 어플리케이션을 설치하여 전자장치(100)를 제어하거나 음성 인식 등의 기능을 수행할 수도 있다. 이와 같은 어플리케이션이 설치된 외부장치의 경우, 사용자 음성을 수신할 수 있으며, 외부장치는 전자장치(100)와 Wi-Fi/BT 또는 적외선 등을 이용하여 데이터 송수신 및 제어가 가능한 바, 상기 통신 방식을 구현할 수 있는 복수의 인터페이스부(210)가 전자장치(100) 내에 존재할 수 있다.
전자장치(100)는 스피커(260)를 포함할 수 있다. 스피커(260)는 프로세서(270)에 의해 처리되는 오디오 데이터를 소리로 출력한다. 스피커(260)는 어느 한 오디오 채널의 오디오 데이터에 대응하게 마련된 단위 스피커를 포함하며, 복수 오디오 채널의 오디오 데이터에 각기 대응하도록 복수의 단위 스피커를 포함할 수 있다. 다른 실시예로서, 스피커(260)는 전자장치(100)와 분리되어 마련될 수 있으며, 이 경우 전자장치(100)는 오디오 데이터를 인터페이스부(210)를 통하여 스피커(260)로 전달할 수 있다.
전자장치(100)는 프로세서(270)를 포함할 수 있다. 프로세서(270)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 프로세서(270)는 전자장치(100)가 디스플레이장치로 구현되는 경우에 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(270)는 마이크로폰(250) 등에 의해 사용자 음성에 대한 음성신호를 획득하면, 음성신호를 음성데이터로 변환할 수 있다. 이 때, 음성데이터는 음성신호를 텍스트 데이터로 변환하는 STT(Speech-to-Text) 처리 과정을 통해 얻어진 텍스트 데이터일 수 있다. 프로세서(270)는 음성데이터가 나타내는 커맨드를 식별하고, 식별된 커맨드에 따라서 동작을 수행한다. 음성데이터 처리 과정과, 커맨드 식별 및 수행 과정은, 전자장치(100)에서 모두 실행될 수도 있다. 그러나, 이 경우에 전자장치(100)에 필요한 시스템 부하 및 소요 저장용량이 상대적으로 커지게 되므로, 적어도 일부의 과정은 네트워크를 통해 전자장치(100)와 통신 가능하게 접속되는 적어도 하나의 서버에 의해 수행될 수 있다.
본 발명에 따른 프로세서(270)는 전자장치(100)와 같은 기기(Machine)가 읽을 수 있는 저장 매체(Storage Medium)에 저장된 소프트웨어의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 전자장치(100)와 같은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(Non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(예컨대, 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
한편, 프로세서(270)는 인터페이스부(210)을 통해 외부장치로부터 수신한 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 프로세서(270)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 저장부(240) 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 저장부(240) 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
일 예로, 본 발명에 따른 전자장치(100)의 제어방법은 컴퓨터 프로그램 제품 (Computer Program Product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은, 앞서 설명한, 프로세서(270)에 의해 실행되는 소프트웨어의 명령어들을 포함할 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예컨대, CD-ROM)의 형태로 배포되거나, 또는 어플리케이션 스토어(예컨대, 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예컨대, 스마트폰들) 간에 직접, 온라인으로 배포(예컨대, 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 전자장치(100)는 인터페이스부(210)를 통해 외부장치(120)로부터 오디오컨텐트를 수신한다(S310). 외부장치(120)는 전자장치(100)와 인터페이스부(210)를 통해 연결되고, 상술한 바와 같이, 인터페이스부(210)는 커넥터 또는 포트 등 유선 인터페이스부(211)와 무선통신 등 무선 인터페이스부(212)를 모두 포함한다. 또한, 외부장치(120)의 오디오를 그대로 전자장치(100)에 출력하는 미러링도 포함한다. 이 때, 외부장치(120)로부터 수신한 오디오컨텐트는 전자장치(100)뿐만 아니라, 전자장치(100)와 연결된 다른 외부기기, 예컨대, 블루투스 스피커, 사운드바 등으로 출력할 수 있으며, 어느 하나에 한정된 것은 아니다.
프로세서(270)는 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득한다(S320). 오디오컨텐트의 특성이란, 오디오컨텐트의 음원정보, 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보 등이 있다. 그 외에도 전자장치의 상태 정보, 사용자의 선호, 사용이력 등 사용자정보, 전자장치의 주변 환경, 장소, 시간 또는 날씨 등 다양한 정보에 기초하여 비주얼컨텐트를 획득할 수 있으며, 어느 하나에 한정된 것은 아니다. 프로세서(270)는 오디오컨텐트의 상술한 정보들에 기초하여 오디오컨텐트와 관련된 비주얼컨텐트를 저장부(240)나 서버, 사용자입력 등을 통해 획득할 수 있다.
프로세서(270)는 오디오컨텐트를 재생하고, 오디오컨텐트의 재생에 따라 획득된 비주얼컨텐트의 영상을 디스플레이부(220)에 표시한다(S330). 디스플레이부(220)는 전자장치(100)로부터 수신되거나, 자체적으로 수신 또는 저장한 비주얼컨텐트에 기초한 영상을 표시한다. 프로세서(270)는 영상이 표시되는 디스플레이부(220)를 구동한다. 일 실시예에서 프로세서(270)는 디스플레이부(220)를 구동하기 위해, 영상데이터를 처리하고 타이밍 제어신호를 생성하는 타이밍 컨트롤러(timing controller)가 마련되는 티콘(T-con) 보드 즉, 구동보드로 구현될 수 있다. 프로세서(270)는 컨텐트의 신호에 대해 기 설정된 다양한 영상/음성 처리를 수행한다. 프로세서(270)는 이러한 프로세스를 수행하여 생성 또는 결합한 영상신호를 디스플레이부(220)로 출력함으로써, 디스플레이부(220)에 영상신호에 대응하는 영상이 표시되게 한다. 프로세서(270)가 처리하는 영상신호는 전자장치(100)로부터 제공받은 데이터나, 혹은 플래시메모리, 하드디스크 등과 같은 비휘발성의 내부 저장부(240)에 저장된 데이터로부터 기인한 것일 수 있다. 또한, 프로세서(270)가 처리하는 영상신호는, 전자장치(100)가 외부의 영상소스로부터 수신한 비주얼컨텐트에 대응할 수 있다. 프로세서(270)는 영상신호를 전자장치(100)의 영상 포맷에 대응하도록 디코드하는 비디오 디코더(decoder)와, 영상신호를 디스플레이(120)의 출력규격에 맞도록 조절하는 스케일러(scaler)를 포함한다. 본 발명 실시예에 따른 비디오 디코더는 MPEG(Moving Picture Experts Group) 디코더 또는 HEVC(High Efficiency Video Codec) 디코더 등 다양한 압축 표준에 따른 디코더로서 구현 가능하다. 또한, 본 발명에서 프로세서(270)가 처리하는 비주얼컨텐트의 종류는 한정되지 않는다. 예를 들어, 프로세서(270)가 처리하는 비주얼컨텐트는 비디오와 같은 동영상뿐 아니라, JPEG 파일과 같은 사진, 배경화면 등의 정지화상, GUI(graphic user interface) 등을 더 포함할 수 있다. 프로세서(270)가 수행하는 프로세스의 종류는 한정되지 않는바, 프로세서(270)는 예를 들면 인터레이스(interlace) 방식의 방송신호를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환, 라인 스캐닝(line scanning)과 같은 다양한 프로세스 중 적어도 하나를 더 수행할 수 있다. 이 때 전자장치(100)가 디스플레이를 구비한 경우만이 아니라, 전자장치(100)와 연결된 다른 디스플레이를 구비한 외부기기 등을 통해 비주얼컨텐트의 영상을 표시할 수도 있다.
본 발명은 오디오컨텐트 재생 시, 그와 연관되거나 사용자 선호도에 기초한 비주얼컨텐트를 함께 제공하여, 서비스 이용을 더욱 풍부하게 하는 것이므로 오디오컨텐트 재생에 따라 비주얼컨텐트의 영상을 디스플레이에 표시한다. 따라서, 오디오컨텐트를 이용하려는 사용자에게 비주얼컨텐트를 함께 제공함으로써 사용자의 이용만족도를 높일 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 실시예에서는, 도 3에서 설명한 오디오컨텐트의 특성 및 그 외 정보에 대하여 자세하게 설명한다. 도 4에서는 비주얼컨텐트(410)를 획득하는 다양한 방법에 대해서 도시하고 있다. 외부장치(120)로부터 오디오컨텐트(420)를 수신하면, 프로세서(270)는 디코더를 이용하여 PCM 데이터를 획득할 수 있다. PCM 데이터란, 수신한 오디오컨텐트를 디코딩하여 얻는 RAW 데이터로서, 디코딩된 PCM 데이터를 통해 오디오데이터의 주파수정보(430)를 알 수 있다. 보다 상세하게는, 프로세서(270)는 PCM 데이터를 프레임 단위로 디지털 신호 처리의 일종인 FFT(fast Fourier Transform) 과정을 거쳐서 스펙트럼 데이터(Spectrum Data)를 추출할 수 있다. 프로세서(270)는 추출한 스펙트럼 데이터로부터 오디오컨텐트(420)의 주파수 정보(430)를 이용하여 오디오컨텐트(420)의 비트, 템포 나아가 감성(emotion)을 습득할 수 있다.
또한 프로세서(270)는 오디오컨텐트(420)에 대한 음원정보(440), 예컨대, 장르, 가수 이름, 타이틀, 앨범 등과 같은 정보는 오디오컨텐트(420)의 신호와 함께 메타데이터 또는 부가데이터의 형태로 존재하는 바, 디멀티플렉싱에 의해 오디오컨텐트 신호로부터 추출할 수 있다. 예컨대, 오디오컨텐트가 MP3 파일 형태인 경우 ID3 Tag를 통해 획득할 수 있다. ID3 Tag란 MP3 파일에 상기 정보를 추가하기 위해서 표준으로 사용되고 있는 형식을 의미한다. 다만, ID3 Tag 정보 외 추가 정보가 필요한 경우, 프로세서(270)는 서버(450)를 통해 추가 정보를 요청할 수 있다.
프로세서(270)는 그 외에도 장치상태정보(460), 주변환경(470), 사용자정보(480) 등에 기초하여 비주얼컨텐트(410)를 획득할 수 있다. 장치상태정보(460)는, 예컨대, 전자장치가 TV인 경우, 현재 TV의 소리 크기, 소리 출력 모드, 장치 연결 상태, 연결된 장치 유형 등이 존재한다. 주변환경(470)의 경우, 예컨대, 시간, 날씨, 크리스마스 등 시즌, 소음 등이 존재한다. 프로세서(270)는 주변환경(470)에 대한 정보를 센서를 통해 감지하거나 서버를 통해 획득하는 등 다양하게 획득할 수 있다. 사용자정보(480)의 경우 사용자의 계정을 통한 사용자 연령대, 성별, 현재 상태나 사용자입력, 사용자의 선호, 사용이력 등을 포함한다. 프로세서(270)는 전자장치(100)에 입력되거나 서버를 통해 획득한 사용자의 정보에 기초하여 비주얼컨텐트를 획득할 수 있다. 결과적으로, 프로세서(270)는 외부장치(120)로부터 전송 받은 오디오컨텐트(420)의 오디오신호는 스피커(490)를 통해 출력하고, 획득된 비주얼컨텐트(410)의 영상은 디스플레이부(500)에 표시할 수 있다.
본 발명의 일 실시예에 따른 비주얼컨텐트를 획득하는 것은 상술한 특정 정보에 기초하여 결정될 수 있으나, 이에 한정되는 것은 아니고, 여러 가지 정보를 종합적으로 고려하여 결정될 수도 있다. 따라서, 본 발명은 오디오컨텐트가 제공되는 경우, 이와 함께 제공되는 비주얼컨텐트를 다양한 정보에 기초하여 획득할 수 있으므로, 사용자 만족도를 높일 수 있다. 또한, 사용자의 설정을 과도하게 요구하지 않으므로, 편리하게 비주얼컨텐트 제공 기능을 이용할 수 있다.
도 5는 본 발명의 일 실시예에 따른 전자장치의 상태정보에 따른 동작 모습을 도시한 도면이다. 본 발명의 일 실시예에서는 전자장치의 상태정보, 특히 스피커의 배치 상태에 기초하여 비주얼컨텐트를 획득하는 것을 도시한다. 도 5에서는 도시된 바와 같이, 전자장치(100)는 복수의 스피커, 예컨대, 전자장치(100)의 전면에는 사운드바(510), 양 옆에는 스피커(520, 530)가 존재한다. 이 때, 도 5에서 오디오컨텐트를 재생한 오디오신호가 사운드바(510)에서만 출력된다고 가정해본다. 프로세서(270)는 전자장치(100)의 상태정보를 통해 세 개의 스피커(510, 520, 530)와 모두 연결되어 있으나, 현재 오디오컨텐트를 재생한 오디오신호가 사운드바(510)에서만 출력되고 있다는 것을 파악할 수 있다. 따라서, 프로세서(270)는 오디오신호가 출력되고 있는 스피커의 방향으로 비주얼효과를 나타내는 비주얼컨텐트를 획득할 수 있고, 획득한 비주얼컨텐트의 영상을 디스플레이부(220)에 표시할 수 있다. 사용자는 표시된 비주얼컨텐트의 영상을 통해 오디오컨텐트를 재생하는 경우 입체적효과를 느낄 수 있다. 다만, 본 발명의 일 실시예는 하나의 예시에 불과하며, 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 프로세서(270)는 전자장치의 주변 환경, 장소, 시간, 날씨 등의 정보를 식별할 수 있다(S610). 전자장치(100)는 정보를 감지하기 위해 센서를 따로 구비할 수 있고, 프로세서(270)는 센서를 통해 주변환경을 감지하거나, 서버나 전자장치(100)와 연결된 외부장치들을 통해 주변 환경에 대한 정보를 식별할 수 있다. 예컨대, 프로세서(270)는 센서를 통해 장소의 조명상태가 밝은지, 어두운지 식별하거나, 서버 등을 통해 오늘의 날씨가 맑은지 비가 오는지 식별할 수 있다. 프로세서(270)는 식별한 정보에 기초하여 오디오컨텐트에 적절한 비주얼효과나 영상, 이미지 등을 포함하는 비주얼컨텐트를 획득할 수 있다(S620). 예컨대, 프로세서(270)가 현재 시즌이 크리스마스 시즌이고, 재생되는 오디오컨텐트의 장르가 캐롤이라고 식별하면, 크리스마스와 관련된 비주얼컨텐트를 획득할 수 있다. 그리고 프로세서(270)는 오디오컨텐트의 재생에 따라 획득된 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S630).
본 발명의 일 실시예에 따르면, 사용자는 특별한 설정 없이도 오디오컨텐트를 재생함으로써 그와 관련된 비주얼컨텐트를 함께 감상할 수 있으므로, 사용자 편의가 증가된다.
도 7은 본 발명의 일 실시예에 따른 전자장치에 제공되는 GUI(Graphic User Interface)를 도시한 도면이다. 본 발명의 일 실시예에 따르면, 프로세서(270)는 제공 가능한 비주얼컨텐트의 정보를 포함하는 GUI를 디스플레이부에 표시하고, 표시된 GUI를 이용한 사용자입력을 수신할 수 있다. 예컨대, 도 7에 도시된 바와 같이 디스플레이에 세 개의 서로 다른 영상의 축소된 아이콘(710), 추가영상 아이콘(720), 및 "음원에 어울리는 영상을 선택해 주세요."라는 문구가 표시되어 있다. 사용자는 현재 재생되고 있는 오디오컨텐트에 어울린다고 생각하는 아이콘을 선택할 수 있고, 만약 마음에 드는 영상이 없거나 새로운 영상을 선택하고 싶으면 추가영상 아이콘(720)을 선택할 수 있다. 사용자의 추가영상 아이콘(720)을 선택하는 입력을 수신하면, 프로세서(270)는 새로운 영상을 추가로 표시하거나, 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 디스플레이에 표시할 수 있다. 이 경우, GUI를 이용한 사용자입력을 수신할 수 있다. 프로세서(270)는, 비주얼컨텐트의 정보를 사용자에게 제공하고, 사용자는 이를 선택함으로써, 사용자의 선호 또는 사용이력에 대한 정보를 습득할 수 있다. 프로세서(270)는 습득한 정보에 기초하여 비주얼컨텐트를 획득할 수 있다. 본 발명의 일 실시예에 따르면, 프로세서(260)가 사용자의 선호도를 인지하여, 축적되는 정보가 많아질수록 사용자가 선호하는 영상을 제공할 수 있어 궁극적으로 오디오컨텐트와 관련되면서 사용자가 원하는 비주얼컨텐트를 제공할 수 있다.
도 8은 본 발명의 일 실시예에 따른 사용자입력에 따른 전자장치의 동작 모습을 도시한 도면이다. 프로세서(270)는, 사용자입력에 기초하여 비주얼컨텐트를 획득할 수 있다. 도 8에 도시된 바와 같이, 사용자는 외부기기를 이용하여, 오디오컨텐트가 재생될 때 표시되는 비주얼컨텐트를 직접 입력할 수 있다. 이 때, 비주얼컨텐트는 그림이 될 수도 있으며, 사용자입력에 따른 인터페이스부를 통해 외부기기로부터 전송받은 사진이나 영상 등이 될 수 있으며 어느 하나에 한정되는 것은 아니다. 그리고, 오디오컨텐트는 사용자가 비주얼컨텐트를 입력하는 외부기기로부터 전송된 것일 수도 있고, 또 다른 외부기기로부터 전송될 수 있으며 어느 하나에 한정되는 것은 아니다. 또한, 전자장치(100)의 사용자입력부를 이용하여 비주얼컨텐트가 표시되는 전자장치(100)에 직접 입력할 수 있다. 프로세서(270)는 사용자입력을 수신하여 그대로 디스플레이에 표시할 수 있고, 도 8과 같이 사용자입력을 일부 변형하여 표시할 수도 있다. 본 발명의 일 실시예에 따르면, 사용자는 자신이 원하는 비주얼컨텐트를 직접 그리거나, 사용자가 원하는 그림, 영상 등을 전송하는 사용자입력을 통해 비주얼컨텐트를 획득할 수 있으므로 사용자 선호도를 충족시킬 수 있다.
도 9는 본 발명의 일 실시예에 따른 전자장치의 동작 흐름도를 도시한 도면이다. 본 발명의 일 실시예에 따르면 프로세서(270)는, 오디오컨텐트의 재생 요청을 수신할 수 있다(S910). 그리고 요청 수신에 기초하여 디스플레이에 제2영상이 표시 중인지 여부를 식별할 수 있다(S920). 여기서 제2영상이란, 비주얼컨텐트와는 다른 컨텐트의 영상을 의미할 수 있다. 이 때, 비주얼컨텐트는 프로세서(270)가 상술한 다양한 정보에 의해 획득한 비주얼컨텐트일 수 있다. 만약, 프로세서(270)가 제2영상이 표시되고 있는 것으로 식별하면(S920의 Yes), 프로세서(270)는 비주얼컨텐트의 영상을 표시하지 않고, 제2영상 표시를 유지할 수 있다(S930). 만약, 프로세서(270)는 제2영상이 표시되고 있지 않은 것으로 식별하면(S920의 No), 비주얼컨텐트의 표시를 요청하는 사용자 입력을 수신하면 (S940의 Yes), 프로세서(270)는 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S950). 다만, 프로세서(270)는 사용자입력을 수신하지 않더라도 곧바로 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 디스플레이에 표시할 수 있다(S950).
제2영상 표시를 유지하고 있는 중, 비주얼컨텐트의 표시를 요청하는 사용자입력을 수신하게 되면(S940의 Yes), 프로세서(270)는 사용자입력에 따라 제2영상의 표시를 중지하고, 비주얼컨텐트의 영상을 표시할 수 있다(S950).
본 발명의 일 실시예에 따르면, 오디오컨텐트가 재생하려고 할 때, 디스플레이에 이미 다른 영상이 표시되어 있는 경우, 다른 영상의 표시를 유지하지만 사용자입력에 기초하여 표시되고 있는 영상을 바꿀 수 있어 사용자 편의성을 높여준다.
100: 전자장치
210: 인터페이스부
220: 디스플레이부
230: 사용자입력부
240: 저장부
250: 마이크로폰
260: 스피커
270: 프로세서

Claims (20)

  1. 전자장치에 있어서,
    적어도 하나의 인터페이스부(interface circuitry);
    디스플레이부; 및
    상기 인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하고,
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하고,
    상기 오디오컨텐트를 재생하고,
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는
    프로세서를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 프로세서는, 상기 오디오컨텐트의 음원정보에 기초하여 상기 오디오컨텐트의 특성을 식별하는 전자장치.
  3. 제1항에 있어서,
    상기 프로세서는, 상기 오디오컨텐트로부터 디코딩된 오디오데이터의 주파수정보에 기초하여 상기 오디오컨텐트의 특성을 식별하는 전자장치.
  4. 제1항에 있어서,
    상기 프로세서는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  5. 제4항에 있어서,
    상기 프로세서는,
    상기 오디오컨텐트를 재생한 오디오신호를 복수의 스피커를 통해 출력하고,
    상기 복수의 스피커의 배치 상태에 기초하여 상기 전자장치의 상태 정보를 획득하는 전자장치.
  6. 제1항에 있어서,
    상기 프로세서는, 상기 전자장치의 주변 환경, 장소, 시간 또는 날씨 중 적어도 하나에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  7. 제1항에 있어서,
    상기 프로세서는, 사용자입력에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하고
    상기 GUI를 이용한 상기 사용자입력을 수신하는 전자장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하고
    상기 GUI를 이용한 상기 사용자입력을 수신하는 전자장치.
  10. 제1항에 있어서,
    상기 프로세서는, 사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득하는 전자장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    상기 오디오컨텐트의 재생 요청을 수신하고,
    상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하고,
    상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하고,
    상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 전자장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시하는 전자장치.
  13. 전자장치의 제어방법에 있어서,
    인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계;
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계;
    상기 오디오컨텐트를 재생하는 단계; 및
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함하는 전자장치의 제어방법.
  14. 제13항에 있어서,
    상기 비주얼컨텐트를 획득하는 단계는, 상기 전자장치의 상태 정보에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함하는 전자장치의 제어방법.
  15. 제13항에 있어서,
    상기 비주얼컨텐트를 획득하는 단계는,
    제공 가능한 상기 비주얼컨텐트의 정보를 포함하는 GUI를 상기 디스플레이부에 표시하는 단계;
    상기 GUI를 이용한 사용자입력을 수신하는 단계; 및
    상기 수신한 사용자입력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함하는 전자장치의 제어방법.
  16. 제15항에 있어서,
    상기 비주얼컨텐트를 생성 또는 편집할 수 있는 GUI를 상기 디스플레이부에 표시하는 단계; 및
    상기 GUI를 이용한 상기 사용자입력을 수신하는 단계를 더 포함하는 전자장치의 제어방법.
  17. 제13항에 있어서,
    상기 비주얼컨텐트를 획득하는 단계는,
    사용자의 선호 또는 사용이력에 기초하여 상기 비주얼컨텐트를 획득하는 단계를 포함하는 전자장치의 제어방법.
  18. 제13항에 있어서,
    상기 오디오컨텐트의 재생 요청을 수신하는 단계;
    상기 요청 수신에 기초하여 상기 디스플레이부에 제2영상이 표시 중인지 여부를 식별하는 단계;
    상기 제2영상이 표시되고 있지 않은 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 상기 디스플레이부에 표시하는 단계;
    상기 제2영상이 표시되고 있는 것으로 식별되면, 상기 획득된 비주얼컨텐트의 영상을 표시하지 않는 단계를 포함하는 전자장치의 제어방법.
  19. 제18항에 있어서,
    상기 제2영상이 표시되고 있는 것으로 식별되면, 사용자입력에 따라 상기 제2영상의 표시를 중지하고, 상기 획득된 비주얼컨텐트의 영상을 표시하는 단계를 더 포함하는 전자장치의 제어방법.
  20. 컴퓨터가 읽을 수 있는 코드로서, 전자장치의 제어방법을 수행하는 코드를 포함하는 컴퓨터 프로그램이 저장된 기록매체에 있어서, 상기 전자장치의 제어방법은,
    인터페이스부를 통해 외부장치로부터 오디오컨텐트를 수신하는 단계;
    상기 수신된 오디오컨텐트의 특성에 기초하여 비주얼컨텐트를 획득하는 단계;
    상기 오디오컨텐트를 재생하는 단계; 및
    상기 오디오컨텐트의 재생에 따라 상기 획득된 비주얼컨텐트의 영상을 디스플레이부에 표시하는 단계를 포함하는 것을 특징으로 하는 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록매체.
KR1020190163991A 2019-12-10 2019-12-10 전자장치 및 그 제어방법 KR20210073305A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190163991A KR20210073305A (ko) 2019-12-10 2019-12-10 전자장치 및 그 제어방법
PCT/KR2020/013764 WO2021118032A1 (ko) 2019-12-10 2020-10-08 전자장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190163991A KR20210073305A (ko) 2019-12-10 2019-12-10 전자장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20210073305A true KR20210073305A (ko) 2021-06-18

Family

ID=76330488

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190163991A KR20210073305A (ko) 2019-12-10 2019-12-10 전자장치 및 그 제어방법

Country Status (2)

Country Link
KR (1) KR20210073305A (ko)
WO (1) WO2021118032A1 (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9716737B2 (en) * 2013-05-08 2017-07-25 Qualcomm Incorporated Video streaming in a wireless communication system
KR102235687B1 (ko) * 2013-12-30 2021-04-05 삼성전자주식회사 컨텐트를 제공하는 디스플레이 장치를 제어하는 방법 및 그 디스플레이 장치
KR20160129566A (ko) * 2015-04-30 2016-11-09 주식회사 리트빅 헤드 유닛 제어장치
KR101790429B1 (ko) * 2016-02-15 2017-10-26 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20190055946A (ko) * 2017-11-16 2019-05-24 삼성전자주식회사 Av 출력 분석장치, 방법 및 컴퓨터 판독 가능 기록 매체

Also Published As

Publication number Publication date
WO2021118032A1 (ko) 2021-06-17

Similar Documents

Publication Publication Date Title
US10966044B2 (en) System and method for playing media
US10586536B2 (en) Display device and operating method therefor
KR102545837B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
CN103188541B (zh) 电子设备和控制电子设备的方法
JP7214845B2 (ja) ディスプレイ装置及びその制御方法
KR20200006905A (ko) 방송 환경들에서의 스피치 인식 애플리케이션들에 대한 스피치 강화
US20140019141A1 (en) Method for providing contents information and broadcast receiving apparatus
EP3839874A1 (en) Image compression apparatus and method
US8737809B2 (en) Content playing apparatus and control method thereof
CN113039807B (zh) 图像和音频处理装置及其操作方法
KR20150004051A (ko) 리모트 컨트롤러 및 멀티미디어 디바이스의 제어 방법
KR20210078682A (ko) 전자장치 및 그 제어방법
KR20210073305A (ko) 전자장치 및 그 제어방법
US11688397B2 (en) Electronic apparatus and method of controlling the same
KR102524180B1 (ko) 디스플레이장치 및 그 제어방법
KR20210107480A (ko) 전자장치 및 그 제어방법
JP2020061046A (ja) 音声操作装置、音声操作方法、コンピュータプログラムおよび音声操作システム
US11457106B2 (en) Electronic apparatus and control method thereof
US20210193144A1 (en) Electronic apparatus and control method thereof
US20220101853A1 (en) Electronic apparatus and method of controlling the same
KR102444257B1 (ko) 전자장치 및 그 제어방법
KR20230099841A (ko) 전자장치 및 그 제어방법
JP2023086256A (ja) ソース機器、シンク機器、およびプログラム
KR20230111006A (ko) 디스플레이 장치의 동작 방법 및 이를 위한 장치
KR20220041413A (ko) 전자장치 및 그 제어방법