KR20230032492A - 전자장치 및 그 제어방법 - Google Patents

전자장치 및 그 제어방법 Download PDF

Info

Publication number
KR20230032492A
KR20230032492A KR1020210115396A KR20210115396A KR20230032492A KR 20230032492 A KR20230032492 A KR 20230032492A KR 1020210115396 A KR1020210115396 A KR 1020210115396A KR 20210115396 A KR20210115396 A KR 20210115396A KR 20230032492 A KR20230032492 A KR 20230032492A
Authority
KR
South Korea
Prior art keywords
content
image
resource usage
electronic device
resource
Prior art date
Application number
KR1020210115396A
Other languages
English (en)
Inventor
배성중
한금연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020210115396A priority Critical patent/KR20230032492A/ko
Publication of KR20230032492A publication Critical patent/KR20230032492A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

전자장치는, 복수의 특성 중 어느 하나의 특성을 가지는 컨텐트의 영상을 디스플레이에 표시하기 위하여 컨텐트의 특성에 대응하는 영상처리를 수행하도록 영상처리부를 제어하고; 영상처리부의 전체 자원 가용량에 대비하여 복수의 특성 별로 미리 정의된 영상처리부의 영상처리에 관한 자원 사용량에 기초하여, 컨텐트의 특성에 대응하는 자원 사용량을 식별하고; 컨텐트의 영상을 표시하는 중에 식별된 자원 사용량을 나타내는 정보를 제공하도록 디스플레이를 제어한다.

Description

전자장치 및 그 제어방법 {ELECTRONIC APPARATUS AND CONTROL METHOD THEREOF}
본 발명은 컨텐트를 재생하여 해당 컨텐트의 영상을 표시하는 전자장치 및 그 제어방법에 관한 것으로서, 상세하게는 컨텐트의 재생 시 소요되는 자원을 관리할 수 있는 전자장치 및 그 제어방법에 관한 것이다.
소정의 정보를 특정 프로세스에 따라서 연산 및 처리하기 위해, 연산을 위한 CPU, 칩셋, 메모리 등의 전자부품들을 기본적으로 포함하는 전자장치는, 처리 대상이 되는 정보 또는 사용 용도가 무엇인지에 따라서 다양한 종류로 구분될 수 있다. 예를 들면, 전자장치에는 범용의 정보를 처리하는 PC(personal computer)나 서버 등의 정보처리장치, 영상데이터를 처리하는 영상처리장치, 오디오를 처리하는 오디오장치, 가정 내 잡무를 수행하는 생활가전 등이 있다. 영상처리장치는 처리된 영상데이터를 자체 구비한 디스플레이 패널(display panel) 상에 영상으로 표시하는 디스플레이장치로 구현될 수 있다. 특히, 디스플레이장치 중에는 휴대가 가능하도록 소형화된 모바일기기가 있으며, 그 예시로는 스마트폰 또는 태블릿 등이 있다.
디스플레이장치는 소정의 컨텐트, 예를 들면 영상컨텐트를 재생하여 영상을 표시함에 있어서, 디코더, 스케일러, GPU(graphic processing unit) 등의 하드웨어 자원(hardware resource)를 사용한다. 여기서, 일 컨텐트의 재생 시 사용되는 자원의 양은 해당 컨텐트의 사양 또는 특성에 따라서 달라지는데, 예를 들어 화질이 낮은 컨텐트의 재생에 사용되는 자원의 양은 적으며, 화질이 높은 컨텐트의 재생에 사용되는 자원의 양은 많다. 또한, 디스플레이장치는 멀티뷰(multi-view) 기능을 지원할 수 있는데, 멀티뷰 기능에 따라서 복수의 컨텐트 각각의 영상을 한 화면에 표시할 수 있다.
디스플레이장치에 마련된 자원의 총량은 한계가 있으므로, 특히 멀티뷰 기능을 사용할 경우에 자원의 총량에 따라서 여러 컨텐트의 재생에 문제가 발생할 수 있다. 예를 들어, 8K 해상도 및 AV1 코덱의 컨텐트와 같이 디스플레이장치의 자원의 대부분을 사용하는 컨텐트를 재생하고 있는 동안에는, 디스플레이장치의 잔여 자원으로는 다른 컨텐트를 추가로 재생하지 못할 수도 있다. 4K 해상도 및 VP9 코덱의 컨텐트와 같이 디스플레이장치의 자원의 예를 들어 절반 정도를 사용하는 컨텐트를 재생하고 있는 동안에, 디스플레이장치의 잔여 자원으로 추가 재생할 수 있는 컨텐트가 있고, 추가 재생할 수 없는 컨텐트도 있다.
이와 같이 컨텐트의 특성에 따라서 디스플레이장치의 자원의 사용량이 상이하고, 멀티뷰 기능이 정상적으로 동작하지 못할 수 있는 상황이 발생할 수 있다. 그러나, 사용자 입장에서는 각 컨텐트의 특성을 일일이 아는 것이 곤란하다. 사용자로서는, 멀티뷰 기능 하에서 각 컨텐트가 정상적으로 재생되지 못하는 이유가, 컨텐트에 문제가 있는 것인지 아니면 디스플레이장치에 문제가 있는 것인지를 명확하게 알 수 없다.
이러한 관점에서, 멀티뷰 기능(또는, 단일 컨텐트의 재생으로 전환하는 경우도 가능)이 수행될 때, 사용자에게 자원의 사용량에 관해 안내할 수 있는 디스플레이장치가 요구될 수 있다.
본 발명의 실시예에 따른 전자장치는, 디스플레이와, 영상처리부와, 복수의 특성 중 어느 하나의 특성을 가지는 컨텐트의 영상을 상기 디스플레이에 표시하기 위하여 상기 컨텐트의 특성에 대응하는 영상처리를 수행하도록 상기 영상처리부를 제어하고, 상기 영상처리부의 전체 자원 가용량에 대비하여 상기 복수의 특성 별로 미리 정의된 상기 영상처리부의 영상처리에 관한 자원 사용량에 기초하여, 상기 컨텐트의 특성에 대응하는 자원 사용량을 식별하고, 상기 컨텐트의 영상을 표시하는 중에 상기 식별된 자원 사용량을 나타내는 정보를 제공하도록 상기 디스플레이를 제어하는 제어부를 포함한다.
또한, 상기 특성은, 상기 컨텐트의 디코딩에 사용되는 코덱, 상기 컨텐트의 영상의 해상도, 상기 컨텐트의 영상의 프레임 레이트, 상기 컨텐트를 전송하기 위한 전송 규격 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 컨텐트의 메타데이터에 기초하여 상기 특성을 식별할 수 있다.
또한, 상기 제어부는, 상기 영상처리부의 가용한 자원 잔여량을 나타내는 정보를 더 제공할 수 있다.
또한, 상기 컨텐트는 제1컨텐트이고, 상기 제어부는, 상기 제1컨텐트의 영상을 표시하는 중에 제2컨텐트의 영상의 추가 표시에 관한 요청을 수신하는 것에 응답하여, 상기 제1컨텐트의 영상 및 상기 제2컨텐트의 영상을 표시하고, 상기 제1컨텐트에 대한 자원 사용량 및 상기 제2컨텐트에대한 자원 사용량을 나타내도록 상기 정보를 표시할 수 있다.
또한, 상기 특성은 상기 컨텐트의 화질을 포함하고, 상기 컨텐트는 제1컨텐트이고, 상기 제어부는, 상기 제1컨텐트의 영상을 표시하는 중에 제2컨텐트의 영상의 추가 표시에 관한 요청을 수신하는 것에 응답하여, 상기 제2컨텐트의 특성에 대응하는 자원 사용량이 상기 전체 자원 가용량에서 상기 제1컨텐트의 자원 사용량을 제외한 자원 잔여량을 초과하는지 여부를 식별하고, 상기 자원 사용량이 상기 자원 잔여량을 초과하는 것으로 식별되는 것에 기초하여, 상기 제1컨텐트의 영상의 화질을 낮추고, 상기 제2컨텐트의 영상을 표시할 수 있다.
또한, 상기 컨텐트는 제1컨텐트이고, 상기 제어부는, 상기 복수의 특성 중에서, 상기 전체 자원 가용량에서 상기 제1컨텐트의 자원 사용량을 제외한 자원 잔여량에 대응하는 특성을 가진 제2컨텐트를 식별하고, 상기 제1컨텐트의 영상과 함께, 상기 식별된 제2컨텐트의 선택 옵션을 제공하는 메뉴를 표시할 수 있다.
또한, 상기 메뉴는, 상기 식별된 제2컨텐트의 특성에 대응하는 자원 사용량의 정보를 포함할 수 있다.
또한, 상기 메뉴는 제1메뉴 및 제2메뉴를 포함하고, 상기 제어부는, 상기 제1메뉴의 선택에 응답하여, 상기 제1컨텐트의 영상의 표시를 중지하고, 상기 제2컨텐트의 영상을 표시하고, 상기 제2메뉴의 선택에 응답하여, 상기 제2컨텐트의 영상을 상기 제1컨텐트의 영상과 함께 표시할 수 있다.
또한, 상기 특성은 상기 컨텐트의 화질을 포함하고, 상기 제어부는, 상기 컨텐트의 제1화질이 상기 제1화질보다 높은 제2화질로 변화하는 이벤트에 응답하여, 상기 제2화질에 대응하는 자원 사용량이 상기 전체 자원 가용량을 초과하는지 여부를 식별하고, 상기 전체 자원 가용량을 초과하는 것으로 식별되는 것에 기초하여 상기 표시되는 상기 컨텐트의 화질을 유지할 수 있다.
또한, 본 발명의 실시예에 따른 전자장치의 제어방법은, 복수의 특성 중 어느 하나의 특성을 가지는 컨텐트의 영상을 디스플레이에 표시하기 위하여 상기 컨텐트의 특성에 대응하는 영상처리를 수행하도록 영상처리부를 제어하는 단계와, 상기 영상처리부의 전체 자원 가용량에 대비하여 상기 복수의 특성 별로 미리 정의된 상기 영상처리부의 영상처리에 관한 자원 사용량에 기초하여 상기 컨텐트의 특성에 대응하는 자원 사용량을 식별하는 단계와, 상기 컨텐트의 영상을 표시하는 중에 상기 식별된 자원 사용량을 나타내는 정보를 제공하는 단계를 포함한다.
도 1은 전자장치의 구성 블록도이다.
도 2는 전자장치의 제어방법을 나타내는 플로우차트이다.
도 3은 전자장치에서 단일 컨텐트 영상 및 자원 사용량을 표시하는 모습의 예시도이다.
도 4는 전자장치에서 멀티뷰 화면이 표시될 때에 자원 사용량이 표시되는 모습의 예시도이다.
도 5는 전자장치가 자원 잔여량에 대응하여 제2컨텐트의 재생을 선택적으로 제한하는 방법을 나타내는 플로우차트이다.
도 6은 제2컨텐트의 재생을 제한할 경우에 표시하는 에러 메시지의 예시도이다.
도 7은 전자장치에서 각 컨텐트영상 위에 자원 사용량을 나타내는 모습의 예시도이다.
도 8은 멀티뷰 영상 및 추천 메뉴를 표시하는 모습의 예시도이다.
도 9는 추천 메뉴의 선택 옵션에 아이콘이 추가된 모습의 예시도이다.
도 10은 제3컨텐트영상을 풀스크린으로 표시하는 모습의 예시도이다.
도 11은 제3컨텐트영상을 멀티뷰 영상에 추가하는 모습의 예시도이다.
도 12는 컨텐트영상의 화질이 변경되는 경우의 전자장치의 제어방법을 나타내는 플로우차트이다.
이하에서는 첨부도면을 참조하여 본 발명에 따른 실시예들에 관해 상세히 설명한다. 각 도면을 참조하여 설명하는 실시예들은 특별한 언급이 없는 한 상호 배타적인 구성이 아니며, 하나의 장치 내에서 복수 개의 실시예가 선택적으로 조합되어 구현될 수 있다. 이러한 복수의 실시예의 조합은 본 발명의 기술분야에서 숙련된 기술자가 본 발명의 사상을 구현함에 있어서 임의로 선택되어 적용될 수 있다.
만일, 실시예에서 제1구성요소, 제2구성요소 등과 같이 서수를 포함하는 용어가 있다면, 이러한 용어는 다양한 구성요소들을 설명하기 위해 사용되는 것이며, 용어는 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용되는 바, 이들 구성요소는 용어에 의해 그 의미가 한정되지 않는다. 실시예에서 사용하는 용어는 해당 실시예를 설명하기 위해 적용되는 것으로서, 본 발명의 사상을 한정하지 않는다.
또한, 본 명세서에서의 복수의 구성요소 중 "적어도 하나(at least one)"라는 표현이 나오는 경우에, 본 표현은 복수의 구성요소 전체 뿐만 아니라, 복수의 구성요소 중 나머지를 배제한 각 하나 혹은 이들의 조합 모두를 지칭한다.
도 1은 전자장치의 구성 블록도이다.
도 1에 도시된 바와 같이, 본 실시예는 전자장치(1)에 관한 것이다. 전자장치(1)는 다양한 종류의 장치로 구현될 수 있는 바, 예를 들면 PC, 서버 등을 포함하는 정보처리장치이거나; TV, 모니터, 디지털 사이니지(signage), 전자칠판, 전자액자 등을 포함하는 고정형 디스플레이장치이거나; 스마트폰, 태블릿기기, 휴대용 멀티미디어 재생기기 등을 포함하는 모바일기기이거나; 셋탑박스, 광학미디어 재생기기 등을 포함하는 영상처리장치이거나; 냉장고, 세탁기, 의류관리기기, 공기조화기 등을 포함하는 생활가전이거나; IoT(internet of things) 환경을 구축하는 게이트웨이, 허브, 호스트장치, 슬레이브장치이거나; 사람이 착용할 수 있는 웨어러블 디바이스(wearable device) 등으로 구현될 수 있다.
전자장치(1)는 동작을 위해 다양한 하드웨어 요소들을 포함한다. 본 실시예에서는 전자장치(1)가 디스플레이장치로 구현되는 경우에 관해 설명한다. 그러나, 앞서 설명한 바와 같이 전자장치(1)는 다양한 종류의 장치로 구현될 수 있으므로, 이하 설명하는 구성은 다양한 구현 예시 중 하나에 불과함을 밝힌다.
전자장치(1)는 인터페이스부(10)를 포함할 수 있다. 인터페이스부(10)는 전자장치(1)가 다양한 종류의 외부장치와 통신을 수행하고, 또한 데이터를 송수신하기 위한 인터페이스 회로를 포함한다. 인터페이스부(10)는 연결 방식에 따라서, 유선 통신연결을 위한 하나 이상의 유선인터페이스부(11), 또는 무선 통신연결을 위한 하나 이상의 무선인터페이스부(12) 중 적어도 하나를 포함한다.
유선인터페이스부(11)는 기 정의된 전송규격의 케이블이 접속되는 커넥터 또는 포트를 포함한다. 예를 들면, 유선인터페이스부(11)는 방송신호를 수신하도록 지상파 또는 위성방송 안테나에 접속되거나 케이블방송의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(11)는 다양한 영상처리장치와 접속하도록 HDMI, DP(DisplayPort), DVI, 컴포넌트, 컴포지트, S-Video, 썬더볼트(Thunderbolt) 등 다양한 유선전송규격의 케이블이 접속되는 포트를 포함한다. 또는, 유선인터페이스부(11)는 USB 기기와 접속하기 위한 USB 규격의 포트를 포함한다. 또는, 유선인터페이스부(11)는 광케이블이 접속되는 광포트를 포함한다. 또는, 유선인터페이스부(11)는 외부 마이크로폰이 접속되는 오디오 입력 포트와, 헤드셋, 이어폰, 외부 스피커 등이 접속되는 오디오 출력 포트를 포함한다. 또는, 유선인터페이스부(11)는 광역 네트워크에 접속하기 위해 게이트웨이, 라우터, 허브 등에 접속하는 이더넷 포트를 포함한다.
무선인터페이스부(12)는 다양한 종류의 무선통신 프로토콜에 대응하는 통신모듈, 통신칩 등의 구성요소들 중 적어도 하나 이상을 포함하는 양방향 통신회로를 포함한다. 예를 들면, 무선인터페이스부(12)는 와이파이(Wi-Fi) 방식에 따라서 AP(Access Point)와 무선통신을 수행하는 와이파이 통신칩과, 블루투스, Zigbee, Z-Wave, WirelessHD, WiGig, NFC 등의 무선통신을 수행하는 통신칩, IR 통신을 위한 IR 모듈, 모바일기기와 이동통신을 수행하는 이동통신칩 등을 포함한다.
전자장치(20)는 디스플레이부(20)를 포함할 수 있다. 디스플레이부(20)는 프로세서(270)에 의해 처리되는 영상신호를 영상으로 표시하기 위한 화면을 형성한다. 디스플레이부(20)는 디스플레이 패널을 포함하는데, 디스플레이 패널의 구조에는 여러 가지 설계방식이 적용될 수 있다. 예를 들면, 디스플레이부(20)는 액정과 같은 수광형 구조의 디스플레이 패널 및 이에 광을 제공하는 백라이트를 포함할 수 있다. 또는, 디스플레이부(20)는 OLED(organic light emitting diodes)와 같은 자발광 구조의 디스플레이 패널을 포함할 수 있다. 또는, 디스플레이부(20)는 복수의 마이크로 LED 모듈이 타일 형태로 조합되어 대화면을 형성하는 구조일 수도 있다.
전자장치(1)는 사용자입력부(30)를 포함할 수 있다. 사용자입력부(30)는 사용자의 입력을 수행하기 위해 사용자가 조작할 수 있도록 마련된 다양한 종류의 사용자 입력 인터페이스 관련 회로를 포함한다. 사용자입력부(30)는 전자장치(1)의 종류에 따라서 여러 가지 형태의 구성이 가능하며, 예를 들면 전자장치(1)의 기계 버튼부 또는 전자 버튼부; 다양한 종류의 센서; 터치패드; 디스플레이부(20)에 설치된 터치스크린; 전자장치(1)와 분리되며 인터페이스부(10)를 통해 연결된 키보드, 마우스, 리모트 컨트롤러와 같은 외부입력기기 등이 있다.
전자장치(1)는 저장부(140)를 포함할 수 있다. 저장부(140)는 디지털화된 데이터를 저장한다. 저장부(140)는, 프로세서(170)에 의해 처리되기 위한 데이터가 로딩되며 전원이 제공되지 않으면 데이터를 보존할 수 없는 휘발성 속성을 가진 하나 이상의 메모리(memory)(41)와, 전원의 제공 유무와 무관하게 데이터를 보존할 수 있는 비휘발성 속성을 가진 하나 이상의 스토리지(storage)(42)를 포함한다. 메모리(41)에는 버퍼(buffer), 램(RAM; Random Access Memory) 등이 있으며, 스토리지(42)에는 플래시메모리(flash-memory), HDD(hard-disc drive), SSD(solid-state drive) ROM(Read Only Memory) 등이 있다.
전자장치(1)는 프로세서(50)를 포함할 수 있다. 프로세서(50)는 인쇄회로기판 상에 장착되는 CPU, 칩셋, 버퍼, 회로 등으로 구현되는 하나 이상의 하드웨어 프로세서를 포함하며, 설계 방식에 따라서는 SOC(system on chip)로 구현될 수도 있다. 전자장치(1)가 디스플레이장치인 경우에, 프로세서(50)는 영상컨텐트를 영상으로 표시하기 위해 디멀티플렉서, 디코더, 스케일러, 오디오 DSP(Digital Signal Processor), 앰프 등의 다양한 프로세스에 대응하는 모듈들을 포함한다. 여기서, 이러한 모듈들 중 일부 또는 전체가 SOC로 구현될 수 있다. 예를 들면, 디멀티플렉서, 디코더, 스케일러 등 영상처리와 관련된 모듈이 영상처리 SOC로 구현되고, 오디오 DSP는 SOC와 별도의 칩셋으로 구현되는 것이 가능하다.
프로세서(51)는 영상처리부(51)를 포함한다. 영상처리부(51)는 소정의 컨텐트, 예를 들면 영상컨텐트의 영상이 디스플레이부(20)에 표시되도록 해당 영상컨텐트 데이터의 영상처리를 수행하는 하드웨어를 포함한다. 예를 들면, 영상처리부(51)는 디코더, 스케일러 등의 칩셋을 포함한다.
프로세서(51)는 제어부(52)를 포함한다. 제어부(52)는 예를 들면, CPU, 마이크로프로세서 등을 포함한다. 제어부(52)는 앞서 설명한 전자장치(1)의 여러 구성요소들의 동작을 제어하도록 다양한 연산을 수행하는 바, 예를 들면 일 컨텐트가 재생되도록 영상처리부(51)의 동작을 제어할 수 있다. 또한, 본 실시예에 따른 제어부(52)는 전자장치(1)의 시스템 자원을 관리할 수 있다. 구체적으로, 제어부(52)는 획득 가능한 컨텐트의 재생 시에 필요한 영상처리부(51)의 자원의 사용량을 해당 컨텐트를 재생하기 이전에 식별할 수 있다. 제어부(52)는 컨텐트가 재생되는 동안에 영상처리부(51)의 잔여 자원의 양을 실시간으로 계측할 수 있다. 제어부(52)는 상기한 영상처리부(51)의 자원의 사용량을 수치화하여 관리한다.
한편, 본 실시예에서는 제어부(52)가 영상처리부(51)의 자원 사용량을 식별하는 경우에 관해 설명하지만, 본 발명의 사상이 이러한 예시만으로 한정되는 것은 아니다. 예를 들어, 컨텐트의 재생 시에는 영상처리부(51)의 자원 이외에도, 제어부(52)의 자원이 사용될 수 있다. 이러한 경우에, 제어부(52)는 컨텐트 재생에 사용되는 영상처리부(51) 및 제어부(52)를 통합한 자원을 수치화하여 관리한다.
이하, 본 실시예에 따른 제어부(52)가 영상처리부(51)의 자원을 관리하여 사용자에게 안내하는 방법에 관해 설명한다.
도 2는 전자장치의 제어방법을 나타내는 플로우차트이다.
도 1 및 도 2에 도시된 바와 같이, 하기 동작은 전자장치(1)의 제어부(52)에 의해 수행된다.
210 단계에서 제어부(52)는 일 컨텐트의 데이터를 획득한다. 컨텐트의 데이터는 다양한 방법으로 획득이 가능한 바, 제어부(52)는 저장부(40)에 저장된 데이터를 읽거나, 인터페이스부(10)를 통해 수신할 수 있다.
220 단계에서 제어부(52)는 복수의 특성 중에서 컨텐트의 특성에 대응하도록 컨텐트의 데이터의 영상처리를 수행한다. 컨텐트의 특성에 관한 내용은 후술한다.
230 단계에서 제어부(52)는 복수의 특성 별로 미리 정의된 영상처리부(51)의 영상처리에 관한 자원 사용량의 정보를 획득한다. 본 정보는, 리스트, 데이터베이스, 룩업테이블 등 다양한 형식으로, 소정의 특성에 대응하는 자원 사용량의 검색이 가능하도록 마련된다.
240 단계에서 제어부(52)는 획득한 정보에 기초하여, 영상처리부(51)의 전체 자원 가용량에 대비되는, 컨텐트의 특성에 대응하는 자원 사용량을 식별한다. 전체 자원 가용량은, 영상처리부(51)에서 사용 가능한 자원의 총량을 나타낸다.
250 단계에서 제어부(52)는 컨텐트의 영상을 표시하는 중에, 식별된 자원 사용량을 나타내는 정보를 제공한다. 예를 들어, 제어부(52)는 컨텐트의 영상과 함께, 상기한 자원 사용량을 표시할 수 있다.
이와 같이, 본 실시예에 따른 전자장치(1)는 사용자에게 현재 표시되고 있는 컨텐트 영상에 대한 자원 사용량과, 추가로 표시할 수 있는 타 컨텐트에 대한 자원 사용량을 제공할 수 있다. 가용한 자원의 잔여량 및 각 컨텐트 영상의 표시에 소요되는 자원의 사용량을 사용자에게 용이하게 인지하도록 함으로써, 전자장치(1)는 사용자가 표시할 컨텐트를 적절히 선택할 수 있는 환경을 제공한다.
이하, 전자장치(1)가 컨텐트 영상에 대한 자원 사용량을 제공하는 실시예에 관해 설명한다.
도 3은 전자장치에서 단일 컨텐트 영상 및 자원 사용량을 표시하는 모습의 예시도이다.
도 1 및 도 3에 도시된 바와 같이, 전자장치(1)는 소정의 제1컨텐트의 재생을 지시하는(즉, 제1컨텐트의 영상의 표시를 지시하는) 이벤트에 응답하여, 영상처리부(51)에 의해 제1컨텐트의 데이터를 처리하고 디스플레이부(20)에 제1컨텐트에 대응하는 제1컨텐트영상(310)을 표시한다. 본 실시예에서 제1컨텐트영상(310)은 디스플레이부(20)의 화면 전체가 아닌 일부 영역에 표시되는 것으로 나타나지만, 사전 설정 또는 사용자 입력에 따라서 디스플레이부(20)의 화면 전체에 풀스크린 영상으로 표시될 수도 있다.
전자장치(1)는 컨텐트에 관한 복수의 특성 중에서 제1컨텐트의 특성을 식별한다. 각 컨텐트의 특성은 해당 컨텐트의 메타데이터에 기록되는 바, 전자장치(1)는 제1컨텐트의 메타데이터를 확인함으로써 제1컨텐트의 특성을 식별한다. 전자장치(1)는 식별된 특성에 대응하는, 제1컨텐트에 대한 영상처리부(51)의 자원 사용량을 식별한다. 이하, 상기한 특성에 관해 구체적으로 설명한다.
각 컨텐트는 영상의 화질을 나타내는 특성을 가진다. 이러한 특성은 컨텐트의 데이터의 디코딩에 사용되는 코덱(Mpeg-2, H.264, VP9, HEVC, AV1 등), 컨텐트의 영상의 해상도(FHD, 2K, 4K, 8K 등), 컨텐트의 영상의 프레임 레이트(frame rate)(30P, 60P 등; P는 초당 프레임 수), 컨텐트의 데이터를 전송하기 위한 전송 규격(HDMI, DisplayPort 등) 등이 있다. 각 컨텐트는 해당 컨텐트의 특성에 대응하여, 컨텐트를 재생하는 영상처리부(51)의 자원 사용량이 결정된다.
영상처리부(51)는 예를 들어 칩셋으로 마련될 수 있는데, 영상처리부(51)의 칩셋의 스펙(spec; specification)에는 각 코덱 별로 소요되는 칩셋의 자원 사용량이 지정되어 있다. 소정 컨텐트에 대한 영상처리부(51)의 자원 사용량의 수치는, 해당 영상처리부(51)에 지정된, 해당 컨텐트의 코덱에 대한 자원 사용량에 대응하도록 마련된다. 다만, 상기한 수치가 영상처리부(51)의 스펙에 따라서 결정되는 것만으로 한정될 수는 없고, 다양한 실험 및 시뮬레이션을 통해 결정될 수 있다.
소정 컨텐트에 대한 자원 사용량의 수치는, 영상처리부(51)의 전체 자원 가용량에 대비되도록 마련된다. 상기한 수치는 사용자가 전체 자원 가용량을 인지하는 전제 하에 제공됨으로써, 사용자가 현재 시점에서 자원의 잔여량을 알 수 있도록 한다. 이로써, 사용자는 추가적으로 어떠한 컨텐트를 재생시킬 수 있을지 판단할 수 있다. 수치를 나타내는 한 가지 방식으로서, 영상처리부(51)의 가용한 전체 자원 가용량을 100으로 설정하고, 각 컨텐트에 대한 자원 사용량을 100에 대한 비중으로 나타낼 수 있다.
즉, 어느 컨텐트에 대한 자원 사용량이 25라면, 이는 해당 컨텐트가 전체 자원 가용량 중 1/4을 사용한다는 것을 의미한다. 이 경우에, 사용자는 전체 자원 가용량 중에서 사용 가능한 자원량인 자원 잔여량이 75라는 것을 알 수 있다. 어느 컨텐트에 대한 자원 사용량이 100이라면, 이는 해당 컨텐트가 전체 자원 가용량의 거의 전체를 사용한다는 것을 의미한다. 이 경우에, 사용자는 자원 잔여량이 실질적으로 없다는 것을 알 수 있다.
전자장치(1)는 코덱, 해상도, 프레임 레이트, 전송규격 등의 특성으로 나타나는 각 컨텐트에 대해, 자원 사용량을 기록한 정보를 획득할 수 있다. 전자장치(1)는 본 정보를, 저장부(40)로부터 읽거나 인터페이스부(10)를 통해 수신할 수 있다. 본 정보에는, 컨텐트의 특성에 대응하는 자원 사용량이 리스트, DB, 룩업테이블 등의 형식에 따라서 기록되어 있다. 예를 들면, MPEG-2 30P의 컨텐트, H.264 2K 60P의 컨텐트, VP9 4K 30P의 컨텐트, HEVC 4K 60P의 컨텐트, AV1 4K 60P의 컨텐트, MJPEG 2K 30P의 컨텐트, HDMI 4K 60P의 컨텐트는, 25의 자원 사용량을 가진다. MPEG-2 60P의 컨텐트, VP9 4K 60P의 컨텐트, MJPEG 4K 30P의 컨텐트는, 50의 자원 사용량을 가진다. HEVC 8K 60P의 컨텐트, AV1 8K 60P의 컨텐트, HDMI 8K 60P의 컨텐트는, 100의 자원 사용량을 가진다. 본 정보에 기록된, 각 컨텐트의 특성에 대응하는 상기한 수치는 예시일 뿐이며, 영상처리부(51)의 처리 능력에 따라서 달라질 수 있는 값이다.
이와 같은 원리에 따라서, 전자장치(1)는 제1컨텐트의 특성이 식별되면, 상기한 정보에서 제1컨텐트의 특성에 대응하는 자원 사용량의 수치를 검색한다. 예를 들어 제1컨텐트가 H.264 2K 60P의 특성을 가진다면, 전자장치(1)는 상기한 정보에서 해당 특성에 대응하는 자원 사용량이 25임을 식별할 수 있다.
전자장치(1)는 이와 같이 식별된 자원 사용량의 정보(320)를 제1컨텐트영상(310)과 함께 디스플레이부(20)에 표시함으로써, 제1컨텐트에 대한 자원 사용량을 사용자에게 제공한다. 본 정보(320)는 여러 가지 형식으로 나타날 수 있는데, 본 실시예의 경우에 제1컨텐트에 대한 자원 사용량 25 및 자원 잔여량 75를 나타내는 원형 그래프로 나타낸다. 또는, 본 정보(320)는 제1컨텐트에 대한 자원 사용량 25만을 나타낼 수도 있다. 본 실시예에서 정보(320)는 제1컨텐트영상(310)으로부터 이격되게 표시되지만, 제1컨텐트영상(310) 위에 오버레이되어 표시될 수도 있다.
사용자는 디스플레이부(20)에 표시되는 정보(320)를 통해, 현재 제1컨텐트영상(310)의 표시에 25만큼의 자원이 사용되고 있고, 잔여 자원이 75만큼 있다는 것을 용이하게 인지할 수 있다.
한편, 전자장치(1)는 사용자입력부(30)를 통해 멀티뷰 기능의 활성화와 함께 추가적인 컨텐트 영상의 표시에 관한 지시를 수신할 수 있다. 이하, 전자장치(1)에서 멀티뷰 기능의 이벤트가 발생하는 경우의 실시예에 관해 설명한다.
도 4는 전자장치에서 멀티뷰 화면이 표시될 때에 자원 사용량이 표시되는 모습의 예시도이다.
도 1 및 도 4에 도시된 바와 같이, 전자장치(1)는 제1컨텐트영상(310)이 표시되는 중에 제2컨텐트의 제2컨텐트영상(330)을 멀티뷰로 표시하도록 지시하는 이벤트를 감지할 수 있다. 본 이벤트에 응답하여, 전자장치(1)는 제2컨텐트의 데이터를 영상처리부(51)에 의해 처리하고, 제1컨텐트영상(310) 및 제2컨텐트영상(330)을 포함하는 멀티뷰 영상을 표시한다.
전자장치(1)는 제2컨텐트의 특성에 대응하는 자원 사용량을 식별하여, 식별된 자원 사용량을 나타내는 자원 사용량 정보(320)를 추가로 표시한다. 자원 사용량 정보(320)는 제1컨텐트영상(310) 및 제2컨텐트영상(330) 각각에 대응하는 자원 사용량과, 자원 잔여량을 포함한다. 물론, 자원 사용량 정보(320)의 표시 방법은 본 예시에 한정되지 않으며, 제1컨텐트영상(310) 및 제2컨텐트영상(330) 각각에 해당 자원 사용량이 오버레이되어 표시될 수도 있다.
자원 사용량 정보(320)가 현재 자원 잔여량을 포함하도록 마련된 경우, 전자장치(1)는 자원의 전체 총량으로부터 현재 컨텐트에 대한 자원 사용량을 차감함으로써 자원 잔여량을 산출한다. 예를 들면, 자원의 전체 총량이 100이고, 제1컨텐트에 대한 자원 사용량이 25, 제2컨텐트에 대한 자원 사용량이 25이면, 자원 잔여량은 100-(25+25)=50이 된다. 이러한 방식에 따라서, 전자장치(1)는 현재 컨텐트에 대한 자원 사용량과 자원 잔여량을 사용자가 용이하게 인지하도록 제공할 수 있다.
한편, 설계 방식에 따라서는, 전자장치(1)는 제2컨텐트영상(330)의 표시 이벤트에 응답하여, 현재의 자원 잔여량을 고려하여 제2컨텐트영상(330)의 표시를 선택적으로 제한하도록 마련될 수도 있다. 이하, 이러한 실시예에 관해 설명한다.
도 5는 전자장치가 자원 잔여량에 대응하여 제2컨텐트의 재생을 선택적으로 제한하는 방법을 나타내는 플로우차트이다.
도 1 및 도 5에 도시된 바와 같이, 하기 동작은 전자장치(1)의 제어부(52)에 의해 수행된다.
410 단계에서 전자장치(1)는 제1컨텐트를 처리하여 제1컨텐트영상을 표시한다.
420 단계에서 전자장치(1)는 제1컨텐트에 대한 자원 사용량을 식별하여 표시한다. 410 단계 및 420 단계에 관해서는 앞선 실시예에서 설명한 바와 같다.
430 단계에서 전자장치(1)는 제1컨텐트영상의 표시 중에 제2컨텐트에 기초하여 소정 화질로 제2컨텐트영상의 표시를 지시하는 요청을 수신한다. 본 이벤트는, 사용자입력부(30)를 통해 발생할 수 있다.
440 단계에서 전자장치(1)는 현재 자원 잔여량이 제2컨텐트에 대한 자원 사용량을 초과하는지 여부를 식별한다.
현재 자원 잔여량이 제2컨텐트에 대한 자원 사용량을 초과하는 것으로 식별되면(440 단계에서 "Yes"), 즉 자원 잔여량이 제2컨텐트를 추가 재생하기에 충분하면, 450 단계에서 전자장치(1)는 제2컨텐트를 처리하여 제2컨텐트영상을 추가 표시한다.
반면에 현재 자원 잔여량이 제2컨텐트에 대한 자원 사용량을 초과하지 않는 것으로 식별되면(440 단계에서 "No"), 즉 자원 잔여량이 제2컨텐트를 추가 재생하기에 충분하지 않으면, 460 단계에서 전자장치(1)는 제1컨텐트영상의 표시 화질을 낮추고, 요청에 따른 화질로 제2컨텐트영상을 표시한다. 즉, 전자장치(1)는 앞서 430 단계에서의 요청에서 지시하는 화질로 제2컨텐트영상을 표시하기 위해, 제1컨텐트영상의 표시 화질을 낮춰서 자원 잔여량을 추가로 확보한다.
또는, 설계 방식에 따라서는, 460 단계에서 전자장치(1)는 제2컨텐트를 처리하지 않고, 제2컨텐트의 처리 제한에 관한 안내 메시지를 표시하는 구성도 가능하다.
도 6은 제2컨텐트의 재생을 제한할 경우에 표시하는 에러 메시지의 예시도이다.
도 1 및 도 6에 도시된 바와 같이, 전자장치(1)는 현재 자원 잔여량이 제2컨텐트에 대한 자원 사용량을 초과하지 않는 것으로 식별되면 안내 메시지(340)를 표시한다. 전자장치(1)는 본 실시예와 같이 제1컨텐트영상(310) 위에 오버레이되도록 안내 메시지(340)를 표시할 수도 있고, 또는 디스플레이부(20)에서 제1컨텐트영상(310)이 표시되지 않은 영역에 안내 메시지(340)를 표시할 수도 있다.
안내 메시지(340)는 예를 들면, 이벤트에서 지시하는 제2컨텐트를 재생하기에는 현재 자원 잔여량이 부족하다는 것을 사용자에게 공지하는 내용을 포함한다. 설계 방식에 따라서는, 안내 메시지(340)는 제2컨텐트를 재생하여 제2컨텐트영상(도 4, 330 참조)을 표시할 것인지에 관해 사용자에게 선택을 제공하는 옵션을 더 포함할 수도 있다. 안내 메시지(340)의 옵션을 통해 사용자가 제2컨텐트의 재생을 선택하면, 전자장치(1)는 제2컨텐트영상(도 4, 330 참조)을 표시한다(도 4 참조). 반면에, 안내 메시지(340)의 옵션을 통해 사용자가 제2컨텐트를 재생하지 않는 것을 선택하면, 전자장치(1)는 안내 메시지(340)를 지우고 제1컨텐트영상(310)을 계속 표시한다(도 3 참조).
한편, 앞선 실시예에서 설명한 자원 사용량 정보(320)는 원형 그래프 방식으로 나타내었으나, 각 컨텐트에 대한 자원 사용량을 표시하는 방식은 앞선 실시예만으로 한정되는 것은 아니다. 이하, 다른 방식으로 자원 사용량을 표시하는 예시에 관해 설명한다.
도 7은 전자장치에서 각 컨텐트영상 위에 자원 사용량을 나타내는 모습의 예시도이다.
도 1 및 도 7에 도시된 바와 같이, 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)을 멀티뷰 방식으로 표시한다. 전자장치(1)는 제1컨텐트에 대한 자원 사용량 및 제2컨텐트에 대한 자원 사용량을 각각 식별하고, 식별된 각 사용량의 정보(311, 331)을 제1컨텐트영상(310) 및 제2컨텐트영상(330) 위에 오버레이시켜 표시한다.
예를 들어, 제1컨텐트에 대한 자원 사용량이 25이면, 전자장치(1)는 제1컨텐트영상(310)의 일측 영역에 25의 수치를 안내하는 정보(311)를 표시한다. 또한, 제2컨텐트에 대한 자원 사용량이 25이면, 전자장치(1)는 제2컨텐트영상(330)의 일측 영역에 25의 수치를 안내하는 정보(331)를 표시한다. 본 실시예에서는 자원 잔여량 50을 나타내는 정보가 표시되지 않으나, 설계 방식에 따라서는 자원 잔여량을 나타내는 정보가 디스플레이부(20)에 추가로 표시될 수도 있다.
한편, 싱글뷰 또는 멀티뷰 기능에 의해 하나 이상의 컨텐트영상 및 자원 사용량이 표시될 때, 추가적으로 타 컨텐트의 추천 메뉴가 표시될 수도 있다. 이하, 이러한 실시예에 관해 설명한다.
도 8은 멀티뷰 영상 및 추천 메뉴를 표시하는 모습의 예시도이다.
도 1 및 도 8에 도시된 바와 같이, 전자장치(1)는 디스플레이부(20)에 제1컨텐트영상(310) 및 제2컨텐트영상(330)을 포함하는 멀티뷰 영상과, 제1컨텐트 및 제2컨텐트 각각에 대한 자원 사용량을 나타내는 자원 사용량 정보(320)를 표시한다. 이에 관한 내용은 앞선 실시예에서 설명한 바와 같다.
본 실시예에 따른 전자장치(1)는, 현재 표시중인 제1컨텐트 및 제2컨텐트 이외의 타 컨텐트에 관한 추천 메뉴(400)를 추가로 표시한다. 추천 메뉴(400)는 복수의 타 컨텐트 중에서 선별된 하나 이상의 컨텐트의 선택 옵션(410, 420, 430)을 제공한다. 예를 들어, 추천 메뉴(400)는 제3컨텐트의 선택 옵션(410), 제4컨텐트의 선택 옵션(420), 제5컨텐트의 선택 옵션(430)을 포함한다. 각 컨텐트의 선택 옵션(410, 420, 430)은, 해당 컨텐트의 영상에 관한 썸네일 이미지 또는 아이콘 등의 그래픽 오브젝트와, 해당 컨텐트의 영상을 표시할 경우에 소요되는 자원 사용량을 포함한다. 예를 들어 제3컨텐트의 선택 옵션(410)은, 제3컨텐트의 영상의 썸네일 이미지와, 제3컨텐트에 대한 자원 사용량인 40의 수치 정보를 포함한다. 사용자입력부(30)를 통해 선택 옵션(410)이 선택되면, 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)에 추가하여 제3컨텐트에 기초한 제3컨텐트영상을 표시한다.
전자장치(1)는 다양한 방법을 사용하여 추천 메뉴(400)가 제공하는 하나 이상의 컨텐트를 선별할 수 있다. 한 가지 방법으로서, 전자장치(1)는 복수의 타 컨텐트 중에서, 현재 자원 잔여량으로 재생이 가능한 컨텐트(즉, 현재 자원 잔여량 이하인 자원 사용량을 가진 컨텐트)를 선별한다. 예를 들어 현재 자원 잔여량이 50이라고 할 때, 전자장치(1)는 자원 사용량이 50인 VP9 4K 60P 컨텐트 및 자원 사용량이 25인 HEVC4K 60P 컨텐트를 선별하고, 자원 사용량이 100인 HEVC 8K 60P 컨텐트 및 AV1 8K 60P 컨텐트를 선별하지 않는다.
전자장치(1)는 추천 메뉴(400)가 제공하는 하나 이상의 컨텐트를 선별하기 위한 조건을 추가할 수 있다. 예를 들어, 전자장치(1)는 사용자에 의한 컨텐트의 시청 이력에 기초하여 복수의 컨텐트를 1차로 선별하고, 1차로 선별된 복수의 컨텐트 중에서 상기한 방법에 따라서 2차로 하나 이상의 컨텐트를 선별할 수 있다.
한편, 전자장치(1)는 상기와 같이 하나 이상의 컨텐트를 선별하는 동작을 수행하기 위한 데이터 분석, 처리, 및 결과 정보 생성 중 적어도 일부를 규칙 기반 또는 인공지능(Artificial Intelligence) 알고리즘으로서 기계학습, 신경망 네트워크(neural network), 또는 딥러닝 알고리즘 중 적어도 하나를 이용하여 수행할 수 있다.
일 예로, 전자장치(1)의 프로세서(51) 또는 제어부(52)는 학습부 및 인식부의 기능을 함께 수행할 수 있다. 학습부는 학습된 신경망 네트워크를 생성하는 기능을 수행하고, 인식부는 학습된 신경망 네트워크를 이용하여 데이터를 인식(또는, 추론, 예측, 추정, 판단)하는 기능을 수행할 수 있다. 학습부는 신경망 네트워크를 생성하거나 갱신할 수 있다. 학습부는 신경망 네트워크를 생성하기 위해서 학습 데이터를 획득할 수 있다. 일 예로, 학습부는 학습 데이터를 전자장치의 저장부 또는 외부로부터 획득할 수 있다. 학습 데이터는, 신경망 네트워크의 학습을 위해 이용되는 데이터일 수 있으며, 상기한 동작을 수행한 데이터를 학습데이터로 이용하여 신경망 네트워크를 학습시킬 수 있다.
학습부는 학습 데이터를 이용하여 신경망 네트워크를 학습시키기 전에, 획득된 학습 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 학습 데이터들 중에서 학습에 이용될 데이터를 선별할 수 있다. 일 예로, 학습부는 학습 데이터를 기 설정된 포맷으로 가공하거나, 필터링하거나, 또는 노이즈를 추가/제거하여 학습에 적절한 데이터의 형태로 가공할 수 있다. 학습부는 전처리된 학습 데이터를 이용하여 상기한 동작을 수행하도록 설정된 신경망 네트워크를 생성할 수 있다.
학습된 신경망 네트워크는, 복수의 신경망 네트워크(또는, 레이어)들로 구성될 수 있다. 복수의 신경망 네트워크의 노드들은 가중치를 가지며, 복수의 신경망 네트워크들은 일 신경망 네트워크의 출력 값이 다른 신경망 네트워크의 입력 값으로 이용되도록 서로 연결될 수 있다. 신경망 네트워크의 예로는, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN (Bidirectional Recurrent Deep Neural Network) 및 심층 Q-네트워크 (Deep Q-Networks)과 같은 모델을 포함할 수 있다.
한편 인식부는 상기한 동작을 수행하기 위해, 타겟 데이터를 획득할 수 있다. 타겟 데이터는 전자장치의 저장부 또는 외부로부터 획득된 것일 수 있다. 타겟 데이터는 신경망 네트워크의 인식 대상이 되는 데이터일 수 있다. 인식부는 타겟 데이터를 학습된 신경망 네트워크에 적용하기 전에, 획득된 타겟 데이터에 대하여 전처리 작업을 수행하거나, 또는 복수 개의 타겟 데이터들 중에서 인식에 이용될 데이터를 선별할 수 있다. 일 예로, 인식부는 타겟 데이터를 기 설정된 포맷으로 가공하거나, 필터링 하거나, 또는 노이즈를 추가/제거하여 인식에 적절한 데이터의 형태로 가공할 수 있다. 인식부는 전처리된 타겟 데이터를 신경망 네트워크에 적용함으로써, 신경망 네트워크로부터 출력되는 출력값을 획득할 수 있다. 인식부는 출력값과 함께, 확률값 또는 신뢰도값을 획득할 수 있다.
한편, 전자장치(1)는 추천 메뉴(400)에서 추천하는 컨텐트를 선별할 때에, 상기한 현재 자원의 잔량을 고려하는 것 이외의 방법을 사용할 수도 있다. 이러한 경우에, 추천 메뉴(400)는 현재 자원의 잔량을 가지고 재생 가능한 컨텐트(즉, 해당 컨텐트에 대한 자원 사용량이 자원의 잔량 이하인 컨텐트)와, 현재 자원의 잔량을 가지고 재생 가능하지 않은 컨텐트(즉, 해당 컨텐트에 대한 자원 사용량이 자원의 잔량을 초과하는 컨텐트)를 각각 추천할 수도 있다. 이 때, 전자장치(1)는 추천 메뉴(400)의 복수의 컨텐트의 선택 옵션(410, 420, 430) 중에서, 현재 자원의 잔량을 가지고 재생 가능한 컨텐트의 선택 옵션을 활성화시키고, 현재 자원의 잔량을 가지고 재생 가능하지 않은 컨텐트의 선택 옵션을 비활성화시켜 표시한다. 활성화된 선택 옵션은 사용자입력부(30)를 통해 선택 가능하며, 비활성화된 선택 옵션은 사용자입력부(30)를 통해 선택 가능하지 않다. 차후 자원의 잔량의 변경되면, 전자장치(1)는 변경된 자원의 잔량에 따라서 추천 메뉴(400)에서의 선택 옵션에 대한 활성화 또는 비활성화 상태를 업데이트한다.
한편, 추천 메뉴(400)의 각 컨텐트의 선택 옵션(410, 420, 430)은 추가적인 기능을 가질 수 있는 바, 이하 이러한 실시예에 관해 설명한다.
도 9는 추천 메뉴의 선택 옵션에 아이콘이 추가된 모습의 예시도이다.
도 1 및 도 9에 도시된 바와 같이, 전자장치(1)는 디스플레이부(20)에 제1컨텐트영상(310) 및 제2컨텐트영상(330)을 포함하는 멀티뷰 영상과, 제1컨텐트 및 제2컨텐트 각각에 대한 자원 사용량을 나타내는 자원 사용량 정보(320)를 표시한다. 도 9는 추천 메뉴(400)의 각 컨텐트 선택 옵션(410, 420, 430)에 아이콘(413)이 추가된 것 이외에는 도 8과 동일하다.
예를 들어, 제3컨텐트의 선택 옵션(410)은 제3컨텐트의 썸네일 이미지(411)와, 제3컨텐트에 대한 자원 사용량의 정보(412)와, 제3컨텐트의 선택 아이콘(413)을 포함한다. 추천 메뉴(400) 내의 타 컨텐트의 선택 옵션(420, 430)은 제3컨텐트의 선택 옵션(410)의 경우에 준하므로, 자세한 설명을 생략한다.
사용자가 사용자입력부(30)를 통해 썸네일 이미지(411)을 선택하는 경우와 아이콘(413)을 선택하는 경우는, 제3컨텐트를 선택한다는 점에서는 동일하지만, 각각의 경우에 대해 제3컨텐트의 영상이 표시되는 방식이 달라진다. 본 실시예에서는 제3컨텐트에 대한 선택 방식이 썸네일 이미지(411) 및 아이콘(413)의 형식인 것으로 표현하지만, 상기한 형식은 예시일 뿐이며 한정되지 않는다. 예를 들면, 제3컨텐트의 선택 옵션(410)은 제3컨텐트의 영상의 상이한 표시 방식에 각기 대응하는 두 개의 아이콘을 포함할 수도 있다.
도 10은 제3컨텐트영상을 풀스크린으로 표시하는 모습의 예시도이다.
도 1, 도 9 및 도 10에 도시된 바와 같이, 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)이 표시되는 동안에, 추천 메뉴(400)의 제3컨텐트의 선택 옵션(410) 중 썸네일 이미지(411)가 선택되는 것을 감지할 수 있다. 이에 응답하여, 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)의 표시를 중단하고, 제3컨텐트를 처리하여 제3컨텐트영상(350)을 디스플레이부(20)에 풀스크린으로 표시한다.
또한, 전자장치(1)는 자원 사용량 정보(360)를 추가로 표시할 수 있다. 자원 사용량 정보(360)는 예를 들어 제3컨텐트에 대한 자원 사용량인 30을 나타내며, 추가로 자원 잔여량 60을 나타낼 수 있다.
도 11은 제3컨텐트영상을 멀티뷰 영상에 추가하는 모습의 예시도이다.
도 1, 도 9 및 도 11에 도시된 바와 같이, 전자장치(1)는 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)이 표시되는 동안에, 추천 메뉴(400)의 제3컨텐트의 선택 옵션(410) 중 아이콘(413)이 선택되는 것을 감지할 수 있다. 이에 응답하여, 전자장치(1)는 제1컨텐트영상(310) 및 제2컨텐트영상(330)을 포함하는 멀티뷰 영상에, 제3컨텐트영상(350)을 추가하여 표시한다. 또한, 제3컨텐트영상(350)의 추가 표시에 응답하여, 자원 사용량 정보(370)를 업데이트한다. 본 실시예의 경우, 자원 사용량 정보(370)는 제1컨텐트에 대한 자원 사용량 25, 제2컨텐트에 대한 자원 사용량 25, 제3컨텐트에 대한 자원 사용량 40을 나타낸다. 또한, 자원 사용량 정보(370)는 자원 잔여량 10을 추가로 나타낼 수도 있다.
제3컨텐트영상(350)의 표시에 따라서, 추천 메뉴(400)에서는 제3컨텐트의 선택 옵션(410)이 삭제되고, 새로운 컨텐트의 선택 옵션이 추가되도록 업데이트된다.
한편, 소정의 컨텐트의 컨텐트영상이 표시될 때에, 다양한 원인으로 인해 해당 컨텐트에 대한 자원 사용량이 변동하는 상황이 발생할 수 있다. 예를 들어, 전자장치(1)는 네트워크를 통해 서버로부터 스트리밍되는 컨텐트의 데이터를 수신하여 처리할 수 있다. 서버는 네트워크의 상태가 양호한 동안에는 고화질의 데이터를 전자장치(1)에 스트리밍하지만, 네트워크의 상태가 나빠지면 저화질의 데이터를 전자장치(1)에 스트리밍한다. 전자장치(1)는 서버로부터 실시간으로 수신되는 데이터를 처리하여 컨텐트영상을 표시하기 때문에, 수신되는 데이터의 화질이 변경됨에 따라서 컨텐트에 대한 자원 사용량도 실시간으로 변경된다. 즉, 전자장치(1)에서 표시되는 컨텐트영상의 화질이 고화질에서 저화질로 변경되면, 전자장치(1)의 자원 잔여량은 증가된다. 반면에, 전자장치(1)에서 표시되는 컨텐트영상의 화질이 저화질에서 고화질로 변경되면, 전자장치(1)의 자원 잔여량은 감소된다.
이하, 표시중의 컨텐트영상의 화질이 변경되는 경우의 동작에 관해 설명한다.
도 12는 컨텐트영상의 화질이 변경되는 경우의 전자장치의 제어방법을 나타내는 플로우차트이다.
도 1 및 도 12에 도시된 바와 같이, 하기 동작은 전자장치(1)의 제어부(52)에 의해 수행된다.
510 단계에서 전자장치(1)는 수신되는 일 컨텐트의 데이터를 처리하여 컨텐트영상을 표시한다.
520 단계에서 전자장치(1)는 컨텐트에 대한 자원 사용량을 표시한다.
530 단계에서 전자장치(1)는 수신되는 컨텐트 데이터에서의 화질 변화를 감지한다.
540 단계에서 전자장치(1)는 컨텐트에서의 화질이 고화질에서 저화질로 변화하였는지 여부를 식별한다.
컨텐트에서의 화질이 고화질에서 저화질로 변화한 것으로 식별되면(540 단계에서 "Yes"), 550 단계에서 전자장치(1)는 화질이 변화된(즉, 화질이 고화질에서 저화질로 변화된) 컨텐트영상을 표시한다. 그리고, 560 단계에서 전자장치(1)는 화질 변화에 대응하여 자원 사용량을 업데이트하여 표시한다.
반면에, 컨텐트에서의 화질이 고화질에서 저화질로 변화한 것이 아니라고 식별되면(540 단계에서 "No"), 즉 컨텐트에서의 화질이 저화질에서 고화질로 변화한 것으로 식별되면, 570 단계에서 전자장치(1)는 컨텐트영상의 화질을 변경하지 않고(즉, 컨텐트영상을 저화질에서 고화질로 변경하지 않고) 그대로 유지한다.
570 단계에서 수신되는 컨텐트 데이터에서의 화질이 저화질에서 고화질로 변경된 경우에, 컨텐트영상의 화질을 유지하는 이유는 다음과 같다. 전자장치(1)에서 단일 컨텐트영상을 표시하는 것이 아니라, 컨텐트영상을 포함한 멀티뷰 영상을 표시하는 경우를 고려할 수 있다. 만일 컨텐트영상의 화질을 저화질에서 고화질로 변경하게 되면, 해당 컨텐트영상에 소요되는 자원의 양이 증가하게 되고, 멀티뷰 영상 내의 타 컨텐트영상이 자원 부족으로 인해 정상적으로 표시되지 않을 수도 있다. 이러한 상황을 방지하기 위해, 전자장치(1)는 570 단계에서 컨텐트영상의 화질을 변경하지 않는다.
580 단계에서 전자장치(1)는 컨텐트의 재생이 종료되었는지 여부를 식별하고, 상기한 프로세스를 컨텐트 재생 종료까지 수행한다.
또는, 설계 방식에 따라서는, 컨텐트영상이 저화질에서 고화질로 변경되는 경우에 추가로 소요되는 자원 사용량이 자원 잔여량보다 적다고 식별되면, 전자장치(1)는 컨텐트영상의 화질을 저화질에서 고화질로 변경할 수 있다. 반면에, 컨텐트영상이 저화질에서 고화질로 변경되는 경우에 추가로 소요되는 자원 사용량이 자원 잔여량보다 많다고 식별되면, 전자장치(1)는 컨텐트영상의 화질을 유지한다.
이상 실시예들에서 설명한 바와 같은 장치의 동작은, 해당 장치에 탑재된 인공지능에 의해 수행될 수 있다. 인공지능은 기계 학습 알고리즘을 활용하여 다양한 제반 시스템에 적용될 수 있다. 인공지능 시스템은 인간 수준 내지는 인간 수준에 버금가는 지능을 구현하는 컴퓨터 시스템으로서, 기계, 장치 또는 시스템이 자율적으로 학습하고 판단하며, 사용 경험의 누적에 기반하여 인식률 및 판단 정확도가 향상되는 시스템이다. 인공지능 기술은 입력되는 데이터들의 특징을 스스로 분류하고 학습하는 알고리즘을 이용한 기계학습 기술 및 알고리즘을 활용하여, 인간의 두뇌의 인지, 판단 등의 기능을 모사하는 요소 기술들로 구성된다.
요소 기술들은, 예를 들면 인간의 언어와 문자를 인식하는 언어적 이해 기술, 사물을 인간의 시각처럼 인식하는 시각적 이해 기술, 정보를 판단하여 논리적으로 추론하고 예측하는 추론 및 예측 기술, 인간의 경험 정보를 지식 데이터로 처리하는 지식 표현 기술, 차량의 자율 주행이나 로봇의 움직임을 제어하는 동작 제어 기술 중 적어도 어느 하나를 포함한다.
여기서, 언어적인 이해는 인간의 언어 또는 문자를 인식하고 응용 처리하는 기술로서, 자연어의 처리, 기계 번역, 대화 시스템, 질의 응답, 음성 인식 및 합성 등을 포함한다.
추론 예측은 정보를 판단하여 논리적으로 예측하는 기술로서, 지식 및 확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다.
지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 데이터의 생성 및 분류와 같은 지식 구축, 데이터의 활용과 같은 지식 관리 등을 포함한다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 이러한 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, USB 메모리장치와 같은 비휘발성 저장 장치, 또는 예를 들어 RAM, ROM, 플래시메모리, 메모리 칩, 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 본 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어의 기술 분야에서 숙련된 기술자에게 공지되어 사용 가능한 것일 수도 있다. 또는, 본 컴퓨터 프로그램 명령은 컴퓨터 프로그램 프로덕트에 의해 구현될 수도 있다.
1 : 전자장치
20 : 디스플레이부
50 : 프로세서
51 : 영상처리부
52 : 제어부

Claims (15)

  1. 전자장치에 있어서,
    디스플레이와,
    영상처리부와,
    복수의 특성 중 어느 하나의 특성을 가지는 컨텐트의 영상을 상기 디스플레이에 표시하기 위하여 상기 컨텐트의 특성에 대응하는 영상처리를 수행하도록 상기 영상처리부를 제어하고,
    상기 영상처리부의 전체 자원 가용량에 대비하여 상기 복수의 특성 별로 미리 정의된 상기 영상처리부의 영상처리에 관한 자원 사용량에 기초하여, 상기 컨텐트의 특성에 대응하는 자원 사용량을 식별하고,
    상기 컨텐트의 영상을 표시하는 중에 상기 식별된 자원 사용량을 나타내는 정보를 제공하도록 상기 디스플레이를 제어하는 제어부를 포함하는 전자장치.
  2. 제1항에 있어서,
    상기 특성은, 상기 컨텐트의 디코딩에 사용되는 코덱, 상기 컨텐트의 영상의 해상도, 상기 컨텐트의 영상의 프레임 레이트, 상기 컨텐트를 전송하기 위한 전송 규격 중 적어도 하나를 포함하는 전자장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 컨텐트의 메타데이터에 기초하여 상기 특성을 식별하는 전자장치.
  4. 제1항에 있어서,
    상기 제어부는, 상기 영상처리부의 가용한 자원 잔여량을 나타내는 정보를 더 제공하는 전자장치.
  5. 제1항에 있어서,
    상기 컨텐트는 제1컨텐트이고,
    상기 제어부는, 상기 제1컨텐트의 영상을 표시하는 중에 제2컨텐트의 영상의 추가 표시에 관한 요청을 수신하는 것에 응답하여, 상기 제1컨텐트의 영상 및 상기 제2컨텐트의 영상을 표시하고, 상기 제1컨텐트에 대한 자원 사용량 및 상기 제2컨텐트에대한 자원 사용량을 나타내도록 상기 정보를 표시하는 전자장치.
  6. 제1항에 있어서,
    상기 특성은 상기 컨텐트의 화질을 포함하고,
    상기 컨텐트는 제1컨텐트이고,
    상기 제어부는, 상기 제1컨텐트의 영상을 표시하는 중에 제2컨텐트의 영상의 추가 표시에 관한 요청을 수신하는 것에 응답하여, 상기 제2컨텐트의 특성에 대응하는 자원 사용량이 상기 전체 자원 가용량에서 상기 제1컨텐트의 자원 사용량을 제외한 자원 잔여량을 초과하는지 여부를 식별하고,
    상기 자원 사용량이 상기 자원 잔여량을 초과하는 것으로 식별되는 것에 기초하여, 상기 제1컨텐트의 영상의 화질을 낮추고, 상기 제2컨텐트의 영상을 표시하는 전자장치.
  7. 제1항에 있어서,
    상기 컨텐트는 제1컨텐트이고,
    상기 제어부는, 상기 복수의 특성 중에서, 상기 전체 자원 가용량에서 상기 제1컨텐트의 자원 사용량을 제외한 자원 잔여량에 대응하는 특성을 가진 제2컨텐트를 식별하고,
    상기 제1컨텐트의 영상과 함께, 상기 식별된 제2컨텐트의 선택 옵션을 제공하는 메뉴를 표시하는 전자장치.
  8. 제7항에 있어서,
    상기 메뉴는, 상기 식별된 제2컨텐트의 특성에 대응하는 자원 사용량의 정보를 포함하는 전자장치.
  9. 제8항에 있어서,
    상기 메뉴는 제1메뉴 및 제2메뉴를 포함하고,
    상기 제어부는,
    상기 제1메뉴의 선택에 응답하여, 상기 제1컨텐트의 영상의 표시를 중지하고, 상기 제2컨텐트의 영상을 표시하고,
    상기 제2메뉴의 선택에 응답하여, 상기 제2컨텐트의 영상을 상기 제1컨텐트의 영상과 함께 표시하는 전자장치.
  10. 제1항에 있어서,
    상기 특성은 상기 컨텐트의 화질을 포함하고,
    상기 제어부는,
    상기 컨텐트의 제1화질이 상기 제1화질보다 높은 제2화질로 변화하는 이벤트에 응답하여, 상기 제2화질에 대응하는 자원 사용량이 상기 전체 자원 가용량을 초과하는지 여부를 식별하고,
    상기 전체 자원 가용량을 초과하는 것으로 식별되는 것에 기초하여 상기 표시되는 상기 컨텐트의 화질을 유지하는 전자장치.
  11. 전자장치의 제어방법에 있어서,
    복수의 특성 중 어느 하나의 특성을 가지는 컨텐트의 영상을 디스플레이에 표시하기 위하여 상기 컨텐트의 특성에 대응하는 영상처리를 수행하도록 영상처리부를 제어하는 단계와,
    상기 영상처리부의 전체 자원 가용량에 대비하여 상기 복수의 특성 별로 미리 정의된 상기 영상처리부의 영상처리에 관한 자원 사용량에 기초하여 상기 컨텐트의 특성에 대응하는 자원 사용량을 식별하는 단계와,
    상기 컨텐트의 영상을 표시하는 중에 상기 식별된 자원 사용량을 나타내는 정보를 제공하는 단계를 포함하는 전자장치의 제어방법.
  12. 제11항에 있어서,
    상기 특성은, 상기 컨텐트의 디코딩에 사용되는 코덱, 상기 컨텐트의 영상의 해상도, 상기 컨텐트의 영상의 프레임 레이트, 상기 컨텐트를 전송하기 위한 전송 규격 중 적어도 하나를 포함하는 전자장치의 제어방법.
  13. 제12항에 있어서,
    상기 컨텐트의 메타데이터에 기초하여 상기 특성을 식별하는 전자장치의 제어방법.
  14. 제11항에 있어서,
    상기 영상처리부의 가용한 자원 잔여량을 나타내는 정보를 더 제공하는 전자장치의 제어방법.
  15. 제11항에 있어서,
    상기 컨텐트는 제1컨텐트이고,
    상기 제1컨텐트의 영상을 표시하는 중에 제2컨텐트의 영상의 추가 표시에 관한 요청을 수신하는 것에 응답하여, 상기 제1컨텐트의 영상 및 상기 제2컨텐트의 영상을 표시하고, 상기 제1컨텐트에대한 자원 사용량 및 상기 제2컨텐트에 대한 자원 사용량을 나타내도록 상기 정보를 표시하는 전자장치의 제어방법.
KR1020210115396A 2021-08-31 2021-08-31 전자장치 및 그 제어방법 KR20230032492A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210115396A KR20230032492A (ko) 2021-08-31 2021-08-31 전자장치 및 그 제어방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115396A KR20230032492A (ko) 2021-08-31 2021-08-31 전자장치 및 그 제어방법

Publications (1)

Publication Number Publication Date
KR20230032492A true KR20230032492A (ko) 2023-03-07

Family

ID=85513031

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115396A KR20230032492A (ko) 2021-08-31 2021-08-31 전자장치 및 그 제어방법

Country Status (1)

Country Link
KR (1) KR20230032492A (ko)

Similar Documents

Publication Publication Date Title
JP7470137B2 (ja) 視覚的特徴をサウンドタグに相関させることによるビデオタグ付け
US11638060B2 (en) Electronic apparatus and control method thereof
KR20200092465A (ko) 추천 컨텐츠 리스트 제공 방법 및 그에 따른 전자 장치
KR20160087649A (ko) 사용자 단말 장치, 시스템 및 그 제어 방법
KR102486625B1 (ko) 디스플레이장치 및 그 제어방법
US11429339B2 (en) Electronic apparatus and control method thereof
US20170142484A1 (en) Display device, user terminal device, server, and method for controlling same
US11297293B2 (en) Electronic device and control method thereof
US11157146B2 (en) Display apparatus and control method thereof for providing preview content
US10996910B2 (en) Display apparatus and control method thereof
KR20230032492A (ko) 전자장치 및 그 제어방법
KR20210027991A (ko) 전자장치 및 그 제어방법
US20210027743A1 (en) Display apparatus and control method thereof
KR102668429B1 (ko) 전자장치 및 그 제어방법
KR20230069475A (ko) 전자장치 및 그 제어방법
KR20220023453A (ko) 디스플레이장치 및 그 제어방법
KR20240074730A (ko) 전자장치 및 그 제어방법
US20220334788A1 (en) Electronic apparatus and control method thereof
US11747779B2 (en) Electronic apparatus and control method thereof
KR102536333B1 (ko) 개용 인터랙티브 표시 시스템, 이의 동작 방법 및 개용 인터랙티브 표시 장치
US11893980B2 (en) Electronic apparatus and control method thereof
US11586279B2 (en) Display apparatus and control method thereof
US11106952B2 (en) Alternative modalities generation for digital content based on presentation context
KR20220169695A (ko) 전자장치 및 그 제어방법