KR20190010129A - 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 - Google Patents

디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 Download PDF

Info

Publication number
KR20190010129A
KR20190010129A KR1020170092468A KR20170092468A KR20190010129A KR 20190010129 A KR20190010129 A KR 20190010129A KR 1020170092468 A KR1020170092468 A KR 1020170092468A KR 20170092468 A KR20170092468 A KR 20170092468A KR 20190010129 A KR20190010129 A KR 20190010129A
Authority
KR
South Korea
Prior art keywords
video
image
frame
service server
resolution
Prior art date
Application number
KR1020170092468A
Other languages
English (en)
Other versions
KR102383117B1 (ko
Inventor
이영호
이호남
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020170092468A priority Critical patent/KR102383117B1/ko
Priority to PCT/KR2018/005779 priority patent/WO2019017579A1/ko
Priority to EP18835036.7A priority patent/EP3637785A4/en
Priority to US16/632,674 priority patent/US11284132B2/en
Priority to CN201880047854.1A priority patent/CN110915225A/zh
Publication of KR20190010129A publication Critical patent/KR20190010129A/ko
Priority to US17/665,502 priority patent/US20220174340A1/en
Application granted granted Critical
Publication of KR102383117B1 publication Critical patent/KR102383117B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64746—Control signals issued by the network directed to the server or the client
    • H04N21/64761—Control signals issued by the network directed to the server or the client directed to the server
    • H04N21/64769—Control signals issued by the network directed to the server or the client directed to the server for rate control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44209—Monitoring of downstream path of the transmission network originating from a server, e.g. bandwidth variations of a wireless network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64723—Monitoring of network processes or resources, e.g. monitoring of network load

Abstract

디스플레이 장치는 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부; 상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및 상기 영상 프레임을 표시하는 영상 표시부를 포함하고, 상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.

Description

디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템{DISPLAY APPARATUS, DISPLAY METHOD AND DISPLAY SYSTEM}
개시된 발명은 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 스트리밍 서비스가 가능한 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템에 관한 발명이다.
일반적으로 영상 디스플레이 장치는, 디스플레이 패널을 구비하여 다양한 포맷의 영상 데이터를 표시할 수 있는 장치이다.
예를 들어, 영상 디스플레이 장치는, 방송국, 인터넷 서버, 영상 재생 장치, 게임 장치 및/또는 휴대용 단말기 등 다양한 컨텐츠 소스로부터 컨텐츠 데이터를 수신할 수 있다. 또한, 영상 디스플레이 장치는 컨텐츠 데이터로부터 영상 프레임을 복원(또는 디코딩)하고, 복원된 영상 프레임을 디스플레이 패널에 표시할 수 있다.
최근, 컨텐츠의 스트리밍 서비스가 널리 제공되고 있다. 스트리밍 서비스는 인터넷 등 통신 네트워크를 통하여 실시간으로 컨텐츠를 제공하는 서비스이다.
스트리밍 서비스는 가정의 텔레비전, 데스크-탑 컴퓨터 또는 랩-탑 컴퓨터 등 가정 내의 디스플레이 장치에 한정되어 제공되는 것은 아니며, 디스플레이 장치를 이용한 실외 대형 광고판에도 광고를 위한 스트리밍 서비스가 제공될 수 있다.
이러한 스트리밍 서비스의 품질은 통신 네트워크의 트래픽에 크게 영향을 받을 수 있다.
개시된 발명의 일 측면은 스트리밍 서비스 중에 네트워크 트래픽이 증가하더라도 사용자가 체감하는 화질의 저하를 최소화할 수 있는 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템을 제공하고자 한다.
개시된 발명의 일 측면에 따른 디스플레이 장치는 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부; 상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및 상기 영상 프레임을 표시하는 영상 표시부를 포함하고, 상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 비디오 컨텐츠의 메타 데이터를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 영상 프레임의 모션 벡터들을 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 작으면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위 이내에 분포하면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위를 벗어나 분포하면 상기 영상 처리부는 상기 해상도 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 영상 처리부는 상기 영상 프레임의 깊이 지도를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력할 수 있다.
상기 디스플레이 장치는 상기 디스플레이 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고, 상기 영상 처리부는 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
개시된 발명의 일 측면에 따른 디스플레이 방법은 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고; 상기 비디오 컨텐츠를 영상 프레임으로 디코딩하고; 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하고; 상기 영상 프레임을 표시하는 것을 포함할 수 있다.
상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중 어느 하나를 전송하는 것은, 상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어도 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 것을 포함할 수 있다.
상기 디스플레이 방법은 상기 디스플레이 장치의 주변 조도를 측정하고; 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 것을 더 포함할 수 있다.
상기 디스플레이 방법은 상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 것을 더 포함할 수 있다.
상기 디스플레이 방법은 상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 것을 더 포함할 수 있다.
개시된 발명의 일 측면에 따른 디스플레이 시스템은 게이트웨이 서버를 거쳐 비디오 컨텐츠를 전송하는 비디오 서비스 서버; 및 상기 비디오 컨텐츠에 대응하는 영상 프레임을 표시하고, 상기 게이트웨이 서버로부터 트래픽 증가 신호가 수신되면 상기 비디오 서비스 서버로 비디오 해상도 저감 신호와 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치를 포함하고, 상기 비디오 서비스 서버는 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 비디오 해상도 저감 신호에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하고, 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 프레임 레이트 저감 신호에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송할 수 있다.
상기 디스플레이 장치는 상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 선택하고, 선택된 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 디스플레이 장치는 주변 조도를 측정하고 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력할 수 있다.
상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력할 수 있다.
개시된 발명의 일 측면에 따르면, 스트리밍 서비스 중에 네트워크 트래픽이 증가하더라도 사용자가 체감하는 화질의 저하를 최소화할 수 있는 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템을 제공할 수 있다.
도 1 및 도 2는 일 실시예에 의한 디스플레이 장치 및 컨텐츠 소스를 도시한다.
도 3는 일 실시예에 의한 디스플레이 장치의 구성을 도시한다.
도 4은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 구성을 도시한다.
도 5는 일 실시예에 의한 디스플레이 장치의 동작의 일 예를 도시한다.
도 6은 일 실시예에 의한 디스플레이 장치의 모션 특성/깊이 특성의 판단 방법을 도시한다.
도 7은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 추정하는 일 예를 도시한다.
도 8은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 기초로 영상의 특성을 판단하는 일 예를 도시한다.
도 9는 도 6에 도시된 판단 방법에 의하여 소실점을 추정하는 일 예를 도시한다.
도 10은 도 6에 도시된 판단 방법에 의하여 전방 객체를 추정하는 일 예를 도시한다.
도 11은 일 실시예에 의한 디스플레이 장치의 동작의 다른 일 예를 도시한다.
도 12는 일 실시예에 의한 디스플레이 장치의 비디오 해상도 저감과 프레임 레이트 저감에 따른 동작을 도시한다.
도 13은 도 12에 도시된 비디오 해상도 저감에서 영상을 디코딩하는 일 예를 도시한다.
도 14은 도 12에 도시된 프레임 레이트 저감에서 영상을 디코딩하는 일 예를 도시한다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, 어떤 부재가 다른 부재 "상에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1 및 도 2는 일 실시예에 의한 디스플레이 장치 및 컨텐츠 소스를 도시한다.
디스플레이 장치(100)는 도 1에 도시된 바와 같이 텔레비전, 모니터, 디스플레이 단말기, 휴대용 단말기, 노트북 컴퓨터 등 실내에 마련되어 영상을 표시하는 장치일 수 있다.
뿐만 아니라, 디스플레이 장치(100)는 도 2에 도시된 바와 같이 건물 옥상이나 버스 정류장과 같은 옥외에 설치되는 대형 디스플레이 장치(Large Format Display, LFD)일 수 있다. 여기서, 옥외는 반드시 야외로 한정되는 것은 아니며, 지하철역, 쇼핑몰, 영화관, 회사, 상점 등 실내이더라도 다수의 사람들이 드나들 수 있는 곳이면 일 실시예에 따른 디스플레이 장치(100)가 설치될 수 있다.
디스플레이 장치(100)는 다양한 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신하고, 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
예를 들어, 디스플레이 장치(100)는 방송 수신 안테나 또는 유선 케이블을 통하여 텔레비전 방송 컨텐츠를 수신할 수 있다. 디스플레이 장치(100)는 텔레비전 방송 컨텐츠에 포함된 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
또한, 디스플레이 장치(100)는 영상 재생 장치로부터 컨텐츠를 수신할 수 있다. 영상 재상 장치는 영화, 스포츠, 등의 다양한 컨텐츠가 저장된 기록 매체를 재생할 수 있다. 디스플레이 장치(100)는 영상 재생 장치로부터 비디오 신호 및 오디오 신호를 수신하고, 비디오 신호와 오디오 신호에 대응하는 비디오와 오디오를 출력할 수 있다.
특히, 도 1 및 도 2에 도시된 바와 같이 디스플레이 장치(100)는 컨텐츠 제공자(content provider, CP)의 비디오 서비스 서버(2)로부터 비디오 컨텐츠를 수신할 수 있다.
컨텐츠 제공자는 비디오 서비스 서버(2)를 이용하여 광역 네트워크를 통하여 다양한 비디오 컨텐츠를 제공할 수 있다. 비디오 서비스 서버(2)는 영화, 드라마, 스포츠 등의 다양한 비디오 컨텐츠를 저장하며, 광역 네트워크(예를 들어, 인터넷)을 통하여 비디오 컨텐츠 데이터를 실시간으로 전송할 수 있다. 다시 말해, 비디오 서비스 서버(3)는 비디오 컨텐츠의 스트리밍 서비스를 제공할 수 있다.
디스플레이 장치(100)는 인터넷 서비스 제공자(internet service provider, ISP)가 제공하는 네트워크를 통하여 광역 네트워크에 접속할 수 있다.
인터넷 서비스 제공자는 복수의 단말기가 연결되는 네트워크를 제공할 수 있으며, 게이트웨이 서버(gateway server) (1)를 이용하여 인터넷 서비스 제공자의 네트워크와 광역 네트워크를 중계할 수 있다. 이때, 게이트웨이 서버(1)는 라우터(router), 스위치(switch), 브리지(bridge), 네트워크 허브(network hub), 리피터(repeater) 등 다양한 다른 명칭으로 불릴 수 있다.
인터넷 서비스 제공자의 게이트웨이 서버(1)는 디스플레이 장치(100)가 광역 네트워크(예를 들어, 인터넷)에 접속하기 위한 관문 역할을 할 수 있다. 디스플레이 장치(100)는 인터넷 서비스 제공자가 제공하는 게이트웨이 서버(1)를 통하여 인터넷에 접속할 수 있으며, 게이트웨이 서버(1)를 통하여 비디오 서비스 서버(3)로부터 비디오 컨텐츠를 수신할 수 있다.
게이트웨이 서버(1)는 인터넷 서비스 제공자가 제공하는 네트워크의 트래픽을 통제할 수 있다. 예를 들어, 게이트웨이 서버(1)는 복수의 게이트웨이들을 포함할 수 있으며, 트래픽을 복수의 게이트웨이들에 분산할 수 있다.
또한, 게이트웨이 서버(1)는 인터넷 서비스 제공자의 네트워크를 모니터하고, 네트워크 트래픽에 관한 정보를 디스플레이 장치(100) 및/또는 비디오 서비스 서버(2)에 제공할 수 있다.
비디오 서비스 서버(2)는 다양한 비디오 컨텐츠를 저장할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 영화, 스포츠, 등의 다양한 비디오 컨텐츠를 저장할 수 있다.
비디오 서비스 서버(2)는 비디오 컨텐츠에 포함된 비디오(연속적인 영상 프레임)와 오디오를 인터넷 서비스 제공자의 네트워크를 거쳐 디스플레이 장치(100)로 전송할 수 있다. 이때, 인터넷 서비스 제공자의 네트워크 대역폭이 제한되므로, 비디오 서비스 서버(2)는 비디오와 오디오를 압축 및 부호화(이하에서는 압축 및 부호화를 일체로 '인코딩'이라 한다)하고, 인코딩된 비디오 데이터와 오디오 데이터를 디스플레이 장치(100)로 전송할 수 있다.
비디오 서비스 서버(2)는 비디오 컨텐츠를 실시간으로 전송하기 위하여 비디오와 오디오를 '스트림' 형태(이하에서는 '데이터 스트림'이라 한다)로 인코딩할 수 있다. '인코딩'은 전송되는 비디오 컨텐츠의 용량을 감소시키기 위하여 비디오 컨텐츠를 압축하는 것을 포함할 수 있으며, 예를 들어 MPEG (Moving Picture Experts Group), HEVC (High Efficiency Video Coding) 등의 표준을 이용할 수 있다. '데이터 스트림'은 시간적으로 연속되는 데이터(또는 비트)의 연속일 수 있다. 연속적인 데이터 스트림은 비디오와 오디오를 담고 있으며, 연속적인 데이터 스트림으로부터 비디오와 오디오가 복원될 수 있다. 디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신하고, 데이터 스트림을 압축 해제 및 복호화(이하에서는 압축 및 부호화를 일체로 '디코딩'이라 한다)하고, 디코딩된 비디오와 오디오를 출력할 수 있다.
비디오 서비스 서버(2)는 인터넷 서비스 제공자의 게이트웨이 서버(1)로부터 네트워크 트래픽에 관한 정보를 수신할 수 있으며, 네트워크 트래픽에 따라 비디오와 오디오를 다르게 인코딩할 수 있다.
예를 들어, 네트워크의 트래픽이 증가하면 비디오 서비스 서버(2)와 디스플레이 장치(100) 사이의 네트워크 대역폭이 감소할 수 있다. 다시 말해, 네트워크의 트래픽이 증가하면 비디오 서비스 서버(2)와 디스플레이 장치(100) 사이의 데이터의 전송 속도 즉 단위 시간 당 전송할 수 있는 데이터의 양이 감소할 수 있다.
네트워크 대역폭이 감소하더라도 원활한 비디오 재생을 위하여 비디오 서비스 서버(2)는 비디오의 해상도를 감소시키거나, 비디오의 프레임 레이트를 감소시킬 수 있다.
비디오 서비스 서버(2)는 다양한 비디오 해상도를 가지는 비디오 컨텐츠를 제공할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 서로 다른 비디오 해상도를 가지는 동일한 내용의 비디오 컨텐츠를 저장할 수 있다. 다른 예로, 비디오 서비스 서버(2)는 비디오 컨텐츠의 전송 시에 비디오 컨텐츠의 비디오 해상도를 변경할 수도 있다.
비디오 해상도는 비디오를 구성하는 영상 프레임의 픽셀 개수를 나타낼 수 있다. 예를 들어, UHD (Ultra High Definition) 해상도의 영상은 3,840ㅧ2,160 개의 픽셀을 가지며, QHD (Quad High Definition) 해상도의 영상은 2560ㅧ1440개의 픽셀을 가진다. 또한, FHD (Full High Definition) 해상도의 영상은 1920ㅧ1080개의 픽셀을 가지며, HD (High Definition) 해상도의 영상은 1280ㅧ720개의 픽셀을 가진다.
비디오 해상도가 감소됨에 따라 비디오의 크기(또는 용량)이 감소되며, 비디오의 전송 시에 단위 시간 당 전송되는 데이터 양이 감소할 수 있다. 따라서, 비디오 서비스 서버(2)는 네트워크의 트래픽이 증가하면(즉, 단위 시간 당 전송 가능한 데이터의 양이 감소하면) 비디오가 끊김 없이 재생되도록 비디오 해상도를 감소시킬 수 있다.
이처럼, 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 기준 비디오 해상도보다 낮은 비디오 해상도를 가지는 비디오 컨텐츠를 전송할 수 있다. 다시 말해, 네트워크 대역폭의 감소에 응답하여 비디오 서비스 서버(2)는 동일한 내용의 비디오 컨텐츠를 연속하여 전송하되, 저해상도의 비디오 컨텐츠를 전송할 수 있다.
비디오 서비스 서버(2)는 다양한 프레임 레이트를 가지는 비디오 컨텐츠를 제공할 수 있다. 예를 들어, 비디오 서비스 서버(2)는 서로 다른 프레임 레이트를 가지는 동일한 내용의 비디오 컨텐츠를 저장할 수 있다. 다른 예로, 비디오 서비스 서버(2)는 비디오 컨텐츠의 전송 시에 비디오 컨텐츠의 프레임 레이트를 변경할 수 있다.
비디오의 프레임 레이트는 비디오를 구성하는 단위 시간 당 영상 프레임의 개수를 나타낼 수 있다. 예를 들어, 60fps (frames per second)는 1초당 60장의 영상 프레임을 표시하는 것을 나타내며, 30fps는 1초당 30장의 영상 프레임을 표시하는 것을 나타낼 수 있다.
비디오의 프레임 레이트가 감소됨에 따라 비디오의 전송 시에 단위 시간 당 전송되는 데이터 양이 감소할 수 있다. 따라서, 비디오 서비스 서버(2)는 네트워크의 트래픽이 증가하면(즉, 단위 시간 당 전송 가능한 데이터의 양이 감소하면) 비디오가 끊김 없이 재생되도록 비디오의 프레임 레이트를 감소시킬 수 있다.
이처럼, 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송할 수 있다. 다시 말해, 네트워크 대역폭의 감소에 응답하여 비디오 서비스 서버(2)는 동일한 내용의 비디오 컨텐츠를 연속하여 전송하되, 낮은 프레임 레이트의 비디오 컨텐츠를 전송할 수 있다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 비디오 신호와 오디오 신호를 수신할 수 있으며, 비디오 신호를 비디오(복수의 영상 프레임들)로 디코딩하고, 비디오의 영상 프레임들을 표시할 수 있다.
또한, 디스플레이 장치(100)는 네트워크 트래픽 증가에 따른 비디오 컨텐츠의 비디오 해상도 저감 또는 비디오 컨텐츠의 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 구체적으로, 디스플레이 장치(100)는 네트워크 트래픽 증가에 응답하여 비디오 컨텐츠의 해상도를 감소시킬지(이하 '비디오 해상도 저감'라 한다) 또는 네트워크 트래픽 증가에 응답하여 비디오 컨텐츠의 프레임 레이트를 감소시킬지(이하 '프레임 레이트 저감'라 한다)를 선택할 수 있다.
예를 들어, 디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신되는 컨텐츠의 특성 및 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하고, 선택된 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 트래픽 신호에 따라 비디오 해상도가 감소된 비디오 컨텐츠를 전송하거나 프레임 레이트가 감소된 비디오 컨텐츠를 전송할 수 있다. 예를 들어, 디스플레이 장치(100)에 의하여 비디오 해상도 저감이 선택되면 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 비디오 해상도가 감소된 비디오 컨텐츠를 전송할 수 있고, 그리고 디스플레이 장치(100)에 의하여 프레임 레이트 저감이 선택되면 비디오 서비스 서버(2)는 네트워크 트래픽 증가에 응답하여 프레임 레이트가 감소된 비디오 컨텐츠를 전송할 수 있다.
이하에서는 디스플레이 장치(100)의 구성 및 동작이 설명된다.
도 3는 일 실시예에 의한 디스플레이 장치의 구성을 도시한다. 도 4은 일 실시예에 의한 디스플레이 장치에 포함된 영상 처리부의 구성을 도시한다.
도 3에 도시된 바와 같이, 디스플레이 장치(100)는 사용자 입력을 수신하는 입력부(110)와, 디스플레이 장치(100) 주변의 환경 정보를 수집하는 감지부(120)와, 입력부(110) 및 감지부(120)로부터의 입력을 영상 처리부(160)에 제공하는 제어부(130)와, 컨텐츠 소스들로부터 컨텐츠 데이터를 수신하는 컨텐츠 수신부(140)와, 컨텐츠 수신부(140)에 의하여 수신된 컨텐츠 데이터에 포함된 영상 데이터를 처리하는 영상 처리부(160)와, 영상 처리부(160)에 의하여 처리된 영상을 표시하는 영상 표시부(170)와, 영상 처리부(160)에 의하여 처리된 음향을 출력하는 음향 출력부(180)를 포함한다.
입력부(110)는 사용자 입력을 수신하는 입력 버튼들(111)을 포함할 수 있다. 예를 들어, 입력부(110)는 디스플레이 장치(100)를 턴온 또는 턴오프시키기 위한 전원 버튼, 디스플레이 장치(100)에 표시되는 방송 컨텐츠를 선택하기 위한 채널 선택 버튼, 디스플레이 장치(100)가 출력하는 음향의 볼륨을 조절하기 위한 음향 조절 버튼, 컨텐츠 소스를 선택하기 위한 소스 선택 버튼 등을 포함할 수 있다.
입력 버튼들(111)는 각각 사용자 입력을 수신하고, 사용자 입력에 대응하는 전기적 신호를 제어부(130)로 출력할 수 있다.
입력 버튼들(111)은 푸시 스위치, 터치 스위치, 다이얼, 슬라이드 스위치, 토글 스위치 등 다양한 입력 수단에 의하여 구현될 수 있다.
사용자 입력을 수신하는 리모트 컨트롤러가 디스플레이 장치(100)와 분리되어 마련될 수 있다. 리모트 컨트롤러는 사용자 입력을 수신하고, 사용자 입력에 대응하는 무선 신호를 디스플레이 장치(100)로 전송할 수 있다. 입력부(110)는 리모트 컨트롤러로부터 사용자 입력을 무선으로 수신할 수 있다.
감지부(120)는 디스플레이 장치(100) 주변의 환경에 관한 정보 즉, 사용자의 시청 환경에 관한 정보를 수집할 수 있다. 예를 들어, 감지부(120)는 디스플레이 장치(100) 주변의 조도를 측정하는 조도 센서(121)를 포함할 수 있다.
조도 센서(121)는 주변 밝기에 따라 서로 다른 전기적 신호를 출력할 수 있다. 구체적으로, 조도 센서(121)는 주변 밝기를 감지하고, 주변 밝기에 대응하는 전기적 신호를 제어부(130)로 출력할 수 있다.
조도 센서(121)는 주변 밝기에 따라 전기적 저항값이 변화하는 황화카드뮴(CdS) 센서를 포함하거나, 주변 밝기에 따라 서로 다른 전압을 출력하는 포토다이오드 소자를 포함할 수 있다.
제어부(130)는 입력부(110)를 통한 사용자 입력 및 감지부(120)의 감지 결과를 처리하고, 처리 결과를 영상 처리부(160)에 제공할 수 있다. 예를 들어, 입력부(110)를 통하여 컨텐츠 소스가 선택되면, 제어부(130)는 선택된 컨텐츠 소스로부터 컨텐츠를 수신하도록 컨텐츠 수신부(140) 및/또는 영상 처리부(160)에 제어 신호를 출력할 수 있다.
제어부(130)는 사용자 입력 및/또는 감지 결과에 따라 제어 신호를 생성하는 마이크로 컨트롤러(131)를 포함할 수 있다. 예를 들어, 마이크로 컨트롤러(131)는 사용자 입력에 따라 컨텐츠 소스를 선택하기 위한 컨텐츠 선택 신호를 생성할 수 있으며, 컨텐츠 선택 신호를 영상 처리부(160)로 출력할 수 있다.
마이크로 컨트롤러(131)는 논리 연산 및 산술 연산 등을 수행하는 연산 회로(ALU)와, 연산된 데이터를 기억하는 기억 회로(S-램, D-램 등의 휘발성 메모리 및 롬, 이피롬, 이이피롬, 플래시 메모리 등의 비휘발성 메모리) 등을 포함할 수 있다.
컨텐츠 수신부(140)는 컨텐츠 소스들로부터 컨텐츠 데이터를 수신하는 입력 단자들(141) 및 튜너(142)를 포함할 수 있다.
입력 단자들(141)은 케이블을 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있다. 다시 말해, 디스플레이 장치(100)는 입력 단자들(141)을 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있다.
입력 단자들(141)은 예를 들어 컴포넌트(component, YPbPr/RGB) 단자, 컴포지트 (composite video blanking and sync, CVBS) 단자, 오디오 단자, 고화질 멀티미디어 인터페이스 (High Definition Multimedia Interface, HDMI) 단자, 범용 직렬 버스(Universal Serial Bus, USB) 단자 등을 포함할 수 있다.
튜너(142)는 방송 신호를 수신하고, 방송 신호 중에 사용자에 의하여 선택된 채널의 방송 신호를 추출할 수 있다. 예를 들어, 튜너(142)는 방송 수신 안테나 또는 유선 케이블을 통하여 수신된 복수의 방송 신호 중에 사용자에 의하여 선택된 채널에 해당하는 주파수를 가지는 방송 신호를 통과시키고, 다른 주파수를 가지는 방송 신호를 차단할 수 있다.
이처럼, 컨텐츠 수신부(140)는 입력 단자들(141) 및/또는 튜너(142)를 통하여 컨텐츠 소스들로부터 비디오 신호와 오디오 신호를 수신할 수 있으며, 입력 단자들(141) 및/또는 튜너(142)를 통하여 수신된 비디오 신호와 오디오 신호를 영상 처리부(160)로 출력할 수 있다.
또한, 사용자는 입력부(110)를 통하여 복수의 컨텐츠 소스들 중에 어느 하나를 선택할 수 있으며, 사용자의 선택에 따라 제어부(130)는 컨텐츠 수신부(140) 및/또는 영상 처리부(160)에 컨텐츠 선택 신호를 출력할 수 있다.
통신부(150)는 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있는 유선 통신 모듈(151)과 무선 통신 모듈(152)을 포함할 수 있다.
유선 통신 모듈(151)은 디스플레이 장치(100)로부터 인터넷 서비스 제공자의 게이트웨이 서버(1)까지 연결된 케이블을 통하여 게이트웨이 서버(1)에 접속할 수 있다. 예를 들어, 유선 통신 모듈(151)은 이더넷(Ethernet, IEEE 802.3 기술 표준)을 통하여 게이트웨이 서버(1)와 통신할 수 있다.
유선 통신 모듈(151)은 게이트웨이 서버(1)를 거쳐 광역 네트워크 상의 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다.
무선 통신 모듈(152)은 게이트웨이 서버(1)와 연결된 접속 중계기(Access Point, AP) (또는 사용자의 게이트웨이)와 무선으로 통신할 수 있다. 예를 들어, 무선 통신 모듈(152)은 와이파이(WiFi™, IEEE 802.11 기술 표준) 또는 블루투스 (Bluetooth™, IEEE 802.15.1 기술 표준) 또는 지그비(ZigBee™, IEEE 802.15.4 기술 표준)을 통하여 접속 중계기와 통신할 수 있다. 또한, 접속 중계기는 게이트웨이 서버(1)로 연결될 수 있다.
무선 통신 모듈(152)은 접속 중계기와 게이트웨이 서버(1)를 거쳐 광역 네트워크 상의 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다.
이처럼, 통신부(150)는 게이트웨이 서버(1)를 거쳐 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있으며, 디스플레이 장치(100)는 통신부(150)를 통하여 비디오 서비스 서버(2)로부터 컨텐츠가 포함된 데이터 스트림을 수신할 수 있다. 예를 들어, 통신부(150)에 의하여 수신된 데이터 스트림은 영상 처리부(160)로 입력될 수 있다.
또한, 디스플레이 장치(100)는 통신부(150)를 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
영상 처리부(160)는 컨텐츠 수신부(140)로부터 수신된 비디오/오디오의 데이터 스트림을 처리하고, 영상 프레임 데이터와 음향 데이터를 생성할 수 있다. 구체적으로, 영상 처리부(160)는 비디오 데이터 스트림을 영상 프레임으로 디코딩하고, 오디오 데이터 스트림을 음향 데이터로 디코딩할 수 있다.
또한, 영상 처리부(160)는 영상 프레임 데이터를 영상 표시부(170)로 출력하고, 음향 데이터를 음향 출력부(180)로 출력할 수 있다.
영상 처리부(160)는 도 3에 도시된 바와 같이 구조적으로 그래픽 프로세서(161)와, 그래픽 메모리(162)를 포함할 수 있다.
그래픽 메모리(162)는 영상 처리를 위한 프로그램 및 데이터를 저장할 수 있다. 예를 들어, 그래픽 메모리(162)는 비디오 디코딩을 위한 프로그램 및 데이터를 저장하거나, 그래픽 프로세서(161)의 영상 처리 중에 발생하는 영상 데이터를 임시로 기억할 수 있다. 다시 말해, 그래픽 메모리(162)는 영상 버퍼로써 동작할 수 있다.
그래픽 메모리(162)는 데이터를 장기간 저장하기 위한 롬(Read Only Memory), 이피롬(Erasable Programmable Read Only Memory: EPROM), 이이피롬(Electrically Erasable Programmable Read Only Memory: EEPROM) 등의 비휘발성 메모리와, 데이터를 일시적으로 기억하기 위한 S-램(Static Random Access Memory, S-RAM), D-램(Dynamic Random Access Memory) 등의 휘발성 메모리를 포함할 수 있다.
그래픽 프로세서(161)는 영상 처리를 수행할 수 있다. 예를 들어, 그래픽 프로세서(161)는 그래픽 메모리(162)에 저장된 프로그램 및 데이터에 따라 데이터 스트림을 영상 프레임으로 디코딩할 수 있다. 또한, 그래픽 프로세서(161)는 영상 데이터를 그래픽 메모리(162)에 임시로 저장하고, 그래픽 메모리(162)로부터 영상 데이터를 불러올 수 있다.
그래픽 프로세서(161)는 논리 연산 및 산술 연산 등을 수행하는 연산 회로(Arithmetic logic unit, ALU)와, 데이터를 기억하는 기억 회로(예를 들어, 레지스터)와, 그래픽 프로세서(161)의 동작을 제어하는 제어 회로 등을 포함할 수 있다.
또한, 영상 처리부(160)는 도 4에 도시된 바와 같이 기능적으로 데이터 스트림의 메타 데이터를 분석하는 메타 분석기(210)와, 데이터 스트림을 영상 프레임 데이터로 디코딩하는 비디오 디코더(220)와, 영상 프레임을 일시 기억하는 프레임 버퍼(230)와, 영상 프레임을 보완하는 영상 보완기(250)와, 영상 프레임을 분석하는 영상 분석기(240)와, 데이터 스트림을 음향 데이터로 디코딩하는 오디오 디코더(260)를 포함한다.
메타 분석기(210)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 추출할 수 있다.
메타 데이터는 데이터 스트림에 포함된 컨텐츠 자체에 관한 정보와, 컨텐츠의 비디오에 관한 정보와, 컨텐츠의 오디오에 관한 정보를 포함할 수 있다. 예를 들어, 메타 데이터는 컨텐츠 자체에 관한 정보로서 컨텐츠의 제목, 컨텐츠의 타입, 컨텐츠의 장르, 컨텐츠의 제작자 등을 포함할 수 있다. 메타 데이터는 비디오에 관한 정보로서 비디오의 인코딩 코덱(codec), 비디오의 해상도, 비디오의 프레임 레이트 등을 포함할 수 있다. 또한, 메타 데이터는 오디오에 관한 정보로서 오디오의 인코딩 코덱, 오디오의 주파수 대역폭, 오디오의 채널 개수 등을 포함할 수 있다.
메타 분석기(210)는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 기억할 수 있다.
비디오 디코더(220)는 비디오에 관한 메타 데이터를 기초로 비디오 디코딩 옵션을 설정할 수 있다. 오디오 디코더(260)는 오디오에 관한 메타 데이터를 기초로 오디오 디코딩 옵션을 설정할 수 있다. 영상 보완기(250)는 비디오에 관한 메타 데이터를 기초로 영상 프레임을 보완할 수 있다. 또한, 영상 분석기(240)는 컨텐츠에 관한 메타 데이터를 기초로 비디오의 영상 특성을 판단할 수 있다.
비디오 디코딩 옵션은 데이터 스트림을 영상 프레임 데이터으로 디코딩하기 위한 설정값을 나타낼 수 있으며, 비디오 서비스 서버(2)에서 설정된 비디오 인코딩 옵션에 따라 결정될 수 있다. 예를 들어, 비디오 인코딩 옵션은 모션 추정 알고리즘(motion estimation algorithm), 인코딩 모드(rate control), 비트레이트(bitrate) 등을 포함할 수 있으며, 비디오 인코딩 옵션에 의하여 비디오 디코딩 옵션이 결정될 수 있다.
오디오 디코딩 옵션은 데이터 스트림을 오디오 데이터로 디코딩하기 위한 설정값을 나타낼 수 있으며, 비디오 서비스 서버(2)에서 설정된 오디오 인코딩 옵션에 따라 결정될 수 있다.
비디오 디코더(220)는 데이터 스트림을 디코딩하고, 영상 프레임 데이터를 복원할 수 있다. 구체적으로, 비디오 디코더(220)는 메타 데이터를 기초로 비디오 디코딩 옵션을 설정하고, 설정된 비디오 디코딩 옵션에 따라 데이터 스트림을 디코딩하고 영상 프레임을 복원할 수 있다. 예를 들어, 비디오 디코더(220)는 MPEG (Moving Picture Experts Group)-2, MPEG4-4, HEVC (High Efficiency Video Coding) 등의 디지털 영상 압축 알고리즘을 이용하여 데이터 스트림을 영상 프레임 데이터로 디코딩할 수 있다.
프레임 버퍼(230)는 비디오 디코더(220)에 의하여 디코딩된 영상 프레임들을 저장할 수 있다. 예를 들어, 프레임 버퍼(230)는 영상 처리부(160)로부터 출력되는 영상 프레임을 기준으로 '현재 영상 프레임(현재 출력되는 영상 프레임)'과, '과거 영상 프레임(이미 출력된 영상 프레임)'과, '미리 영상 프레임(디코딩되고 출력되지 아니한 영상 프레임)'을 저장할 수 있다.
프레임 버퍼(230)는 앞서 설명된 그래픽 메모리(162)로 구현될 수 있다.
영상 분석기(240)는 프레임 버퍼(230)에 저장된 영상 프레임들과 컨텐츠의 메타 데이터를 기초로 컨텐츠의 영상 특성 및/또는 컨텐츠의 고유 특성을 판단할 수 있다. 예를 들어, 영상 분석기(240)는 영상 프레임들로부터 영상의 모션 특성 및 깊이 특성을 판단하고, 모션 특성 및 깊이 특성으로부터 컨텐츠의 영상 특성을 판단할 수 있다. 영상 분석기(240)는 컨텐츠의 메타 데이터를 기초로 컨텐츠의 타입 및/또는 장르 등의 고유 특성을 판단할 수 있다. 또한, 영상 분석기(240)는 제어부(130)로부터 감지부(120)의 감지 결과 즉 사용자의 시청 환경에 관한 정보를 수신할 수 있다. 예를 들어, 영상 분석기(240)는 제어부(130)로부터 디스플레이 장치(100) 주변의 조도값에 관한 정보를 수신할 수 있다.
영상 분석기(240)는 컨텐츠의 영상 특성과 컨텐츠의 고유 특성과 사용자의 시청 환경(예를 들어, 조도값)을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 또한, 영상 분석기(240)는 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 통신부(150)를 통하여 비디오 서비스 서버(2)로 전송할 수 있다.
영상 보완기(250)는 비디오 해상도가 저감되거나 프레임 레이트가 저감된 영상 프레임을 보완할 수 있다. 예를 들어, 비디오 서비스 서버(2)로부터 비디오 해상도가 저감된 비디오가 수신되면 영상 보완기(250)는 영상 프레임의 비디오 해상도를 보완하고, 비디오 서비스 서버(2)로부터 프레임 레이트가 저감된 비디오가 수신되면 영상 보완기(250)는 영상 프레임의 프레임 레이트를 보완할 수 있다.
또한, 영상 보완기(250)는 비디오의 해상도 및/또는 비디오의 프레임에 관한 메타 데이터를 기초로 영상 프레임의 해성도 저감 또는 영상 프레임의 프레임 레이트 저감을 판단할 수 있다.
오디오 디코더(260)는 데이터 스트림을 디코딩하고, 오디오 데이터를 복원할 수 있다. 구체적으로, 오디오 디코더(260)는 메타 데이터를 기초로 오디오 디코딩 옵션을 설정하고, 설정된 오디오 디코딩 옵션에 따라 데이터 스트림을 디코딩하고 음향을 복원할 수 있다. 예를 들어, 오디오 디코더(260)는 AAC (Advanced Audio Coding), HE-AAC (High-Efficiency Advanced Audio Coding) 등의 디지털 음향 압축 알고리즘을 이용하여 데이터 스트림을 오디오 데이터로 디코딩할 수 있다.
도 3으로 돌아가서, 영상 표시부(170)는 영상을 시각적으로 표시하는 디스플레이 패널(172)과, 디스플레이 패널(172)을 구동하는 디스플레이 드라이버(171)를 포함한다.
디스플레이 패널(172)은 디스플레이 드라이버(171)로부터 수신된 영상 데이터에 따라 영상을 생성하고, 영상을 출력할 수 있다.
디스플레이 패널(172)은 영상을 표시하는 단위가 되는 화소(pixel)을 포함할 수 있다. 각각의 화소는 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 복수의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(172)에 표시될 수 있다.
디스플레이 패널(172)은 음극선관(CRT, Cathode Ray Tube) 디스플레이, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등을 채용할 수 있다. 다만, 디스플레이 패널(172)은 이에 한정되지 않으며, 디스플레이 패널(172)은 영상 데이터에 대응하는 영상을 시각적으로 표시할 수 있는 다양한 표시 수단을 채용할 수 있다.
디스플레이 드라이버(171)는 영상 처리부(160)로부터 영상 데이터를 수신하고, 수신된 영상 데이터에 대응하는 영상을 표시하도록 디스플레이 패널(172)을 구동한다.
구체적으로, 디스플레이 드라이버(171)는 디스플레이 패널(172)을 구성하는 복수의 화소 각각에 영상 프레임 데이터에 대응하는 전기적 신호를 전달한다. 특히, 디스플레이 드라이버(171)는 짧은 시간 이내에 디스플레이 패널(172)을 구성하는 모든 화소에 전기적 신호를 전달하기 위하여 다양한 방식으로 각각의 화소에 전기적 신호를 전달할 수 있다.
이처럼, 디스플레이 드라이버(171)가 디스플레이 패널(172)을 구성하는 각각의 화소에 영상 데이터에 대응하는 전기적 신호를 전달하면 각각의 화소는 수신된 전기적 신호에 대응하는 광학 신호를 출력하고, 각각의 화소가 출력하는 광학 신호가 조합되어 하나의 영상이 디스플레이 패널(172)에 표시될 수 있다.
음향 출력부(180)는 음향을 증폭하는 오디오 앰프(181)와, 증폭된 음향을 청각적으로 출력하는 스피커(182)를 포함한다.
오디오 앰프(181)는 영상 처리부(160)에 의하여 처리된 전기적 음향 신호를 증폭할 수 있다. 오디오 앰프(181)는 전기적 음향 신호를 증폭하기 위한 진공관 또는 트랜지스터 등을 포함할 수 있다.
스피커(182)는 오디오 앰프(181)에 의하여 출력된 전기적 음향 신호를 청각적 음향으로 변환할 수 있다. 예를 들어, 스피커(182)는 전기적 음향 신호에 따라 진동하는 박막을 포함할 수 있으며, 박막의 진동에 의하여 음향(음파)가 생성될 수 있다.
이상에서는 제어부(130)와 영상 처리부(160)를 구별하여 설명하였으나, 제어부(130)와 영상 처리부(160)가 구조적으로 구별되는 것은 아니다. 예를 들어, 제어부(130)와 영상 처리부(160)는 별도의 칩으로 구현되거나 하나의 칩으로 구현될 수 있다.
이하에서는 디스플레이 장치(100)의 동작이 설명된다.
도 5는 일 실시예에 의한 디스플레이 장치의 동작의 일 예를 도시한다.
도 5와 함께 디스플레이 장치(100)의 동작(1000)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1010).
통신부(150)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신할 수 있으며, 수신된 데이터 스트림을 영상 처리부(160)로 출력할 수 있다. 영상 처리부(160)는 통신부(150)로부터 데이터 스트림을 수신한다.
통신부(150)는 인터넷 서비스 제공자의 게이트웨이 서버(1)를 거쳐 비디오 서비스 서버(2)와 데이터를 주고 받을 수 있다. 특히, 통신부(150)는 비디오 서비스 서버(2)로부터 컨텐츠를 재생하기 위한 데이터 스트림을 실시간으로 수신할 수 있다. 수신된 데이터 스트림은 통신부(150)로부터 영상 처리부(160)로 출력될 수 있다.
이후, 디스플레이 장치(100)는 컨텐츠의 특성을 판단한다(1020).
영상 처리부(160)는 컨텐츠의 특성을 판단하기 위하여 데이터 스트림에 포함된 메타 데이터를 추출하고, 메타 데이터를 분석할 수 있다.
메타 데이터는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 포함할 수 있다. 컨텐츠에 관한 메타 데이터는 컨텐츠의 제목, 컨텐츠의 타입, 컨텐츠의 장르, 컨텐츠의 제작자 등 컨텐츠 자체에 관한 정보를 포함할 수 있다.
영상 처리부(160)는 컨텐츠에 관한 메타 데이터를 분석할 수 있다. 영상 처리부(160)는 컨텐츠에 관한 메타 데이터 중에 컨텐츠의 타입 및 컨텐츠의 장르를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다.
예를 들어, 컨텐츠의 타입이 스포츠인 경우 비디오 내에서 영상의 변화(예를 들어, 화면의 전환)가 많고, 영상 내에서 움직임이 많을 수 있다. 이처럼 영상의 변화가 많은 경우, 높은 프레임 레이트를 유지함으로써 사용자에게 많은 영상 정보를 제공할 수 있다. 따라서, 컨텐츠 타입이 스포츠인 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
또한, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 액션인 경우, 스포츠와 마찬가지로 영상 내의 움직임이 많다. 따라서, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 액션인 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
또한, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우, 비디오 내에서 영상의 변화가 적고, 영상 내에서 움직임이 적을 수 있다. 이처럼 영상의 변화가 적은 경우, 높은 비디오 해상도를 유지함으로써 사용자에게 고화질의 영상을 제공할 수 있다. 따라서, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우, 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다.
다만, 컨텐츠에 관한 메타 데이터는 컨텐츠의 특성을 판단하기 위하여 이용될 뿐이며, 영상 처리부(160)는 컨텐츠에 관한 메타 데이터만으로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하지 아니할 수 있다.
이후, 디스플레이 장치(100)는 데이터 스트림을 영상 프레임으로 디코딩한다(1030).
영상 처리부(160)는 데이트 스트림을 디코딩하기 앞서 데이터 스트림으로부터 비디오에 관한 메타 데이터를 추출하고, 비디오에 관한 메타 데이터를 기초로 비디오 디코딩 옵션을 설정할 수 있다. 비디오 디코딩 옵션은 비디오 인코딩 옵션에 의하여 결정되며, 비디오에 관한 메타 데이터는 비디오 인코딩 옵션을 포함할 수 있다.
비디오 디코딩 옵션을 설정한 이후 영상 처리부(160)는 데이터 스트림을 디코딩하고, 영상 프레임 데이터를 복원할 수 있다. 영상 처리부(160)는 MPEG (Moving Picture Experts Group)-2, MPEG4-4, HEVC (High Efficiency Video Coding) 등의 디지털 영상 압축 알고리즘을 이용하여 데이터 스트림을 영상 프레임 데이터로 디코딩할 수 있다.
또한, 영상 처리부(160)는 영상 프레임 데이터를 프레임 버퍼(230)에 저장할 수 있다.
이후, 디스플레이 장치(100)는 영상의 모션 특성 및 깊이 특성을 판단한다(1040).
영상 처리부(160)는 프레임 버퍼(230)에 저장된 영상 프레임을 기초로 영상의 모션 특성 및 영상의 깊이 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 프레임 버퍼(230)에 저장된 '현재 영상 프레임'과 '과거 영상 프레임'을 기초로 영상의 모션 벡터를 산출하고, 영상의 모션 벡터를 기초로 영상의 모션 특성을 판단할 수 있다.
여기서, '영상의 모션 벡터'는 영상 내의 객체의 모션 및/또는 영상 전체의 모션을 나타낼 수 있다. 예를 들어, 영상은 복수의 블록들로 분할될 수 있으며 모션 벡터는 각각의 블록들 내에서의 영상의 이동 크기와 이동 방향을 나타낼 수 있다.
또한, '모션 특성'은 영상 전체의 모션 형태 및/또는 객체의 모션 형태를 나타낼 수 있다. 예를 들어, 모션 특성은 패닝(panning), 파일럿-뷰(pilot-view), 줌-인(zoom-in), 줌-아웃(zoom-out) 등의 영상 전체의 모션과, 객체(object)의 이동 크기와 이동 방향을 포함하는 영상 내의 객체의 모션을 포함할 수 있다.
이처럼, 영상 처리부(160)는 '현재 영상 프레임'과 '과거 영상 프레임'을 기초로 기초로 영상 전체의 모션 및/또는 영상 내 객체의 모션을 포함하는 영상의 모션 특성을 판단할 수 있다.
또한, 영상 처리부(160)는 프레임 버퍼(230)에 저장된 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 산출하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
여기서, '깊이 지도'은 기준 위치(예를 들어, 영상을 촬영한 '촬영자 또는 관찰자'의 위치)로부터 영상 내의 객체까지의 거리를 나타낼 수 있다. 예를 들어, 영상은 복수의 블록들로 분할될 수 있으며 깊이 지도는 기준 위치로부터 각각의 블록들까지의 거리를 나타낼 수 있다.
스테레오 카메라 등에 의하여 촬영된 3차원 영상은 영상과 영상의 깊이 지도를 포함하는 것이 일반적이나, 2차원 영상으로부터 깊이 지도를 산출할 수도 있다. 예를 들어, 영상의 소실점(vanishing point)으로부터 블록들의 상대적인 위치에 따라 각각의 블록들의 기준 위치에 대한 상대적인 거리가 판단될 수 있다. 또한, 영상 내에서의 객체들의 상대적인 위치 및 선명도 등을 기초로 영상 내의 객체들의 기준 위치에 대한 상대적인 거리가 판단될 수 있다.
또한, '깊이 특성'은 영상 내의 각 객체들의 상대적인 거리(예를 들어, 영상을 촬영한 '촬영자'로부터의 거리), 객체들 사이의 상대적인 위치 관계 및/또는 전방에 위치한 객체들이 영상에서 차지하는 영역 등을 포함할 수 있다.
영상 처리부(160)는 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 생성하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
영상의 모션 특성과 영상의 깊이 특성을 판단하는 것은 아래에서 더욱 자세한 설명된다.
이후, 디스플레이 장치(100)는 영상의 특성을 판단한다(1050).
영상 처리부(160)는 컨텐츠의 특성, 영상의 모션 특성 및 깊이 특성을 기초로 영상의 특성을 판단한다.
예를 들어, 영상 처리부(160)는 영상의 모션 특성을 기초로 영상 전체의 움직임의 속도 및/또는 움직임의 정도와 영상 내에서 객체들의 움직임의 속도 및/또는 움직임의 정도를 판단할 수 있다. 또한, 영상 처리부(160)는 깊이 특성을 기초로 영상 내의 객체들의 상대적인 위치 및/또는 객체들의 분포 등을 판단할 수 있다.
이후, 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1060).
영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
예를 들어, 영상 처리부(160)는 컨텐츠 특성에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 판단할 수 있다. 컨텐츠의 타입이 스포츠이거나 액션 영화인 경우 영상 처리부(160)는 비디오 해상도 저감을 선택하고, 컨텐츠의 타입이 영화이고 컨텐츠의 장르가 드라마 또는 코미디인 경우 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다.
다른 예로, 영상 내의 객체들의 모션 크기가 기준값 이상이고 영상 내의 객체들의 모션 방향들 모두가 미리 정해진 각도 범위 이내이면, 영상 처리부(160)는 영상의 모션을 빠르게 표시하기 위하여 프레임 레이트를 유지하고 비디오 해상도를 저감하는 비디오 해상도 저감을 선택할 수 있다. 영상 내의 객체들의 모션 크기가 기준값 이상이고 영상 내의 객체들의 모션 방향들이 다양하게 분포되면, 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 비디오 해상도를 유지하고 프레임 레이트를 저감하는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내의 객체들의 모션 크기가 기준값보다 작으면, 영상 처리부(160)는 고화질의 영상을 표시하기 위하여 비디오 해상도를 유지하고 프레임 레이트를 저감하는 프레임 레이트 저감을 선택할 수 있다.
다른 예로, 영상 내에서 전방 객체가 넓은 부분을 차지하면, 객체의 일정한 모션이 예상되므로 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내에서 먼 거리(촬영자로부터 먼 거리)에 위치하는 객체가 분산되어 위치하면, 객체의 다양한 모션이 예상되므로 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한 이후, 영상 처리부(160)는 통신부(150)를 통하여 트래픽 신호를 비디오 서비스 서버(2)로 전송할 수 있다. 예를 들어, 영상 처리부(160)는 선택에 따라 비디오 해상도 저감 신호를 비디오 서비스 서버(2)로 전송하거나 프레임 레이트 저감 신호를 비디오 서비스 서버(2)로 전송할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 영상 프레임을 분석하고, 분석 결과에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
디스플레이 장치(100)는 미리 정해진 시간마다 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다. 예를 들어, 디스플레이 장치(100)는 인터넷 서비스 제공자의 네트워크 환경과 무관하게 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나 선택하고, 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 비디오 서비스 서버(2)에 전송할 수 있다.
또한, 디스플레이 장치(100)는 네트워크 트래픽이 증가할 때 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 디스플레이 장치(100)는 인터넷 서비스 제공자의 게이트웨이 서버(1)로부터 네트워크의 트래픽에 관한 정보를 수신할 수 있다. 디스플레이 장치(100)는 게이트웨이 서버(1)로부터 수신된 정보를 기초로 네트워크의 트래픽을 판단할 수 있다. 네트워크 트래픽이 기준값보다 크면 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하고, 비디오 해상도 저감 신호 또는 프레임 레이트 저감 신호를 비디오 서비스 서버(2)에 전송할 수 있다.
도 6은 일 실시예에 의한 디스플레이 장치의 모션 특성/깊이 특성 판단 방법을 도시한다. 도 7은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 추정하는 일 예를 도시한다. 도 8은 도 6에 도시된 판단 방법에 의하여 모션 벡터를 기초로 영상의 특성을 판단하는 일 예를 도시한다. 도 9는 도 6에 도시된 판단 방법에 의하여 소실점을 추정하는 일 예를 도시한다. 도 10은 도 6에 도시된 판단 방법에 의하여 전방 객체를 추정하는 일 예를 도시한다.
도 6, 도 7, 도 8, 도 9 및 도 10과 함께, 모션 특성/깊이 특성의 판단 방법(1100)이 설명된다.
디스플레이 장치(100)는 모션 벡터를 산출한다(1110)
영상 처리부(160)는 프레임 버퍼(230)에 저장된 제n 영상 프레임(In) (예를 들어, '현지 영상 프레임')과 제n-1 영상 프레임(In-1) (예를 들어, '과거 영상 프레임')을 모션 벡터를 추정할 수 있다.
예를 들어, 도 7에 도시된 바와 같이 영상 처리부(160)는 제n-1 영상 프레임(In-1)을 복수의 블록들(B11, ?? B16, B21, ?? B26, B31, ?? B36, B41, ?? B46)로 구획할 수 있다. 또한, 영상 처리부(160)는 제n 영상 프레임(In)을 복수의 블록들(B11-B46)들으로 구획할 수 있다.
이후, 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록들(B11-B46)을 제n 영상 프레임(In)에 매칭시킨다. 다시 말해, 영상 처리부(160)는 제n 영상 프레임(In)에서 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 일치하는 부분을 검색한다.
예를 들어, 영상 처리부(160)는 제n 영상 프레임(In) 내에서 제n-1 영상 프레임(In-1)의 블록 32 (B32)와 일치하는 부분을 검색할 수 있다. 또한, 영상 처리부(160)는 제n 영상 프레임(In) 내에서 제n-1 영상 프레임(In-1)의 블록 43 (B43)과 일치하는 부분을 검색할 수 있다.
제n 영상 프레임(In)에서 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 일치하는 부분이 검색되면, 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록들(B11-B46)과 제n 영상 프레임(In)의 해당 부분 사이의 좌표 차이를 산출한다. 영상 처리부(160)는 산출된 좌표 차이를 기초로 모션 벡터를 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)와 제n 영상 프레임(In)의 블록 41 (B41)이 일치할 수 있다. 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록 32 (B32)에 대한 모션 벡터 V1을 산출할 수 있다. 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있다.
또한, 제n-1 영상 프레임(In-1)의 블록 43 (B43)와 제n 영상 프레임(In)의 블록 52 (B52)이 일치할 수 있다. 영상 처리부(160)는 제n-1 영상 프레임(In-1)의 블록 43 (B43)에 대한 모션 벡터 V2을 산출할 수 있다. 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있다.
이러한 모션 벡터 V1와 V2는 영상 내의 객체(O1)의 이동에 의한 것으로, 객체(O1)가 표시되는 부분에서 집중적으로 발생된다. 모션 벡터가 산출되면 영상 처리부(160)는 모션 벡터가 '0'이 아닌 영역 즉 모션 감지 영역(R)을 판단할 수 있다. 모션 감지 영역(R)은 영상의 모션이 감지된 부분과 동일할 수 있다. 예를 들어, 모션 감지 영역(R)은 영상의 모션이 감지된 블록 41 (B41), 블록 32 (B32), 블록 42 (B42), 블록 52 (B52) 및 블록 43 (B43)을 포함할 수 있다.
디스플레이 장치(100)는 모션 벡터의 크기를 분석한다(1120).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 크기를 산훌할 수 있다. 모션 벡터의 크기는 모션 벡터의 x축 성분의 제곱과 y축 성분의 제곱 사이의 합의 제곱근으로 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V1의 크기는 2의 제곱근과 같다. 또한, 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V2의 크기는 2의 제곱근과 같다.
또한, 모션 벡터의 크기는 해당 블록(Bxx)에서의 영상이 움직인 정도를 나타낼 수 있다. 다시 말해, 모션 벡터의 크기가 큰 것은 해당 블록(Bxx)에서 영상의 움직임이 크고 빠른 것을 나타낼 수 있으며, 모션 벡터의 크기가 작은 것은 해당 블록(Bxx)에서 영상의 움직임이 작고 느린 것을 나타낼 수 있다.
디스플레이 장치(100)는 모션 벡터의 방향을 분석한다(1130).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 방향을 산출할 수 있다. 모션 벡터의 방향은 모션 벡터의 x축 성분의 제곱과 y축 성분의 아크탄젠트 값으로 산출할 수 있다.
예를 들어, 제n-1 영상 프레임(In-1)의 블록 32 (B32)의 모션 벡터 V1은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V1의 방향은 x축 방향으로부터 시계 방향으로 45도 방향일 수 있다. 또한, , 제n-1 영상 프레임(In-1)의 블록 43 (B43)의 모션 벡터 V2은 [+1, -1]로 표현할 수 있으며, 모션 벡터 V2의 방향은 x축 방향으로부터 시계 방향으로 45도 방향일 수 있다.
또한, 모션 벡터의 방향은 해당 블록(Bxx)에서의 영상이 움직인 방향을 나타낼 수 있다. 다시 말해, 영상 내의 객체가 이동한 방향 또는 촬영자가 이동한 방향 등을 나타낼 수 있다.
디스플레이 장치(100)는 모션 벡터의 히스토그램을 분석한다(1140).
영상 처리부(160)는 1110 동작에서 산출된 모션 벡터의 히스토그램을 생성할 수 있다. 모션 벡터 히스토그램은 모션 벡터의 크기 및 방향에 따른 블록(Bxx)의 빈도를 나타낼 수 있다. 쉽게 말해, 모션 벡터 히스토그램은 동일한 모션 벡터 크기를 가지는 블록(Bxx)의 개수 및/또는 동일한 모션 벡터 방향을 가지는 블록(Bxx)의 개수를 나타낼 수 있다.
영상 처리부(160)는 모션 벡터 히스토그램으로부터 영상 전체의 모션 벡터의 크기의 분포 및 모션 벡터의 방향의 분포를 판단할 수 있다.
디스플레이 장치(100)는 영상의 모션 특성을 판단한다(1150).
영상 처리부(160)는 모션 벡터의 크기, 모션 벡터의 방향 및 모션 벡터의 히스토그램을 기초로 영상의 모션 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 영상의 모션이 영상 내의 객체의 모션인지 또는 영상 전체의 모션(예를 들어, 촬영자의 이동)인지를 판단할 수 있다.
도 7에 도시된 바와 같이, 영상의 특정한 부분(모션 감지 영역, R)에서 모션 벡터가 집중적으로 발생되면, 영상 처리부(160)는 영상 내의 객체의 이동을 판단할 수 있다.
도 8의 (a), (b) 및 (c)에 도시된 바와 같이, 영상의 전체에서 모션 벡터가 발생되면, 영상 처리부(160)는 영상 전체의 이동(예를 들어, 촬영자의 이동)을 판단할 수 있다.
나아가, 도 8의 (a)에 도시된 바와 같이, 영상 내의 모든 블록(B11-B64)에서 동일한 크기 및 동일한 방향을 가지는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '패닝'을 판단할 수 있다. '패닝'은 촬영자 또는 관찰자가 피사체와 같은 높이에서 이동하면서 영상을 촬영하는 것을 나타낸다. '패닝'에 의하면, 촬영자 또는 관찰자의 이동 방향과 반대 방향의 모션 벡터가 발생될 수 있다.
도 8의 (b)에 도시된 바와 같이, 영상의 중앙 부분에서 하방을 향하는 모션 벡터가 산출되고, 영상의 좌측 부분에서 좌측 하방을 향하는 모션 벡터가 산출되고, 영상의 우측 부분에서 우측 방향을 향하는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '파일럿-뷰'를 판단할 수 있다. '파일럿-뷰'는 촬영자 또는 관찰자가 피사체보다 높은 위치에서 이동하면서 영상을 촬영하는 것을 나타낸다. '파일럿-뷰'에 의하면 영상 전체에서 아래 방향을 향하는 모션 벡터가 발생될 수 있다.
또한, 도 8의 (c)에 도시된 바와 같이, 영상의 상측 부분에서 상방을 향하는 모션 벡터가 산출되고, 영상의 하측 부분에서 하방을 향하는 모션 벡터가 산출될 수 있다. 이러한 경우, 영상 처리부(160)는 '줌-인'을 판단할 수 있다. '줌-인'은 촬영자 또는 관찰자가 피사체를 향하여 이동하면서 영상을 촬영하는 것을 나타낸다. '줌-인'에 의하면 영상의 상측에서는 위 방향을 향하는 모션 벡터가 발생되고, 영상의 하측에서는 아래 방향을 향하는 모션 벡터가 발생될 수 있다.
이처럼, 영상 처리부(160)는 모션 벡터의 크기, 모션 벡터의 방향 및 모션 벡터의 히스토그램을 기초로 영상 내의 객체의 이동 또는 영상 전체의 이동(예를 들어, 촬영자의 이동)을 판단할 수 있다.
디스플레이 장치(100)는 영상의 소실점 분석을 수행한다(1160).
영상 처리부(160)는 모션 벡터 산출(1110), 모션 벡터 크기 분석(1120), 모션 벡터 방향 분석(1130), 모션 벡터 히스토그램 생성(1140) 및 영상의 모션 특성 판단(1150)과 함께 소실점 분석을 수행할 수 있다.
'소실점(vanishing point)'은 실제 평행한 직선이 원근에 의하여 영상 내에서 서로 만나게 되는 교점을 나타낸다. 예를 들어, 도 9에 도시된 바와 같이 차로를 구별하는 차선들은 소실점 VP로 수렴될 수 있다.
소실점으로 수렴되는 직선은 동일한 평면 상에 위치하는 직선들에 한정되지 아니한다. 예를 들어, 도 9에 도시된 바와 같이 차로 양편에 도시된 건물들의 상측 모서리의 연장선은 소실점 VP로 수렴될 수 있다.
소실점은 무한히 먼 위치를 나타내므로, 영상 처리부(160)는 영상 내에서 소실점까지의 거리에 따라 객체의 깊이(예를 들어, 촬영자 또는 관찰자로부터 객체까지의 거리)를 판단할 수 있다.
예를 들어, 도 8에 도시된 바와 같이 영상 내에서 소실점 VP와 제1 객체(O3) 사이의 거리가 소실점 VP와 제2 객체(O4) 사이의 거리보다 크다. 영상 처리부(160)는 제1 객체(O3)가 제2 객체(O4) 보다 촬영자 또는 관찰자와 근접한 위치에 위치하는 것으로 판단할 수 있다. 다시 말해, 영상 처리부(160)는 제1 객체(O3)가 제2 객체(O4) 보다 전방에 위치하는 것으로 판단할 수 있다.
영상 처리부(160)는 영상의 소실점 분석을 이용하여 객체들(O3, O4)과 촬영자 사이의 상대적인 거리 및/또는 객체들(O3, O4) 사이의 전후 위치 관계를 판단할 수 있다.
디스플레이 장치(100)는 영상의 전방 객체 분석을 수행한다(1170).
영상 처리부(160)는 모션 벡터 산출(1110), 모션 벡터 크기 분석(1120), 모션 벡터 방향 분석(1130), 모션 벡터 히스토그램 생성(1140) 및 영상의 모션 특성 판단(1150)과 함께 전방 객체 분석을 수행할 수 있다.
영상 처리부(160)는 소실점이 발견되지 않는 경우 '전방 객체 분석'을 이용하여 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다.
영상 처리부(160)는 영상 내에서의 객체들(O5, O6)의 배치를 기초로 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다
영상 처리부(160)는 영상의 하측에 위치하는 객체가 영상의 상측에 위치하는 객체보다 촬영자 또는 관찰자와 근접한 것으로 판단할 수 있다. 예를 들어, 영상 처리부(160)는 도 10에 도시된 제3 객체(O5)가 제4 객체(O6)보다 촬영자 또는 관찰자와 근접한 것으로 판단할 수 있다. 다시 말해, 영상 처리부(160)는 제3 객체(O5)가 제4 객체(O6) 보다 전방에 위치하는 것으로 판단할 수 있다.
영상 처리부(160)는 영상의 전방 객체 분석을 이용하여 객체들(O5, O6)과 촬영자 사이의 거리 또는 객체들(O5, O6) 사이의 전후 위치 관계를 판단할 수 있다.
디스플레이 장치(100)는 영상의 깊이 지도를 생성한다(1180).
영상 처리부(160)는 소실점 분석의 결과 및/또는 전방 객체 분석의 결과를 기초로 영상의 깊이 지도를 생성할 수 있다.
'깊이 지도'은 촬영자와 객체들 사이의 상대적인 거리에 관한 정보 및/또는 객체들 사이의 전후 위치 관계에 관한 정보를 포함할 수 있다. 예를 들어, 도 9에 도시된 영상의 '깊이 지도'은 제1 객체(O3)가 제2 객체(O4) 사이의 전후 관계에 관한 정보 즉, 제1 객체(O3)가 제2 객체(O4) 보다 전방에 위치함을 나타내는 정보를 포함할 수 있다. 또한, 도 10에 도시된 영상의 '깊이 지도'은 제3 객체(O5)가 제4 객체(O6) 사이의 전후 관계에 관한 정보 즉, 제3 객체(O5)가 제4 객체(O6) 보다 전방에 위치함을 나타내는 정보를 포함할 수 있다.
영상 처리부(160)는 생성된 '깊이 지도'을 기억할 수 있다.
디스플레이 장치(100)는 영상의 깊이 특성을 판단한다(1190).
영상 처리부(160)는 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
'깊이 특성'은 영상 내의 각 객체들의 상대적인 거리(예를 들어, 영상을 촬영한 '촬영자'로부터의 거리), 객체들 사이의 상대적인 위치 관계 및/또는 전방에 위치한 객체들이 영상에서 차지하는 영역 등을 포함할 수 있다.
영상 처리부(160)는 '현재 영상 프레임'을 기초로 영상의 깊이 지도를 생성하고, 영상의 깊이 지도를 기초로 영상의 깊이 특성을 판단할 수 있다.
디스플레이 장치(100)는 영상의 특성을 판단한다(1195).
영상 처리부(160)는 영상의 모션 특성과 영상의 깊이 특성을 기초로 영상의 특성을 판단할 수 있다.
예를 들어, 영상 처리부(160)는 영상의 '모션 벡터'와 영상의 '깊이 지도'을 합성할 수 있다. 구체적으로, 영상 처리부(160)는 영상 내의 객체들 각각에 대한 모션 벡터와 깊이 지도를 매칭시킬 수 있다. 매칭 결과, 영상 처리부(160)는 영상 내의 객체들 각각의 상대적인 위치 정보(깊이 지도)와 모션 정보(모션 벡터)를 획득할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 모선 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 내의 객체들이 이동하지 아니하거나 기준 속도보다 작은 속도로 이동하면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 영상 내의 객체들이 기준 속도보다 큰 속도로 이동하고 객체들의 이동 방향의 분포가 기준 각도 범위 이내이면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내의 객체들이 기준 속도보다 큰 속도로 이동하고 객체들의 이동 방향의 분포가 여러 방향으로 분산되면 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 전체의 모션 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 전체가 동일한 방향으로 이동하는 '패닝'의 경우, 영상 프레임의 보완이 용이하므로 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 영상의 위치에 따라 모션의 방향이 다른 '파일럿-뷰' 또는 '줌-인'의 경우, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 깊이 지도를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 영상 내에서 전방에 위치한 객체(촬영자와 근접한 객체)가 넓은 부분을 차지하면, 영상 처리부(160)는 프레임 레이트 저감을 선택할 수 있다. 또한, 영상 내에서 후방에 위치한 객체(촬영자로부터 떨어진 객체들)가 분산되어 위치하면, 영상 처리부(160)는 비디오 해상도 저감을 선택할 수 있다.
영상 처리부(160)는 영상 내의 객체들의 상대적인 위치 정보와 모션 정보를 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 영상 내의 전방에 위치한 하나의 객체가 이동하면 영상 처리부(160)는 영상 프레임의 보완이 용이하므로 프레임 레이트 저감을 선택할 수 있다. 영상 내의 후방에 위치한 여러 객체들이 다양한 방향으로 이동하면 영상 처리부(160)는 영상 프레임의 변화를 빠르게 표시하기 위하여 비디오 해상도 저감을 선택할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 영상 프레임으로부터 모션 특성과 깊이 특성을 판단하고, 모션 특성 및 깊이 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 또한, 디스플레이 장치(100)는 모션 특성의 분석과 깊이 특성의 분석을 동시에 병렬적으로 수행할 수 있다.
도 11는 일 실시예에 의한 디스플레이 장치의 동작의 다른 일 예를 도시한다.
도 11와 함께 디스플레이 장치(100)의 동작(1200)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1210).
동작 1210은 도 5에 도시된 동작 1010과 동일할 수 있다.
디스플레이 장치(100)는 조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작은지를 판단한다(1220).
디스플레이 장치(100)는 주변의 조도를 감지하는 조도 센서(121)를 포함할 수 있으며, 조도 센서(121)의 감지 결과는 제어부(130)를 통하여 영상 처리부(160)로 제공될 수 있다.
영상 처리부(160)는 조도 센서(121)에 의하여 감지된 조도값과 기준 조도값을 비교하고, 조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작은지를 판단할 수 있다.
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작으면(1220의 예), 디스플레이 장치(100)는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1270).
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작으면, 디스플레이 장치(100)는 프레임 레이트 저감을 선택할 수 있다.
사람의 눈은 일반적으로 어두운 곳에서 시각 정보의 변화에 둔감한 것으로 알려져 있다. 다시 말해, 어두운 곳에서 사용자는 영상 프레임의 빠른 변화를 잘 인지하지 못한다. 따라서, 영상 처리부(160)는 디스플레이 장치(100)가 고화질의 영상을 표시하도록 프레임 레이트 저감을 선택할 수 있다.
조도 센서(121)에 의하여 감지된 조도값이 기준 조도값보다 작지 않으면(1220의 아니오), 디스플레이 장치(100)는 컨텐츠의 특성을 판단하고(1230), 비디오를 디코딩하고(1240), 모션 특성 및 깊이 특성을 판단하고(1250), 영상 특성을 판단한다(1260).
동작 1230, 1240, 1250, 및 1260은 각각 동작 1020, 1030, 1040, 및 1050과 동일할 수 있다.
이후, 디스플레이 장치(100)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택한다(1270).
영상 처리부(160)는 영상의 특성을 기초로 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다.
이상에서 설명된 바와 같이, 디스플레이 장치(100)는 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택할 수 있다. 예를 들어, 디스플레이 장치(100) 주변의 조도값이 미리 정해진 조도값보다 작으면 디스플레이 장치(100)는 프레임 레이트 저감을 선택할 수 있다.
이상에서는 디스플레이 장치(100)가 컨텐츠의 특성과 영상의 모션 특성 및 깊이 특성과 사용자의 시청 환경에 따라 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나를 선택하는 것이 설명되었다.
이하에서는 비디오 해상도 저감과 프레임 레이트 저감 중에 어느 하나에 따른 디스플레이 장치(100)의 동작이 설명된다.
도 12는 일 실시예에 의한 디스플레이 장치의 비디오 해상도 저감과 프레임 레이트 저감에 따른 동작을 도시한다. 도 13은 도 12에 도시된 비디오 해상도 저감에서 영상을 디코딩하는 일 예를 도시한다. 도 14은 도 12에 도시된 프레임 레이트 저감에서 영상을 디코딩하는 일 예를 도시한다.
도 12, 도 13 및 도 14와 함께, 디스플레이 장치(100)의 동작(1300)이 설명된다.
디스플레이 장치(100)는 데이터 스트림을 수신한다(1310).
동작 1310은 도 5에 도시된 동작 1010과 동일할 수 있다. 통신부(150)는 비디오 서비스 서버(2)로부터 데이터 스트림을 수신할 수 있으며, 수신된 데이터 스트림을 영상 처리부(160)로 출력할 수 있다. 영상 처리부(160)는 통신부(150)로부터 데이터 스트림을 수신한다.
디스플레이 장치(100)는 메타 데이터를 분석한다(1320).
영상 처리부(160)는 데이터 스트림을 수신하는 중에 데이터 스트림에 포함된 메타 데이터를 추출하고, 메타 데이터를 분석할 수 있다.
메타 데이터는 컨텐츠에 관한 메타 데이터, 비디오에 관한 메타 데이터 및 오디오에 관한 메타 데이터를 포함할 수 있다. 비디오에 관한 메타 데이터는 비디오의 인코딩 코덱(codec), 비디오의 비디오 해상도, 비디오의 프레임 레이트 등의 정보를 포함할 수 있다.
영상 처리부(160)는 특히 메타 데이터 중에 비디오의 비디오 해상도와 비디오의 프레임 레이트에 관한 정보를 추출할 수 있다.
디스플레이 장치(100)는 수신 중인 비디오의 비디오 해상도 저하 여부를 판단한다(1330).
네트워크의 트래픽이 증가되면 비디오 서비스 서버(2)는 끊김없이 비디오 서비스를 제공하기 위하여 비디오 해상도가 감소된 비디오를 전송하거나 프레임 레이트가 감소된 비디오를 전송할 수 있다. 특히, 디스플레이 장치(100)로부터 비디오 해상도 저감 신호를 수신하면 비디오 서비스 서버(2)는 네트워크의 트래픽의 증가에 응답하여 비디오 해상도가 감소된 비디오를 전송한다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 기초로 비디오 해상도의 감소 여부를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 메타 데이터에 포함된 비디오 해상도에 관한 정보를 기초로 비디오 서비스 서버(2)로부터 수신되는 비디오의 비디오 해상도 저하 여부를 판단할 수 있다.
예를 들어, 영상 처리부(160)는 데이터 스트림을 수신하는 중에 메타 데이터에 포함된 비디오 해상도를 메모리에 저장할 수 있다. 또한, 영상 처리부(160)는 메모리에 저장된 비디오 해상도와 현재 비디오의 비디오 해상도를 비교할 수 있다. 현재 비디오의 비디오 해상도가 저장된 비디오 해상도보다 작고 저장된 비디오 해상도와 현재 비디오의 비디오 해상도 사이의 차이가 미리 정해진 오차 범위보다 크면 영상 처리부(160)는 비디오의 비디오 해상도 저하를 판단할 수 있다.
다른 예로, 영상 처리부(160)는 현재 비디오의 비디오 해상도와 사전에 정해진 기준 비디오 해상도를 비교할 수 있다. 기준 비디오 해상도는 디스플레이 장치(100)가 현재 수신 중에 컨텐츠를 비디오 서비스 서버(2)로부터 최초로 수신할 때 설정될 수 있다. 예를 들어, 비디오 서비스 서버(2)는 현재 전송 중인 컨텐츠의 기준 비디오 해상도를 디스플레이 장치(100)에 고지할 수 있다. 현재 비디오의 비디오 해상도가 기준 비디오 해상도보다 작으면 영상 처리부(160)는 비디오의 비디오 해상도 저하를 판단할 수 있다.
비디오의 비디오 해상도 저하가 판단되면(1330의 예), 디스플레이 장치(100)는 영상의 비디오 해상도를 보완한다(1340).
영상 처리부(160)는 비디오 해상도의 저하에 응답하여 비디오 해상도 저하를 보완하기 위하여 비디오 해상도가 증가된 영상 프레임을 생성할 수 있다. 구체적으로, 영상 처리부(160)는 '현재 영상 프레임'을 기치로 비디오 해상도가 향상된 '보완 영상 프레임'을 생성하고, '현재 영상 프레임' 대신 '보완 영상 프레임'을 출력할 수 있다.
예를 들어, 도 13에 도시된 바와 같이 영상 처리부(160)는 데이터 스트림의 영상 프레임 1을 임시 영상 프레임 1로 디코딩할 수 있으며, 데이터 스트림의 영상 프레임 2를 임시 영상 프레임 2로 디코딩할 수 있다. 이때, 데이터 스트림의 영상 프레임들의 비디오 해상도는 기준 비디오 해상도의 절반에 해당할 수 있다.
영상 처리부(160)는 디코딩된 임시 영상 프레임 1으로부터 비디오 해상도가 증가된 영상 프레임 1을 생성할 수 있다. 영상 프레임의 비디오 해상도를 증가시키기 위하여 영상 처리부(160)는 내삽(interpolation)을 이용할 수 있다. 예를 들어, 기존 영상 프레임의 픽셀들 사이에 새로운 픽셀을 생성하고, 새로운 픽셀의 밝기 및 색상은 인접한 기존 픽섹들의 밝기 및 색상들의 평균값을 정할 수 있다. 그 결과, 새로운 영상 프레임의 비디오 해상도는 기존의 영상 프레임의 비디오 해상도의 2배가 될 수 있다. 또한, 영상 처리부(160)는 디코딩된 임시 영상 프레임 1을 대신하여 비디오 해상도가 증가된 영상 프레임 1을 출력할 수 있다.
영상 처리부(160)는 디코딩된 임시 영상 프레임 2로부터 비디오 해상도가 증가된 영상 프레임 1를 생성하고, 디코딩된 임시 영상 프레임 2를 대신하여 비디오 해상도가 증가된 영상 프레임 2를 출력할 수 있다.
같은 방식으로 영상 처리부(160)는 비디오 해상도가 증가된 영상 프레임 3, 4, ??, 11을 생성하고, 디코딩된 영상 프레임들을 대신하여 비디오 해상도가 증가된 영상 프레임 3, 4, ??, 11을 출력할 수 있다.
비디오의 비디오 해상도 저하가 판단되지 아니하면(1330의 아니오), 디스플레이 장치(100)는 수신 중인 비디오의 프레임 레이트 저하 여부를 판단한다(1350).
네트워크의 트래픽이 증가되면 비디오 서비스 서버(2)는 끊김없이 비디오 서비스를 제공하기 위하여 비디오 해상도가 감소된 비디오를 전송하거나 프레임 레이트가 감소된 비디오를 전송할 수 있다. 특히, 디스플레이 장치(100)로부터 프레임 레이트 저감 신호를 수신하면 비디오 서비스 서버(2)는 네트워크의 트래픽의 증가에 응답하여 프레임 레이트가 감소된 비디오를 전송한다.
디스플레이 장치(100)는 비디오 서비스 서버(2)로부터 수신된 데이터 스트림에 포함된 메타 데이터를 기초로 프레임 레이트의 감소 여부를 판단할 수 있다. 구체적으로, 영상 처리부(160)는 메타 데이터에 포함된 프레임 레이트에 관한 정보를 기초로 비디오 서비스 서버(2)로부터 수신되는 비디오의 프레임 레이트 저하 여부를 판단할 수 있다.
예를 들어, 영상 처리부(160)는 데이터 스트림을 수신하는 중에 메타 데이터에 포함된 프레임 레이트를 메모리에 저장할 수 있다. 또한, 영상 처리부(160)는 메모리에 저장된 프레임 레이트와 현재 비디오의 프레임 레이트를 비교할 수 있다. 현재 비디오의 프레임 레이트가 저장된 프레임 레이트보다 작고 저장된 프레임 레이트와 현재 비디오의 프레임 레이트 사이의 차이가 미리 정해진 오차 범위보다 크면 영상 처리부(160)는 비디오의 프레임 레이트 저하를 판단할 수 있다.
다른 예로, 영상 처리부(160)는 현재 비디오의 프레임 레이트와 사전에 정해진 기준 프레임 레이트를 비교할 수 있다. 기준 프레임 레이트는 디스플레이 장치(100)가 현재 수신 중에 컨텐츠를 비디오 서비스 서버(2)로부터 최초로 수신할 때 설정될 수 있다. 예를 들어, 비디오 서비스 서버(2)는 현재 전송 중인 컨텐츠의 기준 프레임 레이트를 디스플레이 장치(100)에 고지할 수 있다. 현재 비디오의 프레임 레이트가 기준 프레임 레이트보다 작으면 영상 처리부(160)는 비디오의 프레임 레이트 저하를 판단할 수 있다.
비디오의 프레임 레이트 저하가 판단되면(1350의 예), 디스플레이 장치(100)는 프레임 레이트를 보완한다(1360).
영상 처리부(160)는 프레임 레이트의 저하에 응답하여 프레임 레이트 저하를 보완하기 위한 영상 프레임을 생성하고, 디코딩된 영상 프레임들 사이에 생성된 영상 프레임을 삽입할 수 있다. 구체적으로, 영상 처리부(160)는 '과거 영상 프레임'을 기초로 '보완 영상 프레임'을 생성하고, '보완 영상 프레임'을 '과거 영상 프레임'과 '현재 영상 프레임' 사이에 삽입할 수 있다.
예를 들어, 도 14에 도시된 바와 같이 영상 처리부(160)는 데이터 스트림의 영상 프레임 1을 출력 영상의 영상 프레임 1로 디코딩할 수 있으며, 데이터 스트림의 영상 프레임 2를 출력 영상의 영상 프레임 2로 디코딩할 수 있다. 이때, 데이터 스트림의 영상 프레임 1과 영상 프레임 2의 시간 간격은 기준 프레임 레이트(F)에 의한 시간 간격(1/F)의 2배(2/F)일 수 있다.
영상 처리부(160)는 출력 영상의 영상 프레임 1.5를 생성할 수 있다. 영상 프레임 1.5는 영상 프레임 1과 동일한 영상 프레임이거나, 영상 프레임 1과 영상 프레임 2의 내삽(interpolation)에 의하여 생성될 수 있다. 영상 처리부(160)는 영상 프레임 1을 출력한 이후, 영상 프레임 1.5를 하고, 영상 처리부(160)는 영상 프레임 2를 출력할 수 있다.
또한, 영상 처리부(160)는 출력 영상의 영상 프레임 2.5를 생성할 수 있다. 영상 프레임 2.5는 영상 프레임 2와 동일한 영상 프레임이거나, 영상 프레임 2와 영상 프레임 3의 내삽에 의하여 생성될 수 있다. 영상 처리부(160)는 영상 프레임 2를 출력한 이후, 영상 프레임 2.5를 출력하고, 영상 프레임 3을 출력할 수 있다.
같은 방식으로 영상 처리부(160)는 영상 프레임 3.5, 영상 프레임 4.5 및 영상 프레임 5.5를 각각 생성하고, 영상 프레임 3.5를 영상 프레임 3와 영상 프레임 4 사이에 삽입하고 영상 프레임 4.5를 영상 프레임 4와 영상 프레임 5 사이에 삽입하고 영상 프레임 5.5를 영상 프레임 5와 영상 프레임 6 사이에 삽입할 수 있다.
비디오의 프레임 레이트 저하가 판단되지 아니하면(1350의 아니오), 디스플레이 장치(100)는 디코딩된 영상 프레임들을 출력한다(1370).
비디오 해상도가 보완되거나 프레임 레이트가 보완된 이후도 디스플레이 장치(100)는 디코딩된 영상 프레임들을 출력할 수 있다.
영상 처리부(160)는 디코딩되거나 보완된 영상 프레임을 영상 표시부(170)로 전송할 수 있다. 영상 표시부(170)는 영상 처리부(160)로부터 수신된 영상 프레임을 디스플레이 패널(172)에 표시할 수 있다.
이상에서 설명된 바와 같이, 비디오 서비스 서버(2)로부터 비디오 해상도가 저감된 비디오가 수신되면 디스플레이 장치(100)는 영상 프레임의 비디오 해상도를 증가시키고 비디오 해상도가 증가된 영상 프레임을 출력할 수 있다. 또한, 비디오 서비스 서버(2)로부터 프레임 레이트가 저감된 비디오가 수신되면 디스플레이 장치(100)는 영상 프레임을 삽입함으로써 프레임 레이트가 증가된 영상 프레임을 출력할 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 게시된 실시예가 속하는 기술분야에서 통상의 지식을 가진 자는 게시된 실시예의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.
100: 디스플레이 장치 110: 입력부
111: 입력 버튼들 120: 감지부
121: 조도 센서 130: 제어부
131: 마이크로 컨트롤러 140: 컨텐츠 수신부
141: 입력 단자들 142: 튜너
150: 통신부 151: 유선 통신 모듈
152: 무선 통신 모듈 160: 영상 처리부
161: 그래픽 프로세서 162: 그래픽 메모리
170: 영상 표시부 171: 디스플레이 드라이버
172: 디스플레이 패널 180: 음향 출력부
181: 오디오 앰프 182: 스피커
210: 메타 분석기 220: 비디오 디코더
230: 프레임 버퍼 240: 영상 분석기
250: 영상 보완기 260: 오디오 디코더

Claims (20)

  1. 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고 상기 비디오 서비스 서버로 데이터를 전송하는 통신부;
    상기 비디오 컨텐츠를 디코딩하고, 영상 프레임을 출력하는 영상 처리부; 및
    상기 영상 프레임을 표시하는 영상 표시부를 포함하고,
    상기 영상 처리부는, 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 영상 처리부는 상기 비디오 컨텐츠의 메타 데이터를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 영상 처리부는 상기 영상 프레임의 모션 벡터들을 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  4. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 작으면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  5. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위 이내에 분포하면 상기 영상 처리부는 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  6. 제3항에 있어서,
    상기 모션 벡터들의 크기가 미리 정해진 기준값보다 크고 상기 모션 벡터들의 방향이 미리 정해진 각도 범위를 벗어나 분포하면 상기 영상 처리부는 상기 해상도 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 영상 처리부는 상기 영상 프레임의 깊이 지도를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  8. 제1항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 디스플레이 장치.
  9. 제1항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 처리부는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 디스플레이 장치.
  10. 제1항에 있어서,
    상기 디스플레이 장치 주변의 조도를 측정하는 조도 센서를 더 포함하고,
    상기 영상 처리부는 상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치.
  11. 네트워크를 통하여 비디오 서비스 서버로부터 비디오 컨텐츠를 수신하고;
    상기 비디오 컨텐츠를 영상 프레임으로 디코딩하고;
    상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하도록 하는 비디오 해상도 저감 신호와 상기 비디오 서비스 서버가 상기 네트워크의 트래픽 증가에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하도록 하는 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하고;
    상기 영상 프레임을 표시하는 것을 포함하는 디스플레이 방법.
  12. 제11항에 있어서,
    상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중 어느 하나를 전송하는 것은,
    상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어도 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 상기 비디오 서비스 서버로 전송하는 것을 포함하는 디스플레이 방법.
  13. 제11항에 있어서,
    상기 디스플레이 장치의 주변 조도를 측정하고;
    상기 조도 센서에 의하여 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 것을 더 포함하는 디스플레이 방법.
  14. 제11항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 것을 더 포함하는 디스플레이 방법.
  15. 제11항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 것을 더 포함하는 디스플레이 방법.
  16. 게이트웨이 서버를 거쳐 비디오 컨텐츠를 전송하는 비디오 서비스 서버; 및
    상기 비디오 컨텐츠에 대응하는 영상 프레임을 표시하고, 상기 게이트웨이 서버로부터 트래픽 증가 신호가 수신되면 상기 비디오 서비스 서버로 비디오 해상도 저감 신호와 프레임 레이트 저감 신호 중 어느 하나를 상기 비디오 서비스 서버로 전송하는 디스플레이 장치를 포함하고,
    상기 비디오 서비스 서버는 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 비디오 해상도 저감 신호에 응답하여 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠를 전송하고, 상기 게이트웨이 서버의 트래픽 증가 신호와 상기 디스플레이 장치의 프레임 레이트 저감 신호에 응답하여 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠를 전송하는 디스플레이 시스템.
  17. 제16항에 있어서,
    상기 디스플레이 장치는 상기 비디오 컨텐츠의 메타 데이터와 상기 영상 프레임의 모션 벡터들과 상기 영상 프레임의 깊이 지도 중 적어 하나를 기초로 상기 비디오 해상도 저감 신호와 상기 프레임 레이트 저감 신호 중에 어느 하나를 선택하고, 선택된 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 시스템.
  18. 제16항에 있어서,
    상기 디스플레이 장치는 주변 조도를 측정하고 측정된 조도값이 미리 정해진 기준 조도값보다 작으면 상기 프레임 레이트 저감 신호를 상기 비디오 서비스 서버로 전송하는 디스플레이 시스템.
  19. 제16항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 해상도보다 낮은 해상도를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 상기 기준 해상도를 가지는 영상 프레임으로 변환하여 상기 변환된 영상 프레임을 출력하는 디스플레이 시스템.
  20. 제16항에 있어서,
    상기 비디오 서비스 서버로부터 상기 기준 프레임 레이트보다 낮은 프레임 레이트를 가지는 비디오 컨텐츠가 수신되면 상기 디스플레이 장치는 상기 영상 프레임을 기초로 보완 영상 프레임을 생성하고, 상기 보완 영상 프레임을 출력하는 디스플레이 시스템.
KR1020170092468A 2017-07-21 2017-07-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템 KR102383117B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020170092468A KR102383117B1 (ko) 2017-07-21 2017-07-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
PCT/KR2018/005779 WO2019017579A1 (ko) 2017-07-21 2018-05-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템
EP18835036.7A EP3637785A4 (en) 2017-07-21 2018-05-21 DISPLAY DEVICE, DISPLAY METHOD AND DISPLAY SYSTEM
US16/632,674 US11284132B2 (en) 2017-07-21 2018-05-21 Display apparatus, display method, and display system
CN201880047854.1A CN110915225A (zh) 2017-07-21 2018-05-21 显示设备、显示方法和显示系统
US17/665,502 US20220174340A1 (en) 2017-07-21 2022-02-05 Display apparatus, display method, and display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170092468A KR102383117B1 (ko) 2017-07-21 2017-07-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템

Publications (2)

Publication Number Publication Date
KR20190010129A true KR20190010129A (ko) 2019-01-30
KR102383117B1 KR102383117B1 (ko) 2022-04-06

Family

ID=65015590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170092468A KR102383117B1 (ko) 2017-07-21 2017-07-21 디스플레이 장치, 디스플레이 방법 및 디스플레이 시스템

Country Status (5)

Country Link
US (2) US11284132B2 (ko)
EP (1) EP3637785A4 (ko)
KR (1) KR102383117B1 (ko)
CN (1) CN110915225A (ko)
WO (1) WO2019017579A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096137A1 (en) * 2019-11-13 2021-05-20 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
WO2022177166A1 (ko) * 2021-02-16 2022-08-25 삼성전자 주식회사 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102359367B1 (ko) * 2020-04-07 2022-02-07 주식회사 엔씨소프트 게임 스트리밍을 위한 방법 및 장치
CN112135190B (zh) * 2020-09-23 2022-08-16 成都市喜爱科技有限公司 视频处理方法、装置、系统、服务器及存储介质
CN114466202B (zh) * 2020-11-06 2023-12-12 中移物联网有限公司 混合现实直播方法、装置、电子设备以及可读存储介质
CN114584835B (zh) * 2022-02-10 2024-04-02 百果园技术(新加坡)有限公司 一种视频处理方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001094A (ko) * 2007-06-29 2009-01-08 포스데이타 주식회사 영상 파일 생성 장치 및 방법
KR20140117237A (ko) * 2013-03-25 2014-10-07 삼성전자주식회사 복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information
US20150195625A1 (en) * 2012-10-10 2015-07-09 Fujitsu Limited Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06284148A (ja) * 1993-03-30 1994-10-07 Hitachi Ltd 動画通信制御方法及び通信制御装置
JPH0775092A (ja) * 1993-07-14 1995-03-17 Hitachi Ltd ディジタル動画圧縮装置およびこれを用いたリアルタイム動画通信システム
US20030174243A1 (en) * 2002-03-13 2003-09-18 Arbeiter James Henry Network streaming system for providing a user with data defining imagecontent at a resolution that may be determined by the user
US20040032906A1 (en) * 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
KR100563659B1 (ko) * 2003-12-09 2006-03-23 한국전자통신연구원 실시간 스트리밍 서비스 장치
KR100596705B1 (ko) * 2004-03-04 2006-07-04 삼성전자주식회사 비디오 스트리밍 서비스를 위한 비디오 코딩 방법과 비디오 인코딩 시스템, 및 비디오 디코딩 방법과 비디오 디코딩 시스템
CN100375094C (zh) * 2005-08-23 2008-03-12 萧学文 实现移动终端搜索网络资源的系统及方法
WO2008001860A1 (fr) * 2006-06-29 2008-01-03 Kyocera Corporation données de contenu, appareil émetteur, appareil récepteur et procédé de décryptage
US7995515B2 (en) * 2006-10-03 2011-08-09 Viasat, Inc. Upstream resource optimization
US20100050221A1 (en) * 2008-06-20 2010-02-25 Mccutchen David J Image Delivery System with Image Quality Varying with Frame Rate
JP2010122609A (ja) * 2008-11-21 2010-06-03 Canon Inc 表示制御装置及び表示制御方法
US8270473B2 (en) * 2009-06-12 2012-09-18 Microsoft Corporation Motion based dynamic resolution multiple bit rate video encoding
JP2011066790A (ja) * 2009-09-18 2011-03-31 Pioneer Electronic Corp 画像記録装置及び画像再生装置
JP5234119B2 (ja) * 2011-01-20 2013-07-10 カシオ計算機株式会社 撮像装置、撮像処理方法及びプログラム
EP2523145A1 (en) * 2011-05-11 2012-11-14 Alcatel Lucent Method for dynamically adapting video image parameters for facilitating subsequent applications
JP2014082731A (ja) * 2012-09-26 2014-05-08 Jvc Kenwood Corp 動画像データ処理装置及び動画像データ処理方法
WO2014157889A1 (en) * 2013-03-25 2014-10-02 Samsung Electronics Co., Ltd. Method and apparatus for improving quality of experience in sharing screen among devices, and recording medium thereof
CN104284139B (zh) * 2013-07-05 2017-09-01 深圳市江波龙电子有限公司 网络视频设备及其视频传输控制系统和方法
EP3020191B1 (en) 2013-07-11 2021-01-06 Dejero Labs Inc. Systems and methods for transmission of data streams
CN104580969A (zh) * 2013-10-23 2015-04-29 中兴通讯股份有限公司 录像帧率调整方法和装置
JP6264119B2 (ja) * 2014-03-20 2018-01-24 株式会社Ｊｖｃケンウッド 映像信号処理装置及び方法
US9992502B2 (en) * 2016-01-29 2018-06-05 Gopro, Inc. Apparatus and methods for video compression using multi-resolution scalable coding

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001094A (ko) * 2007-06-29 2009-01-08 포스데이타 주식회사 영상 파일 생성 장치 및 방법
US20150195625A1 (en) * 2012-10-10 2015-07-09 Fujitsu Limited Information processing apparatus, information processing system, recording medium, and method for transmission and reception of moving image data
KR20140117237A (ko) * 2013-03-25 2014-10-07 삼성전자주식회사 복수 개의 단말기들 간의 화면 공유시 ＱｏＥ(Ｑｕａｌｉｔｙ ｏｆ Ｅｘｐｅｒｉｅｎｃｅ)를 향상시키기 위한 방법, 장치 및 기록 매체
US20140321561A1 (en) * 2013-04-26 2014-10-30 DDD IP Ventures, Ltd. System and method for depth based adaptive streaming of video information

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021096137A1 (en) * 2019-11-13 2021-05-20 Samsung Electronics Co., Ltd. Display apparatus and control method thereof
WO2022177166A1 (ko) * 2021-02-16 2022-08-25 삼성전자 주식회사 화면 재생률을 제어하는 방법 및 이를 지원하는 전자 장치

Also Published As

Publication number Publication date
EP3637785A4 (en) 2020-07-15
US11284132B2 (en) 2022-03-22
US20220174340A1 (en) 2022-06-02
KR102383117B1 (ko) 2022-04-06
EP3637785A1 (en) 2020-04-15
WO2019017579A1 (ko) 2019-01-24
US20210168419A1 (en) 2021-06-03
CN110915225A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
US11284132B2 (en) Display apparatus, display method, and display system
EP2624550B1 (en) Content transmitting device, content transmitting method, content reproduction device, content reproduction method, program, and content delivery system
US11330310B2 (en) Encoding device and method, reproduction device and method, and program
EP2840800A1 (en) Content-based audio/video adjustment
CN110786016B (zh) 音频驱动的视区选择
EP2384009B1 (en) Display device and method of outputting audio signal
US10225528B2 (en) Media processing apparatus for multi-display system and method of operation thereof
US9565479B2 (en) Methods and apparatus for seeking within a media stream using scene detection
US7145947B2 (en) Video data processing apparatus and method, data distributing apparatus and method, data receiving apparatus and method, storage medium, and computer program
US20080101455A1 (en) Apparatus and method for multiple format encoding
US20110294544A1 (en) Camera parameter-assisted video frame rate up conversion
US20090079663A1 (en) Locating and displaying method upon a specific video region of a computer screen
EP2574069A1 (en) Contents sharing method and display apparatus using the same
US8629939B1 (en) Television ticker overlay
CN101516014B (zh) 图像处理装置和图像处理方法
JP5594842B2 (ja) 映像配信装置
EP4084481A1 (en) Transmission device and receiving device
US9743034B2 (en) Video transmitting/receiving device and video display device
US8704954B2 (en) Signal output device and signal output method
US11930207B2 (en) Display device, signal processing device, and signal processing method
KR20170076345A (ko) 프레임 레이트 변환 장치 및 그 프레임 레이트 변환 방법
WO2015155893A1 (ja) 映像出力装置、映像受信装置、および映像出力方法
KR20240026002A (ko) 실시간 콘텐츠 제공 서비스 시스템, 실시간 콘텐츠 제공 방법 및 이를 위한 컴퓨터 프로그램
JP2010268071A (ja) 映像表示装置およびその制御方法
JP2009055147A (ja) 動画データ送信装置およびその動作制御方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)