KR102189647B1 - 디스플레이 장치, 시스템 및 그 제어 방법 - Google Patents

디스플레이 장치, 시스템 및 그 제어 방법 Download PDF

Info

Publication number
KR102189647B1
KR102189647B1 KR1020140116289A KR20140116289A KR102189647B1 KR 102189647 B1 KR102189647 B1 KR 102189647B1 KR 1020140116289 A KR1020140116289 A KR 1020140116289A KR 20140116289 A KR20140116289 A KR 20140116289A KR 102189647 B1 KR102189647 B1 KR 102189647B1
Authority
KR
South Korea
Prior art keywords
content
scaler
scaling
scaling factor
processing method
Prior art date
Application number
KR1020140116289A
Other languages
English (en)
Other versions
KR20160027760A (ko
Inventor
이민우
김종호
박현희
조재헌
김호진
이용만
최원희
한동균
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140116289A priority Critical patent/KR102189647B1/ko
Priority to JP2017511900A priority patent/JP6908518B2/ja
Priority to CN201580059574.9A priority patent/CN107079198B/zh
Priority to EP15837645.9A priority patent/EP3190801A4/en
Priority to PCT/KR2015/009090 priority patent/WO2016036073A1/ko
Priority to US15/508,173 priority patent/US10140685B2/en
Publication of KR20160027760A publication Critical patent/KR20160027760A/ko
Priority to US16/181,506 priority patent/US10878532B2/en
Application granted granted Critical
Publication of KR102189647B1 publication Critical patent/KR102189647B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T5/90—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving

Abstract

디스플레이 장치가 개시된다. 디스플레이 장치는 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하는 영상 처리부, 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 제어부 및 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이하는 디스플레이부를 포함한다. 이에 따라, 복수의 스케일러를 사용하여 컨텐츠를 스케일링 처리함에 따라 전력 소모 및 리소스 사용을 저감시킬 수 있다.

Description

디스플레이 장치, 시스템 및 그 제어 방법{DISPLAY APPARATUS, SYSTEM AND CONTROLLING METHOD THEREOF}
본 발명은 디스플레이 장치, 시스템 및 그 제어 방법에 관한 것으로, 보다 상세하게는 컨텐츠를 스케일링 처리하여 디스플레이하는 디스플레이 장치, 시스템 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 디스플레이 장치가 지원하는 해상도가 다양해지면서 이러한 다양한 해상도에 맞게 영상 처리 및 스케일링 처리를 수행하여 디스플레이하는 기능이 중요하게 되었다.
종래의 스케일링 처리 기술은 다양한 리소스를 사용하여 입력 영상의 Edge 정보를 분석하고, 입력 영상을 디스플레이 장치의 출력 해상도로 재생성하거나 보간하는 작업을 수행하는 것이다. 예를 들면, 대표적인 방법으로는 Bi-Linear Scaler, Bi-Cubic Scaler 등이 있다.
또한, 종래의 스케일링 처리 기술은 주로 3x3 이상의 Mask window를 사용하여 Edge 정보를 검출하고 해당 Edge 방향에 따라 스케일링 처리 후 선명도 개선 알고리즘을 후처리 형태로 적용하는 것이며, 입력 영상의 해상도를 디스플레이 장치의 출력 해상도에 맞춰 스케일링 처리하는 것이 일반적이다.
그리고, 디스플레이 장치의 출력 해상도에 맞춰 스케일링 처리된 컨텐츠는 디스플레이 장치의 출력 해상도에 맞춰진 Data rate를 갖는 인터페이스를 통해 디스플레이부로 전송된다.
그러나, 처음부터 컨텐츠를 디스플레이 장치의 출력 해상도에 맞추어 스케일링 처리하고 이를 디스플레이부로 전송하는 것은 전력 효율 및 리소스 사용 면에서 불리하다는 문제점이 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 복수의 스케일러를 사용하여 컨텐츠를 스케일링 처리하는 디스플레이 장치, 시스템 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 디스플레이 장치는 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하는 영상 처리부, 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 제어부 및 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 상기 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이하는 디스플레이부를 포함한다.
여기서, 상기 영상 처리부는, 상기 컨텐츠를 제1 스케일링 배율로 스케일링 처리하는 제1 스케일러를 포함하고, 상기 디스플레이부는, 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 상기 결정된 제2 스케일링 배율에 따라 스케일링 처리하는 제2 스케일러를 포함한다.
또한, 상기 제1 스케일러는, 상기 컨텐츠의 특성 정보 및 상기 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 결정한다.
또한, 상기 제1 스케일러는, 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 제2 스케일러로 전송하며, 상기 제2 스케일러는, 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정한다.
또한, 상기 제2 스케일러는, 상기 컨텐츠의 특성 정보에 기초하여 픽셀의 배치 구조를 판단하고, 상기 판단된 픽셀의 배치 구조에 기초하여 상기 픽셀의 스케일링 가중치를 결정하며, 상기 결정된 픽셀의 스케일링 가중치 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정한다.
그리고, 상기 제1 스케일러는, 상기 컨텐츠의 프레임별로 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리하고, 상기 제어부는, 상기 컨텐츠의 프레임별로 상기 제2 스케일링 배율을 결정하며, 상기 제2 스케일러는, 상기 컨텐츠의 프레임별로 상기 제2 스케일러의 스케일링 처리 방식을 결정하고, 상기 컨텐츠의 프레임별로 결정된 상기 제2 스케일러의 스케일링 처리 방식 및 상기 제2 스케일링 배율에 기초하여 스케일링 처리한다.
또한, 상기 제1 스케일링 배율은 0 초과 1 미만이고, 상기 제2 스케일링 배율은 1 초과이며, 상기 제1 스케일러는 상기 컨텐츠를 다운 스케일링 처리하고, 상기 제2 스케일러는 상기 다운 스케일링 처리된 컨텐츠를 업 스케일링 처리한다.
여기서, 상기 컨텐츠의 특성 정보는, 상기 컨텐츠의 종류, 상기 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 상기 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함한다.
한편, 상기 영상 처리부와 상기 디스플레이부를 연결하는 인터페이스부;를 더 포함하며, 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠, 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보는 상기 인터페이스부를 통해 전송된다.
한편, 본 발명의 일 실시 예에 따른 시스템은 디스플레이 장치 및 상기 디스플레이 장치로 컨텐츠를 제공하기 위한 컨텐츠 제공 장치를 포함하며, 상기 컨텐츠 제공 장치는 상기 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하여 상기 디스플레이 장치로 전송하고, 상기 디스플레이 장치는 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하고, 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 상기 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이한다.
그리고, 상기 컨텐츠 제공 장치는, 상기 컨텐츠의 특성 정보, 상기 컨텐츠 제공 장치의 전력 상태 및 상기 디스플레이 장치와의 연결 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식을 결정한다.
여기서, 상기 컨텐츠 제공 장치는, 상기 컨텐츠의 특성 정보 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 디스플레이 장치로 전송하며, 상기 디스플레이 장치는, 상기 컨텐츠의 특성 정보 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 디스플레이 장치의 스케일링 처리 방식을 결정한다.
또한, 상기 디스플레이 장치는, 복수의 스케일러부 및 상기 복수의 스케일러부 중 일부는 턴 오프 시키고 나머지 일부는 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 상기 제2 스케일링 배율에 따라 스케일링 처리하도록 제어하는 제어부를 포함한다.
한편, 본 발명의 일 실시 예에 따른 제1 스케일러 및 제2 스케일러를 포함하는 디스플레이 장치의 제어 방법은 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하는 단계, 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 단계 및 상기 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 상기 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이하는 단계를 포함한다.
여기서, 상기 제1 스케일링 배율로 스케일링 처리하는 단계는, 상기 컨텐츠의 특성 정보 및 상기 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 결정한다.
또한, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 제2 스케일러로 전송하는 단계를 더 포함하며, 상기 디스플레이하는 단계는, 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정한다.
그리고, 상기 디스플레이하는 단계는, 상기 컨텐츠의 특성 정보에 기초하여 픽셀의 배치 구조를 판단하고, 상기 판단된 픽셀의 배치 구조에 기초하여 상기 픽셀의 스케일링 가중치를 결정하며, 상기 결정된 픽셀의 스케일링 가중치 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정한다.
또한, 상기 제1 스케일링 배율로 스케일링 처리하는 단계는, 상기 컨텐츠의 프레임별로 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리하고, 상기 제2 스케일링 배율을 결정하는 단계는, 상기 컨텐츠의 프레임별로 상기 제2 스케일링 배율을 결정하며, 상기 디스플레이하는 단계는, 상기 컨텐츠의 프레임별로 상기 제2 스케일러의 스케일링 처리 방식을 결정하고, 상기 컨텐츠의 프레임별로 결정된 상기 제2 스케일러의 스케일링 처리 방식 및 상기 제2 스케일링 배율에 기초하여 스케일링 처리한다.
여기서, 상기 제1 스케일링 배율은 0 이상 1 미만이고, 상기 제2 스케일링 배율은 1 초과이며, 상기 제1 스케일링 배율로 스케일링 처리하는 단계는, 상기 컨텐츠를 다운 스케일링 처리하고, 상기 디스플레이하는 단계는, 상기 다운 스케일링 처리된 컨텐츠를 업 스케일링 처리한다.
그리고, 상기 컨텐츠의 특성 정보는, 상기 컨텐츠의 종류, 상기 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 상기 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함한다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 복수의 스케일러를 사용하여 컨텐츠를 스케일링 처리함에 따라 전력 소모 및 리소스 사용을 저감시킬 수 있다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 3은 본 발명의 일 실시 예에 따른 컨텐츠의 특성에 따른 제2 스케일러의 처리 방식을 도시한 도면이다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 제2 스케일러의 스케일링 처리 방식을 결정하는 과정을 설명하기 위한 도면이다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 Data rate의 저감 효과를 설명하기 위한 표이다.
도 9 내지 도 14는 본 발명의 일 실시 예에 따른 다양한 동작 모드를 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시 예에 따른 프레임별로 스케일링 처리하는 것을 설명하기 위한 도면이다.
도 16은 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
도 17은 본 발명의 일 실시 예에 따른 시스템을 구성하는 디스플레이 장치의 상세한 구성을 도시한 도면이다.
도 18은 본 발명의 일 실시 예에 따른 제1 스케일러 및 제2 스케일러를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타낸 블럭도이다.
도 1에 따르면, 디스플레이 장치(100)는 영상 처리부(110), 제어부(120) 및 디스플레이부(130)를 포함한다. 여기서, 디스플레이 장치(100)는 TV, 전자 칠판, 전자 테이블, LFD(Large Format Display), 스마트 폰, 태블릿, 데스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
영상 처리부(100)는 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리한다. 예를 들면, 영상 처리부(100)는 컨텐츠 소스로부터 입력된 컨텐츠를 디코딩, 스케일링 처리 및 프레임 레이트 변환 등의 동작을 수행하여, 디스플레이부(130)에서 출력 가능한 형태로 영상 처리를 수행할 수 있는데, 여기서 영상 처리부(100)는 컨텐츠를 스케일링 처리 시 제1 스케일링 배율로 스케일링 처리를 수행할 수 있다. 제1 스케일링 배율을 결정하는 방법에 대한 설명은 후술하기로 한다.
제어부(120)는 영상 처리부(110)에서 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도에 기초하여 제2 스케일링 배율을 결정한다. 예를 들어, 영상 처리부(110)에서 컨텐츠가 1920x1080의 스케일링 배율로 스케일링 처리된 경우, 영상 처리부(110)에서 스케일링 처리된 컨텐츠의 해상도는 1920x1080이고, 디스플레이 장치(100)의 출력 해상도가 2560x1440라고 가정할 경우, 제어부(120)는 영상 처리부(110)에서 스케일링 처리된 컨텐츠의 해상도인 1920x1080과 디스플레이 장치(100)의 출력 해상도인 2560x1440을 비교하여 제2 스케일링 배율을 결정할 수 있다.
디스플레이부(130)는 영상 처리부(110)에서 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제어부(120)에서 결정된 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이할 수 있다.
한편, 디스플레이부(130)는 컨텐츠를 디스플레이하기 위하여, 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
한편, 도 2는 본 발명의 일 실시 예에 따른 디스플레이 장치의 상세한 구성을 나타낸 블럭도이다.
도 2를 참조하면, 영상 처리부(110)는 Contents Player(111), 제1 스케일러(112) 및 Frame Buffer(113)을 포함할 수 있다. 또한, 도시되지는 않았지만, 컨텐츠를 제공하는 컨텐츠 소스(Contents Source)를 더 포함할 수도 있으며, 이러한 컨텐츠 소스는 영상 처리부(110) 외부에 존재할 수도 있다.
Contents Player(111)는 컨텐츠 소스(미도시)로부터 입력된 컨텐츠를 디코딩하고, 영상 처리하여 재생하는 동작을 수행할 수 있다.
그리고, 제1 스케일러(112)는 컨텐츠를 제1 스케일링 배율에 따라 1차적으로 스케일링 처리할 수 있다. 구체적으로, 제1 스케일러는 Contents Player(111)에서 영상 처리된 컨텐츠를 제1 스케일링 배율에 따라 스케일링 처리할 수 있는데, 여기서 제1 스케일링 배율은 0 을 초과하여 무한대의 값을 가질 수 있다.
예를 들어, 제1 스케일링 배율이 0 과 1 사이의 값을 갖는 경우 제1 스케일러(112)는 영상 처리된 컨텐츠를 다운 스케일링 처리를 수행하고, 제1 스케일링 배율이 1의 값을 갖는 경우 제1 스케일러(112)는 영상 처리된 컨텐츠의 원본 해상도를 유지하도록 하며, 제1 스케일링 배율이 1 초과의 값을 갖는 경우에는 제1 스케일러(112)는 업 스케일링 처리를 수행하게 된다.
즉, 영상 처리된 컨텐츠의 해상도가 1920x1080 이라고 가정하면, 제1 스케일링 배율이 0과 1 사이의 값으로 설정되는 경우 제1 스케일러(112)는 영상 처리된 컨텐츠의 해상도를 1280x720 으로 다운 스케일링 처리하고, 제1 스케일링 배율이 1 을 초과하는 값으로 설정되는 경우에는 제1 스케일러(112)는 영상 처리된 컨텐츠의 해상도를 2560x1440으로 업 스케일링 처리한다.
또한, Frame Buffer(113)는 제1 스케일러(112)에서 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠를 프레임 단위로 디스플레이부(130)로 출력할 수 있다.
한편, 도 2를 참조하면, 디스플레이부(130)는 제2 스케일러(131)를 포함할 수 있다.
제2 스케일러(131)는 제1 스케일러(112)에서 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리할 수 있다. 여기서, 제2 스케일링 배율은 제어부(120)에 의해 결정될 수 있으며, 제어부(120)는 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도에 기초하여 제2 스케일링 배율을 결정할 수 있다.
예를 들어, 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도에 대응되는 스케일링 팩터(factor)가 scale M이고, 디스플레이 장치(100)의 출력 해상도에 대응되는 스케일링 팩터가 scale N이라면, 제어부(120)는 하기의 수학식을 통해 제2 스케일링 배율을 결정할 수 있다.
[수학식 1]
제2 스케일링 배율=scale M/scale N
그리고, 제2 스케일러(131)는 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠를 상술한 바와 같이 제어부(120)에 의해 결정된 제2 스케일링 배율에 따라 스케일링 처리할 수 있다.
마찬가지로, 제2 스케일링 배율은 0 을 초과하여 무한대의 값을 가질 수 있으며, 제2 스케일링 배율이 0과 1 사이의 값을 갖는 경우 제2 스케일러(131)는 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠를 다운 스케일링 처리하고, 제2 스케일링 배율이 1의 값을 갖는 경우 제2 스케일러(131)는 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠의 해상도를 유지하고, 제2 스케일링 배율이 1 을 초과하는 값을 갖는 경우에는 제2 스케일러(131)는 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠를 업 스케일링 처리한다.
한편, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있다.
여기서, 컨텐츠의 특성 정보는 컨텐츠의 종류, 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함할 수 있다.
이러한 컨텐츠의 특성 정보는 Contents Player(111) 또는 제1 스케일러(112)에 의해 검출될 수 있으며, 제1 스케일러(112)가 컨텐츠를 스케일링 처리하기 전이나 스케일링 처리하는 동안 검출될 수 있다.
예를 들어, 컨텐츠의 종류가 텍스트인 경우 텍스트는 경계선이 명확하다는 특징을 가지고 있으므로, 제1 스케일러(112)는 이러한 텍스트의 특징을 고려하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있다.
또한, 컨텐츠의 종류가 자연 풍경을 포함하는 이미지인 경우, 이러한 이미지는 자연 풍경에 대응되는 오브젝트들 간의 경계선이 텍스트에 비해 상대적으로 불명확하다는 특징을 가지고 있으므로, 제1 스케일러(112)는 이러한 자연 풍경을 포함하는 이미지의 특징을 고려하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 컨텐츠가 텍스트인 경우와 다르게 결정할 수 있다.
또한, 컨텐츠에 포함되는 오브젝트의 경계선의 크기나 두께 및 분포 형태, 컨텐츠에 포함되는 문자의 종류와 분포 및 컨텐츠의 해상도에 따라 제1 스케일러(112)는 제1 스케일링 배율 및 제1 스케일러(112)의 처리 방식을 상이하게 결정할 수 있다. 이에 대한 자세한 설명은 후술하기로 한다.
또한, 디스플레이 장치(100)의 전력 소모량이 증가하여 저전력으로 동작할 필요가 있는 경우 제1 스케일러(112)는 제1 스케일링 배율을 낮은 값으로 결정할 수 있다. 즉, 저전력 동작을 요구하는 상황이 발생할 경우 제1 스케일러(112)는 제1 스케일링 배율을 0 과 1 사이의 값으로 결정하여 컨텐츠를 다운 스케일링 처리할 수 있다.
한편, 디스플레이 장치(100)의 전력 소모량이 적어 높은 전력으로 동작해도 문제가 없는 경우 또는 고화질의 컨텐츠를 스케일링 처리해야 하는 경우 제1 스케일러(112)는 제1 스케일링 배율을 높은 값으로 결정할 수 있다. 즉, 저전력 동작이 요구되지 않는 상황에서는 제1 스케일러(112)는 제1 스케일링 배율을 1 초과의 값으로 결정하여 컨텐츠를 업 스케일링 처리할 수도 있다.
한편, 제2 스케일러(131)는 제1 스케일러(112)와 연동하여 동작할 수 있다. 구체적으로, 제2 스케일러(131)는 제1 스케일러의 특성을 고려하여 동작할 수 있으며, 제1 스케일러(112)의 특성에 따라 제2 스케일러의 스케일링 처리 특성이 변경될 수 있다.
여기서, 제1 스케일러(112)의 특성은 제1 스케일링 배율 및 제1 스케일러의 처리 방식과 관련된다.
그리고, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 제2 스케일러로 전송한다. 이에 따라, 제2 스케일러(131)는 제1 스케일러(112)로부터 수신된 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
즉, 제2 스케일러는(131)는 제1 스케일러(112)의 특성을 고려하여 동작하기 위하여 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보를 수신하고, 또한 이러한 제1 스케일러(112)의 스케일링 처리 방식은 컨텐츠의 특성에 따라 변경될 수 있으므로 컨텐츠의 특성에 관한 정보도 수신한다. 도 3을 참조하면 좀더 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 컨텐츠의 특성에 따른 제2 스케일러의 처리 방식을 도시한 도면이다.
도 3을 참조하면, 제1 스케일링 배율에 따라 스케일링 처리된 컨텐츠의 2x2 픽셀(310)로부터 제2 스케일러(131)에 의해 두 가지의 방식(320, 330)으로 스케일링 처리될 수 있음을 알 수 있다.
즉, 상술한 예에서 컨텐츠의 종류가 텍스트와 같은 문자인 경우 텍스트는 경계선이 명확하다는 특징이 있으므로, 제2 스케일러(131)가 수행하는 스케일링 처리 방식 역시 경계선이 명확해지도록 하는 방식이어야 하며, 이러한 조건을 만족하는 스케일링 처리 방식은 곧 첫 번째 방식(320)임을 알 수 있다.
첫 번째 방식(320)은 두 번째 방식(330)에 비해 울퉁불퉁한 부분이 적어 오브젝트들 간의 경계를 명확히 하기에 적합하다.
또한, 컨텐츠의 종류가 자연 풍경을 포함하는 이미지인 경우 자연 풍경에 대응되는 오브젝트들 간의 경계선은 텍스트에 비해 명확할 필요가 없고 자연스럽고 부드럽게 보여야 하는 특징을 가지고 있으므로, 제2 스케일러(131)가 수행하는 스케일링 처리 방식 역시 경계선이 명확해지도록 하는 것이 아닌 자연스럽게 보이도록 부드럽게 하는 방식이어야 하며, 이러한 조건을 만족하는 스케일링 처리 방식은 곧 두 번째 방식(330)임을 알 수 있다.
두 번째 방식(330)은 첫 번째 방식(320)에 비해 울퉁불퉁한 부분이 많아 오브젝트들 간의 경계가 부드러워지고 자연스럽게 되도록 하기에 적합하다.
도 3에서 설명한바와 같이, 제2 스케일러(131)가 선택할 수 있는 스케일링 처리 방식은 다양하며, 제2 스케일러(131)는 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 다양한 스케일링 처리 방식 중 하나를 선택하여 컨텐츠를 스케일링 처리할 수 있다.
한편, 다시 도 2를 참조하면, 본 발명의 일 실시 예에 따른 디스플레이 장치(100)는 영상 처리부(110)와 디스플레이부(130)를 연결하는 인터페이스부(140)를 더 포함할 수 있다.
그리고, 영상 처리부(110) 또는 영상 처리부(110)에 포함된 제1 스케일러(112)는 인터페이스부(140)를 통해 제1 스케일링 배율로 스케일링 처리된 컨텐츠, 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보를 디스플레이부(130) 또는 제2 스케일러(131)로 전송할 수 있다.
여기서, 인터페이스부(140)는 직렬형 또는 병렬형 또는 직렬형과 병렬형의 혼합 형태일 수 있으며, 무선 또는 유선 또는 무선과 유/무선 혼합 형태일 수 있다. 또한, 인터페이스부(140)는 Chip-to-Chip의 형태, 다양한 종류의 PCB, 반도체 Chip 내부의 전용 혹은 공용 버스, Master/Slave로 구성된 유/무선 네트워크 및 Peer to Peer의 유/무선 네트워크 등으로 구현될 수 있다.
한편, 제2 스케일러(131)는 컨텐츠의 특성 정보에 기초하여 픽셀의 배치 구조를 판단하고, 판단된 픽셀의 배치 구조에 기초하여 픽셀의 스케일링 가중치를 결정하며, 결정된 픽셀의 스케일링 가중치 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
즉, 도 3에서 설명한 바와 같이, 제2 스케일러(131)는 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 다양한 스케일링 처리 방식 중 하나를 선택하여 컨텐츠를 스케일링 처리할 수 있는데, 제2 스케일러(131)가 컨텐츠의 특성 정보에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정하는 상세한 과정에 대해 도 4 내지 도 6을 통해 설명하기로 한다.
도 4 내지 도 6은 본 발명의 일 실시 예에 따른 제2 스케일러의 스케일링 처리 방식을 결정하는 과정을 설명하기 위한 도면이다.
도 4는 일반적으로 사용되는 스케일링 처리 방식 중 Bi-linear의 스케일링 처리 방식에 관한 것으로, (X1, Y1) 지점, (X1, Y2) 지점, (X2, Y1) 지점, (X2, Y2)지점으로 이루어지는 영역(400) 내에 존재하는 (X,Y) 지점에 대응되는 픽셀에 대해 스케일링 처리 시, 제2 스케일러(131)는 (X1, Y1) 지점에 대응되는 픽셀의 R, G, B 값과 (X, Y) 지점 및 (X2, Y2) 지점을 포함하는 영역(420)에 기초하여 산출된 값, (X1, Y2) 지점에 대응되는 픽셀의 R, G, B 값과 (X, Y) 지점 및 (X2, Y1) 지점을 포함하는 영역(430)에 기초하여 산출된 값, (X2, Y2) 지점에 대응되는 픽셀의 R, G, B 값과 (X, Y) 지점 및 (X1, Y1) 지점을 포함하는 영역(440)에 기초하여 산출된 값 및 (X2, Y1) 지점에 대응되는 픽셀의 R, G, B 값과 (X, Y) 지점 및 (X1, Y2) 지점을 포함하는 영역(410)에 기초하여 산출된 값을 합하여 (X, Y) 지점에 대응되는 픽셀의 R, G, B 값을 산출해낼 수 있다.
또한, 예를 들어, 제2 스케일러(131)가 2x2 의 원본 픽셀을 참조할 경우 픽셀에 대한 정보는 도 5와 같이 64개의 경우로 나눌 수 있다. 여기서, 제2 스케일러(131)는 제1 스케일러(112)의 스케일링 처리 방식을 고려하여 픽셀의 배치 구조를 분석하면, 실제로 활용되는 픽셀의 배치 구조는 도 6과 같이 22 가지의 경우로 압축될 수 있다.
그리고, 제2 스케일러(131)는 도 6의 22 가지의 경우의 실제로 활용되는 픽셀의 배치 구조를 다시 10개의 분류로 나누어 픽셀의 스케일링 가중치를 결정할 수 있다.
또한, 제2 스케일러(131)는 결정된 픽셀의 스케일링 가중치 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정하며, 제2 스케일러(131)는 상술한 바와 같이 결정된 스케일링 처리 방식을 통하여, 제1 스케일러(112)와 연동하여 스케일링 처리된 영상의 선명도와 Jagging 요소를 제어하여 최적의 화질을 생성할 수 있다.
이와 같이, 픽셀의 스케일링 가중치 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 도 3과 같이 컨텐츠의 종류에 따라 제2 스케일러(131)의 스케일링 처리 방식(320, 330)을 상이하게 결정할 수 있다.
예를 들어, 제2 스케일러(131)가 제1 스케일러(112)로부터 컨텐츠에 포함되는 오브젝트의 질감에 대한 정보를 수신한 경우 제2 스케일러(131)는 수신된 오브젝트의 질감에 대한 정보에 기초하여 픽셀의 배치 구조를 판단하고 픽셀의 스케일링 가중치를 결정할 수 있다. 그리고, 제2 스케일러(131)는 오브젝트의 질감에 대한 정보에 기초하여 결정된 픽셀의 스케일링 가중치 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다. 이렇게 결정된 제2 스케일러(131)의 스케일링 처리 방식에 의해 스케일링 처리된 컨텐츠는 오브젝트의 질감을 충분히 반영할 수 있게 된다.
도 7 및 도 8은 본 발명의 일 실시 예에 따른 Data rate의 저감 효과를 설명하기 위한 표이다.
도 7을 참조하면, 원본 컨텐츠의 해상도가 2560x1440 이고, 디스플레이 장치(100)의 출력 해상도가 2560x1440 인 경우 기존에는 즉, 영상 처리부(110)에서 디스플레이 장치(100)의 출력 해상도에 맞게 스케일링 처리할 경우에는 제1 스케일러(112)가 디스플레이 장치(100)의 출력 해상도와 동일하게 스케일링 처리함으로써, 원본 컨텐츠의 해상도는 2560x1440 으로 유지가 되며, 이후 Frame Buffer(113), 인터페이스부(140) 및 디스플레이부(130)에서도 모두 컨텐츠의 해상도는 2560x1440 으로서 처리가 될 수 밖에 없다.
이에 비해, 본 발명의 일 실시 예에 따른 제1 스케일러(112)는 원본 컨텐츠의 해상도를 2560x1440에서 1920x1080으로 다운 스케일링 처리하며, 이에 따라 Frame Buffer(113), 인터페이스부(140)에서도 모두 컨텐츠의 해상도는 1920x1080 으로서 처리가 될 수 있으며, 이후 디스플레이부(130)에서 다시 해상도를 2560x1440 으로 업 스케일링 처리하게 된다.
이에 따라, 기존에 비하여 Frame Buffer(113), 인터페이스부(140)에서 처리되는 컨텐츠의 해상도가 낮아지게 되면서 Data rate도 저감(44퍼센트 저감)되고 따라서 전력 또는 리소스의 소모량도 감소하게 된다.
도 8을 참조하면, 원본 컨텐츠의 해상도가 1280x720 이고, 디스플레이 장치(100)의 출력 해상도가 2560x1440 인 경우 기존에는 제1 스케일러(1120)가 처음부터 원본 컨텐츠의 해상도를 1280x720에서 디스플레이 장치(100)의 출력 해상도인 2560x1440 으로 업 스케일링 처리하고, 이렇게 해상도가 2560x1440 으로 업 스케일링 처리된 컨텐츠는 Frame Buffer(113), 인터페이스부(140) 및 디스플레이부(130)에서 동일한 해상도를 유지한 채 처리된다.
이에 비해, 본 발명의 일 실시 예에 따른 제1 스케일러(112)는 처음부터 원본 컨텐츠의 해상도를 디스플레이 장치(100)의 출력 해상도로 업 스케일링 처리하지 않고, 원본 컨텐츠의 해상도를 1280x720 으로 동일하게 유지하고, 이렇게 해상도가 1280x720 으로 동일하게 유지된 컨텐츠는 Frame Buffer(113), 인터페이스부(140)에서도 동일한 해상도를 유지한 채 처리된다. 이후, 디스플레이부(130)에서 해상도를 2560x1440 으로 업 스케일링 처리하게 된다.
이에 따라, 기존에 비하여 Frame Buffer(113), 인터페이스부(140)에서 컨텐츠는 2560x1440 이 아닌 1280x720 의 해상도로 처리됨에 따라 Date rate도 저감(75퍼센트 저감)되고 따라서 전력 또는 리소스의 소모량도 감소하게 된다.
한편, 제1 스케일러(112) 또는 제2 스케일러(131)는 입력되는 컨텐츠의 해상도를 동일하게 유지할 수 있는데, 이는 제1 스케일링 배율 또는 제2 스케일링 배율을 1로 설정하여 구현될 수 있으나, 제1 스케일러(112) 또는 제2 스케일러(131)를 턴 오프 시킴으로써 구현될 수도 있다.
도 9 내지 도 14는 본 발명의 일 실시 예에 따른 다양한 동작 모드를 설명하기 위한 도면이다.
도 9를 참조하면, 영상 처리부(110)에 컨텐츠가 입력되면(S910) 컨텐츠를 분석하여 컨텐츠의 특성 정보를 검출한다. 그리고, 디스플레이 장치(100)는 사용자 조작을 입력받기 위한 입력부(미도시)를 더 포함할 수 있으며, 제어부(120)는 입력부(미도시)를 통해 입력된 사용자 조작에 따른 사용자 설정 결과에 의해 제1 스케일러(112) 및 제2 스케일러(131)를 제어하여 각각의 스케일링 배율 및 스케일링 처리 방식을 조정할 수도 있다.
제어부(120)는 컨텐츠의 특성 정보 및 사용자 설정 결과 중 적어도 하나를 고려하여(S920) 5개의 동작 모드(Mode 0, Mode 1, Mode 2, Mode 3, Mode 4) 중 하나의 동작 모드를 결정할 수 있다. 여기서, 동작 모드의 개수는 5개로 한정되지 않으며 디스플레이 장치(100)의 전력 상태, 컨텐츠의 특성, 사용자 설정 등에 따라 동작 모드의 개수는 더 많아질 수 있다.
도 10 내지 도 14를 참조하여 각 동작 모드(Mode 0, Mode 1, Mode 2, Mode 3, Mode 4)에 대해 상세히 설명하기로 한다.
도 10을 참조하면, 컨텐츠의 해상도가 디스플레이 장치(100)의 출력 해상도보다 크거나 같은 경우 제어부(120)는 동작 모드를 Mode 0으로 결정하며, 제 1스케일러(112)는 제1 스케일링 배율을 1 보다 작게 설정하여 컨텐츠를 다운 스케일링하고(S1010)한다. 그리고, 제어부(120)는 제1 스케일링 배율로 처리된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도를 고려하여 제2 스케일링 배율을 결정하고(S1020), 제2 스케일러(131)는 결정된 제2 스케일링 배율에 따라 제1 스케일링 배율로 처리된 컨텐츠를 업 스케일링 처리하고 영상 복원을 수행할 수 있다(S1030).
여기서, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있으며, 또한, 컨텐츠의 해상도를 추후 디스플레이부(130)에서 충분히 복원하도록 하기 위한 해상도에 관한 메타 데이터 또는 고주파 성분을 추가적으로 검출할 수도 있다.
이렇게 제1 스케일러(112)는 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정하는데 사용된 컨텐츠의 특성 정보, 디스플레이 장치의 전력 상태에 관한 정보 및 디스플레이부(130)에서 컨텐츠 복원을 지원하기 위한 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등에 관한 정보를 부가 정보의 형태로 제2 스케일러(131)에 전송할 수 있다(S1040).
그리고, 제2 스케일러(131)는 제1 스케일러(112)로부터 수신된 부가 정보에 포함된 컨텐츠의 특성 정보, 제1 스케일러의 스케일링 처리 방식, 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등을 고려하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
도 11을 참조하면, 제어부(120)가 동작 모드를 Mode 1로 결정한 것으로 도 10의 컨텐츠의 해상도가 디스플레이 장치(100)의 출력 해상도보다 크거나 같은 경우에 한정하지 않고, 컨텐츠의 특성이나 사용자 조작에 의한 사용자 설정에 따라 특정 해상도 또는 특정 배율까지는 제1 스케일러(112)가 담당하고(S1110), 이후 제2 스케일러(131)가 디스플레이 장치(100)의 출력 해상도에 맞춰 스케일링 처리한다(S1120). 즉, 도 11에서는 제1 스케일러(112)가 입력된 컨텐츠를 컨텐츠의 특성이나 사용자 설정에 따라 다운 스케일링 처리할 수도 있고, 업 스케일링 처리할 수도 있으며, 이에 따라, 제2 스케일러(131)는 제1 스케일러(112)에서 결정된 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식에 따라 업 스케일링 처리할 수도 있고, 다운 스케일링 처리할 수도 있다.
또한, 마찬가지로, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있으며, 또한, 컨텐츠의 해상도를 추후 디스플레이부(130)에서 충분히 복원하도록 하기 위한 해상도에 관한 메타 데이터 또는 고주파 성분을 추가적으로 검출할 수도 있고, 제2 스케일러(131)는 제1 스케일러(112)로부터 수신된 부가 정보에 포함된 컨텐츠의 특성 정보, 제1 스케일러의 스케일링 처리 방식, 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등을 고려하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
도 12를 참조하면, 제어부(120)가 동작 모드를 Mode 2로 결정한 것으로 제1 스케일러(112)는 제1 스케일링 배율을 1로 설정하여 컨텐츠를 스케일링 처리한다(S1210). 즉, 제1 스케일러(112)는 입력된 컨텐츠에 대하여 스케일링 배율을 적용하여 처리하지 않고, 입력된 컨텐츠의 원본 해상도를 유지한다. 이렇게, 제1 스케일러(112)가 입력된 컨텐츠에 대하여 스케일링 배율을 적용하여 처리하지 않는 동작은 제1 스케일러(112)가 턴 오프 되어 아무 동작도 수행하지 않는 것으로 구현될 수도 있고, 상술한 것처럼 제1 스케일러(112)가 제1 스케일링 배율을 1로 설정하여 스케일링 처리하는 것으로 구현될 수도 있으며, 제1 스케일러(112)가 입력된 컨텐츠에 관한 데이터를 바이 패스(By-pass)시켜서 출력하는 것으로 구현될 수도 있다.
그리고, 제1 스케일러(112)는 입력된 컨텐츠의 원본 해상도를 그대로 유지한채 제2 스케일러(131)로 컨텐츠를 전송하고, 제어부(120)는 컨텐츠의 원본 해상도와 디스플레이 장치(100)의 출력 해상도를 고려하여 제2 스케일링 배율을 결정하고, 제2 스케일러(131)는 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다(S1220).
예를 들어, 도 8에서 설명한 바와 같이, 입력된 컨텐츠의 원본 해상도가 1280x720인 경우 제1 스케일러(112)는 입력된 컨텐츠의 해상도를 1280x720으로 유지한채 Frame Buffer(113) 및 인터페이스부(140)를 통해 디스플레이부(130)로 전송하고, 디스플레이부(130)에 구비된 제2 스케일러(131)는 컨텐츠의 해상도인 1280x720과 디스플레이 장치(100)의 출력 해상도인 2560x1440을 고려하여 제2 스케일링 배율 및 제2 스케일러(131)의 스케일링 처리 방식을 결정한다. 그리고, 이러한 경우, Frame Buffer(113) 및 인터페이스부(140)를 통해 전송되는 컨텐츠의 해상도가 1280x720으로 유지됨으로써 Data rate, 전력 사용량, 리소스 사용량 등이 저감됨은 이미 설명하였다.
또한, 마찬가지로, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 디스플레이 장치(100)의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있으며, 또한, 컨텐츠의 해상도를 추후 디스플레이부(130)에서 충분히 복원하도록 하기 위한 해상도에 관한 메타 데이터 또는 고주파 성분을 추가적으로 검출할 수도 있고, 제2 스케일러(131)는 제1 스케일러(112)로부터 수신된 부가 정보에 포함된 컨텐츠의 특성 정보, 제1 스케일러의 스케일링 처리 방식, 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등을 고려하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
도 13을 참조하면, 제어부(120)가 동작 모드를 Mode 3으로 결정한 것으로 종래에 주로 사용되는 스케일링 처리 방법에 관한 것으로, 제1 스케일러(112)가 입력된 컨텐츠를 디스플레이부(130)로 전송하기 전에 디스플레이 장치(100)의 출력 해상도로 스케일링 처리하는 것을 나타낸다.
구체적으로, 제1 스케일러(112)는 입력된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도를 고려하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정하여 입력된 컨텐츠를 스케일링 처리하고(S1310), 제2 스케일러(131)는 제1 스케일러(112)에서 스케일링 처리된 컨텐츠에 대해 스케일링 배율을 적용하여 처리하지 않고, 그대로 제1 스케일러(112)에서 스케일링 처리된 컨텐츠의 해상도를 유지하여 디스플레이하도록 한다(S1320).
예를 들어, 사용자가 비디오를 보다가 터치 조작을 수행하여 유저 인터페이스 화면이 디스플레이되는 경우나 디스플레이부(130)에 디스플레이되는 화면을 캡쳐하여 저장하고자 하는 경우 제어부(120)는 제1 스케일러(112) 및 제2 스케일러(131)를 모두 구동하여 스케일링 처리하지 않고, 제1 스케일러(112)만 사용하여 신속히 스케일링 처리하도록 할 수 있다.
한편, 제어부의 동작이 Mode 3으로 결정된 경우 제2 스케일러(131)는 스케일링 처리 동작을 수행하지 않으므로, 제1 스케일러(112)는 굳이 컨텐츠의 특성 정보, 제1 스케일러의 스케일링 처리 방식, 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등을 포함하는 부가 정보를 제2 스케일러(131)로 전송할 필요는 없다.
또한, 제2 스케일러(131)은 제1 스케일러(112)에서 스케일링 처리된 컨텐츠에 대해 스케일링 배율을 적용하여 처리하지 않고, 제1 스케일러(112)에서 스케일링 처리된 컨텐츠의 해상도를 유지하는데, 이렇게 제2 스케일러(131)가 제1 스케일러(112)에서 스케일링 처리된 컨텐츠에 대해 스케일링 배율을 적용하여 처리하지 않는 동작은 제2 스케일러(131)가 턴 오프 되어 아무 동작도 수행하지 않는 것으로 구현될 수도 있고, 제2 스케일러(131)가 제2 스케일링 배율을 1로 설정하여 스케일링 처리하는 것으로 구현될 수도 있으며, 제2 스케일러(131)가 제1 스케일러(112)에서 스케일링 처리된 컨텐츠에 관한 데이터를 바이 패스시켜서 출력하는 것으로 구현될 수도 있다.
도 14을 참조하면, 제어부(120)가 동작 모드를 Mode 4으로 결정한 것으로 디스플레이 장치(100)가 저전력으로 동작하는 경우를 나타낸 것이다. 구체적으로, 사용자 설정이나 배터리의 잔여량이 기 설정된 임계치 이하로 낮아지게 된 경우, 또는 사용자가 설정한 사용 시간을 보장하도록 디스플레이 장치(100)가 동작해야 하는 경우 제어부(120)는 동작 모드를 Mode 4로 결정할 수 있다.
이에 따라, 제1 스케일러(112)는 컨텐츠의 원본 해상도가 디스플레이 장치(100)의 출력 해상도와 같다고 하더라도, 제1 스케일링 배율을 1 보다 작게 설정하여 입력된 컨텐츠를 다운 스케일링 처리하고(S1410), 제어부(120)는 제1 스케일러(112)에서 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도를 고려하여 제2 스케일링 배율을 결정하고, 제2 스케일러부(131)는 제1 스케일러(112)에서 다운 스케일링 처리된 컨텐츠를 업 스케일링 처리할 수 있다(S1420).
예를 들어, 도 7과 같이, 입력된 컨텐츠의 원본 해상도가 2560x1440 인 경우 디스플레이 장치(100)의 배터리의 잔여량이 기 설정된 임계치 이하로 낮아지게 되어 저전력 동작으로 동작해야할 필요가 있는 경우에는 제1 스케일러(112)는 입력된 컨텐츠의 원본 해상도를 1920x1080 으로 다운 스케일링 처리하고, 1920x1080 으로 다운 스케일링 처리된 컨텐츠를 Frame Buffer(113) 및 인터페이스부(140)를 통해 디스플레이부(130)로 전송하고, 디스플레이부(130)에 구비된 제2 스케일러(131)는 1920x1080 으로 다운 스케일링 처리된 컨텐츠를 다시 디스플레이 장치(100)으 출력 해상도인 2560x1440으로 업 스케일링 처리할 수 있다.
이렇게 하여, Frame Buffer(113) 및 인터페이스부(140)를 통해 전송되는 컨텐츠는 해상도가 1920x1080으로써, Data rate가 44프로 저감되고, 전력 사용량 및 리소스 사용량도 감소하게 됨으로써, 디스플레이 장치(100)의 배터리 감소율을 낮출 수 있게 된다.
또한, 마찬가지로, 제1 스케일러(112)는 컨텐츠의 특성 정보 및 디스플레이 장치(100)의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있으며, 또한, 컨텐츠의 해상도를 추후 디스플레이부(130)에서 충분히 복원하도록 하기 위한 해상도에 관한 메타 데이터 또는 고주파 성분을 추가적으로 검출할 수도 있고, 제2 스케일러(131)는 제1 스케일러(112)로부터 수신된 부가 정보에 포함된 컨텐츠의 특성 정보, 제1 스케일러의 스케일링 처리 방식, 컨텐츠의 해상도에 관한 메타 데이터 또는 고주파 성분 등을 고려하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
한편, 제1 스케일러(112)는 컨텐츠의 프레임별로 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리할 수 있고, 제어부(120)는 컨텐츠의 프레임별로 제2 스케일링 배율을 결정하고, 제2 스케일러(131)는 컨텐츠의 프레임별로 결정된 제2 스케일러(131)의 스케일링 처리 방식 및 제어부(120)에서 결정된 제2 스케일링 배율에 기초하여 스케일링 처리할 수 있다.
즉, 제1 스케일러(112), 제어부(120) 및 제2 스케일러(131)는 컨텐츠의 프레임별로 제1 스케일링 배율, 제1 스케일러(112)의 스케일링 처리 방식, 제2 스케일링 배율 및 제2 스케일러(131)의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리할 수 있다.
도 15는 본 발명의 일 실시 예에 따른 프레임별로 스케일링 처리하는 것을 설명하기 위한 도면이다.
도 15를 참조하면, 제어부(120)는 영상 처리 상태, 컨텐츠의 특성 및 디스플레이 장치(100)의 전력 상태 등을 고려하여 동작 모드를 프레임별(1510, 1520, 1530, 1540)로 결정할 수 있으며, 결정된 동작 모드에 따라 제1 스케일러(112), 제어부(120) 및 제2 스케일러(131)는 프레임별(1510, 1520, 1530, 1540)로 제1 스케일링 배율, 제1 스케일러(112)의 스케일링 처리 방식, 제2 스케일링 배율 및 제2 스케일러(131)의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리할 수 있다.
예를 들어, 제어부(120)는 프레임 1(1510)에서 동작 모드를 Mode 1로 결정하여 컨텐츠의 특성이나 사용자 설정에 따라 특정 해상도까지 제1 스케일러(112)가 담당하고, 이후 제2 스케일러(131)에서 디스플레이 장치(100)의 출력 해상도에 맞게 스케일링 처리한 후, 프레임 2(1520)에서 사용자의 터치 조작이 입력되어 유저 인터페이스 화면을 신속하게 중첩 화면으로 디스플레이해야 하는 상황이 발생하면, 제어부(120)는 동작 모드를 Mode 3으로 결정하여 제1 스케일러(112)가 바로 입력된 컨텐츠 또는 사용자 조작에 대응되는 유저 인터페이스 화면을 디스플레이 장치(100)의 출력 해상도까지 스케일링 처리한다.
그리고, 제어부(120)는 다음에 이어지는 프레임 3(1530)에서는 저전력으로 구동하기 위하여 동작 모드를 Mode 3으로 결정하여 스케일링 처리한 후 프레임 4(1540)에서 동작 모드를 Mode 1로 변경할 수 있다.
도 15에서 설명한 바와 같이, 제1 스케일러(112), 제어부(120) 및 제2 스케일러(131)는 컨텐츠의 특성, 디스플레이 장치(100)의 전력 상태 및 사용자 설정 등에 따라 컨텐츠의 프레임별로 서로 다른 스케일링 배율 및 스케일링 처리 방식을 적용하여 스케일링 처리할 수 있다.
한편, 제1 스케일링 배율이 0 초과 1 미만의 값이고, 제2 스케일링 배율이 1 초과의 값인 경우, 제1 스케일러(112)는 컨텐츠를 다운 스케일링 처리하고, 제2 스케일러(131)는 다운 스케일링 처리된 컨텐츠를 업 스케일링 처리할 수 있다.
도 16은 본 발명의 일 실시 예에 따른 시스템의 구성을 도시한 블럭도이다.
시스템(1000)은 디스플레이 장치(20), 디스플레이 장치(20)로 컨텐츠를 제공하기 위한 컨텐츠 제공 장치(10) 및 컨텐츠 제공 장치(10)에서 스케일링 처리된 컨텐츠를 디스플레이 장치(20)로 전송하는 인터페이스부(30)를 포함하며, 컨텐츠 제공 장치(10)는 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하여 디스플레이 장치(20)로 전송하고, 디스플레이 장치(20)는 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치(20)의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하고, 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이한다.
예를 들어, 모바일 장치(미도시)와 TV(미도시)가 무선 통신을 수행하여 모바일 장치(미도시)에서 재생되는 컨텐츠를 TV(미도시)에서 재생하는 미러링 동작을 수행하는 경우, 모바일 장치(미도시)는 상술한 영상 처리부(110)와 같이 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하여 TV(미도시)로 전송하고, TV(미도시)는 모바일 장치(미도시)에서 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 TV(미도시)의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하고, 모바일 장치(미도시)에서 제1 스케일링 배율로 스케일링 처리되어 수신된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이할 수 있다.
이러한 경우, 인터페이스부(30)는 무선 통신으로 구현될 수 있다.
컨텐츠 제공 장치(10)는 컨텐츠의 특성 정보, 컨텐츠 제공 장치의 전력 상태 및 디스플레이 장치와의 연결 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 컨텐츠 제공 장치(10)의 스케일링 처리 방식을 결정할 수 있다. 즉, 컨텐츠의 해상도가 고해상도인지 아닌지, 컨텐츠 제공 장치(10)의 배터리 소모 상태 및 컨텐츠 제공 장치와 디스플레이 장치가 연결된 채널 접속 상태가 원할한지 아닌지 등을 판단하고, 이에 기초하여 제1 스케일링 배율 및 컨텐츠 제공 장치(10)의 제1 스케일링 배율 및 컨텐츠 제공 장치(10)의 스케일링 처리 방식을 결정할 수 있다.
그리고, 컨텐츠 제공 장치(10)는 컨텐츠의 특성 정보 및 컨텐츠 제공 장치(10)의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 디스플레이 장치(20)로 전송하며, 디스플레이 장치(20)는 컨텐츠의 특성 정보 및 컨텐츠 제공 장치(10)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 디스플레이 장치(20)의 스케일링 처리 방식을 결정할 수 있다. 이에 대해서는 이미 설명한 제2 스케일러(131)의 스케일링 처리 방식을 결정하는 과정이 동일하게 적용될 수 있다.
한편, 도 17은 본 발명의 일 실시 예에 따른 시스템을 구성하는 디스플레이 장치의 상세한 구성을 도시한 도면이다.
디스플레이 장치(20)는 복수의 스케일러부(21, 22) 및 제어부(23)를 포함한다. 구체적으로, 제어부(23)는 복수의 스케일러부(21, 22) 중 일부는 턴 오프 시키고 나머지 일부는 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하도록 제어할 수 있다.
예를 들어, 컨텐츠 제공 장치(10)에서 이미 다운 스케일링 처리된 컨텐츠가 디스플레이 장치(20)에 입력되면, 제어부(23)는 제1 스케일러(21)를 턴 오프시켜서 그대로 통과시키고 제2 스케일러(22)에서 디스플레이 장치(20)의 출력 해상도에 맞게 스케일링 처리하도록 제어할 수 있다.
물론, 제어부(23)는 컨텐츠의 특성 정보 또는 디스플레이 장치(20)의 전력 상태 등을 고려하여 컨텐츠 제공 장치(10)에서 이미 다운 스케일링 처리된 컨텐츠에 대해 제1 스케일러(21)에서 특정 해상도까지 스케일링 처리하도록 하고, 제2 스케일러(22)에서 디스플레이 장치(20)의 출력 해상도까지 스케일링 처리하도록 제어할 수도 있다.
또한, 도 16 및 17에서 설명한 시스템(1000)에서 스케일링 처리하는 과정에도 마찬가지로 도 15에서 설명한 컨텐츠의 프레임별로 서로 다른 스케일링 배율 및 스케일링 처리 방식을 적용하여 스케일링 처리하는 방식이 적용될 수 있다.
도 18은 본 발명의 일 실시 예에 따른 제1 스케일러 및 제2 스케일러를 포함하는 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 18에 도시된 방법에 따르면, 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리한다(S1810).
그리고, 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치(100)의 출력 해상도에 기초하여 제2 스케일링 배율을 결정한다(S1820).
이후 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하여 디스플레이한다(S1830).
여기서, 제1 스케일링 배율로 스케일링 처리하는 단계(S1810)는 컨텐츠의 특성 정보 및 디스플레이 장치(100)의 전력 상태 중 적어도 하나에 기초하여 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 결정할 수 있다.
그리고, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 제2 스케일러(131)로 전송하는 단계를 더 포함하며, 디스플레이하는 단계(S1830)는 컨텐츠의 특성 정보 및 제1 스케일러(112)의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 제2 스케일러(131)의 스케일링 처리 방식을 결정할 수 있다.
그리고, 제1 스케일링 배율로 스케일링 처리하는 단계(S1810)는, 컨텐츠의 프레임별로 제1 스케일링 배율 및 제1 스케일러(112)의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리하고, 제2 스케일링 배율을 결정하는 단계(S1820)는 컨텐츠의 프레임별로 제2 스케일링 배율을 결정하며, 디스플레이하는 단계(S1830)는 컨텐츠의 프레임별로 제2 스케일러(131)의 스케일링 처리 방식을 결정하고, 컨텐츠의 프레임별로 결정된 제2 스케일러(131)의 스케일링 처리 방식 및 제2 스케일링 배율에 기초하여 스케일링 처리할 수 있다.
한편, 제1 스케일링 배율은 0 이상 1 미만이고, 제2 스케일링 배율은 1 이상인 경우, 제1 스케일링 배율로 스케일링 처리하는 단계(S1810)는 컨텐츠를 다운 스케일링 처리하고, 디스플레이하는 단계(S1830)는 다운 스케일링 처리된 컨텐츠를 업 스케일링 처리한다.
여기서, 컨텐츠의 특성 정보는, 컨텐츠의 종류, 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함한다.
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 컨텐츠를 영상 처리하고 제1 스케일링 배율로 스케일링 처리하는 단계, 제1 스케일링 배율로 스케일링 처리된 컨텐츠의 해상도 및 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 단계 및 제1 스케일링 배율로 스케일링 처리된 컨텐츠를 제2 스케일링 배율에 따라 스케일링 처리하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 디스플레이 장치 110: 영상 처리부
120: 제어부 130: 디스플레이부

Claims (20)

  1. 디스플레이 장치에 있어서,
    컨텐츠를 영상 처리하고 제1 스케일링 배율로 다운 스케일링 처리하는 영상 처리부;
    상기 다운 스케일링된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 제어부; 및
    상기 다운 스케일링된 컨텐츠를 상기 제2 스케일링 배율에 따라 업 스케일링 처리하여 디스플레이하는 디스플레이부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 영상 처리부는,
    상기 컨텐츠를 제1 스케일링 배율로 다운 스케일링 처리하는 제1 스케일러;를 포함하고,
    상기 디스플레이부는,
    상기 다운 스케일링된 컨텐츠를 상기 결정된 제2 스케일링 배율에 따라 업 스케일링 처리하는 제2 스케일러;를 포함하는 것을 특징으로 하는 디스플레이 장치.
  3. 제2항에 있어서,
    상기 제1 스케일러는,
    상기 컨텐츠의 특성 정보 및 상기 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치.
  4. 제2항에 있어서,
    상기 제1 스케일러는,
    상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 제2 스케일러로 전송하며,
    상기 제2 스케일러는,
    상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치.
  5. 제4항에 있어서,
    상기 제2 스케일러는,
    상기 컨텐츠의 특성 정보에 기초하여 픽셀의 배치 구조를 판단하고, 상기 판단된 픽셀의 배치 구조에 기초하여 상기 픽셀의 스케일링 가중치를 결정하며, 상기 결정된 픽셀의 스케일링 가중치 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치.
  6. 제4항에 있어서,
    상기 제1 스케일러는,
    상기 컨텐츠의 프레임별로 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 상이하게 적용하여 스케일링 처리하고,
    상기 제어부는,
    상기 컨텐츠의 프레임별로 상기 제2 스케일링 배율을 결정하며,
    상기 제2 스케일러는,
    상기 컨텐츠의 프레임별로 상기 제2 스케일러의 스케일링 처리 방식을 결정하고, 상기 컨텐츠의 프레임별로 결정된 상기 제2 스케일러의 스케일링 처리 방식 및 상기 제2 스케일링 배율에 기초하여 스케일링 처리하는 것을 특징으로 하는 디스플레이 장치.
  7. 제2항에 있어서,
    상기 제1 스케일링 배율은 0 초과 1 미만이고, 상기 제2 스케일링 배율은 1 초과하는 것을 특징으로 하는 디스플레이 장치.
  8. 제3항에 있어서,
    상기 컨텐츠의 특성 정보는,
    상기 컨텐츠의 종류, 상기 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 상기 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  9. 제4항에 있어서,
    상기 영상 처리부와 상기 디스플레이부를 연결하는 인터페이스부;를 더 포함하며,
    상기 다운 스케일링된 컨텐츠, 상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보는 상기 인터페이스부를 통해 전송되는 것을 특징으로 하는 디스플레이 장치.
  10. 디스플레이 장치; 및
    상기 디스플레이 장치로 컨텐츠를 제공하기 위한 컨텐츠 제공 장치;를 포함하며,
    상기 컨텐츠 제공 장치는 상기 컨텐츠를 영상 처리하고 제1 스케일링 배율로 다운 스케일링 처리하여 상기 디스플레이 장치로 전송하고,
    상기 디스플레이 장치는 상기 다운 스케일링된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하고, 상기 다운 스케일링된 컨텐츠를 상기 제2 스케일링 배율에 따라 업 스케일링 처리하여 디스플레이하는, 시스템.
  11. 제10항에 있어서,
    상기 컨텐츠 제공 장치는,
    상기 컨텐츠의 특성 정보, 상기 컨텐츠 제공 장치의 전력 상태 및 상기 디스플레이 장치와의 연결 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 시스템.
  12. 제11항에 있어서,
    상기 컨텐츠 제공 장치는,
    상기 컨텐츠의 특성 정보 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 디스플레이 장치로 전송하며,
    상기 디스플레이 장치는,
    상기 컨텐츠의 특성 정보 및 상기 컨텐츠 제공 장치의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 디스플레이 장치의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 시스템.
  13. 제12항에 있어서,
    상기 디스플레이 장치는,
    복수의 스케일러부; 및
    상기 복수의 스케일러부 중 일부는 턴 오프 시키고 나머지 일부는 상기 다운 스케일링된 컨텐츠를 상기 제2 스케일링 배율에 따라 업 스케일링 처리하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 시스템.
  14. 제1 스케일러 및 제2 스케일러를 포함하는 디스플레이 장치의 제어 방법에 있어서,
    컨텐츠를 영상 처리하고 제1 스케일링 배율로 다운 스케일링 처리하는 단계;
    상기 다운 스케일링된 컨텐츠의 해상도 및 상기 디스플레이 장치의 출력 해상도에 기초하여 제2 스케일링 배율을 결정하는 단계; 및
    상기 다운 스케일링된 컨텐츠를 상기 제2 스케일링 배율에 따라 업 스케일링 처리하여 디스플레이하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 다운 스케일링 처리하는 단계는,
    상기 컨텐츠의 특성 정보 및 상기 디스플레이 장치의 전력 상태 중 적어도 하나에 기초하여 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  16. 제15항에 있어서,
    상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나를 상기 제2 스케일러로 전송하는 단계;를 더 포함하며,
    상기 디스플레이하는 단계는,
    상기 컨텐츠의 특성 정보 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  17. 제16항에 있어서,
    상기 디스플레이하는 단계는,
    상기 컨텐츠의 특성 정보에 기초하여 픽셀의 배치 구조를 판단하고, 상기 판단된 픽셀의 배치 구조에 기초하여 상기 픽셀의 스케일링 가중치를 결정하며, 상기 결정된 픽셀의 스케일링 가중치 및 상기 제1 스케일러의 스케일링 처리 방식에 관한 정보 중 적어도 하나에 기초하여 상기 제2 스케일러의 스케일링 처리 방식을 결정하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  18. 제16항에 있어서,
    상기 다운 스케일링 처리하는 단계는,
    상기 컨텐츠의 프레임별로 상기 제1 스케일링 배율 및 상기 제1 스케일러의 스케일링 처리 방식을 상이하게 적용하여 다운 스케일링 처리하고,
    상기 제2 스케일링 배율을 결정하는 단계는,
    상기 컨텐츠의 프레임별로 상기 제2 스케일링 배율을 결정하며,
    상기 디스플레이하는 단계는,
    상기 컨텐츠의 프레임별로 상기 제2 스케일러의 스케일링 처리 방식을 결정하고, 상기 컨텐츠의 프레임별로 결정된 상기 제2 스케일러의 스케일링 처리 방식 및 상기 제2 스케일링 배율에 기초하여 업 스케일링 처리하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  19. 제14항에 있어서,
    상기 제1 스케일링 배율은 0 이상 1 미만이고, 상기 제2 스케일링 배율은 1 초과하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  20. 제15항에 있어서,
    상기 컨텐츠의 특성 정보는,
    상기 컨텐츠의 종류, 상기 컨텐츠에 포함되는 오브젝트의 경계선의 크기 및 분포, 상기 컨텐츠에 포함되는 문자의 종류와 분포 및 해상도 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
KR1020140116289A 2014-09-02 2014-09-02 디스플레이 장치, 시스템 및 그 제어 방법 KR102189647B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020140116289A KR102189647B1 (ko) 2014-09-02 2014-09-02 디스플레이 장치, 시스템 및 그 제어 방법
JP2017511900A JP6908518B2 (ja) 2014-09-02 2015-08-28 ディスプレイ装置、システム及びその制御方法
CN201580059574.9A CN107079198B (zh) 2014-09-02 2015-08-28 显示装置、系统及其控制方法
EP15837645.9A EP3190801A4 (en) 2014-09-02 2015-08-28 Display device, system and controlling method therefor
PCT/KR2015/009090 WO2016036073A1 (ko) 2014-09-02 2015-08-28 디스플레이 장치, 시스템 및 그 제어 방법
US15/508,173 US10140685B2 (en) 2014-09-02 2015-08-28 Display device, system and controlling method therefor
US16/181,506 US10878532B2 (en) 2014-09-02 2018-11-06 Display device, system and controlling method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140116289A KR102189647B1 (ko) 2014-09-02 2014-09-02 디스플레이 장치, 시스템 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160027760A KR20160027760A (ko) 2016-03-10
KR102189647B1 true KR102189647B1 (ko) 2020-12-11

Family

ID=55440067

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140116289A KR102189647B1 (ko) 2014-09-02 2014-09-02 디스플레이 장치, 시스템 및 그 제어 방법

Country Status (6)

Country Link
US (2) US10140685B2 (ko)
EP (1) EP3190801A4 (ko)
JP (1) JP6908518B2 (ko)
KR (1) KR102189647B1 (ko)
CN (1) CN107079198B (ko)
WO (1) WO2016036073A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101967819B1 (ko) * 2017-11-02 2019-04-10 주식회사 코난테크놀로지 타일 영상 기반 다중 재생을 위한 영상 처리장치 및 그 타일 영상 구성방법
KR102529269B1 (ko) * 2018-06-01 2023-05-08 삼성전자주식회사 전자 장치 및 그 제어 방법
KR102641163B1 (ko) 2018-11-29 2024-02-28 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102391615B1 (ko) * 2020-03-16 2022-04-29 주식회사 카이 영상 처리 방법, 영상 재생 방법 및 그 장치들
KR20240046750A (ko) * 2021-09-08 2024-04-09 엘지전자 주식회사 디스플레이 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040838A1 (en) 2005-08-19 2007-02-22 Eric Jeffrey Efficient scaling of image data in graphics display systems
JP2010212991A (ja) 2009-03-10 2010-09-24 Toshiba Corp 画像処理装置、および画像処理方法
KR101416272B1 (ko) * 2008-11-05 2014-07-07 삼성전자 주식회사 디스플레이장치 및 그 제어방법

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0474231B1 (en) * 1990-09-06 1996-12-04 Canon Kabushiki Kaisha Electronic device
JP2991485B2 (ja) * 1990-11-29 1999-12-20 株式会社東芝 画像処理装置
US5422827A (en) * 1993-02-12 1995-06-06 Cirrus Logic, Inc. Integrated video scaling and sharpening filter
JP3310744B2 (ja) * 1993-12-22 2002-08-05 東芝テック株式会社 解像度変換装置
US5812144A (en) * 1995-09-08 1998-09-22 International Business Machines Corporation System for performing real-time video resizing in a data processing system having multimedia capability
TW526465B (en) * 2001-04-27 2003-04-01 Toshiba Corp Display apparatus, digital/analog converting circuit and digital/analog converting method
US7088392B2 (en) 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
JP2003309783A (ja) * 2002-04-17 2003-10-31 Matsushita Electric Ind Co Ltd 画像表示装置
KR100472470B1 (ko) 2002-08-19 2005-03-10 삼성전자주식회사 부분화면과 전체화면을 동시에 스케일링하는 장치 및 방법
TWI240574B (en) * 2004-03-24 2005-09-21 Sunplus Technology Co Ltd Liquid crystal display system with storage function
US8542258B2 (en) * 2004-05-05 2013-09-24 Mstar Semiconductor, Inc. Apparatus and method for increasing pixel resolution of image using coherent sampling
FI20045201A (fi) * 2004-05-31 2005-12-01 Nokia Corp Menetelmä ja järjestelmä kuvien katsomiseksi ja parantamiseksi
CN1977525A (zh) * 2004-06-29 2007-06-06 皇家飞利浦电子股份有限公司 用于打印诊断图像的装置、方法和软件
KR100716982B1 (ko) 2004-07-15 2007-05-10 삼성전자주식회사 다차원 영상 포맷의 변환장치 및 방법
US7483592B2 (en) 2005-01-06 2009-01-27 Algorithmic Implementatins, Inc., Dba Ai Squared Method and apparatus for magnifying computer screen display
KR100657145B1 (ko) 2005-02-24 2006-12-13 매그나칩 반도체 유한회사 스케일러를 구비한 이미지센서 및 이미지센서의 이미지 스케일링 방법
KR101260316B1 (ko) 2006-06-20 2013-05-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP5208381B2 (ja) * 2006-06-30 2013-06-12 株式会社東芝 動画像フレームレート変換装置および動画像フレームレート変換方法
JP2008096806A (ja) * 2006-10-13 2008-04-24 Fujitsu General Ltd 映像表示装置
JP2008116812A (ja) * 2006-11-07 2008-05-22 Seiko Epson Corp 表示装置、プロジェクタおよび表示方法
KR20090054836A (ko) 2007-11-27 2009-06-01 삼성전자주식회사 디스플레이 장치 및 그 제어방법
TWI360790B (en) * 2008-08-11 2012-03-21 Chunghwa Picture Tubes Ltd Image compression/decompression device and method
US20120050334A1 (en) 2009-05-13 2012-03-01 Koninklijke Philips Electronics N.V. Display apparatus and a method therefor
KR20110065089A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
US8565554B2 (en) * 2010-01-09 2013-10-22 Microsoft Corporation Resizing of digital images
JP2011242685A (ja) 2010-05-20 2011-12-01 Hitachi Consumer Electronics Co Ltd 映像表示装置
JP5747378B2 (ja) * 2011-03-18 2015-07-15 株式会社日立国際電気 画像転送システム、画像転送方法、画像受信装置、画像送信装置、及び、画像撮像装置
KR20130011994A (ko) * 2011-07-22 2013-01-30 삼성전자주식회사 송신 장치, 수신 장치 및 그 송수신 방법
ITPD20110376A1 (it) * 2011-11-29 2013-05-30 Sincrotrone Trieste S C P A Metodo per elaborazione di segnali e apparecchiatura per l'esecuzione di tale metodo
US20130169755A1 (en) 2011-12-28 2013-07-04 Samsung Electronics Co., Ltd. Signal processing device for processing plurality of 3d content, display device for displaying the content, and methods thereof
KR20130076674A (ko) * 2011-12-28 2013-07-08 삼성전자주식회사 복수의 컨텐츠를 처리하는 신호 처리 장치와 이를 디스플레이하는 디스플레이 장치 및 그 방법들
US9503645B2 (en) * 2012-05-24 2016-11-22 Mediatek Inc. Preview system for concurrently displaying multiple preview images generated based on input image generated by image capture apparatus and related preview method thereof
US8738826B2 (en) 2012-06-08 2014-05-27 Apple Inc. System and method for display mirroring
US9516305B2 (en) 2012-09-10 2016-12-06 Apple Inc. Adaptive scaler switching
KR102028696B1 (ko) * 2012-10-04 2019-10-07 삼성전자주식회사 고 해상도 컨텐츠를 처리하는 컨텐츠 처리 장치 및 그 방법
US9007426B2 (en) * 2012-10-04 2015-04-14 Blackberry Limited Comparison-based selection of video resolutions in a video call
US20140211861A1 (en) * 2013-01-25 2014-07-31 Electronics And Telecommunications Research Institute Method and system for providing high definition (hd) broadcasting service and ultra high definition (uhd) broadcasting service
JP5717870B2 (ja) * 2013-03-22 2015-05-13 株式会社東芝 通信装置、通信方法及びプログラム
US9420178B2 (en) * 2013-12-20 2016-08-16 Qualcomm Incorporated Thermal and power management
CN105874806A (zh) * 2014-01-03 2016-08-17 汤姆逊许可公司 生成用于视频优化的元数据的方法和设备
KR102135451B1 (ko) * 2014-01-14 2020-07-17 삼성전자주식회사 전자 장치, 디스플레이 장치의 드라이버, 이를 포함하는 통신 장치 및 디스플레이 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070040838A1 (en) 2005-08-19 2007-02-22 Eric Jeffrey Efficient scaling of image data in graphics display systems
KR101416272B1 (ko) * 2008-11-05 2014-07-07 삼성전자 주식회사 디스플레이장치 및 그 제어방법
JP2010212991A (ja) 2009-03-10 2010-09-24 Toshiba Corp 画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
EP3190801A4 (en) 2018-04-11
US10878532B2 (en) 2020-12-29
KR20160027760A (ko) 2016-03-10
CN107079198A (zh) 2017-08-18
US10140685B2 (en) 2018-11-27
JP2017528765A (ja) 2017-09-28
JP6908518B2 (ja) 2021-07-28
US20170293996A1 (en) 2017-10-12
EP3190801A1 (en) 2017-07-12
US20190087933A1 (en) 2019-03-21
WO2016036073A1 (ko) 2016-03-10
CN107079198B (zh) 2020-11-20

Similar Documents

Publication Publication Date Title
US10986345B2 (en) Backward-compatible video capture and distribution
KR102189647B1 (ko) 디스플레이 장치, 시스템 및 그 제어 방법
US10325175B2 (en) Generation of salient contours using live video
CN108476306B (zh) 一种图像显示的方法及终端设备
EP3850585A1 (en) In-flight adaptive foveated rendering
USRE49524E1 (en) Image processor and display system having adaptive operational frequency range
EP3726357B1 (en) Electronic apparatus and controlling method thereof
CN105635622B (zh) 显示设备及其控制方法
WO2017101390A1 (zh) 一种图片显示方法及装置
CN113015007A (zh) 视频插帧方法、装置及电子设备
US9749649B2 (en) Method and system for generating and displaying thumbnail images from original images
CN104516696A (zh) 一种信息处理方法及电子设备
WO2020068456A1 (en) Blending neighboring bins
RU2509377C2 (ru) Способ и система и для просмотра изображения на устройстве отображения
US20160048979A1 (en) Desktop management method and electronic device with desktop management function
US9911175B2 (en) Modification of graphical command tokens
EP3833031B1 (en) Display apparatus and image processing method thereof
CN104850436B (zh) 一种在页面中加载插件的方法及装置
KR102661879B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
CN106020607B (zh) 一种图像显示方法以及电子设备
US20130083077A1 (en) Method of displaying a digital content on a screen
US8731338B1 (en) Image downscaling
CN113377262A (zh) 一种调节电子文档中图片尺寸比例的方法和装置
KR20210154669A (ko) 전자 장치 및 이의 제어 방법
KR20200117650A (ko) 영상 처리 장치 및 그 영상 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant