KR20160076769A - 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법 - Google Patents

컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법 Download PDF

Info

Publication number
KR20160076769A
KR20160076769A KR1020140187237A KR20140187237A KR20160076769A KR 20160076769 A KR20160076769 A KR 20160076769A KR 1020140187237 A KR1020140187237 A KR 1020140187237A KR 20140187237 A KR20140187237 A KR 20140187237A KR 20160076769 A KR20160076769 A KR 20160076769A
Authority
KR
South Korea
Prior art keywords
information
region
image
area
image quality
Prior art date
Application number
KR1020140187237A
Other languages
English (en)
Other versions
KR102091072B1 (ko
Inventor
강우석
김봉조
박세혁
민종술
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140187237A priority Critical patent/KR102091072B1/ko
Priority to CN201580070269.XA priority patent/CN107113464B/zh
Priority to PCT/KR2015/013324 priority patent/WO2016104990A1/ko
Priority to US15/528,272 priority patent/US10638131B2/en
Priority to EP15873517.5A priority patent/EP3240291A4/en
Publication of KR20160076769A publication Critical patent/KR20160076769A/ko
Application granted granted Critical
Publication of KR102091072B1 publication Critical patent/KR102091072B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405—Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

컨텐츠 제공 장치가 개시된다. 컨텐츠 제공 장치는 외부 장치와 통신을 수행하는 통신부, 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 이미지 처리부 및 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 각 영역으로부터 영역별 특성 정보를 검출하며, 검출된 영역별 특성 정보를 압축 이미지와 함께 외부 장치로 전송하도록 통신부를 제어하는 제어부를 포함한다. 이에 따라, 이미지를 전송하기 전 제작 및 인코딩 단계에서 화질 개선에 필요한 정보들을 추출하여 압축 이미지와 함께 전송함으로써, 디스플레이 장치는 원본 수준에 근접한 화질 개선 처리를 수행할 수 있게 된다.

Description

컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법{CONTENTS PROVIDING APPARATUS, DISPLAY APPARATUS AND CONTROLLING METHOD THEREOF}
본 발명은 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법에 관한 것으로, 보다 상세하게는 화질 개선 처리를 수행하기 위한 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자 제품들이 개발 및 보급되고 있다. 특히, TV, 휴대폰, PC, 노트북 PC, PDA 등과 같은 각종 디스플레이 장치들은 대부분의 일반 가정에서도 많이 사용되고 있다.
디스플레이 장치들의 사용이 늘면서 좀 더 다양한 기능에 대한 사용자 니즈(needs)도 증대되었다. 이에 따라, 사용자 니즈에 부합하기 위한 각 제조사들의 노력도 커져서, 종래에 없던 새로운 기능을 갖춘 제품들이 속속 등장하고 있다.
이에 따라, 디스플레이 장치에서 수행되는 기능들도 다양해지게 되었다. 특히, 디스플레이 장치는 수신된 영상에 대하여 디코딩을 수행하여 복원하고, 복원된 영상에 대해 영상 특성을 분석하여 noise 제거, detail, contrast, color 향상 및 gamma와 같은 화질 처리를 수행하여 영상을 출력하게 된다.
그러나, 이러한 종래의 화질 처리 방식은 원본 영상에 대한 정보를 전혀 모르기 때문에 원본과 비교할 때 오류가 많으며, 예측에 의한 부정확한 화질 처리 방식이라는 문제점이 있다.
또한, 디스플레이 장치는 영상의 제작 시 의도된 화질 특성을 알 수 없어, 각 디스플레이 장치마다 설정된 방식대로 화질 처리를 수행함으로써 영상이 왜곡되거나 과도하게 강조되는 부작용이 있을 수 있다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 본 발명의 목적은 원본 이미지의 화질을 고려하여 화질 개선 처리를 수행하는 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법을 제공함에 있다.
이러한 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치는 외부 장치와 통신을 수행하는 통신부, 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 이미지 처리부 및 상기 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 상기 각 영역으로부터 영역별 특성 정보를 검출하며, 상기 검출된 영역별 특성 정보를 상기 압축 이미지와 함께 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부를 포함한다.
여기서, 상기 제어부는, 상기 원본 이미지를 픽셀 단위로 구분하고, 상기 픽셀들 각각의 픽셀 정보에 기초하여 상기 픽셀들을 그룹핑하여 상기 적어도 하나 이상의 영역으로 구분할 수 있다.
또한, 상기 영역별 특성 정보는, 상기 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 영역별 구분 정보는, 상기 구분된 각 영역 중 상기 원본 이미지를 구성하는 각 픽셀이 속한 영역에 관한 정보를 포함하고, 상기 각 픽셀이 속한 영역에 관한 정보는, 상기 각 영역별 특성 파라미터에 관한 정보 및 상기 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 압축 이미지를 상기 화질 특성에 기초하여 상기 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 상기 압축 이미지의 구분된 각 영역으로부터 상기 압축 이미지의 영역별 특성 정보를 검출하며, 상기 검출된 압축 이미지의 영역별 특성 정보를 전송할 수 있다.
또한, 상기 제어부는, 상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치는 디스플레이부, 원본 이미지의 영역별 특성 정보 및 상기 원본 이미지의 압축 이미지를 수신하는 수신부 및 상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고 상기 구분된 각 영역별로 화질 개선 처리를 수행하며, 상기 화질 개선 처리된 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부를 포함한다.
여기서, 상기 영역별 특성 정보는, 상기 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 제어부는, 상기 영역별 구분 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 상기 영역별 화질 정보, 상기 영역별 경계 정보, 상기 영역별 의도 정보 및 상기 영역별 의미 정보 중 적어도 하나에 기초하여 상기 압축 이미지의 각 영역별로 화질 개선 처리를 수행할 수 있다.
또한, 상기 수신부는, 상기 압축 이미지의 영역별 특성 정보를 수신하며, 상기 제어부는, 상기 원본 이미지의 영역별 특성 정보 및 압축 이미지의 영역 특성 정보에 기초하여 상기 압축 이미지에 대해 화질 개선 처리를 수행할 수 있다.
상기 수신부는, 상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 수신하며, 상기 제어부는, 상기 동기화 정보에 기초하여 상기 영역별 특성 정보와 상기 압축 이미지 간의 동기화를 수행하고, 상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 화질 개선 처리할 수 있다.
한편, 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 제어 방법은 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 단계, 상기 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 상기 각 영역으로부터 영역별 특성 정보를 검출하는 단계 및 상기 검출된 영역별 특성 정보를 상기 압축 이미지와 함께 외부 장치로 전송하는 단계를 포함한다.
여기서, 상기 검출하는 단계는, 상기 원본 이미지를 픽셀 단위로 구분하고, 상기 픽셀들 각각의 픽셀 정보에 기초하여 상기 픽셀들을 그룹핑하여 상기 적어도 하나 이상의 영역으로 구분할 수 있다.
또한, 상기 영역별 특성 정보는, 상기 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 영역별 구분 정보는, 상기 구분된 각 영역 중 상기 원본 이미지를 구성하는 각 픽셀이 속한 영역에 관한 정보를 포함하고, 상기 각 픽셀이 속한 영역에 관한 정보는, 상기 각 영역별 특성 파라미터에 관한 정보 및 상기 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함할 수 있다.
여기서, 상기 검출하는 단계는, 상기 압축 이미지를 상기 화질 특성에 기초하여 상기 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 상기 압축 이미지의 구분된 각 영역으로부터 상기 압축 이미지의 영역별 특성 정보를 검출하고, 상기 전송하는 단계는, 상기 검출된 압축 이미지의 영역별 특성 정보를 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 제어 방법은 상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법은 원본 이미지의 영역별 특성 정보 및 상기 원본 이미지의 압축 이미지를 수신하는 단계, 상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고, 상기 구분된 각 영역별로 화질 개선 처리를 수행하는 단계 및 상기 화질 개선 처리된 이미지를 디스플레이하는 단계를 포함한다.
여기서, 상기 영역별 특성 정보는, 상기 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 화질 개선 처리를 수행하는 단계는, 상기 영역별 구분 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 상기 영역별 화질 정보, 상기 영역별 경계 정보, 상기 영역별 의도 정보 및 상기 영역별 의미 정보 중 적어도 하나에 기초하여 상기 압축 이미지의 각 영역별로 화질 개선 처리를 수행할 수 있다.
이상과 같은 본 발명의 다양한 실시 예에 따르면, 이미지를 전송하기 전 제작 및 인코딩 단계에서 화질 개선에 필요한 정보들을 추출하여 압축 이미지와 함께 전송함으로써, 디스플레이 장치는 원본 수준에 근접한 화질 개선 처리를 수행할 수 있게 된다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 구성을 나타낸 블럭도이다.
도 2는 본 발명의 일 실시 예에 따른 영역 구분에 관한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 각 영역별 픽셀을 나타낸 도면이다.
도 4는 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 상세한 구성을 도시한 블럭도이다.
도 5는 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 구체적인 처리 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블럭도이다.
도 7은 본 발명의 일 실시 예에 따른 제어부(630)의 상세한 구성을 도시한 도면이다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치의 처리 과정을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 화질 개선 처리를 위한 시스템의 구성을 도시한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 중간 전송 단계에서 이루어지는 과정을 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관계 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 구성을 나타낸 블럭도이다.
도 1에 따르면, 컨텐츠 제공 장치(100)는 통신부(110), 이미지 처리부(120) 및 제어부(130)를 포함한다. 여기서, 컨텐츠 제공 장치(100)는 방송 송신 장치, 셋탑 박스, TV, 테스크탑 PC, 노트북 등과 같은 다양한 형태의 전자 장치로 구현될 수 있다.
통신부(110)는 외부 장치와 통신을 수행할 수 있다. 여기서, 외부 장치는 컨텐츠 제공 장치(100)가 전송하는 이미지 및 이미지 관련 정보를 수신하여 디스플레이 하는 장치를 의미하며 이에 대해서는 후술하기로 한다.
또한, 통신부(110)는 외부 장치와 통신을 수행하는데 있어서, 예를 들어 유/무선 LAN(Local Area Network), WAN, 이더넷, 블루투스(Bluetooth), 지그비(Zigbee), USB(Universal Serial Bus), IEEE 1394, 와이파이(Wifi) 등 다양한 통신 방식을 이용하여 통신을 수행할 수 있다. 이를 위해, 통신부(110)는 각 통신 방식에 대응되는 칩 또는 입력 포트 등을 구비할 수 있다. 예를 들어, 유선 LAN 방식으로 통신을 수행하는 경우, 통신부(150)는 유선 LAN 카드(미도시) 및 입력 포트(미도시)를 구비할 수 있다.
이미지 처리부(120)는 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성할 수 있다. 예를 들어, 원본 이미지는 통신부(110)를 통해 입력될 수도 있으나, USB 메모리와 같은 저장 매체로부터 획득될 수도 있다.
제어부(130)는 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 각 영역으로부터 영역별 특성 정보를 검출하며, 검출된 영역별 특성 정보를 압축 이미지와 함께 외부 장치로 전송하도록 통신부(110)를 제어할 수 있다.
구체적으로, 제어부(130)는 원본 이미지를 픽셀 단위로 구분하고, 픽셀들 각각의 픽셀 정보에 기초하여 픽셀들을 그룹핑하여 적어도 하나 이상의 영역으로 구분할 수 있다. 도 2를 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시 예에 따른 영역 구분에 관한 도면이다.
도 2를 참조하면, 원본 이미지(210)는 복수의 픽셀들로 구성되어 있다. 여기서, 원본 이미지(210)는 다양한 오브젝트들을 포함할 수 있는데, 예를 들어, 도 2에서는 하늘, 건물, 잔디밭, 땅, 사람 등의 오브젝트들이 원본 이미지(210) 내에 포함되어 있다.
그리고, 하늘, 건물, 잔디밭, 땅, 사람 등의 오브젝트들은 각각 서로 다른 화질 특성을 갖는다. 예를 들어, 잔디밭과 같은 오브젝트들은 그 경계가 명확하게 표현되지 않아도 되는 점에서, 상대적으로 높은 주파수의 세밀한 디테일 정보를 갖는 화질 특성을 갖는 반면에, 건물이나 사람과 같은 오브젝트들은 시청자가 인지할 수 있도록 그 경계가 명확하게 표현되어야 한다는 점에서, 상대적으로 낮은 주파수의 굵은 디테일 정보를 갖는 화질 특성을 갖는다.
이에 따라, 제어부(130)는 원본 이미지(210)를 구성하는 픽셀들 각각의 픽셀 정보 즉, 픽셀 각각의 화질 특성에 기초하여 픽셀들을 그룹핑하여 적어도 하나 이상의 영역으로 구분할 수 있다.
예를 들면, 제어부(130)는 잔디밭을 구성하는 픽셀들은 서로 유사하게 그린색 계열의 컬러 정보를 포함하고 상대적으로 높은 주파수의 세밀한 디테일 정보를 갖는 화질 특성을 갖고 있음에 기초하여 유사한 컬러 정보 및 화질 특성에 기초하여 픽셀들을 하나의 영역으로 그룹핑할 수 있다. 또한, 제어부(130)는 건물을 구성하는 픽셀들은 서로 유사하게 회색 계열의 컬러 정보를 포함하고 상대적으로 낮은 주파수의 굵은 디테일 정보를 갖는 화질 특성을 갖고 있음에 기초하여 유사한 컬러 정보 및 화질 특성에 기초하여 픽셀들을 하나의 영역으로 그룹핑할 수 있다.
이렇게 하여 제어부(130)는 원본 이미지(210)를 구성하는 복수의 픽셀들을 서로 유사한 컬러 정보 및 화질 특성을 갖는 픽셀들끼리 그룹핑하여 적어도 하나 이상의 영역(221, 222, 223, 224, 225)으로 그룹핑할 수 있다.
도 2의 하단 이미지(220)는 원본 이미지(210)를 구성하는 각각의 픽셀들이 각 픽셀 정보에 기초하여 그룹핑됨으로써 복수의 영역(221, 222, 223, 224, 225)으로 구분된 것을 나타내며, 이에 따라, 원본 이미지(210)는 서로 다른 화질 특성을 갖는 복수의 영역(221, 222, 223, 224, 225)으로 구분되어 표시될 수 있다.
한편, 도 2와 관련하여 제어부(130)는 원본 이미지(210)를 구성하는 복수의 픽셀들을 서로 유사한 컬러 정보 및 화질 특성에 기초하여 적어도 하나의 영역으로 그룹핑하는 것으로 설명하였으나, 제어부(130)가 복수의 픽셀들을 적어도 하나의 영역으로 그룹핑하는 기준은 이에 한정되지 아니하며, 다양한 기준을 통해 복수의 픽셀들을 적어도 하나의 영역으로 그룹핑할 수 있음은 당연하다.
또한, 도 3은 본 발명의 일 실시 예에 따른 각 영역별 픽셀을 나타낸 도면이다.
도 2에서 설명한 바와 같이, 제어부(130)는 원본 이미지(210)를 구성하는 복수의 픽셀들을 서로 유사한 컬러 정보 및 화질 특성을 갖는 픽셀들끼리 그룹핑하여 적어도 하나 이상의 영역(221, 222, 223, 224, 225)으로 그룹핑할 수 있고, 이와 관련하여, 제어부(130)는 각 영역(221, 222, 223, 224, 225)을 구성하는 픽셀들(222-1, 222-2, 223-1, 224-1, 225-1)에 관한 정보를 외부 장치로 전송하여 외부 장치가 픽셀 별로 어느 영역에 속하는지를 판단할 수 있게 한다. 이와 관련하여 상세한 설명은 후술하기로 한다.
한편, 제어부(130)는 각 영역(221, 222, 223, 224, 225)으로부터 영역별 특성 정보를 검출할 수 있다.
여기서, 영역별 특성 정보는 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 각 영역의 화질 특성에 관한 영역별 화질 정보, 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
여기서, 영역별 구분 정보는 구분된 각 영역 중 원본 이미지를 구성하는 각 픽셀이 속한 영역에 관한 정보를 포함하며, 이는 수신측 디스플레이 장치에서 최소한의 비용으로 이미지를 구성하는 픽셀 별로 어느 영역에 속하는지 판단하는 근거 데이터로서 사용될 수 있다.
특히, 각 픽셀이 속한 영역에 관한 정보는, 각 영역별 특성 파라미터에 관한 정보 및 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함한다. 예를 들어, 각 영역별 특성 파라미터에 관한 정보는 각 영역을 구성하는 픽셀들의 color centroid 값, color variance 값 등의 통계적 특성 값을 포함할 수 있고, 각 영역을 구성하는 픽셀 좌표에 관한 정보는 각 영역의 경계 좌표, 중심 좌표, 최대 영역 좌표, 최소 영역 좌표 등의 기하학적 특성 값을 포함할 수 있다.
구체적으로, 각 영역별 특성 파라미터에 관한 정보는 각 영역을 구성하는 픽셀들의 color 값 및 color 변화의 통계치에 관한 것으로서, 수신측 디스플레이 장치는 원본 이미지를 구성하는 각각의 픽셀들의 color 값 및 color 변화의 통계치를 비교하여 유사한 color 값 및 color 변화의 통계치를 갖는 픽셀들끼리 동일한 영역인 것으로 판단할 수 있게 됨으로써, 각각의 픽셀들이 어느 영역에 속하는지 판단할 수 있다.
한편, 각 영역을 구성하는 픽셀 좌표에 관한 정보는 각 영역의 경계를 이루는 픽셀들의 좌표, 각 영역의 중심부를 이루는 픽셀들의 좌표, 가장 큰 영역을 이루는 픽셀들의 좌표, 가장 작은 영역을 이루는 픽셀들의 좌표 등을 포함하며, 수신측 디스플레이 장치는 이러한 픽셀들의 좌표에 기초하여 직접 각 픽셀들이 어느 영역에 속하는지 판단할 수 있다.
또한, 영역별 구분 정보는 영역의 소멸, 생성 플래그 등의 시간적 특성 값을 포함할 수 있으며, 이는 수신측 디스플레이 장치에서 영역별 화질의 일관성을 유지하는데 사용될 수 있다.
도 3을 참조하여 설명하면, 하늘과 같은 오브젝트에 대응되는 영역(221)을 구성하는 하나의 픽셀(221-1)의 centroid 값과 variance 값은 주로 파란색을 의미하고, 건물과 같은 오브젝트에 대응되는 영역(222)을 구성하는 하나의 픽셀(222-1)의 centroid 값과 variance 값은 주로 회색을 의미하며, 잔디밭과 같은 오브젝트에 대응되는 영역(223)을 구성하는 하나의 픽셀(223-1)은 주로 녹색을 의미한다. 또한, 사람과 같은 오브젝트에 대응되는 영역(224)을 구성하는 하나의 픽셀(224-1)의 centroid 값과 variance 값은 주로 살색을 의미하고, 땅과 같은 오브젝트에 대응되는 영역(225)을 구성하는 하나의 픽셀(225-1)의 centroid 값과 variance 값은 주로 황토색을 의미한다.
이와 같이, 제어부(130)는 하늘, 건물, 잔디밭, 사람, 땅의 오브젝트 각각에 대응되는 영역(221, 222, 223, 224, 225)을 구성하는 픽셀들의 centroid 값과 variance 값을 수신측 디스플레이 장치에 전송하면, 수신측 디스플레이 장치는 픽셀들의 centroid 값과 variance 값에 기초하여 각각의 픽셀들이 하늘, 건물, 잔디밭, 사람, 땅의 오브젝트 각각에 대응되는 영역(221, 222, 223, 224, 225) 중 어느 영역에 속하는지 판단할 수 있게 된다.
한편, 제어부(130)는 하늘과 같은 오브젝트에 대응되는 영역(221)을 구성하는 하나의 픽셀(221-1)의 좌표값이 (20, 50)이고, 건물과 같은 오브젝트에 대응되는 영역(222)을 구성하는 하나의 픽셀(222-1)의 좌표값이 (25, 40)이며, 잔디밭과 같은 오브젝트에 대응되는 영역(223)을 구성하는 하나의 픽셀(223-1)의 좌표값은 (30, 20)이고, 사람과 같은 오브젝트에 대응되는 영역(224)을 구성하는 하나의 픽셀(224-1)의 좌표값은 (20, 25)이며, 땅과 같은 오브젝트에 대응되는 영역(225)을 구성하는 하나의 픽셀(225-1)의 좌표값은 (27, 10)임을 직접 수신측 디스플레이 장치에 전송함으로써, 수신측 디스플레이 장치는 각각의 픽셀(221-1, 222-1, 223-1, 224-1, 225-1)의 정확한 위치 및 어느 영역에 속하는지를 판단할 수 있다.
또한, 영역별 화질 정보는 각 영역의 화질 특성에 관한 것으로, 영역별 Random Noise의 크기 및 Blocking Artifact의 발생 위치와 크기 등의 Noise 정보, 영역별 Frequency Level별 크기 및 Textureness 크기 등의 Detail 정보, Edge 특성 복원용 Super Resolution 적용을 위한 영역별 Gradient Profile 정보, Texture 복원용 Example-based Super Resolution 적용을 위한 영역별 Texture Database Index 정보, 영역별 Temporal Flickering 크기의 Flicker 정보, 영역별 평균 Motion Vector, Motion 균일도 등의 Motion 정보 및 영역별 평균 Depth, 평균 Depth Vector 등의 Depth 정보 중 적어도 하나를 포함할 수 있다.
여기서, 영역별 Random Noise의 크기 및 Blocking Artifact의 발생 위치와 크기 등의 Noise 정보는 영역별 Noise 특성에 맞는 Noise Reduction을 수행할 수 있는 근거 데이터가 될 수 있다. 예를 들어, 하늘과 같은 오브젝트에 대응되는 영역(221)은 Noise가 많으면 안되므로, Noise 제거를 많이 해야 하고, 잔디밭과 같은 오브젝트에 대응되는 영역(223)은 Noise가 좀 있어도 크게 문제가 되지 않으므로, Noise 제거를 적게 해도 되는 것과 같이, 각 영역에 관한 Nosie 정보는 각 영역별 Noise 특성에 맞는 Noise Reduction이 가능하게 하는 근거 데이터들을 포함할 수 있다.
Detail 정보는 수신측 디스플레이 장치에서 영역별 Frequency 특성에 맞는 detail enhancement가 가능하도록 하고, Gradient Profile 정보는 수신측 디스플레이 장치에서 Gradient-based Super Resolution 적용을 통한 영역별 원본 Edge 특성을 복원하는 데 사용되며, Texture Database Index 정보는 수신측 디스플레이 장치에서 미리 정의된 Texture Database의 선택적 참조를 가능하게 하여 Example-based Super Resolution 적용을 통한 영역별 원본 Texture 복원이 가능하도록 한다.
또한, Flicker 정보는 수신측 디스플레이 장치에서 Temporal Flicker가 존재하는 영역만 선택적으로 제거할 수 있도록 하며, Motion 정보는 수신측 디스플레이 장치에서 Motion Estimation의 정확도를 향상시킬 수 있다. 또한, Depth 정보는 수신측 디스플레이 장치에서 깊이에 따른 Contast/Detail 자동 향상으로 입체감을 향상시킬 수 있다.
한편, 영역별 경계 정보는 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 것으로, 영역 간 경계에서 발생한 Halo의 크기, 영역 간 경계에서 발생한 Contour의 크기, 영역 간 경계에서 발생한 Ringing/Mosquito Artifact의 크기에 관한 정보 중 적어도 하나를 포함할 수 있다.
여기서, 영역별 경계 정보는 영역별 경계에서 발생한 Artifact 종류와 크기에 따라 적응적으로 제거하기 위한 근거 데이터가 될 수 있다.
한편, 영역별 의도 정보는 각 영역에서의 기 설정된 화질 특성에 관한 것으로, 이는 원본 이미지의 제작자가 의도한 화질 특성이다. 예를 들어, 도 2에서 잔디밭과 같은 오브젝트에 대응되는 영역(223)에 대해 제작자가 아웃 포커싱 효과 및 블러링 효과를 삽입하고 사람과 같은 오브젝트에 대응되는 영역(224)을 상대적으로 명확하게 한 경우, 수신측 디스플레이 장치는 이러한 제작자의 의도를 정확하게 파악할 수 없어, 잔디밭과 같은 오브젝트에 대응되는 영역(223)과 사람과 같은 오브젝트에 대응되는 영역(224)을 모두 Noise 제거하고 Detail을 향상시키는 화질 개선 처리를 수행하게 되며, 이에 따라, 제작자의 의도와 다른 이미지가 출력되게 된다.
따라서, 이러한 제작자의 의도가 반영된 화질 특성들은 변경되지 않고 유지되어야할 필요성이 있으므로, 제어부(130)는 이러한 제작자의 의도가 반영된 화질 특성을 기 설정된 화질 특성으로 설정하여 유지될 수 있게 한다.
구체적으로, 영역별 의도 정보는 각 영역의 적정/최소/최대 밝기 값, 각 영역의 시각적 중요도(Saliency), 각 영역의 Outfocus Level, 각 영역에서 특별히 의도되어 삽입된 Noise의 종류 및 크기 및 각 영역에서 특별히 의도된 특정 Color Hue 값 등에 관한 정보 중 적어도 하나를 포함할 수 있다.
여기서, 각 영역의 적정/최소/최대 밝기 값에 관한 정보는 과도한 Enhance를 방지하기 위하여 사용될 수 있고, 각 영역의 시각적 중요도(Saliency)에 관한 정보는 각 영역의 시각적 중요도에 따라 영역 강조 처리를 상이하게 하는데 사용될 수 있으며, 각 영역의 Outfocus Level에 관한 정보는 기 설정된 Outfocus 영역을 유지하는데 사용될 수 있다. 마찬가지로, 각 영역에서 특별히 의도되어 삽입된 Noise의 종류 및 크기 및 각 영역에서 특별히 의도된 특정 Color Hue 값에 관한 정보도 각 영역별로 의도된 색 및 Noise를 유지하기 위해 사용될 수 있다.
한편, 영역별 의미 정보는 각 영역을 인식하기 위한 것으로 각 영역의 인지적 의미에 대한 정보를 의미하며, 도 2에서와 같이 하늘, 건물, 잔디밭, 사람, 땅 등과 같은 객체 인지 값을 포함할 수 있다.
그리고, 각 영역의 인지적 의미에 대한 정보는 특정 의미의 영역으로 판된된 영역에 대해 특화된 처리를 수행할 수 있도록 하는 근거 데이터가 될 수 있다.
한편, 영역별 특성 정보는 영역별 구분 정보는 필수적으로 포함하되, 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보는 선택적으로 포함될 수 있다.
또한, 제어부(130)는 상술한 바와 같이 검출된 영역별 특성 정보를 압축 이미지와 함께 외부 장치로 전송하도록 통신부(110)를 제어할 수 있다.
또한, 제어부(130)는 압축 이미지를 화질 특성에 기초하여 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 압축 이미지의 구분된 각 영역으로부터 압축 이미지의 영역별 특성 정보를 검출하며, 검출된 압축 이미지의 영역별 특성 정보를 전송할 수 있다.
구체적으로, 제어부(130)는 원본 이미지의 각 영역으로부터 검출된 원본 이미지의 영역별 특성 정보, 압축 이미지의 각 여역으로부터 검출된 압축 이미지의 영역별 특성 정보 및 압축 이미지를 외부 장치로 전송할 수 있다.
예를 들어, 수신측 디스플레이 장치가 모바일 단말 장치와 같이 프로세서의 처리량이 작거나, 딜레이 없이 신속한 처리를 하기 위하여 컨텐츠 제공 장치에서 압축 이미지의 영역별 특성 정보를 미리 검출하여 모바일 단말 장치로 전송하게 되면, 모바일 단말 장치는 압축 이미지와 원본 이미지의 영역별 특성 정보에 기초하여 압축 이미지의 영역별 특성을 검출하고 검출된 압축 이미지의 영역별 특성에 기초하여 화질 개선 처리를 수행해야할 필요 없이, 바로 수신된 압축 이미지의 영역별 특성 정보에 기초하여 화질 개선 처리를 수행할 수 있다.
여기서, 제어부(130)는 압축 이미지의 구분된 각 영역으로부터 압축 이미지의 영역별 특성 정보를 검출하는데, 압축 이미지의 영역별 특성 정보는 각 영역을 구성하는 픽셀들의 color centroid 값, color variance 값 등의 통계적 특성 값, 각 영역의 경계 좌표, 중심 좌표, 최대 영역 좌표, 최소 영역 좌표 등의 기하학적 특성 값 및 영역의 소멸, 생성 플래그 등의 시간적 특성 값 중 적어도 하나를 포함하는 영역별 구분 정보를 포함할 수 있다.
또한, 압축 이미지의 영역별 특성 정보는 영역별 Random Noise의 크기 및 Blocking Artifact의 발생 위치와 크기 등의 Noise 정보, 영역별 Frequency Level별 크기 및 Textureness 크기 등의 Detail 정보 및 영역별 Temporal Flickering 크기의 Flicker 정보 중 적어도 하나를 포함하는 영역별 화질 정보를 포함할 수 있다.
또한, 압축 이미지의 영역별 특성 정보는 영역 간 경계에서 발생한 Halo의 크기, 영역 간 경계에서 발생한 Contour의 크기, 영역 간 경계에서 발생한 Ringing/Mosquito Artifact의 크기에 관한 정보 중 적어도 하나를 포함하는 영역별 경계 정보를 포함할 수 있다.
또한, 제어부(130)는 압축 이미지와 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송할 수 있다. 이에 따라, 수신측 디스플레이 장치는 수신된 압축 이미지와 영역별 특성 정보 간의 동기화를 수행하고, 영역별 특성 정보에 기초하여 압축 이미지에 대한 화질 개선 처리를 수행할 수 있게 된다.
한편, 도 4는 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 상세한 구성을 도시한 블럭도이다.
도 4를 참조하면, 컨텐츠 제공 장치(100)의 제어부(130)는 영역 구분 모듈(131), 영역 특성 분석 모듈(132) 및 영역 정보 코딩 모듈(133)을 포함한다.
여기서, 영역 구분 모듈(131)은 원본 이미지가 구분된 적어도 하나 이상의 영역으로부터 영역별 구분 정보를 검출하고, 검출된 영역별 구분 정보는 추후 설명할 수신측 디스플레이 장치의 영역 판단 모듈에서 각 픽셀이 어느 영역인지 판단하는 근거 데이터가 될 수 있다.
구체적으로, 영역 구분 모듈(131)은 이미지를 구성하는 픽셀과 구조 정보 등을 분석하여 영역을 구분할 수 있는 확률 모델을 만드는 단계 및 만들어진 확률 모델을 활용하여 이미지를 적어도 하나 이상의 영역으로 구분하는 단계를 수행할 수 있다.
그리고, 영역 특성 분석 모듈(132)은 영역별 구분 정보를 활용하여 원본 이미지를 구성하는 각 영역에 대한 특성 정보와 외부로부터 입력되는 영역별 의도 정보를 통합한다.
그리고 영역 정보 코딩 모듈(133)은 영역 구분 모듈(131)에서 검출된 영역별 구분 정보와 나머지 영역별 특성 정보(영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보)를 통합하여 코딩을 수행할 수 있다.
도 5는 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 구체적인 처리 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 원본 이미지가 컨텐츠 제공 장치(100)로 입력되면, 이미지 처리부(120)는 인코딩/Scaling 등을 수행하여 압축 이미지를 생성하고, 제어부(130)는 영역 구분 모델링(520), 픽셀별 영역 판단(530) 및 원본 이미지의 영역 정보 분석(540)을 수행한다.
그리고, 제어부(130)는 선택적으로, 압축 이미지에 대한 변형 영역 정보 분석(560)을 수행할 수도 있다. 이후, 제어부(130)는 원본 이미지의 분석된 영역 정보 및 압축 이미지에 대해 분석된 변형 영역 정보를 통합하여 인코딩(550)을 수행할 수 있다.
그리고, 제어부(130)는 원본 이미지 또는 압축 이미지에 대한 영역 정보와 압축 이미지를 통합(570)하고, 이를 하나의 전송 채널(580)을 통해 전송하거나 복수의 채널(A, B)(590)를 통해 각각 압축 이미지와 영역 정보를 분리하여 전송할 수도 있다. 이때, 제어부(130)는 압축 이미지와 영역 정보 간의 동기화를 위한 동기화 정보를 함께 전송할 수 있다.
도 6은 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 도시한 블럭도이다.
도 6을 참조하면, 디스플레이 장치(600)는 디스플레이부(610), 수신부(620) 및 제어부(630)를 포함한다.
디스플레이부(610)는 이미지를 디스플레이할 수 있으며, 이를 위해 액정 표시 장치(Liquid Crystal Display,LCD), 유기 전기 발광 다이오드(Organic Light Emiiting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel,PDP) 등으로 구현될 수 있다.
수신부(620)는 원본 이미지의 영역별 특성 정보 및 원본 이미지의 압축 이미지를 수신할 수 있다.
그리고, 제어부(630)는 영역별 특성 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고 구분된 각 영역별로 화질 개선 처리를 수행하며, 화질 개선 처리된 이미지를 디스플레이하도록 디스플레이부(610)를 제어한다.
여기서, 영역별 특성 정보는 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함할 수 있다.
또한, 제어부(630)는 영역별 구분 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보 중 적어도 하나에 기초하여 압축 이미지의 각 영역별로 화질 개선 처리를 수행할 수 있다. 도 7을 참조하여, 제어부(630)의 구성에 대해 상세히 설명하기로 한다.
도 7은 본 발명의 일 실시 예에 따른 제어부(630)의 상세한 구성을 도시한 도면이다.
도 7을 참조하면, 제어부(630)는 영역 정보 디코딩 모듈(631), 동기화 모듈(632), 이미지 디코딩 모듈(633), 영역 판단 모듈(634) 및 영역 특성 기반 처리 모듈(635)를 포함한다.
영역 정보 디코딩 모듈(631)은 수신된 영역 정보를 디코딩하고, 이미지 디코딩 모듈(633)은 수신된 이미지를 디코딩하며, 동기화 모듈(632)은 영역 정보와 이미지 프레임 간의 동기화를 수행한다.
영역 판단 모듈(634)은 영역별 구분 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 영역 특성 기반 처리 모듈(635)은 수신된 영역별 특성 정보에 포함된 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보 중 적어도 하나에 기초하여 화질 개선 처리를 수행할 수 있다.
예를 들어, 영역 판단 모듈(634)은 도 3과 같이 각각의 픽셀(221-1, 222-1, 223-1, 224-1, 225-1)이 복수의 영역(221, 222, 223, 224, 225) 중 어느 영역에 포함되는지 판단하고, 영역 특성 기반 처리 모듈(635)은 수신된 영역별 특성 정보에 포함된 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보 중 적어도 하나에 기초하여 각 영역별로 상이하게 화질 개선 처리를 수행할 수 있다.
도 8은 본 발명의 일 실시 예에 따른 디스플레이 장치의 처리 과정을 설명하기 위한 도면이다.
도 8을 참조하면, 디스플레이 장치(100)의 수신부(620)는 이미지 및 영역별 특성 정보를 수신하고, 제어부(630)는 영역별 특성 정보 중 영역별 구분 정보에 기초하여 픽셀별 영역 판단(810)을 수행하고, 영역별 특성 정보에 포함된 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보 중 적어도 하나에 기초하여 영역 특성 기반 영상 처리(820)를 수행한다. 그리고, 제어부(630)는 각 디바이스별 특화 영상 처리(830)를 수행하여 최종 출력 영상을 생성하게 된다.
한편, 본 발명의 일 실시 예에 따른 디스플레이 장치(600)의 수신부(620)는 압축 이미지의 영역별 특성 정보를 수신할 수 있으며, 제어부(630)는 원본 이미지의 영역별 특성 정보 및 압축 이미지의 영역별 특성 정보에 기초하여 압축 이미지에 대해 화질 개선 처리를 수행할 수 있다.
즉, 앞서 설명한 바와 같이, 디스플레이 장치(600)가 모바일 단말 장치인 경우, 컨텐츠 제공 장치(100)에서 미리 압축 이미지의 영역별 특성 정보를 검출하여 디스플레이 장치(600)로 전송하는 경우에 디스플레이 장치(600)의 제어부(630)는 원본 이미지의 영역별 특성 정보 및 압축 이미지의 영역별 특성 정보에 기초하여 따로 압축 이미지의 영역별 특성 정보를 검출할 필요없이 바로 압축 이미지에 대한 화질 개선 처리를 수행할 수 있다.
또한, 수신부(620)는 압축 이미지와 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 수신하며, 제어부(630)는 동기화 정보에 기초하여 영역별 특성 정보와 압축 이미지 간의 동기화를 수행하고, 영역별 특성 정보에 기초하여 압축 이미지를 화질 개선 처리할 수 있다.
도 9는 본 발명의 일 실시 예에 따른 화질 개선 처리를 위한 시스템의 구성을 도시한 도면이다.
도 9를 참조하면, 화질 개선 처리를 위한 시스템은 컨텐츠 제공 장치(100) 및 디스플레이 장치(600)를 포함한다. 그리고, 컨텐츠 제공 장치(100)와 디스플레이 장치(600) 간에는 단일 채널 또는 멀티 채널로 연결될 수 있다.
컨텐츠 제공 장치(100)와 디스플레이 장치(600)의 각 세부 구성에 대해서는 이미 설명하였으므로 자세한 설명은 생략하기로 한다.
한편, 도 10은 본 발명의 일 실시 예에 따른 중간 전송 단계에서 이루어지는 과정을 설명하기 위한 도면이다.
구체적으로, 중간 전송 단계에서 제3의 서비스 사업자에 의한 재전송이 이루어지는 경우 tanscoding, scaling, network balancing 등으로 영상의 특성이 다시 변경될 수 있다.
이러한 경우, 컨텐츠 제공 장치(100)에서 추출된 변형 영상 정보는 새로운 정보로 업데이트될 수 있는데, 구체적으로, 제3의 서비스 사업자에 의해 영역별 구분 정보에 기초하여 픽셀별 영역 판단(1010)을 수행하고, 변경된 영상의 특성을 반영하여 변형 영역 정보 업데이트(1020)를 수행하며, 업데이트된 정보와 영상을 통합(1030)하고, 채널을 통해 영상과 정보를 전송(1040)한다.
이에 따라, 디스플레이 장치(600)는 중간 전송 단계에서 변경된 영상의 특성에 관한 정보를 모두 수신할 수 있게 되며, 이에 따라 더욱 정확한 화질 개선 처리를 수행할 수 있게 된다.
도 11은 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 방법을 참조하면, 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성한다(S1110).
그리고, 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 각 영역으로부터 영역별 특성 정보를 검출할 수 있다(S1120).
여기서, 검출하는 단계는, 원본 이미지를 픽셀 단위로 구분하고, 픽셀들 각각의 픽셀 정보에 기초하여 픽셀들을 그룹핑하여 적어도 하나 이상의 영역으로 구분할 수 있다.
또한, 영역별 특성 정보는 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 각 영역의 화질 특성에 관한 영역별 화질 정보, 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함한다.
또한, 영역별 구분 정보는 구분된 각 영역 중 원본 이미지를 구성하는 각 픽셀이 속하는 영역에 관한 정보를 포함하고, 각 픽셀이 속한 영역에 관한 정보는, 각 영역별 특성 파라미터에 관한 정보 및 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함한다.
또한, 검출된 영역별 특성 정보를 압축 이미지와 함께 외부 장치로 전송할 수 있다(S1130).
여기서, 검출하는 단계는, 압축 이미지를 화질 특성에 기초하여 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 압축 이미지의 구분된 각 영역으로부터 압축 이미지의 영역별 특성 정보를 검출하고, 전송하는 단계는, 검출된 압축 이미지의 영역별 특성 정보를 전송할 수 있다.
한편, 본 발명의 일 실시 예에 따른 컨텐츠 제공 장치의 제어 방법은 압축 이미지와 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송하는 단계를 더 포함할 수 있다.
도 12는 본 발명의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하기 위한 흐름도이다.
도 12에 도시된 방법을 참조하면, 원본 이미지의 영역별 특성 정보 및 원본 이미지의 압축 이미지를 수신한다(S1210).
이후, 영역별 특성 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고, 구분된 각 영역별로 화질 개선 처리를 수행한다(S1220).
여기서, 영역별 특성 정보는, 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함한다.
또한, 화질 개선 처리를 수행하는 단계는, 영역별 구분 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 영역별 화질 정보, 영역별 경계 정보, 영역별 의도 정보 및 영역별 의미 정보 중 적어도 하나에 기초하여 압축 이미지의 각 영역별로 화질 개선 처리를 수행할 수 있다.
또한, 화질 개선 처리된 이미지를 디스플레이한다(S1230).
한편, 본 발명에 따른 제어 방법을 순차적으로 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
일 예로, 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 단계 및 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 각 영역으로부터 영역별 특성 정보를 검출하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
또한, 일 예로, 영역별 특성 정보에 기초하여 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고, 구분된 각 영역별로 화질 개선 처리를 수행하는 단계 및 화질 개선 처리된 이미지를 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 컨텐츠 제공 장치 및 디스플레이 장치에 대해 도시한 상술한 블록도에서는 버스(bus)를 미도시하였으나, 컨텐츠 제공 장치 및 디스플레이 장치에서 각 구성요소 간의 통신은 버스를 통해 이루어질 수도 있다. 또한, 각 디바이스에는 상술한 다양한 단계를 수행하는 CPU, 마이크로 프로세서 등과 같은 프로세서가 더 포함될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100: 컨텐츠 제공 장치 110: 통신부
120: 이미지 처리부 130: 제어부

Claims (20)

  1. 외부 장치와 통신을 수행하는 통신부;
    입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 이미지 처리부; 및
    상기 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 상기 각 영역으로부터 영역별 특성 정보를 검출하며, 상기 검출된 영역별 특성 정보를 상기 압축 이미지와 함께 상기 외부 장치로 전송하도록 상기 통신부를 제어하는 제어부;를 포함하는 컨텐츠 제공 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 원본 이미지를 픽셀 단위로 구분하고, 픽셀들 각각의 픽셀 정보에 기초하여 상기 픽셀들을 그룹핑하여 상기 적어도 하나 이상의 영역으로 구분하는 것을 특징으로 하는 컨텐츠 제공 장치.
  3. 제2항에 있어서,
    상기 영역별 특성 정보는,
    상기 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 제공 장치.
  4. 제3항에 있어서,
    상기 영역별 구분 정보는,
    상기 구분된 각 영역 중 상기 원본 이미지를 구성하는 각 픽셀이 속한 영역에 관한 정보를 포함하고,
    상기 각 픽셀이 속한 영역에 관한 정보는,
    상기 각 영역별 특성 파라미터에 관한 정보 및 상기 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함하는 컨텐츠 제공 장치.
  5. 제1항에 있어서,
    상기 제어부는,
    상기 압축 이미지를 상기 화질 특성에 기초하여 상기 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 상기 압축 이미지의 구분된 각 영역으로부터 상기 압축 이미지의 영역별 특성 정보를 검출하며, 상기 검출된 압축 이미지의 영역별 특성 정보를 전송하는 것을 특징으로 하는 컨텐츠 제공 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송하는 것을 특징으로 하는 컨텐츠 제공 장치.
  7. 디스플레이부;
    원본 이미지의 영역별 특성 정보 및 상기 원본 이미지의 압축 이미지를 수신하는 수신부; 및
    상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고 상기 구분된 각 영역별로 화질 개선 처리를 수행하며, 상기 화질 개선 처리된 이미지를 디스플레이하도록 상기 디스플레이부를 제어하는 제어부;를 포함하는 디스플레이 장치.
  8. 제7항에 있어서,
    상기 영역별 특성 정보는,
    상기 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치.
  9. 제8항에 있어서,
    상기 제어부는,
    상기 영역별 구분 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 상기 영역별 화질 정보, 상기 영역별 경계 정보, 상기 영역별 의도 정보 및 상기 영역별 의미 정보 중 적어도 하나에 기초하여 상기 압축 이미지의 각 영역별로 화질 개선 처리를 수행하는 것을 특징으로 하는 디스플레이 장치.
  10. 제9항에 있어서,
    상기 수신부는,
    상기 압축 이미지의 영역별 특성 정보를 수신하며,
    상기 제어부는,
    상기 원본 이미지의 영역별 특성 정보 및 압축 이미지의 영역 특성 정보에 기초하여 상기 압축 이미지에 대해 화질 개선 처리를 수행하는 것을 특징으로 하는 디스플레이 장치.
  11. 제7항에 있어서,
    상기 수신부는,
    상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 수신하며,
    상기 제어부는,
    상기 동기화 정보에 기초하여 상기 영역별 특성 정보와 상기 압축 이미지 간의 동기화를 수행하고, 상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 화질 개선 처리하는 것을 특징으로 하는 디스플레이 장치.
  12. 입력된 원본 이미지를 이미지 처리하여 압축 이미지를 생성하는 단계;
    상기 원본 이미지를 화질 특성에 기초하여 적어도 하나 이상의 영역으로 구분하고, 상기 각 영역으로부터 영역별 특성 정보를 검출하는 단계; 및
    상기 검출된 영역별 특성 정보를 상기 압축 이미지와 함께 외부 장치로 전송하는 단계;를 포함하는 컨텐츠 제공 장치의 제어 방법.
  13. 제12항에 있어서,
    상기 검출하는 단계는,
    상기 원본 이미지를 픽셀 단위로 구분하고, 픽셀들 각각의 픽셀 정보에 기초하여 상기 픽셀들을 그룹핑하여 상기 적어도 하나 이상의 영역으로 구분하는 것을 특징으로 하는 컨텐츠 제공 장치의 제어 방법.
  14. 제13항에 있어서,
    상기 영역별 특성 정보는,
    상기 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 컨텐츠 제공 장치의 제어 방법.
  15. 제14항에 있어서,
    상기 영역별 구분 정보는,
    상기 구분된 각 영역 중 상기 원본 이미지를 구성하는 각 픽셀이 속한 영역에 관한 정보를 포함하고,
    상기 각 픽셀이 속한 영역에 관한 정보는,
    상기 각 영역별 특성 파라미터에 관한 정보 및 상기 각 영역을 구성하는 픽셀 좌표에 관한 정보 중 적어도 하나를 포함하는 컨텐츠 제공 장치의 제어 방법.
  16. 제12항에 있어서,
    상기 검출하는 단계는,
    상기 압축 이미지를 상기 화질 특성에 기초하여 상기 원본 이미지의 구분된 영역과 대응되는 영역으로 구분하고, 상기 압축 이미지의 구분된 각 영역으로부터 상기 압축 이미지의 영역별 특성 정보를 검출하고,
    상기 전송하는 단계는,
    상기 검출된 압축 이미지의 영역별 특성 정보를 전송하는 것을 특징으로 하는 컨텐츠 제공 장치의 제어 방법.
  17. 제12항에 있어서,
    상기 압축 이미지와 상기 영역별 특성 정보 간의 동기화를 위한 동기화 정보를 생성하여 전송하는 단계;를 더 포함하는 것을 특징으로 하는 컨텐츠 제공 장치의 제어 방법.
  18. 원본 이미지의 영역별 특성 정보 및 상기 원본 이미지의 압축 이미지를 수신하는 단계;
    상기 영역별 특성 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀을 그룹핑하여 적어도 하나 이상의 영역으로 구분하고, 상기 구분된 각 영역별로 화질 개선 처리를 수행하는 단계; 및
    상기 화질 개선 처리된 이미지를 디스플레이하는 단계;를 포함하는 디스플레이 장치의 제어 방법.
  19. 제18항에 있어서,
    상기 영역별 특성 정보는,
    상기 원본 이미지의 구분된 각 영역을 판단하기 위한 영역별 구분 정보, 상기 원본 이미지의 각 영역의 화질 특성에 관한 영역별 화질 정보, 상기 원본 이미지의 각 영역 사이의 경계에서 발생하는 화질 왜곡에 관한 영역별 경계 정보, 상기 원본 이미지의 각 영역에서의 기 설정된 화질 특성에 관한 영역별 의도 정보 및 상기 원본 이미지의 각 영역을 인식하기 위한 영역별 의미 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
  20. 제19항에 있어서,
    상기 화질 개선 처리를 수행하는 단계는,
    상기 영역별 구분 정보에 기초하여 상기 압축 이미지를 구성하는 복수의 픽셀 각각이 어느 영역에 포함되는지 판단하고, 상기 영역별 화질 정보, 상기 영역별 경계 정보, 상기 영역별 의도 정보 및 상기 영역별 의미 정보 중 적어도 하나에 기초하여 상기 압축 이미지의 각 영역별로 화질 개선 처리를 수행하는 것을 특징으로 하는 디스플레이 장치의 제어 방법.
KR1020140187237A 2014-12-23 2014-12-23 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법 KR102091072B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020140187237A KR102091072B1 (ko) 2014-12-23 2014-12-23 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
CN201580070269.XA CN107113464B (zh) 2014-12-23 2015-12-07 内容提供装置、显示装置及其控制方法
PCT/KR2015/013324 WO2016104990A1 (ko) 2014-12-23 2015-12-07 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
US15/528,272 US10638131B2 (en) 2014-12-23 2015-12-07 Content providing apparatus, display apparatus, and control method therefor
EP15873517.5A EP3240291A4 (en) 2014-12-23 2015-12-07 Content providing apparatus, display apparatus and control method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140187237A KR102091072B1 (ko) 2014-12-23 2014-12-23 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20160076769A true KR20160076769A (ko) 2016-07-01
KR102091072B1 KR102091072B1 (ko) 2020-03-19

Family

ID=56150959

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140187237A KR102091072B1 (ko) 2014-12-23 2014-12-23 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법

Country Status (5)

Country Link
US (1) US10638131B2 (ko)
EP (1) EP3240291A4 (ko)
KR (1) KR102091072B1 (ko)
CN (1) CN107113464B (ko)
WO (1) WO2016104990A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108197567B (zh) * 2017-12-29 2021-08-24 百度在线网络技术（北京）有限公司 用于图像处理的方法、装置和计算机可读介质
CN113366527A (zh) * 2019-01-31 2021-09-07 三星电子株式会社 用于处理图像的电子装置和方法
US11032576B2 (en) 2019-06-10 2021-06-08 Microsoft Technology Licensing, Llc Selectively enhancing compressed digital content
CN111861908A (zh) * 2020-06-29 2020-10-30 维沃移动通信有限公司 图像处理方法及装置
CN112561890A (zh) * 2020-12-18 2021-03-26 深圳赛安特技术服务有限公司 图像清晰度的计算方法、装置和计算机设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117798A1 (en) * 2003-12-02 2005-06-02 Eastman Kodak Company Method and apparatus for modifying a portion of an image frame in accordance with colorimetric parameters
US20120033875A1 (en) * 2008-07-31 2012-02-09 Ruth Bergman Preceptual segmentation of images

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279454A (ja) 2005-03-29 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム、および記録媒体
KR20090107907A (ko) * 2008-04-10 2009-10-14 삼성전자주식회사 메타 데이터에 기초한 디지털 이미지 개선 방법 및 화상형성장치
EP2187350A1 (en) 2008-11-05 2010-05-19 Thomson Licensing Method and device for assessing image quality degradation
EP2199981A1 (en) 2008-12-09 2010-06-23 Koninklijke Philips Electronics N.V. Image segmentation
EP2382791B1 (en) * 2009-01-27 2014-12-17 Telefonaktiebolaget L M Ericsson (PUBL) Depth and video co-processing
WO2011010834A2 (ko) * 2009-07-21 2011-01-27 삼성전자 주식회사 디스플레이 장치 및 그 디스플레이 방법
EP2543181B1 (en) 2010-03-03 2015-10-21 Koninklijke Philips N.V. Apparatuses and methods for defining color regimes
CN103918262B (zh) * 2011-06-14 2017-11-10 王舟 基于结构相似度的码率失真优化感知视频编码方法和系统
KR101285811B1 (ko) 2011-08-23 2013-07-12 광운대학교 산학협력단 홀로그래픽 영상의 공간 스케일러블 코딩 장치 및 방법
US20130170555A1 (en) 2011-12-28 2013-07-04 Broadcom Corporation Adapting transform coefficient scaling in video/image coding to block features identified in the transform domain
KR101914478B1 (ko) * 2012-01-10 2018-11-02 에스케이플래닛 주식회사 이미지 제공 시스템, 이를 위한 장치 및 이미지 제공 방법
WO2014007450A1 (ko) * 2012-07-06 2014-01-09 삼성전자주식회사 깊이 영상 처리 장치 및 방법
RU2652465C2 (ru) * 2012-07-13 2018-04-26 Конинклейке Филипс Н.В. Усовершенствованные способы и устройства для кодирования и декодирования hdr изображений
KR20140063125A (ko) 2012-11-16 2014-05-27 삼성전자주식회사 영역에 따라 다른 계수를 적용하여 화질을 개선하는 영상 처리 방법 및 그 장치
KR101347956B1 (ko) 2013-07-29 2014-01-10 주식회사 리버스톤미디어 초고화질 영상의 병렬처리에 의한 스트림 변환 및 복원 시스템 그리고 이를 이용한 초고화질 영상의 스트림 변환 및 복원 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050117798A1 (en) * 2003-12-02 2005-06-02 Eastman Kodak Company Method and apparatus for modifying a portion of an image frame in accordance with colorimetric parameters
US20120033875A1 (en) * 2008-07-31 2012-02-09 Ruth Bergman Preceptual segmentation of images

Also Published As

Publication number Publication date
WO2016104990A1 (ko) 2016-06-30
EP3240291A4 (en) 2017-11-22
EP3240291A1 (en) 2017-11-01
CN107113464B (zh) 2021-03-02
KR102091072B1 (ko) 2020-03-19
US10638131B2 (en) 2020-04-28
US20170339408A1 (en) 2017-11-23
CN107113464A (zh) 2017-08-29

Similar Documents

Publication Publication Date Title
US11425454B2 (en) Dynamic video overlays
US9706111B2 (en) No-reference image and video quality evaluation
KR102091072B1 (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
US8587606B2 (en) Apparatus and method for processing image, and apparatus for displaying image
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
CN108806638B (zh) 一种图像的显示方法及其装置
KR102246954B1 (ko) 영상 처리 장치 및 그 영상 처리 방법
CN109685861B (zh) 图片压缩方法、装置、设备及计算机可读存储介质
US20240054623A1 (en) Image processing method and system, and device
CN111010525B (zh) 动态调整图像清晰度的方法及其图像处理装置
KR20230068894A (ko) 디스플레이 장치 및 그 동작방법
CN106295634B (zh) 车牌图像识别的处理方法及装置
Kong et al. Development of the brightness quality improving system with the video region detection algorithm
GB2568112A (en) Method and system for processing display data
Du iency-us
KR20150101277A (ko) 터미널 서버에서의 화면프레임 전송방법 및 이를 이용하는 터미널 서버

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right