KR102546990B1 - 신호 처리 장치 및 이를 구비하는 영상표시장치 - Google Patents

신호 처리 장치 및 이를 구비하는 영상표시장치 Download PDF

Info

Publication number
KR102546990B1
KR102546990B1 KR1020180103070A KR20180103070A KR102546990B1 KR 102546990 B1 KR102546990 B1 KR 102546990B1 KR 1020180103070 A KR1020180103070 A KR 1020180103070A KR 20180103070 A KR20180103070 A KR 20180103070A KR 102546990 B1 KR102546990 B1 KR 102546990B1
Authority
KR
South Korea
Prior art keywords
grayscale
unit
signal
image
input
Prior art date
Application number
KR1020180103070A
Other languages
English (en)
Other versions
KR20190109204A (ko
Inventor
박경렬
양정휴
김종찬
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US16/517,486 priority Critical patent/US11056039B2/en
Priority to EP19187548.3A priority patent/EP3618414A3/en
Publication of KR20190109204A publication Critical patent/KR20190109204A/ko
Priority to US17/334,316 priority patent/US11748855B2/en
Application granted granted Critical
Publication of KR102546990B1 publication Critical patent/KR102546990B1/ko

Links

Images

Classifications

    • G06T5/73—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/92—
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G09G3/2044—Display of intermediate tones using dithering
    • G09G3/2048—Display of intermediate tones using dithering with addition of random noise to an image signal or to a gradation threshold
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network
    • H04N21/43632—Adapting the video or multiplex stream to a specific local network, e.g. a IEEE 1394 or Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/202—Gamma control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/57—Control of contrast or brightness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0673—Adjustment of display parameters for control of gamma adjustment, e.g. selecting another gamma curve
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0428—Gradation resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/04—Exchange of auxiliary data, i.e. other than image data, between monitor and graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response

Abstract

본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다. 본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 영상 신호를 입력 받고, 입력되는 영상 신호의 노이즈 제거를 수행하는 제1 리덕션부와, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하는 제2 리덕션부를 포함하고, 제2 리덕션부는, 샹기 영상 신호의 계조의 상한 레벨이, OSD 신호의 계조의 상한 레벨 보다 크도록, 계조 증폭을 수행한다. 이에 의해, 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있게 된다.

Description

신호 처리 장치 및 이를 구비하는 영상표시장치{Signal processing device and image display apparatus including the same}
본 발명은 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이며, 더욱 상세하게는 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치에 관한 것이다.
신호 처리 장치는, 영상을 표시할 수 있도록 입력 영상에 대한 신호 처리를 수행하는 장치이다.
예를 들어, 신호 처리 장치는, 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
한편, 카메라 및 방송 기술의 발전에 따라, 입력 영상의 해상도 및 수직 동기 주파수가 증대되고 있다. 구체적으로, 4K 해상도 및 120Hz의 수직 동기 주파수를 가지는 영상에 대한 화질 처리가 화질 처리에 대한 필요가 제기되고 있다.
이러한 입력 영상의 화질 처리를 신호 처리 장치가 담당할 수 있다. 이에, 신호 처리 장치에서 고해상도 영상에 대한 화질 처리를 위한 연구가 수행되고 있다.
본 발명의 목적은, 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 다른 목적은, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 다른 목적은, 입력 영상에 대해, 다단의 화질 처리를 수행하여, 점진적으로 화질을 향상시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 다른 목적은, 입력 영상에 대해, 다단의 노이즈 리덕션(Noise Reduction) 처리를 수행하여, 화질을 향상시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 입력 영상에 대해, 다단의 계조 확장 처리를 수행하여, 화질을 향상시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 입력 영상에 대해, 다단의 영상 해상도 향상(Resolution Enhancement) 처리를 수행하여, 화질을 향상시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 다양한 화질의 입력 영상에 대해서도 일정 수준 이상의 화질을 출력할 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 입력 영상 내의 오브젝트(object)에 대해, 인공지능적으로 분석하여 오브젝트의 입체감을 향상 시킬 수 있는 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
한편, 본 발명의 또 다른 목적은, 입력 영상에 대해 계층적 인공지능 구조로 입력 영상을 판별할 수 있는, 신호 처리 장치 및 이를 구비하는 영상표시장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 신호 처리 장치는, 영상 신호를 입력 받고, 입력되는 영상 신호의 노이즈 제거를 수행하는 제1 리덕션부와, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하는 제2 리덕션부를 포함하고, 제2 리덕션부는, 샹기 영상 신호의 계조의 상한 레벨이, OSD 신호의 계조의 상한 레벨 보다 크도록, 계조 증폭을 수행한다.
한편, 본 발명의 일 실시예에 따른 제2 리덕션부는 OSD 신호에 대해 계조 증폭을 수행하지 않는다.
한편, OSD 신호는, 제2 리덕션부에 입력되며, 제2 리덕션부는 OSD 신호에 대한 좌표 정보에 기초하여, OSD 신호에 대응하는 OSD 영역을 제외한 영역에 대해, 계조 증폭을 수행한다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해 계조 변환을 수행하며, 제1 리덕션부는 HDR 처리부로부터 입력된 계조 변환 영상 신호의 노이즈 제거를 수행하고, 제2 리덕션부는, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하며, HDR 처리부에서 수행되는 계조 변환 모드에 따라, 제2 리덕션부에서 증폭되는 계조의 상한 레벨이 가변된다.
한편, 본 발명의 일 실시예에 따른 제2 리덕션부는, HDR 처리부에서, 제1 계조 변환 모드와 제2 계조 변환 모드 중 저계조가 더 강조되지 않는 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 제4 계조 변환 모드를 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 제2 리덕션부는, HDR 처리부에서, 제1 계조 변환 모드와 제2 계조 변환 모드 중 저계조가 강조되는 제1 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 작은, 제3 계조 변환 모드를 수행할 수 있다
한편, 본 발명의 일 실시예에 따른 HDR 처리부는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조가 균일하게 변환되도록 하는 제2 계조 변환 모드를 수행하며, 제2 리덕션부는, HDR 처리부에서, 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 제4 계조 변환 모드를 수행할 수 있다
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해 계조 변환을 수행하는 HDR 처리부와, HDR 처리부로부터 입력된 계조 변환 영상 신호의 노이즈 제거를 수행하는 제1 리덕션부와, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하는 제2 리덕션부를 포함하고, HDR 처리부에서 수행되는 계조 변환 모드에 따라, 제2 리덕션부에서 증폭되는 계조의 상한 레벨이 가변된다.
본 발명의 일 실시예에 따른 신호 처리 장치 및 이를 구비하는 영상표시장치는, 영상 신호를 입력 받고, 입력되는 영상 신호의 노이즈 제거를 수행하는 제1 리덕션부와, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하는 제2 리덕션부를 포함하고, 제2 리덕션부는, 샹기 영상 신호의 계조의 상한 레벨이, OSD 신호의 계조의 상한 레벨 보다 크도록, 계조 증폭을 수행함으로써, 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있게 된다.
특히, 한편, 제2 리덕션부는 OSD 신호에 대해 계조 증폭을 수행하지 않음으로써, 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있게 된다.
한편, OSD 신호는, 제2 리덕션부에 입력되며, 제2 리덕션부는 OSD 신호에 대한 좌표 정보에 기초하여, OSD 신호에 대응하는 OSD 영역을 제외한 영역에 대해, 계조 증폭을 수행함으로써, 주변 휘도에 관계 없이 OSD 영역이 균일하게 표현될 수 있게 된다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해 계조 변환을 수행하며, 제1 리덕션부는 HDR 처리부로부터 입력된 계조 변환 영상 신호의 노이즈 제거를 수행하고, 제2 리덕션부는, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 계조 증폭을 수행하며, HDR 처리부에서 수행되는 계조 변환 모드에 따라, 제2 리덕션부에서 증폭되는 계조의 상한 레벨이 가변됨으로써, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
특히, 최대 계조의 상한 레벨이 가변됨으로써, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부는, HDR 처리부에서, 제1 계조 변환 모드와 제2 계조 변환 모드 중 저계조가 더 강조되지 않는 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 제4 계조 변환 모드를 수행할 수 있다. 이에 따라, 고계조 표현력을 증대시킬 수 있게 된다.
한편, HDR 처리부는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조가 균일하게 변환되도록 하는 제2 계조 변환 모드를 수행하며, 제2 리덕션부는, HDR 처리부에서, 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 제4 계조 변환 모드를 수행할 수. 있다 이에 따라, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부는, 입력 영상 신호 내 제1 휘도 이상의 영역에 대해 계조 표현 증폭 처리를 수행함으로써, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제1 리덕션부는, HDR 처리부로부터 입력된 계조 변환 영상 신호에 대해, 다단계 노이즈 제거 처리를 수행할 수 있으며, 이에 따라, 점진적으로 화질을 향상시킬 수 있게 된다.
한편, 다단계로 노이즈 리덕션 처리를 수행하면서, 이중 노이즈 제거 처리로, 원본 신호에 대한 노이즈 제거 처리를 강화하고, IPC(interlaced progressive conversion)와 같은 알고리즘에 의해 발생하는 노이즈도 경감시킬 수 있게 된다.
한편, 3단계 계조 재생(Reproduction) 처리로, 입력 영상 신호의 손실된 계조 비트를 재생성하여 보다 부드러운 화면을 제공할 수 있게 된다.
또한, 제1 리덕션부와 제2 리덕션부를 통해, 다단계 계조 확장 처리를 수행할 수 있으며, 이에 따라, 화질을 향상시킬 수 있게 된다.
한편, 제1 리덕션부와 제2 리덕션부 사이에서, 제1 리덕션부로부터 입력된 노이즈 제거된 영상 신호에 대해 다단계 영상 해상도 처리를 수행하는 인핸스부를 통해, 다단계의 영상 해상도 향상 처리를 수행함으로써, 보다 자연스럽고 강한 영상 해상도 향상 결과를 얻을 수 있게 된다.
한편, 4단계 계조 복원 처리로 내부 인핸스(Enhance) 처리에 수반되는 계조 손실을 복원하여 층짐 현상 없이 보다 매끄럽고 다이나믹(Dynamic)한 출력을 얻을 수 있게 된다.
또한 오브젝트 검출과 같은 인공지능 화질 처리 요소를 도입하고, 계층적 AI구조로 효율적이고, 유기적으로 각 Core가 연계될 수 있으므로, 최적을 화질을 제공할 수 있게 된다.
한편, 입력 영상 신호의 수직 동기 주파수가 제1 수직 동기 주파수인 경우, 다단계의 노이즈 제거 처리를 수행하며, 입력 영상 신호의 수직 동기 주파수가 제1 수직 동기 주파수 보다 높은 제2 수직 동기 주파수인 경우, 한 단계의 노이즈 제거 처리를 수행함으로써, Quality Scalable한 화질 처리로 HFR(High Frame Rate)영상 까지 모든 화질 처리를 수행할 수 있게 된다. 특히, 별도의 비용 없이, 다양한 화질 처리가 가능하게 된다.
도 1은 본 발명의 일 실시예에 따른 영상표시장치를 도시한 도면이다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
도 7은 본 발명의 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도 8a 내지 도 17은 도 7의 신호 처리 장치의 동작 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1은 본 발명의 일 실시예에 따른 영상표시장치를 도시한 도면이다.
도면을 참조하면, 영상표시장치(100)는, 디스플레이(180)를 포함할 수 있다.
한편, 디스플레이(180)는 다양한 패널 중 어느 하나로 구현될 수 있다. 예를 들어, 디스플레이(180)는, 액정표시패널(LCD 패널), 유기발광패널(OLED 패널), 무기발광패널(LED 패널) 등 중 어느 하나일 수 있다.
본 발명에서는, 디스플레이(180)가 유기발광패널(OLED 패널)을 구비하는 것을 중심으로 기술한다.
한편, 유기발광패널(OLED 패널)은, 액정표시패널 보다 패널 응답 속도가 빠르며, 색재현 효과가 뛰어나며, 색재현성이 뛰어나다는 장점이 있다.
이에 따라, 디스플레이(180)가 유기발광패널을 구비하는 경우, 영상표시장치(100) 내의 신호 처리부(도 2의 170)는, 유기발광패널에 대응하는 화질 처리를 수행하는 것이 바람직하다.
한편, 도 1의 영상표시장치(100)는, TV, 모니터, 태블릿 PC, 이동 단말기 등이 가능하다.
도 2는 도 1의 영상표시장치의 내부 블록도의 일예이다.
도 2를 참조하면, 본 발명의 일실시예에 의한 영상표시장치(100)는, 영상 수신부(105), 외부장치 인터페이스부(130), 저장부(140), 사용자입력 인터페이스부(150), 센서부(미도시), 신호 처리부(170), 디스플레이(180), 오디오 출력부(185)를 포함할 수 있다.
영상 수신부(105)는, 튜너부(110), 복조부(120), 네트워크 인터페이스부(130), 외부장치 인터페이스부(130)를 포함할 수 있다.
한편, 영상 수신부(105)는, 도면과 달리, 튜너부(110), 복조부(120)와, 외부장치 인터페이스부(130)만을 포함하는 것도 가능하다. 즉, 네트워크 인터페이스부(130)를 포함하지 않을 수도 있다.
튜너부(110)는, 안테나(미도시)를 통해 수신되는 RF(Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상 또는 음성신호로 변환한다.
예를 들어, 선택된 RF 방송 신호가 디지털 방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)로 변환한다. 즉, 튜너부(110)는 디지털 방송 신호 또는 아날로그 방송 신호를 처리할 수 있다. 튜너부(110)에서 출력되는 아날로그 베이스 밴드 영상 또는 음성 신호(CVBS/SIF)는 신호 처리부(170)로 직접 입력될 수 있다.
한편, 튜너부(110)는, 복수 채널의 방송 신호를 수신하기 위해, 복수의 튜너를 구비하는 것이 가능하다. 또는, 복수 채널의 방송 신호를 동시에 수신하는 단일 튜너도 가능하다.
복조부(120)는 튜너부(110)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.
복조부(120)는 복조 및 채널 복호화를 수행한 후 스트림 신호(TS)를 출력할 수 있다. 이때 스트림 신호는 영상 신호, 음성 신호 또는 데이터 신호가 다중화된 신호일 수 있다.
복조부(120)에서 출력한 스트림 신호는 신호 처리부(170)로 입력될 수 있다. 신호 처리부(170)는 역다중화, 영상/음성 신호 처리 등을 수행한 후, 디스플레이(180)에 영상을 출력하고, 오디오 출력부(185)로 음성을 출력한다.
외부장치 인터페이스부(130)는, 접속된 외부 장치(미도시), 예를 들어, 셋탑 박스(50)와 데이터를 송신 또는 수신할 수 있다. 이를 위해, 외부장치 인터페이스부(130)는, A/V 입출력부(미도시)를 포함할 수 있다.
외부장치 인터페이스부(130)는, DVD(Digital Versatile Disk), 블루레이(Blu ray), 게임기기, 카메라, 캠코더, 컴퓨터(노트북), 셋탑 박스 등과 같은 외부 장치와 유/무선으로 접속될 수 있으며, 외부 장치와 입력/출력 동작을 수행할 수도 있다.
A/V 입출력부는, 외부 장치의 영상 및 음성 신호를 입력받을 수 있다. 한편, 무선 통신부(미도시)는, 다른 전자기기와 근거리 무선 통신을 수행할 수 있다.
이러한 무선 통신부(미도시)를 통해, 외부장치 인터페이스부(130)는, 인접하는 이동 단말기(600)와 데이터를 교환할 수 있다. 특히, 외부장치 인터페이스부(130)는, 미러링 모드에서, 이동 단말기(600)로부터 디바이스 정보, 실행되는 애플리케이션 정보, 애플리케이션 이미지 등을 수신할 수 있다.
네트워크 인터페이스부(135)는, 영상표시장치(100)를 인터넷망을 포함하는 유/무선 네트워크와 연결하기 위한 인터페이스를 제공한다. 예를 들어, 네트워크 인터페이스부(135)는, 네트워크를 통해, 인터넷 또는 컨텐츠 제공자 또는 네트워크 운영자가 제공하는 컨텐츠 또는 데이터들을 수신할 수 있다.
한편, 네트워크 인터페이스부(135)는, 무선 통신부(미도시)를 포함할 수 있다.
저장부(140)는, 신호 처리부(170) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상, 음성 또는 데이터 신호를 저장할 수도 있다.
또한, 저장부(140)는 외부장치 인터페이스부(130)로 입력되는 영상, 음성 또는 데이터 신호의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 저장부(140)는, 채널 맵 등의 채널 기억 기능을 통하여 소정 방송 채널에 관한 정보를 저장할 수 있다.
도 2의 저장부(140)가 신호 처리부(170)와 별도로 구비된 실시예를 도시하고 있으나, 본 발명의 범위는 이에 한정되지 않는다. 저장부(140)는 신호 처리부(170) 내에 포함될 수 있다.
사용자입력 인터페이스부(150)는, 사용자가 입력한 신호를 신호 처리부(170)로 전달하거나, 신호 처리부(170)로부터의 신호를 사용자에게 전달한다.
예를 들어, 원격제어장치(200)로부터 전원 온/오프, 채널 선택, 화면 설정 등의 사용자 입력 신호를 송신/수신하거나, 전원키, 채널키, 볼륨키, 설정치 등의 로컬키(미도시)에서 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 사용자의 제스처를 센싱하는 센서부(미도시)로부터 입력되는 사용자 입력 신호를 신호 처리부(170)에 전달하거나, 신호 처리부(170)로부터의 신호를 센서부(미도시)로 송신할 수 있다.
신호 처리부(170)는, 튜너부(110) 또는 복조부(120) 또는 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)를 통하여, 입력되는 스트림을 역다중화하거나, 역다중화된 신호들을 처리하여, 영상 또는 음성 출력을 위한 신호를 생성 및 출력할 수 있다.
예를 들어, 신호 처리부(170)는, 영상 수신부(105)에서 수신된 방송 신호 또는 HDMI 신호 등을 수신하고, 수신되는 방송 신호 또는 HDMI 신호에 기초한 신호 처리를 수행하여, 신호 처리된 영상 신호를 출력할 수 있다.
신호 처리부(170)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어, 해당 영상 신호에 대응하는 영상으로 표시될 수 있다. 또한, 신호 처리부(170)에서 영상 처리된 영상 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
신호 처리부(170)에서 처리된 음성 신호는 오디오 출력부(185)로 음향 출력될 수 있다. 또한, 신호 처리부(170)에서 처리된 음성 신호는 외부장치 인터페이스부(130)를 통하여 외부 출력장치로 입력될 수 있다.
도 2에는 도시되어 있지 않으나, 신호 처리부(170)는 역다중화부, 영상처리부 등을 포함할 수 있다. 즉, 신호 처리부(170)는, 다양한 신호 처리를 수행할 수 있으며, 이에 따라, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다. 이에 대해서는 도 3을 참조하여 후술한다.
그 외, 신호 처리부(170)는, 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다. 예를 들어, 신호 처리부(170)는 튜너부(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 신호 처리부(170)는 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
한편, 신호 처리부(170)는, 영상을 표시하도록 디스플레이(180)를 제어할 수 있다. 이때, 디스플레이(180)에 표시되는 영상은, 정지 영상 또는 동영상일 수 있으며, 2D 영상 또는 3D 영상일 수 있다.
한편, 신호 처리부(170)는 디스플레이(180)에 표시되는 영상 내에, 소정 오브젝트가 표시되도록 할 수 있다. 예를 들어, 오브젝트는, 접속된 웹 화면(신문, 잡지 등), EPG(Electronic Program Guide), 다양한 메뉴, 위젯, 아이콘, 정지 영상, 동영상, 텍스트 중 적어도 하나일 수 있다.
한편, 신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상에 기초하여, 사용자의 위치를 인식할 수 있다. 예를 들어, 사용자와 영상표시장치(100) 간의 거리(z축 좌표)를 파악할 수 있다. 그 외, 사용자 위치에 대응하는 디스플레이(180) 내의 x축 좌표, 및 y축 좌표를 파악할 수 있다.
디스플레이(180)는, 신호 처리부(170)에서 처리된 영상 신호, 데이터 신호, OSD 신호, 제어 신호 또는 외부장치 인터페이스부(130)에서 수신되는 영상 신호, 데이터 신호, 제어 신호 등을 변환하여 구동 신호를 생성한다.
한편, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.
오디오 출력부(185)는, 신호 처리부(170)에서 음성 처리된 신호를 입력 받아 음성으로 출력한다.
촬영부(미도시)는 사용자를 촬영한다. 촬영부(미도시)는 1 개의 카메라로 구현되는 것이 가능하나, 이에 한정되지 않으며, 복수 개의 카메라로 구현되는 것도 가능하다. 촬영부(미도시)에서 촬영된 영상 정보는 신호 처리부(170)에 입력될 수 있다.
신호 처리부(170)는, 촬영부(미도시)로부터 촬영된 영상, 또는 센서부(미도시)로부터의 감지된 신호 각각 또는 그 조합에 기초하여 사용자의 제스처를 감지할 수 있다.
전원 공급부(190)는, 영상표시장치(100) 전반에 걸쳐 해당 전원을 공급한다. 특히, 전원 공급부(190)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있는 신호 처리부(170)와, 영상 표시를 위한 디스플레이(180), 및 오디오 출력을 위한 오디오 출력부(185) 등에 전원을 공급할 수 있다.
구체적으로, 전원 공급부(190)는, 교류 전원을 직류 전원으로 변환하는 컨버터와, 직류 전원의 레벨을 변환하는 dc/dc 컨버터를 구비할 수 있다.
원격제어장치(200)는, 사용자 입력을 사용자입력 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다. 또한, 원격제어장치(200)는, 사용자입력 인터페이스부(150)에서 출력한 영상, 음성 또는 데이터 신호 등을 수신하여, 이를 원격제어장치(200)에서 표시하거나 음성 출력할 수 있다.
한편, 상술한 영상표시장치(100)는, 고정형 또는 이동형 디지털 방송 수신 가능한 디지털 방송 수신기일 수 있다.
한편, 도 2에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 도 2의 신호 처리부의 내부 블록도의 일예이다.
도면을 참조하여 설명하면, 본 발명의 일실시예에 의한 신호 처리부(170)는, 역다중화부(310), 영상 처리부(320), 프로세서(330), 오디오 처리부(370)를 포함할 수 있다. 그 외 , 데이터 처리부(미도시)를 더 포함할 수 있다.
역다중화부(310)는, 입력되는 스트림을 역다중화한다. 예를 들어, MPEG-2 TS가 입력되는 경우 이를 역다중화하여, 각각 영상, 음성 및 데이터 신호로 분리할 수 있다. 여기서, 역다중화부(310)에 입력되는 스트림 신호는, 튜너부(110) 또는 복조부(120) 또는 외부장치 인터페이스부(130)에서 출력되는 스트림 신호일 수 있다.
영상 처리부(320)는, 입력되는 영상에 대한 신호 처리를 수행할 수 있다. 예를 들어, 영상 처리부(320)는, 역다중화부(310)로부터 역다중화된 영상 신호의 영상 처리를 수행할 수 있다.
이를 위해, 영상 처리부(320)는, 영상 디코더(325), 스케일러(335), 화질 처리부(635), 영상 인코더(미도시), OSD 생성부(340), 프레임 레이트 변환부(350), 및 포맷터(360) 등을 포함할 수 있다.
영상 디코더(325)는, 역다중화된 영상신호를 복호화하며, 스케일러(335)는, 복호화된 영상신호의 해상도를 디스플레이(180)에서 출력 가능하도록 스케일링(scaling)을 수행한다.
영상 디코더(325)는 다양한 규격의 디코더를 구비하는 것이 가능하다. 예를 들어, MPEG-2, H,264 디코더, 색차 영상(color image) 및 깊이 영상(depth image)에 대한 3D 영상 디코더, 복수 시점 영상에 대한 디코더 등을 구비할 수 있다.
스케일러(335)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호를 스케일링할 수 있다.
예를 들어, 스케일러(335)는, 입력 영상 신호의 크기 또는 해상도가 작은 경우, 업 스케일링하고, 입력 영상 신호의 크기 또는 해상도가 큰 경우, 다운 스케일링할 수 있다.
화질 처리부(635)는, 영상 디코더(325) 등에서 영상 복호 완료된, 입력 영상 신호에 대한 화질 처리를 수행할 수 있다.
예를 들어, 화질 처리부(635)는, 입력 영상 신호의 노이즈 제거 처리를 하거나, 입력 영상 신호의 도계조의 해상를 확장하거나, 영상 해상도 향상을 수행하거나, 하이 다이나믹 레인지(HDR) 기반의 신호 처리를 하거나, 프레임 레이트를 가변하거나, 패널 특성, 특히 유기발광패널에 대응하는 화질 처리 등을 할 수 있다.
OSD 생성부(340)는, 사용자 입력에 따라 또는 자체적으로 OSD 신호를 생성한다. 예를 들어, 사용자 입력 신호에 기초하여, 디스플레이(180)의 화면에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 표시하기 위한 신호를 생성할 수 있다. 생성되는 OSD 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다. 또한, 생성되는 OSD 신호는, 2D 오브젝트 또는 3D 오브젝트를 포함할 수 있다.
또한, OSD 생성부(340)는, 원격제어장치(200)로부터 입력되는 포인팅 신호에 기초하여, 디스플레이에 표시 가능한, 포인터를 생성할 수 있다. 특히, 이러한 포인터는, 포인팅 신호 처리부에서 생성될 수 있으며, OSD 생성부(240)는, 이러한 포인팅 신호 처리부(미도시)를 포함할 수 있다. 물론, 포인팅 신호 처리부(미도시)가 OSD 생성부(240) 내에 구비되지 않고 별도로 마련되는 것도 가능하다.
프레임 레이트 변환부(Frame Rate Conveter, FRC)(350)는, 입력되는 영상의 프레임 레이트를 변환할 수 있다. 한편, 프레임 레이트 변환부(350)는, 별도의 프레임 레이트 변환 없이, 그대로 출력하는 것도 가능하다.
한편, 포맷터(Formatter)(360)는, 입력되는 영상 신호의 포맷을, 디스플레이에 표시하기 위한 영상 신호로 변화시켜 출력할 수 있다.
특히, 포맷터(Formatter)(360)는, 디스플레이 패널에 대응하도록 영상 신호의 포맷을 변화시킬 수 있다.
한편, 포맷터(360)는, 영상 신호의 포맷을 변경할 수도 있다. 예를 들어, 3D 영상 신호의 포맷을, 사이드 바이 사이드(Side by Side) 포맷, 탑 다운(Top / Down) 포맷, 프레임 시퀀셜(Frame Sequential) 포맷, 인터레이스 (Interlaced) 포맷, 체커 박스(Checker Box) 포맷 등의 다양한 3D 포맷 중 어느 하나의 포맷으로 변경할 수 있다.
프로세서(330)는, 영상표시장치(100) 내 또는 신호 처리부(170) 내의 전반적인 동작을 제어할 수 있다.
예를 들어, 프로세서(330)는 튜너(110)를 제어하여, 사용자가 선택한 채널 또는 기저장된 채널에 해당하는 RF 방송을 선택(Tuning)하도록 제어할 수 있다.
또한, 프로세서(330)는, 사용자입력 인터페이스부(150)를 통하여 입력된 사용자 명령 또는 내부 프로그램에 의하여 영상표시장치(100)를 제어할 수 있다.
또한, 프로세서(330)는, 네트워크 인터페이스부(135) 또는 외부장치 인터페이스부(130)와의 데이터 전송 제어를 수행할 수 있다.
또한, 프로세서(330)는, 신호 처리부(170) 내의 역다중화부(310), 영상 처리부(320) 등의 동작을 제어할 수 있다.
한편, 신호 처리부(170) 내의 오디오 처리부(370)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 이를 위해 오디오 처리부(370)는 다양한 디코더를 구비할 수 있다.
또한, 신호 처리부(170) 내의 오디오 처리부(370)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.
신호 처리부(170) 내의 데이터 처리부(미도시)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송프로그램의 시작시간, 종료시간 등의 방송정보를 포함하는 전자 프로그램 가이드 정보(Electronic Program Guide) 정보일 수 있다.
한편, 도 3에 도시된 신호 처리부(170)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 신호 처리부(170)의 사양에 따라 통합, 추가, 또는 생략될 수 있다.
특히, 프레임 레이트 변환부(350), 및 포맷터(360)는 영상 처리부(320) 외에 별도로 마련될 수도 있다.
도 4a는 도 2의 원격제어장치의 제어 방법을 도시한 도면이다.
도 4a의 (a)에 도시된 바와 같이, 디스플레이(180)에 원격제어장치(200)에 대응하는 포인터(205)가 표시되는 것을 예시한다.
사용자는 원격제어장치(200)를 상하, 좌우(도 4a의 (b)), 앞뒤(도 4a의 (c))로 움직이거나 회전할 수 있다. 영상표시장치의 디스플레이(180)에 표시된 포인터(205)는 원격제어장치(200)의 움직임에 대응한다. 이러한 원격제어장치(200)는, 도면과 같이, 3D 공간 상의 움직임에 따라 해당 포인터(205)가 이동되어 표시되므로, 공간 리모콘 또는 3D 포인팅 장치라 명명할 수 있다.
도 4a의 (b)는 사용자가 원격제어장치(200)를 왼쪽으로 이동하면, 영상표시장치의 디스플레이(180)에 표시된 포인터(205)도 이에 대응하여 왼쪽으로 이동하는 것을 예시한다.
원격제어장치(200)의 센서를 통하여 감지된 원격제어장치(200)의 움직임에 관한 정보는 영상표시장치로 전송된다. 영상표시장치는 원격제어장치(200)의 움직임에 관한 정보로부터 포인터(205)의 좌표를 산출할 수 있다. 영상표시장치는 산출한 좌표에 대응하도록 포인터(205)를 표시할 수 있다.
도 4a의 (c)는, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서, 사용자가 원격제어장치(200)를 디스플레이(180)에서 멀어지도록 이동하는 경우를 예시한다. 이에 의해, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌인되어 확대 표시될 수 있다. 이와 반대로, 사용자가 원격제어장치(200)를 디스플레이(180)에 가까워지도록 이동하는 경우, 포인터(205)에 대응하는 디스플레이(180) 내의 선택 영역이 줌아웃되어 축소 표시될 수 있다. 한편, 원격제어장치(200)가 디스플레이(180)에서 멀어지는 경우, 선택 영역이 줌아웃되고, 원격제어장치(200)가 디스플레이(180)에 가까워지는 경우, 선택 영역이 줌인될 수도 있다.
한편, 원격제어장치(200) 내의 특정 버튼을 누른 상태에서는 상하, 좌우 이동의 인식이 배제될 수 있다. 즉, 원격제어장치(200)가 디스플레이(180)에서 멀어지거나 접근하도록 이동하는 경우, 상,하,좌,우 이동은 인식되지 않고, 앞뒤 이동만 인식되도록 할 수 있다. 원격제어장치(200) 내의 특정 버튼을 누르지 않은 상태에서는, 원격제어장치(200)의 상,하, 좌,우 이동에 따라 포인터(205)만 이동하게 된다.
한편, 포인터(205)의 이동속도나 이동방향은 원격제어장치(200)의 이동속도나 이동방향에 대응할 수 있다.
도 4b는 도 2의 원격제어장치의 내부 블록도이다.
도면을 참조하여 설명하면, 원격제어장치(200)는 무선통신부(425), 사용자 입력부(435), 센서부(440), 출력부(450), 전원공급부(460), 저장부(470), 신호 처리부(480)를 포함할 수 있다.
무선통신부(425)는 전술하여 설명한 본 발명의 실시예들에 따른 영상표시장치 중 임의의 어느 하나와 신호를 송수신한다. 본 발명의 실시예들에 따른 영상표시장치들 중에서, 하나의 영상표시장치(100)를 일예로 설명하도록 하겠다.
본 실시예에서, 원격제어장치(200)는 RF 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 RF 모듈(421)을 구비할 수 있다. 또한 원격제어장치(200)는 IR 통신규격에 따라 영상표시장치(100)와 신호를 송수신할 수 있는 IR 모듈(423)을 구비할 수 있다.
본 실시예에서, 원격제어장치(200)는 영상표시장치(100)로 원격제어장치(200)의 움직임 등에 관한 정보가 담긴 신호를 RF 모듈(421)을 통하여 전송한다.
또한, 원격제어장치(200)는 영상표시장치(100)가 전송한 신호를 RF 모듈(421)을 통하여 수신할 수 있다. 또한, 원격제어장치(200)는 필요에 따라 IR 모듈(423)을 통하여 영상표시장치(100)로 전원 온/오프, 채널 변경, 볼륨 변경 등에 관한 명령을 전송할 수 있다.
사용자 입력부(435)는 키패드, 버튼, 터치 패드, 또는 터치 스크린 등으로 구성될 수 있다. 사용자는 사용자 입력부(435)를 조작하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 하드키 버튼을 구비할 경우 사용자는 하드키 버튼의 푸쉬 동작을 통하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 사용자 입력부(435)가 터치스크린을 구비할 경우 사용자는 터치스크린의 소프트키를 터치하여 원격제어장치(200)로 영상표시장치(100)와 관련된 명령을 입력할 수 있다. 또한, 사용자 입력부(435)는 스크롤 키나, 조그 키 등 사용자가 조작할 수 있는 다양한 종류의 입력수단을 구비할 수 있으며 본 실시예는 본 발명의 권리범위를 제한하지 아니한다.
센서부(440)는 자이로 센서(441) 또는 가속도 센서(443)를 구비할 수 있다. 자이로 센서(441)는 원격제어장치(200)의 움직임에 관한 정보를 센싱할 수 있다.
일예로, 자이로 센서(441)는 원격제어장치(200)의 동작에 관한 정보를 x,y,z 축을 기준으로 센싱할 수 있다. 가속도 센서(443)는 원격제어장치(200)의 이동속도 등에 관한 정보를 센싱할 수 있다. 한편, 거리측정센서를 더 구비할 수 있으며, 이에 의해, 디스플레이(180)와의 거리를 센싱할 수 있다.
출력부(450)는 사용자 입력부(435)의 조작에 대응하거나 영상표시장치(100)에서 전송한 신호에 대응하는 영상 또는 음성 신호를 출력할 수 있다. 출력부(450)를 통하여 사용자는 사용자 입력부(435)의 조작 여부 또는 영상표시장치(100)의 제어 여부를 인지할 수 있다.
일예로, 출력부(450)는 사용자 입력부(435)가 조작되거나 무선 통신부(425)을 통하여 영상표시장치(100)와 신호가 송수신되면 점등되는 LED 모듈(451), 진동을 발생하는 진동 모듈(453), 음향을 출력하는 음향 출력 모듈(455), 또는 영상을 출력하는 디스플레이 모듈(457)을 구비할 수 있다.
전원공급부(460)는 원격제어장치(200)로 전원을 공급한다. 전원공급부(460)는 원격제어장치(200)이 소정 시간 동안 움직이지 않은 경우 전원 공급을 중단함으로서 전원 낭비를 줄일 수 있다. 전원공급부(460)는 원격제어장치(200)에 구비된 소정 키가 조작된 경우에 전원 공급을 재개할 수 있다.
저장부(470)는 원격제어장치(200)의 제어 또는 동작에 필요한 여러 종류의 프로그램, 애플리케이션 데이터 등이 저장될 수 있다. 만일 원격제어장치(200)가 영상표시장치(100)와 RF 모듈(421)을 통하여 무선으로 신호를 송수신할 경우 원격제어장치(200)와 영상표시장치(100)는 소정 주파수 대역을 통하여 신호를 송수신한다. 원격제어장치(200)의 신호 처리부(480)는 원격제어장치(200)와 페어링된 영상표시장치(100)와 신호를 무선으로 송수신할 수 있는 주파수 대역 등에 관한 정보를 저장부(470)에 저장하고 참조할 수 있다.
신호 처리부(480)는 원격제어장치(200)의 제어에 관련된 제반사항을 제어한다. 신호 처리부(480)는 사용자 입력부(435)의 소정 키 조작에 대응하는 신호 또는 센서부(440)에서 센싱한 원격제어장치(200)의 움직임에 대응하는 신호를 무선 통신부(425)를 통하여 영상표시장치(100)로 전송할 수 있다.
영상표시장치(100)의 사용자 입력 인터페이스부(150)는, 원격제어장치(200)와 무선으로 신호를 송수신할 수 있는 무선통신부(151)와, 원격제어장치(200)의 동작에 대응하는 포인터의 좌표값을 산출할 수 있는 좌표값 산출부(415)를 구비할 수 있다.
사용자 입력 인터페이스부(150)는, RF 모듈(412)을 통하여 원격제어장치(200)와 무선으로 신호를 송수신할 수 있다. 또한 IR 모듈(413)을 통하여 원격제어장치(200)이 IR 통신 규격에 따라 전송한 신호를 수신할 수 있다.
좌표값 산출부(415)는 무선통신부(151)를 통하여 수신된 원격제어장치(200)의 동작에 대응하는 신호로부터 손떨림이나 오차를 수정하여 디스플레이(170)에 표시할 포인터(205)의 좌표값(x,y)을 산출할 수 있다.
사용자 입력 인터페이스부(150)를 통하여 영상표시장치(100)로 입력된 원격제어장치(200) 전송 신호는 영상표시장치(100)의 신호 처리부(180)로 전송된다. 신호 처리부(180)는 원격제어장치(200)에서 전송한 신호로부터 원격제어장치(200)의 동작 및 키 조작에 관한 정보를 판별하고, 그에 대응하여 영상표시장치(100)를 제어할 수 있다.
또 다른 예로, 원격제어장치(200)는, 그 동작에 대응하는 포인터 좌표값을 산출하여 영상표시장치(100)의 사용자 입력 인터페이스부(150)로 출력할 수 있다. 이 경우, 영상표시장치(100)의 사용자 입력 인터페이스부(150)는 별도의 손떨림이나 오차 보정 과정 없이 수신된 포인터 좌표값에 관한 정보를 신호 처리부(180)로 전송할 수 있다.
또한, 다른 예로, 좌표값 산출부(415)가, 도면과 달리 사용자 입력 인터페이스부(150)가 아닌, 신호 처리부(170) 내부에 구비되는 것도 가능하다.
도 5는 도 2의 디스플레이의 내부 블록도이다.
도면을 참조하면, 유기발광패널 기반의 디스플레이(180)는, 유기발광패널(210), 제1 인터페이스부(230), 제2 인터페이스부(231), 타이밍 컨트롤러(232), 게이트 구동부(234), 데이터 구동부(236), 메모리(240), 프로세서(270), 전원 공급부(290), 전류 검출부(510) 등을 포함할 수 있다.
디스플레이(180)는, 영상 신호(Vd)와, 제1 직류 전원(V1) 및 제2 직류 전원(V2)을 수신하고, 영상 신호(Vd)에 기초하여, 소정 영상을 표시할 수 있다.
한편, 디스플레이(180) 내의 제1 인터페이스부(230)는, 신호 처리부(170)로부터 영상 신호(Vd)와, 제1 직류 전원(V1)을 수신할 수 있다.
여기서, 제1 직류 전원(V1)은, 디스플레이(180) 내의 전원 공급부(290), 및 타이밍 컨트롤러(232)의 동작을 위해 사용될 수 있다.
다음, 제2 인터페이스부(231)는, 외부의 전원 공급부(190)로부터 제2 직류 전원(V2)을 수신할 수 있다. 한편, 제2 직류 전원(V2)은, 디스플레이(180) 내의 데이터 구동부(236)에 입력될 수 있다.
타이밍 컨트롤러(232)는, 영상 신호(Vd)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
예를 들어, 제1 인터페이스부(230)가 입력되는 영상 신호(Vd)를 변환하여 변환된 영상 신호(va1)를 출력하는 경우, 타이밍 컨트롤러(232)는, 변환된 영상 신호(va1)에 기초하여, 데이터 구동 신호(Sda) 및 게이트 구동 신호(Sga)를 출력할 수 있다.
타이밍 컨트롤러(timing controller)(232)는, 신호 처리부(170)로부터의 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등을 더 수신할 수 있다.
그리고, 타이밍 컨트롤러(timing controller)(232)는, 비디오 신호(Vd) 외에, 제어 신호, 수직동기신호(Vsync) 등에 기초하여, 게이트 구동부(234)의 동작을 위한 게이트 구동 신호(Sga), 데이터 구동부(236)의 동작을 위한 데이터 구동 신호(Sda)를 출력할 수 있다.
이때의 데이터 구동 신호(Sda)는, 패널(210)이 RGBW의 서브픽셀을 구비하는 경우, RGBW 서브픽셀 구동용 데이터 구동 신호일 수 있다.
한편, 타이밍 컨트롤러(232)는, 게이트 구동부(234)에 제어 신호(Cs)를 더 출력할 수 있다.
게이트 구동부(234)와 데이터 구동부(236)는, 타이밍 컨트롤러(232)로부터의 게이트 구동 신호(Sga), 데이터 구동 신호(Sda)에 따라, 각각 게이트 라인(GL) 및 데이터 라인(DL)을 통해, 주사 신호 및 영상 신호를 유기발광패널(210)에 공급한다. 이에 따라, 유기발광패널(210)은 소정 영상을 표시하게 된다.
한편, 유기발광패널(210)은, 유기 발광층을 포함할 수 있으며, 영상을 표시하기 위해, 유기 발광층에 대응하는 각 화소에, 다수개의 게이트 라인(GL) 및 데이터 라인(DL)이 매트릭스 형태로 교차하여 배치될 수 있다.
한편, 데이터 구동부(236)는, 제2 인터페이스부(231)로부터의 제2 직류 전원(V2)에 기초하여, 유기발광패널(210)에 데이터 신호를 출력할 수 있다.
전원 공급부(290)는, 각종 전원을, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등에 공급할 수 있다.
전류 검출부(510)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류를 검출할 수 있다. 검출되는 전류는, 누적 전류 연산을 위해, 프로세서(270) 등에 입력될 수 있다.
프로세서(270)는, 디스플레이(180) 내의 각종 제어를 수행할 수 있다. 예를 들어, 게이트 구동부(234)와 데이터 구동부(236), 타이밍 컨트롤러(232) 등을 제어할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)로부터, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보를 수신할 수 있다.
그리고, 프로세서(270)는, 유기발광패널(210)의 서브픽셀에 흐르는 전류 정보에 기초하여, 각 유기발광패널(210)의 서브픽셀의 누적 전류를 연산할 수 있다. 연산되는 누적 전류는, 메모리(240)에 저장될 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 허용치 이상인 경우, 번인(burn in)으로 판단할 수 있다.
예를 들어, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀의 누적 전류가, 300000 A 이상인 경우, 번인된 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 각 유기발광패널(210)의 서브픽셀 중 일부 서브픽셀의 누적 전류가, 허용치에 근접하는 경우, 해당 서브픽셀을, 번인이 예측되는 서브픽셀로 판단할 수 있다.
한편, 프로세서(270)는, 전류 검출부(510)에서 검출된 전류에 기초하여, 가장 누적 전류가 큰 서브픽셀을, 번인 예측 서브픽셀로 판단할 수 있다.
도 6a 내지 도 6b는 도 5의 유기발광패널의 설명에 참조되는 도면이다.
먼저, 도 6a는, 유기발광패널(210) 내의 픽셀(Pixel)을 도시하는 도면이다.
도면을 참조하면, 유기발광패널(210)은, 복수의 스캔 라인(Scan 1 ~ Scan n)과, 이에 교차하는 복수의 데이터 라인(R1,G1,B1,W1 ~ Rm,Gm,Bm,Wm)을 구비할 수 있다.
한편, 유기발광패널(210) 내의 스캔 라인과, 데이터 라인의 교차 영역에, 픽셀(subpixel)이 정의된다. 도면에서는, RGBW의 서브픽셀(SR1,SG1,SB1,SW1)을 구비하는 픽셀(Pixel)을 도시한다.
도 6b는, 도 6a의 유기발광패널의 픽셀(Pixel) 내의 어느 하나의 서브픽셀(sub pixel)의 회로를 예시한다.
도면을 참조하면, 유기발광 서브픽셀(sub pixell) 회로(CRTm)는, 능동형으로서, 스캔 스위칭 소자(SW1), 저장 커패시터(Cst), 구동 스위칭 소자(SW2), 유기발광층(OLED)을 구비할 수 있다.
스캔 스위칭 소자(SW1)는, 게이트 단자에 스캔 라인(Scan line)이 접속되어, 입력되는 스캔 신호(Vdscan)에 따라 턴 온하게 된다. 턴 온되는 경우, 입력되는 데이터 신호(Vdata)를 구동 스위칭 소자(SW2)의 게이트 단자 또는 저장 커패시터(Cst)의 일단으로 전달하게 된다.
저장 커패시터(Cst)는, 구동 스위칭 소자(SW2)의 게이트 단자와 소스 단자 사이에 형성되며, 저장 커패시터(Cst)의 일단에 전달되는 데이터 신호 레벨과, 저장 커패시터(Cst)의 타단에 전달되는 직류 전원(VDD) 레벨의 소정 차이를 저장한다.
예를 들어, 데이터 신호가, PAM(Pluse Amplitude Modulation) 방식에 따라 서로 다른 레벨을 갖는 경우, 데이터 신호(Vdata)의 레벨 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
다른 예로, 데이터 신호가 PWM(Pluse Width Modulation) 방식에 따라 서로 다른 펄스폭을 갖는 경우, 데이터 신호(Vdata)의 펄스폭 차이에 따라, 저장 커패시터(Cst)에 저장되는 전원 레벨이 달라지게 된다.
구동 스위칭 소자(SW2)는, 저장 커패시터(Cst)에 저장된 전원 레벨에 따라 턴 온된다. 구동 스위칭 소자(SW2)가 턴 온하는 경우, 저장된 전원 레벨에 비례하는, 구동 전류(IOLED)가 유기발광층(OLED)에 흐르게 된다. 이에 따라, 유기발광층(OLED)은 발광동작을 수행하게 된다.
유기발광층(OLED)은, 서브픽셀에 대응하는 RGBW의 발광층(EML)을 포함하며, 정공주입층(HIL), 정공 수송층(HTL), 전자 수송층(ETL), 전자 주입층(EIL) 중 적어도 하나를 포함할 수 있으며, 그 외에 정공 저지층 등도 포함할 수 있다.
한편, 서브픽셀(sub pixell)은, 유기발광층(OLED)에서 모두 백색의 광을 출력하나, 녹색,적색,청색 서브픽셀의 경우, 색상 구현을 위해, 별도의 컬러필터가 구비된다. 즉, 녹색,적색,청색 서브픽셀의 경우, 각각 녹색,적색,청색 컬러필터를 더 구비한다. 한편, 백색 서브픽셀의 경우, 백색광을 출력하므로, 별도의 컬러필터가 필요 없게 된다.
한편, 도면에서는, 스캔 스위칭 소자(SW1)와 구동 스위칭 소자(SW2)로서, p타입의 MOSFET인 경우를 예시하나, n타입의 MOSFET이거나, 그 외, JFET, IGBT, 또는 SIC 등의 스위칭 소자가 사용되는 것도 가능하다.
한편, 픽셀(Pixel)은, 단위 표시 기간 동안, 구체적으로 단위 프레임 동안, 스캔 신호가 인가된 이후, 유기발광층(OLED)에서 계속 발광하는 홀드 타입의 소자이다.
한편, 영상표시장치(100)가 유기발광패널(210)을 구비하는 경우, 유기발광패널(210)이 자발광 소자이므로, 유기발광패널(210)을 통해 표시되는 영상이 밝아질수록, 소비 전력이 증대되게 된다.
이러한 소비 전력 증대를 방지하기 위해, 유기발광패널(210)에 밝은 영상 표시 시, 소비 전력 저감을 위한 기법이 적용되고 있다. 이러한 소비 전력 저감 기법으로 인하여, 밝은 영상에, 최대 밝기가 감소하며, 영상의 입체감이 낮아지는 경향이 있다.
본 발명에서는, 유기발광패널(210)에서의 최대 밝기 감소, 및 영상의 입체감이 낮아지는 것을 보상하기 위해, , 입력 영상 신호 내의 오브젝트(object)에 대해, 인공지능적으로 분석하여 오브젝트의 입체감을 향상시키는 방안을 제시한다.
한편, 카메라 및 방송 기술의 발전에 따라, 입력 영상 신호의 해상도 및 수직 동기 주파수가 증대되고 있다. 특히, 4K 해상도 및 120Hz의 수직 해상도를 가지는 영상 신호에 대한 화질 처리의 필요성이 제기되고 있다. 이에 입력 영상 신호의 화질 처리 향상을 위한 방안을 제시한다. 이에 대해서는 도 7 이하를 참조하여 기술한다.
도 7은 본 발명의 실시예 에 따른 신호 처리 장치의 내부 블록도의 일예이고, 도 8a 내지 도 17은 도 7의 신호 처리 장치의 동작 설명에 참조되는 도면이다.
한편, 도 7의 신호 처리 장치(170)는, 도 2의 신호 처리부(170)에 대응할 수 있다.
먼저, 도 7을 참조하면, 본 발명의 실시예에 따른 신호 처리 장치(170)는, 영상 분석부(610), 및 화질 처리부(635)를 구비할 수 있다.
영상 분석부(610)는, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호와 관련된 정보를 출력할 수 있다.
한편, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역을 구분할 수 있다. 또는, 영상 분석부(610)는, 입력되는 제1 입력 영상 신호의 오브젝트 영역과 배경 영역의 확률 또는 비율을 연산할 수 있다.
입력 영상 신호는, 영상 수신부(105)로부터의 입력 영상 신호이거나, 도 3의 영상 디코더(320)에서 복호화된 영상일 수 있다.
특히, 영상 분석부(610)는, 인공 지능(artificial intelligence;AI)을 이용하여, 입력 영상 신호를 분석하고, 분석된 입력 영상 신호 정보를 출력할 수 있다.
구체적으로, 영상 분석부(610)는, 입력 영상 신호의 해상도, 계조(resolution), 잡음 수준, 패턴 여부 등을 분석하고, 분석된 입력 영상 신호와 관련된 정보, 특히 화질 설정 정보를, 화질 처리부(635)로 출력할 수 있다.
화질 처리부(635)는, HDR 처리부(705), 제1 리덕션부(710), 인핸스부(750), 제2 리덕션부(790)를 구비할 수 있다.
HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지(HDR) 처리를 할 수 있다.
예를 들어, HDR 처리부(705)는, 스탠다드 다이내믹 레인지(Standard Dynamic Range; SDR) 영상 신호를 HDR 영상 신호로 변환할 수 있다.
다른 예로, HDR 처리부(705)는, 영상 신호를 입력받고, 입력되는 영상 신호에 대해, 하이 다이내믹 레인지를 위한, 계조 처리를 할 수 있다.
한편, HDR 처리부(705)는, 입력되는 영상 신호가 SDR 영상 신호인 경우, 계조 변환을 바이패스하고, 입력되는 영상 신호가 HDR 영상 신호인 경우, 계조 변환을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, HDR 처리부(705)는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조 전반에 대해 다소 균일하게 변환되도록 하는 제2 계조 변환 모드에 기초하여, 계조 변환 처리를 할 수 있다.
예를 들어, 도 8f의 (a)에서는, 제1 계조 변환 모드에 대응하는 제1 계조 변환 곡선(CVa)과, 제2 계조 변환 모드에 대응하는 제2 계조 변환 곡선(CVb)을 예시한다.
HDR 처리부(705)는, 제1 계조 변환 곡선(CVa) 또는 제2 계조 변환 곡선(CVb)에 기초하여, 계조 변환 처리를 할 수 있다.
예를 들어, HDR 처리부(705)는, 제1 계조 변환 곡선(CVa)에 대응하는 룩업 테이블 내의 데이터 또는 제2 계조 변환 곡선(CVb)에 대응하는 룩업 테이블 내의 데이터 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제1 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제1 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
더 구체적으로, HDR 처리부(705)는, 제2 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제2 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서의 제3 계조 변환 모드 또는 제4 계조 변환 모드에 따라, 제1 계조 변환 모드, 또는 제2 계조 변환 모드를 선택할 수도 있다.
도 8f의 (b)에서는, 제3 계조 변환 모드에 대응하는 제3 계조 변환 곡선(CVc)과, 제4 계조 변환 모드에 대응하는 제4 계조 변환 곡선(CVd)을 예시한다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제3 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제3 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
한편, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다.
구체적으로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드가 수행되는 경우, 입력 데이터에 관한 연산식, 및 상기 연산식에 따라 결정되는 룩업 테이블 내의 제4 계조 변환 모드에 대응하는 데이터에 기초하여, 계조 변환 처리를 할 수 있다. 여기서 입력 데이터는, 비디오 데이터와 메타 데이터를 포함할 수 있다.
예를 들어, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제4 계조 변환 모드가 수행되는 경우, 제2 계조 변환 모드를 수행할 수 있다.
다른 예로, HDR 처리부(705)는, 제2 리덕션부(790) 내의 고계조 증폭부(851)에서, 제3 계조 변환 모드가 수행되는 경우, 제1 계조 변환 모드를 수행할 수 있다.
또는, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서의 계조 변환 모드에 따라, 수행되는 계조 변환 모드를 가변할 수도 있다.
예를 들어, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제2 계조 변환 모드가 수행되는 경우, 제4 계조 변환 모드를 수행할 수 있다.
다른 예로, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, HDR 처리부(705)에서 제1 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드를 수행할 수 있다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부(705)는, 저계조와 고계조가 균일하게 변환되도록 계조 변환 모드를 수행할 수 있다.
즉, HDR 처리부(705)는, 제1 계조 변환 곡선(CVa)이 아닌, 제2 계조 변환 곡선(CVb)에 기초하여, 계조 변환 처리를 수행할 수 있다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 제2 계조 변환 모드에 따라, 제4 계조 변환 모드를 수행하며, 이에 입력되는 영상 신호의 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
다음, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)에서 처리된 영상 신호에 대해, 노이즈 제거를 수행할 수 있다.
구체적으로, 제1 리덕션부(reduction unit))(710)는, 입력 영상 신호 또는 HDR 처리부(705)로부터의 HDR 영상에 대해, 상기 다단계 노이즈 제거 처리, 및 제1 단계 계조 확장 처리를 할 수 있다.
이를 위해, 제1 리덕션부(710)는, 다단계로 노이즈 제거를 위한 복수의 노이즈 제거부(715,720)와, 계조 확장을 위한 계조 확장부(725)를 구비할 수 있다.
다음, 인핸스부(enhancement unit)(750)는, 제1 리덕션부(710)로부터의 영상에 대해, 다단계 영상 해상도 향상 처리를 할 수 있다.
또한, 인핸스부(750)는, 오브젝트 입체감 향상 처리를 할 수 있다. 또한, 인핸스부(750)는, 컬러 또는 컨트라스트 향상 처리를 할 수 있다.
이를 위해, 인핸스부(750)는, 다단계로 영상 해상도 향상을 위한 복수의 해상도 향상부(735,738,742), 오브젝트의 입체감 향상을 위한 오브젝트 입체감 향상부(745), 컬러 또는 컨트라스트 향상을 위한 컬러 컨트라스트 향상부(749)를 구비할 수 있다.
다음, 제2 리덕션부(790)는, 제1 리덕션부(710)로부터 입력된 노이즈 제거된 영상 신호에 기초하여, 제2 단계 계조 확장 처리를 수행할 수 있다.
한편, 제2 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하고, 입력 신호의 도계조의 해상를 확장할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
예를 들어, 입력되는 신호의 전 계조 영역에 대해 균일하게 계조 확장을 수행할 수 있다. 이에 따라, 입력 영상의 영역에 대해 균일한 계조 확장이 수행되면서, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 제1 계조 확장부(725)로부터의 입력 신호에 기초하여, 계조 증폭 및 확장을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 SDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 입력되는 영상 신호가 HDR 영상 신호인 경우, 설정된 값에 따라, 증폭을 수행할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 입력되는 영상 신호가 HDR 영상 신호인 경우, 증폭의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, 사용자 입력 신호에 기초하여, 계조 확장시, 계조 확장의 정도를 가변할 수 있다. 이에 따라, 사용자 설정에 대응하여, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790)는, HDR 처리부(705)에서의, 계조 변환 모드에 따라, 계조의 상한 레벨을 증폭시킬 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
신호 처리 장치(170)는, 영상 신호를 입력받고, 입력되는 영상 신호의 휘도를 조절하는 HDR 처리부(705)와, HDR 처리부(705)로부터의 영상 신호의 휘도를 증폭하고, 영상 신호의 계조 해상도를 증가시켜, 인핸스드(enhanced) 영상 신호를 생성하는 리덕션부(790)를 포함하고, 앤핸스드 영상 신호는, 표시되는 HDR 이미지 내의 하이다이나믹 레인지를 유지하는 동안, 영상 신호의 증가된 휘도와 계조 해상도를 제공한다.
한편, 영상 신호의 휘도 범위는, 신호 처리 장치(170)에 수신되는 제어 신호에 따라 조절된다.
한편, 입력되는 영상 신호가 HDR 신호인지 SDR 신호인지 여부를 결정하고, HDR 처리부(705)로 제공하기 위한 제어 신호를 생성하는 영상 분석부를 더 포함하고, 제어 신호가, 입력되는 영상 신호가 HDR 신호인 것을 나타내는 경우에만 조절된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 계조의 해상도는, 영상 신호의 조정된 휘도의 증폭에 기초하여 증가된다.
한편, 계조의 해상도는, 신호 처리 장치(170)에 입력되는 제어 신호에 기초하여 증가된다.
한편, 제어 신호는, 신호 처리와 연관된 영상 표시 장치의 제어부로부터 수신되고, 영상 표시 장치의 설정에 대응한다.
한편, 리덕션부(790)는, 입력되는 신호의 계조의 상한 레벨을 증폭하는 고계조 증폭부(851)와, 고계조 증폭부(851)로부터의 증폭된 계조의 해상도를 확장하는 디컨투어부(842,844)를 포함할 수 있다.
제2 리덕션부(790)는, 제2 단계 계조 확장을 위한 제2 계조 확장부(729)를 구비할 수 있다.
한편, 본 발명의 신호 처리 장치(170) 내의 화질 처리부(635)는, 도 7과 같이, 4단계의 리덕션 처리와, 4단계의 영상 향상 처리를 수행하는 것을 특징으로 한다.
여기서, 4단계 리덕션 처리는, 2단계의 노이즈 제거 처리와, 2단계의 계조 확장 처리를 포함할 수 있다.
여기서, 2단계의 노이즈 제거 처리는, 제1 리덕션부(710) 내의 제1 및 제2 노이즈 제거부(715,720)가 수행하며, 2단계의 계조 확장 처리는, 제1 리덕션부(710) 내의 제1 계조 확장부(725)와, 제2 리덕션부(790) 내의 제2 계조 확장부(729)가 수행할 수 있다.
한편, 4단계 영상 향상 처리는, 3단계의 영상 해상도 향상 처리(bit resolution enhancement)와, 오브젝트 입체감 향상 처리를 구비할 수 있다.
여기서, 3단계의 영상 해상도 향상 처리는, 제1 내지 제3 해상도 향상부(735,738,742)가 처리하며, 오브젝트 입체감 향상 처리는, 오브젝트 입체감 향상부(745)가 처리할 수 있다.
한편, 본 발명의 신호 처리 장치(170)의 제1 특징은, 다단계 화질 처리로서 동일 또는 유사한 알고리즘을 다중 적용하여 점진적으로 화질을 향상시키는 것에 있다.
이를 위해, 본 발명의 신호 처리 장치(170) 내의 화질 처리부(635)는, 동일 또는 유사 알고리즘을 2회 이상 적용하여, 화질 처리를 진행하는 것으로 한다.
한편, 화질 처리부(635)에서 수행되는 동일 또는 유사 알고리즘은, 각 단계별로 달성하고자 하는 목표가 다르며, 점진적으로 다단계 화질 처리를 수행함으로써, 1 단계에 모든 화질을 처리하는 것 대비하여, 영상의 아티팩트(Artifact)가 적게 발생하는 장점이 있으며, 보다 자연스럽고 보다 선명한 영상 처리 결과물을 얻을 수 있다는 장점이 있다.
한편, 동일 또는 유사 알고리즘을, 다른 화질처리 알고리즘과 교차하면서 다중으로 적용함으로써, 단순 연속 처리 이상의 효과를 얻을 수 있게 된다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 다단계로 노이즈 제거 처리를 하는 것에 있다. 각 단계의 노이즈 제거 처리는 시간(Temporal) 처리와, 공간(Spatial) 처리를 포함할 수 있다. 이에 대해서는 도 8a를 참조하여 기술한다.
도 8a는 도 7의 제1 및 제2 노이즈 제거부(715,720)의 동작 설명을 위채 참조된다.
도면을 참조하면, 제1 및 제2 노이즈 제거부(715,720)는, 각각 시간(Temporal) 노이즈 처리와 공간(Spatial) 노이즈 처리를 수행할 수 있다.
이를 위해, 제1 노이즈 제거부(715)는, 제1 단계 노이즈 제거로서, 시간 노이즈 제거부(810), IPC부(815), 공간 노이즈 제거부(820)를 구비할 수 있다.
제2 노이즈 제거부(720)는, 제2 단계 노이즈 제거로서, 시간 노이즈 제거부(830), 공간 노이즈 제거부(835)를 구비할 수 있다.
시간 노이즈 제거부(810,830)는, 이전 데이터(data)와 현재 데이터(data)를 비교하여 노이즈(noise)를 제거할 수 있다.공간 노이즈 제거부(820,835)는, 현재 데이터(data)에서 데이터내에 포함된 영상 데이터(data)와 주변 영상 데이터들을 비교하여 노이즈(noise)를 제거할 수 있다.
시간 노이즈 제거부(810,830) 및 공간 노이즈 제거부(820,835)에서 사용하는 데이터는 프레임 데이터(Frame data), 혹은 필드 데이터(Field datq)일 수 있다.
한편, 제1 노이즈 제거부(715)는, 입력되는 입력 영상 신호의 원본 데이터의 노이즈를 제거할 수 있다.
제2 노이즈 제거부(720)는, 입력되는 입력 영상 신호의 프레임(frame) 간, 혹은 제1 노이즈 제거부(715)에서의 노이즈 처리 이후, 발생되는 플리커(Flicker)를 제거할 수 있다.
한편, IPC부(815)는, 시간 노이즈 제거부(810), IPC(815), 공간 노이즈 제거부(820) 사이에 수행되며, interlaced progressive conversion을 수행할 수 있다.
IPC부(815)는, 특히, 입력 영상 신호가 인터레이스 영상인 경우, 인터레이스 영상 신호를 프로그레시브 영상 신호로 변환할 수 있다. IPC부(815)에 대한 설명은 도 8b를 참조하여 기술한다.
도 8b는 입력 영상이 인터레이스 영상인 경우, 다단계의 노이즈 처리 설명에 참조되는 도면이다.
도면을 참조하면, 제1 시점에, 인터레이스 영상 중 탑 필드(Top field)에 대한 처리가 수행되며, 제2 시점에 인터레이스 영상 중 바텀 필드(Bottom filed)에 대한 처리가 수행될 수 있다.
구체적으로, 입력 영상 신호가, 인터레이스 영상인 경우, 제1 시점에, 시간 노이즈 제거부(810a)는, 탑 필드(Top field)의 현재 데이터와(To)와, 시간 노이즈 처리 및 피드백되어 메모리(801a)에 저장된 이전 데이터(T-2)를 이용하여, 시간 노이즈 제거 처리를 수행할 수 있다.
그리고, IPC부(815a)는, 시간 노이즈 제거부(810a)에서 시간 노이즈 제거 처리된 탑 필드의 영상 데이터와 메모리(801a)에 저장된 노이즈 제거 처리된 이전 탑 필드의 영상 데이터를 조합하여, interlaced progressive conversion을 수행할 수 있다.
즉, IPC부(815a)는, 시간 노이즈 제거부(810a)에서 시간 노이즈 제거 처리된 탑 필드의 영상 데이터에 기초하여, 탑 필드 기반의 프레임 영상 데이터를 출력할 수 있다.
그리고, 공간 노이즈 제거부(820a)는, IPC부(815a)에서 생성 처리된 탑 필드(Top field) 기반의 프레임 영상 데이터에 대해, 공간 노이즈 제거 처리를 할 수 있다.
다음, 입력 영상 신호가, 인터레이스 영상인 경우, 제2 시점에, 시간 노이즈 제거부(810b)는, 바텀 필드(Bottom filed)의 현재 데이터와(T-1)와, 시간 노이즈 처리 및 피드백되어 메모리(801b)에 저장된 이전 데이터(T-3)를 이용하여, 시간 노이즈 제거 처리를 수행할 수 있다.
그리고, IPC부(815b)는, 시간 노이즈 제거부(810b)에서 시간 노이즈 제거 처리된 바텀 필드의 영상 데이터와 메모리 (801b)에 저장된 노이즈 제거 처리된 이전 바텀 필드의 영상 데이터를 조합하여, interlaced progressive conversion을 수행할 수 있다.
즉, IPC부(815b)는, 시간 노이즈 제거부(810b)에서 시간 노이즈 제거 처리된 바텀 필드의 영상 데이터에 기초하여, 바텀 필드 기반의 프레임 영상 데이터를 출력할 수 있다.
그리고, 공간 노이즈 제거부(820b)는, IPC부(815b)에서 생성 처리된 바텀 필드(Top field) 기반의 프레임 영상 데이터에 대해, 공간 노이즈 제거 처리를 할 수 있다.
그리고, 제2 단계 시간 노이즈 제거부(830)는, 공간 노이즈 제거부(820a)에서 처리된 탑 필드(Top field) 기반의 프레임 영상 데이터와, 공간 노이즈 제거부(820b)에서 처리된 바텀 필드(Bottom filed) 기반의 프레임 영상 데이터에 대해, 시간 노이즈 처리를 수행할 수 있다.
제2 단계 시간 노이즈 제거부(830)가, 탑 필드(Top field) 기반의 프레임 영상 데이터와, 바텀 필드(Bottom filed) 기반의 프레임 영상 데이터를, 함께 처리함으로써, 그 이전 단계에서 함께 처리되지 못하여 발생하는 탑 필드(Top field)와 바텀 필드(Bottom filed) 간의 플리커(Flicker)를 제거할 수 있게 된다. 결국, 인터레이스 영상에서 발생하는 artifact를 제거할 수 있게 된다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 다단계로 계조 재생(Reproduction) 처리 또는 계조 확장 처리를 수행하는 것에 있다.
입력 영상 신호에 대한 영상 계조는, Bit Resolution을 의미하며 R,G,B 혹은 Y,Cb,Cr의 각 채널별 Bit width를 나타낼 수 있다.
한편, 신호 처리 장치(170) 내에서 처리되는 영상 계조의 비트 수는, 10bit 혹은 그 이상일 수 있다.
한편, 입력 영상 신호의 원본 데이터가, 10bit 이하의 계조 데이터인 경우, 신호 처리 장치(170)는, 계조 재생(Reproduction) 처리 또는 계조 확장(extension) 처리를 수행하여, 계조 데이터를 10bit 이상으로 생성 또는 유지할 수 있다.
이를 위해, 본 발명의 화질 처리부(635)는, 2회 이상의 단계로 계조 확장 처리를 수행할 수 있다. 이에 대해서는 도 8c를 참조하여 기술한다.
도 8c는 계조 확장 처리를 설명하기 위해 참조되는 도면이다.
도 8c를 참조하면, 계조 확장 처리를 위해, 제1 계조 확장부(725), 인핸스부(750), 제2 계조 확장부(729)가 사용될 수 있다.
제1 계조 확장부(725)는, HDR 처리부(705)로부터의 영상 신호에 기초하여, 1차 계조 확장을 수행할 수 있다. 즉, 제1 계조 확장부(725)는, HDR 처리부(705)에서 변환된 계조에 대해, 1차 계조 확장을 수행할 수 있다.
특히, 1차 계조 확장을 위해, 제1 계조 확장부(725)는, 디컨투어부(842,844)와 디더링부(846)을 구비할 수 있다.
구체적으로, 제1 계조 확장부(725)는, 제1 단계 디컨투어(decontour)를 수행하는 제1 디컨투어부(842), 제2 단계 디컨투어를 수행하는 제2 디컨투어부(844), 디더링을 수행하는 디더링부(846)을 구비할 수 있다.
제2 계조 확장부(729)는, 고계조 증폭을 위한 고계조 증폭부(851), 제1 단계 디컨투어(decontour)를 수행하는 제3 디컨투어부(852), 제2 단계 디컨투어를 수행하는 제4 디컨투어부(854), 디더링을 수행하는 디더링부(856)을 구비할 수 있다.
제1 디컨투어부(842)와, 제3 디컨투어부(852)는, 제1 단계 계조 확장으로서, 입력 영상 신호의 계조를 재생성한다.
제2 디컨투어부(844)와, 제4 디컨투어부(854)는, 제2 단계 계조 확장으로서, 내부 처리를 통해 발생하는 계조 손실을 복원할 수 있다.
한편, 제1 계조 확장부(725)와 제2 계조 확장부(729)는, 각 디컨투어부(842,844,852,854) 마다 2회 이상의 내부 코어(Core)를 통과시키고, 해당 코어(Core) 마다 계조를 수 비트(bit) 씩 점진적으로 증가시킬 수 있다. 예를 들어, 채널당 14bit까지 계조를 재생성할 수 있다.
한편, 각 디컨투어부(842,844,852,854)에서 확장된 계조는, 각각 디더링부(846,856)에서 디더링될 수 있으며, 이에 따라, 정보 손실을 최소화할 수 있다.
한편, 고계조 증폭부(851)는, 입력되는 신호의 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제3 및 제4 디컨투어부(852,854)는, 고계조 증폭부(851)로부터의 증폭된 도계조의 해상를 확장할 수 있다.
한편, 고계조 증폭부(851)는, 영상 내 밝은 부분의 계조 표현력을 증폭하여 밝은 부분에 대한 부스팅(Boosting)을 수행할 수 있다.
예를 들어, 고계조 증폭부(851)는, 영상 내 제1 휘도 이상의 영역에 대해 계조 표현력을 증폭하여 제1 휘도 이상의 영역에 대한 부스팅(Boosting)을 수행할 수 있다.
고계조 증폭부(851)는, 입력 영상 신호의 광원 또는 반사광 영역 등을 찾아 해당 영역을 10Bit 표현 범위(0~1023)를 초과하는 밝기가 되도록 증폭 처리할 수 있다.
이와 같이, 입력 영상 신호의 광원 또는 반사광 영역을 찾아 더욱 밝게 함으로써 고계조 영역의 정보를 증폭해 HDR과 유사한 효과를 제공할 수 있게 된다.
한편, 제2 계조 확장부(729)는, OSD 정보를 입력 받아, OSD 영역에 별도의 화질 처리를 할 수 있다.
이때, 제2 계조 확장부(729)는, OSD 영역에 대해서는, 고계조 증폭 처리를 하지 않을 수 있다.
한편, 고계조 증폭부(851)는, 인핸스부(750)로부터의 영상 또는 OSD 정보를 수신할 수 있다.
예를 들어, 고계조 증폭부(851)는, 인핸스부(750)로부터 영상을 수신하는 경우, 수신되는 영상에 대해, 고계조 증폭을 수행할 수 있다. 특히, 최대 계조의 상한 레벨을 증폭시킬 수 있다.
한편, 고계조 증폭부(851)는, OSD 정보가 수신되는 경우, OSD 정보에 대응하는 영역에 대해, 고계조 증폭을 수행하지 않을 수 있다.
또한, 고계조 증폭부(851)는, 수신되는 영상 내에, 기타 정보(예를 들어, 자막 정보 또는 로고 정보)가 포함되는 경우, 기타 정보(예를 들어, 자막 정보 또는 로고 정보)에 대응하는 영역에 대해, 고계조 증폭을 수행하지 않을 수 있다.
이에 따라, OSD 영역 또는 기타 정보 영역은, 고계조 증폭 없이, 제1 단계 디컨투어(decontour)를 수행하는 제3 디컨투어부(852), 제2 단계 디컨투어를 수행하는 제4 디컨투어부(854), 디더링을 수행하는 디더링부(856)를 거쳐 처리될 수 있다.
도 8d는 OSD 영역이 포함된 영상에 대해, 고계조 증폭이 처리되지 않는 것을 설명하기 위해 참조되는 도면이다.
먼저, 도 8d의 (a)는, 유저 인터페이스(UI)(930)을 포함하는 영상(925a)에서, 전체 영상(925a)에 대해, 고계조 증폭이 처리되는 것을 예시한다. 이에 의하면, UI 영역(930) 주변의 휘도에 따라, UI 영역(930)이 계조 증폭이 처리되므로, UI 영역(930)이 균일하게 표현되지 못하게 된다.
다음, 도 8d의 (b)는, 유저 인터페이스(UI)(930)을 포함하는 영상(925b)에서, UI 영역(930)에서는 고계조 증폭이 처리되지 않으며, 그 외의 영역에 고계조 증폭이 처리되는 것을 예시한다. 이에 의하면, UI 영역(930)에 대해 고계조 증폭이 처리되지 않으므로, 주변의 휘도에 관계없이, UI 영역(930)이 균일하게 표현되게 된다.
구체적으로, OSD 신호는, 제2 리덕션부(790)에 입력되며, 제2 리덕션부(790)는, OSD 신호에 대한 좌표 정보에 기초하여, OSD 신호에 대응하는 OSD 영역을 제외한 영역에 대해, 계조 증폭 및 확장을 수행할 수 있다.
즉, 제2 리덕션부(790)는, OSD 신호에 대해 계조 증폭 및 확장을 수행하지 않는 것이 바람직하다.
이에 의하면, UI 영역(930)에 대해 고계조 증폭 및 확장이 처리되지 않으므로, 주변의 휘도에 관계없이, UI 영역(930)이 균일하게 표현되게 된다.
한편, UI 영역(930) 외의 영역에 대한 고계조 증폭에 따라, 영상(925b) 내의 광원 영역(940)이 10Bit 표현 범위(0~1023)를 초과하는 밝기가 되도록 확장 처리되어, 더욱 밝게 표시될 수 있다.
한편, 제2 리덕션부(790)는, 영상 신호의 계조의 상한 레벨이, OSD 신호의 계조의 상한 레벨 보다 크도록, 계조 증폭을 수행할 수 있다. 이때, OSD 신호는 계조 증폭이 수행되더라도, 영상 신호의 계조의 상한 레벨 보다 현저히 작은 레벨로 계조 변환이 수행되거나, 아예 계조 증폭이 수행되지 않는 것이 바람직하다. 이에 따라, 주변 휘도에 관계 없이 OSD 영역(930)이 균일하게 표현될 수 있게 된다.
도 8e와 도 8f는 HDR 처리부에 의한 계조 변환을 설명하기 위해 참조되는 도면이다.
먼저, 도 8e를 참조하면, HDR 처리부(705)는, 입력 영상 신호에 대해, 하이 다이내믹 레인지(HDR) 처리를 할 수 있다.
예를 들어, HDR 처리부(705)는, 스탠다드 다이내믹 레인지(Standard Dynamic Range; SDR) 영상을 HDR 영상으로 변환하거나, 하이 다이내믹 레인지를 위한 계조 처리를 할 수 있다.
예를 들어, 도 8f의 (a)와 같이, HDR 처리부(705)는, 저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 곡선(CVa), 또는 저계조와 고계조 전반에 대해 다소 균일하게 변환되도록 하는 제2 계조 변환 곡선(CVb)에 기초하여, 계조 변환을 처리할 수 있다.
도 8f의 (a)에 따르면, 제2 계조 변환 모드에서의 저계조(Lmd)의 출력값(Lvb)이 제1 계조 변환 모드에서의 저계조(Lmd)의 출력값(Lva) 보다 낮게 된다.
한편, HDR 처리부(705)는, 도 8f의 (a)의 제1 계조 변환 곡선(CVa), 또는 제2 계조 변환 곡선(CVb)에 기초하여, 계조 변환을 처리할 수 있다.
한편, 본 발명의 일 실시예에 따른 HDR 처리부(705)는, 입력되는 영상 신호가 SDR 영상 신호인 경우, 계조 변환을 바이패스하고, 입력되는 영상 신호가 HDR 영상 신호인 경우, 계조 변환을 수행할 수 있다.
예를 들어, 발명의 일 실시예에 따른 HDR 처리부(705)는, 입력되는 영상 신호가 HDR 영상 신호인 경우, 제2 계조 변환 곡선(CVb)에 기초하여, 계조와 고계조가 균일하게 변환되도록 계조 변환 모드를 수행할 수 있다.
HDR 처리부(705)로부터의 HDR 영상은, 제1 리덕션부(710), 인핸스부(750)를 거쳐, 제2 리덕션부(790) 내의 제2 계조 확장부(729)로 입력될 수 있다.
한편, 제2 계조 확장부(729)는, 인핸스부(750)로부터의 영상 외에, OSD 정보 또는 기타 정보(예를 들어, 자막 정보 또는 로고 정보) 등을 수신할 수 있다.
제2 계조 확장부(729) 내의 고계조 증폭부(851)는, OSD 정보 또는 기타 정보(예를 들어, 자막 정보 또는 로고 정보)가 수신되는 경우, OSD 정보 또는 기타 정보에 대응하는 영역에 대해, 고계조 증폭을 처리하지 않을 수 있다.
이에 따라, 도 8d의 (b)와 같이, UI 영역(930)에 대해 고계조 증폭이 처리되지 않으므로, 주변의 휘도에 관계없이, UI 영역(930)이 균일하게 표현될 수 있다.
한편, 고계조 증폭부(851)는, 입력되는 HDR 영상 중 OSD 정보 또는 기타 정보에 대응하는 영역을 제외한 영역에 대해, 고계조 증폭을 처리할 수 있다.
이에 따라, 도 8d의 (b)와 같이, 영상(925b) 내의 광원 영역(940)이 10Bit 표현 범위(0~1023)를 초과하는 밝기가 되도록 증폭 및 확장 처리되어, 더욱 밝게 표시될 수 있다.
한편, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 도 8f의 (b)와 같이, 제2 리덕션부(790)에서 확장되는 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
특히, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 최대 계조의 상한 레벨을 증폭할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
도 8f의 (b)에서는, 제3 계조 변환 모드에 대응하는 제3 계조 변환 곡선(CVc)과, 제4 계조 변환 모드에 대응하는 제4 계조 변환 곡선(CVd)을 예시한다.
제3 계조 변환 모드가 수행되는 경우, 최대 계조(Lma)의 상한 레벨은 La1으로 나타나며, 제4 계조 변환 모드가 수행되는 경우, 최대 계조(Lma)의 상한 레벨은 La1 보다 훨씬 큰 레벨인 La2로 나타나게 된다.
즉, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 제4 계조 변환 모드에 따라, 최대 계조(Lma)의 상한 레벨을 증폭시킬 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제2 리덕션부(790) 내의 고계조 증폭부(851)는, 도 8f의 (b)와 같이, 입력 영상 신호 내 제1 휘도(LMu) 이상의 영역에 대해 계조 표현 확장 처리를 수행할 수 있다.
도 8f의 (b)의 제3 계조 변환 곡선(CVc)에 따르면, 제1 휘도(LMu)는 상한인 La1 보다 낮은 레벨로 변환되나, 제4 계조 변환 곡선(CVd)에 따르면, 제1 휘도(LMu)는 상한인 La1로 변환되게 된다. 따라서, 제4 계조 변환 곡선(CVd)에 따르면, 제1 휘도(LMu) 이상의 계조는, La1과 La2 사이의 레벨로 변환될 수 있게 된다. 따라서, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 고계조 증폭부(851)는, HDR 처리부(705)에서, 도 8f의 (a)의 제2 계조 변환 곡선(CVb)에 기초하여, 계조 변환이 처리되는 경우, HDR 영상의 고계조 증폭 및 확장을 위해, 제3 계조 변환 곡선(Cvc)와, 제4 계조 변환 곡선(Cvd) 중 제4 계조 변환 곡선(Cvd)에 의해, 고계조 증폭 및 확장이 처리되도록 할 수 있다.
제4 계조 변환 곡선(Cvd)에 의하면, 상한 레벨인 La1 레벨 이상으로도 계조 레벨이 증폭되므로, 고계조에 대한 강조가 가능하며, 따라서, HDR 효과가 더욱 강조될 수 있게 된다.
즉, 본 발명의 실시예에 따른 HDR 처리에 따르면, HDR 처리부(705)에서, 제1 계조 변환 곡선(Cva)에 의한 저계조 강조가 아닌, 제2 계조 변환 곡선(Cvb)에 의한 저계조와 고계조를 모두 강조하는 레벨 변환을 처리하고, 고계조 증폭부(851)에서, 고계조 증폭을 위해, 제4 계조 변환 곡선(Cvd)에 의한 상한 레벨인 L1 레벨 초과하여 계조 레벨 증폭 처리를 수행한다. 이에 따라, 전체 계조에 대한 강조가 가능하고 특히 고계조에 대한 강조가 가능해져 HDR 효과가 더욱 강조될 수 있게 된다.
한편, 도 8g는 제2 리덕션(790) 내의 제2 계조 확장부(729)의 고계조 증폭 및 확장을 설명하기 위해 참조되는 도면이다.
먼저, 제2 계조 확장부(729) 내의 고계조 증폭부(851)는, 도 8g의 (a)와 같이, 입력되는 신호의 계조의 상한 레벨을 증폭할 수 있다.
특히, 제2 계조 확장부(729) 내의 고계조 증폭부(851)는, 단계적으로, 입력되는 신호의 계조의 상한 레벨을 증폭할 수 있다.
도 8g의 (a)에서는, 입력되는 신호의 계조의 상한 레벨을 La1으로 증폭하는 제1 증폭 모드(STa)와, 입력되는 신호의 계조의 상한 레벨을 La2으로 증폭하는 제2 증폭 모드(STb)를 예시한다.
특히, 제2 계조 확장부(729) 내의 고계조 증폭부(851)는, 제2 증폭 모드(STb)에 따라, 입력되는 신호의 계조의 상한 레벨을 증폭(amplifying)할 수 있다. 이에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
한편, 제3 및 제4 디컨투어부(852,854)는, 고계조 증폭부(851)로부터의 증폭된 도계조의 해상를 확장(extension)할 수 있다.
도 8g의 (a)는, 제2 증폭 모드(STb)에서 대략 5 단계로, 입력되는 신호의 계조의 상한 레벨을 증폭하는 것을 예시하나, 도 8g의 (b)는, 확장 모드(STc)에 따라, 5 단계 보다 세밀한 단계로, 입력되는 신호의 도계조의 해상를 확장하는 것을 예시한다.
즉, 제3 및 제4 디컨투어부(852,854)는, 계조의 상한 레벨의 변화 없이, 입력되는 신호의 계조를 세밀하게 확장할 수 있다. 이에 따라, 계조 표현력을 증대시킬 수 있게 된다.
특히, 제3 및 제4 디컨투어부(852,854)는, 입력되는 신호의 전 계조 영역에 대해 균일하게 계조 확장을 수행할 수 있다.
이와 같은, 제2 리덕션(790) 내의 제2 계조 확장부(729)의 동작에 따라, 입력 영상에 대해, 고계조 표현력을 증대시킬 수 있게 된다.
도 9a는 다단계 계조 확장 처리를 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 도 9a의 (a)는 입력 영상 신호(905a)을 나타내며, 도 9a의 (b)는, 다단계 디컨투어에 의한 영상(905b)을 나타낸다. 다단계 디컨투어 처리에 의해, 도 9a의 (a)와 비교하여, 배경 영역(910)에 대한 계조가 확장 또는 복원되는 것을 알 수 있다.
예를 들어, 원본 계조 데이터가 8 비트이더라도, 다단계 디컨투어 처리에 의해, 10 비트 이상의 계조로 개선 또는 확장할 수 있게 된다.
도 9b는 고계조 증폭 처리를 설명하기 위해 참조되는 도면이다.
도 9b의 (a)는 입력 영상 신호(915a)를 나타내며, 도 9a의 (b)는, 고계조 증폭부(851)에서의 고계조 증폭 처리에 의한 영상(915b)을 나타낸다. 고계조 증폭 처리에 의해, 영상 내의 광원 영역(920)이 부스팅(boosting) 또는 증폭(amplyfying)되는 것을 알 수 있다.
특히, 고계조 증폭부(851)에서의 고계조 증폭 처리에 의해, 원본에서의 밝은 영역에 대해 10bit이상의 계조 증폭을 통하여 보다 밝은 부분에 대한 표현이 가능하게 된다.
한편, 본 발명의 신호 처리 장치(170)의 제4 특징은 다단계로 영상 해상도 향상(Resolution Enhance) 처리를 하는 것에 있다. 특히, 2회 이상의 단계로 영상 해상도 향상(Resolution Enhance) 처리를 한다. 이에 대해서는 도 10을 참조하여 기술한다.
도 10은 도 7의 인핸스부(750)의 내부 블록도를 도시한다.
도면을 참조하면, 인핸스부(750)는, 제1 단계 영상 해상도 향상을 위한 제1 해상도 향상부(735), 스케일링을 위한 제1 스케일러(737), 제2 단계 영상 해상도 향상을 위한 제2 해상도 향상부(738), 스케일링을 위한 제2 스케일러(739), 프레임 레이트 가변을 위한 프레임 레이트 변환부(741), 제3 단계 영상 해상도 향상을 위한 제3 해상도 향상부(742)를 구비할 수 있다.
각 단계의 해상도 향상부(735, 738, 742) 사이에는, 배치되는 스케일러(737,739)에 의해, 초해상도 변환(Super Resolution) 효과가 나타날 수 있게 된다. 이러한 처리로 영상 해상도를 바꿔가며, 영상 해상도 향상(Resolution Enhance) 처리를 수행할 수 있다.
예를 들어, 제1 해상도 향상부(735)가, 제1 계조 확장부(725)에서 계조 확장된 FHD 영상에 대해, 해상도 향상과 관련된 신호 처리를 하면, 제1 스케일러(737)는, 입력되는 FHD 영상을 4K 영상으로 스케일링할 수 있다.
그리고, 제2 해상도 향상부(738)가, 제1 스케일러(737)에서 스캐일링된 4K 영상에 대해, 해상도 향상과 관련된 신호 처리를 하면, 제2 스케일러(739)는, 입력되는 4K 영상을 4K 이상의 영상으로 스케일링할 수 있다. 예를 들어, 제2 스케일러(739)는, 4K 영상의 오버스캔된 영상을 출력할 수 있다.
그리고, 제3 해상도 향상부(742)가, 제2 스케일러(741)에서 스캐일링된 오버 스캔 4K 영상에 대해, 해상도 향상과 관련된 신호 처리를 할 수 있다.
결국, 인핸스부(750)는, 제1 해상도 향상부(735), 제2 해상도 향상부(738), 제3 해상도 향상부(742)를 통해, 총 3단계의 영상 해상도 향상 처리를 수행할 수 있다.
한편, 제1 해상도 향상부(735), 제2 해상도 향상부(738), 제3 해상도 향상부(742) 각각은, Super Resolution , Peaking , LTI , 계단 현상 제거 처리를 수행할 수 있다.
이때, 제1 해상도 향상부(735), 제2 해상도 향상부(738), 제3 해상도 향상부(742) 각각은, 다중 계층 구조 또는 영상 사이즈 별로, 영상 해상도 향상 처리를 수행할 수 있다. 예를 들어, 서로 다른 필터 사이즈 또는 주파수 대역을 가지고, 영상 해상도 향상 처리를 수행할 수 있다.
이에 의하면, 부작용 없이 영상 해상도 향상의 강도 또는 샤프니스를 증가시킬 수 있으며, 다중 계층 구조에 의한 영상 해상도 향상 처리에 의해, 단계별 튜닝이 용이한 장점이 있다.
도 11은 다단계 계계조 향상 처리를 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 도 11의 (a)는 입력 영상 신호(1150a)의 원본을 나타내며, 도 11의 (b)는, 다단계 영상 해상도 향상에 의한 영상(1150b)을 나타내며, 도 11의 (c)는, 단일 단계의 계조 향상에 의한 영상(1150c)을 나타낸다.
도 11의 (b)를 보면, 도 11의 (a)는 입력 영상 신호(1150a), 단일 단계의 계조 향상에 의한 영상(1150c)과 달리, 눈 영역(1110)이 더 또렷하게 나타나며, 눈가의 피부 영역(1115)의 질감이 가늘고 선명해지는 것을 알 수 있다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은 Quality Scalable한 화질 처리로 HFR(High Frame Rate)영상 까지 모든 화질 처리를 할 수 있는 것에 있다.
이를 위해, 본 발명의 신호 처리 장치(170)는, 제1 수직 동기 주파수(예를 들어, 60Hz) 이하의 영상에 대해서는, 상술한 바와 같이, 다단계 화질 처리 방식을 적용하며, 제1 수직 동기 주파수(예를 들어, 60Hz) 초과의 영상에 대해서는, 다 단계 화질 처리가 아닌, 한 단계 화질 처리 방식을 적용할 수 있다.
이를 위해, 각 Core는 입력과 출력의 연결을 자유로이 할 수 있으며, 화질 처리부 내의 각 유닛의 입출력을 자유로이 리매핑(Remapping) 할 수 있으며, Multi core에 입력을 나눠주기 위해서 분리(Split) 및 합성(Merge)를 수행할 수 있다. 이때의 분리(Split) 방식에는 공간상 분할과 시간상 분할 방식이 있을 수 있다. 이에 대해서는 도 12를 참조하여 기술한다.
도 12는 본 발명의 다른 실시예에 따른 신호 처리 장치(170b)의 내부 블록도를 예시한다.
도면을 참조하면, 본 발명의 다른 실시예에 따른 신호 처리 장치(170b), 특히 화잘 처리부(635)는, 입력 영상 신호의 수직 동기 주파수에 따라, 제1 리덕션부(710), 인핸스부(750)의 구조를 스케일러블(Scalable)하게 재구성할 수 있다.
즉, 화질 처리부(635)는, 입력 영상 신호의 수직 동기 주파수가 제1 수직 동기 주파수(예를 들어, 60Hz)인 경우, 입력 영상 신호에 대해, 제1 단계 노이즈 제거를 수행하는 제1 노이즈 제거부(715a)와, 제1 노이즈 제거부(715a)로부터의 영상에 대해, 제2 단계 노이즈 제거를 수행하는 제2 노이즈 제거부(720)를 포함하도록 구성할 수 있다.
한편, 화질 처리부(635)는, 입력 영상 신호의 수직 동기 주파수가 제1 수직 동기 주파수(예를 들어, 60Hz) 보다 높은 제2 수직 동기 주파수(예를 들어, 120Hz)인 경우, 제1 노이즈 제거부(715a)와 제2 노이즈 제거부(720)를 병렬로 구성하여, 한 단계의 노이즈 제거 처리를 수행하도록 구성할 수 있다.
예를 들어, 입력 영상 신호의 수직 동기 주파수가, 제1 수직 동기 주파수(예를 들어, 60Hz)인 경우, 도 7에서 도시한 바와 유사하게, 다단계의 노이즈 제거를 처리하는 제1 리덕션부(710), 다단계의 영상 향상 처리를 수행하는 인핸스부(750)를 구성할 수 있다.
제1 리덕션부(710)는, 시간(Temporal) 노이즈 처리와 공간(Spatial) 노이즈 처리를 위한 복수의 노이즈 제거부(715a,720)를 구비할 수 있으며, 인핸스부(750)는, 다단계로 영상 해상도 향상을 위한 복수의 해상도 향상부(735,738,742a), 및 프레임 레이터 컨버터(739)를 구비할 수 있다.
다음, 입력 영상 신호의 수직 동기 주파수가, 제1 수직 동기 주파수 보다 높은 제2 수직 동기 주파수인 경우, 신호 처리 장치(170b) 내의 영상 분리부(798)는, 공간상 분할 또는 시간상 분할 방식에 의해, 입력 영상 신호를 분리할 수 있다.
그리고, 분리된 영상은 각각의 노이즈 제거부(715a,720)로 분리 입력되며, 각 노이즈 제거부(715a,720)는, 노이즈 제거 처리를 할 수 있다.
제1 수직 동기 주파수와 달리, 분리된 영상은, 다단계의 노이즈 제거 처리가 아닌 한 단계의 노이즈 제거 처리(시간 노이즈 처리 및 공간 노이즈 처리를 포함)가 되게 된다.
그리고, 복수의 노이즈 제거부(715a,720)에서 각각 출력되는 데이터는 영상 합성부(799)에서 합성(merge)될 수 있다. 그리고, 제3 해상도 향상부(742b)에서 영상 해상도 향상 처리가 될 수 있다.
이와 같이, 제1 수직 동기 주파수의 입력 영상 신호에 대해서는, 다단계의 노이즈 제거 및 다단계의 영상 해상도 향상이 수행될 수 있으며, 제2 수직 동기 주파수의 입력 영상 신호에 대해서는, 한 단계의 노이즈 제거 및 한 단계의 영상 해상도 향상이 처리될 수 있다.
이는, 제2 수직 동기 주파수에 의한 입력 영상 신호의 퀄리티가 더 높으므로, 노이즈 제거 및 영상 해상도 향상을, 다단계가 아닌 단일 방식으로 가능하기 때문이다.
이와 같이, 입력 영상 신호의 수직 동기 주파수에 따라, 노이즈 제거 및 영상 해상도 향상 방식을 달리함으로써, Quality Scalable한 화질 처리가 가능하게 되며, HFR(High Frame Rate)영상까지 모든 화질 처리를 할 수 있게 된다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 영상을 분석하여 오브젝트를 찾아 입체감을 향상 시키는 것에 있다.
이를 위해, 오브젝트 입체감 향상부(745)는, 입력 영상 신호에서 오브젝트 영역과 배경 영역을 추출하고, 오브젝트 영역에 컨트라스트 향상 처리를 수행하고, 배경 영역의 휘도를 낮출 수 있다.
즉, 오브젝트 입체감 향상부(745)는, 오브젝트와 배경을 구분해서 별도 처리하며, 오브젝트에 대한 사전 정보 없이 배경에 대한 오브젝트의 정도를 추출할 수 있다. 그리고, 처리된 오브젝트와 배경 간의 위화감을 최소화하여 부작용을 방지할 수 있다.
오브젝트 입체감 향상부(740)는, 영상 분석부(610)에 입력되는 제1 입력 영상 신호의 배경 영역 휘도?보다, 더 낮은 배경 영역의 휘도를 가지는 제2 영상 신호를 출력할 수 있다. 이에 따라, 오브젝트의 입체감을 향상시킬 수 있게 된다.
한편, 오브젝트 입체감 향상부(740)는, 영상 분석부(610)에 입력되는 제1 입력 영상 신호의 오브젝트 영역에 대해 컨트라스트 향상 처리를 수행하여, 컨트라스트 처리된 제2 영상 신호를 출력할 수 있다. 이때, 제1 영상 신호의 오브젝트 영역 컨트라스트 보다, 제2 영상 신호의 오브젝트 영역의 컨트라스트가 더 큰 것이 바람직하다. 이에 따라, 오브젝트의 입체감을 더욱 향상시킬 수 있게 된다.
한편, 영상 분석부(610)는, 제1 영상 신호의 오브젝트 영역과 배경 영역의 확률을 연산할 수 있다. 이러한 정보는, 오브젝트 입체감 향상부(740)에 입력될 수 있다.
오브젝트 입체감 향상부(740)는, 배경 영역의 확률이 클수록, 제2 영상 신호의 배경 영역의 휘도가 낮아지도록 신호 처리를 수행할 수 있다. 이에 따라, 오브젝트의 입체감을 더욱 향상시킬 수 있게 된다.
한편, 오브젝트 입체감 향상부(740)는, 오브젝트 영역의 확률이 클수록, 제2 영상 신호의 오브젝트 영역의 컨트라스트가 커지도록 신호 처리를 수행할 수 있다. 이에 따라, 오브젝트의 입체감을 더욱 향상시킬 수 있게 된다.
한편, 영상 분석부(610)는, 적어도 하나의 오브젝트 및 배경을 표시하는 것에 대응하는 제1 영상 신호를 수신하고, 제1 영상 신호로부터 오브젝트의 정보를 식별하고, 제1 영상 신호로부터 배경의 정보를 식별할 수 있다.
한편, 오브젝트 입체감 향상부(745)는, 오브젝트의 식별 정보를 사용하여 오브젝트의 샤프니스를 결정하고, 결정된 샤프니스에 기초하여 오브젝트의 식별 된 정보를 사용하여 제1 영상 신호를 향상시키는 오브젝트의 콘트라스트를 증가시키고, 결정된 샤프니스에 기초하여 식별된 배경 정보를 이용하여 인핸스드 제1 영상 신호 내의 배경의 휘도를 감소시켜, 인핸스드 제1 영상 신호를 출력할 수 있다.
한편, 오브젝트의 샤프니스가 제1 샤프니스인 경우, 오브젝트의 콘트라스트는 제1 콘트라스트 양만큼 변화되고, 오브젝트의 샤프니스가 제1 샤프니스 레벨보다 높은 제2 샤프니스인 경우, 오브젝트의 콘트라스트는 제1 콘트라스트 양보다 큰 제2 콘트라스트 양만큼 변화될 수 있다.
한편, 오브젝트 입체감 향상부(745)는, 오브젝트의 샤프니스가 증가함에 따라, 오브젝트의 콘트라스트를 보다 크게 증가시킬 수 있다.
한편, 오브젝트의 샤프니스가 제1 샤프니스인 경우, 배경의 휘도가 제1 휘도 레벨만큼 변화되고, 오브젝트의 샤프니스가 제1 샤프니스 레벨보다 높은 제2 샤프니스인 경우, 배경의 휘도가 제1 휘도 레벨 보다 큰 제2 휘도로 변화될 수 있다.
한편, 오브젝트 입체감 향상부(745)는, 오브젝트의 샤프니스가 증가함에 따라, 배경의 휘도를 보다 많이 감소시킬 수 있다.
한편, 신호 처리 장치(170)는, 제1 영상 신호를 표시하는 표시 패널과 관련되고, 표시 패널의 피크 휘도는 배경의 휘도가 감소함에 따라 증가될 수 있다.
한편, 영상 분석부(610)는, 제1 영상 신호 내의 배경에 대한 오브젝트의 크기의 비율을 결정하고, 배경의 휘도의 감소량은 결정된 비율에 기초한다.
한편, 결정된 비율이 제1 비율인 경우, 배경의 휘도의 감소량은 제1 휘도양이고, 결정된 비율이 제1 비율보다 작은 제2 비율인 경우, 배경의 휘도 감소량은 제1 휘도량보다 작은 제2 휘도량일 수 있다.
한편, 오브젝트 입체감 향상부(745)는, 결정된 비율이 증가함에 따라, 배경의 휘도를 보다 많이 감소시킬 수 있다.
한편, 영상 분석부(610)는, 제1 영상 신호 내의 배경에 대한 오브젝트의 크기의 비율을 결정하고, 오브젝트의 콘트라스트 증가량은 결정된 비율에 기초한다.
한편, 결정된 비율이 제1 비율인 경우, 오브젝트의 콘트라스트 증가량은 제1 콘트라스트 양이며, 결정된 비율이 제1 비율보다 작은 제2 비율인 경우, 오브젝트의 콘트라스트의 증가량은 제1 콘트라스트 양보다 작은 제2 콘트라스트 양일 수 있다.
한편, 오브젝트 입체감 향상부(745)는, 결정된 비율이 증가함에 따라, 오브젝트 입체감 향상부(745)는, 오브젝트의 콘트라스트를보다 크게 증가시킬 수 있다.
오브젝트 입체감 향상부(740)에 대한 자세한 설명은, 도 13a 내지 도 16b 를 참조하여 기술한다.
도 13a는 도 7의 오브젝트 입체감 향상부의 내부 블록도의 일예이다.
도면을 참조하면, 오브젝트 입체감 향상부(745)는, 전경/ 배경 후보 영역 획득을 위한 전경/ 배경 후보 영역 획득부(1310), 전경/ 배경 확률 모델 구축을 위한 전경/ 배경 확률 모델 구축부(1320), 오브젝트 정보 획득을 위한 오브젝트 정보 획득부(1330), 오브젝트/배경 기반 화질 처리를 위한 오브젝트/배경 기반 화질 처리부(1340)를 구비할 수 있다.
도 13b는, 도 13a의 전경/ 배경 후보 영역 획득부(1310)의 내부 블록도의 일예이다.
도면을 참조하면, 전경/ 배경 후보 영역 획득부(1310)는, 특징값 추출부(1350), 히스토그램 누산부(1360), 히스토그램 분석부(1370), 전경 후보 영역 지정부(1380)를 구비할 수 있다.
특징값 추출부(1350)는, 영상의 각 픽셀로부터 특징값을 추출할 수 있다. 예를 들어, 특징값 추출부(1350)는, 특징값으로서, 에지(edge) 정보, 피부 색 등을 추출할 수 있다.
히스토그램 누산부(1360)는, 추출된 특징값을 각각 가로, 세로 방향의 히스토그램에 누산하고 분석할 수 있다.
히스토그램 분석부(1370)는, 분석된 히스토그램의 정보로부터 개략적인 전경(foreground)의 위치를 추정할 수 있다.
전경 후보 영역 지정부(1380)는, 영상에 사각형의 전경 후보 영역을 지정하고 사각형의 후보영역을 나타내는 좌표를 획득할 수 있다.
도 14a는, 도 13a의 전경/ 배경 확률 모델 구축부(1320)의 동작 설명에 참조되는 순서도이다.
도면을 참조하면, 전경/ 배경 확률 모델 구축부(1320)는, 입력 영상 신호의 각 픽셀이 전경 영역에 속하는지 여부를 판단한다(S1405).
그리고, 전경/ 배경 확률 모델 구축부(1320)는, 입력 영상 신호의 각 픽셀이 전경 영역에 속하는 경우, 전경 히스토그램을 누산하고(S1410), 전경 확률을 계산한다(S1413).
한편, 전경/ 배경 확률 모델 구축부(1320)는, 입력 영상 신호의 각 픽셀이 전경 영역에 속하지 않는 경우, 배경으로 판단하고, 배경 히스토그램을 누산하고(S1420), 배경 확률을 계산한다(S1423).
이에 따라, 입력 영상 신호 내의 각 영역별 히스토그램(Histogram)을 활용하여, 각 픽셀(Pixel)이 해당 영역에 속할 확률을 추정할 수 있게 된다.
도 14b는 도 7의 오브젝트 정보 획득부(1330)의 내부 블록도의 일예이다.
도면을 참조하면, 오브젝트 정보 획득부(1330)는, 배경/전경 차이값 생성을 위한 배경/전경 차이값 생성부(1452), 타원 이득 생성을 위한 타원 이득 생성부(1454), 승산부(1455), 공간 필터링부(1457), 시간 필터링부(1459)를 구비할 수 있다.
타원 이득 생성부(1454)는, 오브젝트의 윤곽을 대략적으로 모델링하여 느껴질 수 있는 오브젝트-배경 과의 이질감 최소화할 수 있다.
오브젝트 정보 획득부(1330)는, 배경/전경 차이값 생성부(1452)에서 획득된 전경/배경 확률의 차이값과, 타원 이득 생성부(1454)로부터의 젼경 후보 영역에 기반한 타원 형태의 이득 값을 곱하여, 기본 오브젝트 정도를 연산할 수 있다.
한편, 노이즈 제거 및 안정성 확보를 위해, 오브젝트 정보 획득부(1330)는, 공간 필터링부(1457), 시간 필터링부(1459)에서 각각, 공간, 시간 상의 필터링을 수행하여, 최종 오브젝트의 정도를 획득할 수 있다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은 영상을 분석하여 오브젝트를 찾아 입체감을 향상시키는 것에 있다. 이에 대해 도 15를 참조하여 기술한다.
도 15는 도 7의 오브젝트/배경 기반 화질 처리부(1340)의 내부 블록도의 일예이다.
도면을 참조하면, 오브젝트/배경 기반 화질 처리부(1340)는, 입력 영상 신호와, 오브젝트 정보 획득부(1330)에서 획득된 최종 오브젝트 정도 정보에 기초하여, 화질 처리를 수행할 수 있다.
이를 위해, 오브젝트/배경 기반 화질 처리부(1340)는, 입력 영상 신호와 최종 오브젝트 정도 정보에 기초하여 오브젝트 화질 처리를 수행하는 오브젝트 화질 처리부(1510), 입력 영상 신호와 최종 오브젝트 정도 정보에 기초하여 배경 화질 처리를 수행하는 배경 화질 처리부(1520), 영상 합성부(1530)를 구비할 수 있다.
영상 합성부(1530)는, 오브젝트 화질 처리부(1510)와 배경 화질 처리부(1520)의 출력을 각각 합성하여 출력할 수 있다.
특히, 영상 합성부(1530)는, 최종 오브젝트의 강도 또는 샤프니스에 따라, 오브젝트 화질 처리부(1510)와 배경 화질 처리부(1520)의 출력을 각각 합성함으로써, 최종 영상을 출력할 수 있다.
예를 들어, 영상 합성부(1530)는, 최종 오브젝트의 강도 또는 샤프니스에 따라, 오브젝트의 컨트라스트를 가변하거나, 배경과 전경 영역의 휘도를 가변할 수 있다.
구체적으로, 영상 합성부(1530)는, 최종 오브젝트의 강도 또는 샤프니스가 커질수록, 오브젝트의 컨트라스트가 커지며, 배경 영역의 휘도가 낮아지도록 가변할 수 있다. 이에 따라, 오브젝트의 입체감이 더욱 향상될 수 있게 된다.
한편, 오브젝트/배경 기반 화질 처리부(1340)는, 오브젝트 맵(Object Map)을 활용한 처리에 의해, 영상 입체감을 향상시킬 수 있다.
한편, 오브젝트/배경 기반 화질 처리부(1340)는, 오브젝트 영역에 컨트라스트(Contrast) 향상 처리로 입체감을 추가할 수 있다.
한편, 오브젝트/배경 기반 화질 처리부(1340)는, 배경 영역에 밝기를 낮추어, 유기발광패널(210)의 피크(Peak) 휘도를 높일 수 있다.
도 16a와 도 16b는 오브젝트 처리 효과를 설명하기 위해 참조되는 도면이다.
먼저, 도 16a는 비 오브젝트 처리시의 출력 영상(1605a)을 도시하며, 도 16b는 오브젝트 처리시의 출력 영상(1605b)을 예시한다.
오브젝트 처리에 따라, 오브젝트 처리시의 출력 영상(1605b) 내의 오브젝트 영역(1610)에, 입체감이 증가하고, 피크(Peak) 휘도가 증가될 수 있다.
한편, 본 발명의 신호 처리 장치(170)의 다른 특징은, 계층적 인공지능적 구조로 각 IP단위의 하위AI와 전체를 판별하는 상위 AI로 나누어 동작하는 것에 있다. 이에 대해서는 도 17을 참조하여 기술한다.
도 17은 본 발명의 다른 실시예에 따른 신호 처리 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명의 다른 실시예에 따른 신호 처리 장치(170c)는, 전체 영상에 대해 AI 분석을 수행하는 영상 분석부(610), 화질 처리부(635c)를 구비할 수 있다.
화질 처리부(635c)는, 제1 내지 제6 AI 영상 분석부(1700a~1700f)와, 노이즈 제거부(1710), IPC부(1720), 계조 확장부(1730), 해상도 향상부(1740), 오브젝트 입체감 향상부(1750), 컬러 또는 컨트라스트 향상을 위한 컬러 컨트라스트 향상부(1760)를 구비할 수 있다.
노이즈 제거부(1710)와 해상도 향상부(1740)는, 상술한 바와 같이, 다단계로 동작할 수 있다.
한편, 제1 내지 제6 AI 영상 분석부(1700a~1700f)는, 노이즈 제거부(1710), IPC부(1720), 계조 확장부(1730), 해상도 향상부(1740), 오브젝트 입체감 향상부(1750), 컬러 컨트라스트 향상부(1760), 각각을 위해, 각 Core별로 영상을 개별 분석할 수 있다.
그리고, 영상 분석부(610)는, 제1 내지 제6 AI 영상 분석부(1700a~1700f)에서 수집된 Core단위의 정보를 이용하여, 별도의 전체 영상을 판독하여 상응하는 설정을 제공할 수 있다.
즉, 본 발명의 다른 실시예에 따른 신호 처리 장치(170c)는, 인공지능 처리에 있어서 계층적인 구조를 가지는 것을 특징으로 한다.
한편, 제1 영상 분석부(1700a)는, 노이즈 제거부(1710)를 위해, Noise Measuring, 영상 움직임을 연산하고, 제2 영상 분석부(1700b)는, IPC부(1720)를 위해, Cadence 판별, 자막 움직임, 영상 깨짐 수준을 연산하고, 제3 영상 분석부(1700c)는, 계조 확장부(1730)를 위해, 원본 압축 수준 , 화면 밝기, Resolution을 연산하고, 제4 영상 분석부(1700d)는, 해상도 향상부(1740)를 위해, 주파수 분석, Edge 총량, Texture 총량을 연산하고, 제5 영상 분석부(1700e)는, 오브젝트 입체감 향상부(1750)를 위해, 영상 분포, 오브젝트 개수, 사람포함 여부, 전경/배경 Ratio 을 연산하고, 제6 영상 분석부(1700f)는, 컨트라스트 향상부(1760)를 위해, Histogram 분석, Pattern 여부, 계조 연속성 판단을 수행할 수 있다.
특히, 제5 영상 분석부(1700e)는, 제1 영상 신호를 입력받고, 입력되는 제1 영상 신호의 오브젝트 영역과 배경 영역을 구분할 수 있다.
또한, 제5 영상 분석부(1700e)는, 제1 영상 신호의 오브젝트 영역과 배경 영역의 확률을 연산하고, 연산된 확률 정보를, 오브젝트 입체감 향상부(1750)로 전송할 수 있다.
즉, 도 17에서의 제5 영상 분석부(1700e)는, 상술한 영상 분석부(610)의 동작에 대응하며, 도 17에서의 오브젝트 입체감 향상부(1750)는, 오브젝트 입체감 향상부(740)의 동작에 대응할 수 있다.
결국, 본 발명의 실시예에 따르면, 다중 화질 처리에 의해 효과적으로 화질을 강화할 수 있게 된다.
특히, 다단계의 노이즈 제거(reduction) 처리에서, 이중 노이즈 제거 처리로, 원본에 대한 노이즈 제거 처리를 강화하고, IPC(interlaced progressive conversion)와 같은 알고리즘에 의해 발생하는 노이즈도 경감시킬 수 있게 된다.
한편, 3단계 계조 재생(Reproduction) 처리로, 입력 영상 신호의 손실된 계조 비트를 재생성하여 보다 부드러운 화면을 제공할 수 있게 된다.
한편, 4단계 계조 복원 또는 확장 처리로 내부 Enhance처리에 수반되는 계조 손실을 복원하여 층짐 현상 없이 보다 매끄럽고 다이나믹(Dynamic)한 출력을 얻을 수 있게 된다.
한편, 다단계 영상 해상도 향상(Enhancement) 처리는, 보다 자연스럽고 강한 영상 해상도 향상 결과를 얻을 수 있게 된다.
이러한 다단계 화질 처리 알고리즘은, 120Hz 영상을 처리하는 용도로 전향 사용이 가능하며, 별도의 비용없이, HFR 영상에 화질 엔진 처리를 할 수 있게 된다.
또한 오브젝트 검출과 같은 인공지능 화질 처리 요소를 도입하고, 계층적 AI구조로 효율적이고, 유기적으로 각 Core가 연계될 수 있으므로, 최적을 화질을 제공할 수 있게 된다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (18)

  1. 영상표시장치 내의 신호 처리 장치에 있어서,
    영상 신호와 OSD 신호를 입력 받고, 상기 영상 신호의 계조의 상한 레벨을 제1 레벨에서 제2 레벨로 증폭하고, 상기 제2 레벨로 레벨이 증폭된 상기 영상 신호의 계조의 휘도 간격을 제1 간격에서 보다 세밀한 제2 간격으로 가변시키는 계조 확장부;를 포함하고,
    상기 계조 확장부는,
    상기 OSD 신호의 계조의 상한 레벨을 증폭하지 않으며,
    상기 증폭된 제2 레벨은 상기 OSD 신호의 계조의 상한 레벨 보다 크며,
    상기 증폭된 제2 레벨은 상기 OSD 신호의 계조의 상한 레벨 보다 크며,큰
    상기 상한 레벨의 증폭 및 상기 계조의 휘도 간격의 상기 제2 간격으로의 세밀화가 수행되지 않는 상기 OSD 신호를 포함하는 OSD 영역과, 상기 OSD 영역을 제외한 영역으로서 상기 영상 신호의 상기 상한 레벨의 증폭 및 상기 계조의 휘도 간격이 상기 제2 간격으로 세밀화된 영상 영역을 포함하는 영상을 출력하며,
    상기 OSD 영역은, 상기 영상 신호를 포함하지 않는 것을 특징으로 하는 신호 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 OSD 신호는, 상기 계조 확장부에 입력되며,
    상기 계조 확장부는,
    상기 OSD 신호에 대한 좌표 정보에 기초하여, 상기 OSD 신호에 대응하는 OSD 영역을 제외한 영역에 대해, 상기 계조 증폭을 수행하는 것을 특징으로 하는 신호 처리 장치.
  4. 제1항에 있어서,
    상기 영상 신호를 입력받고, 입력되는 상기 영상 신호에 대해 계조 변환을 수행하는 HDR 처리부;
    상기 HDR 처리부로부터 입력된 상기 계조 변환 영상 신호의 노이즈 제거를 수행하는 제1 리덕션부;를 더 포함하며,
    상기 HDR 처리부에서 수행되는 계조 변환 모드에 따라, 상기 계조 확장부에서 증폭되는 계조의 상한 레벨이 가변되는 것을 특징으로 하는 신호 처리 장치.
  5. 제4항에 있어서,
    상기 계조 확장부는,
    상기 HDR 처리부에서, 제1 계조 변환 모드와 제2 계조 변환 모드 중 저계조가 더 강조되지 않는 상기 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 상기 제4 계조 변환 모드를 수행하는 것을 특징으로 하는 신호 처리 장치.
  6. 제4항에 있어서,
    상기 HDR 처리부는,
    저계조와 고계조 중 저계조를 강조하고 고계조가 포화되도록 하는 제1 계조 변환 모드, 또는 저계조와 고계조가 균일하게 변환되도록 하는 제2 계조 변환 모드를 수행하며,
    상기 계조 확장부는,
    상기 HDR 처리부에서, 상기 제2 계조 변환 모드가 수행되는 경우, 제3 계조 변환 모드와, 제4 계조 변환 모드 중, 계조의 상한 레벨이 더 큰, 상기 제4 계조 변환 모드를 수행하는 것을 특징으로 하는 신호 처리 장치.
  7. 제6항에 있어서,
    상기 제2 계조 변환 모드에서의 저계조 출력값이 제1 계조 변환 모드에서의 저계조 출력값 보다 낮은 것을 특징으로 하는 신호 처리 장치.
  8. 제4항에 있어서,
    상기 제1 리덕션부는,
    상기 HDR 처리부로부터 입력된 상기 계조 변환 영상 신호에 대해, 다단계 노이즈 제거 처리를 수행하는 것을 특징으로 하는 신호 처리 장치.
  9. 제4항에 있어서,
    상기 제1 리덕션부는, 제1 단계 계조 확장 처리를 수행하며,
    상기 계조 확장부는, 제2 단계 계조 확장 처리를 수행하는 것을 특징으로 하는 신호 처리 장치.
  10. 제4항에 있어서,
    상기 제1 리덕션부와 상기 계조 확장부 사이에서, 상기 제1 리덕션부로부터 입력된 상기 노이즈 제거된 영상 신호에 대해 다단계 영상 해상도 처리를 수행하는 인핸스부;를 더 포함하는 것을 특징으로 하는 신호 처리 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 디스플레이; 및
    제1항, 제3항 내지 제10항 중 어느 한 항의 신호 처리 장치;를 포함하는 영상표시장치.
KR1020180103070A 2018-03-16 2018-08-30 신호 처리 장치 및 이를 구비하는 영상표시장치 KR102546990B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/517,486 US11056039B2 (en) 2018-03-16 2019-07-19 Signal processing device and image display apparatus including the same
EP19187548.3A EP3618414A3 (en) 2018-03-16 2019-07-22 Signal processing device and image display apparatus including the same
US17/334,316 US11748855B2 (en) 2018-03-16 2021-05-28 Signal processing device and image display apparatus including the same

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020180031002 2018-03-16
KR1020180031002 2018-03-16

Publications (2)

Publication Number Publication Date
KR20190109204A KR20190109204A (ko) 2019-09-25
KR102546990B1 true KR102546990B1 (ko) 2023-06-23

Family

ID=68068519

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020180103070A KR102546990B1 (ko) 2018-03-16 2018-08-30 신호 처리 장치 및 이를 구비하는 영상표시장치
KR1020180107074A KR102142019B1 (ko) 2018-03-16 2018-09-07 신호 처리 장치 및 이를 구비하는 영상표시장치
KR1020180107075A KR102157545B1 (ko) 2018-03-16 2018-09-07 신호 처리 장치 및 이를 구비하는 영상표시장치

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020180107074A KR102142019B1 (ko) 2018-03-16 2018-09-07 신호 처리 장치 및 이를 구비하는 영상표시장치
KR1020180107075A KR102157545B1 (ko) 2018-03-16 2018-09-07 신호 처리 장치 및 이를 구비하는 영상표시장치

Country Status (3)

Country Link
US (5) US10923018B2 (ko)
EP (3) EP3624048B1 (ko)
KR (3) KR102546990B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102546990B1 (ko) 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치
US11403979B2 (en) * 2019-06-20 2022-08-02 Apple Inc. Dynamic persistence for judder reduction
KR20220088420A (ko) * 2019-11-01 2022-06-27 엘지전자 주식회사 신호처리장치 및 이를 구비하는 영상표시장치
US20230005452A1 (en) * 2019-12-06 2023-01-05 Lg Electronics Inc. Signal processing device and image display apparatus including the same
KR20210129310A (ko) * 2020-04-17 2021-10-28 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
US11430405B1 (en) * 2021-04-15 2022-08-30 Dell Products L.P. Managing a display of an information handling system
KR20220157147A (ko) * 2021-05-20 2022-11-29 삼성전자주식회사 이미지를 처리하기 위한 방법 및 장치
KR102564447B1 (ko) * 2021-11-30 2023-08-08 엘지전자 주식회사 디스플레이 장치
KR20230174779A (ko) * 2022-06-21 2023-12-29 삼성디스플레이 주식회사 콘트라스트 증대 장치, 및 이를 포함하는 표시 장치
KR20240011039A (ko) * 2022-07-18 2024-01-25 삼성전자주식회사 소비 전력을 저감하기 위한 디스플레이 장치 및 그 제어 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269154A (ja) * 2007-04-18 2008-11-06 Canon Inc 画像処理装置及びその方法
JP2015132930A (ja) * 2014-01-10 2015-07-23 日本放送協会 空間超解像・階調補間装置及びプログラム
JP2018503283A (ja) * 2014-11-10 2018-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 符号化のための方法、ビデオプロセッサ、復号のための方法、ビデオ復号器

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6054712A (en) * 1998-01-23 2000-04-25 Quanta Vision, Inc. Inspection equipment using small-angle topography in determining an object's internal structure and composition
WO2002019012A1 (fr) * 2000-08-30 2002-03-07 Japan Science And Technology Corporation Systeme de presentation d'images en 3d
EP1784988A1 (en) * 2004-08-06 2007-05-16 University of Washington Variable fixation viewing distance scanned light displays
KR20080102117A (ko) * 2006-03-20 2008-11-24 소니 가부시끼 가이샤 화상신호처리장치 및 화상신호처리방법
US8284194B2 (en) * 2006-09-21 2012-10-09 Thomson Licensing Method and system for three-dimensional model acquisition
US8687918B2 (en) * 2008-03-05 2014-04-01 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image processing system, and computer program
JP2009303010A (ja) * 2008-06-16 2009-12-24 Mitsubishi Electric Corp 撮像装置及び撮像方法
US8929877B2 (en) * 2008-09-12 2015-01-06 Digimarc Corporation Methods and systems for content processing
JP5293463B2 (ja) * 2009-07-09 2013-09-18 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8872976B2 (en) * 2009-07-15 2014-10-28 Home Box Office, Inc. Identification of 3D format and graphics rendering on 3D displays
KR101728724B1 (ko) * 2010-08-10 2017-04-20 엘지전자 주식회사 영상 표시 방법 및 그에 따른 영상 표시 장치
BR112013028556B1 (pt) 2011-05-10 2022-01-04 Koninklijke Philips N.V. Aparelho e método para gerar um sinal de imagem e aparelho e método para processar um sinal de imagem
CA3218784A1 (en) * 2011-12-06 2013-06-13 Dolby Laboratories Licensing Corporation Device and method of improving the perceptual luminance nonlinearity - based image data exchange across different display capabilities
CN105850114B (zh) 2013-12-27 2019-05-21 汤姆逊许可公司 用于图像的逆色调映射的方法
KR102182695B1 (ko) * 2014-04-01 2020-11-24 한화테크윈 주식회사 영상 잡음 제거 장치 및 방법
US9692968B2 (en) * 2014-07-31 2017-06-27 Invisage Technologies, Inc. Multi-mode power-efficient light and gesture sensing in image sensors
JP2016177469A (ja) * 2015-03-19 2016-10-06 セイコーエプソン株式会社 画像処理装置、画像表示装置及び画像処理方法
KR102511518B1 (ko) * 2016-01-12 2023-03-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP6714078B2 (ja) * 2016-05-10 2020-06-24 オリンパス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
TWI631505B (zh) 2016-08-26 2018-08-01 晨星半導體股份有限公司 應用於播放裝置的影像處理方法及相關的電路
US11935215B2 (en) * 2017-08-07 2024-03-19 Imago Systems, Inc. System and method for the visualization and characterization of objects in images
US10757384B2 (en) * 2017-09-28 2020-08-25 Gopro, Inc. Desaturation control
KR101809644B1 (ko) * 2017-10-19 2018-01-18 (주) 케이투이 Sdr 및 hdr 신호 처리가 가능한 4k 기반 마스터 스위처 장치
KR102546990B1 (ko) * 2018-03-16 2023-06-23 엘지전자 주식회사 신호 처리 장치 및 이를 구비하는 영상표시장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008269154A (ja) * 2007-04-18 2008-11-06 Canon Inc 画像処理装置及びその方法
JP2015132930A (ja) * 2014-01-10 2015-07-23 日本放送協会 空間超解像・階調補間装置及びプログラム
JP2018503283A (ja) * 2014-11-10 2018-02-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 符号化のための方法、ビデオプロセッサ、復号のための方法、ビデオ復号器

Also Published As

Publication number Publication date
US11081041B2 (en) 2021-08-03
US20210342982A1 (en) 2021-11-04
KR20190109204A (ko) 2019-09-25
US20200082512A1 (en) 2020-03-12
EP3624048B1 (en) 2021-05-05
US10923018B2 (en) 2021-02-16
EP3624048A1 (en) 2020-03-18
US20200074911A1 (en) 2020-03-05
KR102142019B1 (ko) 2020-09-14
US20210287590A1 (en) 2021-09-16
EP3618414A3 (en) 2020-03-11
KR102157545B1 (ko) 2020-09-18
US20200082511A1 (en) 2020-03-12
US11748855B2 (en) 2023-09-05
KR20190109207A (ko) 2019-09-25
KR20190109206A (ko) 2019-09-25
EP3618414A2 (en) 2020-03-04
EP3621063A1 (en) 2020-03-11
US11056039B2 (en) 2021-07-06
US11669941B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
KR102546990B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102627646B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102661826B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
US11170488B2 (en) Signal processing device and image display apparatus including the same
EP3941041A1 (en) Video wall
US11315522B2 (en) Image display apparatus
KR20190109197A (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102661824B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
KR20190109198A (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
KR102662951B1 (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치
EP3982351A1 (en) Signal processing device and image display apparatus including the same
KR20220088420A (ko) 신호처리장치 및 이를 구비하는 영상표시장치
KR20210030107A (ko) 신호처리장치 및 이를 구비하는 영상표시장치
KR20200125060A (ko) 신호 처리 장치 및 이를 구비하는 영상표시장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant