KR102176723B1 - 영상처리 장치, 디스플레이 장치, 및 그 제어방법 - Google Patents

영상처리 장치, 디스플레이 장치, 및 그 제어방법 Download PDF

Info

Publication number
KR102176723B1
KR102176723B1 KR1020160122277A KR20160122277A KR102176723B1 KR 102176723 B1 KR102176723 B1 KR 102176723B1 KR 1020160122277 A KR1020160122277 A KR 1020160122277A KR 20160122277 A KR20160122277 A KR 20160122277A KR 102176723 B1 KR102176723 B1 KR 102176723B1
Authority
KR
South Korea
Prior art keywords
image processing
image data
buffer
image
processing modules
Prior art date
Application number
KR1020160122277A
Other languages
English (en)
Other versions
KR20180032941A (ko
Inventor
최용석
김도형
송준호
이상조
이원창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020160122277A priority Critical patent/KR102176723B1/ko
Priority to US15/708,704 priority patent/US10713993B2/en
Priority to PCT/KR2017/010320 priority patent/WO2018056693A1/en
Priority to CN201780058450.8A priority patent/CN109791755B/zh
Publication of KR20180032941A publication Critical patent/KR20180032941A/ko
Application granted granted Critical
Publication of KR102176723B1 publication Critical patent/KR102176723B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/02—Graphics controller able to handle multiple formats, e.g. input or output formats
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Processing (AREA)

Abstract

디스플레이 장치, 및 그 제어방법이 개시된다. 일 측에 따른 디스플레이 장치는, 영상 처리 프로세스를 수행하는 복수 개의 영상처리 모듈; 상기 복수 개의 영상처리 모듈의 상태정보에 따라, 상기 복수 개의 영상처리 모듈 중에서 어느 하나의 영상처리 모듈에 의해 처리된 영상 데이터를 출력하는 제어부; 및 상기 출력된 영상 데이터를 표시하는 디스플레이부를 포함할 수 있다.

Description

영상처리 장치, 디스플레이 장치, 및 그 제어방법{IMAGE PROCESSING APPRATUS, DISPLAY APPARATUS AND METHOD OF CONTROLLING THEREOF}
영상처리 프로세스를 수행하는 영상처리 장치, 디스플레이 장치, 및 그 제어방법에 관한 것이다.
디스플레이 장치는 디스플레이 패널을 구비하여 다양한 포맷의 영상 데이터를 시각적으로 표시할 수 있는 장치를 의미한다.
디스플레이 장치는 외부의 다양한 영상공급원으로부터 전송되거나 또는 자체적으로 저장되어 있는 영상데이터를 처리하여, 디스플레이 패널 상에 영상으로 표시할 수 있다. 예를 들면, 디스플레이 장치는 외부로부터 수신되는 방송신호를 디코딩, 스케일링 등과 같은 다양한 영상처리 프로세스를 통해 사용자가 원하는 방송채널의 영상을 디스플레이 장치 상에 표시할 수 있다.
최근 디스플레이 장치는 외부의 영상공급원으로부터 전송되거나 또는 자체적으로 저장되어 있는 영상 데이터의 화질을 개선시켜, 사용자에게 보다 몰입감 있는 영상을 제공할 수 있다.
영상 데이터의 화질이 급감하는 것을 방지하는 영상처리 장치, 디스플레이 장치 및 그 제어방법을 제공한다.
일 측에 따른 디스플레이 장치는, 영상 처리 프로세스를 수행하는 복수 개의 영상처리 모듈; 상기 복수 개의 영상처리 모듈의 상태정보에 따라, 상기 복수 개의 영상처리 모듈 중에서 어느 하나의 영상처리 모듈에 의해 처리된 영상 데이터를 출력하는 제어부; 및 상기 출력된 영상 데이터를 표시하는 디스플레이부를 포함할 수 있다.
또한, 상기 복수 개의 영상처리 모듈 각각에는, 상기 복수 개의 영상 처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼가 연결되고, 상기 제어부는, 상기 복수 개의 영상처리 모듈의 상태정보에 따라 상기 복수 개의 영상처리 모듈 각각에 연결된 버퍼 중에서 어느 하나를 선택하고, 상기 선택한 어느 하나의 버퍼에 저장된 영상 데이터를 출력할 수 있다.
또한, 상기 제어부는, 상기 복수 개의 영상처리 모듈로부터 상태정보를 수신하고, 상기 수신한 상태정보를 비교하여 영상처리 상태가 출력이 요구되는 영역에 관한 영상 데이터가 정상적으로 출력되는 정상 상태인지 여부를 판단할 수 있다.
또한, 상기 복수 개의 영상처리 모듈은, 영상 데이터에 대해 제1 영상처리 프로세스를 수행하는 제1 영상처리 모듈 및 상기 제1 영상처리 모듈로부터 출력된 영상 데이터에 대해 제2 영상처리 프로세스를 수행하는 제2 영상처리 모듈을 포함하고, 상기 제어부는, 상기 영상처리 상태가 비정상 상태인 것으로 판단되면, 상기 복수 개의 영상처리 모듈 각각에 연결된 버퍼 중에서, 상기 제1 영상처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼에서 출력이 요구되는 영역의 영상 데이터를 전달받아 출력할 수 있다.
또한, 상기 제어부는, 상기 복수 개의 영상처리 모듈의 상태정보를 이용하여 부하(workload)를 예측하고, 상기 예측한 부하를 기초로 영상처리 프로세스의 복잡도를 설정할 수 있다.
또한, 상기 복수 개의 영상처리 모듈과 연결되어, 상기 복수 개의 영상처리 모듈에 의해 처리된 영상 데이터를 입력 받아 저장하는 버퍼를 더 포함하고, 상기 제어부는, 상기 버퍼에 기 저장된 영상 데이터와 동일 영역에 해당하는 영상 데이터가 상기 복수 개의 영상처리 모듈 중 적어도 하나로부터 입력되면, 영상처리 정도에 따라 상기 버퍼에 기 저장된 영상 데이터를 상기 동일 영역에 해당하는 영상 데이터로 교체할지 여부를 결정할 수 있다.
또한, 상기 복수 개의 영상처리 모듈은, 서로 다른 영상처리 프로세스를 수행할 수 있다.
일 측에 따른 디스플레이 장치의 제어방법은, 복수 개의 영상처리 모듈의 상태정보에 따라, 상기 복수 개의 영상처리 모듈 중에서 어느 하나의 영상처리 모듈에 의해 처리된 영상 데이터를 출력하는 단계; 및 상기 출력된 영상 데이터를 표시하는 단계를 포함할 수 있다.
또한, 상기 복수 개의 영상처리 모듈 각각에는, 상기 복수 개의 영상 처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼가 연결되고, 상기 출력하는 단계는, 상기 복수 개의 영상처리 모듈의 상태정보에 따라 상기 복수 개의 영상처리 모듈 각각에 연결된 버퍼 중에서 어느 하나를 선택하고, 상기 선택한 어느 하나의 버퍼에 저장된 영상 데이터를 출력하는 단계를 더 포함할 수 있다.
또한, 상기 출력하는 단계는, 상기 복수 개의 영상처리 모듈로부터 상태정보를 수신하고, 상기 수신한 상태정보를 비교하여 영상처리 상태가 출력이 요구되는 영역에 관한 영상 데이터가 정상적으로 출력되는 정상 상태인지 여부를 판단하는 단계를 더 포함할 수 있다.
또한, 상기 복수 개의 영상처리 모듈은, 영상 데이터에 대해 제1 영상처리 프로세스를 수행하는 제1 영상처리 모듈 및 상기 제1 영상처리 모듈로부터 출력된 영상 데이터에 대해 제2 영상처리 프로세스를 수행하는 제2 영상처리 모듈을 포함하고, 상기 출력하는 단계는, 상기 영상처리 상태가 비정상 상태인 것으로 판단되면, 상기 복수 개의 영상처리 모듈 각각에 연결된 버퍼 중에서, 상기 제1 영상처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼에서 출력이 요구되는 영역의 영상 데이터를 전달받아 출력하는 단계를 더 포함할 수 있다.
또한, 상기 복수 개의 영상처리 모듈에는, 상기 복수 개의 영상처리 모듈에 의해 처리된 영상 데이터를 입력 받아 저장하는 버퍼가 연결되고, 상기 출력하는 단계는, 상기 버퍼에 기 저장된 영상 데이터와 동일 영역에 해당하는 영상 데이터가 상기 복수 개의 영상처리 모듈 중 적어도 하나로부터 입력되면, 영상처리 정도에 따라 상기 버퍼에 기 저장된 영상 데이터를 상기 동일 영역에 해당하는 영상 데이터로 교체할지 여부를 결정하는 단계를 더 포함할 수 있다.
일 실시예에 따른 영상처리 장치, 디스플레이 장치 및 그 제어방법에 의하면, 실시간 처리조건을 만족하지 못하는 경우에도 영상 데이터의 화질이 급감하는 것을 방지할 수 있다.
또 다른 일 실시예에 따른 영상처리 장치, 디스플레이 장치 및 그 제어방법에 의하면, 상태정보를 수집하여 생성한 이력정보를 이용하여 영상처리 프로세스를 설정함으로써, 연산의 과부하를 방지함과 동시에 효율적인 영상처리 프로세스가 수행되도록 한다.
도 1은 일 실시예에 따른 다양한 종류의 디스플레이 장치를 개략적으로 도시한 도면이다.
도 2는 일 실시예에 따른 영상처리 프로세스를 통해 영상 데이터의 화질을 향상시키는 경우를 설명하기 위한 도면이다.
도 3은 일 실시예에 따른 영상처리 장치의 제어 블록도를 개략적으로 도시한 도면이다.
도 4는 일 실시예에 따른 동작 흐름에 기초하여 영상처리 장치의 제어 블록도를 도시한 도면이다.
도 5는 라인 순으로 영상 데이터를 입력 받아, 영상처리를 수행하는 영상처리 장치의 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 실시간 처리조건을 만족하기 못하였을 때 발생되는 문제점을 설명하기 위한 도면이다.
도 7a, 도 7b, 및 도 7c는 일 실시예에 따른 영상처리 장치의 화질 개선을 설명하기 위한 도면이다.
도 8 및 도 9는 서로 다른 실시예에 따른 보조 버퍼가 별도로 마련된 영상처리 장치의 제어 블록도를 도시한 도면이다.
도 10은 일 실시예에 따른 보조 처리 모듈이 마련된 영상처리 장치의 제어 블록도를 도시한 도면이다.
도 11a, 및 도 11b는 서로 다른 실시예에 따른 하나의 버퍼를 포함하는 영상처리 장치의 제어 블록도를 도시한 도면이다.
도 12는 일 실시예에 따른 디스플레이 장치의 외관을 개략적으로 도시한 도면이다.
도 13a, 및 도 13b는 서로 다른 실시예에 따른 디스플레이 장치의 제어 블록도를 개략적으로 도시한 도면이다.
도 14는 일 실시예에 따른 영상처리 장치의 동작 흐름도를 도시한 도면이다.
도 15는 일 실시예에 따른 디스플레이 장치의 동작 흐름도를 도시한 도면이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 다양한 종류의 디스플레이 장치를 개략적으로 도시한 도면이고, 도 2는 일 실시예에 따른 영상처리 프로세스를 통해 영상 데이터의 화질을 향상시키는 경우를 설명하기 위한 도면이다. 이하에서는 설명의 중복을 방지하기 위해 함께 설명하도록 한다.
디스플레이 장치는 디스플레이 패널을 구비하여 다양한 포맷의 영상 데이터를 시각적으로 표시할 수 있는 장치를 의미한다. 예를 들어, 디스플레이 장치는 도 1에 도시된 바와 같이 텔레비전(Television, TV, A), 모니터(Monitor, B)뿐만 아니라, 스마트 폰(C)과 같이 디스플레이 패널을 통해 각종 영상 데이터를 표시하는 장치 전부를 포함한다.
또한, 디스플레이 장치는 PDP(Personal Digital Assistant), PMP(Portable Multimedia Player)와 같은 휴대용 멀티미디어 장치, 안경, 시계 형태의 웨어러블 디바이스(wearable device) 등과 같은 휴대용 통신장치 등 다양한 형태의 장치 전부를 포함한다. 이외에도, 디스플레이 장치는 프로세서가 내장되어 있어 각종 영상처리 프로세스가 가능하고, 디스플레이 패널이 마련되어 있어 영상 데이터를 시각적으로 표시할 수 있는 장치 전부를 포함하며, 구현 가능한 형태에는 제한이 없다.
한편, 디스플레이 장치에는 영상처리 장치가 내장되어 있어, 영상처리 프로세스를 수행할 수 있다. 도 2를 참조하면, 디스플레이 장치는 영상처리 장치를 통해 영상처리 프로세스(M)를 수행함으로써, 제1 영상 데이터(I1)로부터 화질이 향상된 제2 영상 데이터(I2)를 생성할 수 있다. 여기서, 제1 영상 데이터(I1)는 영상처리 프로세스(M)를 수행하기 전의 영상 데이터를 의미하고, 제2 영상 데이터(I2)는 영상처리 프로세스(M)를 수행한 후의 영상 데이터를 의미한다.
제1 영상 데이터(I1)와 제2 영상 데이터(I2)를 비교해보면, 제2 영상 데이터(I2)가 제1 영상 데이터(I1)보다 화질이 개선된 것을 확인할 수 있다. 이하에서 설명되는 영상처리 프로세스는 복호화(decoding) 등과 같은 영상 데이터의 전처리(pre-processing), 노이즈 저감, 콘트라스트 인헨스먼트(contrast enhancement), 디테일 인헨스먼트(detail enhancement), 컬러(color) 처리 등 일련의 화질 개선 처리를 수행하는 단계뿐만 아니라, 디스플레이 패널에 표시할 수 있도록 포맷을 변환하는 단계 등을 통칭한다.
예를 들어, 영상처리 프로세스(M)는 디테일 인헨스먼트 단계(E1), 콘트라스트 인헨스먼트 단계(E2), 및 컬러 처리 단계(E3) 중 적어도 하나를 포함할 수 있다. 다만, 영상처리 프로세스(M)가 전술한 단계로 한정되는 것은 아니고, 디스플레이 패널에 영상 데이터를 표시함에 있어 수행되는 일련의 처리 단계를 전부 포함할 수 있다.
한편, 영상처리 프로세스는 실시간 처리조건이 요구된다. 영상 데이터는 디스플레이 패널을 통해 실시간으로 표시된다. 이때, 영상 데이터를 실시간으로 표시하기 위해선, 영상처리 프로세스가 실시간으로 수행되어야 한다.
즉, 영상처리 프로세스에는 기 할당된 시간이 있으며, 할당된 시간 내에 처리가 완료되어야 한다. 다만, 영상처리 프로세스의 수행 시 다양한 요인으로 인해 완료까지 필요한 시간은 변동되므로, 실시간 처리 조건을 만족하기 어렵다.
실시간 처리조건을 만족하지 못해 데드라인 미스(deadline miss)가 발생된 경우, 즉, 영상처리 프로세스에 할당된 수행 시간이 초과된 경우, 디스플레이 상에 표시되는 영상에는 심각한 비주얼 아티팩트(visual artifact)가 발생될 수 있다.
실시예에 따른 영상처리 장치는 전술한 문제점을 해결하기 위해, 실시간 처리가 불가능한 경우에도 심각한 비주얼 아티팩트 발생 없이 화질을 최대한 보장할 수 있다. 이하에서는 영상처리 장치의 제어 블록도에 대해 설명하도록 한다.
도 3은 일 실시예에 따른 영상처리 장치의 제어 블록도를 개략적으로 도시한 도면이고, 도 4는 일 실시예에 따른 동작 흐름에 기초하여 영상처리 장치의 제어 블록도를 도시한 도면이다. 또한, 도 5는 라인 순으로 영상 데이터를 입력 받아, 영상처리를 수행하는 영상처리 장치의 동작을 설명하기 위한 도면이고, 도 6은 일 실시예에 따른 실시간 처리조건을 만족하기 못하였을 때 발생되는 문제점을 설명하기 위한 도면이다. 또한, 도 7a, 도 7b, 및 도 7c는 일 실시예에 따른 영상처리 장치의 화질 개선을 설명하기 위한 도면이고, 도 8 및 도 9는 서로 다른 실시예에 따른 보조 버퍼가 별도로 마련된 영상처리 장치의 제어 블록도를 도시한 도면이고, 도 10은 일 실시예에 따른 보조 처리 모듈이 마련된 영상처리 장치의 제어 블록도를 도시한 도면이고, 도 11a, 및 도 11b는 서로 다른 실시예에 따른 하나의 버퍼를 포함하는 영상처리 장치의 제어 블록도를 도시한 도면이다. 이하에서는 설명의 중복을 방지하기 위해 함께 설명하도록 한다.
도 3을 참조하면, 영상처리 장치(100)는 데이터 입력부(101), 버퍼(102), 영상처리 모듈(107), 판단부(111), 및 데이터 출력부(112)를 포함할 수 있다. 데이터 입력부(101), 버퍼(102), 영상처리 모듈(107), 판단부(111), 및 데이터 출력부(112) 중 적어도 하나는 영상처리 장치(100)에 마련된 시스템 온 칩(Sysyem On Chip, SOC)에 집적될 수 있다. 다만, 영상처리 장치(100)에 마련된 시스템 온 칩이 하나로 한정되는 것은 아니므로, 하나의 시스템 온 칩에 집적되는 것으로 한정되는 것은 아니다.
한편, 이하에서 설명되는 "~부(unit)", "~기", "~모듈(module)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어를 의미할 수 있다. 그러나, "~부", "~기", "~모듈" 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, "~부", "~기", "~모듈" 등은 접근할 수 있는 저장 매체에 저장되고 하나 또는 그 이상의 프로세서(processor)에 의하여 수행되는 구성일 수 있으며 제한은 없다.
데이터 입력부(101)는 영상 데이터를 입력 받을 수 있다. 예를 들어, 데이터 입력부(101)는 기 설정된 일정 타이밍에 따라 입력 단을 통해 영상 데이터를 입력 받을 수 있다.
또한, 데이터 입력부(101)는 입력 단을 통해 입력 받은 영상 데이터의 포맷을 변환할 수 있다. 일 실시예로, 데이터 입력부(101)는 영상처리 모듈(107)이 영상 처리를 수행할 수 있도록 복호화(decoding) 프로세스를 수행할 수 있는 등 제한은 없다.
입력 단은 외부의 다양한 영상공급원과 연결되거나 또는 영상처리 장치(1) 내에 메모리와 연결되어, 데이터 입력부(111)는 외부의 영상공급원으로부터 영상 데이터를 입력 받거나 또는 영상처리 장치(1)내 메모리에 자체적으로 저장된 영상 데이터를 입력 받을 수 있다. 여기서, 외부의 영상공급원은 외장 메모리, 외부 서버 등을 전부 포함한다. 또한, 입력 단은 후술할 디스플레이 장치(1, 도 13a) 내의 영상 처리부(150a), 컨텐츠 수신부(120), 및 통신부(140)와 직접 연결되거나 또는 제어부(170)와 연결될 수 있는 등 제한은 없다.
한편, 데이터 입력부(101)는 포맷을 변환한 영상 데이터를 제1 버퍼(103)에 저장할 수 있다. 그러면, 제1 영상처리 모듈(108)은 제1 버퍼(103)에 저장된 영상 데이터를 입력 받아 영상처리 프로세스를 수행할 수 있다. 제1 버퍼(103)에 저장된 영상 데이터는 제1 영상처리 모듈(108)에 순차적으로 입력되어, 영상처리 프로세스를 거치게 된다. 이에 따라, 영상처리 프로세스를 거친 영상 데이터는 순차적으로 출력되어 제2 버퍼(104)에 저장될 수 있다.
데이터 입력부(101)와의 관계에서, 제1 버퍼(103)는 데이터 입력부(101)로부터 출력되는 영상 데이터를 저장하는 출력 버퍼의 역할을 하면서, 제1 영상처리 모듈(108)과의 관계에서는 제1 영상처리 모듈(108)에 입력되는 영상 데이터를 저장하는 입력 버퍼의 역할을 한다. 버퍼(102), 및 영상처리 모듈(107)에 관한 구체적인 설명은 후술하도록 한다.
데이터 입력부(101)는 미리 설정된 순서에 따라 영상 데이터를 입력 받을 수 있다. 예를 들어, 데이터 입력부(101)는 라인(line) 순으로 영상 데이터를 입력 받을 수 있다.
영상 데이터는 디스플레이 패널을 구성하는 복수 개의 픽셀 상에 표시되며, 복수 개의 픽셀은 가로 라인 또는 세로 라인으로 분할될 수 있다. 예를 들어, 도 2에 도시된 제1 영상 데이터(I1)은 도 5에 도시된 바와 같이 15개의 라인으로 구성될 수 있으며, 각 라인의 영상 데이터는 순차적으로 데이터 입력부(101)에 입력될 수 있다. 또한, 데이터 입력부(101)는 입력 받은 순으로 영상 데이터를 출력하여 제1 버퍼(103)에 저장하고, 제1 영상처리 모듈(108)은 제1 버퍼(103)에 저장된 영상 데이터에 대해 순차적으로 영상처리 프로세스를 수행할 수 있다.
예를 들어, 데이터 입력부(101)는 1번째 라인의 영상 데이터부터 입력 받아, 15번째 라인의 영상 데이터까지 순차적으로 입력 받을 수 있다. 그러면, 데이터 입력부(101)는 1번째 라인의 영상 데이터부터 포맷 변환 등과 같은 일련의 처리 단계를 수행하여, 15번째 라인의 영상 데이터까지 수행할 수 있다. 데이터 입력부(101)는 1번째 라인의 영상 데이터부터 출력하여 제1 버퍼(103)에 저장할 수 있으며, 15번째 라인의 영상 데이터를 제1 버퍼(103)에 마지막으로 저장할 수 있다.
한편, 영상처리 장치(100)에는 버퍼(102)가 마련될 수 있다. 도 3을 참조하면, 버퍼(102)는 제1 버퍼(103), 제2 버퍼(104), 제3 버퍼(105), 및 제N 버퍼(N≥4, 106) 중 적어도 하나를 포함할 수 있다. 영상처리 모듈(107), 및 데이터 출력부(112) 중 적어도 하나와의 관계에서, 제1 버퍼(103), 제2 버퍼(104), 제3 버퍼(105), 및 제N 버퍼(N≥4, 106)는 입력 버퍼의 역할을 수행하면서, 출력 버퍼의 역할을 수행할 수 있다. 이에 대한 구체적인 설명은 후술하도록 한다.
이하에서는 설명의 편의상 버퍼(102)가 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)로 구성될 때에 대해 설명하기로 한다. 또한 이하에서는 설명의 편의상 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)을 구별하여 설명할 필요가 없는 경우 버퍼(102)로 통칭하기로 한다.
버퍼(102)에는 메모리가 마련되어, 각종 데이터가 저장될 수 있다. 예를 들어, 버퍼(102)에는 메모리가 마련되어, 영상처리 프로세스를 거친 영상 데이터가 저장될 수 있다. 이때, 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)의 저장 용량은 각각 기 설정될 수 있다. 예를 들어, 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)의 저장 용량은 같거나 또는 다르게 기 설정될 수 있다. 또한, 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)의 메모리에는 각각 메모리 어드레스가 미리 할당될 수 있다.
제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)에 관한 정보는 영상처리 장치(100)의 레지스터(register)에 기록될 수 있다. 이에 따라, 데이터 출력부(112)는 레지스터에 기록된 정보를 기초로 영상 데이터를 선택하여 읽어 들일 수 있다.
또는, 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)의 정보는 데이터 출력부(112)에 기 저장되어, 데이터 출력부(112)는 기 저장된 정보를 기초로 영상 데이터를 선택하여 읽어 들일 수도 있다. 일 실시예로, 데이터 출력부(112)는 메모리 어드레스를 이용하여 원하는 영상 데이터를 선택하고, 출력 단으로 선택한 영상 데이터를 출력할 수 있다. 데이터 출력부(112)에 관한 구체적인 설명은 후술하도록 한다.
이때, 버퍼(102)는 원형 버퍼(circular buffer)로 구현될 수 있다. 이에 따라, 버퍼(102)의 저장 용량이 차게 되면, 저장된 영상 데이터 중에서 가장 오래된 영상 데이터가 지워지고, 새롭게 입력되는 영상 데이터가 저장될 수 있다.
예를 들어, 제1 버퍼(103)에 3개 라인의 영상 데이터가 저장 가능한 경우, 메모리 어드레스 '0x000000'에는 1번째 라인의 영상 데이터가, '0x000010'에는 2번째 라인의 영상 데이터가, '0x001000'에는 3번째 라인의 영상 데이터가 저장될 수 있다. 이때, 데이터 입력부(101)에서 4번째 라인의 영상 데이터가 출력되면 '0x000000'에는 1번째 라인의 영상 데이터가 삭제되고, 4번째 라인의 영상 데이터가 저장될 수 있다.
제1 버퍼(103)는 전술한 바와 같이 데이터 입력부(101)와의 관계에서는 출력 버퍼의 역할을 수행하고, 제1 영상처리 모듈(108)과의 관계에서는 입력 버퍼의 역할을 수행할 수 있다.
또한, 제1 영상처리 모듈(108)과의 관계에서, 제2 버퍼(104)는 제1 영상처리 모듈(108)로부터 제1 영상처리 단계를 거친 영상 데이터를 출력 받는 출력 버퍼의 역할을 수행할 수 있다. 또한, 제2 영상처리 모듈(109)과의 관계에서, 제2 버퍼(104)는 제2 영상처리 모듈(109)로 입력되는 영상 데이터를 저장하는 입력 버퍼의 역할을 수행할 수 있다.
제2 영상처리 모듈(109)과의 관계에서, 제3 버퍼(105)는 제2 영상처리 모듈(109)로부터 제2 영상처리 프로세스를 거친 영상 데이터를 출력 받아 저장하는 출력 버퍼의 역할을 수행할 수 있다. 또한, 데이터 출력부(112)과의 관계에서, 제3 버퍼(105)는 데이터 출력부(112)가 출력 단으로 출력하는 영상 데이터를 저장하고 있는 입력 버퍼의 역할을 수행할 수 있다.
한편, 영상처리 장치(100)에는 영상처리 모듈(107)이 마련될 수 있다. 이때, 영상처리 모듈(107)은 제1 영상처리 모듈(108), 제2 영상처리 모듈(109), 및 제M 영상처리 모듈(M≥3, 110) 중 적어도 하나를 포함할 수 있으나, 영상처리 모듈의 개수가 전술한 예로 한정되는 것은 아니며 제한은 없다. 이하에서는 설명의 편의상 영상처리 모듈(107)이 제1 영상처리 모듈(108), 및 제2 영상처리 모듈(109)로 구성된 경우에 대해 설명하기로 한다.
이하에서 제1 영상처리 모듈(108)이 수행하는 영상처리 프로세스를 제1 영상처리 프로세스라 하고, 제1 영상처리 프로세스를 거친 영상 데이터를 제1 영상 데이터라 하기로 한다. 또한, 제2 영상처리 모듈(109)이 수행하는 영상처리 프로세스를 제2 영상처리 프로세스라 하고, 제2 영상처리 프로세스를 거친 영상 데이터를 제2 영상 데이터라 하기로 한다. 다만, 제1 영상처리 프로세스와 제2 영상처리 프로세스를 특별히 구분할 필요가 없는 경우에는 영상처리 프로세스라 하기로 한다.
제1 영상처리 모듈(108)은 제1 영상처리 프로세스를 수행하여 제1 영상 데이터를 출력하고, 제2 영상처리 모듈(109)은 제1 영상 데이터에 대해 제2 영상처리 프로세스를 수행하여 제2 영상 데이터를 출력함으로써, 영상 데이터의 화질은 점진적으로 향상될 수 있다. 즉, 복수 개의 영상처리 프로세스를 순차적으로 거침에 따라, 영상 데이터의 화질은 점진적으로 개선된다.
다만, 영상 데이터는 디스플레이 패널 상에 실시간으로 표시되기 때문에 영상처리 프로세스 또한 짧은 시간 내에 수행되어야 하며, 데이터 출력부(112)는 기 설정된 타이밍에 따라 영상 데이터를 출력한다.
기존에는 영상처리 장치가 x(x≥1)번째 라인의 영상 데이터를 출력해야 하는 타이밍에서 x번째 라인의 영상 데이터가 영상처리 모듈로부터 출력되지 않았더라도, 최종 출력버퍼, 예를 들어 제3 버퍼(105)에 저장된 영상 데이터를 계속 출력하게 된다. 이에 따라, 디스플레이 패널 상에는 동일한 영역에 관한 영상이 중복적으로 표시되어, 도 6에 도시된 바와 같이 심각한 비주얼 아티팩트가 초래된다.
이에 반해, x(x≥1)번째 라인의 영상 데이터의 출력이 요구되는 타이밍에서 x번째 라인의 영상 데이터가 제2 영상처리 모듈(109)로부터 출력되지 않았으면, 실시예에 따른 데이터 출력부(112)는 제1 영상처리 프로세스만이 수행된 영상 데이터가 저장된 버퍼, 예를 들어 제2 버퍼(104)에 저장된 x번째 라인의 영상 데이터를 출력함으로써, 비주얼 아티팩트를 방지할 수 있다. 이에 관한 구체적인 설명은 후술하도록 한다.
영상처리 모듈(107)은 출력 단에서 요구되는 포맷에 적합하도록 영상 데이터의 포맷을 변환하는 영상처리 프로세스를 수행할 수 있으며, 이외에도 화질 개선을 위한 영상처리 프로세스를 수행할 수 있다.
이때, 영상처리 모듈(107)은 모든 영역에 관한 영상 데이터에 대해 영상처리 프로세스를 수행할 수 있다. 또는, 영상처리 모듈(107)은 특정 영역에 대한 영상 데이터에 대해서만 화질개선을 위한 영상처리 프로세스를 수행할 수도 있다. 이때, 특정 영역은 화질 향상이 요구되는 관심 영역에 대응될 수 있으며, 영상처리 모듈(170)은 특정 영역 외의 영역에 대한 영상 데이터에 대해서는 포맷 변환 프로세스만 수행할 수 있는 등 제한은 없다.
제1 영상처리 모듈(108)의 제1 영상처리 프로세스가 완료되면, 제2 영상처리 모듈(109)은 제2 버퍼(104)에 저장된 제1 영상 데이터를 입력 받아 제2 영상처리 프로세스를 수행한다. 화질 개선이 요구되는 관심 영역이 커질수록 연산 요구량이 높아져 지연 발생 가능성 또한 높아지며, 실시간 처리조건을 만족하지 못할 가능성도 높아진다. 따라서, 화질이 보다 높은 영상을 재현하고자 하는 경우, 실시간 처리조건을 위반할 가능성이 높아지게 되며, 비주얼 아티팩트가 발생될 확률 또한 높아진다. 이하에서는 실시간 처리조건을 만족하는지 여부를 판단하는 판단부(111)에 대해 설명하도록 한다.
실시예에 따른 영상처리 장치(100)에는 판단부(111)가 마련될 수 있다.
판단부(111)는 영상처리 장치(100) 내의 구성요소의 상태정보를 전달 받아, 영상처리 상태가 정상적인지 여부를 판단할 수 있다. 여기서, 상태정보는 영상처리 장치(100) 내의 구성요소의 상태를 파악할 수 있는 정보로써, 버퍼(102)의 저장정보, 영상처리 모듈(107)에 입력되는 영상 데이터에 관한 정보, 영상처리 모듈(107)에서 출력되는 영상 데이터에 관한 정보, 영상처리 결과, 영상처리 모듈(107)의 진행현황에 관한 정보, 처리속도에 관한 정보 등을 포함한다.
예를 들어, 데이터 입력부(101), 제1 영상처리 모듈(108), 및 제2 영상처리 모듈(109) 각각은 상태정보를 영상처리 장치(100)의 레지스터에 기록할 수 있다. 그러면, 판단부(111)는 상태정보를 전달 받고, 각 구성요소 간의 상태정보를 비교하여 영상 처리상태를 판단할 수 있다.
예를 들어, 판단부(111)는 영상처리 모듈(107)과 연결되어, 영상처리 모듈(107)의 상태정보를 전달 받을 수 있으며, 상태정보를 비교하여 영상 처리 상태가 정상적인지 여부를 판단할 수 있다. 다시 말해서, 판단부(111)는 실시간 처리조건을 만족하고 있는지 여부를 판단할 수 있다.
이때, 판단부(111)는 지속적으로 상태정보를 업데이트할 수 있다. 그러면, 판단부(111)는 미리 설정된 주기에 따라 영상처리 결과를 비교하여, 정상처리 상태인지 즉 실시간 처리 조건을 만족하고 있는지 여부를 판단할 수 있다.
예를 들어, 판단부(111)는 상태정보를 기초로 제1 영상처리 모듈(108), 제2 영상처리 모듈(109)이 각각 몇 번째 라인의 영상 데이터에 대해 영상처리 프로세스가 수행 중인지, 몇 번째 라인의 영상 데이터가 입력 대기 중인지, 몇 번째 라인의 영상 데이터까지 출력되었는지 여부 등을 파악할 수 있다. 또한, 판단부(111)는 파악한 결과와 데이터 출력부(112)를 통해 출력이 요구되는 영상 데이터가 몇 번째 라인의 영상 데이터인지를 비교하여 실시간 처리조건을 만족하고 있는지 여부를 판단할 수 있다.
일 실시예로, y번째 라인의 영상 데이터의 출력이 요구되는 타이밍에서, 제3 버퍼(105)에 y번째 라인의 영상 데이터가 저장되어 있으면, 판단부(111)는 실시간 처리조건을 만족하는 것으로 즉, 정상처리 상태인 것으로 판단할 수 있다.
다른 실시예로, z번째 라인의 영상 데이터의 출력이 요구되는 타이밍에서, 제3 버퍼(105)에 z-1번째 라인의 영상 데이터까지 저장된 경우, 판단부(111)는 실시간 처리조건을 만족하지 못하는 것으로 즉, 정상적인 처리 상태가 아닌 것으로 판단할 수 있다. 이때, 판단부(111)는 제1 버퍼(103), 및 제2 버퍼(104)에 z번째 라인의 영상 데이터가 저장되어있는지 여부를 판단할 수 있다. 판단부(111)는 판단 결과를 데이터 출력부(112)에 전달하고, 데이터 출력부(112)는 판단 결과에 기초하여 제1 버퍼(103), 및 제2 버퍼(104) 중 어느 하나로부터 z번째 라인의 영상 데이터를 전달 받아 출력할 수 있다. 이하에서는 데이터 출력부(112)에 대해 설명하도록 한다.
데이터 출력부(112)는 판단 결과에 기초하여 복수 개의 버퍼 중에서 적어도 하나에 저장된 영상 데이터를 선택하고, 선택한 영상 데이터를 전달 받아 출력할 수 있다. 예를 들어, 데이터 출력부(112)는 도 3 및 도 4에 도시된 바와 같이, 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)와 연결될 수 있다. 이에 따라, 데이터 출력부(112)는 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105) 중 적어도 하나에 저장된 영상 데이터를 읽어, 출력 단으로 출력할 수 있다.
데이터 출력부(112)는 다른 영상처리 장치에 연결되거나 또는 후술할 바와 같이 디스플레이 장치(1, 도 13a)의 제어부(170, 도 13a)에 연결되거나 또는 디스플레이 패널(20, 도 13a)에 연결될 수 있는 등 구현 가능한 형태에는 제한은 없다.
도 5를 참조하면, 4번째 라인의 영상 데이터를 출력해야 되는 타이밍에서, 제3 버퍼(105)에는 4번째 라인의 영상 데이터가 저장되지 않을 수 있다. 판단부(111)는 상태정보를 기초로 제1 버퍼(103) 및 제2 버퍼(104)에 4번째 라인의 영상 데이터가 저장되어 있음을 판단할 수 있다. 판단부(111)는 데이터 출력부(112)에 판단결과에 관한 정보로써, 실시간 처리조건 위반에 관한 정보, 및 버퍼(103, 104, 105)에 저장된 영상 데이터에 관한 정보 등을 전달할 수 있다. 데이터 출력부(112)는 제1 버퍼(103)에 저장된 4번째 라인의 영상 데이터보다 화질이 개선된 제2 버퍼(104)에 저장된 4번째 라인의 영상 데이터를 전달 받아, 출력 단을 통해 출력할 수 있다.
실시예에 따른 데이터 출력부(112)는 영상처리 상태에 판단결과에 기초하여 동일 라인의 영상 데이터 중에서 화질이 가장 개선된 영상 데이터를 선택할 수 있다.
예를 들어, 기 할당된 시간 내에 제1 버퍼(103), 제2 버퍼(104), 및 제3 버퍼(105)에 u번째 라인의 영상 데이터가 저장되어 있는 경우, 실시예에 따른 데이터 출력부(112)는 제3 버퍼(105)에 저장된 u 번째 라인의 영상 데이터를 선택하여 출력할 수 있다. 또 다른 예로, 기 할당된 시간 내에 제1 버퍼(103), 제2 버퍼(104)에만 u 번째 라인의 영상 데이터가 저장되어 있는 경우, 실시예에 따른 데이터 출력부(112)는 제2 버퍼(104)에 저장된 u 번째 라인의 영상 데이터를 선택하여 출력할 수 있다.
또 다른 예로, 기 할당된 시간 내에 제1 버퍼(103)에만 u 번째 라인의 영상 데이터가 저장되어 있는 경우, 실시예에 따른 데이터 출력부(112)는 제1 버퍼(103)에 저장된 u 번째 라인의 영상 데이터를 선택하여 출력할 수 있다.
즉, 실시예에 따른 영상처리 장치(100)에는 데이터 입력부(101), 제1, 및 제2 영상처리 모듈(108, 109) 중 적어도 하나와 연결된 판단부(111)가 마련되어, 데이터 입력부(101), 제1, 및 제2 영상처리 모듈(108, 109)의 상태정보를 지속적으로 전달 받아, 영상처리 상태를 판단할 수 있다. 또한, 실시예에 따른 영상처리 장치(100)에는 제1, 제2, 및 제3 버퍼(103, 104, 105)와 연결된 데이터 출력부(112)가 마련되어, 판단 결과를 기초로 제1, 제2, 및 제3 버퍼(103, 104, 105) 중에 어느 하나에 저장된 영상 데이터를 선택하여 출력할 수 있다. 이에 따라, 실시예에 따른 영상처리 장치(100)는 실시간 처리조건을 만족함과 동시에, 비주얼 아티팩트를 방지할 수 있다.
도 7a는 비주얼 아티팩트가 발생되었을 때의 영상 퀄리티의 변화를 설명하기 위한 도면이다. 도 7a를 참조하면, 비주얼 아티팩트가 발생되면, 영상 퀄리티는 영상처리 프로세스를 수행하기 전보다 오히려 떨어질 수 있다.
실시예에 따른 데이터 출력부(112)는 실시간 처리조건을 만족하지 못한 경우에도 제1 버퍼(103)에 있는 영상 데이터를 출력함으로써 도 7b에 도시된 바와 같이 비주얼 아티팩트의 발생을 방지할 수 있다. 또한, 실시예에 따른 데이터 출력부(112)는 실시간 처리조건을 만족하지 못한 경우에도 제2 버퍼(104)에 있는 영상 데이터를 출력함으로써 도 7c에 도시된 바와 같이 끊김 없는 영상 데이터를 제공할 수 있다.
한편, 판단부(111), 또는 데이터 출력부(112)는 상태정보, 및 처리상태에 관한 판단정보 등을 수집하여 데이터베이스에 저장할 수 있다. 여기서, 데이터베이스는 메모리로 구현될 수 있다. 데이터베이스가 영상처리 장치(100) 내에 존재하는 것으로 한정되는 것은 아니고, 통신망을 통해 외부 서버 등에 마련될 수도 있는 등 제한은 없다.
예를 들어, 데이터베이스에는 영상처리 이력정보가 기록된 로그(log) 파일이 저장될 수 있다. 로그 파일에는 버퍼(107)의 저장률, 영상처리 모듈(107)의 진행현황, 처리속도 등과 같은 상태정보, 판단부(111)의 판단정보 등과 같은 각종 영상처리 이력정보가 저장될 수 있다.
이에 따라, 영상처리 장치(100)의 처리부는 데이터베이스에 저장된 데이터를 분석하여, 입력되는 영상 데이터에 따른 부하(workload)를 예측할 수 있다. 또한, 영상처리 장치(100)의 처리부는 예측 결과를 기초로 영상처리 프로세스의 복잡도를 설정할 수 있다. 예를 들어, 영상처리 장치(100)의 처리부는 예측되는 부하가 높고, 버퍼(107)의 용량이 낮을수록, 영상처리 프로세스의 복잡도를 낮게 설정할 수 있다.
즉, 실시예에 따른 영상처리 장치(100)는 단순히 영상 데이터의 화질의 급감을 방지할 뿐만 아니라, 보다 효율적으로 영상처리 장치(100) 내의 자원을 관리함으로써, 영상의 안정적인 재생이 가능하다.
전술한 부하 예측 및 복잡도 설정 등과 같은 동작은 처리부 외에, 판단부(111) 또는 데이터 출력부(112)가 수행할 수도 있으며, 구현 가능한 형태에는 제한이 없다.
한편, 실시예에 따른 영상처리 장치(100)의 구현 형태가 전술한 예로 한정되는 것은 아니다.
예를 들어, 실시예에 따른 영상처리 장치(100)에는 최종 출력 버퍼, 일 예로 제3 버퍼(105) 외에 별도의 보조 버퍼가 마련되어, 별도의 보조 버퍼는 최종 출력 버퍼의 대안으로써 이용될 수 있다.
일 실시예로, 실시예에 따른 영상처리 장치(100)에는 도 8에 도시된 바와 같이 별도의 제4 버퍼(113)가 마련되어, 제3 버퍼(103)의 대안으로 이용될 수 있다.
도 8을 참조하면, 제4 버퍼(113)는 제1 영상처리 모듈(108)와 데이터 출력부(112) 사이에 연결될 수 있다. 제1 영상처리 모듈(108)은 영상 데이터를 출력하여, 제2 버퍼(104)와 제4 버퍼(113)에 각각 저장할 수 있다.
실시간 처리조건을 만족하지 못한 경우, 제2 영상처리 프로세스가 수행되기 이전 단, 즉 제2 버퍼(104)에 출력이 요구되는 영상 데이터가 존재할 확률이 높을 수 있다. 또한, 제2 버퍼(104)와 제1 버퍼(103)에 동일 라인의 영상 데이터가 저장되어 있는 경우, 제2 버퍼(104)에 저장된 영상 데이터가 제1 버퍼(103)에 저장된 동일 라인의 영상 데이터보다 화질이 높다. 따라서, 실시예에 따른 제1 영상처리 모듈(108)은 출력되는 영상 데이터를 제2 버퍼(102)와, 제4 버퍼(113)에 동시에 저장하여, 제4 버퍼(113)에 출력이 요구되는 영상 데이터가 없으면, 데이터 출력부(112)는 제3 버퍼(105)에 저장된 영상 데이터를 출력할 수 있다.
이때, 제2 버퍼(104)에 저장된 영상 데이터는 제2 영상처리 모듈(109)에 입력되는 데에만 이용되며, 제1 버퍼(103)에 저장된 영상 데이터는 제1 영상처리 모듈(108)에 입력되는 데에만 이용될 수 있다. 따라서, 제1 버퍼(103), 및 제2 버퍼(104)는 데이터 출력부(112)와 연결이 요구되지 않으며, 판단부(111) 또한 제1 영상처리 모듈(108)과의 연결이 요구되지 않는다. 이에 따라, 실시예에 따른 판단부(111)는 보다 저 연산으로 판단 결과를 도출할 수 있으며, 영상처리 장치(100)의 설계 또한 보다 간편해진다는 장점이 있다.
또한, 데이터 출력부(112)는 도 9에 도시된 바와 같이, 제3 버퍼(105), 및 제4 버퍼(113) 외에, 제1 버퍼(103)와도 연결될 수 있다. 이에 따라, 데이터 출력부(112)는 제3 버퍼(105), 및 제4 버퍼(113). 및 제1 버퍼(103) 중 어느 하나에서 영상 데이터를 선택하여 출력할 수 있는 등 구현 가능한 형태에는 제한이 없다.
즉, 도 8에 도시된 영상처리 장치(100)는 제3 버퍼(105)의 대안으로써, 제4 버퍼(113) 만을 이용한다면, 도 9에 도시된 영상처리 장치(100)는 제3 버퍼(105)의 대안으로써, 제1 버퍼(103)와 제4 버퍼(113)를 함께 이용할 수 있다.
도 10을 참조하면, 영상처리 장치(100)는 보조 처리 모듈(114)을 더 포함할 수도 있다.
제1 버퍼(103), 및 제2 버퍼(104) 각각에 저장된 영상 데이터는 출력 단에서 요구되는 포맷에 적합하지 않을 수 있다. 예를 들어, 제1 버퍼(103), 및 제2 버퍼(104) 각각에 저장된 영상 데이터는 출력 단에서 요구되는 색 공간(color space) 포맷과 다른 색 공간 포맷으로 구성될 수 있으며, 출력 단에서 요구되는 해상도와 다른 해상도로 구성될 수 있다.
제1 버퍼(103), 및 제2 버퍼(104) 중 적어도 하나에 저장된 영상 데이터를 출력하고자 하는 경우, 보조 처리 모듈(114)은 출력하고자 하는 영상 데이터를 읽어 들인 다음, 출력 단에서 요구되는 포맷으로 변환시키는 보조 영상처리 프로세스를 수행할 수 있다. 예를 들어, 보조 처리 모듈(114)은 전술한 바와 같이 색 공간을 변환시키거나 또는 업/다운 스케일링(up/down scaling) 등과 같이 해상도를 변환시키는 프로세스 등을 수행할 수 있다.
한편, 보조 처리 모듈(114)의 동작은 데이터 출력부(112)가 수행할 수도 있으며, 도 10에 도시된 바와 같이 보조 처리 모듈(114)이 별도로 존재하는 것으로 한정되는 것은 아니다.
실시예예 따른 영상처리 장치(100)의 구현 형태가 복수 개의 버퍼를 포함하는 것으로 한정되는 것은 아니다. 예를 들어, 영상처리 장치(100)에는 도 11a에 도시된 바와 같이 하나의 버퍼(102a)가 마련될 수 있다.
버퍼(102a)는 데이터 입력부(101), 및 제1 영상처리 모듈(108)와 연결될 수 있다. 버퍼(102a)는 데이터 입력부(101) 및 제1 영상처리 모듈(108)로부터 영상 데이터를 입력 받아 저장할 수 있다.
이때, 버퍼(102a)에는 데이터 입력부(101), 및 제1 영상처리 모듈(108)로부터 동일 영역에 관한 영상 데이터가 입력될 수 있다. 이때, 버퍼(102a)는 영상처리 정도, 즉 화질 개선 정도에 따라 저장되는 영상 데이터가 교체, 또는 대체될 수 있다.
예를 들어, 데이터 입력부(101)로부터 입력된 f번째 라인의 영상 데이터가 버퍼(102a)에 기 저장된 상태에서, 제1 영상처리 모듈(108)에 의해 처리된 f번째 라인의 영상 데이터가 버퍼(102a)로 입력될 수 있다. 이때, 데이터 입력부(101) 로부터 입력된 f번째 라인의 영상 데이터는 버퍼(102a)에서 삭제되고, 제1 영상처리 모듈(108)에 의해 처리된 f번째 라인의 영상 데이터가 버퍼(102a)에 저장될 수 있다. 이에 따라, f번째 라인의 영상 데이터의 출력이 요구되는 타이밍에서 제2 영상처리 모듈(109)로부터 f번째 라인의 영상 데이터가 출력이 가능한지 여부에 따라, 데이터 출력부(112)는 제2 영상처리 모듈(109) 또는 버퍼(102a) 중 어느 하나에서 선택적으로 영상 데이터를 전달 받아 출력할 수 있다.
또한, 영상처리 장치에는 도 11b에 도시된 바와 같이, 데이터 입력부(101), 제1 영상처리 모듈(108), 및 제2 영상처리 모듈(109)과 연결된 하나의 버퍼(102b)가 마련될 수 있다.
버퍼(102b)는 데이터 입력부(101), 제1 영상처리 모듈(108), 및 제2 영상처리 모듈(109)로부터 출력된 영상 데이터를 저장할 수 있다. 이때, 버퍼(102b)에는 데이터 입력부(101), 제1 영상처리 모듈(108), 및 제2 영상처리 모듈(109)로부터 동일 영역에 관한 영상 데이터가 입력될 수 있으며, 영상처리 정도에 따라 저장되는 영상 데이터가 교체될 수 있다.
예를 들어, 제1 영상처리 모듈(108)로부터 입력된 g번째 라인의 영상 데이터가 버퍼(102b)에 기 저장된 상태에서, 제2 영상처리 모듈(109)로부터 생성된 g번째 라인의 영상 데이터가 버퍼(102b)로 입력될 수 있다. 이때, 제1 영상처리 모듈(108)로부터 입력된 g번째 라인의 영상 데이터는 버퍼(102b)에서 삭제되고, 제2 영상처리 모듈(109)에 의해 처리된 g번째 라인의 영상 데이터가 버퍼(102b)에 저장될 수 있다. 즉, 버퍼(102b)에 연결된 모든 영상 데이터가 저장되는 것은 아니며, 버퍼(102b)에 저장되는 영상 데이터는 영상처리 정도에 따라 교체될 수 있다. 이에 따라, 실시에예 따른 영상처리 장치(100)는 버퍼(102b)의 부하를 효율적으로 제어할 수 있을 뿐만 아니라, 빠른 출력이 요구되는 타이밍에 대처할 수 있다. 저장된 영상 데이터를 교체할 지 여부는 데이터 출력부(112) 또는 판단부(111)가 결정할 수 있고, 버퍼(102b)에서 자체적으로 결정할 수도 있는 등 제한은 없다.
이하에서는 디스플레이 장치의 일 예 중 하나로써, 도 12에 도시된 형태를 예로 들어 설명하도록 하나, 후술할 실시예들이 이에 한정되는 것은 아니고, 디스플레이 패널을 구비하여 사용자에게 각종 영상을 시각적으로 제공할 수 있는 장치라면, 형태에 관계없이 후술할 실시예들이 적용될 수 있다.
도 12는 일 실시예에 따른 디스플레이 장치의 외관을 개략적으로 도시한 도면이고, 도 13a, 및 도 13b는 서로 다른 실시예에 따른 디스플레이 장치의 제어 블록도를 개략적으로 도시한 도면이다. 이하에서는 설명의 중복을 방지하기 위해 함께 설명하도록 한다.
도 12을 참조하면, 디스플레이 장치(1)는 디스플레이 장치(1)의 외관을 형성하며 디스플레이 장치(1)를 구성하는 각종 구성 부품을 수용하는 본체(10) 및 사용자에게 영상을 표시하는 디스플레이 패널(20)을 포함할 수 있다.
한편, 도 12에 도시된 디스플레이 장치(1)는 지지방식에 따라 스탠드형 또는 벽걸이형으로 구현될 수 있다. 일 실시예에 따르면, 본체(10)는 브라켓 등을 통해 벽면 등의 수직면에 설치되는 벽걸이형으로 구현될 수 있다. 또 다른 실시예로, 본체(10)의 하부에는 본체(10)를 지지하는 스탠드가 마련될 수 있다. 스탠드에 의하여 본체(10)는 평면 상에 안정적으로 배치될 수 있다.
본체(10)의 전면에는 사용자로부터 각종 제어 명령을 입력 받는 버튼 그룹과 사용자 제어 명령에 따라 영상을 표시하는 디스플레이 패널(20)이 마련될 수 있다.
또한, 본체(10)의 내부에는 디스플레이 장치(1)의 기능을 실현하기 위한 각종 구성 부품이 마련될 수 있다. 이하에서는 디스플레이 장치(1)의 제어 블록도에 대해 살펴보도록 한다.
도 13a를 참조하면, 디스플레이 장치(1)는 사용자로부터 각종 제어 명령을 입력 받는 입력부(118), 외부 장치로부터 영상 및 음향을 포함하는 컨텐츠를 수신하는 컨텐츠 수신부(120), 컨텐츠에 포함된 음향 데이터에 대응하는 음향을 출력하는 음향 출력부(130), 통신망을 통해 컨텐츠 등과 같은 각종 데이터를 송수신하는 통신부(140), 컨텐츠에 포함된 영상 데이터를 처리하는 영상 처리부(150)와 영상처리 장치(100), 컨텐츠에 포함된 영상 데이터에 대응하는 영상을 표시하는 표시부(160), 및 디스플레이 장치(1)의 동작을 총괄 제어하는 제어부(170)를 포함한다.
컨텐츠 수신부(120), 통신부(140), 영상 처리부(150), 영상처리 장치(100), 및 제어부(170) 중 적어도 하나는 디스플레이 장치(1)에 내장된 시스템 온 칩(System On Chip, SOC)에 집적될 수 있다. 다만, 디스플레이 장치(1)에 내장된 시스템 온 칩이 하나만 존재하는 것은 아닐 수 있으므로, 하나의 시스템 온 칩에 집적되는 것으로 한정되는 것은 아니다.
입력부(118)는 사용자로부터 각종 제어 명령을 입력 받을 수 있다.
예를 들어, 입력부(118)는 도 13a에 도시된 바와 같이, 버튼 그룹(119)을 포함할 수 있다. 일 실시예로, 버튼 그룹(119)은 음향 출력부(130)로부터 출력되는 음향의 크기를 조절하는 볼륨 버튼, 컨텐츠 수신부(120)에 의해 수신하는 통신 채널을 변경하는 채널 버튼, 디스플레이 장치(1)의 전원을 온/오프하는 전원 버튼 등을 포함할 수 있다. 이외에도, 입력부(118)는 전술한 버튼 그룹(119)을 통해 디스플레이 장치(1)에 관한 각종 제어 명령을 사용자로부터 입력 받을 수 있으며, 제한은 없다.
한편, 버튼 그룹(119)에 포함된 각종 버튼은 사용자의 가압을 감지하는 푸쉬 스위치(push switch)와 멤브레인 스위치(membrane) 또는 사용자의 신체 일부의 접촉을 감지하는 터치 스위치(touch switch) 등을 채용할 수 있다. 다만, 이에 한정되는 것은 아니며, 버튼 그룹(119)은 사용자의 특정한 동작에 대응하여 전기적 신호를 출력할 수 있는 다양한 입력 수단을 채용할 수 있다.
또한, 입력부(118)는 원격에서 사용자로부터 제어 명령을 입력 받고, 입력 받는 사용자 제어 명령을 디스플레이 장치(1)에 전송하는 원격 컨트롤러를 포함할 수 있다. 이외에도, 입력부(118)는 사용자로부터 제어 명령을 입력 받을 수 있는 기 공지된 다양한 구성 요소를 포함할 수 있으며, 제한은 없다. 또한, 디스플레이 패널(20)이 터치 스크린 타입으로 구현된 경우, 디스플레이 패널 (20)이 입력부(118)의 기능을 수행할 수도 있다.
예를 들어, 입력부(118)는 전술한 버튼 그룹(119), 원격 컨트롤러, 또는 터치 스크린 타입으로 구현된 디스플레이 패널(20) 등을 통해 사용자로부터 디스플레이 장치(1)에 관한 제어 명령을 입력 받을 수 있다. 이에 따라, 입력부(118)는 입력 받은 제어 명령을 제어부(170)에 전달할 수 있으며, 제어부(170)는 제어 신호를 통해 디스플레이 장치(1)의 구성 요소 중 적어도 하나를 제어할 수 있다. 제어부(170)에 관한 구체적인 설명은 후술하도록 한다.
컨텐츠 수신부(120)는 다양한 외부 장치로부터 각종 컨텐츠를 수신할 수 있다. 예를 들어, 컨텐츠 수신부(120)는 무선으로 방송 신호를 수신하는 안테나, 유선 또는 무선으로 방송 신호를 수신하고, 수신된 방송 신호를 적절히 변환하는 셋톱 박스(set top box), 멀티 미디어 저장 매체에 저장된 컨텐츠를 재생하는 멀티 미디어 재생 장치(예를 들어, DVD 플레이어, CD 플레이어, 블루레이 플레이어 등) 등으로부터 컨텐츠를 수신할 수 있다.
구체적으로, 컨텐츠 수신부(120)는 외부 장치와 연결되는 복수의 커넥터(121), 복수의 커넥터(121) 가운데 컨텐츠를 수신할 경로를 선택하는 수신 경로 선택부(123), 방송 신호를 수신함에 있어 방송 신호를 수신하기 위한 채널(또는 주파수)을 선택하는 튜너(tuner, 125) 등을 포함할 수 있다.
커넥터(121)는 안테나로부터 컨텐츠가 포함된 방송 신호를 수신하는 동축 케이블 커넥터(RF coaxial cable connector), 셋톱 박스 또는 멀티 미디어 재생 장치로부터 컨텐츠를 수신하는 고선명 멀티미디어 인터페이스(High Definition Multimedia Interface: HDMI) 커넥터, 컴포넌트 비디오 커넥터(component video connector), 컴포지트 비디오 커넥터(composite video connector), 디-서브(D-sub) 커넥터 등을 포함할 수 있다.
수신 경로 선택부(123)는 전술한 복수의 커넥터(121) 가운데 컨텐츠를 수신할 커넥터를 선택한다. 예를 들어, 수신 경로 선택부(123)는 컨텐츠가 수신된 커넥터(121)를 자동으로 선택하거나, 사용자의 제어 명령에 따라 컨텐츠를 수신할 커넥터(121)를 수동으로 선택할 수 있다.
튜너(125)는 방송 신호를 수신하는 경우 안테나 등을 통해 수신되는 각종 신호 가운데 특정한 주파수(채널)의 전송 신호를 추출한다. 다시 말해, 튜너(125)는 사용자의 채널 선택 명령에 따라 컨텐츠를 수신하기 위한 채널(또는 주파수)을 선택할 수 있다.
튜너(125)를 통해 선택된 채널에 관한 영상 데이터가 수신되면, 영상 처리부(150)로 전달될 수 있다. 이에 따라, 영상 처리부(150a) 및 영상처리 장치(100) 중 적어도 하나는 영상 데이터로부터 영상처리 프로세스를 통해 컬러 데이터, 영상 제어신호 등을 획득할 수 있으며, 표시부(160)는 이를 기초로 디스플레이 패널(20) 상에 영상을 복원할 수 있다.
또한, 디스플레이 장치(1)에는 음향 출력부(130)가 마련될 수 있다.
음향 출력부(130)는 제어부(170)의 제어 신호에 따라 컨텐츠 수신부(120)로부터 음향 데이터를 전달 받아, 음향을 출력할 수 있다. 이때, 음향 출력부(130)는 전기적 신호를 음향 신호로 변환하는 하나 또는 2이상의 스피커(131)를 포함할 수 있다.
한편, 디스플레이 장치(1)에는 도 13a에 도시된 바와 같이 통신부(140)가 마련될 수 있다. 통신부(140)는 무선 통신방식을 지원하는 무선 통신모듈(141), 및 유선 통신방식을 지원하는 유선 통신모듈(143)을 포함하여, 다양한 통신방식을 지원할 수 있다.
통신방식은 무선 통신방식과 유선 통신방식이 있다. 여기서, 무선 통신방식은 데이터가 포함된 신호를 무선으로 주고 받을 수 있는 통신방식을 의미한다. 이때, 무선통신방식에는 3G(3Generation), 4G(4Generation), 무선 랜(Wireless LAN), 와이파이(Wi-Fi), 블루투스(Bluetooth), 지그비(Zigbee), WFD(Wi-Fi Direct), UWB(Ultra wideband), 적외선 통신(IrDA; Infrared Data Association), BLE (Bluetooth Low Energy), NFC(Near Field Communication), 지웨이브(Z-Wave) 등의 다양한 통신방식이 있으나, 이에 한정되는 것은 아니다.
또한, 유선 통신방식은 데이터가 포함된 신호를 유선으로 주고 받을 수 있는 통신방식을 의미한다. 예를 들어, 유선 통신방식에는 PCI(Peripheral Component Interconnect), PCI-express, USB(Universe Serial Bus) 등이 있으나, 이에 한정되는 것은 아니다. 예를 들어, 제어부(170)는 제어신호를 통해 통신부(140)의 동작을 제어하여, 유선 통신망 또는 무선통신망을 통해 각종 컨텐츠를 다운로드 받아, 사용자에게 제공할 수 있다.
유선 통신모듈(141), 및 무선 통신모듈(143)은 각각 단일의 칩으로 구현될 수 있다. 그러나, 구현 형태가 전술한 바로 한정되는 것은 아니고, 유선 통신모듈(141), 및 무선 통신모듈(143)이 단일의 칩으로 집적되어 구현될 수 있는 등 제한은 없다.
한편 도 13a를 참조하면, 디스플레이 장치(1)에는 영상 처리부(150a)가 마련될 수 있다. 영상 처리부(150a)는 컨텐츠 수신부(120) 또는 통신부(140)로부터 수신한 컨텐츠 중에서 영상 데이터에 대해 영상 처리를 수행할 수 있다.
영상 처리부(150a)는 도 13a에 도시된 바와 같이, 그래픽 프로세서(151a), 및 그래픽 메모리(155a)를 포함할 수 있다. 그래픽 프로세서(151a)와 그래픽 메모리(155a)는 각각 별개의 칩으로 구현될 수 있다. 그러나, 그래픽 프로세서(151a)와 그래픽 메모리(155a)가 각각 별개의 칩으로 구현되는 것으로 한정되는 것은 아니며, 그래픽 프로세서(151a)와 그래픽 메모리(155a)는 단일의 칩으로 통합 구현될 수도 있다.
그래픽 메모리(155a)는 영상 처리를 위한 영상 처리 프로그램 및 처리한 컬러 데이터를 기억하거나, 그래픽 프로세서(151a)가 출력하는 영상 데이터 또는 컨텐츠 수신부(120)로부터 수신된 영상 데이터를 임시로 기억할 수 있다. 또한, 그래픽 메모리(155a)에는 컬러 데이터의 컬러 패턴을 분석하는 응용 프로그램, 알고리즘 등에 관한 데이터가 저장될 수 있다.
그래픽 프로세서(151a)는 그래픽 메모리(155a)에 기억된 영상 처리 프로그램을 이용하여 그래픽 메모리(155a)에 기억된 영상 데이터를 처리하여 영상 복원에 필요한 각종 데이터 등을 획득할 수 있다. 예를 들어, 그래픽 프로세서(151a)는 그래픽 메모리(155a)에 저장된 컨텐츠 중에서 영상 데이터에 대해 영상 처리를 수행함으로써, 영상 제어신호, 컬러 데이터 등을 획득할 수 있다.
영상 처리부(150)와 영상처리 장치(100)는 도 13a에 도시된 바와 같이 디스플레이 장치(1) 상에 별개로 마련될 수 있다. 이때, 영상처리 장치(100)에서 수행되는 영상처리 프로세스 외에, 디스플레이 패널(20) 상에 영상을 표시하기 위해 요구되는 각종 영상 처리는 영상 처리부(150a)에서 수행될 수 있다.
또 다른 예로, 영상처리 장치(100)는 도 13b에 도시된 바와 같이 영상 처리부(150b)에 포함될 수 있다. 이때, 영상 처리부(150b)의 그래픽 메모리(155b)에는 화질 개선을 위한 영상처리 프로세스를 수행하는 데 필요한 프로그램, 데이터 등이 저장될 수 있으며, 그래픽 프로세서(151b)는 연산 처리를 통해 전술한 영상처리 프로세스 및 그 밖에 각종 영상 처리를 통합 수행할 수 있다. 동작 주체만 변경되었을 뿐 영상처리 프로세스 동작은 전술한 바와 동일하므로 구체적인 설명은 생략하도록 한다.
한편, 디스플레이 장치(1)에는 표시부(160)가 마련될 수 있다. 도 2를 참조하면, 표시부(160)는 디스플레이 드라이버(19), 및 디스플레이 패널(20)을 포함할 수 있다.
디스플레이 드라이버(19)는 제어부(170)의 제어 신호에 따라 영상 처리부(150) 또는 영상처리 장치(100)로부터 영상 데이터를 수신하고, 수신된 데이터에 대응하는 영상을 표시하도록 디스플레이 패널(20)을 구동할 수 있다. 제어부(170)에 관한 구체적인 설명은 후술하도록 한다.
여기서, 디스플레이 패널(20)은 음극선관(CRT, Cathode Ray Tube) 디스플레이 패널, 액정 디스플레이(LCD, Liquid Crystal Display) 패널, 발광 다이오드(LED, Light Emitting Diode) 패널, 유기 발광 다이오드(OLED, Organic Light Emitting Diode), 플라즈마 디스플레이 패널(PDP, Plasma Display Panel), 전계 방출 디스플레이(FED, Field Emission Display) 패널 등으로 구현될 수 있으며, 제한은 없다.
한편, 디스플레이 패널(20)은 화소로 구성될 수 있다. 여기서, 화소는 액정 디스플레이 패널(20)을 통해 표시되는 화면을 구성하는 최소 단위로써, 도트 또는 픽셀이라 하기도 하나, 이하에서는 설명의 편의상 화소로 통일하여 설명하기로 한다. 각각의 화소는 영상 데이터를 나타내는 전기적 신호를 수신하고, 수신된 전기적 신호에 대응하는 광학 신호를 출력할 수 있다. 이처럼, 디스플레이 패널(20)에 포함된 복수의 화소가 출력하는 광학 신호가 조합되어 디스플레이 패널(20)상에 영상 데이터가 표시된다.
한편, 디스플레이 장치(1)에는 제어부(170)가 마련될 수 있다. 제어부(170)는 도 13a에 도시된 바와 같이 프로세서(171), 및 메모리(173)를 포함한다.
메모리(173)는 디스플레이 장치(1)의 동작을 제어하기 위한 제어 프로그램 및 제어 데이터를 기억할 수 있으며, 입력부(110)를 통하여 입력 받은 제어 명령 또는 프로세서(171)가 출력하는 제어 신호를 임시로 기억할 수 있다.
프로세서(171)는 디스플레이 장치(1)의 전반적인 동작을 제어할 수 있다. 프로세서(171)는 디스플레이 장치(1)의 구성 요소들을 제어하기 위한 제어 신호를 생성하여 각 구성 요소의 동작을 제어할 수 있다.
예를 들어, 프로세서(171)는 제어 신호를 통해 통신부(140)를 제어함으로써, 외부 기기와 데이터가 포함된 신호를 주고 받을 수 있다. 또 다른 일 실시예로, 프로세서(111)는 입력부(118)를 통해 입력 받은 음향 조절 명령에 따라 음향 출력부(130)에 제어 신호를 전달하여, 스피커(151)를 통해 출력되는 음향의 크기가 조절되도록 할 수 있다.
또 다른 예로, 프로세서(171)는 컨텐츠 수신부(120)로부터 수신한 컨텐츠에 영상 처리를 수행하도록 영상 처리부(150a) 및 영상처리 장치(100) 중 적어도 하나를 제어하고, 영상 처리된 영상을 표시하도록 표시부(160)를 제어할 수 있다.
일 실시예에 따르면, 프로세서(171)는 제어 신호를 통해 영상처리 장치(100)를 제어하여, 컨텐츠 수신부(120)로부터 수신한 컨텐츠의 영상의 화질이 개선되도록 영상처리 프로세스 수행되게 할 수 있다. 또한, 프로세서(171)는 제어 신호를 통해 표시부(160)를 제어하여, 화질이 개선된 영상을 표시하도록 제어할 수 있다.
또한, 프로세서(171)는 메모리(173)에 기억된 제어 프로그램에 따라 메모리(173)에 기억된 각종 데이터를 처리할 수 있다. 이상에서는 프로세서(171)와 메모리(173)를 별도로 설명하였으나, 프로세서(171)와 메모리(173)가 별도의 칩으로 마련되는 것에 한정되는 것은 아니며, 프로세서(171)와 메모리(113)가 단일의 칩으로 마련될 수 있다.
한편, 도 13a의 영상 처리부(150a)와 영상처리 장치(100), 또는 도 13b의 영상 처리부(150b)의 구성요소 중 일부 또는 전부는 제어부(170)에 포함될 수 있다. 즉, 제어부(170)가 전술한 도 13a의 영상 처리부(150a)과 영상처리 장치(100) 또는 도 123의 영상 처리부(150b)의 동작을 통합 수행하거나 또는 부분적으로 수행할 수 있으며, 제한은 없다. 전술한 동작들의 수행주체가 영상 처리부(150a, 150b) 또는 영상처리 장치(100)에서 제어부(170)로 바뀐 것일 뿐이고 동작은 동일한바, 구체적인 설명은 생략하도록 한다.
또한, 도 12a의 영상처리 장치(100)와 도 12b의 영상처리 장치(100)는 영상 처리부(150a)와 별개로 존재하거나 또는 영상 처리부(150b)에 포함되는지 여부만이 다르며, 이외에는 동일하므로, 도 12b의 영상처리 장치(100)에 관한 구체적인 설명은 생략하도록 한다. 이하에서는 영상처리 장치(100) 및 디스플레이 장치(1) 각각의 동작 흐름에 대해서 간단히 살펴보도록 한다.
도 13은 일 실시예에 따른 영상처리 장치의 동작 흐름도를 도시한 도면이다.
영상처리 장치는 복수 개의 영상처리 모듈의 상태정보를 비교하여 영상처리 상태를 판단할 수 있다(1300). 영상처리 장치는 복호화, 노이즈 저감, 콘트라스트 인헨스먼트 등과 같은 일련의 영상처리 프로세스를 통해 영상 데이터의 화질을 향상시킬 수 있다.
이때, 영상 데이터는 복수 개의 영상처리 모듈을 거치면서 점진적으로 화질이 개선될 수 있다. 따라서, 복수 개의 영상처리 모듈과 연결된 복수 개의 버퍼 중 어느 하나의 버퍼와 적어도 하나의 다른 버퍼에는 동일 위치의 영상 데이터가 저장될 수 있으며, 양 영상 데이터 간에는 화질의 차이만 있을 뿐이다.
따라서, 실시예에 따른 영상처리 장치는 복수 개의 영상처리 모듈의 상태정보를 기초로, 정상적으로 영상 처리가 이루어지고 있는지, 즉 실시간 처리조건을 만족하고 있는지 여부를 판단할 수 있다. 영상처리 모듈의 상태정보를 획득하는 방법 등에 관한 설명은 전술하였으므로 생략하도록 한다.
영상처리 장치는 영상처리 상태에 관한 판단결과에 기초하여 복수 개의 영상처리 모듈 중에서 어느 하나의 영상처리 모듈로부터 출력된 영상 데이터를 선택하고, 선택한 영상 데이터를 출력할 수 있다.
예를 들어, 실시간 처리조건을 만족하는 경우, 영상처리 장치는 화질이 가장 개선된 영상 데이터를 선택하고, 버퍼로부터 전달 받아 출력할 수 있다. 다만, 특정 라인의 영상 데이터의 출력이 요구되는 타이밍에서, 실시간 처리조건을 만족하지 않는 경우, 영상처리 장치는 다른 버퍼에 저장된 특정 라인의 영상 데이터 중에서 화질이 가장 높은 영상 데이터를 선택하고, 버퍼로부터 전달 받아 출력할 수 있다.
실시예에 따른 영상처리 장치에는 복수 개의 영상처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼가 마련되어 있어, 영상 내에 동일 라인의 영상 데이터가 중복되어 표시되는 비주얼 아티팩트를 방지할 수 있다. 또한, 실시에에 따른 영상처리 장치는 버퍼 내에 저장된 영상 데이터 중에 가장 화질이 높은 영상 데이터를 출력함으로써 화질을 최대한으로 보존할 수 있다.
도 14는 일 실시예에 따른 디스플레이 장치의 동작 흐름도를 도시한 도면이다.
디스플레이 장치는 복수 개의 영상처리 모듈의 상태정보를 비교하여 영상처리 상태를 판단하고, 판단결과에 기초하여 복수 개의 영상처리 모듈 중에서 어느 하나의 영상처리 모듈로부터 출력된 영상 데이터를 선택할 수 있다(1400). 디스플레이 장치에는 전술한 바와 같이 영상처리 장치가 내장될 수 있다. 이때, 영상처리 장치는 디스플레이 장치의 영상 처리부에 포함되거나 또는 영상 처리부와는 별개로 존재하여 영상 처리부와 영상 처리 프로세스를 분할하여 수행할 수 있다. 단계 1400에 관한 설명은 동작 주체만 변경되었을 뿐, 단계1300 및 단계 1310과 동일하므로 구체적인 설명은 생략하도록 한다.
디스플레이 장치는 선택한 영상 데이터를 디스플레이 패널 상에 표시할 수 있다(1410). 예를 들어, 영상 처리부 또는 영상처리 장치의 출력 단을 통해 선택된 영상 데이터가 출력되면, 디스플레이 장치의 디스플레이 드라이버는 출력된 영상 데이터를 수신하고, 수신한 영상 데이터에 대응되는 영상을 표시하도록 디스플레이 패널을 제어할 수 있다.
본 명세서에 기재된 실시예와 도면에 도시된 구성은 개시된 발명의 바람직한 일 예에 불과할 뿐이며, 본 출원의 출원시점에 있어서 본 명세서의 실시예와 도면을 대체할 수 있는 다양한 변형 예들이 있을 수 있다.
또한, 본 명세서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 개시된 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
또한, 본 명세서에서 사용한 "제1", "제2" 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 명세서 전체에서 사용되는 "~부(unit)", "~기", "~블록(block)", "~부재(member)", "~모듈(module)" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있다. 예를 들어, 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어를 의미할 수 있다. 그러나, "~부", "~기", "~블록", "~부재", "~모듈" 등이 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, "~부", "~기", "~블록", "~부재", "~모듈" 등은 접근할 수 있는 저장 매체에 저장되고 하나 또는 그 이상의 프로세서에 의하여 수행되는 구성일 수 있다.
100: 영상처리 장치
I1: 제1 영상 데이터, I2: 제2 영상 데이터, M: 영상처리 프로세스

Claims (12)

  1. 서로 직렬로 배열되고, 영상 처리 프로세스를 수행하는 복수의 영상처리 모듈;
    상기 복수의 영상처리 모듈 중 마지막에 연결된 영상처리 모듈로부터 출력이 요구되는 영역의 영상 데이터가 출력되는지 여부에 기초하여 영상 처리 상태가 정상 상태인지 결정하고, 상기 영상 처리 상태가 정상 상태가 아닌 경우 상기 복수의 영상처리 모듈의 상태정보에 기초하여, 상기 복수의 영상처리 모듈 중에서 출력이 요구되는 영역의 영상 데이터를 출력한 어느 하나의 영상처리 모듈을 식별하고, 상기 복수의 영상처리 모듈과 연결된 버퍼들 중에서 상기 식별된 어느 하나의 영상처리 모듈로부터 출력된 영상 데이터를 저장하는 버퍼로부터 영상 데이터를 수신하는 제어부; 및
    상기 수신된 영상 데이터를 표시하는 디스플레이부;를 포함하는 디스플레이 장치.
  2. 제1항에 있어서,
    상기 복수의 영상처리 모듈 각각에는, 상기 복수의 영상처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼가 연결되고,
    상기 제어부는,
    상기 복수의 영상처리 모듈의 상태정보에 따라 상기 복수의 영상처리 모듈 각각에 연결된 버퍼 중에서 어느 하나를 선택하고, 상기 선택한 어느 하나의 버퍼에 저장된 영상 데이터를 출력하도록 상기 디스플레이부를 제어하는 디스플레이 장치.
  3. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 영상처리 모듈로부터 상태정보를 수신하고, 상기 수신한 상태정보를 비교하여 상기 영상 처리 상태가 출력이 요구되는 영역에 관한 영상 데이터가 정상적으로 출력되는 상기 정상 상태인지 여부를 판단하는 디스플레이 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 제어부는,
    상기 복수의 영상처리 모듈의 상태정보를 이용하여 부하(workload)를 예측하고, 상기 예측한 부하를 기초로 영상처리 프로세스의 복잡도를 설정하는 디스플레이 장치.
  6. 제1항에 있어서,
    상기 복수의 영상처리 모듈과 연결되어, 상기 복수의 영상처리 모듈에 의해 처리된 영상 데이터를 입력 받아 저장하는 버퍼;
    를 더 포함하고,
    상기 제어부는,
    상기 버퍼에 기 저장된 영상 데이터와 동일 영역에 해당하는 영상 데이터가 상기 복수의 영상처리 모듈 중 적어도 하나로부터 입력되면, 상기 버퍼에 기 저장된 영상 데이터를 상기 동일 영역에 해당하는 영상 데이터로 교체하는 디스플레이 장치.
  7. 제1항에 있어서,
    상기 복수의 영상처리 모듈은,
    서로 다른 영상처리 프로세스를 수행하는 디스플레이 장치.
  8. 서로 직렬로 배열되고 영상 처리 프로세스를 수행하는 복수의 영상처리 모듈과, 디스플레이부를 포함하는 디스플레이 장치의 제어 방법에 있어서,
    상기 복수의 영상처리 모듈 중 마지막에 연결된 영상처리 모듈로부터 출력이 요구되는 영역의 영상 데이터가 출력되는지 여부에 기초하여 영상 처리 상태가 정상 상태인지 결정하고;
    상기 영상 처리 상태가 정상 상태가 아닌 경우 상기 복수의 영상처리 모듈의 상태정보에 기초하여, 상기 복수의 영상처리 모듈 중에서 출력이 요구되는 영역의 영상 데이터를 출력한 어느 하나의 영상처리 모듈을 식별하고; 상기 복수의 영상처리 모듈과 연결된 버퍼들 중에서 상기 식별된 어느 하나의 영상처리 모듈로부터 출력된 영상 데이터를 저장하는 버퍼로부터 영상 데이터를 수신하고; 및
    상기 수신된 영상 데이터를 표시하도록 상기 디스플레이부를 제어하는 것;을 포함하는 디스플레이 장치의 제어방법.
  9. 제8항에 있어서,
    상기 복수의 영상처리 모듈 각각에는, 상기 복수의 영상처리 모듈로부터 출력되는 영상 데이터를 저장하는 버퍼가 연결되고,
    상기 디스플레이부를 제어하는 것은,
    상기 복수의 영상처리 모듈의 상태정보에 따라 상기 복수의 영상처리 모듈 각각에 연결된 버퍼 중에서 어느 하나를 선택하고, 상기 선택한 어느 하나의 버퍼에 저장된 영상 데이터를 출력하도록 상기 디스플레이부를 제어하는 것;을 포함하는 디스플레이 장치의 제어방법.
  10. 제8항에 있어서,
    상기 영상 처리 상태가 정상 상태인지 결정하는 것은,
    상기 복수의 영상처리 모듈로부터 상태정보를 수신하고;
    상기 수신한 상태정보를 비교하여 영상처리 상태가 출력이 요구되는 영역에 관한 영상 데이터가 정상적으로 출력되는 정상 상태인지 여부를 판단하는 것;을 포함하는 디스플레이 장치의 제어방법.
  11. 삭제
  12. 제8항에 있어서,
    상기 복수의 영상처리 모듈에는, 상기 복수의 영상처리 모듈에 의해 처리된 영상 데이터를 입력 받아 저장하는 버퍼가 연결되고,
    상기 버퍼에 기 저장된 영상 데이터와 동일 영역에 해당하는 영상 데이터가 상기 복수의 영상처리 모듈 중 적어도 하나로부터 입력되면, 상기 버퍼에 기 저장된 영상 데이터를 상기 동일 영역에 해당하는 영상 데이터로 교체하는 것;을 더 포함하는 디스플레이 장치의 제어방법.
KR1020160122277A 2016-09-23 2016-09-23 영상처리 장치, 디스플레이 장치, 및 그 제어방법 KR102176723B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020160122277A KR102176723B1 (ko) 2016-09-23 2016-09-23 영상처리 장치, 디스플레이 장치, 및 그 제어방법
US15/708,704 US10713993B2 (en) 2016-09-23 2017-09-19 Image processing apparatus, display apparatus and method of controlling thereof
PCT/KR2017/010320 WO2018056693A1 (en) 2016-09-23 2017-09-20 Image processing appratus, display apparatus and method of controlling thereof
CN201780058450.8A CN109791755B (zh) 2016-09-23 2017-09-20 图像处理装置、显示装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160122277A KR102176723B1 (ko) 2016-09-23 2016-09-23 영상처리 장치, 디스플레이 장치, 및 그 제어방법

Publications (2)

Publication Number Publication Date
KR20180032941A KR20180032941A (ko) 2018-04-02
KR102176723B1 true KR102176723B1 (ko) 2020-11-10

Family

ID=61685608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160122277A KR102176723B1 (ko) 2016-09-23 2016-09-23 영상처리 장치, 디스플레이 장치, 및 그 제어방법

Country Status (4)

Country Link
US (1) US10713993B2 (ko)
KR (1) KR102176723B1 (ko)
CN (1) CN109791755B (ko)
WO (1) WO2018056693A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112188034A (zh) * 2020-09-29 2021-01-05 北京小米移动软件有限公司 一种图像处理方法、装置、终端设备及介质
US11636828B1 (en) * 2022-02-28 2023-04-25 Freedom Scientific, Inc. System and method for automatically adjusting a color filter of an interface

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110310268A1 (en) * 2010-06-16 2011-12-22 Seiko Epson Corporation Image-capturing device and timing control circuit

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0762794B2 (ja) * 1985-09-13 1995-07-05 株式会社日立製作所 グラフイツク表示装置
EP0666542A3 (en) * 1994-02-04 1996-05-15 Fuji Facom Corp Multimedia system for monitoring and controlling processes.
US6288722B1 (en) * 1996-10-17 2001-09-11 International Business Machines Corporation Frame buffer reconfiguration during graphics processing based upon image attributes
KR100251550B1 (ko) * 1997-12-17 2000-04-15 구자홍 고해상도 액정표시구동장치
JP2002040977A (ja) * 2000-07-21 2002-02-08 Sony Corp 陰極線管および画像制御装置
US7222355B2 (en) 2000-12-15 2007-05-22 Lockheed Martin Corporation Multi-mode video processor
JP4082051B2 (ja) * 2002-03-19 2008-04-30 富士ゼロックス株式会社 画像処理装置および画像処理方法
JP4694268B2 (ja) * 2005-06-03 2011-06-08 富士ゼロックス株式会社 画像処理装置、方法及びプログラム
JP4694270B2 (ja) * 2005-06-03 2011-06-08 富士ゼロックス株式会社 画像処理装置、方法及びプログラム
JP4619868B2 (ja) * 2005-06-03 2011-01-26 富士ゼロックス株式会社 画像処理装置、方法及びプログラム
US7656410B2 (en) 2006-03-31 2010-02-02 Intel Corporation Image buffering techniques
KR100928755B1 (ko) * 2007-09-17 2009-11-25 매그나칩 반도체 유한회사 휘도 조절이 가능한 영상표시장치 및 영상표시방법
US8665281B2 (en) 2008-02-07 2014-03-04 Microsoft Corporation Buffer management for real-time streaming
US20090214136A1 (en) * 2008-02-22 2009-08-27 Chia-Yun Cheng Image processing apparatus for scaling an input image according to various image processing requirements and method thereof
US9147365B2 (en) * 2010-05-18 2015-09-29 Seiko Epson Corporation Image-displaying device and display control circuit
EP2611152A3 (en) * 2011-12-28 2014-10-15 Samsung Electronics Co., Ltd. Display apparatus, image processing system, display method and imaging processing thereof
KR101905648B1 (ko) * 2012-02-27 2018-10-11 삼성전자 주식회사 카메라 장치의 동영상 촬영방법 및 장치
KR101893406B1 (ko) * 2012-03-28 2018-08-30 삼성전자 주식회사 카메라의 이미지처리 장치 및 방법
US20140176548A1 (en) 2012-12-21 2014-06-26 Nvidia Corporation Facial image enhancement for video communication
KR20140122835A (ko) * 2013-04-11 2014-10-21 삼성전자주식회사 프로세스 병렬 처리 장치 및 방법
CN104765594B (zh) * 2014-01-08 2018-07-31 联发科技（新加坡）私人有限公司 一种显示图形用户界面的方法及装置
US10283091B2 (en) 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
JP6537265B2 (ja) 2014-12-11 2019-07-03 キヤノン株式会社 画像処理装置、画像処理装置の制御方法
JP6613587B2 (ja) 2015-03-20 2019-12-04 株式会社リコー 画像処理システム、画像形成出力制御装置、画像処理方法及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110310268A1 (en) * 2010-06-16 2011-12-22 Seiko Epson Corporation Image-capturing device and timing control circuit

Also Published As

Publication number Publication date
US20180090047A1 (en) 2018-03-29
US10713993B2 (en) 2020-07-14
CN109791755B (zh) 2022-04-19
CN109791755A (zh) 2019-05-21
WO2018056693A1 (en) 2018-03-29
KR20180032941A (ko) 2018-04-02

Similar Documents

Publication Publication Date Title
US20200042144A1 (en) Video playback method and apparatus
US20190158926A1 (en) Apparatus and method for controlling media output level
KR102157620B1 (ko) 디스플레이장치 및 그 제어방법
US10788960B2 (en) Display apparatus and control method for processing content data based on user input
EP2315198A1 (en) Display apparatus, display apparatus system and resolution control method thereof
US9521352B2 (en) Television set capable of identifying a plurality of peripherals and allowing to select and display the contents of one of the same
WO2011059874A4 (en) Mosaic application for generating output utilizing content from multiple television receivers
KR102176723B1 (ko) 영상처리 장치, 디스플레이 장치, 및 그 제어방법
US8760583B1 (en) Apparatus and method for processing video signal
US10771840B2 (en) Sink device
KR100668087B1 (ko) 영상처리장치와 이를 포함하는 영상저장시스템 및 그제어방법
US20150221078A1 (en) Calibration device, display system and control method thereof
EP2611191A1 (en) Display system including a display apparatus and an upgrade apparatus, and method of controlling the same.
US20160134827A1 (en) Image input apparatus, display apparatus and operation method of the image input apparatus
CN103188449A (zh) 显示设备和可与其连接的外部外围装置以及图像显示方法
RU2012154660A (ru) Устройство отображения и устройство дистанционного управления для управления этим устройством и способы управления этими устройствами
KR20110066685A (ko) 선택적 부팅 방법 및 이를 이용한 방송 수신 장치
KR102615070B1 (ko) 디스플레이 장치, 및 그 제어방법
KR20140004490A (ko) 디스플레이장치 및 그 제어방법
CN107396010B (zh) 拼接墙操作指令生成方法、装置和拼接墙控制方法、系统
KR102164543B1 (ko) 디스플레이 장치 및 디스플레이 방법
CN113064570B (zh) 一种多显示器的显示方法、装置和设备及介质
EP2493201A2 (en) Video display method and video display apparatus
JP5130631B2 (ja) 情報信号処理装置、機能ブロック制御方法および機能ブロック
KR101299454B1 (ko) 디스플레이장치 및 그 정보저장방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant