KR20190096859A - 디스플레이 장치 및 방법 - Google Patents

디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20190096859A
KR20190096859A KR1020190092714A KR20190092714A KR20190096859A KR 20190096859 A KR20190096859 A KR 20190096859A KR 1020190092714 A KR1020190092714 A KR 1020190092714A KR 20190092714 A KR20190092714 A KR 20190092714A KR 20190096859 A KR20190096859 A KR 20190096859A
Authority
KR
South Korea
Prior art keywords
pixel
logo
image
luminance value
display
Prior art date
Application number
KR1020190092714A
Other languages
English (en)
Inventor
김동호
최윤준
최승종
김성진
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020190092714A priority Critical patent/KR20190096859A/ko
Publication of KR20190096859A publication Critical patent/KR20190096859A/ko
Priority to US16/579,764 priority patent/US11127372B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/635—Overlay text, e.g. embedded captions in a TV program
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0257—Reduction of after-image effects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/029—Improving the quality of display appearance by monitoring one or more pixels in the display panel, e.g. by monitoring a fixed reference pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G09G2320/046—Dealing with screen burn-in prevention or compensation of the effects thereof
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/04—Maintaining the quality of display appearance
    • G09G2320/043—Preventing or counteracting the effects of ageing
    • G09G2320/048—Preventing or counteracting the effects of ageing using evaluation of the usage time
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0613—The adjustment depending on the type of the information to be displayed
    • G09G2320/062—Adjustment of illumination source parameters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Electroluminescent Light Sources (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

탑재된 인공지능(artificial intelligence, AI) 알고리즘 및/또는 기계학습(machine learning) 알고리즘을 실행하여, 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하고, 상기 예측된 디스플레이 지속 시간에 기초하여 영상 처리를 수행 함으로써, 번인 현상을 감소시키는 디스플레이 장치 및 방법이 개시된다. 본 발명의 일 실시예에 따른 디스플레이 방법은, 번인(Burn-in) 현상을 감소시키기 위한 디스플레이 방법으로서, 입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하는 단계와, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측하는 단계와, 상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀(pixel)의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이하는 단계를 포함할 수 있다.

Description

디스플레이 장치 및 방법{DISPLAY DEVICE AND METHOD}
본 발명은 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하고, 상기 예측된 디스플레이 지속 시간에 기초하여 영상 처리를 수행 함으로써, 번인 현상을 감소시키는 디스플레이 장치 및 방법에 관한 것이다.
OLED(Organic Light Emitting Diodes) 디스플레이는 적색(Red)과 녹색(Green), 청색(Blue) 각 컬러픽셀로 구성되어 있으며, R, G, B 세 가지의 컬러픽셀이 모여 하나의 픽셀(pixel)이 될 수 있다. 또한, 각 픽셀은 이미지가 표시되는 영역만 점등되기 때문에 각 컬러픽셀 또는 픽셀들은 서로 다른 시간 동안 켜져 있게 된다. OLED는 유기발광체이기 때문에 켜져있는 시간 동안 수명이 줄어들어 휘도가 저하된다. 즉, 각 픽셀들은 초기에 같은 휘도를 유지하고 있다 하더라도 시간이 지날수록 픽셀 별로 또는 컬러 픽셀(서브 픽셀) 별로 서로 다른 휘도를 나타낸다. 이런 휘도가 다른 픽셀들이 군집하는 경우 배경과 다른 색감을 내며 잔상으로 시인되게 되는 문제점을 발생할 수 있다.
상기 잔상 문제를 해결하기 위한 방법 중 하나로, 선행기술 1에 개시된 바와 같이, 디스플레이 패널의 서브 픽셀 별 누적 이미지 데이터를 확인하고, 잔상이 발생하는 경우, 상기 각 서브 픽셀 별 누적 이미지 데이터를 기반으로 상기 디스플레이 패널 상에 발생하는 잔상을 보상하기 위한 보상 이미지를 생성하여 상기 디스플레이 패널에 표시할 수 있다. 그러나, 이러한 방법은 잔상이 발생된 후에야 잔상을 제거하기 위해 영상을 처리를 하는 것으로, 잔상 발생을 사전에 예방할 수는 없다.
또한, OLED 디스플레이는 고정된 이미지가 오랜 시간 지속되어 표시되는 경우, 이미지를 표시하기 위해 발광하는 픽셀의 발광 효율이 시간이 지남에 따라 저하되고, 상대적으로 주위 픽셀보다 낮은 밝기로 발광하게 됨으로써, 잔상 현상이 쉽게 발생하게 된다.
상기 이미지에 대한 잔상 문제를 해결하기 위한 방법 중 하나로, 선행기술 2는 표시부가 온(on)될 때마다, 오프(off) 직전에 표시된 이미지(예컨대, 아이템)을 설정된 간격만큼 이동시켜 표시하는 GUI(Graphic User Interface) 제공 방법을 개시하고 있다. 그러나, 이러한 방법은 표시부를 주기적으로 온/오프해야 하는 조건이 필요하여, 스트리밍 영상을 지속적으로 표시하는 디스플레이에 적용되기는 어렵다.
선행기술 1: 한국 공개특허공보 제 10-2018-0013189호 선행기술 2: 한국 공개특허공보 제10-2012-0106558호
본 발명의 일 실시예는, 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하고, 상기 예측된 디스플레이 지속 시간에 기초하여, 영상 내 오브젝트에 대응하는 픽셀의 휘도값을 조정 함으로써, 스트리밍 영상을 지속적으로 표시하더라도 번인(Burn-in) 현상(예컨대, 잔상)이 발생하지 않게 사전에 예방할 수 있는 디스플레이 장치 및 방법을 제공하는데 목적이 있다.
본 발명의 일 실시예는, 영상 내 오브젝트로서 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하고, 추출된 이미지에 대한 디스플레이 지속 시간에 기초하여, 영상 내 이미지에 대응하는 픽셀의 휘도값을 조정 함으로써, 장시간 고정적으로 표시되는 이미지에 대해 번인 현상을 감소시키는 것으로 목적으로 한다.
또한, 본 발명의 일 실시예는, 영상에 대해 제1 딥 뉴럴 네트워크(오브젝트를 인식하도록 미리 훈련된 학습 모델) 알고리즘을 수행하여, 상기 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크(오브젝트가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델) 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측 함으로써, 영상 처리를 신속하게 수행할 수 있게 하는 것을 목적으로 한다.
본 발명의 일 실시예는, 번인(Burn-in) 현상을 감소시키기 위한 디스플레이 방법으로서, 입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하는 단계와, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측하는 단계와, 상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀(pixel)의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 오브젝트를 추출하는 단계가, 상기 영상에 대해, 제1 딥 뉴럴 네트워크(DNN: Deep Neural Network) 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출하는 단계를 포함하고, 상기 디스플레이 지속 시간을 예측하는 단계가, 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측하는 단계를 포함하고, 상기 제1 딥 뉴럴 네트워크는 영상 내의 로고(logo), 워드(word) 및 텍스트 바(text bar)를 인식할 수 있도록 미리 훈련된 학습 모델이고, 상기 제2 딥 뉴럴 네트워크는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델인, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 디스플레이 지속 시간을 예측하는 단계가, 상기 영상 내 상기 오브젝트의 위치 및 크기 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 오브젝트를 추출하는 단계가, 상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상을 디스플레이하는 단계가, 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인하는 단계와, 상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하는 단계와, 상기 확인된 픽셀의 휘도값을 상기 휘도 조정값에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상을 디스플레이하는 단계가, 상기 오브젝트에 대응하는 영역 내 픽셀의 색상을 확인하는 단계를 더 포함하고, 상기 픽셀을 제어하는 단계가, 상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 픽셀을 제어하는 단계가, 상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 디스플레이 지속 시간을 예측하는 단계가, 상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성을 확인하는 단계와, 상기 워드의 속성에 기초하여 상기 디스플레이 지속 시간을 예측하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상을 디스플레이하는 단계가, 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 단계와, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도값별 번인 효과의 정도를 결정하는 단계와, 상기 결정된 휘도값별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 단계와, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 상기 영상을 디스플레이하는 단계가, 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 단계와, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하는 단계와, 상기 결정된 색상별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 단계와, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 단계를 포함하는, 디스플레이 방법일 수 있다.
본 발명의 일 실시예는, 번인 현상을 감소시키기 위한 디스플레이 장치로서, 입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하고, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측하는 예측부와, 상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이하는 프로세서를 포함하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 예측부가, 상기 영상에 대해, 제1 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출하고, 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측하며, 상기 제1 딥 뉴럴 네트워크는 영상 내의 로고, 워드 및 텍스트 바를 인식할 수 있도록 미리 훈련된 학습 모델이고, 상기 제2 딥 뉴럴 네트워크는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델인, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 예측부가, 상기 영상 내 상기 오브젝트의 위치 및 크기 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 예측부가, 상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 프로세서가, 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인하는 확인부와, 상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하는 결정부와, 상기 확인된 픽셀의 휘도값을 상기 휘도 조정값에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어하는 제어부를 포함하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 확인부에 의해, 상기 오브젝트에 대응하는 영역 내 픽셀의 색상이 더 확인되면, 상기 제어부가, 상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 제어부가, 상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 예측부가, 상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성을 확인하고, 상기 워드의 속성에 기초하여 상기 디스플레이 지속 시간을 예측하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 프로세서가, 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 확인부와, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도값별 번인 효과의 정도를 결정하고, 상기 결정된 휘도값별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 결정부와, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 제어부를 포함하는, 디스플레이 장치일 수 있다.
본 발명의 일 실시예는, 상기 프로세서가, 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 확인부와, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하고, 상기 결정된 색상별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 결정부와, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 제어부를 포함하는, 디스플레이 장치일 수 있다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램이 저장된 컴퓨터로 판독 가능한 기록매체가 더 제공될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명에 의하면, 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하고, 상기 예측된 디스플레이 지속 시간에 기초하여, 영상 내 오브젝트에 대응하는 픽셀의 휘도값을 조정 함으로써, 스트리밍 영상을 지속적으로 표시하더라도 번인 현상(예컨대, 잔상)이 발생하지 않게 사전에 예방할 수 있다.
본 발명에 따르면, 영상 내 오브젝트로서 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하고, 추출된 이미지에 대한 디스플레이 지속 시간에 기초하여, 영상 내 이미지에 대응하는 픽셀의 휘도값을 조정 함으로써, 장시간 고정적으로 표시되는 이미지에 대해 번인 현상을 감소시킬 수 있다.
또한, 본 발명에 의하면, 영상에 대해 제1 딥 뉴럴 네트워크(오브젝트를 인식하도록 미리 훈련된 학습 모델) 알고리즘을 수행하여, 상기 영상으로부터 오브젝트를 추출하고, 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크(오브젝트가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델) 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측 함으로써, 영상 처리를 신속하게 수행할 수 있다.
본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치를 포함하는 네트워크의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하도록 훈련하는 일례를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 이용하여, 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 5는 도 4에서의 픽셀의 휘도값 조정 과정을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하는 과정을 도시한 도면이다.
도 7은 도 6의 과정을 영상에 적용하는 일례를 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 로고 오브젝트의 휘도값을 조정하는 일례를 설명하기 위한 도면이다.
도 9은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 설명되는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 아래에서 제시되는 실시 예들로 한정되는 것이 아니라, 서로 다른 다양한 형태로 구현될 수 있고, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 아래에 제시되는 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
이하, 본 발명에 따른 실시 예들을 첨부된 도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 일 실시예에 따른 디스플레이 장치를 포함하는 네트워크의 구성을 도시한 도면이다.
도 1을 참조하면, 네트워크(100)는 방송 기지국(101), 방송 수신기(102) 및 디스플레이 장치(103)를 포함할 수 있다.
방송 기지국(101)은 방송 데이터를 방송 수신기(102)에 전송할 수 있다.
방송 수신기(102)는 방송 기지국(101)으로부터 방송 데이터를 수신하고, 상기 수신된 방송 데이터로부터, 사용자가 입력한 채널(예컨대, 리모콘에서 입력된 채널번호) 대응하는 영상을 추출하여 디스플레이 장치(103)에 제공할 수 있다.
디스플레이 장치(103)는 방송 수신기(102)와 유선 또는 무선으로 연결될 수 있으나, 이에 한정되지 않고, 방송 수신기(102) 내부에 포함될 수 있다. 디스플레이 장치(103)는 방송 수신기(102)로부터 제공되는 영상을 디스플레이할 수 있다. 이때, 디스플레이 장치(103)는 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하고, 상기 예측된 디스플레이 지속 시간에 기초하여 영상 내 오브젝트에 대응하는 픽셀의 휘도값을 조정 함으로써, 번인 현상을 감소시킬 수 있다.
도 2는 본 발명의 일 실시예에 따른 디스플레이 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 디스플레이 장치(200)는 예측부(201) 및 프로세서(202)를 포함할 수 있다.
예측부(201)는 입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하고, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측할 수 있다. 여기서, 예측부(201)는 상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출할 수 있다. 이때, 텍스트 바에 워드가 포함되는 경우, 예측부(201)는 영상으로부터 텍스트 바를 추출하고, 상기 추출된 텍스트 바로부터 워드를 추출할 수 있다.
구체적으로, 예측부(201)는 상기 영상에 대해, 제1 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출할 수 있다. 여기서, 제1 딥 뉴럴 네트워크는 영상 내의 로고(예컨대, 기업을 나타내는 이미지), 워드(예컨대, 문자) 및 텍스트 바(예컨대, 문자를 포함하는 사각형)를 인식할 수 있도록 미리 훈련된 학습 모델이다.
또한, 예측부(201)는 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측할 수 있다. 여기서, 제2 딥 뉴럴 네트워크는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델이다. 즉, 예측부(201)는 주기적으로 영상이 입력되더라도, 상기 추출된 오브젝트가 변경되지 않고, 복수의 영상에 지속적으로 디스플레이될 것으로 예상하는 시간을 예측할 수 있다.
예컨대, 1초 동안 60개의 영상이 입력되어 디스플레이되는 환경에서, 영상 내 'NBC' 로고에 대한 디스플레이 지속 시간이 '10분'으로 예측되는 것은, 'NBC' 로고가 36000(60＊10＊60)개의 입력되는 영상에서 동일한 위치에 각각 포함 됨에 따라, 'NBC' 로고가 '10분' 동안 지속적으로 디스플레이되는 것을 의미할 수 있다.
상기 오브젝트에 대한 디스플레이 지속 시간 예측시, 예측부(201)는 상기 영상 내 상기 오브젝트의 위치(예컨대, 상단, 하단, 또는 기준 픽셀로부터 n(n은 자연수) 만큼 이격된 픽셀 위치) 및 크기(또는, 형태) 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측할 수 있다.
또한, 예측부(201)는 상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성(예컨대, 주식, 환율, 날씨)을 확인하고, 상기 워드의 속성에 기초하여 상기 디스플레이 지속 시간을 예측 함으로써, 다른 속성의 워드에 비해 상대적으로 빈번하게 변경되는 워드(예컨대, 디스플레이 지속 시간이 짧음)에 대한 디스플레이 지속 시간을 정확하게 획득할 수 있다. 여기서, 워드의 속성이란 워드가 나타내는 정보의 종류일 수 있다. 예컨대, 예측부(201)는 워드의 속성이 '주식'으로 확인되는 경우, '주식' 속성에 관련하여 설정된 예측 시간을, 상기 디스플레이 지속 시간으로 예측할 수 있다. 즉, 예측부(201)는 '주식' 속성에 관련하여 설정된 예측 시간이 '1초'일 때, 영상으로부터 추출된 워드의 속성이 '주식'으로 확인되는 경우, 워드에 대한 디스플레이 지속 시간을, '주식' 속성에 관련하여 설정된 예측 시간인 '1초'로 예측할 수 있다.
프로세서(202)는 상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이할 수 있다. 구체적으로, 프로세서(202)는 확인부(203), 결정부(204) 및 제어부(205)를 포함할 수 있다.
확인부(203)는 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인할 수 있다. 또한, 확인부(203)는 상기 오브젝트에 대응하는 영역 내 픽셀의 색상을 더 확인할 수 있다.
확인부(203)는 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다.
영상 내 오브젝트에 대한 세그먼테이션 분할의 다른 일례로서, 확인부(203)는 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다.
상기 세그먼테이션에 대응하는 휘도값 확인시, 확인부(203)는 세그먼테이션 내 각 픽셀의 휘도값이 동일할 경우, 상기 픽셀의 휘도값을, 세그먼테이션에 대응하는 휘도값으로 확인할 수 있다. 반면, 확인부(203)는 세그먼테이션 내 각 픽셀의 휘도값이 동일하지 않을 경우, 세그먼테이션 내 각 픽셀의 평균값을 산출하고, 산출된 평균값을 세그먼테이션에 대응하는 휘도값으로 확인할 수 있다.
결정부(204)는 상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정할 수 있다. 이때, 결정부(204)는 상기 예측된 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정할 수 있다.
또한, 결정부(204)는 확인부(203)에서, 로고 내 픽셀의 휘도값에 기초하여, 로고가 복수의 세그먼테이션으로 분할되면, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도별 번인 효과의 정도를 결정하고, 상기 결정된 휘도값별 번인 효과의 정도 및 상기 로고에 대해 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다. 이때, 결정부(204)는 상기 로고에 대해 예측된 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정하고, 상기 결정된 휘도 조정값에서, 상기 복수의 세그먼테이션 각각에 대해 결정된 휘도값별 번인 효과의 정도에 대응하는 제1 설정치를 차감하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
결정부(204)는 확인부(203)에서, 로고 내 픽셀의 색상에 기초하여, 로고가 복수의 세그먼테이션으로 분할되면, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하고, 상기 결정된 색상별 번인 효과의 정도 및 상기 로고에 대해 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다. 이때, 결정부(204)는 상기 로고에 대해 예측된 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정하고, 상기 결정된 휘도 조정값에서, 상기 복수의 세그먼테이션 각각에 대해 결정된 색상별 번인 효과의 정도에 대응하는 제2 설정치를 차감하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
제어부(205)는 상기 확인된 픽셀의 휘도값을 상기 휘도 조정값에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어할 수 있다. 이때, 제어부(205)는 상기 확인된 픽셀의 휘도값을 상기 휘도 조정값 만큼 감소시켜 조정할 수 있다.
상기 픽셀 제어시, 제어부(205)는 상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어할 수 있다. 즉, 제어부(205)는 조정된 픽셀의 휘도값이 너무 낮을 경우, 사용자가 영상을 보는 데 불편하지 않을 정도의 최소 휘도값으로 픽셀을 제어할 수 있다.
또한, 제어부(205)는 확인부(203)에 의해, 상기 오브젝트에 대응하는 영역 내 픽셀의 색상이 더 확인되면, 상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정 함으로써, 색상에 대한 번인 현상 유발을 제한할 수 있다. 이때, 제어부(205)는 디스플레이 지속 시간에 기초하여 조정된 상기 픽셀의 휘도 조정값에서, 상기 픽셀의 색상에 대응하여 설정된 색상 조정값 만큼 감소시켜 추가적으로 조정할 수 있다. 여기서, 색상 조정값은 색상별 번인 효과의 정도에 기초하여 상이하게 미리 설정될 수 있다.
또한, 결정부(204)에 의해, 복수의 세그먼테이션 별로 휘도 조정값이 결정되면, 제어부(205)는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어할 수 있다. 이때, 제어부(205)는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값 만큼 감소시키고, 상기 감소된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어할 수 있다.
제어부(205)는 영상 내 오브젝트로서 추출된 로고에서 픽셀의 휘도값 또는 색상에 따라 분할된 복수의 세그먼테이션을 각각 제어 함으로써, 휘도값 또는 색상이 번인 현상에 미치는 영향을 감소시켜, 영상 내 로고가 명확하게 디스플레이될 수 있게 한다.
한편, 상기 휘도별 번인 효과의 정도(또는, 상기 색상별 번인 효과의 정도) 결정시, 결정부(204)는 휘도별 번인 효과 정도(또는, 색상별 번인 효과 정도)를 검출하도록 미리 훈련된 학습 모델을 이용하거나, 또는 휘도별 번인 효과 정도(또는, 색상별 번인 효과 정도)가 기록된 테이블(table)을 이용할 수 있다.
도 3은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하도록 훈련하는 일례를 설명하기 위한 도면이다.
도 3을 참조하면, 디스플레이 장치는 인공 지능(artificial intelligence, AI)을 구현하는 소프트웨어 모듈 또는 하드웨어 모듈(이하, 인공 지능 모듈)을 포함할 수 있다.
디스플레이 장치는 인공 지능 모듈을 통해, 적어도 하나의 인공 신경망(artificial neural network, ANN) 예컨대, 심층 신경망(딥 뉴럴 네트워크) 모델을 이용하여, 입력되는 오브젝트에 대한 디스플레이 지속 시간을 기계 학습(machine learning)할 수 있다. 즉, 심층 신경망 모델은 영상으로부터 추출된 오브젝트와 추출된 오브젝트가 지속하는 시간에 대한 정보가 라벨로 표시된 데이터 세트를 입력받아, 훈련될 수 있다.
구체적으로, 입력값(input)인 영상으로부터 추출된 로고와 라벨로서 출력값(output)인 해당 로고가 디스플레이에 지속하는 시간이 데이터 세트를 이루고, 심층 신경망은 상기 데이터 세트를 이용하여 학습할 수 있다. 예컨대, 디스플레이 장치의 심층 신경망 모델은 제1 로고가 입력되면, 라벨로 지정된 2초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키고, 제2 로고가 입력되면, 라벨로 지정된 100초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키는 과정을 수행할 수 있다(301).
또한, 입력값인 영상으로부터 추출된 워드와 라벨로서 출력값인 해당 워드가 디스플레이에 지속하는 시간이 데이터 세트를 이루고, 심층 신경망 모델은 상기 데이터 세트를 이용하여 학습할 수 있다. 예컨대, 디스플레이 장치의 심층 신경망 모델은 제1 워드가 입력되면, 라벨로 지정된 2초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키고, 제2 워드가 입력되면, 라벨로 지정된 50초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키는 과정을 수행할 수 있다(302).
또한, 입력값인 영상으로부터 추출된 텍스트 바 및 텍스트 바의 위치와, 라벨로서 출력값인 해당 텍스트 바가 디스플레이에 지속하는 시간이 테이터 세트를 이루고, 심층 신경망 모델은 상기 데이터 세트를 이용하여 학습할 수 있다. 예컨대, 디스플레이 장치의 심층 신경망 모델은 제1 텍스트 바와 상단 위치가 입력되면, 라벨로 지정된 2초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키고, 제2 텍스트 바와 상단 위치가 입력되면, 라벨로 지정된 50초를 디스플레이 지속 시간으로서 출력하도록 스스로를 학습시키는 과정을 수행할 수 있다(303).
즉, 디스플레이 장치의 심층 신경망 모델은 영상 내 로고, 워드 및 텍스트 바에 대한 디스플레이 지속 시간을 학습하는 과정을 수행 함으로써, 이후 디스플레이 장치에 입력되는 영상 내 로고, 워드 및 텍스트 바가 디스플레이에 지속되는 시간을 예측하도록 훈련될 수 있다.
도 4는 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 이용하여, 영상을 처리하는 과정을 설명하기 위한 도면이다.
도 4를 참조하면, 디스플레이 장치는 영상이 입력되면(401), 입력된 영상으로부터 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바를 추출할 수 있다(402). 이때, 디스플레이 장치는 상기 입력된 영상을, 영상 내의 로고, 워드 및 텍스트 바를 인식할 수 있도록 미리 훈련된 학습 모델에 적용하여, 상기 입력된 영상으로부터 로고, 워드 및 텍스트 바를 추출할 수 있다.
디스플레이 장치는 상기 추출된 오브젝트를, 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델에 적용하여, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측할 수 있다. 이때, 디스플레이 장치는 상기 추출된 로고를, 로고 학습 모델에 적용하여 로고에 대한 디스플레이 지속 시간을 예측하고(403), 상기 추출된 워드를, 워드 학습 모델에 적용하여 워드에 대한 디스플레이 지속 시간을 예측할 수 있다(404). 또한, 디스플레이 장치는 상기 추출된 텍스트 바를, 텍스트 바 학습 모델에 적용하여 텍스트 바에 대한 디스플레이 지속 시간을 예측할 수 있다(405). 여기서, 로고 학습 모델, 워드 학습 모델 및 텍스트 바 학습 모델은 각각 학습되어 따로 미리 생성될 수 있으나, 하나의 학습 모델로 생성될 수도 있다.
디스플레이 장치는 로고, 워드, 텍스트 바 각각에 대한 디스플레이 지속 시간에 기초하여, 휘도 조정값을 결정하고, 로고, 워드, 텍스트 바 각각에 대한 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다(406).
디스플레이 장치는 로고, 워드, 텍스트 바에 대응하는 영역 내 픽셀의 휘도값을, 상기 조정된 픽셀의 휘도값으로 변경하고(407), 상기 조정된 픽셀의 휘도값으로 변경된 로고, 워드 및 텍스트 바를, 상기 입력된 영상에 반영하여 출력할 수 있다(408).
도 5는 도 4에서의 픽셀의 휘도값 조정 과정을 설명하기 위한 도면이다.
도 5를 참조하면, 디스플레이 장치는 입력된 영상으로부터 오브젝트가 추출되면, 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인할 수 있다.
디스플레이 장치는 영상으로부터 추출된 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값(또는, 색상)에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고(501), 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다(502).
디스플레이 장치는 영상으로부터 추출된 상기 오브젝트의 종류가 워드일 경우, 워드에 대응하는 영역 내 픽셀의 휘도값을 확인할 수 있다(503).
또한, 디스플레이 장치는 영상으로부터 추출된 상기 오브젝트의 종류가 텍스트 바일 경우, 텍스트 바에 대응하는 영역 내 픽셀의 휘도값을 확인할 수 있다(504).
디스플레이 장치는 예측된 오브젝트에 대한 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하고, 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다(505). 여기서, 디스플레이 장치는 상기 오브젝트에 대한 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정할 수 있다.
예컨대, 디스플레이 장치는 로고에 대한 디스플레이 지속 시간(506)에 기초하여 휘도 조정값을 결정하고, 로고에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다.
한편, 디스플레이 장치는 로고가 복수의 세그먼테이션으로 분할된 경우, 로고 내 복수의 세그먼테이션 각각에 대하여 휘도별 번인 효과의 정도(또는, 색상별 번인 효과의 정도)를 결정하고, 상기 결정된 휘도별 번인 효과의 정도(또는, 색상별 번인 효과의 정도) 및 로고에 대한 디스플레이 지속 시간(506)에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다. 이후, 디스플레이 장치는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다.
디스플레이 장치는 워드에 대한 디스플레이 지속 시간(507)에 기초하여 휘도 조정값을 결정하고, 워드에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다.
또한, 디스플레이 장치는 텍스트 바에 대한 디스플레이 지속 시간(508)에 기초하여 휘도 조정값을 결정하고, 텍스트 바에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다.
이하, 도 6 및 도 7을 참조하여, 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상을 디스플레이 하는 일례를 설명한다. 도 6은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 오브젝트에 대한 디스플레이 지속 시간을 예측하는 과정을 도시한 도면이고, 도 7은 도 6의 과정을 영상에 적용하는 일례를 도시한 도면이다.
도 6 및 도 7을 참조하면, 디스플레이 장치는 입력된 영상(601)으로부터 설정된 종류의 오브젝트로서, 로고(602), 워드(604) 및 텍스트 바(605)를 추출할 수 있다. 이때, 디스플레이 장치는 입력된 영상(601)에 대해, 영상 내의 로고, 워드 및 텍스트 바를 인식할 수 있도록 미리 훈련된 학습 모델(제1 딥 뉴럴 네트워크)을 수행하여, 로고(602), 워드(604) 및 텍스트 바(605)를 추출할 수 있다.
이때, 디스플레이 장치는 텍스트를 인식할 수 있도록 훈련된 학습 모델을 이용하는 경우, 상기 훈련된 학습 모델을 수행하여 영상으로부터 텍스트(603)를 먼저 추출하고, 추출된 텍스트(603)에 대해, 워드(604)를 인식할 수 있도록 훈련된 학습 모델을 수행하여 텍스트(603)로부터 워드(604)를 추출할 수 있다. 예컨대, 디스플레이 장치는 영상으로부터 'THE GREAT HFT DEBATE'의 텍스트(603)를 먼저 추출하고, 텍스트(603)로부터 'THE'의 제1 워드(604-1), 'GREAT'의 제2 워드(604-2), 'HFT'의 제3 워드(604-3), 'DEBATE'의 제4 워드(604-4)를 추출할 수 있다.
디스플레이 장치는 추출된 로고(602), 워드(604) 및 텍스트 바(605)에 대한 디스플레이 지속 시간을 예측할 수 있다. 이때, 디스플레이 장치는 로고(602), 워드(604) 및 텍스트 바(605)에, 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델(제2 딥 뉴럴 네트워크)을 수행하여, 로고(602), 워드(604) 및 텍스트 바(605)에 대한 디스플레이 지속 시간을 예측할 수 있다.
상기 텍스트 바(605)에 대한 디스플레이 지속 시간 예측시, 디스플레이 장치는 텍스트 바에 대한 형태 및 위치 중 적어도 하나에 기초하여, 텍스트 바가 지속되는 시간을 예측하도록 훈련된 학습 모델을 수행 함으로써, 텍스트 바(605)의 형태(또는, 크기) 및 위치에 따라, 상이한 디스플레이 지속 시간을 예측할 수 있다. 예컨대, 디스플레이 장치는 제1 텍스트 바(605-1), 제2 텍스트 바(605-2), 제3 텍스트 바(605-3) 및 제4 텍스트 바(605-4)의 크기 및 위치가 상이 함에 따라, 각 텍스트 바에 대한 디스플레이 지속 시간을 상이하게 예측할 수 있다.
디스플레이 장치는 로고(602), 워드(604) 및 텍스트 바(605)에 대응하는 영역 내 픽셀의 휘도값을, 로고(605), 워드(604) 및 텍스트 바(605) 각각에 예측된 상기 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이 함으로써, 번인 현상을 감소시킬 수 있다.
한편, 디스플레이 장치는 영상으로부터 추출한 로고(602)에 대해, 설정된 기준(예컨대, 색상)에 따라 복수의 세그먼테이션으로 분할하고, 분할된 세그먼테이션 별로 픽셀의 휘도값을 제어할 수 있으며, 이후 도 8을 참조하여 상세하게 설명한다.
도 8은 본 발명의 일 실시예에 따른 디스플레이 장치에서 영상 내 로고 오브젝트의 휘도값을 조정하는 일례를 설명하기 위한 도면이다.
도 8을 참조하면, 디스플레이 장치는 영상으로부터 추출된 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다.
예컨대, 디스플레이 장치는 영상으로부터 'NBC' 로고(801)가 추출된 경우, 'NBC' 로고(801) 내 픽셀의 색상에 기초하여, 'NBC' 로고(801)를 제1 세그먼테이션 내지 제6 세그먼테이션(802~807)로 분할하고, 제1 세그먼테이션 내지 제6 세그먼테이션(802~807)에 대응하는 휘도값을 확인할 수 있다. 제1 세그먼테이션(802)에 대응하는 휘도값 확인시, 디스플레이 장치는 제1 세그먼테이션(802) 내 각 픽셀의 휘도값이 동일할 경우, 상기 픽셀의 휘도값을, 제1 세그먼테이션(802)에 대응하는 휘도값으로 확인할 수 있다. 반면, 디스플레이 장치는 제1 세그먼테이션(802) 내 각 픽셀의 휘도값이 동일하지 않을 경우, 제1 세그먼테이션(802) 내 각 픽셀의 평균값을 산출하고, 산출된 평균값을 제1 세그먼테이션(802)에 대응하는 휘도값으로 확인할 수 있다.
디스플레이 장치는 상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하고, 상기 결정된 색상별 번인 효과의 정도 및 로고에 대한 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다. 디스플레이 장치는 제1 세그먼테이션(802)가 '노란색'일 경우, '노란색'에 대한 번인 효과의 정도(즉, 노란색이 디스플레이될 때 번인이 발생하는 정도)를 기설정된 색상별 번인 효과 테이블에서 검색하여 결정하고, '노란색'에 대한 번인 효과의 정도와 'NBC' 로고(801)에 대한 디스플레이 지속 시간에 기초하여, 제1 세그먼테이션(802)에 대한 휘도 조정값을 결정할 수 있다. 이때, 디스플레이 장치는 'NBC' 로고(801)에 대한 디스플레이 지속 시간에 비례하여 결정된 휘도 조정값에서, '노란색'에 대한 번인 효과의 정도에 대응하는 설정치를 차감하여, 제1 세그먼테이션(802)에 대한 휘도 조정값을 결정할 수 있다.
또한, 디스플레이 장치는 제5 세그먼테이션(806)가 '파란색'일 경우, '파란색'에 대한 번인 효과의 정도(즉, 파란색이 디스플레이될 때 번인이 발생하는 정도)를 기설정된 색상별 번인 효과 테이블에서 검색하여 결정하고, '파란색'에 대한 번인 효과의 정도와 'NBC' 로고(801)에 대한 디스플레이 지속 시간에 기초하여, 제5 세그먼테이션(806)에 대한 휘도 조정값을 결정할 수 있다. 이때, 디스플레이 장치는 'NBC' 로고(801)에 대한 디스플레이 지속 시간에 비례하여 결정된 휘도 조정값에서, '파란색'에 대한 번인 효과의 정도에 대응하는 설정치를 차감하여, 제5 세그먼테이션(806)에 대한 휘도 조정값을 결정할 수 있다.
디스플레이 장치는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값(입력된 영상에서의 기존 휘도값)을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값 만큼 감소시키고, 상기 감소된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어할 수 있다. 예컨대, 디스플레이 장치는 입력된 영상에서 로고 내 제1 세그먼테이션(802)에 대응하는 휘도값이 '0.73'이고, 제1 세그먼테이션(802)에 결정된 휘도 조정값이 '0.23'일 경우, 휘도값에서 휘도 조정값을 감소시킨 '0.50'의 휘도값으로, 제1 세그먼테이션(802) 내 픽셀을 제어할 수 있다. 디스플레이 장치는 입력된 영상에서 로고 내 제5 세그먼테이션(806)에 대응하는 휘도값이 '0.40'이고, 제5 세그먼테이션(806)에 결정된 휘도 조정값이 '0.10'일 경우, 휘도값에서 휘도 조정값을 감소시킨 '0.30'의 휘도값으로, 제5 세그먼테이션(806) 내 픽셀을 제어할 수 있다.
디스플레이 장치는 입력된 영상에서 로고 내 제2,3,4,6 세그먼테이션(803, 804, 805, 807)에 대해서도, 해당 색상에 대한 번인 효과의 정도와 'NBC' 로고(801)에 대한 디스플레이 지속 시간을 고려하여, 각 세그먼테이션 내 픽셀의 휘도값을 제어할 수 있다.
도 9은 본 발명의 일 실시예에 따른 디스플레이 방법을 나타내는 흐름도이다.
도 9를 참조하면, 단계 901에서, 디스플레이 장치는 입력되는 영상으로부터 설정된 종류의 오브젝트를 추출할 수 있다. 여기서, 디스플레이 장치는 상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출할 수 있다. 이때, 디스플레이 장치는 영상으로부터 텍스트 바를 추출하고, 상기 추출된 텍스트 바로부터 워드를 추출할 수 있다.
이때, 디스플레이 장치는 상기 영상에 대해, 제1 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출할 수 있다. 여기서, 제1 딥 뉴럴 네트워크는 영상 내의 로고, 워드 및 텍스트 바를 인식할 수 있도록 미리 훈련된 학습 모델이다.
단계 902에서, 디스플레이 장치는 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측할 수 있다. 이때, 디스플레이 장치는 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측할 수 있다. 여기서, 디스플레이 장치는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델이다.
상기 오브젝트에 대한 디스플레이 지속 시간 예측시, 디스플레이 장치는 상기 영상 내 상기 오브젝트의 위치(예컨대, 상단, 하단, 또는 기준 픽셀로부터 n(n은 자연수) 만큼 이격된 픽셀 위치) 및 크기(또는, 형태) 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측할 수 있다.
한편, 디스플레이 장치는 상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성을 확인하고, 상기 워드의 속성(예컨대, 주식, 환율, 날씨)에 기초하여 상기 디스플레이 지속 시간을 예측 함으로써, 워드의 속성에 따라 디스플레이 지속 시간을 정확하게 획득할 수 있다. 예를 들어, 워드의 속성이란 워드가 나타내는 정보의 종류일 수 있다.
단계 903에서, 디스플레이 장치는 상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인할 수 있다.
이때, 디스플레이 장치는 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다.
영상 내 오브젝트에 대한 세그먼테이션 분할의 다른 일례로서, 디스플레이 장치는 상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인할 수 있다.
단계 904에서, 디스플레이 장치는 상기 확인된 픽셀의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이할 수 있다.
구체적으로, 디스플레이 장치는 상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하고, 상기 확인된 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값에 기초하여 조정할 수 있다. 이때, 디스플레이 장치는 예컨대, 상기 확인된 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 상기 결정된 휘도 조정값 만큼 감소시켜 조정할 수 있다. 이후, 디스플레이 장치는 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어할 수 있다.
또한, 디스플레이 장치는 상기 오브젝트에 대응하는 영역 내 픽셀의 색상을 더 확인하고, 상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정 함으로써, 색상이 번인 현상 발생에 미치는 영향을 최소화할 수 있다. 이때, 디스플레이 장치는 디스플레이 지속 시간에 기초하여 조정된 상기 픽셀의 휘도 조정값에서, 상기 픽셀의 색상에 대응하여 설정된 색상 조정값 만큼 감소시켜 추가적으로 조정할 수 있다.
상기 픽셀 제어시, 디스플레이 장치는 상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어할 수 있다. 즉, 디스플레이 장치는 조정된 픽셀의 휘도값이 너무 낮을 경우, 사용자가 영상을 보는 데 불편하지 않을 정도의 최소 휘도값으로 픽셀을 제어할 수 있다.
한편, 디스플레이 장치는 로고 내 픽셀의 휘도값에 기초하여, 로고가 복수의 세그먼테이션으로 분할되면, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도별 번인 효과의 정도를 결정할 수 있다. 디스플레이 장치는 상기 결정된 휘도값별 번인 효과의 정도 및 상기 로고에 대해 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
이때, 디스플레이 장치는 상기 로고에 대해 예측된 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정하고, 상기 결정된 휘도 조정값에서, 상기 복수의 세그먼테이션 각각에 대해 결정된 휘도값별 번인 효과의 정도에 대응하는 제1 설정치를 차감하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
이후, 디스플레이 장치는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고(예컨대, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값 만큼 감소시킴), 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어할 수 있다.
또한, 디스플레이 장치는 로고 내 픽셀의 색상에 기초하여, 로고가 복수의 세그먼테이션으로 분할되면, 상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정할 수 있다. 디스플레이 장치는 상기 결정된 색상별 번인 효과의 정도 및 상기 로고에 대해 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
이때, 디스플레이 장치는 상기 로고에 대해 예측된 디스플레이 지속 시간에 비례하여 휘도 조정값을 결정하고, 상기 결정된 휘도 조정값에서, 상기 복수의 세그먼테이션 각각에 대해 결정된 색상별 번인 효과의 정도에 대응하는 제2 설정치를 차감하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정할 수 있다.
이후, 디스플레이 장치는 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고(예컨대, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값 만큼 감소시킴), 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어할 수 있다.
이상 설명된 본 발명에 따른 실시 예는 컴퓨터 상에서 다양한 구성요소를 통하여 실행될 수 있는 컴퓨터 프로그램의 형태로 구현될 수 있으며, 이와 같은 컴퓨터 프로그램은 컴퓨터로 판독 가능한 매체에 기록될 수 있다. 이때, 매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다.
한편, 상기 컴퓨터 프로그램은 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.
본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
200: 디스플레이 장치
201: 예측부
202: 프로세서
203: 확인부
204: 결정부
205: 제어부

Claims (20)

  1. 번인(Burn-in) 현상을 감소시키기 위한 디스플레이 방법으로서,
    입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하는 단계;
    상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측하는 단계; 및
    상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀(pixel)의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이하는 단계를 포함하는,
    디스플레이 방법.
  2. 제1항에 있어서,
    상기 오브젝트를 추출하는 단계는,
    상기 영상에 대해, 제1 딥 뉴럴 네트워크(DNN: Deep Neural Network) 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출하는 단계를 포함하고,
    상기 디스플레이 지속 시간을 예측하는 단계는,
    상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측하는 단계를 포함하고,
    상기 제1 딥 뉴럴 네트워크는 영상 내의 로고(logo), 워드(word) 및 텍스트 바(text bar)를 인식할 수 있도록 미리 훈련된 학습 모델이고,
    상기 제2 딥 뉴럴 네트워크는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델인,
    디스플레이 방법.
  3. 제1항에 있어서,
    상기 디스플레이 지속 시간을 예측하는 단계는,
    상기 영상 내 상기 오브젝트의 위치 및 크기 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측하는 단계를 포함하는,
    디스플레이 방법.
  4. 제1항에 있어서,
    상기 오브젝트를 추출하는 단계는,
    상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하는 단계를 포함하는,
    디스플레이 방법.
  5. 제1항에 있어서,
    상기 영상을 디스플레이하는 단계는,
    상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인하는 단계;
    상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하는 단계; 및
    상기 확인된 픽셀의 휘도값을 상기 휘도 조정값에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어하는 단계를 포함하는,
    디스플레이 방법.
  6. 제5항에 있어서,
    상기 영상을 디스플레이하는 단계는,
    상기 오브젝트에 대응하는 영역 내 픽셀의 색상을 확인하는 단계를 더 포함하고,
    상기 픽셀을 제어하는 단계는,
    상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정하는 단계를 포함하는,
    디스플레이 방법.
  7. 제5항에 있어서,
    상기 픽셀을 제어하는 단계는,
    상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어하는 단계를 포함하는,
    디스플레이 방법.
  8. 제1항에 있어서,
    상기 디스플레이 지속 시간을 예측하는 단계는,
    상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성을 확인하는 단계; 및
    상기 워드의 속성에 기초하여 상기 디스플레이 지속 시간을 예측하는 단계를 포함하는,
    디스플레이 방법.
  9. 제1항에 있어서,
    상기 영상을 디스플레이하는 단계는,
    상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 단계;
    상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도값별 번인 효과의 정도를 결정하는 단계;
    상기 결정된 휘도값별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 단계; 및
    상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 단계를 포함하는,
    디스플레이 방법.
  10. 제1항에 있어서,
    상기 영상을 디스플레이하는 단계는,
    상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 단계;
    상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하는 단계;
    상기 결정된 색상별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 단계; 및
    상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 단계를 포함하는,
    디스플레이 방법.
  11. 번인 현상을 감소시키기 위한 디스플레이 장치로서,
    입력되는 영상으로부터 설정된 종류의 오브젝트를 추출하고, 상기 추출된 오브젝트에 대한 디스플레이 지속 시간을 예측하는 예측부; 및
    상기 영상에서 상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을, 상기 예측된 디스플레이 지속 시간에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값을 반영하여 상기 영상을 디스플레이하는 프로세서를 포함하는,
    디스플레이 장치.
  12. 제11항에 있어서,
    상기 예측부는,
    상기 영상에 대해, 제1 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 영상으로부터 설정된 종류의 오브젝트를 추출하고, 상기 추출된 오브젝트에 대해, 제2 딥 뉴럴 네트워크 알고리즘을 수행하여, 상기 오브젝트에 대한 디스플레이 지속 시간을 예측하며,
    상기 제1 딥 뉴럴 네트워크는 영상 내의 로고, 워드 및 텍스트 바를 인식할 수 있도록 미리 훈련된 학습 모델이고,
    상기 제2 딥 뉴럴 네트워크는 영상 내에 나타나는 로고, 워드 및 텍스트 바가 지속되는 시간을 예측하도록 미리 훈련된 학습 모델인,
    디스플레이 장치.
  13. 제11항에 있어서,
    상기 예측부는,
    상기 영상 내 상기 오브젝트의 위치 및 크기 중 적어도 하나에 기초하여 상기 디스플레이 지속 시간을 예측하는,
    디스플레이 장치.
  14. 제11항에 있어서,
    상기 예측부는,
    상기 설정된 종류의 오브젝트로서, 로고, 워드 및 텍스트 바 중 적어도 하나를 추출하는,
    디스플레이 장치.
  15. 제11항에 있어서,
    상기 프로세서는,
    상기 오브젝트에 대응하는 영역 내 픽셀의 휘도값을 확인하는 확인부;
    상기 예측된 디스플레이 지속 시간에 기초하여 휘도 조정값을 결정하는 결정부; 및
    상기 확인된 픽셀의 휘도값을 상기 휘도 조정값에 기초하여 조정하고, 상기 조정된 픽셀의 휘도값에 따라, 상기 픽셀을 제어하는 제어부를 포함하는,
    디스플레이 장치.
  16. 제15항에 있어서,
    상기 확인부에 의해, 상기 오브젝트에 대응하는 영역 내 픽셀의 색상이 더 확인되면,
    상기 제어부는,
    상기 확인된 픽셀의 색상에 기초하여, 상기 조정된 픽셀의 휘도값을 추가적으로 조정하는,
    디스플레이 장치.
  17. 제15항에 있어서,
    상기 제어부는,
    상기 조정된 픽셀의 휘도값이 설정된 최소 휘도값 보다 작을 경우, 상기 최소 휘도값으로 상기 픽셀을 제어하는,
    디스플레이 장치.
  18. 제11항에 있어서,
    상기 예측부는,
    상기 오브젝트의 종류가 워드일 경우, 상기 워드의 속성을 확인하고, 상기 워드의 속성에 기초하여 상기 디스플레이 지속 시간을 예측하는,
    디스플레이 장치.
  19. 제11항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 휘도값에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 확인부;
    상기 로고 내 복수의 세그먼테이션 각각에 대하여 휘도값별 번인 효과의 정도를 결정하고, 상기 결정된 휘도값별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 결정부; 및
    상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 제어부를 포함하는,
    디스플레이 장치.
  20. 제11항에 있어서,
    상기 프로세서는,
    상기 오브젝트의 종류가 로고일 경우, 상기 로고 내 픽셀의 색상에 기초하여, 상기 로고를 복수의 세그먼테이션으로 분할하고, 상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을 확인하는 확인부;
    상기 로고 내 복수의 세그먼테이션 각각에 대하여 색상별 번인 효과의 정도를 결정하고, 상기 결정된 색상별 번인 효과의 정도 및 상기 예측된 디스플레이 지속 시간에 기초하여, 상기 복수의 세그먼테이션 각각에 대한 휘도 조정값을 결정하는 결정부; 및
    상기 분할된 복수의 세그먼테이션 각각에 대응하는 휘도값을, 상기 복수의 세그먼테이션 각각에 결정된 휘도 조정값에 기초하여 조정하고, 상기 조정된 휘도값에 따라, 상기 복수의 세그먼테이션 내 픽셀을 제어하는 제어부를 포함하는,
    디스플레이 장치.
KR1020190092714A 2019-07-30 2019-07-30 디스플레이 장치 및 방법 KR20190096859A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190092714A KR20190096859A (ko) 2019-07-30 2019-07-30 디스플레이 장치 및 방법
US16/579,764 US11127372B2 (en) 2019-07-30 2019-09-23 Display device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190092714A KR20190096859A (ko) 2019-07-30 2019-07-30 디스플레이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20190096859A true KR20190096859A (ko) 2019-08-20

Family

ID=67807484

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190092714A KR20190096859A (ko) 2019-07-30 2019-07-30 디스플레이 장치 및 방법

Country Status (2)

Country Link
US (1) US11127372B2 (ko)
KR (1) KR20190096859A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517648A (zh) * 2019-09-05 2019-11-29 四川长虹电器股份有限公司 显示装置的调光方法及系统
CN110853581A (zh) * 2019-11-06 2020-02-28 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调整方法及存储介质
CN111798794A (zh) * 2020-06-12 2020-10-20 北京小米松果电子有限公司 显示控制方法、显示控制装置及存储介质
US11996024B2 (en) 2021-08-31 2024-05-28 Samsung Electronics Co., Ltd. Display device and operating method thereof

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210094692A (ko) * 2020-01-21 2021-07-30 삼성디스플레이 주식회사 잔상 방지 방법 및 이를 포함하는 표시 장치
KR20210094691A (ko) * 2020-01-21 2021-07-30 삼성디스플레이 주식회사 잔상 방지 방법 및 이를 포함하는 표시 장치
KR20220011840A (ko) * 2020-07-21 2022-02-03 삼성디스플레이 주식회사 표시장치 및 표시장치의 구동 방법
US20230047673A1 (en) * 2021-08-13 2023-02-16 Samsung Electronics Co., Ltd. Detecting stationary regions for organic light emitting diode (oled) television (tv) luminance reduction
KR20230039867A (ko) * 2021-09-14 2023-03-22 삼성디스플레이 주식회사 잔상 분석부, 표시 장치, 및 표시 장치의 잔상 보상 방법
KR20230118733A (ko) * 2022-02-04 2023-08-14 삼성디스플레이 주식회사 표시 장치
CN114510208B (zh) * 2022-04-02 2022-06-24 北京邮电大学 用于oled的文本显示位置控制方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120106558A (ko) 2011-03-18 2012-09-26 삼성전자주식회사 잔상 감소를 위한 ｇｕｉ 제공 방법 및 표시 장치
KR20180013189A (ko) 2016-07-28 2018-02-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 동작 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011107410A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像表示装置および画像表示方法
JP2013142775A (ja) * 2012-01-11 2013-07-22 Sony Corp 表示装置、電子機器、表示方法、並びにプログラム
US10304379B2 (en) * 2014-05-15 2019-05-28 Joled, Inc. Display device and method for driving display device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120106558A (ko) 2011-03-18 2012-09-26 삼성전자주식회사 잔상 감소를 위한 ｇｕｉ 제공 방법 및 표시 장치
KR20180013189A (ko) 2016-07-28 2018-02-07 삼성전자주식회사 전자 장치 및 전자 장치에서의 동작 제어 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517648A (zh) * 2019-09-05 2019-11-29 四川长虹电器股份有限公司 显示装置的调光方法及系统
CN110853581A (zh) * 2019-11-06 2020-02-28 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调整方法及存储介质
CN110853581B (zh) * 2019-11-06 2021-03-16 深圳市华星光电半导体显示技术有限公司 显示面板的亮度调整方法及存储介质
CN111798794A (zh) * 2020-06-12 2020-10-20 北京小米松果电子有限公司 显示控制方法、显示控制装置及存储介质
US11996024B2 (en) 2021-08-31 2024-05-28 Samsung Electronics Co., Ltd. Display device and operating method thereof

Also Published As

Publication number Publication date
US20200020303A1 (en) 2020-01-16
US11127372B2 (en) 2021-09-21

Similar Documents

Publication Publication Date Title
KR20190096859A (ko) 디스플레이 장치 및 방법
EP2782326B1 (en) Method and apparatus for processing an image based on an image property and ambient environment information
KR102594201B1 (ko) 영상 처리 방법 및 이를 수행하는 표시 장치
US9412304B2 (en) Display device and method for driving the same
RU2609760C2 (ru) Устройства и способы усовершенствованного кодирования изображений
KR102446620B1 (ko) 디스플레이장치 및 그의 영상표시방법
KR102552299B1 (ko) 잔상 보상부, 이를 포함하는 표시 장치, 및 표시 장치의 구동 방법
KR102658426B1 (ko) 유기발광 표시장치와 그 구동방법
KR102196912B1 (ko) 표시장치 및 그 구동방법
KR20150127691A (ko) 특성들의 혼합에 기초하는 로고 존재 검출기
KR102438253B1 (ko) 유기 발광 표시 장치 및 그 구동방법
KR102528532B1 (ko) 디스플레이 장치 및 그 휘도 제어 방법
CN102768757B (zh) 一种基于图像类型分析的遥感图像色彩校正方法
KR102608147B1 (ko) 디스플레이 장치 및 그 구동 방법
KR20150029174A (ko) 잔상 후보 영역 검출 장치 및 이를 포함하는 잔상 방지 장치
CN102629383A (zh) 一种基于随机策略的运动目标检测方法
US11138437B2 (en) Image processing apparatus and method thereof
KR102379776B1 (ko) 전계발광표시장치 및 이의 구동방법
US9332620B2 (en) Lighting device, lighting system including the same, and method of operating the same
CN111160215A (zh) 图像标识提取装置、图像标识的亮度调节方法、装置
US20170263057A1 (en) Method for hole filling in 3d model, and recording medium and apparatus for performing the same
CN106231278A (zh) 视频处理方法及电视系统
CN108961293A (zh) 一种背景减除的方法、装置、设备及存储介质
KR102600973B1 (ko) 표시 장치 및 표시 장치의 열화 보상 방법 및 장치
US10089746B2 (en) Motion detection system and method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal