KR102109933B1 - 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법 - Google Patents

디스플레이의 곡률을 참조하는 영상 처리장치 및 방법 Download PDF

Info

Publication number
KR102109933B1
KR102109933B1 KR1020130076624A KR20130076624A KR102109933B1 KR 102109933 B1 KR102109933 B1 KR 102109933B1 KR 1020130076624 A KR1020130076624 A KR 1020130076624A KR 20130076624 A KR20130076624 A KR 20130076624A KR 102109933 B1 KR102109933 B1 KR 102109933B1
Authority
KR
South Korea
Prior art keywords
display
image
center region
determining
pixel
Prior art date
Application number
KR1020130076624A
Other languages
English (en)
Other versions
KR20150003582A (ko
Inventor
박승란
김연진
한성욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130076624A priority Critical patent/KR102109933B1/ko
Priority to US14/299,369 priority patent/US10353433B2/en
Priority to CN201480046529.5A priority patent/CN105474260B/zh
Priority to JP2016523658A priority patent/JP6378329B2/ja
Priority to EP14820691.5A priority patent/EP3017422A4/en
Priority to PCT/KR2014/005825 priority patent/WO2015002423A1/en
Publication of KR20150003582A publication Critical patent/KR20150003582A/ko
Application granted granted Critical
Publication of KR102109933B1 publication Critical patent/KR102109933B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • G09G3/035—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays for flexible display surfaces
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0666—Adjustment of display parameters for control of colour parameters, e.g. colour temperature
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2003—Display of colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Geometry (AREA)

Abstract

본 발명은, 디스플레이의 곡률을 참조하는 영상처리 방법에 관한 것이다.
본 발명에 따르면, 상기 디스플레이의 물리적 곡률 정보를 획득하고, 상기 물리적 곡률 정보를 기초로 입력 영상의 중심 영역을 결정하며, 상기 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인을 생성하고, 상기 픽셀별 위치에 따른 게인을 이용하여 상기 입력 영상의 픽셀값을 보정하는 영상처리 방법이 제안된다.

Description

디스플레이의 곡률을 참조하는 영상 처리장치 및 방법{Image Processing Method and Apparatus for Curved Display device}
본 발명은 영상 처리장치 및 방법에 관한 것이며, 더 상세하게는 디스플레이의 곡률을 참조하여 픽셀별 위치 적응적으로 영상의 영상의 픽셀 성분을 보정하는 장치 및 방법에 관한 것이다.
최근 디스플레이의 발전에 따라서 플렉서블(flexible), 폴더블(Foldable), 밴더블(Bendable) 및 커브드(Curved) 디스플레이 등이 하드웨어적으로 구현 가능해 졌다.
하지만, 영상은 일반적으로 편평한(Flat)한 디스플레이(display device)에서 표시되도록 처리되어 이처럼 물리적으로 곡률을 가지는 디스플레이에서 표시될 경우 왜곡 현상의 발생이 불가피 한 문제가 있다. 또한, 디스플레이의 구부러짐 또는 모양 변화는 관찰자가 인지하는 주변 시야(Peripheral Vision) 특성에 영향을 주고, 그에 따라 디스플레이에 표시되는 영상 내 물체의 입체감, 선명도, 원근감 등 인지 화질 요소의 저하를 야기시키게 되었다.
한편, 종래에는 화질 요소의 저하를 막기 위해서 입력 영상 신호의 공간 주파수, 밝기 또는 채도 등을 참조하여 동일 화면 내에서 컬러 신호처리 강도를 증감처리 하는 방법을 사용하였다. 하지만 이와 같은 종래의 신호처리 강도 조절 방법들은 일반 영상의 비선형적 특성 때문에, 신호처리 강도 분포가 급격하게 변화하여, 윤곽선 결함(Contour artifact) 또는 노이즈 결함을 유발하는 단점이 있었다. 또한 결함 방지를 위해 영상 처리를 위한 강도의 조절범위가 현실적으로는 매우 제한적으로 적용되어 화질 개선의 효과 또한 높지 않았다.
본 발명은 디스플레이의 곡률을 참조하여 영상을 처리하는 방법으로서, 디스플레이의 구부러짐 또는 모양 변화 등의 물리적 형태 변화를 수반하는 영상처리 장치에서 디스플레이의 곡률 정도에 따른 컬러성분 보정을 통해 영상의 입체감, 선명도 및 원근감 등 인지 화질을 향상 시키는 방법 및 장치에 관한 것이다.
상기 기술적 과제를 해결하기 위하여, 본 발명의 일 실시 예에 따라 디스플레이의 곡률을 참조하는 영상처리 방법은 상기 디스플레이의 물리적 곡률 정보를 획득하는 단계; 상기 물리적 곡률 정보를 기초로 입력 영상의 중심 영역을 결정하는 단계; 상기 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인(spatial indexed gain)을 생성하는 단계; 및 상기 픽셀별 위치에 따른 게인을 이용하여 상기 입력 영상의 픽셀값을 보정하는 단계;를 포함할 수 있다.
일 실시예에 따른 상기 픽셀값 보정 단계는 상기 영상에 포함된 픽셀의 컬러성분의 밝기, 채도 및 색상 중 적어도 하나를 변경할 수 있다.
일 실시예에 따른 상기 물리적 곡률 정보는, 상기 디스플레이에 부착된 변형감지부로부터 검출될 수 있다.
일 실시예에 따른 상기 영상의 중심 영역을 결정하는 단계는 상기 영상의 중심영역의 형태 및 중심영역의 위치를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 영상의 중심 영역을 결정하는 단계는 상기 물리적 곡률 정보를 이용하여 상기 디스플레이가 오목한 부분을 중심영역으로 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 영상의 중심 영역을 결정하는 단계는 상기 입력 영상에서 적어도 하나의 객체를 검출하는 단계; 및 상기 검출된 적어도 하나의 객체 위치와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 객체를 검출하는 단계는 얼굴검출을 수행하거나 에지검출을 수행하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 영상의 중심 영역을 결정하는 단계는 상기 영상에서 구도를 검출하는 단계; 및 상기 검출된 구도와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 상기 픽셀별 위치에 따른 게인은 상기 결정된 중심영역에서 멀어질수록 감소하는 컬러성분의 이득 값일 수 있다.
일 실시예에 따른 상기 픽셀의 컬러성분은 밝기, 채도 및 색상 중 적어도 하나를 포함할 수 있다.
일 실시예에 따른 상기 영상처리 방법은 상기 입력 영상이 RGB 영상인 경우, 상기 RGB 영상에 대해 색공간 변환을 수행하여 상기 입력 영상을 밝기, 채도 및 색상 성분으로 분리하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 장치는 상기 디스플레이의 물리적 곡률 정보를 획득하는 곡률 정보 획득부; 상기 물리적 곡률 정보를 기초로 입력 영상의 중심 영역을 결정하는 중심영역 결정부; 상기 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인(spatial indexed gain)을 생성하는 게인 생성부; 및 상기 픽셀별 위치에 따른 게인을 이용하여 상기 입력 영상의 픽셀값을 보정하는 영상 보정부;를 포함한다.
일 실시예에 따른 상기 디스플레이는 플렉서블(flexible) 디스플레이, 폴더블(Foldable) 디스플레이, 밴더블(Bendable) 디스플레이 및 커브드(Curved) 디스플레이 중 적어도 하나일 수 있다.
본 발명은, 일 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 포함한다.
도 1a는 일 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 장치(100)의 블록도를 도시한다.
도 1b는 일 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 방법의 흐름도를 도시한다.
도 2는 일 실시예에 따라 디스플레이(200)의 중심영역(220)을 결정하는 일 예를 도시한다.
도 3은 일 실시예에 따른 픽셀별 위치에 따른 게인을 나타내는 그래프를 도시한다.
도 4a, 4b 는 다른 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 장치(400)의 블록도 및 순서도를 도시한다.
도 5는 다른 실시예에 따른 디스플레이의 물리적 곡률정보를 기초로 검출된 객체를 참조하여 중심영역을 결정하는 일 예를 도시한다.
도 6는 또 다른 실시예에 따른 디스플레이의 물리적 곡률정보를 기초로 검출된 객체를 참조하여 중심영역을 결정하는 다른 예를 도시한다.
이하, 도면을 참조하여, 본 발명의 일 실시예에 따른 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법을 상세히 설명 한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 유사한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략한다.
도 1a는 일 실시예에 따른 디스플레이(display device)의 곡률을 참조하는 영상처리 장치(100)의 블록도를 도시한다.
일 실시예에 따른 화면의 곡률을 참조하는 영상처리 장치(100)는 곡률정보 획득부(110), 중심영역 결정부(120), 게인 생성부(130), 영상 보정부(140)을 포함한다. 일 실시예에 따른 영상처리 장치(100)는 상기 디스플레이의 물리적 곡률 정보를 획득하고, 획득된 물리적 곡률 정보를 기초로 입력영상의 중심영역을 결정하고, 결정된 중심영역을 기초로 입력영상의 픽셀별 위치에 따라 픽셀값을 보정할 수 있다.
일 실시예에 따른 영상처리 장치(100)의 곡률정보 획득부(110)는 디스플레이의 곡률 정보를 획득할 수 있다. 여기서 곡률정보 획득부(110)는 고정된 곡률을 가지는 디스플레이의 경우, 디스플레이의 프로필을 참조하여 디스플레이의 물리적 곡률정보 수신할 수 도 있다. 또한, 디스플레이에 별도로 부착된 센서가 디스플레이의 변형을 감지는 경우 센서로부터 곡률정보를 수신할 수 있다.
일 실시예에 따라 물리적 변형 수반하는 디스플레이는 플렉서블(flexible) 디스플레이, 폴더블(Foldable) 디스플레이, 밴더블(Bendable) 디스플레이 및 커브드(Curved) 디스플레이일 수 있다. 물론 이러한 구성에 한정되는 것은 아니며 물리적으로 변형 가능한 다양한 형태의 디스플레이도 사용가능 하다.
일 실시예에 따른 영상처리 장치(100)의 중심영역 결정부(120)는 곡률정보 획득부(110)에서 획득한 디스플레이의 곡률정보를 기초로 입력 영상의 중심 영역을 결정할 수 있다. 구체적으로, 디스플레이의 물리적 곡률 정보를 참조하여, 영상의 중심 영역 위치 및 중심 영역의 형태를 결정할 수 있으며, 중심 영역의 위치 및 중심 영역의 형태는 디스플레이의 굴곡의 형태에 따라 달라 질 수 있다. 예를 들면, 굴곡의 극점이 존재하는 위치를 중심 영역 위치로 하고 곡률에 따라 중심 영역의 형태를 다르게 설정하되, 그 형태는 원, 타원, 사각, 또는 다각형 모양 등을 가질 수 있다.
일 실시예에 따라, 중심영역 결정부(120)는 디스플레이의 오목한 부분을 중심 영역으로 결정할 수 있으며, 물결 형태로 디스플레이가 굴곡져 있다면, 적어도 하나의 오목한 부분을 모두 중심영역으로 결정할 수도 있다. 한편, 다른 실시예에 따라 중심 영역의 형태 및 위치를 입력 영상에 서 검출되는 객체 또는 구도에 따라 적응적으로 결정할 수 있는바 자세한 내용은 후술한다.
일 실시예에 따른 영상처리 장치(100)의 게인 생성부(130)는 중심영역 결정부(120)에서 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인(Spatial indexed gain)을 생성할 수 있다. 여기서, 픽셀별 위치에 따른 게인은 입력 영상에 포함된 픽셀의 위치에 따라 다르게 결정되는 컬러성분의 이득 값이며, 컬러성분은 밝기, 채도 및 색상 중 적어도 하나를 포함할 수 있다.
예를 들면, 픽셀별 위치에 따른 컬러성분의 게인 생성시, 화면이 오목한 부분에서는 상대적으로 처리강도를 높여, 주변 시야 대비 화면의 입체감을 증가시키고, 반대로 볼록한 부분에 대해서는 상대적으로 처리 강도를 낮추어, 주변 시야 대비 화면의 과도한 화질 효과를 억제시키며 입체감을 유지하도록 할 수 있다. 즉, 오목한 부분에서 높은 값을 갖고 볼록한 부분일수록 낮은 값을 갖는 게인을 생성할 수 있다. 또한, 상술한 바와 같이 오목한 부분을 중심영역으로 설정한다면, 중심영역에 높은 게인을 할당하고, 중심영역에서 멀어질수록 낮은 게인을 할당하여 상술한 효과를 얻을 수 있다.
일 실시예에 따른 영상처리 장치(100)의 영상 보정부(140)는 픽셀별 위치에 따른 게인(Spatial indexed gain)을 이용하여 입력 영상의 픽셀값을 보정할 수 있다.
구체적으로, 픽셀별 컬러성분들을 결정된 픽셀별 위치에 따른 게인을 이용하여 하기의 [수학식1]과 같이 차등적으로 보정을 수행한다.
Figure 112013059066846-pat00001
여기서, In[i][j]는 [i][j]번째 입력되는 영상의 픽셀을 나타내며, Gain은 상술한 픽셀 위치별 게인, Out은 출력 영상을 나타낸다. 또한, Offset은 영상의 전체적인 특성을 반영하기 위한 오프셋을 나타낸다. 예를 들어, 출력 영상의 픽셀값의 정규화를 위해 오프셋이 설정될 수 있다.
상기 [수학식1]을 적용함에 따라, 입력 영상은 컬러성분에 대하여 픽셀별 위치에 따른 게인이 적용되어 보정됨으로써, 곡률을 가진 디스플레이에 있어서 입체감, 선명도 및 원근감 등의 인지화질이 저하되지 않는 영상이 출력될 수 있다.
한편, 여기서 보정되는 픽셀의 컬러성분은 밝기, 채도 및 색상 중 적어도 하나를 포함 할 수 있다. 영상처리 장치(100)는, 입력 영상이 RGB영상인 경우, RGB 영상에 대해 색공간 변환을 수행하여, 입력 영상을 밝기, 채도 및 색상 성분으로 분리하여 각 성분에 대해 상술한 각종 동작을 수행할 수도 있다.
이러한 RGB영상에 대해 색공간 변환 방법의 일 예로는 YCbCr변환이 있다. 물론, 이러한 구성에 한정되는 것은 아니며, 다양한 형태의 색공간 변환이 실시될 수 있으며, 본 실시예가 속하는 분야의 통상의 기술자에게 RGB영상을 밝기, 채도 및 색상 성분으로 분리하는 기술은 공지기술에 해당하여 쉽게 이해할 것이므로 구체적인 설명은 생략한다.
한편, 상기 [수학식1]에서는 일 실시 예에 따라 픽셀값 보정에 있어서, 오프셋(Offset)을 더 포함할 수 있다. 여기서, 오프셋은 입력 영상전체의 평균 밝기 등을 고려하여 설정되는 값이다. 만약 입력 영상의 컬러성분에 대한 고려 없이 픽셀별 위치에 따른 게인 만으로 입력 영상을 보정하면 입력 영상의 비선형적인 특성에 의해 부자연스러운 영상이 표시될 수 있다. 따라서, 픽셀값 보정시 물리적 곡률을 참조하여 생성된 픽셀별 위치에 따른 게인을 이용하되 입력 영상의 평균밝기 등도 고려함으로써, 출력 영상이 부자연스러운 컬러성분을 갖는 것을 방지할 수 있다.
일 실시예에 따른 곡률정보 획득부(110), 중심영역 결정부(120), 게인생성부(130) 및 영상 보정부(140)의 구체적인 동작은, 이하 도 1b를 참조하여 상술한다.
도 1b를 참조하면 디스플레이의 곡률을 참조하는 영상처리 방법은 도 1a에 도시된 영상처리 장치(100)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1a 에 도시된 영상처리 장치(100)에 관하여 이상에서 기술된 내용은 도 1b에 도시된 방법에도 적용됨을 알 수 있다.
단계 s115에서, 곡률정보 획득부(110)는 디스플레이의 곡률 정보를 획득할 수 있다. 구체적으로, 영상처리장치(100)가 고정된 물리적 곡률을 가진 디스플레이를 포함하는 경우 일 실시예에 따라서 디스플레이 프로필 등을 통해 곡률정보 획득부(110)는 디스플레이의 프로필로부터 물리적 곡률 정보를 획득 할 수 있다. 또한, 다른 실시예에 따라 디스플레이가 가변적인 물리적 곡률을 갖는 경우 디스플레이에 부착된 센서등으로부터 곡률정보 획득부(110)는 디스플레이의 물리적 곡률정보를 획득할 수도 있다.
단계 s125에서는 중심영역 결정부(120)는 곡률정보 획득부(110)에서 획득한 디스플레이의 물리적 곡률정보를 기초로 입력 영상의 중심 영역을 결정 할 수 있다. 구체적으로 중심영역 결정부(120)는 디스플레이의 물리적 곡률정보를 기초로 중심영역의 형태 및 중심영역의 위치를 결정할 수 있다.
예를 들면, 도 2는 일 실시예에 따라 디스플레이(200)의 중심영역(220)을 결정하는 일 예를 도시한다.
도 2를 참조하면, 좌우가 대칭인 형태로 오목하게 휘어진 디스플레이(200)의 경우 디스플레이로부터 획득한 곡률 정보를 바탕으로 중심영역 결정부(120)는 디스플레이(200)의 정 중앙(210)을 중심영역의 위치로 결정할 수 있다. 또한, 화면이 일정한 곡률을 가지고 휘어져 있으므로 중심영역의 형태를 직사각형(220)으로 결정할 수 있다.
한편, 본 실시예에서는 오목한 부분을 중심영역으로 설정하였지만 이러한 구성에 한정되는 것은 아니며, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 화면의 곡률을 참조하여 가장 오목한 부분을 따라 중심영역의 위치가 정 중앙에서 좌우로 시프트 될 수 있으며, 또한 볼록한 부분을 중심영역으로 설정하거나 디스플레이의 굴곡을 바탕으로 적어도 하나 이상의 중심영역을 결정할 수 있음을 쉽게 이해할 수 있을 것이다.
다시 도1b를 참조하면, 단계 s135에서는 게인 생성부(130)는 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인을 생성 할 수 있다. 구체적으로 물리적 곡률을 참조로 결정된 중심영역의 위치 및 형태에 따라 픽셀별 위치에 따라 다른 값을 갖는 게인이 생성 될 수 있다.
예를 들면, 도 3은 일 실시예에 따른 픽셀별 위치에 따른 게인을 나타내는 그래프를 도시한다. 도 3에 도시된 그래프에서, 가로축은 입력 영상의 특정 라인에서 픽셀 위치를 나타내며, 세로축은 특정 라인의 픽셀별 컬러성분의 게인을 나타낸다.
도 3을 참조하면, 일 실시예에 따라 화면의 중심이 오목한 형태의 디스플레이의 경우 그래프 301 및 302과 같은 형태로 중심에서의 높은 게인을 갖도록 픽셀별 컬러성분의 게인이 분포될 수 있다. 여기서, 그래프 301과 302는 디스플레이의 물리적 곡률에 따라서 기울기가 다르다는 특성을 보여준다. 디스플레이의 기울기가 완만하다면 그래프 301과 같이 완만한 형태로 게인이 분포되며, 기울기가 급격하다면 그래프 302와 같이 급격한 형태로 게인이 분포된다.
디스플레이가 물결 모양으로 두번 굴곡된 경우 중심 영역이 굴곡을 중심으로 두 개 설정될 것이므로, 다른 실시예에 따라 그래프 303과 같은 형태로 분포된 게인을 가질 수 있다. 디스플레이가 볼록하게 굽은 경우, 또 다른 실시예에 따라 그래프 304와 같은 형태의 게인 분포를 가질 수도 있다.
예를 들면, 도 2에 도시된 실시 예에서 결정된 중심영역을 참조하면 디스플레이는 중심이 오목하며 도 2에 도시된 중심영역의 크기에 대응하는 곡률을 가질 것이므로, 그래프 301과 302사이의 기울기를 가지면서 디스플레이 중심의 강도가 높도록 분포된 게인이 생성될 것을 예측할 수 있다.
한편, 도 3에 도시된 그래프의 경우 입력 영상에서 하나의 라인에 배치된 픽셀별 위치에 따른 게인의 분포를 나타낸 것으로 중심영역의 형태가 사각형이라면 모든 라인의 분포가 동일하겠지만, 중심영역이 형태가 직사각형이 아니라, 원, 타원 모양 등으로 종방향을 기준으로 수평 간격이 일정하지 않은 형태인 경우, 라인별로 픽셀별 위치에 따른 게인 분포 그래프는 다른 형태를 가질 수 있다.
또한, 본 실시예에서 픽셀별 위치에 따른 게인은 횡방향으로의(라인 별) 변화만을 도시하였지만, 이러한 구성에 한정되는 것은 아니며, 디스플레이의 물리적 곡률에 따라 다양한 방향을 가질 수도 있다.
다시, 도 1b를 참조하면,
단계 s145에서는 픽셀별 위치에 따른 게인을 이용하여 입력 영상의 픽셀값을 보정한다.
예를 들면, 픽셀별 위치에 따른 게인이 컬러성분의 밝기를 조절하기 위한 게인을 포함하며 그 분포도가 도 3의 그래프 301 형태와 같다면, 일 실시예에 따라 입력 영상은 중심영역의 픽셀들은 높은 밝기를 가지고 픽셀들이 중심 영역에서 멀어질수록 낮은 게인을 갖도록 보정되어 중심영역에 표시된 영상의 입체감, 선명도 및 원근감이 증가되도록 할 수 있게 되는 것이다.
또한, 픽셀별 위치에 따른 게인이 컬러성분의 밝기에 대한 게인 뿐 아니라 채도에 대한 게인도 포함한다면, 다른 실시예에 따라 입력 영상의 중심영역의 픽셀들은 높은 밝기를 갖지만 낮은 채도를 가지고, 중심 영역에서 멀어질수록 낮은 밝기를 갖지만 높은 채도를 가지도록 게인이 생성될 것이다. 이를 이용하여 입력영상의 픽셀을 보정함으로써 표시된 영상의 입체감, 선명도 및 원근감이 증가되도록 할 수 있다.
또 다른 실시예에 따라, 양쪽 측면이 구부러진 오목한 디스플레이와 같이 곡률을 가짐으로 인해 플랫 디스플레이보다 넓은 인지시야를 가지는 디스플레이에 있어서, 곡률을 참조하여 영상처리 하는 방법을 제공하여, 디스플레이에서 입체감, 선명도 및 원근감 등의 인지화질도 저하되지 않는 영상이 출력되는 효과가 있다.
도 4a, 4b 는 다른 실시예에 따른 디스플레이의 곡률을 참조하는 영상처리 장치(400)의 블록도 및 순서도를 도시한다. 도 4a 및 4b는 도 1a 및 1b와 유사한 부분이 많으므로 차이점을 중심으로 설명한다.
도 4a를 참조하면, 다른 실시예에 따른 화면의 곡률을 참조하는 영상처리 장치(400)는 변형감지부(401), 곡률정보 획득부(410), 중심영역 결정부(420), 게인생성부(430), 영상 보정부(440)을 포함한다. 여기서 변형 감지부(401)는 볼록 감지부(402)와 오목 감지부(403)을 더 포함하며, 중심영역 결정부(420)는 객체 검출부(421)과 구도 검출부(422)를 더 포함한다.
일 실시예에 따른 영상처리 장치(400)는 변형 감지부(401)를 통해 디스플레이의 물리적 곡률 정보를 획득할 수 있다. 획득된 물리적 곡률 정보 및 입력 영상에서 검출된 객체 또는 구도를 기초로 입력영상의 중심영역을 결정할 수 있다. 결정된 중심영역을 기초로 입력영상의 픽셀별 위치에 따라 픽셀값을 보정할 수 있다.
일 실시예에 따른 영상처리 장치(400)의 변형 감지부(401)는 디스플레이의 변형을 감지하여 곡률 정보를 검출할 수 있다. 구체적으로 변형 감지부(401)가 디스플레이의 변형을 감지하면 볼록 감지부(402)는 디스플레이에서 볼록한 부분의 곡률을 감지하고, 오목 감지부(403)는 오목한 부분의 감지하여 곡률 정보를 검출할 수 있다.
또한, 곡률정보 획득부(410)는 검출된 디스플레이의 곡률 정보를 획득하여 중심 영역 결정부(420)에 제공할 수 있다.
일 실시예에 따른 영상처리 장치(400)의 중심영역 결정부(420)는 곡률정보 획득부(410)에서 획득한 디스플레이의 곡률정보를 기초로 입력 영상의 중심 영역을 결정할 수 있다. 다만, 도 1a,b에서 설명한 예와 다르게 다른 실시예에 따라 검출된 물리적 곡률 정보뿐 아니라 입력 영상에서 획득된 정보를 함께 이용하여 중심영역을 결정한다.
일 실시예에 따른 영상처리 장치(400)의 객체 검출부(421)는 입력영상에서 적어도 하나의 객체를 검출하고, 중심영역 결정부(420)는 검출된 객체 및 획득된 물리적 곡률 정보에 기초하여 중심 영역을 결정할 수 있다. 즉, 물리적 곡률정보를 기초로 결정된 중심영역에 대해 입력 영상에서 검출되는 객체에 따라 중심영역의 위치 및 형태가 변경될 수 있다.
여기서, 일 실시예에 따른 물리적 곡률 정보에 기초하여 중심영역을 결정하는 방법은 도 1a 및 도 1b에 대한 설명에서 상술하였으므로 생략한다.
한편, 영상이 입력되면 영상처리장치(400)의 객체 검출부(421)는 입력 영상에서 객체를 검출할 수 있다. 여기서 객체는 사람의 얼굴 또는 사물의 특징적인 부분이 해당 될 수 있다.
구체적으로, 다른 실시예에 따른 영상처리장치(400)의 객체 검출부(421)는 객체를 검출하기 위해 영상에 얼굴인식 알고리즘을 적용하여 구도정보를 추출할 수 있다.
예를 들어, 디스플레이 된 영상에 대한 얼굴의 크기, 위치 및 방향이 검출 될 수 있다.
얼굴의 크기 검출 시에, 컬러를 기반으로 얼굴 영역을 검출하거나, 에지를 기반으로 얼굴 영역을 검출할 수 있다.
또한, 얼굴의 위치 검출 시에, 추출된 얼굴의 중심부와 미리 설정되어 있는 디스플레이의 중심부 사이의 거리로 얼굴 위치를 계산할 수 있다. 얼굴의 방향 검출 시에, 추출된 얼굴로부터 눈과 입으로 구성된 삼각형 형태로 얼굴 방향을 검출할 수 있다.
예를 들면, 도5에 도시된 바와같이 입력영상에서 검출된 사람의 얼굴을 객체(521)로 검출할 수 있다. 상술한 얼굴인식 알고리즘에 대한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
다른 실시예에 따른 영상처리장치(400)의 객체 검출부(421)는 입력영상에서 사물의 특징적인 부분을 에지검출을 통해 객체로 검출 가능하다. 예를 들면, 도 6에 도시된 바와같이 화면에 존재하는 산 봉우리를 객체(620, 621)로 검출할 수 있다. 또한, 여기서 에지검출에 대한 내용은 이미 공지된 내용이 많으므로 상세한 설명은 생략한다.
한편, 상기 객체 검출부(421)가 객체를 검출하면 일 실시예에따라 중심영역 결정부(420)는 디스플레이의 물리적 곡률정보를 기초로 검출된 객체를 참조하여 중심영역을 결정한다.
예를 들면, 도 5는 다른 실시예에 따른 디스플레이의 물리적 곡률정보를 기초로 검출된 객체를 참조하여 중심영역을 결정하는 일 예를 도시한다.
도 5를 참조하면, 일 실시예에 따라 디스플레이(500)의 정 중앙(510)이 오목한 형태의 디스플레이에 입력되는 영상에서, 정 중앙(510)에서 소정치(530)만큼 벗어난 위치(511)에서 객체(521)가 검출된다면, 중심영역의 위치는 정중앙(510)이 아닌 객체의 중심(511)이 되며 중심영역의 형태는 객체(521)의 형태에 따라 타원형으로 결정된다. 즉, 도 2와 도 5에 도시된 디스플레이가 동일한 곡률을 가질 때, 물리적 곡률만을 기초로 중심영역이 결정된다면 도 2의 중심영역(220)과 같이 결정될 것이며, 여기에 추가적으로 입력영상에서 검출된 객체에 기초하여 중심영역을 결정한다면 도 5에 도시된 바와 같이 객체를 중심으로 중심영역(520)이 결정될 수 있다. 따라서, 중심영역의 위치 및 형태를 검출되는 객체에 따라 보정함으로써, 입력영상에 대해 적응적으로 입체감, 선명도 및 원근감 등이 증가되도록 보정된 영상을 표시할 수 있다.
한편, 검출된 객체가 디스플레이의 곡률만을 참조하여 결정된 중심영역 위치에서 소정치 이상 벗어나 있다면, 일 실시예에 따라 객체가 검출된 위치를 또 다른 중심영역으로 결정할 수 있으며, 또는 다른 실시예에 따라 객체를 제외하고 중심영역을 결정 할 수도 있다. 여기서 소정치는 화면에 표시되는 영상이 부자연스럽지 않다고 판단될 수 있는 범위라면 실험적으로 자유롭게 결정될 수 있는 값으로 특정 값에 한정되는 값은 아니다.
또한, 입력된 영상에서 복수개의 객체가 검출되는 경우 또 다른 실시예에 따라 복수개의 객체가 검출되는 영역들을 중심영역들로 결정할 수도 있다.
예를 들면, 도 6는 또 다른 실시예에 따른 디스플레이의 물리적 곡률정보를 기초로 검출된 객체를 참조하여 중심영역을 결정하는 다른 예를 도시한다.
도 6을 참조하면, 입력영상(600)에서 검출된 두 개의 객체가 각각 중심영역(620, 621)으로 결정 된다.
다시 도 4a를 참조하면, 다른 실시예에 따른 영상처리 장치(400)의 구도 검출부(422)는 입력영상에서 적어도 하나의 객체를 검출하고, 중심영역 결정부(420)는 검출된 구도 및 획득된 물리적 곡률 정보를 기초하여 중심 영역을 결정할 수 있다. 즉, 물리적 곡률정보를 기초로 결정된 중심영역에 대해 입력 영상에서 검출되는 구도에 따라 중심영역의 위치 및 형태를 변경할 수 있다.
구도 검출부(422)는 일 실시예에 따라 상술한 객체 검출부(421)가 입력 영상에서 객체를 검출하지 못한 경우 구도 검출을 수행할 수 있다. 물론 이러한 구성에 한정되는 것은 아니며, 다른 실시예에 따라 객체 검출과 구도 검출이 동시에 수행될 수 있다.
구체적으로, 구도 검출부(422)는 입력영상에서 라인별 톤(tone)의 변화율을 검출하고, 변화율의 정도에 따라서 구도의 계층(area)을 검출할 수 있다. 즉, 일 실시예에 따라 물리적 곡률 정보와는 별도로 입력 영상에서의 계층을 검출하되 톤의 변화율이 높은 계층을 컬러성분의 강조가 필요한 부분으로 판단하여 중심영역으로 설정할 수 있다. 예를 들면 입력 영상에서 톤의 변화율이 큰 곳을 중심영역으로 결정하여 픽셀 별 보정을 수행함으로써 입체감, 선명도 및 원근감이 강조되도록 할 수 있다.
상술한 바에 따라 중심영역 결정부(420)부가 입력 영상의 중심 영역을 결정하면, 게인 생성부(430)는 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인을 생성하고, 영상 보정부(440)는 픽셀별 위치에 따른 게인을 이용하여 입력 영상의 픽셀값을 보정할 수 있다.
한편, 도 4a 에 도시된 게인 생성부(430)와 영상 보정부(440)는 도 1a에 도시된 게인 생성부(130) 및 영상 보정부(140)에 대응하므로 상세한 설명은 생략한다.
다른 실시예에 따른 곡률정보 획득부(410), 중심영역 결정부(420), 게인 생성부(430) 및 영상 보정부(440)의 구체적인 동작은, 이하 도4b를 참조하여 상술한다.
도 4b를 참조하면 디스플레이의 곡률을 참조하는 영상처리 방법은 도 4a에 도시된 영상처리 장치(400)에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 4a 에 도시된 영상처리 장치(400)에 관하여 이상에서 기술된 내용은 도 4b에 도시된 방법에도 적용됨을 알 수 있다.
단계 s415에서, 곡률정보 획득부(410)는 디스플레이의 곡률 정보를 획득할 수 있다. 구체적으로, 일 실시예에 따라 디스플레이가 가변적인 물리적 곡률을 갖는경우 디스플레이에 부착된 변형감지부(401)로부터 디스플레이의 볼록 또는 오목 정도를 감지함으로써 곡률 정보를 검출할 수 있다. 곡률정보 획득부(110)는 검출된 디스플레이의 물리적 곡률정보를 획득할 수 있다.
단계 s424에서는 일 실시 예에 따라 입력 영상에서 객체를 검출한다. 예를 들면, 일 실시예에 따라 얼굴검출을 수행하여 입력영상에서 객체를 검출 할 수 있다. 또한, 다른 실시예에 따라 에지 검출을 수행하여 입력영상에서 객체를 검출 할 수 있다.
만약 입력 영상에서 객체가 검출된다면 단계 s425에서, 다른 실시예에 따른 중심영역 결정부(420)는 곡률정보 획득부(410)에서 획득한 디스플레이의 물리적 곡률정보 및 검출된 객체의 위치를 기초로 하여 중심영역을 결정한다. 여기서 중심영역 결정부(420)는 상기 입력 영상의 중심영역의 형태 및 중심영역의 위치를 결정할 수 있다.
예를 들면, 일 실시 예에 따라 물리적 곡률 정보만을 기초로 하여 결정된 중심영역에서 소정 범위 내에 객체가 검출되면 검출된 객체의 위치 및 형태에 따라서 중심영역이 결정될 수 있다. 또는 다른 실시 예에 따라 검출된 객체의 위치를 또 다른 중심영역으로 설정할 수도 있다.
한편, 단계 s424에서 입력 영상에서 객체가 검출되지 않는다면, 다른 실시예에 따라 단계 s426에서 입력 영상에서 구도를 인식할 수 있다.
단계 s427에서는 본 발명의 다른실시예에 따른 영상처리 장치(400)의 중심영역 결정부(420)는 디스플레이의 물리적 곡률 정보와 검출된 구도를 기초로 중심영역을 결정할 수 있다.
구체적으로, 구도 검출부(422)는 입력영상에서 라인별 톤(tone)의 변화율을 검출하고, 변화율의 정도에 따라서 구도의 계층(area)을 검출할 수 있다. 즉, 일 실시예에 따라 물리적 곡률 정보와는 별도로 입력 영상에서의 계층을 검출하되 톤의 변화율이 높은 계층을 컬러성분의 강조가 필요한 부분으로 판단하여 중심영역으로 결정할 수 있다.
다른 실시예에 따라 구도검출만을 이용하여 결정된 중심영역이 물리적 곡률 정보만을 기초로 결정된 중심영영역과 일정 거리 이상 떨어져 있지 않은 경우 구도 검출만을 이용하여 결정된 중심영역을 영상의 중심영역으로 결정 할 수도 있으며, 양 중심영역을 모두 영상의 중심영역으로 결정할 수도 있다.
단계 s435에서는 게인 생성부(430)는 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인을 생성할 수 있다.
그리고, 단계 s445에서는 게인 보정부(440)는 생성된 픽셀별 위치에 따른 게인을 이용하여 입력 영상의 픽셀값을 보정할 수 있다.
한편, 도 4b 에 도시된 단계 s435와 단계 s445는 도 1b에 도시된 단계 s135 및 단계 s145에 대응하므로 상세한 설명은 생략한다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (20)

  1. 디스플레이의 곡률을 참조하는 영상처리 방법에 있어서,
    상기 디스플레이의 물리적 곡률 정보를 획득하는 단계;
    상기 디스플레이의 볼록한 부분에 관한 정보 및 상기 디스플레이의 오목한 부분에 관한 정보 중 적어도 하나를 포함하는 상기 물리적 곡률 정보를 기초로 입력 영상의 중심 영역을 결정하는 단계;
    상기 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인(spatial indexed gain)을 생성하는 단계; 및
    상기 픽셀별 위치에 따른 게인을 이용하여 상기 입력 영상의 픽셀값을 보정하는 단계;를 포함하고,
    상기 픽셀별 위치에 따른 게인은
    상기 중심 영역이 상기 디스플레이의 오목한 부분인 경우, 상기 결정된 중심영역에서 멀어질수록 감소하고, 상기 중심 영역이 상기 디스플레이의 볼록한 부분인 경우, 상기 결정된 중심영역에서 멀어질수록 증가하고,
    상기 영상의 중심 영역을 결정하는 단계는
    상기 입력 영상에서 적어도 하나의 객체를 검출하는 단계; 및
    상기 검출된 적어도 하나의 객체 위치와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 영상처리 방법.
  2. 제 1항에 있어서,
    상기 픽셀값 보정 단계는
    상기 영상에 포함된 픽셀의 컬러성분의 밝기, 채도 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 영상처리 방법.
  3. 제 1항에 있어서,
    상기 물리적 곡률 정보는,
    상기 디스플레이에 부착된 변형감지부로부터 검출되는 것을 특징으로 하는 영상처리 방법.
  4. 제 1항에 있어서,
    상기 영상의 중심 영역을 결정하는 단계는
    상기 영상의 중심영역의 형태 및 중심영역의 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 영상처리 방법.
  5. 제 1항에 있어서,
    상기 영상의 중심 영역을 결정하는 단계는,
    상기 물리적 곡률 정보를 이용하여 상기 디스플레이가 오목한 부분을 중심영역으로 결정하는 단계를 포함하는 것을 특징으로 하는 영상처리 방법.
  6. 삭제
  7. 제 1항에 있어서,
    상기 객체를 검출하는 단계는,
    얼굴검출을 수행하거나 에지검출을 수행하는 단계를 포함하는 것을 특징으로 하는 영상처리 방법.
  8. 제 1항에 있어서,
    상기 영상의 중심 영역을 결정하는 단계는
    상기 영상에서 구도를 검출하는 단계; 및
    상기 검출된 구도와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 단계를 포함하는 것을 특징으로 하는 영상처리 방법.
  9. 삭제
  10. 제 1항에 있어서,
    상기 픽셀의 컬러성분은 밝기, 채도 및 색상 중 적어도 하나를 포함하는 것을 특징으로 하는 영상처리 방법.
  11. 제 1항에 있어서, 상기 영상처리 방법은
    상기 입력 영상이 RGB 영상인 경우, 상기 RGB 영상에 대해 색공간 변환을 수행하여 상기 입력 영상을 밝기, 채도 및 색상 성분으로 분리하는 단계를 더 포함하는 것을 특징으로 하는 영상처리 방법.
  12. 디스플레이의 곡률을 참조하는 영상처리 장치에 있어서,
    상기 디스플레이의 물리적 곡률 정보를 획득하는 곡률 정보 획득부;
    상기 디스플레이의 볼록한 부분에 관한 정보 및 상기 디스플레이의 오목한 부분에 관한 정보 중 적어도 하나를 포함하는 상기 물리적 곡률 정보를 기초로 입력 영상의 중심 영역을 결정하는 중심영역 결정부;
    상기 결정된 영상의 중심 영역을 기초로 하여 픽셀별 위치에 따른 게인(spatial indexed gain)을 생성하는 게인 생성부; 및
    상기 픽셀별 위치에 따른 게인을 이용하여 상기 입력 영상의 픽셀값을 보정하는 영상 보정부;를 포함하고,
    상기 픽셀별 위치에 따른 게인은
    상기 중심 영역이 상기 디스플레이의 오목한 부분인 경우, 상기 결정된 중심영역에서 멀어질수록 감소하고, 상기 중심 영역이 상기 디스플레이의 볼록한 부분인 경우, 상기 결정된 중심영역에서 멀어질수록 증가하고,
    상기 중심영역 결정부는, 상기 입력 영상에서 적어도 하나의 객체를 검출하는 객체 검출부;를 포함하고, 상기 객체 검출부가 검출한 적어도 하나의 객체 위치와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 것을 특징으로 하는 영상처리 장치.
  13. 제 12항에 있어서,
    상기 영상 보정부는
    상기 영상에 포함된 픽셀의 컬러성분의 밝기, 채도 및 색상 중 적어도 하나를 변경하는 것을 특징으로 하는 영상처리 장치.
  14. 제 12항에 있어서,
    상기 영상처리 장치는 상기 디스플레이의 물리적 곡률을 검출하는 변형감지부를 더 포함하고,
    상기 획득부는 상기 검출된 물리적 곡률정보를 획득하는 것을 특징으로 하는 영상처리 장치.
  15. 제 12항에 있어서,
    상기 중심영역 결정부는
    상기 입력 영상의 중심영역의 형태 및 중심영역의 위치를 결정하는 것을 특징으로 하는 영상처리 장치.
  16. 제 12항에 있어서,
    상기 중심영역 결정부는
    상기 물리적 곡률 정보를 이용하여 상기 디스플레이의 오목한 부분을 중심영역으로 결정하는 것을 특징으로 하는 영상처리 장치.
  17. 삭제
  18. 제 12항에 있어서,
    상기 중심영역 결정부는
    상기 영상에서 구도를 검출하는 구도 검출부;를 더 포함하고,
    상기 구도 검출부가 검출 한 구도와 상기 물리적 곡률 정보를 이용하여 중심 영역을 결정하는 것을 특징으로 하는 영상처리 장치.
  19. 제 12항에 있어서, 상기 디스플레이는
    플렉서블(flexible) 디스플레이, 폴더블(Foldable) 디스플레이, 밴더블(Bendable) 디스플레이 및 커브드(Curved) 디스플레이 중 적어도 하나인 것을 특징으로 하는 영상처리 장치.
  20. 제1항 내지 제5항, 제7항 내지 제8항, 제10항, 및 제11항 중 어느 한 항의 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130076624A 2013-07-01 2013-07-01 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법 KR102109933B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020130076624A KR102109933B1 (ko) 2013-07-01 2013-07-01 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
US14/299,369 US10353433B2 (en) 2013-07-01 2014-06-09 Image processing method and apparatus for curved display device
CN201480046529.5A CN105474260B (zh) 2013-07-01 2014-06-30 用于曲面显示设备的图像处理方法和装置
JP2016523658A JP6378329B2 (ja) 2013-07-01 2014-06-30 ディスプレイの曲率を参照する映像処理装置及びその方法
EP14820691.5A EP3017422A4 (en) 2013-07-01 2014-06-30 Image processing method and apparatus for curved display device
PCT/KR2014/005825 WO2015002423A1 (en) 2013-07-01 2014-06-30 Image processing method and apparatus for curved display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130076624A KR102109933B1 (ko) 2013-07-01 2013-07-01 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150003582A KR20150003582A (ko) 2015-01-09
KR102109933B1 true KR102109933B1 (ko) 2020-05-12

Family

ID=52115151

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130076624A KR102109933B1 (ko) 2013-07-01 2013-07-01 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법

Country Status (6)

Country Link
US (1) US10353433B2 (ko)
EP (1) EP3017422A4 (ko)
JP (1) JP6378329B2 (ko)
KR (1) KR102109933B1 (ko)
CN (1) CN105474260B (ko)
WO (1) WO2015002423A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124675A1 (ko) * 2020-12-07 2022-06-16 삼성전자 주식회사 스트레처블 디스플레이의 인장 정보에 근거하여 광학 센서를 제어하기 위한 방법, 전자 장치 및 저장 매체
US11393367B2 (en) 2020-02-19 2022-07-19 Samsung Electronics Co., Ltd. Display apparatus and control method for display of a virtual flat screen

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111407B1 (ko) * 2013-08-19 2020-05-15 엘지전자 주식회사 디스플레이 장치 및 그 동작방법
US20160093240A1 (en) * 2014-09-30 2016-03-31 Dell Products, Lp System for Varying Light Output in a Flexible Display
CN104965591B (zh) 2015-06-29 2018-04-03 上海中航光电子有限公司 一种图像显示方法和系统
CN104932696B (zh) * 2015-06-29 2018-01-05 上海中航光电子有限公司 一种显示图像显示方法
US20170056237A1 (en) * 2015-09-01 2017-03-02 Contramed, Llc System and method for fallopian tube occlusion
KR102523988B1 (ko) * 2016-08-29 2023-04-20 삼성전자주식회사 곡선 표시 영역을 포함하는 디스플레이의 구동 방법과 이를 지원하는 디스플레이 구동 회로 및 이를 포함하는 전자 장치
CN107978230B (zh) * 2016-10-25 2020-01-31 昆山国显光电有限公司 柔性显示屏的弯曲显示补偿方法和系统
CN107765773B (zh) * 2017-10-19 2020-06-09 Oppo广东移动通信有限公司 一种显示信息的方法、装置、终端及存储介质
JP2020012944A (ja) * 2018-07-17 2020-01-23 株式会社デンソー 表示装置
CN111261081B (zh) 2018-11-30 2021-10-19 北京小米移动软件有限公司 屏幕显示方法及装置
WO2021080552A1 (en) * 2019-10-21 2021-04-29 Hewlett-Packard Development Company, L.P. Pixel-addressable display having curvable area
CN112947885B (zh) * 2021-05-14 2021-08-06 深圳精智达技术股份有限公司 一种曲面屏展平图像的生成方法及装置
CN117975909B (zh) * 2023-12-29 2024-07-05 京东方科技集团股份有限公司 用于异形屏幕的显示器界面优化方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235893A1 (en) * 2011-03-18 2012-09-20 Research In Motion Limited System and method for bendable display

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003141562A (ja) * 2001-10-29 2003-05-16 Sony Corp 非平面画像の画像処理装置及び画像処理方法、記憶媒体、並びにコンピュータ・プログラム
JP4189328B2 (ja) 2004-01-16 2008-12-03 セイコーエプソン株式会社 画像処理装置、画像表示装置、画像処理方法および画像処理プログラム
EP1840831A1 (en) 2006-03-31 2007-10-03 Sony Deutschland Gmbh Adaptive histogram equalization for images with strong local contrast
US7639893B2 (en) 2006-05-17 2009-12-29 Xerox Corporation Histogram adjustment for high dynamic range image mapping
US8055070B2 (en) 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
JP5111872B2 (ja) 2007-01-23 2013-01-09 パナソニック株式会社 映像信号処理装置、映像信号処理方法、映像信号処理プログラムおよび映像信号表示装置
US8224919B2 (en) 2007-04-04 2012-07-17 Research In Motion Limited Mobile communications system including intermediate service provider and related methods
CN102113089B (zh) * 2008-03-05 2014-04-23 伊利诺伊大学评议会 可拉伸和可折叠的电子器件
US20110018892A1 (en) * 2009-07-24 2011-01-27 Samsung Electronics Co., Ltd. Method, device, and program for processing image and image display device
US8508471B2 (en) * 2009-08-13 2013-08-13 University-Industry Cooperation Group Of Kyung Hee University Cooperative multi-display
JP2011099982A (ja) 2009-11-05 2011-05-19 Sony Corp 表示装置及び表示装置の制御方法
KR101258327B1 (ko) 2010-10-13 2013-04-25 주식회사 팬택 플렉서블 디스플레이부를 구비한 장치 및 그 디스플레이 방법
CN102779338B (zh) 2011-05-13 2017-05-17 欧姆龙株式会社 图像处理方法和图像处理装置
JP2012248911A (ja) 2011-05-25 2012-12-13 Canon Inc 画像表示装置
KR101837644B1 (ko) * 2011-08-04 2018-03-12 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
KR20130073621A (ko) 2011-12-23 2013-07-03 삼성전자주식회사 휴대용 단말기의 플렉시블 디스플레이 제어 방법 및 장치
US9116599B2 (en) * 2012-03-19 2015-08-25 Autodesk, Inc. Systems and methods for visualizing a 3D scene using a flexible display

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120235893A1 (en) * 2011-03-18 2012-09-20 Research In Motion Limited System and method for bendable display

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393367B2 (en) 2020-02-19 2022-07-19 Samsung Electronics Co., Ltd. Display apparatus and control method for display of a virtual flat screen
WO2022124675A1 (ko) * 2020-12-07 2022-06-16 삼성전자 주식회사 스트레처블 디스플레이의 인장 정보에 근거하여 광학 센서를 제어하기 위한 방법, 전자 장치 및 저장 매체

Also Published As

Publication number Publication date
EP3017422A4 (en) 2017-01-18
WO2015002423A1 (en) 2015-01-08
EP3017422A1 (en) 2016-05-11
US20150002531A1 (en) 2015-01-01
JP6378329B2 (ja) 2018-08-22
KR20150003582A (ko) 2015-01-09
US10353433B2 (en) 2019-07-16
JP2016528532A (ja) 2016-09-15
CN105474260A (zh) 2016-04-06
CN105474260B (zh) 2018-11-13

Similar Documents

Publication Publication Date Title
KR102109933B1 (ko) 디스플레이의 곡률을 참조하는 영상 처리장치 및 방법
US8605994B2 (en) Stereoscopic image display system, disparity conversion device, disparity conversion method and program
US20130329132A1 (en) Flare Detection and Mitigation in Panoramic Images
JP6623832B2 (ja) 画像補正装置、画像補正方法及び画像補正用コンピュータプログラム
KR102221116B1 (ko) 크로스 커널 구조의 중간값 필터를 이용한 영상 잡음 제거장치 및 방법
JP5367667B2 (ja) 画像処理装置
JP2010286488A (ja) 映像処理装置および方法
JP2011113363A (ja) 画像処理装置、画像処理方法、およびプログラム
CN107636728B (zh) 用于确定图像的深度图的方法和装置
KR20080066485A (ko) 디지털 영상 처리 장치 및 방법
JP2013172190A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20190378468A1 (en) Image processing apparatus, control method thereof, and non-transitory computer-readable storage medium
JP5047344B2 (ja) 画像処理装置及び画像処理方法
JP2017138647A (ja) 画像処理装置、画像処理方法、映像撮影装置、映像記録再生装置、プログラム及び記録媒体
JP2018524896A (ja) 画像の深度マップを決定する方法および装置
JPWO2012032778A1 (ja) 立体画像処理装置、立体撮像装置、立体撮像方法およびプログラム
JP2015106848A (ja) 情報埋め込み装置、情報検出装置、情報埋め込み方法、及び情報検出方法
JP5586858B2 (ja) 表示制御装置、及び表示制御方法
JP2009025862A (ja) 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
US9781343B2 (en) Image processing apparatus and method for operating image processing apparatus
JP5968088B2 (ja) 画像処理装置、画像処理方法、および、プログラム
JP5927265B2 (ja) 画像処理装置及びプログラム
JP2010197541A (ja) プロジェクター、画像補正方法、画像補正装置及びプロジェクションシステム
CN109493293A (zh) 一种图像处理方法及装置、显示设备
KR102122523B1 (ko) 3차원 입체 영상용 깊이지도 보정장치 및 보정방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130701

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180530

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20130701

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190614

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20191223

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20190614

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20191223

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20190813

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200206

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200108

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20191223

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20190813

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200506

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200507

End annual number: 3

Start annual number: 1

PG1601 Publication of registration