KR20150007880A - 영상 화질 개선 방법, 장치 및 기록 매체 - Google Patents

영상 화질 개선 방법, 장치 및 기록 매체 Download PDF

Info

Publication number
KR20150007880A
KR20150007880A KR20130082467A KR20130082467A KR20150007880A KR 20150007880 A KR20150007880 A KR 20150007880A KR 20130082467 A KR20130082467 A KR 20130082467A KR 20130082467 A KR20130082467 A KR 20130082467A KR 20150007880 A KR20150007880 A KR 20150007880A
Authority
KR
South Korea
Prior art keywords
region
color
area
pixels
component
Prior art date
Application number
KR20130082467A
Other languages
English (en)
Other versions
KR102071578B1 (ko
Inventor
민병석
황인성
박형준
이상화
조남익
한성욱
김기백
류제웅
Original Assignee
삼성전자주식회사
숭실대학교산학협력단
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 숭실대학교산학협력단, 서울대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020130082467A priority Critical patent/KR102071578B1/ko
Priority to US14/330,579 priority patent/US20150016721A1/en
Publication of KR20150007880A publication Critical patent/KR20150007880A/ko
Application granted granted Critical
Publication of KR102071578B1 publication Critical patent/KR102071578B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/143—Segmentation; Edge detection involving probabilistic approaches, e.g. Markov random field [MRF] modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/32—Normalisation of the pattern dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

영상 화질 개선 방법이 개시된다. 영상 화질 개선 방법은, 입력 영상에서 관심 영역을 검출하는 단계, 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성하는 단계, 입력 영상에서 색 분포 맵에 따라 소정의 색 계열에 포함되는 제 1 영역과 입력 영상에서 제 1 영역을 제외한 제 2 영역을 판별하는 단계 및 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경하는 단계를 포함한다.

Description

영상 화질 개선 방법, 장치 및 기록 매체 {method and apparatus for improving quality of image and recording medium thereof}
본 발명은 영상의 화질을 개선하기 위한 방법에 관한 것으로 보다 상세하게는, 영상에서 유사한 특성을 갖는 화소들을 판별하여, 판별된 화소들에 대해 일련의 영상 처리 과정을 수행함으로써 영상의 화질을 개선하는 방법에 관한 것이다.
최근 영상획득 기술의 발전 및 디스플레이 장치의 개발에 따라 고화질 영상획득 기술에 관한 요구가 증가하고 있다. 고화질 영상을 획득하기 위한 하나의 방법으로 전체 영상이 아닌 영상 내에서 유사한 특성을 갖는 일부 영역들에 대해 일련의 영상 처리 과정을 수행하는 방법에 대해 많은 연구가 행해지고 있다. 일예로 영상을 구성하는 화소의 색을 기준으로 하여, 유사한 색 을 갖는 영역들을 판별하는 방법에 대해 연구가 이루어 지고 있다.
종래에는 영상 내에서 유사한 색 성분을 찾는 경우, 영상의 특성을 고려하지 않아 영역을 판별하는데 있어 정확도가 떨어진다는 문제가 있다.
본 발명은 영상 내의 유사한 특성을 갖는 일부 영역을 판별하고, 판별된 일부 영역들에 대해 영상 처리 과정을 수행하여 영상의 화질을 개선하기 위한 방법, 장치 및 기록매체에 관한 것이다.
본 발명의 일 실시예에 따른 영상 화질 개선 방법은, 입력 영상에서 관심 영역을 검출하는 단계; 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성하는 단계; 입력 영상에서 상기 색 분포 맵에 따라 상기 소정의 색 계열에 포함되는 제 1 영역과 상기 입력 영상에서 상기 제 1 영역을 제외한 제 2 영역을 판별하는 단계; 및 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 영상 화질 개선 장치는, 입력 영상에서 관심 영역을 검출하는 검출부; 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성하는 생성부; 입력 영상에서 상기 색 분포 맵에 따라 상기 소정의 색 계열에 포함되는 제 1 영역과 상기 입력 영상에서 상기 제 1 영역을 제외한 제 2 영역을 판별하는 판별부; 및 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경하는 변경부를 포함하는 것을 특징으로 한다.
도 1은 본 발명의 일 실시예에 따른 영상 화질 개선 방법을 설명하기 위한 개요도이다.
도 2는 본 발명의 일 실시예에 따른 영상 화질 개선 장치를 설명하기 위한 블록도이다.
도 3는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 생성부를 설명하기 위한 블록도이다.
도 4는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 판별부를 설명하기 위한 블록도이다.
도 5는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 변경부를 설명하기 위한 블록도이다.
도 6은 본 발명의 일 실시예에 따른 영상 화질 개선 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따라 입력 영상에서 피부색 영역을 검출하는 과정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 화질 개선 방법을 설명하기 위한 흐름도이다.
도 9는 본 발명의 일 실시예에 따라 영상 화질 개선 방법의 색 분포 맵을 생성하는 단계를 세부적으로 설명하기 위한 흐름도이다.
도 10은 본 발명의 일 실시예에 따라 입력 영상 내에서 각 영역을 판별하는 단계를 세부적으로 설명하기 위한 흐름도이다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명의 하기 실시예는 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하지 않는다. 또한, 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.
도 1은 본 발명의 일 실시예에 따른 영상 화질 개선 방법을 설명하기 위한 개념도이다.
도 1을 참고하면, 입력 영상(110)에서 소정의 색 계열에 포함되는 제 1 영역(120a, 120b, 120c, 120d)을 판별하기 위해 관심 영역(115)을 검출할 수 있다. 여기에서 관심 영역(115)은 입력 영상(110)에서 판별하려고 하는 영역들 에 대한 색 정보를 포함하고 있는 영역일 수 있다. 구체적으로 관심 영역에서 추출된 소정의 색 계열에 포함되는 색을 가진 화소들을 이용하여 입력 영상에서 소정의 색 계열에 포함되는 색을 가진 영역을 판별할 수 있다.
한편, 추출된 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵이 생성될 수 있다. 생성된 색 분포 맵을 기초로 입력 영상을 구성하는 각 화소들이 소정의 색 계열에 포함되는지 여부가 판단될 수 있다. 본 발명의 일 실시예에 따르면 색 분포 맵을 기초로 입력 영상의 각 화소들의 색이 소정의 색 계열에 포함될 가능성을 나타내는 확률 정보가 생성될 수 있다.
생성된 색 분포 맵에 따라 소정의 색 계열에 포함되는 제 1 영역과 입력 영상에서 제 1 영역을 제외한 제 2 영역이 판별될 수 있다. 구체적으로 화소의 확률 정보가 미리 설정된 기준값 이상인 경우에는 제 1 영역에 포함된다고 판단할 수 있다. 반면에 화소의 확률 정보가 미리 설정된 기준값 미만인 경우에는 제 2 영역에 포함된다고 판단할 수 있다.
한편, 판별된 제 1 영역 및 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경할 수 있다. 화소들의 값을 변경하는 방법으로는, 예를 들어, 콘트라스트의 강도를 조절하는 프로세스, 디테일을 개선하여 에지를 선명하게 하는 프로세스, 색상 포화를 조절하는 프로세스 및 잡음을 제거하는 프로세스 등이 있다.
본 발명의 일 실시예에 따르면 관심 영역(115)은 사람의 얼굴 영역일 수 있다. 관심 영역(115)이 사람의 얼굴 영역인 경우, 검출된 얼굴 영역에서 피부색에 따른 색 분포 맵을 생성하여, 입력 영상으로부터 피부색 분포에 포함되는 제 1 영역(120a, 120b, 120c, 120d)을 판별할 수 있다.
구체적으로, 본 발명의 일 실시예에 따르면, 관심 영역(115)인 얼굴 영역으로부터 피부색 계열에 포함되는 화소들이 추출될 수 있다. 여기에서 피부색 계열에 대한 색 정보는 피부색에 대해 미리 설정된 데이터나 관심 영역의 중앙에 위치한 화소들로부터 제공 받을 수 있다. 피부색 계열에 대한 색 정보를 제공 받는 방법에 대해서는 도 2를 참고하여 구체적으로 후술하기로 한다.
한편, 추출된 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵이 생성될 수 있다. 생성된 색 분포 맵을 기초로 입력 영상을 구성하는 각 화소들이 피부색 계열에 포함되는지 여부가 판단될 수 있다. 일예로 색 분포 맵에 기초하여, 입력 영상(110)을 구성하는 각 화소들이 피부색 계열에 포함되는 지 여부를 확률 정보로 나타낼 수 있다. 화소의 확률 정보가 미리 설정된 기준값 이상인 경우에는 피부색 계열에 포함된다고 판단할 수 있다. 반면에 확률 정보가 미리 설정된 기준값 미만인 경우에는 피부색 계열에 포함되지 않는다고 판단할 수 있다.
입력 영상(110)에서 피부색 계열에 포함된다고 판단된 화소들은 제 1 영역(120a, 120b, 120c, 120d)에 포함되고, 포함되지 않는다고 판단된 화소들은 제 2 영역에 포함될 수 있다.
도 2는 본 발명의 일 실시예에 따른 영상 화질 개선 장치를 설명하기 위한 블록도이다.
도 2를 참고하면, 영상 화질 개선 장치(200)는 검출부(210), 생성부(230), 판별부(250) 및 변경부(270)를 포함할 수 있다.
도 2에 도시된 영상 화질 개선 장치(200)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 2에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
검출부(210)는 입력 영상(110)에서 관심 영역(115)을 검출할 수 있다. 여기에서 관심 영역(115)은 입력 영상(110)에서 판별하려고 하는 영역들에 대한 색 정보를 포함하고 있는 영역일 수 있다.
본 발명의 일 실시예에 따르면 관심 영역(115)은 사람의 얼굴 영역일 수 있다. 이하에서는 관심 영역(115)이 얼굴 영역인 경우에 대해 설명하도록 한다. 단 관심 영역(115)이 얼굴 영역인 경우는 본 발명의 일 실시예일 뿐, 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 검출부(210)에서 얼굴 영역을 검출하는 방법은 특정 검출기술로 제한되지 않는다. 일예로 검출부(210)는 2차원 하르(Haar)필터와 같은 통상적인 얼굴 검출 기술을 이용하여 얼굴 영역을 검출할 수 있다.
생성부(230)는 검출부(210)에서 검출된 얼굴 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성할 수 있다. 본 발명의 일 실시예에 따르면 소정의 색 계열은 피부색 계열을 포함할 수 있다. 다만, 이는 일 실시예일 뿐 소정의 색 계열이 피부색 계열에 한정되는 것은 아니다. 소정의 색 계열은 검출하고자 하는 객체의 색으로 결정될 수 있다.
한편, 이하에서는 본 발명의 일 실시예에 따라 소정의 색 계열이 피부색 계열인 경우를 가정하여 설명하도록 한다.
생성부(230)는 검출된 얼굴 영역에서 피부색 계열의 화소들을 추출할 수 있다. 구체적으로, 생성부(230)는 얼굴 영역의 중심에서 일반적으로 알려진 피부색 계열의 화소를 선택하고, 선택된 화소에 대해 플러드 필(flood fill) 방법을 적용하여 얼굴 영역에 분포하고 있는 피부색 계열의 화소들을 추출할 수 있다.
또한, 생성부(230)는 검출된 얼굴 영역에서 피부색 계열의 화소들을 추출하기 위해 일반적인 피부색 모델 또는 피부색 영상을 수집할 수 있다. 생성부(230)는 검출된 얼굴 영역 내의 화소들 중 피부색 모델에 포함된 색을 가진 화소를 추출할 수 있다. 피부색 모델을 이용하여 피부색 계열의 화소들을 추출하게 되면, 눈, 머리카락과 같이 일반적인 피부색과 거리가 먼 화소들이 얼굴 영역에서 쉽게 제외될 수 있다.
생성부(230)는 추출된 화소들의 색 성분을 휘도 성분과 채도 성분에 따른 색 공간인 YCbCr 공간으로 변환할 수 있다. 여기에서 Y는 휘도 성분, Cb는 청색 채도 성분, Cr은 적색 채도 성분을 의미한다. YCbCr공간에서, 추출된 화소들의 색 성분에 대해 Y값을 변수로 하는 Cb(Y-Cb 평면)와 Y값을 변수로 하는 Cr(Y-Cr평면)에 대하여 추출된 화소의 좌표를 구할 수 있다.
여기에서, 추출된 화소의 좌표가 Y-Cb 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 또한, 추출된 화소의 좌표가 Y-Cr 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 함수는 다항함수, 유리함수, 삼각함수 등을 포함할 수 있다. Y-Cb 평면에서 표현된 함수와 Y-Cr 평면에서 표현된 함수의 차이를 새로운 변수로 정의하여, 추출된 화소에 대한 색 분포 맵을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 휘도 성분을 고려하여 피부색 계열의 색 분포 맵을 생성함으로써 휘도 성분이 채도 성분에 미치는 영향을 고려하여 입력 영상에서 피부색 계열의 화소를 추출할 수 있다. 예를 들어, 조명에 의하여 얼굴 영역의 피부색의 변화가 심할 경우에는 채도 성분만을 고려하여 색 분포 맵을 생성하게 되면, 얼굴 영역에서 피부색 계열의 화소를 효과적으로 추출하지 못할 수 있다. 본 발명의 일 실시예에 따른 생성부(230)는 휘도 성분을 고려함으로써 보다 정확하게 피부색 계열의 화소를 추출할 수 있는 색 분포 맵을 생성할 수 있다.
본 발명의 일 실시예에 따라, 생성된 색 분포 맵을 기초로 입력 영상의 화소들이 소정 색 계열에 포함되는지 여부를 판단할 수 있는 데이터가 생성될 수 있다. 일예로 색 분포 맵에 기초하여, 입력 영상(110)을 구성하는 각 화소들이 피부색 계열에 포함되는지 여부를 확률값으로 나타낼 수 있다.
판별부(250)는 생성부(230)에서 생성된 색 분포 맵을 기초로 입력 영상에서 피부색 계열에 포함되는 제 1 영역과 제 1 영역을 제외한 제 2 영역을 판별할 수 있다. 구체적으로 화소들이 피부색 계열에 포함되는지 여부를 나타내는 확률값을 이용하여 제 1 영역과 제 2 영역을 판별할 수 있다.
구체적으로, 화소의 확률값이 미리 설정된 기준값 이상인 경우에는 제 1 영역에 포함되고, 이 때 제 1 영역은 피부 영역일 수 있다. 반면에 확률값이 미리 설정된 기준값 미만인 경우에는 제 2 영역에 포함되고, 제 2 영역은 피부 영역을 제외한 영역일 수 있다.
한편, 판별부(250)는 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시킬 수 있다. 또한, 중간값 필터, 양방향 필터, 모폴로지의 팽창(dilation), 침식(erosion), 개방(open) 및 폐쇄(closing) 등의 방법을 사용하여 각 영역에 대해 잡음을 제거할 수 있다.
변경부(270)는 제 1 영역 및 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경할 수 있다. 변경부(270)는 제 1 영역 및 제 2 영역 중 적어도 하나의 영역에 대해 콘트라스트의 강도를 조절하는 프로세스, 에지를 선명하게 하는 프로세스, 색상 포화를 조절하는 프로세스 및 잡음을 제거하는 프로세스 중 적어도 하나의 프로세스를 수행할 수 있다. 여기에서 일련의 프로세스들은 각 프레임마다 독립적으로 이루어질 수 있고, 프로세스의 강도 또한 프레임 별로 조절할 수 있다.
도 3는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 생성부(230)를 설명하기 위한 블록도이다.
도 3을 참고하면, 영상 화질 개선 장치(200)의 생성부(230)는 화소 추출부(235), 색 분포 맵 생성부(237) 및 확률 맵 생성부(239)를 포함할 수 있다.
도 3에 도시된 영상 화질 개선 장치(200)의 생성부(230)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 3에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
화소 추출부(235)는 검출부(210)에 의해 검출된 얼굴 영역에서 피부색 계열의 화소를 추출할 수 있다. 본 발명의 일 실시예에 따라 화소 추출부(235)는 얼굴 영역의 중심에서 일반적으로 알려진 피부색 계열의 화소를 선택하고, 선택된 화소에 대해 플러드 필(flood fill) 방법을 적용하여 얼굴 영역에 분포하고 있는 피부색 계열의 화소들을 추출할 수 있다.
한편, 화소 추출부(235)는 일반적인 피부색 모델 또는 피부색 영상을 기초로 검출된 얼굴 영역에서 피부색 계열의 화소들을 추출할 수 있다. 예를 들어 화소 추출부(235)는 검출된 얼굴 영역을 구성하고 있는 화소들 중 미리 설정되어 있는 피부색을 갖는 화소를 추출할 수 있다.
색 분포 맵 생성부(237)는 화소 추출부(235)에서 추출한 화소들의 색 성분을 휘도 성분과 채도 성분에 따른 색 공간인 YCbCr 공간으로 변환할 수 있다. YCbCr공간에서, 추출된 화소들의 색 성분에 대해 Y값을 변수로 하는 Cb(Y-Cb 평면)와 Y값을 변수로 하는 Cr(Y-Cr평면)에 대하여 추출된 화소의 좌표를 구할 수 있다.
여기에서, 추출된 화소의 좌표가 Y-Cb 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 또한, 추출된 화소의 좌표가 Y-Cr 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다.
한편, Y-Cb 평면에서 표현된 함수와 Y-Cr 평면에서 표현된 함수의 차이를 새로운 변수로 정의하여, 추출된 화소에 대한 색 분포 맵을 생성할 수 있다. fb(y)를 Cb 성분에 대하여 구한 함수라고 가정하고, fr(y)를 Cr성분에 대하여 구한 함수라고 가정하면, 각 Y-Cb 좌표에 대하여 Cb 성분의 차이값에 대한 확률 변수와 각 Y-Cr 좌표에 대하여 Cr 성분의 차이값에 대한 확률 변수를 하기의 수학식 1로써 도출할 수 있다.
Figure pat00001
Figure pat00002
수학식 1에서 두 개의 확률 변수 Xb(Y)와 Xr(Y)가 서로 연합 분포를 갖는다고 가정하면 하나의 확률 분포 함수로 표현될 수 있다. 이에 따라 Xb와 Xr의 평균이나 공분산, 각각의 표준 편차는 Y 값에 따라서 달라질 수 있다. 본 발명의 일 실시예에 따르면 하나의 확률 분포 함수는 하기의 수학식 2로써 도출할 수 있다.
Figure pat00003
Figure pat00004
수학식 2를 참고하면,
Figure pat00005
은 두 확률변수 Xb와 Xr의 공분산 행렬의 역행렬에 대한 판별값(determinant)을 의미하며, 와 은 특정한 Y값에 대하여 Xbm(Y)와 Xrm(Y)의 평균값을 의미할 수 있다. 수학식 2를 통해, 피부색에 대한 Cb, Cr 성분의 확률 분포는 Y값에 따라서 달라질 수 있음을 알 수 있다.
한편, 본 발명의 일 실시예에 따른 색 분포 맵이 상기의 수학식 2로 한정되는 것은 아니다. 예를 들어, 얼굴 영역에서 추출한 피부색 계열의 색을 가진 화소들에 대해 채도 성분을 변수로 다항식을 생성할 수 있다. 채도 성분을 변수로 한 다항식을 만족하는 화소들을 영역으로 검출할 경우, 유사 영역을 추출하는 데 있어 정확도가 높아지게 된다. 하지만, 이러한 방식은 객체들의 움직임이 많은 동영상보다는 사진 이미지에 적용하는 것이 적합할 수 있다. 즉, 영상의 특성을 고려하여 적용하는 색 분포 맵의 형태를 결정할 수 있다.
확률 맵 생성부(239)는 수학식 2와 같은 연합 확률 분포로 모델링된 피부색의 Cb, Cr 성분의 색 분포 맵을 통해 입력 영상의 각 화소가 피부색 계열에 포함될 확률을 계산할 수 있다.
도 4는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 판별부를 설명하기 위한 블록도이다.
도 4를 참고하면, 영상 화질 개선 장치(200)의 판별부(250)는 영역 검출부(255) 및 잡음 제거부(257)를 포함할 수 있다.
도 4에 도시된 영상 화질 개선 장치 장치(200)의 판별부(250)에는 본 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 4에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 본 실시예와 관련된 기술분야에서 통상의 지식을 가진 자라면 이해할 수 있다.
영역 검출부(255)는 확률 맵 생성부(239)에 의해 계산된 각 화소들의 확률값을 미리 설정된 기준값과 비교하여, 피부 영역을 검출할 수 있다. 구체적으로, 화소의 확률값이 미리 설정된 기준값 이상인 경우에는 제 1 영역에 포함되고, 이 때 제 1 영역은 피부 영역일 수 있다. 반면에 확률값이 미리 설정된 기준값 미만인 경우에는 제 2 영역에 포함되고, 제 2 영역은 피부 영역을 제외한 영역일 수 있다.
잡음 제거부(257)는 영역 검출부(255)에서 판별한 제 1 영역과 제 2 영역에 대해 잡음을 제거할 수 있다. 예를 들어 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시킬 수 있다. 또한, 중간값 필터, 양방향 필터, 모폴로지의 팽창(dilation), 침식(erosion), 개방(open) 및 폐쇄(closing) 등의 방법을 사용하여 각 영역에 대해 잡음을 제거할 수 있다.
또한, 제 1 영역과 제 2 영역에 블러링을 적용하여, 입력 영상의 각 화소의 색을 YCbCr 공간으로 변환하는 과정에서 발생하는 경계화 효과를 감소시킬 수 있다.
도 5는 본 발명의 일 실시예에 따른 영상 화질 개선 장치의 변경부(270)를 설명하기 위한 블록도이다.
도 5를 참고하면, 영상 화질 개선 장치(200)의 변경부(270)는 수신부(271), 콘트라스트 개선부(273), 디테일 개선부(275), 색상 포화 개선부(277) 및 잡음 처리부(279)를 포함할 수 있다.
수신부(271)는 판별부(250)에 의해 제 1 영역과 제 2 영역으로 판별된 입력 영상을 수신할 수 있다. 또한, 일련의 영상 처리 과정을 적용할 영역을 선택하는 사용자의 입력을 수신할 수도 있다. 본 발명의 일 실시예에 따르면, 영상 화질 개선 장치(200)는 사용자의 입력에 따라 판별된 입력 영상에 대해 다양한 프로세스를 수행할 수 있다.
본 발명의 일 실시예에 따르면, 영상 화질 개선 장치(200)는 콘트라스트 개선부(273), 디테일 개선부(275), 색상 포화 개선부(277) 및 잡음 처리부(279) 중 적어도 하나를 선택하여 입력 영상을 처리할 수 있다. 일예로, 색상 포화 개선부(277)를 이용하여 피부색 영역인 제 1 영역의 색은 그대로 유지하고, 제 2 영역에 색상 포화 효과를 줌으로써 피부색 부분은 자연스럽게 유지하면서 피부 이외의 영역에 대해서는 색상을 강조할 수 있다.
한편, 제 1 영역이 피부색 영역으로 한정되는 것은 아니다. 영상 화질 개선 장치(200)를 통해 피부색 뿐만 아니라 특정한 색을 모델링하여, 유사한 색을 가진 화소나 영역을 정교하게 분리해 낼 수 있다.
도 6은 본 발명의 일 실시예에 따라 입력 영상에서 피부색 영역을 검출하는 방법을 설명하기 위한 도면이다.
검출부(210)는 입력 영상(600)에서 얼굴 영역(610)을 검출할 수 있다. 본 발명의 일 실시예에 따른 얼굴 검출 방법은 특정 검출 방법에 한정되지 않고, 2차원 하르 필터와 같은 통상적인 얼굴 검출 기술을 사용할 수 있다.
생성부(230)는 검출된 얼굴 영역(610)에서 피부색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성할 수 있다. 여기에서 색 분포 맵은, 화소들의 휘도 성분에 따른 각각의 제 1 채도 성분의 분포와 제 2 채도 성분의 분포를 결합하여 생성할 수 있다. 구체적으로 휘도 성분에 따른 Cb성분의 분포와 휘도 성분에 따른 Cr성분의 분포를 결합하여 색 분포 맵을 생성할 수 있다.
한편, 본 발명의 일 실시예에 따라 검출되는 얼굴 영역이 복수개일 수 있다. 생성부(230)는 검출된 얼굴 영역이 복수개인 경우 복수개의 얼굴 영역 각각에 대해 피부색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 각각의 색 분포 맵을 생성할 수 있다.
구체적으로 색 분포 맵을 생성하는 과정에서 얼굴 영역이 두 개 이상 존재하는 경우에는 각 얼굴 영역에서 추출된 피부색 계열의 화소들을 이용하여 얼굴 영역의 개수만큼의 색 분포 맵을 독립적으로 구할 수 있다. 이 때 입력 영상에서 피부색 계열의 영역은 각 얼굴 영역으로부터 구해진 색 분포 맵에 의해 판별된 영역을 모두 합하여, 제 1 영역을 판별할 수 있다. 한편, 이는 일 실시예일 뿐 복수개의 얼굴 영역이 검출된 모든 경우가 이에 한정되는 것은 아니다. 또 다른 실시예로, 생성부(230)는 각 얼굴 영역에서 추출한 피부색을 통합하여 하나의 색 분포 맵으로 모델링할 수 있다.
생성부(230)는 생성된 색 분포 맵을 기초로 입력 영상의 각 화소들에 대해 피부색 계열에 포함되는 지 여부를 판단할 수 있는 데이터를 생성할 수 있다. 여기에서 데이터는 입력 영상의 각 화소가 피부색 계열에 포함될 확률값을 포함할 수 있다.
한편 판별부(250)는 생성된 색 분포 맵을 기초로 한 각 화소의 확률값을 미리 설정한 기준값과 비교하여 입력 영상(600)의 영역을 판별할 수 있다. 예를 들어, 화소의 확률값이 기준값 이상인 경우에는 제 1 영역에 포함될 수 있다. 여기에서 제 1 영역은 피부색 영역일 수 있다. 확률값이 기준값 미만인 경우에는 제 2 영역에 포함될 수 있다.
도 6의 입력 영상(600)에서, A영역(652)은 제 2 영역인 피부색 영역 이외의 영역에 포함될 수 있다. 한편 B영역(654)은 제 1 영역인 피부색 영역에 포함될 수 있다.
도 7은 본 발명의 일 실시예에 따라 입력 영상에서 피부색 영역을 검출하는 과정을 설명하기 위한 도면이다.
Image 710은 검출부(210)에서 입력 영상 내의 얼굴 영역을 검출하는 과정을 나타낸다. 일예로 검출부(210)는 2차원 하르(Haar 필터)와 같은 통상적인 얼굴 검출 기술을 이용하여 얼굴 영역을 검출할 수 있다.
Image 720 은 검출된 얼굴 영역에서 추출된 화소의 휘도 성분과 채도 성분을 기초로 생성된 색 분포 맵을 기초로 영상 전체에 대한 확률 정보를 생성하는 과정을 나타낸다.
구체적으로, 생성부(230)는 추출된 화소들의 색 성분을 휘도 성분과 채도 성분에 따른 색 공간인 YCbCr 공간으로 변환할 수 있다. YCbCr공간에서, 추출된 화소들의 색 성분에 대해 Y값을 변수로 하는 Cb(Y-Cb 평면)와 Y값을 변수로 하는 Cr(Y-Cr평면)에 대하여 추출된 화소의 좌표를 구할 수 있다.
여기에서, 추출된 화소의 좌표가 Y-Cb 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 또한, 추출된 화소의 좌표가 Y-Cr 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다.
Image 730 은 생성된 확률 정보를 기초로 입력 영상에 대해 제 1 영역과 제 2 영역을 판별하는 과정을 나타낸다. 판별부(250)는 입력 영상에 대해 색 분포 맵에 따라 피부색 계열에 포함되는 제 1 영역과 입력 영상에서 제 1 영역을 제외한 제 2 영역을 판별할 수 있다.
Image 740은 제 1 영역과 제 2 영역으로 판별된 입력 영상에 대해 잡음을 제거하여 보다 명확한 영상을 생성하는 과정을 나타낸다.
예를 들어 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시킬 수 있다. 또한, 중간값 필터, 양방향 필터, 모폴로지의 팽창(dilation), 침식(erosion), 개방(open) 및 폐쇄(closing) 등의 방법을 사용하여 각 영역에 대해 잡음을 제거할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 화질 개선 방법을 설명하기 위한 흐름도이다.
단계 810에서 검출부(210)는 입력 영상에서 관심 영역을 검출할 수 있다. 여기에서 관심 영역(115)은 소정의 색 계열에 따른 색 분포 맵을 생성하기 위한 샘플 화소들을 포함할 수 있다. 본 발명의 일 실시예에 따르면 관심 영역(115)은 사람의 얼굴 영역일 수 있다.
단계 820에서 생성부(230)는 단계 810에서 검출된 관심 영역에서 소정 색 계열의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성할 수 있다.
구체적으로, 생성부(230)는 추출된 화소들의 색 성분을 휘도 성분과 채도 성분에 따른 색 공간인 YCbCr 공간으로 변환할 수 있다. YCbCr공간에서, 추출된 화소들의 색 성분에 대해 Y값을 변수로 하는 Cb(Y-Cb 평면)와 Y값을 변수로 하는 Cr(Y-Cr평면)에 대하여 추출된 화소의 좌표를 구할 수 있다.
여기에서, 추출된 화소의 좌표가 Y-Cb 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 또한, 추출된 화소의 좌표가 Y-Cr 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. Y-Cb 평면에서 표현된 함수와 Y-Cr 평면에서 표현된 함수의 차이를 새로운 변수로 정의하여, 추출된 화소에 대한 색 분포 맵을 생성할 수 있다.
단계 830에서, 판별부(250)는 입력 영상에서 색 분포 맵에 따라 소정의 색 계열에 포함되는 제 1 영역과 입력 영상에서 제 1 영역을 제외한 제 2 영역을 판별할 수 있다.
단계 840에서, 변경부(250)는 제 1 영역 및 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경할 수 있다. 구체적으로 변경부(250)는, 제 1 영역 및 제 2 영역 중 적어도 하나의 영역에 대해 콘트라스트의 강도를 조절하는 프로세스, 디테일을 개선하여 에지를 선명하게 하는 프로세스, 색상 포화를 조절하는 프로세스 및 잡음을 제거하는 프로세스 중 적어도 하나의 프로세스를 수행할 수 있다.
도 9는 본 발명의 일 실시예에 따라 영상 화질 개선 방법의 색 분포 맵을 생성하는 단계를 세부적으로 설명하기 위한 흐름도이다.
단계 810에서 검출부(210)는 입력 영상에서 관심 영역을 검출할 수 있다. 여기에서 관심 영역(115)은 소정의 색 계열에 따른 색 분포 맵을 생성하기 위한 샘플 화소들을 포함할 수 있다. 본 발명의 일 실시예에 따르면 관심 영역(115)은 사람의 얼굴 영역일 수 있다.
단계 822에서 화소 추출부(235)는 단계 810에서 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들을 추출할 수 있다.
본 발명의 일 실시예에 따라 관심 영역이 얼굴 영역인 경우, 소정의 색 계열은 피부색 계열의 화소일 수 있다. 본 발명의 일 실시예에 따라 화소 추출부(235)는 얼굴 영역의 중심에서 일반적으로 알려진 피부색 계열의 화소를 선택하고, 선택된 화소에 대해 플러드 필(flood fill) 방법을 적용하여 얼굴 영역에 분포하고 있는 피부색 계열의 화소들을 추출할 수 있다.
한편, 화소들을 추출하는 방법이 이에 한정되는 것은 아니다. 예를 들어 화소 추출부(235)는 일반적인 피부색 모델 또는 피부색 영상을 기초로 검출된 얼굴 영역에서 피부색 계열의 화소들을 추출할 수 있다.
단계 824에서 색 분포 맵 생성부(237)는 단계 822에서 추출한 화소들의 색 성분을 휘도 성분과 채도 성분에 따른 색 공간인 YCbCr 공간으로 변환할 수 있다. YCbCr공간에서, 추출된 화소들의 색 성분에 대해 Y값을 변수로 하는 Cb(Y-Cb 평면)와 Y값을 변수로 하는 Cr(Y-Cr평면)에 대하여 추출된 화소의 좌표를 구할 수 있다.
여기에서, 추출된 화소의 좌표가 Y-Cb 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다. 또한, 추출된 화소의 좌표가 Y-Cr 평면에서 분포하는 형태는 Y를 변수로 하는 함수로 표현될 수 있다.
단계 826에서 색 분포 맵 생성부(237)는 단계 824에서 획득한Y-Cb 평면에서 표현된 함수와 Y-Cr 평면에서 표현된 함수의 차이를 새로운 변수로 정의하여 색 분포 맵을 생성할 수 있다. 구체적으로 각 Y-Cb 좌표에 대하여 Cb 성분의 차이값에 대한 확률 변수와 각 Y-Cr 좌표에 대하여 Cr 성분의 차이값에 대한 확률 변수를 도출하여, 도출된 확률 변수들을 기초로 하나의 확률 분포 함수를 생성할 수 있다.
단계 828에서 확률 맵 생성부(239)는 Y에 대한 Cb, Cr 성분의 색 분포 맵을 통해 입력 영상의 각 화소가 피부색 계열에 포함될 확률을 계산할 수 있다.
도 10은 본 발명의 일 실시예에 따라 입력 영상 내에서 각 영역을 판별하는 단계를 세부적으로 설명하기 위한 흐름도이다.
단계 832에서 영역 검출부(255)는 입력 영상의 화소들의 색 분포 맵을 기초로 한 확률이 기준값 이상인지 판단할 수 있다.
단계 834에서 영역 검출부(255)는 단계 832에서의 판단 결과를 기초로 입력 영상 내에서 제 1 영역과 제 2 영역을 판별할 수 있다. 구체적으로, 화소의 확률값이 미리 설정된 기준값 이상인 경우에는 제 1 영역에 포함되고, 반면에 확률값이 미리 설정된 기준값 미만인 경우에는 제 2 영역에 포함될 수 있다.
단계 836에서 잡음 제거부(257)는 단계 834에서 판별한 제 1 영역과 제 2 영역에 대해 잡음을 제거할 수 있다. 예를 들어 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시킬 수 있다. 또한, 중간값 필터, 양방향 필터, 모폴로지의 팽창(dilation), 침식(erosion), 개방(open) 및 폐쇄(closing) 등의 방법을 사용하여 각 영역에 대해 잡음을 제거할 수 있다.
본 발명에 따른 장치는 프로세서, 프로그램 데이터를 저장하고 실행하는 메모리, 디스크 드라이브와 같은 영구 저장부(permanent storage), 외부 장치와 통신하는 통신 포트, 터치 패널, 키(key), 버튼 등과 같은 사용자 인터페이스 장치 등을 포함할 수 있다. 소프트웨어 모듈 또는 알고리즘으로 구현되는 방법들은 상기 프로세서상에서 실행 가능한 컴퓨터가 읽을 수 있는 코드들 또는 프로그램 명령들로서 컴퓨터가 읽을 수 있는 기록 매체 상에 저장될 수 있다. 여기서 컴퓨터가 읽을 수 있는 기록 매체로 마그네틱 저장 매체(예컨대, ROM(read-only memory), RAM(random-access memory), 플로피 디스크, 하드 디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc)) 등이 있다. 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템들에 분산되어, 분산 방식으로 컴퓨터가 판독 가능한 코드가 저장되고 실행될 수 있다. 매체는 컴퓨터에 의해 판독가능하며, 메모리에 저장되고, 프로세서에서 실행될 수 있다.
본 발명에서 인용하는 공개 문헌, 특허 출원, 특허 등을 포함하는 모든 문헌들은 각 인용 문헌이 개별적으로 및 구체적으로 병합하여 나타내는 것 또는 본 발명에서 전체적으로 병합하여 나타낸 것과 동일하게 본 발명에 병합될 수 있다.
본 발명의 이해를 위하여, 도면에 도시된 바람직한 실시 예들에서 참조 부호를 기재하였으며, 본 발명의 실시 예들을 설명하기 위하여 특정 용어들을 사용하였으나, 특정 용어에 의해 본 발명이 한정되는 것은 아니며, 본 발명은 당업자에 있어서 통상적으로 생각할 수 있는 모든 구성 요소들을 포함할 수 있다.
본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 있는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단”, “구성”과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.
본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.
본 발명의 명세서(특히 특허청구범위에서)에서 “상기”의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 발명에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다. 마지막으로, 본 발명에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 발명이 한정되는 것은 아니다. 본 발명에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 발명을 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 발명의 범위가 한정되는 것은 아니다. 또한, 당업자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 팩터에 따라 구성될 수 있음을 알 수 있다.
200: 영상 화질 개선 장치
210: 검출부
230: 생성부
250: 판별부
270: 변경부

Claims (19)

  1. 영상 화질 개선 방법에 있어서,
    입력 영상에서 관심 영역을 검출하는 단계;
    상기 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성하는 단계;
    상기 입력 영상에서 상기 색 분포 맵에 따라 상기 소정의 색 계열에 포함되는 제 1 영역과 상기 입력 영상에서 상기 제 1 영역을 제외한 제 2 영역을 판별하는 단계; 및
    상기 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경하는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서, 상기 색 분포 맵은,
    상기 각 화소들의 휘도 성분에 대한 제 1 채도 성분의 분포와 상기 화소들의 휘도 성분에 대한 제 2 채도 성분의 분포를 기초로 생성되는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서, 상기 색 분포 맵은,
    상기 휘도 성분에 대한 채도 성분의 분포를 기초로 예측한 각 채도 성분과 실제 각 채도 성분의 차이값에 따라 결정되는 것을 특징으로 하는 방법.
  4. 제 1항에 있어서, 상기 생성 단계는,
    상기 색 분포 맵을 기초로 입력 영상의 각 화소들의 색이 상기 소정의 색 계열에 포함될 가능성을 나타내는 확률 정보를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  5. 제 4항에 있어서, 상기 판별 단계는,
    상기 확률 정보의 값이 미리 설정된 기준값 이상인 화소를 제 1 영역으로 판별하고, 상기 확률 정보의 값이 미리 설정된 기준값 미만인 화소를 제 2 영역으로 판별하는 것을 특징으로 하는 방법.
  6. 제 1항에 있어서, 상기 판별 단계는,
    상기 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시키는 단계를 포함하는 것을 특징으로 하는 방법.
  7. 제 1항에 있어서, 상기 변경 단계는,
    상기 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역에 대해 콘트라스트의 강도를 조절하는 프로세스, 에지를 선명하게 하는 프로세스, 색상 포화를 조절하는 프로세스 및 잡음을 제거하는 프로세스 중 적어도 하나의 프로세스를 수행하는 것을 특징으로 하는 방법.
  8. 제 1항에 있어서, 상기 관심 영역은,
    얼굴 영역인 것을 특징으로 하는 방법.
  9. 제 1항에 있어서, 상기 생성 단계는,
    상기 검출된 관심 영역이 복수개인 경우, 복수개의 관심 영역 각각에 대해 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 각각의 색 분포 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
  10. 영상 화질 개선 장치에 있어서,
    입력 영상에서 관심 영역을 검출하는 검출부;
    상기 검출된 관심 영역에서 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 색 분포 맵을 생성하는 생성부;
    상기 입력 영상에서 상기 색 분포 맵에 따라 상기 소정의 색 계열에 포함되는 제 1 영역과 상기 입력 영상에서 상기 제 1 영역을 제외한 제 2 영역을 판별하는 판별부; 및
    상기 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역의 화소들의 값을 변경하는 변경부를 포함하는 것을 특징으로 하는 장치.
  11. 제 10항에 있어서, 상기 색 분포 맵은,
    상기 각 화소들의 휘도 성분에 대한 제 1 채도 성분의 분포와 상기 화소들의 휘도 성분에 대한 제 2 채도 성분의 분포를 기초로 생성되는 것을 특징으로 하는 장치.
  12. 제 11항에 있어서, 상기 색 분포 맵은,
    상기 휘도 성분에 대한 채도 성분의 분포를 기초로 예측한 각 채도 성분과 실제 각 채도 성분의 차이값에 따라 결정되는 것을 특징으로 하는 장치.
  13. 제 10항에 있어서, 상기 생성부는,
    상기 색 분포 맵을 기초로 입력 영상의 각 화소들의 색이 상기 소정의 색 계열에 포함될 가능성을 나타내는 확률 정보를 생성하는 것을 특징으로 하는 장치.
  14. 제 13항에 있어서, 상기 판별부는,
    상기 확률 정보의 값이 미리 설정된 기준값 이상인 화소를 제 1 영역으로 판별하고, 상기 확률 정보의 값이 미리 설정된 기준값 미만인 화소를 제 2 영역으로 판별하는 것을 특징으로 하는 장치.
  15. 제 10항에 있어서, 상기 판별부는,
    상기 제 1 영역 및 상기 제 2 영역에 대해 각 영역을 평활화하여 고주파 성분을 감소시키는 것을 특징으로 하는 장치.
  16. 제 10항에 있어서, 상기 변경부는,
    상기 제 1 영역 및 상기 제 2 영역 중 적어도 하나의 영역에 대해 콘트라스트의 강도를 조절하는 프로세스, 에지를 선명하게 하는 프로세스, 색상 포화를 조절하는 프로세스 및 잡음을 제거하는 프로세스 중 적어도 하나의 프로세스를 수행하는 것을 특징으로 하는 장치.
  17. 제 10항에 있어서, 상기 관심 영역은,
    얼굴 영역인 것을 특징으로 하는 장치.
  18. 제 1항에 있어서, 상기 생성부는,
    상기 검출된 관심 영역이 복수개인 경우, 복수개의 관심 영역 각각에 대해 소정의 색 계열에 포함되는 화소들의 휘도 성분과 채도 성분을 기초로 각각의 색 분포 맵을 생성하는 것을 특징으로 하는 장치.
  19. 제 1항 내지 제 9항 중 어느 하나의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020130082467A 2013-07-12 2013-07-12 영상 화질 개선 방법, 장치 및 기록 매체 KR102071578B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130082467A KR102071578B1 (ko) 2013-07-12 2013-07-12 영상 화질 개선 방법, 장치 및 기록 매체
US14/330,579 US20150016721A1 (en) 2013-07-12 2014-07-14 Image-quality improvement method, apparatus, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130082467A KR102071578B1 (ko) 2013-07-12 2013-07-12 영상 화질 개선 방법, 장치 및 기록 매체

Publications (2)

Publication Number Publication Date
KR20150007880A true KR20150007880A (ko) 2015-01-21
KR102071578B1 KR102071578B1 (ko) 2020-01-30

Family

ID=52277160

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130082467A KR102071578B1 (ko) 2013-07-12 2013-07-12 영상 화질 개선 방법, 장치 및 기록 매체

Country Status (2)

Country Link
US (1) US20150016721A1 (ko)
KR (1) KR102071578B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180033858A (ko) * 2016-09-26 2018-04-04 삼성전자주식회사 디스플레이장치 및 기록매체
KR20200037932A (ko) * 2018-10-02 2020-04-10 경일대학교산학협력단 용접 품질 평가를 위한 영상처리장치 및 영상처리방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106507078B (zh) * 2015-09-08 2018-05-15 中华映管股份有限公司 影像调整方法、影像调整系统及非暂态电脑可读取记录媒体
US10963995B2 (en) * 2018-02-12 2021-03-30 Samsung Electronics Co., Ltd. Image processing apparatus and image processing method thereof
US10593023B2 (en) * 2018-02-13 2020-03-17 Adobe Inc. Deep-learning-based automatic skin retouching
CN109636739B (zh) * 2018-11-09 2020-07-10 深圳市华星光电半导体显示技术有限公司 图像饱和度增强的细节处理方法及装置
CN109509161B (zh) * 2018-12-20 2021-03-16 深圳市华星光电半导体显示技术有限公司 图像增强装置及图像增强方法
CN117036205B (zh) * 2023-10-10 2023-12-26 深圳市悦和精密模具有限公司 基于图像增强的注塑件生产质量检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166310A1 (en) * 2008-12-31 2010-07-01 Altek Corporation Method of establishing skin color model
JP2010152518A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 画像処理装置及び画像処理方法
JP2011141622A (ja) * 2010-01-05 2011-07-21 Canon Inc 検出装置およびその方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4924279B2 (ja) * 2007-08-13 2012-04-25 セイコーエプソン株式会社 画像処理装置、その制御方法及びプログラム
US20110026818A1 (en) * 2009-07-30 2011-02-03 Jonathan Yen System and method for correction of backlit face images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010152518A (ja) * 2008-12-24 2010-07-08 Toshiba Corp 画像処理装置及び画像処理方法
US20100166310A1 (en) * 2008-12-31 2010-07-01 Altek Corporation Method of establishing skin color model
JP2011141622A (ja) * 2010-01-05 2011-07-21 Canon Inc 検出装置およびその方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180033858A (ko) * 2016-09-26 2018-04-04 삼성전자주식회사 디스플레이장치 및 기록매체
KR20200037932A (ko) * 2018-10-02 2020-04-10 경일대학교산학협력단 용접 품질 평가를 위한 영상처리장치 및 영상처리방법

Also Published As

Publication number Publication date
US20150016721A1 (en) 2015-01-15
KR102071578B1 (ko) 2020-01-30

Similar Documents

Publication Publication Date Title
KR20150007880A (ko) 영상 화질 개선 방법, 장치 및 기록 매체
US8548247B2 (en) Image processing apparatus and method, and program
JP5968098B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6547386B2 (ja) 画像処理装置及び方法
US8577137B2 (en) Image processing apparatus and method, and program
KR102094506B1 (ko) 피사체 추적 기법을 이용한 카메라와 피사체 사이의 거리 변화 측정방법 상기 방법을 기록한 컴퓨터 판독 가능 저장매체 및 거리 변화 측정 장치.
JP2004280633A (ja) 画像処理装置および方法、記録媒体、並びにプログラム
WO2014044158A1 (zh) 一种图像中的目标物体识别方法及装置
JP2011053953A (ja) 画像処理装置及びプログラム
KR102091136B1 (ko) 영상 화질 개선 방법, 장치 및 기록 매체
Le et al. Image segmentation based on modified graph-cut algorithm
JP2010205067A (ja) 領域抽出装置、領域抽出方法及び領域抽出プログラム
EP3217659B1 (en) Image processing apparatus, image processing method, and program
KR101932008B1 (ko) 영상의 특징 및 맥락에 기초한 영상 분석 장치 및 방법
Abdusalomov et al. An improvement for the foreground recognition method using shadow removal technique for indoor environments
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
JP2019180749A (ja) 画像処理プログラム、画像処理装置、および画像処理方法
Amil et al. Bilateral histogram equalization with pre-processing for contrast enhancement
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
KR20130126026A (ko) 세부정보 추정에 의한 영상 개선 장치 및 방법
JP2013182330A (ja) 画像処理装置および画像処理方法
JP5975215B2 (ja) 画像処理装置及び画像処理プログラム、画像調整装置及び画像調整プログラム
JP2004246424A (ja) 肌色領域の抽出方法
JP2000348173A (ja) 唇抽出方法
JP2018185265A (ja) 情報処理装置、制御方法、及びプログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant