KR102136716B1 - 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 - Google Patents

관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 Download PDF

Info

Publication number
KR102136716B1
KR102136716B1 KR1020130119219A KR20130119219A KR102136716B1 KR 102136716 B1 KR102136716 B1 KR 102136716B1 KR 1020130119219 A KR1020130119219 A KR 1020130119219A KR 20130119219 A KR20130119219 A KR 20130119219A KR 102136716 B1 KR102136716 B1 KR 102136716B1
Authority
KR
South Korea
Prior art keywords
block
image
group
blocks
image quality
Prior art date
Application number
KR1020130119219A
Other languages
English (en)
Other versions
KR20150040559A (ko
Inventor
신승호
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Priority to KR1020130119219A priority Critical patent/KR102136716B1/ko
Publication of KR20150040559A publication Critical patent/KR20150040559A/ko
Application granted granted Critical
Publication of KR102136716B1 publication Critical patent/KR102136716B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

본 실시예는 촬영된 영상을 획득하는 과정; 상기 영상을 복수의 블록으로 분할하는 과정; 상기 분할된 블록별로 해당 블록의 움직임 정도를 산출하는 과정; 상기 블록별로 산출된 움직임정도에 따라 유사블록들을 그룹화하여 하나 이상의 블록 그룹을 생성하는 과정; 및 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정하는 과정을 포함하는 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

Description

관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체{Apparatus for Improving Image Quality and Computer-Readable Recording Medium with Program Therefor}
본 실시예는 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아님을 밝혀둔다.
영상을 획득하는 카메라 센서는 조명 및 날씨 등 주위 환경변화에 민감하게 작용하여 저 조도, 악천후 환경에서 영상의 식별이 어려울 정도로 화질을 저하시킬 수 있다. 따라서, 이러한 환경에서 영상의 화질개선 기술은 아주 중요한 요소이며, 특히 실외에 설치되어 운영되는 영상보안 감시 카메라에서는 필수 불가결이라 할 수 있다.
일반적으로 화질이 저하된 영상을 개선하는 방법으로 대조비 향상(Contrast Enhancement), 선명도 향상(Sharpness Enhancement), 잡음제거(Noise Reduction) 기술 등을 들 수 있다.
이러한 화질개선 기법들은 영상의 전체영역을 대상으로 화질을 개선시키는 전역적인 방법(Global Method)과 영상을 여러 개의 블록으로 나누어 각각의 블록들을 독립적으로 처리하여 화질을 개선시키는 지역적인 방법(Local Method)으로 구분할 수 있다.
전역기법의 경우, 영상 전체를 균일화하여 화질을 개선시킴으로써 알고리즘이 간단하고 처리속도가 빠른 장점이 있는 반면 화질 개선효과가 미미하며, 반면에 지역기법의 경우에는, 영상의 부분 특징을 고려하여 화질을 개선함으로써 전역기법에 비해 개선효과가 우수하나 영상처리 알고리즘이 복잡하여 처리속도가 늦어지는 문제점이 있다.
본 발명의 실시예는 촬영된 영상에서 전경과 배경 영역에 서로 다른 화질개선 방법을 적용함으로써 기존방법 대비 관심영역 중심으로 화질을 균형있게 향상시키고 연산량을 줄여 속도를 향상하고자 하는 데에 주된 목적이 있다.
본 발명의 일 실시예에 따르면, 촬영된 영상을 획득하는 영상 획득부; 상기 영상을 복수개의 블록으로 분할하는 블록 분할부; 상기 분할된 블록별로 해당 블록의 움직임 정도를 산출하는 움직임 산출부; 상기 블록별로 산출된 움직임정도에 따라 유사블록들을 그룹화하여 하나 이상의 블록 그룹을 생성하는 블록 그룹화부; 및 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정하는 화질개선부를 포함하는 것을 특징으로 하는 화질개선 장치를 제공한다.
여기서, 상기 화질개선 장치는, 상기 임계값을 설정하기 위한 입력을 수신하는 임계값 설정부를 더 포함할 수 있다.
상기 움직임 산출부는, 이전 프레임에서 움직임을 추정하여 산출한 움직임벡터를 상기 움직임정도로서 산출할 수 있다.
또한, 상기 블록 그룹화부는, 상기 블록 사이의 움직임정도의 차이가 임계값 이하인 블록끼리 상기 블록 그룹을 생성하며, 상기 하나 이상의 블록 그룹으로서, 상기 움직임 정도가 기설정 크기보다 큰 블록 그룹은 관심영역 그룹으로 설정하고 상기 움직임 정도가 기설정 크기 이하인 블록 그룹은 배경 그룹으로 설정한다.
상기 화질 개선부는, 상기 관심영역 그룹에 대해서, 각 블록에 대해 각각 대조비 향상을 위한 히스토그램 조정 및 에지 선명도 향상을 위한 감마 조정 중에서 적어도 하나를 수행하며, 상기 배경 그룹에 대해서, 전역적으로 휘도의 분포를 균일화하기 위하여 광원 추정 및 에지 분석 중 적어도 하나를 수행하고, 또한, 상기 관심영역 그룹 및 배경 그룹의 경계 부분은 블렌딩 처리를 할 수도 있다.
또한, 본 발명의 다른 실시예에 의하면, 컴퓨터에, 촬영된 영상을 획득하는 과정; 상기 영상을 기설정 크기의 블록으로 분할하는 과정; 상기 분할된 블록별로 해당 블록의 움직임 정도를 산출하는 과정; 상기 블록별로 산출된 움직임정도에 따라 유사블록들을 그룹화하여 하나 이상의 블록 그룹을 생성하는 과정; 및 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정하는 과정을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
본 발명의 실시예는 영상의 관심영역인 전경 부분에는 지역적인 화질개선 기법을 사용하여 개선효과를 극대화시키고, 배경 부분에는 전역적인 화질개선 기법을 사용하여 불필요한 연산을 줄임으로써 속도를 향상할 수 있는 효과가 있다.
또한, 영상의 관찰자 중심에서 의미있는 정보 기반으로 화질을 개선함으로써 기존방법 대비 개선효과와 속도를 동시에 향상할 수 있다.
도 1은 본 발명의 일 실시예에 따른 화질개선 장치(100)를 개략적으로 나타낸 블록 구성도이다.
도 2는 영상의 블록을 그룹화한 결과를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 화질개선 방법을 개략적으로 나타낸 흐름도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 화질개선 장치(100)를 개략적으로 나타낸 블록 구성도이다.
도 1에서 도시하듯이, 본 발명의 일 실시예에 따른 화질개선 장치(100)는 영상 획득부(110), 영상 저장부(120), 블록 분할부(130), 움직임 산출부(140), 블록 그룹화부(150), 임계값 설정부(160) 및 화질 개선부(170)를 포함한다. 본 발명의 일 실시예에 따른 화질개선 장치(100)에서는 영상 획득부(110), 영상 저장부(120), 블록 분할부(130), 움직임 산출부(140), 블록 그룹화부(150), 임계값 설정부(160) 및 화질 개선부(170)를 포함하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니며, 일부 구성요소는 생략되거나 추가로 다른 구성요소를 포함하여 구현될 수도 있다.
영상 획득부(110)는 화질개선 장치(100)와 연동된 영상 촬영장치(미도시)로부터 영상 촬영장치가 촬영한 영상을 획득한다. 즉, 영상 획득부(110)는 특정 지점에 설치되어 있는 영상 촬영장치로부터 촬영하고자 하는 기 설정된 영역이 촬영된 영상을 획득한다. 여기서, 촬영된 영상은 하나의 프레임인 것이거나 복수 개의 프레임을 포함한 영상으로 구성될 수도 있다. 한편, 영상 획득부(110)는 영상 촬영장치로부터 촬영된 영상을 실시간으로 수신할 수도 있으나 기 설정된 주기별로 영상 촬영장치에서 기 촬영되어 저장되어 있는 영상을 획득할 수도 있다. 또한, 본 실시예에서는 영상 획득부(110)가 영상 촬영장치로부터 촬영된 영상을 획득한다고 명시하였지만 반드시 이에 한정되지는 않고, 화질개선 장치(100)가 영상을 촬영하기 위한 촬영 모듈을 구비하고, 해당 촬영 모듈을 이용하여 촬영된 영상을 직접 획득할 수도 있다.
또한, 촬영된 영상을 획득함에 있어서, 영상 원본을 직접 수신할 수도 있으나 촬영 영상을 부호화한 형태로 영상을 수신할 수도 있다.
영상 저장부(120)는 영상 획득부(110)가 획득한 영상을 저장하고, 영상의 화질 개선을 수행하는 과정에서 촬영된 영상을 저장한다. 즉, 영상 저장부(120)는 촬영된 영상을 저장하고, 움직임 산출부(140) 등이 촬영된 영상을 요청하는 경우 저장된 영상을 제공한다.
블록 분할부(130)는 획득한 영상을 복수개의 블록으로 분할한다. 블록 분할부(130)는 입력된 영상의 관심영역을 구분하기 전에 영상을 일정 크기 또는 다양한 크기의 블록으로 구분한다. 한편, 영상 내에서 블록은 분할하는 방법으로 기설정 크기로 분할할 수도 있지만 분할된 블록별로 전송된 영상 정보에 포함된 움직임벡터를 움직임정도로서 사용할 수도 있다.
일반적으로 영상의 부호화에 관한 H.264/AVC 표준에서는 동영상 부호화 과정 중네 영상 내 움직임이 많고 세밀한 영역의 경우 4×4, 4×8, 8×4, 8×8과 같은 작은 블록으로 나뉘고, 영상 내 움직임이 적고 단순한 영역의 경우에는 8×8, 8×16, 16×8, 16×16 등의 상대적으로 큰 블록으로 나뉜다. 위와 같은 여러가지 타입의 가변적인 크기를 갖는 블록을 이용하여 영상 프레임 사이의 움직임 정도를 측정할 수 있다.
움직임 산출부(140)는 분할된 블록별로 움직임을 추정하여 해당 블록의 움직임 정도를 산출한다. 움직임 산출부(140)는 영상 저장부(120)에 저장된 이전 프레임을 영상 저장부(120)로부터 수신하고, 현재 프레임의 각 블록에 대하여 이전 프레임 내의 여러 위치에 대하여 해당 블록과 같은 크기의 블록과 비교한 후 SAD(Sum of Difference)가 가장 작은 경우를 찾는 움직임 추정(Motion Estimation)을 수행하고 움직임 추정의 결과에 따라 움직임벡터를 산출한다. 여기서 분할된 블록별로 산출된 움직임벡터를 움직임정도로서 사용할 수 있다. 여기서 움직임 추정을 통한 움직임벡터의 산출 방법은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
또한, 움직임벡터는 영상으로부터 직접 움직임 추정을 통하여 추출할 수도 있지만 전송되는 영상이 부호화되어 전송되는 경우 전송되는 영상 정보에 움직임벡터가 포함되어 전송될 수도 있다. 따라서, 이 경우 움직임 산출부(140)는 전송된 영상 정보에 포함된 움직임 벡터를 이용하여 각 블록의 움직임 정도를 산출할 수 있다.
블록 그룹화부(150)는 블록별로 산출된 움직임정도, 예컨대 움직임벡터에 따라 유사블록들을 그룹화하여 하나 이상의 블록 그룹을 생성한다.
도 2는 영상의 블록을 그룹화한 결과를 나타낸 도면이다.
도 2는 영상이 다양한 크기의 블록으로 분할된 후 블록별로 산출된 움직임 벡터에 따라 그룹화된 결과를 나타낸다.
도 2의 영상에서 보듯이, 영상 내에서 자동차를 포함하는 블록들은 이전 프레임과 비교할 때 모두가 서로 비슷한 움직임정도를 나타내게 된다. 즉, 영역 A의 블록들은 이전 프레임과 비교할 때 서로 비슷한 움직임을 나타내게 된다. 즉, 움직임 벡터를 움직임정도를 나타내는 척도로 사용하는 경우, 영역 A의 블록들이 비슷한 크기의 움직임 벡터를 갖게 된다. 따라서 영역 A의 블록들을 유사블록으로서 하나의 블록 그룹으로 그룹화할 수 있다.
영역 A와 유사하게 영역 B의 경우에도 해당 블록들이 서로 유사한 크기의 움직임 벡터를 갖는 경우 영역 B의 블록들을 하나의 블록 그룹으로 그룹화할 수 있다.
이러한 블록 그룹화를 하는 움직임벡터 크기의 기준은 실시예에 따라 달라질 수 있으며, 영상 특성에 따라 조절하여 설정할 수 있다.
임계값 설정부(160)는 움직임벡터를 그룹화하는 움직임벡터 사이의 최대 크기 차이인 임계값을 설정하기 위한 입력을 사용자로부터 키보드 등의 입력장치를 이용하여 수신한다. 또한, 임계값 설정부(160)는 일정크기 이상의 움직임벡터 값을 갖는 블록들을 그룹화하기 위해 최소 움직임 벡터 크기도 설정할 수 있다.
블록의 움직임 벡터가 설정된 최소 움직임 벡터 크기 이상을 갖는지 여부에 따라 전경 블록그룹 및 배경 블록그룹으로 그룹화하는 기준으로 삼을 수 있다.
이와 같이, 블록 그룹화부(150)는 움직임 벡터의 크기가 기설정크기 이상이면서 블록 사이의 움직임 벡터의 크기 차이가 임계값 이하인 블록끼리 전경 블록 그룹을 생성하고 움직임 벡터의 크기가 기설정크기 이하인 경우에 배경 블록그룹을 생성한다.
따라서, 움직임이 커서 움직임 벡터가 상대적으로 큰 블록 그룹은 전경 그룹, 즉 관심영역 그룹으로 설정하며, 움직임이 적어서 움직임 벡터가 기설정 크기 이하인 블록들은 배경 그룹으로 설정한다.
화질 개선부(170)는 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정한다.
화질 개선부(170)는 블록 특성에 기반한 화질개선을 수행한다. 즉, 움직임 정도에 따라 배경으로 분류된 블록 그룹들에 대해서는 블록 그룹 전체에 대해 전역적인 화질개선 기법을 적용하고, 전경으로 분류된 블록 그룹들에 대해서는 각 블록별로 지역적인 화질개선 기법을 적용한다.
화질 개선부(170)는 배경 블록그룹에 대해서는 블록의 구별 없이 전역적으로 모든 블록에 대하여 공통적으로 광원 추정을 통해 휘도의 분포를 균일화시켜 대조비(Contrast)를 향상시키고 에지 분석을 통해 에지의 선명도를 향상시킨다. 여기서, 휘도의 분포를 균일화하기 위한 광원 추정 및 에지 분석을 모두 수행할 수도 있지만, 두 방법 중에서 어느 하나만을 수행할 수도 있다.
빛에는 색온도라 불리는 특유의 색이 있는데, 그 단위로 켈빈(K)이 사용된다. 일반적으로, 인간의 시각 능력은 자동으로 색에 대한 감수성을 조절하기 때문에 어떤 색온도의 빛이 비추어지더라도 색채에 대한 인간의 인식 차이는 매우 미미하다. 그러나, 카메라나 캠코더와 같은 이미지 픽업(pick up) 장치는 색온도가 반영된 색채를 그대로 감지하기 때문에 광원이 변하게 되면 이미지 픽업 장치가 촬영한 이미지들이 서로 다른 색채를 띠게 된다.
예를 들면, 맑은 날에 태양광은 색온도가 높기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 청색을 띠는 반면, 일출이나 일몰 시간대의 태양광은 색온도가 낮기 때문에 이미지 픽업 장치가 촬영한 이미지는 전체적으로 붉은색을 띠게 된다. 이러한 문제점을 개선하기 위하여 광원 추정을 한 후 화이트 밸런싱(White Balancing)을 한다. 이는 촬영된 이미지가 색온도에 따라서 적색(R), 녹색(G), 청색(B) 성분 중 적어도 한 방향으로 편향되는 경우, 이미지의 색조가 왜곡되는 현상을 보정해주는 역할을 한다.
여기서, 광원 추정 및 화이트 밸런싱 방법은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
또한, 에지분석은, 영상 내의 에지 성분을 검출하고 이를 분석하여 수평성분 에지 또는 수직 성분 에지 등의 선명도를 조절하는 등의 다양한 방법으로 수행할 수 있다. 이러한 에지 분석을 통한 에지 선명도 조절은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
또한, 화질 개선부(170)는 전경 블록 그룹에 대해서는 각 블록에 대해 독립적으로 히스토그램 조정을 통해 대조비를 향상시키고 감마 조정을 통해 블록 내 에지의 선명도를 향상시킨다. 여기서, 대조비 향상을 위한 히스토그램 조정 및 에지 선명도 향상을 위한 감마 조정을 모두 수행할 수도 있지만, 두 방법 중에서 어느 하나만을 수행할 수도 있다.
히스토그램 조정 방법은 블록의 히스토그램을 분석하여 시각적으로 대조비를 최대화하도록 히스토그램을 다시 모델링하는 방법이다.
히스토그램 조정을 통한 대조비 행상 방법에는 다양한 방법이 있으며 이러한 사항은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
감마보정(Gamma Correction)동작은, 카메라로 입력되는 광학적 신호와 디스플레이 장치로부터 출력되는 광학적 신호간에 선형적인 관계가 유지되도록 하여 에지의 선명도를 향상하는 방법으로서, 감마 보정 방법에 대한 사항은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
화질 개선부(170)는 전경 그룹 및 배경 그룹 사이의 경계 부분은 블렌딩 처리를 하여 전경 및 배경간 불연속성을 제거하여 영상이 자연스럽게 보일 수 있도록 처리한다.
위와 같이 블록 그룹별로 이미지 처리를 수행하는 경우 두 블록 그룹 사이의 경계선에 컬러 정보가 급격히 변할 수 있어서 부자연스러운 선이 보일 수가 있으므로 이와 같은 경계선에 색 블렌딩을 통하여 두 블록 그룹 사이의 이미지가 원활히 이어질 수 있도록 한다. 한편, 블렌딩 방법에 대한 사항은 공지된 사항이므로 더 이상의 상세한 설명은 생략한다.
디지털 영상기기 사용이 급증하면서 영상의 화질저하는 다양한 환경에서 발생된다. 대표적으로 야외 설치된 CCTV 카메라의 경우 안개/해무/연기 등 악천후로 인해 사물의 인식이 어려울 정도로 화질저하가 발생될 수 있으며, 저조도 및 역광과 같은 조명변화에 대해 특히 민감하게 화질을 저하시킨다.
이러한 화질저하 현상은 영상을 왜곡시켜 선명도를 떨어뜨리기 때문에 영상 화질개선 기법을 통한 보정기술은 사용자에게 필수적이라 할 수 있다.
도 3은 본 발명의 일 실시예에 따른 화질개선 방법을 개략적으로 나타낸 흐름도이다.
도 3에 도시한 바와 같이, 본 발명의 일 실시예에 따른 화질개선 방법은 촬영된 영상을 획득하는 과정(S510), 영상을 복수개의 블록으로 분할하는 과정(S520), 분할된 블록별로 해당 블록의 움직임 정도를 산출하는 과정(S530), 블록별로 산출된 움직임정도에 따라 유사블록들을 그룹화하여 하나 이상의 블록 그룹을 생성하는 과정(S540) 및 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정하는 과정(S550)을 포함한다.
영상을 획득하는 과정(S510)에서는 영상 촬영장치(미도시)로부터 영상 촬영장치가 촬영한 영상을 획득한다. 즉, 영상 획득부(110)는 특정 지점에 설치되어 있는 영상 촬영장치로부터 촬영하고자 하는 기 설정된 영역이 촬영된 영상을 획득한다.
영상을 복수개의 블록으로 분할하는 과정(S520)은 획득한 영상을 예컨대 기설정 크기의 블록으로 분할하는데, 기설정 크기란 반드시 모두 동일한 크기를 의미하는 것은 아니다. 전술하였듯이, 전송되는 영상에 블록이 분할되는 크기에 대한 정보가 포함되어 전송될 수도 있다.
블록의 움직임 정도를 산출하는 과정(S530)은 분할된 블록별로 움직임을 추정하여 해당 블록의 움직임 정도를 산출한다. 여기서 분할된 블록별로 전송된 영상 정보에 포함된 움직임벡터를 움직임정도로서 사용할 수도 있다.
이와 같이, 움직임 벡터의 크기가 기설정크기 이상이면서 블록 사이의 움직임 벡터의 크기 차이가 임계값 이하인 블록끼리 전경 블록 그룹을 생성하고 움직임 벡터의 크기가 기설정크기 이하인 경우에 배경 블록그룹을 생성한다.
블록의 화소값을 보정하는 과정(S550)은 서로 다른 블록 그룹별에 대하여 서로 다른 화질개선 방법으로 블록의 화소값을 보정한다. 즉, 블록의 움직임 정도에 따라 배경 그룹으로 분류된 블록 그룹들에 대해서는 전역적인 화질개선 기법을 적용하고, 전경 그룹으로 분류된 블록 그룹들에 대해서는 지역적인 화질개선 기법을 적용한다.
배경 블록그룹에 대해서는 블록의 구별 없이 전역적으로 광원 추정을 통해 휘도의 분포를 균일화시켜 대조비(Contrast)를 향상시키고 에지 분석을 통해 에지의 선명도를 향상시킨다.
또한, 전경 블록 그룹에 대해서는 각 블록에 대해 독립적으로 히스토그램 조정을 통해 대조비를 향상시키고 감마 조정을 통해 블록 내 에지의 선명도를 향상시킨다.
또한, 화소값을 보정한 후에는 전경 그룹 및 배경 그룹 사이의 경계 부분은 블렌딩 처리를 하여 전경 및 배경간 불연속성을 제거하여 영상이 자연스럽게 보일 수 있도록 처리한다.
도 3에서는 단계 S310 내지 단계 S350을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 즉, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.
전술한 바와 같이, 도 3에 기재된 화질개선을 수행하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 화질개선을 수행하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 이러한 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 화질개선 장치 110: 영상 획득부
120: 영상 저장부 130: 블록 분할부
140: 움직임 산출부 150: 블록 그룹화부
160: 임계값 설정부 170: 화질 개선부

Claims (11)

  1. 촬영된 영상 프레임의 부호화 영상을 획득하는 영상 획득부;
    상기 영상 프레임을 기설정 크기의 복수개의 블록으로 분할하는 블록 분할부;
    이전 프레임을 이용하여 상기 복수개의 블록별로 움직임을 추정한 결과로서 각 블록의 움직임 벡터를 산출하는 움직임 산출부;
    상기 복수개의 블록별로 산출된 움직임 벡터의 크기에 따라 상기 복수개의 블록을 그룹화하되, 상기 움직임 벡터의 크기가 기설정 크기 이상이면서 블록 사이의 움직임 벡터의 크기 차이가 임계값 이하인 블록 그룹을 관심영역 그룹으로 설정하고 상기 움직임 벡터의 크기가 기설정 크기 이하인 블록 그룹을 배경 그룹으로 설정하는 블록 그룹화부; 및
    서로 다른 블록 그룹별로 서로 다른 화질개선 방법을 적용하는 화질개선부
    를 포함하되,
    상기 부호화 영상의 정보에 포함된 분할 블록별 움직임 벡터로부터 상기 각 블록의 움직임 벡터를 산출하는 것을 특징으로 하는 화질개선 장치.
  2. 삭제
  3. 삭제
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 화질개선 장치는,
    상기 임계값을 설정하기 위한 입력을 수신하는 임계값 설정부를 더 포함하는 것을 특징으로 하는 화질개선 장치.
  5. 삭제
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 화질 개선부는,
    상기 관심영역 그룹에 대해서, 각 블록에 대해 각각 대조비 향상을 위한 히스토그램 조정 및 에지 선명도 향상을 위한 감마 조정 중에서 적어도 하나를 수행하는 것을 특징으로 하는 화질개선 장치.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 화질 개선부는,
    상기 배경 그룹에 대해서, 전역적으로 휘도의 분포를 균일화하기 위하여 광원 추정 및 에지 분석 중 적어도 하나를 수행하는 것을 특징으로 하는 화질개선 장치.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1항에 있어서, 상기 화질 개선부는,
    상기 관심영역 그룹 및 상기 배경 그룹 사이의 경계 부분은 블렌딩 처리를 하는 것을 특징으로 하는 화질개선 장치.
  9. 컴퓨터에,
    촬영된 영상 프레임의 부호화 영상을 획득하는 과정;
    상기 영상 프레임을 기설정 크기의 복수개의 블록으로 분할하는 과정;
    이전 프레임을 이용하여 상기 복수개의 블록별로 움직임을 추정한 결과로서 각 블록의 움직임 벡터를 산출하는 과정;
    상기 복수개의 블록별로 산출된 움직임 벡터의 크기에 따라 상기 복수개의 블록을 그룹화하되, 상기 움직임 벡터의 크기가 기설정 크기 이상이면서 블록 사이의 움직임 벡터의 크기 차이가 임계값 이하인 블록 그룹을 관심영역 그룹으로 설정하고 상기 움직임 벡터의 크기가 기설정 크기 이하인 블록 그룹을 배경 그룹으로 설정하는 과정; 및
    서로 다른 블록 그룹별로 서로 다른 화질개선 방법으로 블록의 화소값을 보정하는 과정
    을 실행하되,
    상기 부호화 영상의 정보에 포함된 분할 블록별 움직임 벡터로부터 상기 각 블록의 움직임 벡터를 산출하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  10. 삭제
  11. 제 9항에 있어서, 상기 보정하는 과정은,
    상기 관심영역 그룹에 대해서, 각 블록에 대해 각각 히스토그램 조정 및 감마 조정 중에서 적어도 하나를 수행하고,
    상기 배경 그룹에 대해서, 휘도의 분포를 균일화하기 위한 광원 추정 및 에지 선명도 향상을 위한 에지 분석 중 적어도 하나를 수행하는 것을 특징으로 하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130119219A 2013-10-07 2013-10-07 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체 KR102136716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130119219A KR102136716B1 (ko) 2013-10-07 2013-10-07 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130119219A KR102136716B1 (ko) 2013-10-07 2013-10-07 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Publications (2)

Publication Number Publication Date
KR20150040559A KR20150040559A (ko) 2015-04-15
KR102136716B1 true KR102136716B1 (ko) 2020-07-23

Family

ID=53031872

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130119219A KR102136716B1 (ko) 2013-10-07 2013-10-07 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체

Country Status (1)

Country Link
KR (1) KR102136716B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317683B1 (ko) * 2016-07-28 2021-10-26 삼성전자주식회사 영상을 처리하는 방법, 디바이스 및 기록매체
KR102553598B1 (ko) 2016-11-18 2023-07-10 삼성전자주식회사 영상 처리 장치 및 그 제어 방법
KR102005326B1 (ko) * 2018-11-06 2019-08-01 길재소프트 주식회사 영상 내 3차원 깊이정보 추출 방법 및 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
KR100608036B1 (ko) * 1999-08-27 2006-08-02 삼성전자주식회사 영상 데이터 세그먼테이션 방법 및 장치
JP2009239399A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 画像処理装置および画像処理プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009066783A1 (en) * 2007-11-22 2009-05-28 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000308068A (ja) * 1999-04-16 2000-11-02 Olympus Optical Co Ltd 撮像装置
KR100608036B1 (ko) * 1999-08-27 2006-08-02 삼성전자주식회사 영상 데이터 세그먼테이션 방법 및 장치
JP2009239399A (ja) * 2008-03-26 2009-10-15 Brother Ind Ltd 画像処理装置および画像処理プログラム

Also Published As

Publication number Publication date
KR20150040559A (ko) 2015-04-15

Similar Documents

Publication Publication Date Title
US10692197B2 (en) Systems and techniques for automatic image haze removal across multiple video frames
Peng et al. Image haze removal using airlight white correction, local light filter, and aerial perspective prior
CN108335279B (zh) 图像融合和hdr成像
US20180255254A1 (en) Automatic lens flare detection and correction for light-field images
JP5908174B2 (ja) 画像処理装置及び画像処理方法
CN108419028B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN104104886B (zh) 过曝拍摄方法及装置
US9202263B2 (en) System and method for spatio video image enhancement
KR20180132946A (ko) 멀티-뷰 장면 분할 및 전파
US20130258138A1 (en) Apparatus for generating an image with defocused background and method thereof
RU2496250C1 (ru) Устройство и способ обработки изображения
US20210211567A1 (en) Motion ghost resistant hdr image generation method and portable terminal
US20200007760A1 (en) Imaging apparatus and imaging method, and image processing apparatus and image processing method
KR102106537B1 (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
KR101874738B1 (ko) 영상처리를 이용하여 ldr 영상으로부터 hdr 영상을 생성하는 장치 및 방법
Guthier et al. Flicker reduction in tone mapped high dynamic range video
KR102136716B1 (ko) 관심영역 기반의 화질개선 장치와 그를 위한 컴퓨터로 읽을 수 있는 기록 매체
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109191398B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
CN110211065B (zh) 一种食材图像的颜色校正方法和装置
Al-Zubaidy et al. Removal of atmospheric particles in poor visibility outdoor images
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
CN107292853B (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
WO2023110880A1 (en) Image processing methods and systems for low-light image enhancement using machine learning models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)