KR101532686B1 - 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법 - Google Patents

경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101532686B1
KR101532686B1 KR1020130167508A KR20130167508A KR101532686B1 KR 101532686 B1 KR101532686 B1 KR 101532686B1 KR 1020130167508 A KR1020130167508 A KR 1020130167508A KR 20130167508 A KR20130167508 A KR 20130167508A KR 101532686 B1 KR101532686 B1 KR 101532686B1
Authority
KR
South Korea
Prior art keywords
image
pixel
filter
pixel value
region
Prior art date
Application number
KR1020130167508A
Other languages
English (en)
Inventor
권순
이상범
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020130167508A priority Critical patent/KR101532686B1/ko
Application granted granted Critical
Publication of KR101532686B1 publication Critical patent/KR101532686B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

영상을 고해상도로 업샘플링 하거나 객체 경계의 화질을 개선하는 방법이 개시된다. 이 방법은 저해상도의 영상에 대해 객체 경계에 적응적인 필터를 적용하여 고해상도의 영상을 얻는 업샘플링 및 필터링 방법을 제공하는 것으로서, 첫 번째로 주 영상과 부 영상에 대한 정규화 공분산맵을 계산한다. 정규화 공분산맵은 객체의 공통 경계 부근에서는 큰 값을 가지기 때문에 영상을 경계 영역과 평탄 영역으로 나눌 수 있다. 그런 다음 공통 경계 영역에는 지역 최소화 필터, 평탄 영역에는 양방향 필터를 적응적으로 적용해서 객체 경계가 뚜렷한 영상으로 업샘플링 및 필터링 한다.

Description

경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법{DEVICE AND METHOD FOR PROCESSING IMAGE USING DISCONTINUITY ADAPTIVE FILTER}
본 발명은 경계 적응적 필터(discontinuity adaptive filter)를 이용한 영상 처리 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 영상 내의 객체 경계에 적응적인 필터링 기술을 적용하여 고해상도의 영상 또는 객체 경계 영역의 화질을 개선하는 방법에 관한 것이다.
영상의 화질을 개선하기 위해 다양한 영상 처리 기술이 사용되고 있으며, 그 중 업 샘플링 기술 및 경계 필터링 기술이 있다. 업샘플링 기술은 저해상도의 영상을 고해상도의 영상으로 변환시키는 기술이고, 경계 필터링 기술은 영상 내 객체 경계(object edge)를 검출하는 기술로서, 이들 기술들은 모두 영상의 화질을 개선하기 위해 주로 사용되는 기술들로서, 다양한 촬영 환경의 호환성을 위해 수년간 꾸준히 연구가 이루어지고 있다.
일반적으로 영상 기술의 발전 방향은 저해상도에서 고해상도로 진행되기 때문에 기존 기술로 촬영된 영상을 최신 디스플레이 장치에서 재생해야 하는 경우에는 업샘플링 기술은 필수적이다.
최근에는 3차원 영상의 핵심 요소인 깊이 영상을 필요로 하는 3차원 TV, 지능형 자동차 시스템 환경에서도 업샘플링 기술이 많이 사용되고 있다. 이러한 깊이 영상(depth image)의 획득 방법은 크게 능동 센서를 이용한 방법과 수동 센서를 이용한 방법이 있는데, 능동 센서를 이용하는 방법에서 획득된 깊이 영상은 해상도가 낮고, 수동 센서를 이용하는 방법에서 획득된 깊이 영상은 그 획득과정에서 높은 연산량이 요구된다.
능동 센서의 경우, 깊이 영상의 해상도를 향상시키고, 수동 센서의 경우 다시점 영상의 해상도를 줄여서 깊이 영상을 획득한 다음 깊이 영상의 해상도를 향상시키면 연산량을 줄일 수 있기 때문에, 깊이 영상의 해상도를 향상시키는 업샘플링 기술은 능동 센서나 수동 센서 모든 방법에서 필수적이다.
또한, 스테레오 비전 시스템이나 TOF(Time-of-Flight) 깊이 카메라 기반의 깊이 영상 획득 방법에서는 획득한 깊이 영상 내의 객체 경계가 색상 영상의 객체 경계와 일치하지 않기 때문에 경계 영역 필터링과 같은 깊이 영상의 후처리 방법을 사용하여 깊이 영상의 화질을 개선하고 있다.
그런데, 기존의 영상 업샘플링 방법은 경계 영역 내의 중심 화소값을 중심으로 일정한 크기의 커널 내에 존재하는 주변 화소값을 이용해서 가우시안(Gaussian) 가중합을 계산하기 때문에 상기 경계 영역에서 종종 흐림 현상이 발생한다.
따라서, 본 발명의 목적은 경계 검출을 위한 적응적 필터를 이용하여 영상의 업샘플링 성능과 영상 내의 객체 경계의 화질을 더욱 향상시키는 영상 처리 장치 및 그 방법을 제공하는 데 있다.
상기와 같은 목적을 달성하기 위한 본 발명의 일면에 따른 영상 처리 방법은
동일한 객체를 촬영하여 획득한 주 영상과 부 영상의 공분산값을 계산하여 정규화한 정규화 공분산값에 기초하여 상기 주 영상과 부 영상의 공통 경계 영역과 상기 공통 경계 영역을 제외한 평탄 영역을 구분하는 과정 및 상기 평탄 영역에는 양방향 필터(Bilateral Filter)를 적용하여 상기 주 영상의 평탄 영역을 보정하고, 상기 공통 경계 영역에는 결합형 양방향 필터(Joint Bilateral Filter)를 이용한 지역 최소화 필터를 적용하여 상기 주영상의 상기 공통 경계 영역을 보정하는 과정을 포함한다. 상기 영상 처리 방법에서, 상기 주 영상의 공통 경계 영역을 보정하는 과정은 상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 후보 화소들 중 어느 하나의 후보 화소의 화소값을 상기 표적 화소의 화소값으로 보정하는 것을 특징으로 한다. 또한 상기 영상 처리 방법에선, 제1항에 있어서, 상기 주 영상의 공통 경계 영역을 보정하는 과정은 상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이를 이용하여 상기 후보 화소들의 화소값 중 어느 하나의 후보 화소의 화소값을 선정하고, 상기 표적 화소의 화소값을 상기 선정된 어느 하나의 후보 화소의 화소값으로 보정하는 것을 특징으로 한다. 여기서, 상기 선정된 어느 하나의 후보 화소의 화소값은, 상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이가 가장 작은 후보 화소의 화소값인 것을 특징으로 한다.
본 발명의 다른 일면에 따른 영상 처리 장치는, 동일한 객체를 촬영하여 주 영상과 부 영상을 획득하는 영상 획득부와, 획득한 상기 주 영상과 부 영상의 공분산값을 계산하여 정규화한 정규화 공분산값에 기초하여 상기 주 영상과 부 영상의 공통 경계 영역과 상기 공통 경계 영역을 제외한 평탄 영역을 구분하는 공통 경계 분석부와, 양방향 필터링(Bilateral Filtering) 방식을 이용하여 상기 주영상의 평탄 영역을 보정하는 양방향 필터부 및 결합형 양방향 필터링(Joint Bilateral Filtering) 방식을 이용하여 상기 주영상의 공통 경계 영역을 보정하는 지역 최소화 필터부를 포함한다.
본 발명에 의하면, 평탄 영역과 경계 영역에서 서로 다른 필터를 적응적으로 적용함으로써, 객체 경계가 뚜렷한 고해상도 영상을 획득할 수 있으며, 고해상도 영상을 필요로 하는 다양한 응용 분야에 해당 기술이 활용될 수 있다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보여주는 블록도이다.
도 2는 도 1에 도시된 경계 적응적 필터부의 구성을 보여주는 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 지역 최소화 필터의 필터링 과정을 설명하기 위한 예시도이다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 영상 처리 장치에 따라 영상의 화질이 개선된 예를 보여주는 도면들이다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 보여주는 순서도이다.
본 발명은 영상 내의 객체 경계에 적응적인 필터를 적용하는 방법을 제공한다. 전술한 바와 같이, 기존의 영상 업샘플링 방법은 필터 커널 내에 존재하는 주변 화소값을 이용해서 Gaussian 가중합을 계산하기 때문에 경계 영역에서 종종 흐림 현상이 발생한다. 따라서, 본 발명에서는 평탄 영역에 대해서는 양방향 필터를 적용하고, 경계 영역에 대해서는 필터 커널 내부의 화소값 가운데 하나를 취하는 지역 최소화 필터를 적용한다. 이렇게 함으로써, 객체 경계가 뚜렷한 고해상도 영상을 획득할 수 있으며, 고해상도 영상을 필요로 하는 다양한 응용 분야에 해당 기술이 활용될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시 예에 대해 상세히 설명하기로 한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시 예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보여주는 블록도이다.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 영상 처리 장치(300)는 영상 획득부(100)와 경계 적응적 필터부(200)를 포함한다.
영상 획득부(100)는 동일한 객체를 촬영하여 주 영상(D)과 부 영상(I)을 획득하는 구성으로서, 여기서, 상기 부 영상(I)은 상기 주 영상(D)의 화질을 개선하기 위해 사용되는 보조 또는 참조 영상으로서 기능하며, 특별히 한정하는 것은 아니며, 상기 주 영상(D)은 깊이 영상(depth image)이고, 상기 부 영상(I)은 상기 깊이 영상 보다 해상도가 높은 색상 영상(color image)으로 가정한다. 이에 상기 영상 획득부(100)는 상기 깊이 영상(D)을 획득하는 깊이 카메라(110)와 상기 색상 영상을 획득하는 색상 카메라(120)를 포함할 수 있다. 여기서, 상기 깊이 카메라(110)는 깊이 영상(depth image)를 출력하는 영상센서이며 스테레오카메라, 구조광방식 3D 카메라, TOF(Time-Of-Flight) 3D 카메라 등 다양한 방식의 영상센서기술이 사용될 수 있다. 상기 색상 카메라(120)은 RGB 대역의 컬러영상을 출력하는 카메라뿐만 아니라 흑백영상 카메라, IR대역 카메라, 다중대역 카메라 등 단일 또는 복수의 특정대역의 영상정보를 출력할 수 있는 카메라라면 특별히 제한하지 않는다.
경계 적응적 필터부(200)는 상기 영상 획득부(100)로부터 깊이 영상(D)과 색상 영상(I)을 입력받고, 상기 깊이 영상(D)과 상기 색상 영상(I)의 공통 경계 영역과 평탄 영역(homogeneous region)으로 구분하고, 구분된 각 영역에 서로 다른 필터를 적용하여 상기 깊이 영상(D)의 해상도를 향상시킬 뿐만 아니라 영상의 객체 경계가 뚜렷하게 보정되도록 업샘플링 한다. 이하, 도 2를 참조하여 상기 경계 적응적 필터부(200)에 대해 상세히 설명하기로 한다.
도 2는 도 1에 도시된 경계 적응적 필터부의 구성을 보여주는 블록도이다.
도 2를 참조하면, 본 발명의 일 실시 예에 따른 경계 적응적 필터부(200)는 상기 깊이 영상(D)과 상기 색상 영상(I)의 공통 경계 영역(이하, 경계 영역이라 한다.)과 평탄 영역을 탐색(또는 구분)하는 공통 경계 분석부(210)와, 양방향 필터(Bilateral Filter: BF)를 적용하여 탐색된 깊이 영상(D)의 평탄 영역을 보정(필터링 또는 업샘플링)하고, 결합형 양방향 필터(Joint Bilateral Filter)를 이용한 지역 최소화 필터를 적용하여 탐색된 깊이 영상의 경계 영역을 보정(필터링 또는 업샘플링)하는 적응적 필터부(220)를 포함한다.
더욱 상세하게는, 상기 공통 경계 분석부(210)는 공분산값 계산부(212), 비교부(214) 및 영역 분석부(216)를 포함한다. 상기 공분산값 계산부(212)는 색상 영상과 깊이 영상의 공분산(covariance)을 계산하고, 계산된 공분산을 정규화한 정규화 공분산값(또는 정규화 공분산맵)을 산출한다. 상기 비교부(214)는 상기 공분산값 계산부(212)에 의해 산출된 정규화 공분산값과 임계값(ThD)을 비교한다. 상기 영역 분석부(216)는 상기 비교부(214)의 비교 결과에 기초해 깊이 영상(D)과 색상 영상(I)의 경계 영역 및 평탄 영역을 구분한다. 예컨대, 상기 영역 분석부(216)는 상기 비교부(214)의 비교 결과, 상기 임계값(ThD)보다 큰 정규화 공분산값에 해당하는 깊이 영상(D1)의 영역을 평탄 영역으로 인지하고, 상기 임계값(ThD)보다 작은 정규화 공분산값에 해당하는 깊이 영상(D2)의 영역을 경계 영역으로 인지한다.
적응적 필터부(220)는 양방향 필터(222)와 지역 최소화 필터(224)를 포함한다. 양방향 필터(222)는 상기 공통 경계 분석부(210)의 영역 분석부(216)로부터 평탄 영역의 깊이 영상(D1)을 전달받고, 상기 평탄 영역에 양방향 필터링 방식을 이용하여 상기 깊이 영상의 평탄 영역을 보정(필터링 또는 업샘플링)한다. 상기 지역 최소화 필터(224)는 상기 공통 경계 분석부(210)의 영역 분석부(216)로부터 경계 영역의 깊이 영상(D2)과 색상 영상(I)을 전달받고, 상기 경계 영역에 본 발명에 따른 지역 최소화 필터링 방식을 이용하여 상기 깊이 영상(D2)의 경계 영역을 보정(필터링 또는 업샘플링)한다.
이하, 도 1 및 도 2를 참조하여 본 발명의 일 실시 예에 따른 영상 처리 방법에 대해 상세히 설명하기로 한다.
앞서 설명한 바와 같이, 공통 경계 분석부(210)에서 저해상도 주영상과 부영상의 공분산을 계산하고 정규화하여 얻은 정규화 공분산값(정규화 공분산맵)은 임계값(ThD)을 통해 경계 영역과 평탄 영역으로 나누어진다. 공통 경계 분석부(210)에 따라 나누어진 두 종류에 영역에 대해 각각 다른 종류의 필터가 적용되는데 이를 수식으로 표현하면 아래의 수학식 1과 같다.
Figure 112013120741609-pat00001
여기서 σD 2는 공분산맵을 나타내며, ThD는 임계값을 나타낸다.
상기 수학식 1에서 볼 수 있듯이, 정규화 공분산값이 임계값보다 클 경우에는 깊이 영상의 해당 화소 영역을 경계 영역으로 인지하고, 결합형 양방향 필터를 사용하는 지역 최소화 필터(224)를 적용하고 그 외의 경우에는 양방향 필터를 적용한다.
지역 최소화 필터는 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널을 정의할 때, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 화소들을 후보 화소들로 설정하고, 이 후보 화소들의 화소값과 이 후보 화소들의 화소값에 대한 결합형 양방향 필터의 출력값과의 차이가 최소화 될 때의 후보 화소의 화소값을 출력한다. 즉, 본 발명에서 제공하는 지역 최소화 필터는 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 후보 화소들 중 어느 하나의 후보 화소의 화소값을 상기 표적 화소의 화소값으로 보정(필터링 또는 업샘플링)하는 것으로 이해될 수 있다.
본 발명에서는 경계 영역에서는 결합형 양방향 필터를 사용한 지역 최소화 필터를 적용하고, 평탄 영역에서는 양방향 필터를 적용하는데, 결합형 양방향 필터는 아래의 수학식 2로, 양방향 필터는 아래의 수학식 3으로 정의될 수 있다.
Figure 112013120741609-pat00002
Figure 112013120741609-pat00003
여기서 p, q는 각각 표적 화소와 주변 화소, D, I는 각각 주 영상(깊이 영상)과 부 영상(색상 영상)을 나타내며, f(), g()는 각각 Gaussian 분포를 사용하는 공간 필터와 범위 필터를 나타낸다. 그리고, kp는 정규화 상수이다.
이하, 도 3을 참조하여 지역 최소화 필터의 필터링 과정에 대해 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시 예에 따른 지역 최소화 필터의 필터링 과정을 설명하기 위한 예시도이다.
도 3에서는 색상 영상은 하늘색과 주황색으로 구분되는 매트릭스 형태의 블록으로 가정하고, 깊이 영상은 각 블록 내의 동그라미로 가정한다. 이때, 색상 영상의 하늘색 영역에서 회색으로 음영 처리된 동그라미는 하늘색 영역에 대응하는 깊이 영상의 화소값들이고, 색상 영상의 주황색 영역에서 검은색으로 음영 처리된 동그라미는 주황색 영역에 대응하는 깊이 영상의 화소값들이다. 그리고, 동그라미가 표시되지 않은 블록들은 화소값이 비어 있는 화소 영역들이다. 필터링 과정은 상기 비어 있는 화소 영역들을 화소값들로 채우는 과정으로 볼 수 있으며, 특히 본 발명의 지역 최소화 필터의 필터링 과정은 새로운 화소값을 계산하여 상기 비어 있는 화소들의 화소값으로 보정(필터링 또는 업샘플링)하는 것이 아니라 필터 커널 내에서 화소값을 갖는 후보 화소들 중 어느 하나의 화소를 선정하여 선정된 화소의 화소값을 그대로 비어 있는 화소들의 화소값으로 보정하는 것이다.
구체적으로, 도 3에서는 5 x 5의 크기의 필터 커널(32)이 예시되다. 이때, 도 5의 실시 예에서는 상기 필터 커널(32) 내에는 화소값을 갖는 유효한 4개의 후보 화소들이 존재하며, 이들이 후보 화소들로 선정된다. 그러면, 이 4개의 후보 화소들의 화소값에 대한 결합형 양방향 필터의 출력값과 이 4개의 화소들의 화소값 간의 차이를 각각 비교한 다음, 차이가 가장 작은 후보 화소의 화소값(또는 깊이값)을 지역 최소화 필터의 필터 출력값으로서 출력하고, 이 후보 화소의 화소값을 필터 커널(32) 내의 표적 화소(30)의 화소값으로 보정(필터링 또는 업샘플링)하는 것이다. 결과적으로 도 3의 실시 예에서의 표적 화소(30)는 회색으로 음영 처리된 화소값 밑 검은색으로 음영 처리된 화소값 중 어느 하나의 화소값(깊이값)으로 보정(필터링 또는 업샘플링)된다.
도 4 및 도 5는 본 발명의 일 실시 예에 따른 영상 처리 장치에 따라 영상의 화질이 개선된 예를 보여주는 도면들로서, 도 4는 영상 업샘플링 과정에 적용한 경우에서의 향상된 화질을 보여주는 예이고, 도 5는 영상 필터링 과정에 적용한 경우에서의 향상된 화질을 보여주는 예이다.
도 4에서 볼 수 있듯이, 본 발명의 일 실시 예에 따른 영상 처리 장치가 저해상도의 주 영상(깊이 영상)과 고해상도의 부 영상(색상 영상)을 입력으로 받은 경우, 고해상도의 깊이 영상을 획득할 수 있음을 알 수 있다.
또한, 도 5에서 볼 수 있듯이, 동일한 해상도의 주 영상(깊이 영상) 및 부 영상(색상 영상)을 입력으로 받은 경우, 출력되는 깊이 영상 내 객체 경계의 화질이 필터링 전의 주 영상 보다 필터링 후의 주 영상에서 뚜렷하게 개선될 수 있음을 알 수 있다.
도 6은 본 발명의 일 실시 예에 따른 영상 처리 방법을 보여주는 순서도이다.
도 6을 참조하면, 먼저, S610에서, 깊이 영상과 색상 영상의 공통 경계 영역을 분석하는 과정이 수행되는데, 구체적으로, 동일한 객체를 촬영하여 획득한 주 영상과 부 영상의 공분산값을 계산하여 정규화한 정규화 공분산값에 기초하여 상기 깊이 영상과 색상 영상의 공통 경계 영역과 상기 공통 경계 영역을 제외한 평탄 영역을 구분한다. 이때, 상기 정규화 공분산값과 기 설정된 임계값을 비교하여 상기 깊이 영상의 공통 경계 영역과 평탄 영역이 구분된다.
이어, S620에서, 상기 S610에서의 분석 결과, 상기 깊이 영상의 해당 영역이 평탄 영역인 것으로 인지되면, S630으로 진행되고, 평탄 영역이 아닌 경계 영역으로 인지되면, S640으로 진행된다.
S630에서, 양방향 필터링(Bilateral Filtering) 방식을 이용하여 상기 깊이 영상의 평탄 영역을 보정(필터링 또는 업샘플링)하는 과정이 수행되고, S640에서 결합형 양방향 필터링(Joint Bilateral Filtering) 방식을 이용하여 깊이 영상의 경계 영역을 보정(필터링 또는 업샘플링)하는 과정이 수행된다.
이후, 상기 과정들 S630과 S640을 통해 보정된 평탄 영역과 경계 영역을 포함하는 고해상도의 깊이 영상이 출력된다.
이상의 설명을 요약하면, 첫 번째로 주 영상과 부 영상에 대한 정규화 공분산값(정규화 공분산맵)을 계산하고, 정규화 공분산값은 객체의 공통 경계 부근에서는 큰 값을 가지기 때문에 영상을 경계 영역과 평탄 영역으로 나눌 수 있다. 그런 다음 공통 경계 영역에는 지역 최소화 필터, 평탄 영역에는 양방향 필터를 적응적으로 적용해서 객체 경계가 뚜렷한 영상으로 업샘플링 및 필터링 한다.
이상 설명한 바와 같이, 본 명세서를 통해 개시된 모든 실시예들과 조건부 예시들은, 본 발명의 기술 분야에서 통상의 지식을 가진 당업자가 독자가 본 발명의 원리와 개념을 이해하도록 돕기 위한 의도로 기술된 것으로, 당업자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (11)

  1. 동일한 객체를 촬영하여 획득한 주 영상과 부 영상의 공분산값을 계산하여 정규화한 정규화 공분산값에 기초하여 상기 주 영상과 부 영상의 공통 경계 영역과 상기 공통 경계 영역을 제외한 평탄 영역을 구분하는 과정; 및
    상기 평탄 영역에는 양방향 필터(Bilateral Filter)를 적용하여 상기 주 영상의 평탄 영역을 보정하고, 상기 공통 경계 영역에는 결합형 양방향 필터(Joint Bilateral Filter)를 이용한 지역 최소화 필터를 적용하여 상기 주영상의 상기 공통 경계 영역을 보정하는 과정을 포함하고,
    상기 주 영상의 공통 경계 영역을 보정하는 과정은,
    상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 후보 화소들 중 어느 하나의 후보 화소의 화소값을 상기 표적 화소의 화소값으로 보정하는 것인 경계 적응적 필터를 이용한 영상 처리 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 주 영상의 공통 경계 영역을 보정하는 과정은,
    상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이를 이용하여 상기 후보 화소들의 화소값 중 어느 하나의 후보 화소의 화소값을 선정하고, 상기 표적 화소의 화소값을 상기 선정된 어느 하나의 후보 화소의 화소값으로 보정하는 것인 경계 적응적 필터를 이용한 영상 처리 방법.
  4. 제3항에 있어서, 상기 선정된 어느 하나의 후보 화소의 화소값은,
    상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이가 가장 작은 후보 화소의 화소값인 것인 경계 적응적 필터를 이용한 영상 처리 방법.
  5. 제1항에 있어서, 상기 평탄 영역을 구분하는 과정은,
    상기 정규화 공분산값과 기설정된 임계값을 비교하여 상기 주 영상과 부 영상의 공통 경계 영역과 평탄 영역을 구분하는 것인 경계 적응적 필터를 이용한 영상 처리 방법.
  6. 동일한 객체를 촬영하여 주 영상과 부 영상을 획득하는 영상 획득부;
    획득한 상기 주 영상과 부 영상의 공분산값을 계산하여 정규화한 정규화 공분산값에 기초하여 상기 주 영상과 부 영상의 공통 경계 영역과 상기 공통 경계 영역을 제외한 평탄 영역을 구분하는 공통 경계 분석부;
    양방향 필터링(Bilateral Filtering) 방식을 이용하여 상기 주영상의 평탄 영역을 보정하는 양방향 필터부; 및
    결합형 양방향 필터링(Joint Bilateral Filtering) 방식을 이용하여 상기 주영상의 공통 경계 영역을 보정하는 지역 최소화 필터부를 포함하고,
    상기 지역 최소화 필터부는,
    상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 후보 화소들 중 어느 하나의 후보 화소의 화소값을 상기 표적 화소의 화소값으로 보정하는 것인 영상 처리 장치.
  7. 제6항에 있어서, 상기 공통 경계 분석부는,
    상기 정규화 공분산값과 기 설정된 임계값을 비교하여 상기 주 영상과 부 영상의 공통 경계 영역과 평탄 영역을 구분하는 것인 영상 처리 장치.
  8. 삭제
  9. 제6항에 있어서, 상기 지역 최소화 필터부는,
    상기 공통 경계 영역에서 화소값이 비어 있는 표적 화소를 중심으로 일정 크기의 필터 커널이 정의되고, 상기 필터 커널 내에서 상기 표적 화소의 주변을 둘러싸는 상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이를 이용하여 상기 후보 화소들의 화소값 중 어느 하나의 후보 화소의 화소값을 선정하고, 상기 표적 화소의 화소값을 상기 선정된 어느 하나의 후보 화소의 화소값으로 보정하는 것인 영상 처리 장치.
  10. 제9항에 있어서, 상기 지역 최소화 필터부는,
    상기 후보 화소들의 화소값과 상기 후보 화소들의 화소값을 상기 결합형 양방향 필터를 이용하여 필터링한 결과값 간의 차이가 가장 작은 후보 화소의 화소값을 상기 어느 하나의 후보 화소의 화소값으로 선정하는 것인 영상 처리 장치.
  11. 제6항 내지 제10항 중 어느 한 항에 있어서, 상기 주 영상은 깊이 카메라를 통해 촬영된 깊이 영상이고, 상기 부 영상은 컬러 카메라를 통해 촬영된 색상 영상인 것인 영상 처리 장치.
KR1020130167508A 2013-12-30 2013-12-30 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법 KR101532686B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130167508A KR101532686B1 (ko) 2013-12-30 2013-12-30 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130167508A KR101532686B1 (ko) 2013-12-30 2013-12-30 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101532686B1 true KR101532686B1 (ko) 2015-07-09

Family

ID=53792273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130167508A KR101532686B1 (ko) 2013-12-30 2013-12-30 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101532686B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
KR20130091500A (ko) * 2012-02-08 2013-08-19 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR20130105969A (ko) * 2012-03-19 2013-09-27 한국전자통신연구원 깊이 영상 필터링 방법 및 그 장치
KR101336139B1 (ko) * 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
KR20130091500A (ko) * 2012-02-08 2013-08-19 삼성전자주식회사 깊이 영상 처리 장치 및 방법
KR20130105969A (ko) * 2012-03-19 2013-09-27 한국전자통신연구원 깊이 영상 필터링 방법 및 그 장치
KR101336139B1 (ko) * 2012-06-11 2013-12-05 동의대학교 산학협력단 깊이 카메라를 이용한 움직임 추정 시스템 및 방법

Similar Documents

Publication Publication Date Title
US20230419437A1 (en) Systems and methods for fusing images
EP3158532B1 (en) Local adaptive histogram equalization
EP3025302B1 (en) System and method of correcting image artifacts
CN104683767B (zh) 透雾图像生成方法及装置
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
EP3016383B1 (en) Method, device, and system for pre-processing a video stream for subsequent motion detection processing
US10762664B2 (en) Multi-camera processor with feature matching
EP2466901B1 (en) Depth data upsampling
KR101812341B1 (ko) 이미지의 에지 향상 방법
JP5810314B2 (ja) ステレオ画像処理装置およびステレオ画像処理方法
CN108389215B (zh) 一种边缘检测方法、装置、计算机存储介质及终端
US20230127009A1 (en) Joint objects image signal processing in temporal domain
CN112712536B (zh) 图像处理方法、芯片及电子装置
US9860456B1 (en) Bayer-clear image fusion for dual camera
KR20170107269A (ko) Rgbd 카메라의 깊이 영상 필터링 장치 및 방법
EP2765532A2 (en) Object detection apparatus, program, and integrated circuit
EP2466903B1 (en) A method and device for disparity range detection
CN112241668A (zh) 图像处理方法、装置及设备
KR101578029B1 (ko) 영상 왜곡 보정 장치 및 방법
KR101532686B1 (ko) 경계 적응적 필터를 이용한 영상 처리 장치 및 그 방법
US9245184B2 (en) Object detection apparatus and storage medium
CN115460348B (zh) 对焦清晰度检测方法及装置、存储介质和电子设备
WO2013034878A2 (en) Image processing
CN111630569A (zh) 双目匹配的方法、视觉成像装置及具有存储功能的装置
CN117437140A (zh) 基于低照度的红外和可见光图像的双目检测方法及系统

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 5