KR102044626B1 - 학습을 이용한 조인트 필터링 장치 및 방법 - Google Patents

학습을 이용한 조인트 필터링 장치 및 방법 Download PDF

Info

Publication number
KR102044626B1
KR102044626B1 KR1020180047890A KR20180047890A KR102044626B1 KR 102044626 B1 KR102044626 B1 KR 102044626B1 KR 1020180047890 A KR1020180047890 A KR 1020180047890A KR 20180047890 A KR20180047890 A KR 20180047890A KR 102044626 B1 KR102044626 B1 KR 102044626B1
Authority
KR
South Korea
Prior art keywords
offset
feature information
weight
target image
image
Prior art date
Application number
KR1020180047890A
Other languages
English (en)
Other versions
KR20190123946A (ko
Inventor
함범섭
김범준
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180047890A priority Critical patent/KR102044626B1/ko
Publication of KR20190123946A publication Critical patent/KR20190123946A/ko
Application granted granted Critical
Publication of KR102044626B1 publication Critical patent/KR102044626B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G06T5/002—
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

학습을 이용한 조인트 필터링 장치 및 방법이 개시된다. 개시된 장치는, 가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 장치로서, 상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제1 특징 정보 출력 네트워크; 상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제2 특징 정보 출력 네트워크; 상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 가중치/오프셋 연산부; 상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 가중치/오프셋 적용부를 포함하되, 상기 제1 특징 정보 출력 네트워크 및 상기 제2 특징 정보 출력 네트워크는 학습에 의해 형성된다. 개시된 장치 및 방법에 의하면, 블러 현상의 발생을 방지하면서 중요한 필터링 영역에 대한 확인이 가능한 장점이 있다.

Description

학습을 이용한 조인트 필터링 장치 및 방법{Joint Filtering Device and Method Using Learning}
본 발명은 조인트 필터링 장치 및 방법에 관한 것으로서, 더욱 상세하게는 학습을 이용한 조인트 필터링 장치 및 방법에 관한 것이다.
조인트 필터링은 가이드 영상을 이용하여 타겟 영상을 보정하는 필터링을 의미한다. 조인트 필터링은 다양한 용도로 사용되고 있으며, 예를 들어, 저해상도 깊이 맵의 업샘플링, 텍스처 제거, 스케일-스페이스 필터링 등에 이용되고 있다.
종래에 있어서, 이러한 조인트 필터링은 수식 기반 커널을 이용하는 방식과 최적화 기반 방식이 있다.
수식 기반 커널 방식은 이미지의 각 픽셀 및 이와 인접한 주변 픽셀에 대해 필터링 가중치를 적용하여 가중치 평균을 통해 필터링을 수행하는 방식이다. 이러한 수식 기반 커널 방식은 타겟 이미지와 가이드 이미지에서 다른 경우 양호하지 않은 필터링이 이루어지는 문제점이 있었다.
최적화 기반 방식은 인접한 픽셀뿐만 아니라 이미지 전체의 구조적인 특징을 반영하여 필터링을 수행하는 방식이다. 그러나, 이러한 최적화 기반 방식은 역행렬 계산을 통해 필터링을 수행하므로 수행 시간이 오래 걸리는 문제점이 있었다.
한편, 대용량 데이터를 사용하여 CNN과 같은 딥러닝 네트워크에 의해 조인트 필터링에 의한 픽셀값을 추론하는 방식이 제안되었다. 학습을 이용한 조인트 필터링은 타겟 이미지와 가이드 이미지의 변화 정도가 다른 경우에도 텍스쳐가 복사되지 않고 필터링이 가능한 장점이 있었다.
그러나, 종래의 학습에 의한 조인트 필터링은 필터링 과정에서 어떠한 영역이 중요하게 설정되어 필터링이 이루어졌는지 알 수 없으며 특정 경우에는 영상이 희미해지는 블러(Blur) 현상이 발생하는 문제점이 있었다.
본 발명은 블러 현상의 발생을 방지하면서 중요한 필터링 영역에 대한 확인이 가능한 학습을 이용한 조인트 필터링 방법을 제안한다.
상기한 목적을 달성하기 위해 본 발명의 일 실시예에 따르면, 가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 장치로서, 상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제1 특징 정보 출력 네트워크; 상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제2 특징 정보 출력 네트워크; 상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 가중치/오프셋 연산부; 상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 가중치/오프셋 적용부를 포함하되, 상기 제1 특징 정보 출력 네트워크 및 상기 제2 특징 정보 출력 네트워크는 학습에 의해 형성되는 네트워크인 조인트 필터링 장치가 제공된다.
상기 오프셋은 상기 가중치 윈도우와 곱해질 상기 타겟 영상의 타겟 픽셀에 대한 주변 픽셀을 정의하는 윈도우 내의 각 픽셀의 이동 거리 정보이다.
상기 타겟 영상 및 가이드 영상의 가중치 특징 정보는 N2의 사이즈를 가지는 벡터이고, 상기 타겟 영상 및 가이드 영상의 오프셋 특징 정보는 2N2의 사이즈를 가지는 벡터이다.
상기 가중치/오프셋 연산부는 상기 타겟 영상의 가중치 특징 정보와 상기 가이드 영상의 가이드 특징 정보 각각에 시그모이드(Sigmoid) 연산을 수행한 값들에 대한 엘리먼트 와이즈 곱셉(Element Wise Multiplication)에 의해 상기 가중치를 연산한다.
상기 가중치/오프셋 연산부는 상기 엘리먼트 와이즈 곱셈 결과에 대한 평균 차감(Mean Substraction)을 추가적으로 적용하여 상기 가중치를 연산한다.
상기 가중치/오프셋 연산부는 상기 가이드 영상의 오프셋 특징 정보와 상기 타겟 영상의 오프셋 특징 정보에 대한 엘리먼트 와이즈 곱셈에 의해 상기 오프셋을 연산한다.
상기 가중치/오프셋 적용부는 상기 연산된 오프셋에 기초하여 상기 가중치 윈도우에 적용될 상기 타겟 영상의 픽셀을 결정하는 샘플러를 포함한다.
상기 가중치/오프셋 적용부는 상기 샘플러에 의해 결정된 상기 타겟 영상의 픽셀을 상기 가중치 윈도우에 적용하여 잔류 영상을 생성하고, 상기 생성된 잔류 영상을 상기 타겟 영상에 합산하여 보정된 타겟 영상을 생성한다
본 발명의 다른 측면에 따르면, 가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 방법으로서, 상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(a); 상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(b); 상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 단계(c); 상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 단계(d)를 포함하되, 상기 단계(a) 및 (b)는 학습에 의해 형성되는 네트워크를 통해 상기 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보와 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 조인트 필터링 방법이 제공된다.
본 발명의 학습을 이용한 조인트 필터링 방법에 의하면, 블러 현상의 발생을 방지하면서 중요한 필터링 영역에 대한 확인이 가능한 장점이 있다.
도 1은 본 발명의 일 실시에에 따른 학습을 이용한 조인트 필터링 장치의 개념적 구조를 도시한 블록도.
도 2는 본 발명에서 오프셋 개념이 적용되지 않을 경우 가중치 윈도우와 곱해지는 타겟 영상의 픽셀값을 나타낸 도면.
도 3은 본 발명의 오프셋 개념이 적용될 경우 가중치 윈도우에 곱해지는 타겟 영상의 픽셀을 나타낸 도면.
도 4는 본 발명의 일 실시예에 따른 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크의 상세 구조를 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 가중치/오프셋 연산부의 개념적 구조를 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 가중치/오프셋 연산부의 개념적 구조를 도시한 도면
도 7은 본 발명의 일 실시예에 따른 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크의 학습 구조를 나타낸 도면.
도 8은 본 발명의 일 실시예에 따른 학습을 이용한 조인트 필터링 방법의 전체적인 흐름을 나타낸 순서도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시에에 따른 학습을 이용한 조인트 필터링 장치의 개념적 구조를 도시한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 학습을 이용한 조인트 필터링 장치는 제1 특징 정보 출력 네트워크(100), 제2 특징 정보 출력 네트워크(110), 가중치/오프셋 연산부(120) 및 가중치/오프셋 적용부(130)를 포함한다.
제1 특징 정보 출력 네트워크(100)는 학습에 의해 형성되는 네트워크로서 가이드 영상이 입력되며 가이드 영상에 대한 특징 정보를 출력한다. 가이드 영상에 대한 특징 정보는 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보를 포함한다. 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보는 가중치/오프셋 연산부(120)에서 가중치 및 오프셋을 연산하는 기초 정보로 사용된다.
제1 특징 정보 출력 네트워크(100)는 필터를 이용하여 컨볼루션에 의해 특징 정보를 출력하는 CNN(Convolutional Neural Network)일 수 있다. 그러나, 제1 특징 정보 출력 네트워크가 CNN에 한정되는 것은 아니며, 다양한 형태의 학습 네트워크가 제1 특징 정보 출력 네트워크(100)로 사용될 수 있다는 점은 당업자에게 있어 자명할 것이다.
제1 특징 정보 출력 네트워크(100)로 입력되는 가이드 영상은 타겟 영상의 보정을 위해 사용되는 영상으로서 일례로 고해상도의 컬러 이미지 영상일 수 있다.
제2 특징 정보 출력 네트워크(110)는 역시 학습에 의해 형성되는 네트워크로서 타겟 영상이 입력되며 타겟 영상에 대한 특징 정보를 출력한다. 타겟 영상에 대한 특징 정보는 타겟 영상의 가중치 특징 정보와 오프셋 특징 정보를 포함한다. 타겟 영상의 가중치 특징 정보와 오프셋 특징 정보는 가중치/오프셋 연산부(120)에서 가중치 및 오프셋을 연산하는 기초 정보로 사용된다.
제2 특징 정보 출력 네트워크(110)는 역시 필터를 이용하여 컨볼루션에 의해 특징 정보를 출력하는 CNN(Convolutional Neural Network)일 수 있다. 그러나, 제2 특징 정보 출력 네트워크가 CNN에 한정되지는 않는다.
제2 특징 정보 출력 네트워크(110)로 입력되는 타겟 영상은 보정 대상 영상으로서, 일례로 저해상도의 깊이 맵 영상일 수 있다.
타겟 영상의 가중치 특징 정보와 가이드 영상의 가중치 특징 정보는 1차원 벡터(매트릭스)의 형태를 가질 수 있으며, 타겟 영상의 오프셋 특징 정보와 가이드 영상의 오프셋 특징 정보 역시 1차원 벡터(매트릭스)의 형태를 가질 수 있다. 다만, 가중치 특징 정보와 오프셋 특징 정보는 서로 다른 사이즈를 가지게 된다.
가중치/오프셋 연산부(120)는 제1 특징 정보 출력 네트워크(100) 및 제2 특징 정보 출력 네트워크(110)로부터 출력되는 가이드 영상에 대한 특징 정보와 타겟 영상에 대한 특징 정보를 이용하여 가중치 및 오프셋을 연산한다.
가중치/오프셋 연산부(120)의 동작을 살펴보기에 앞서 가중치와 오프셋의 개념에 대해 먼저 설명한다. 본 발명의 조인트 필터링은 타겟 영상 및 가이드 영상을 이용하여 타겟 영상을 보정하는 필터링을 의미한다. 본 발명에서 가중치는 타겟 영상의 보정을 위해 타겟 영상에 곱해지는 가중치 윈도우에 적용되는 값을 의미한다.
한편, 가중치 윈도우에는 타겟 영상의 타겟 픽셀과 타겟 픽셀의 주변 픽셀이 곱해진다. 예를 들어, 가중치 윈도우의 사이즈가 3 X 3일 경우, 타겟 픽셀을 중심으로 타겟 영상의 3 X 3 사이즈의 주변 픽셀들이 가중치 윈도우에 곱해지는 것이다. 따라서, 가중치 윈도우의 사이즈와 주변 픽셀을 정의하는 윈도우의 사이즈는 동일하다.
가중치 윈도우 및 주변 픽셀을 정의하는 윈도우의 사이즈가 클수록 더 정확한 조인트 필터링이 이루어질 수는 있으나 조인트 필터링의 연산 속도는 더 늘어나는 트레이드-오프 관계가 있다. 가중치 윈도우의 사이즈 및 주변 픽셀을 정의하는 윈도우의 사이즈는 이러한 트레이드-오프 관계를 고려하여 사전에 미리 설정된다.
본 발명은 한정된 사이즈를 가지는 주변 픽셀을 정의하는 윈도우 내에 보다 중요한 정보를 가지는 픽셀들이 포함될 수 있도록 오프셋이라는 개념을 제시한다. 3 X 3의 주변 픽셀을 정의 윈도우에 비해 15 X 15의 주변 픽셀을 정의하는 윈도우가 더 정확한 결과를 제시할 수 있는 것은 15 X 15의 주변 픽셀 내에 중요한 정보를 가지는 픽셀들이 더 많이 포함될 가능성이 높기 때문이다.
본 발명은 한정된 사이즈를 가지는 윈도우 내에 중요한 정보들을 가지는 픽셀들이 최대한 많이 포함되도록 주변 픽셀의 이동 정도를 나타내는 오프셋이라는 개념을 도입한다. 예를 들어, 주변 픽셀을 정의하는 윈도우 내에 포함되는 주변 픽셀 좌표 중 하나를 q1이라고 정의하며, 만약 오프셋 개념이 없으면 q1 좌표의 픽셀값이 가중치 윈도우에 곱해진다. 본 발명에서는 q1 좌표의 픽셀값을 그대로 가져오는 것이 아니라 q1 좌표로부터 오프셋만큼 이동한 좌표의 픽셀값을 가져오도록 오프셋이 설정된다. 예를 들어, q1좌표에 대한 오프셋을 Δq1이라고 할 때 q1+Δq1상응하는 좌표의 픽셀값을 q1 좌표 대신 가중치 윈도우에 곱해지도록 한다.
도 2는 본 발명에서 오프셋 개념이 적용되지 않을 경우 가중치 윈도우와 곱해지는 타겟 영상의 픽셀값을 나타낸 도면이다.
도 2에는 3 X 3의 사이즈를 가지는 가중치 윈도우(200)가 도시되어 있으며, 가중치 윈도우는 타겟 픽셀(220)을 중심으로 3 X 3의 영역을 가지는 타겟 영상(210)의 타겟 픽셀 및 주변 픽셀들의 픽셀값에 곱해지게 된다.
도 3은 본 발명의 오프셋 개념이 적용될 경우 가중치 윈도우에 곱해지는 타겟 영상의 픽셀을 나타낸 도면이다.
도 3의 (a)는 주변 픽셀을 정의하는 윈도우 내의 주변 픽셀 및 타겟 픽셀별로 연산된 오프셋을 나타내며, 도 3의 (b)는 연산된 오프셋에 기초하여 가중치 윈도우에 곱해지는 타겟 영상의 픽셀을 나타낸 도면이다.
도 3의 (a)를 참조하면, 주변 픽셀을 정의하는 윈도우 내의 모든 픽셀별로 오프셋이 연산되며, 오프셋은 픽셀로부터의 거리 및 방향 정보를 포함할 수 있다. 픽셀로부터의 거리 및 방향을 나타내기 위해 일례로 오프셋은 [Δx, Δy]의 형태를 가질 수 있다. 여기서 Δx 및 Δy는 주변 픽셀을 정의하는 윈도우 내의 특정 픽셀로부터 떨어진 x축 거리 및 y축 거리를 각각 의미한다.
도 3의 (b)를 참조하면, 윈도의 내의 특정 픽셀로부터 Δx 및 Δy만큼 떨어진 픽셀값을 적용하는 경우를 나타낸 것이다.
만약, 오프셋이 적용되지 않는다면, q1 픽셀(300) 값이 가중치 윈도우와 곱해지게 된다. 그러나, 오프셋이 적용될 경우, 계산된 오프셋만큼 떨어진 픽셀값(302)이 가중치 윈도우에 적용되는 것이다.
물론, 오프셋 데이터의 형태는 Δx 및 Δy의 형태가 아닌 다양한 형태를 가질 수 있다는 점은 당업자에게 있어 자명할 것이다. 픽셀로부터의 거리 및 방향 정보로 오프셋이 표현될 수도 있을 것이다.
도 3의 (b)를 통해 확인되는 바와 같이, 오프셋은 주변 픽셀을 정의하는 윈도우 내의 모든 픽셀별로 계산된다.
다시 도 1을 참조하면, 가중치/오프셋 연산부(120)는 제1 특징 정보 출력 네트워크(100)에서 출력되는 가이드 영상의 가중치 특징 정보와 제2 특징 정보 출력 네트워크에서 출력되는 타겟 영상의 가중치 특징 정보를 이용하여 가중치를 연산한다. 가중치/오프셋 연산부(120)는 가이드 영상의 가중치 특징 정보와 타겟 영상의 가이드 특징 정보의 엘리먼트 와이즈 곱셈(Element Wise Multiplication)을 통해 가중치를 연산한다.
또한, 가중치/오프셋 연산부(120)는 제1 특징 정보 출력 네트워크(100)에서 출력되는 가이드영상의 오프셋 특징 정보와 제2 특징 정보 출력 네트워크(110)에서 출력되는 타겟 영상의 오프셋 특징 정보를 이용하여 오프셋을 연산한다. 가중치/오프셋 연산부(120)는 가이드 영상의 오프셋 특징 정보와 타겟 영상의 오프셋 특징 정보의 엘리먼트 와이즈 곱셈(Element Wise Multiplication)을 통해 오프셋을 연산한다.
가중치/오프셋 적용부(130)는 연산된 가중치 및 오프셋을 타겟 영상에 적용하여 잔류 영상을 생성하고, 잔류 영상과 타겟 영상의 합을 통해 보정된 타겟 영상을 생성한다.
가중치/오프셋 적용부(130)에서의 연산을 수학식으로 표현하면 다음의 수학식 1과 같다.
Figure 112018041126917-pat00001
위 수학식 1에서, Kps(f,g)는 가중치를 의미하고, fs(q)는 오프셋이 반영된 타겟 영상의 픽셀값이며, q는 주변 픽셀을 정의하는 윈도우(N(p)) 내의 픽셀을 의미하고, fp는 타겟 영상을 의미하며,
Figure 112018041126917-pat00002
는 잔류 영상이고,
Figure 112018041126917-pat00003
는 보정된 타겟이다.
도 4는 본 발명의 일 실시예에 따른 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크의 상세 구조를 도시한 도면이다.
도 4를 참조하면, 제1 특징 정보 출력 네트워크(100) 및 제2 특징 정보 출력 네트워크(110)는 다수의 컨볼루선 연산을 통해 가중치 특징 정보 및 오프셋 특징 정보를 출력한다.
컨볼루션 연산에 적용되는 필터의 계수는 반복적인 학습에 의해 결정된다. 제1 특징 정보 출력 네트워크(100)에서 출력되는 가이드 영상의 가중치 특징 정보(400)는 k X k 사이즈의 가중치 윈도우가 사용될 때 k2의 사이즈를 가질 수 있다. 제2 특징 정보 출력 네트워크(110)에서 출력되는 타겟 영상의 가중치 특징 정보(420) 역시 k2의 사이즈를 가질 수 있다.
또한, 제1 특징 정보 출력 네트워크(100)에서 출력되는 가이드 영상의 오프셋 특징 정보(410)는 k X k 사이즈의 가중치 윈도우가 사용될 때 2k2의 사이즈를 가질 수 있다. 제2 특징 정보 출력 네트워크(110)에서 출력되는 타겟 영상의 오프셋 특징 정보(430) 역시 2k2의 사이즈를 가진다. 오프셋 특징 정보가 가중치 특징 정보에 비해 2배의 사이즈를 가지는 것은 각 픽셀 별로 오프셋을 위한 정보(예를 들어 Δx, 및Δy)가 2배 필요하기 때문이다.
제1 특징 정보 출력 네트워크(100) 및 제2 특징 정보 출력 네트워크(110)는 단일 네트워크이나 두 개의 특징 정보(가중치 특징 정보 및 오프셋 특징 정보)를 출력하는데, 이와 같은 두 개의 특징 정보는 네트워크 최후단에 적용되는 필터를 달리함으로써 출력될 수 있다. 네트워크 최후단에는 가중치 특징 정보를 위한 필터와 오프셋 특징 정보를 위한 필터가 구비되고 두 개의 필터의 사이즈는 상이하며, 각각의 필터를 통해 k2 사이즈의 가중치 특징 정보와 2k2 사이즈의 오프셋 특징 정보가 출력된다.
도 5는 본 발명의 일 실시예에 따른 가중치/오프셋 연산부의 개념적 구조를 도시한 도면이다.
도 5를 참조하면, 가이드 영상의 오프셋 특징 정보(410)와 타겟 영상의 오프셋 특징 정보의 엘리먼트 와이즈 곱셈(Element Wise Multiplication)을 통해 오프셋(510)을 연산한다. 2k2의 사이즈를 가지는 변수간 엘리먼트 와이즈 곱셈이기 때문에 오프셋(500) 역시 2k2의 사이즈를 가진다.
가이드 영상의 가중치 특징 정보(400) 및 타겟 영상의 가중치 특징 정보(420)에 대해서는 시그모이드(Sigmoid) 연산이 수행된다. 시그모이드 연산이 수행된 사이드 영상의 가중치 특징 정보(400)와 타겟 영상의 가중치 특징 정보(420)의 엘리먼트 와이즈 곱셈(Element Wise Multiplication)을 수행한다. 여기서, 시그모이드 연산은 정규화 및 부호 전환을 수행할 수 있다.
또한, 엘리먼트 와이즈 곱셈 결과에 대해 평균 차감(Mean Substraction)을 수행한 결과를 가중치(500)로 결정한다. 물론, 필요에 따라 평균 차감 연산 및 시그모이드 연산은 생략될 수도 있을 것이다.
도 6은 본 발명의 일 실시예에 따른 가중치/오프셋 적용부의 개념적 구조를 도시한 도면이다.
도 6을 참조하면, 가중치/오프셋 연산부(120)로부터 연산되는 가중치를 이용하여 가중치 윈도우(610)가 구성된다. 도 6에 도시된 바와 같이, 미리 설정되는 가중치 윈도우의 사이즈가 3 X 3일 경우, k=3이고 9개로 이루어진 가중치를 이용하여 도 6과 같은 가중치 윈도우가 형성된다.
또한, 가중치/오프셋 연산부(120)로부터 연산되는 오프셋을 이용하여 가중치 윈도우의 가중치와 곱해질 픽셀값을 결정한다. 앞서 설명한 바와 같이, 주변 픽셀을 정의하는 윈도우의 픽셀별로 오프셋이 연산되며, 각 픽셀별로 오프셋을 적용하여 가중치와 곱해질 픽셀값을 결정한다. 도 6에서, 픽셀값의 결정은 샘플러(600)에 의해 이루어진다.
예를 들어, 3 X 3 가중치 윈도우에서 (1,1) 좌표 가중치와 곱해질 픽셀값을 결정할 경우, (1,1) 좌표에 상응하는 타겟 영상의 픽셀 좌표 (x, y)에 오프셋을 적용한다 해당 픽셀(x, y)과 관련하여 연산된 오프셋이 Δx 및 Δy일 경우 (x+ Δx, y+ Δy) 좌표의 픽셀값을 (1,1) 좌표 가중치과 곱해질 픽셀값으로 결정한다. 만일 Δx 및 Δy와 같은 오프셋 정보가 정수가 아닐 경우, 샘플러(600)는 오프셋에 대한 정수화를 수행한 후 가중치에 곱해질 픽셀값을 결정할 수 있을 것이다.
가중치 윈도우의 가중치와 샘플러(600)에 의해 결정되는 타겟 영상의 픽셀값을 곱하는 것에 의해 잔류 영상이 생성되며, 가중치/오프셋 적용부(130)는 잔류 영상과 타겟 영상을 합하여 보정된 타겟 영상을 생성한다.
도 7은 본 발명의 일 실시예에 따른 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크의 학습 구조를 나타낸 도면이다.
가중치/오프셋 적용부(130)에서 보정된 타겟 영상이 출력되면 보정된 타겟 영상이 라벨로 이용되는 영상과 비교되며, 두 영상의 차이값(에러)이 다시 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크로 역전파(Back Propagation)된다. 여기서, 타겟 영상은 저해상도의 깊이 맵 영상일 수 있고, 보정된 타겟 영상은 고해상도의 깊이 맵 영상일 수 있으며, 라벨로 이용되는 영상은 저해상도의 깊이 맵 영상과 대응되어 미리 가지고 있는 고해상도의 깊이 맵 영상이다.
역전파되는 값에 기초하여 제1 특징 정보 출력 네트워크 및 제2 특징 정보 출력 네트워크에 적용되는 필터들의 계수를 갱신하고, 이러한 역전파 및 필터 계수의 갱신은 반복적으로 이루어진다.
도 8은 본 발명의 일 실시예에 따른 학습을 이용한 조인트 필터링 방법의 전체적인 흐름을 나타낸 순서도이다.
도 8을 참조하면, 학습이 완료된 제1 특징 정보 출력 네트워크를 이용하여 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 생성한다(단계 800).
또한, 학습이 완료된 제2 특징 정보 출력 네트워크를 이용하여 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 생성한다(단계 802).
가이드 영상의 가중치 특징 정보 및 타겟 영상의 가중치 특징 정보를 이용하여 가중치를 연산한다(단계 804). 앞서 설명한 바와 같이, 가이드 영상의 가중치 특징 정보와 타겟 영상의 가중치 특징 정보와 엘리먼트 와이즈 곱셈을 통해 가중치를 연산한다. 앞서 설명한 바와 같이, 각 가중치 특징 정보에 대해서는 시그모이드 연산이 수행될 수도 있으며, 엘리먼트 와이즈 곱셈 결과에 대해 평균 차감(Mean Substraction)이 이루어질 수도 있을 것이다.
또한, 가이드 영상의 오프셋 특징 정보 및 타겟 영상의 오프셋 특징 정보를 이용하여 오프셋을 연산한다(단계 806).
가중치 및 오프셋이 연산되면, 연산된 가중치에 오프셋을 통해 추출되는 타겟 영상의 픽셀값을 적용하여 잔류 영상을 생성한다(단계 808).
생성된 잔류 영상과 타겟 영상을 합산하여 보정된 타겟 영상을 생성한다(단계 810). 특정 경우에는 잔류 영상 자체를 보정된 타겟 영상으로 사용할 수도 있다.
앞서 설명한 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 장치로서,
    상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제1 특징 정보 출력 네트워크;
    상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 제2 특징 정보 출력 네트워크;
    상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 가중치/오프셋 연산부;
    상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 가중치/오프셋 적용부를 포함하되,
    상기 제1 특징 정보 출력 네트워크 및 상기 제2 특징 정보 출력 네트워크는 학습에 의해 형성되는 네트워크이고,
    상기 오프셋은 상기 가중치 윈도우와 곱해질 상기 타겟 영상의 타겟 픽셀에 대한 주변 픽셀을 정의하는 윈도우 내의 각 픽셀의 이동 거리 정보이며,
    상기 가중치 윈도우는 상기 타겟 영상의 상기 타겟 픽셀과 상기 주변 픽셀에 곱해지는 윈도우이며, 상기 오프셋은 상기 타겟 영상의 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산되고, 상기 가중치/오프셋 연산부는 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산된 오프셋만큼 이동한 픽셀에 상기 가중치 윈도우의 가중치를 적용하는 것을 특징으로 하는 조인트 필터링 장치.

  2. 삭제
  3. 제1항에 있어서,
    상기 타겟 영상 및 가이드 영상의 가중치 특징 정보는 N2의 사이즈를 가지는 벡터이고, 상기 타겟 영상 및 가이드 영상의 오프셋 특징 정보는 2N2의 사이즈를 가지는 벡터인 것을 특징으로 하는 조인트 필터링 장치.
  4. 제1항에 있어서,
    상기 가중치/오프셋 연산부는 상기 타겟 영상의 가중치 특징 정보와 상기 가이드 영상의 가이드 특징 정보 각각에 시그모이드(Sigmoid) 연산을 수행한 값들에 대한 엘리먼트 와이즈 곱셉(Element Wise Multiplication)에 의해 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 장치.
  5. 제4항에 있어서,
    상기 가중치/오프셋 연산부는 상기 엘리먼트 와이즈 곱셈 결과에 대한 평균 차감(Mean Substraction)을 추가적으로 적용하여 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 장치.
  6. 제1항에 있어서,
    상기 가중치/오프셋 연산부는 상기 가이드 영상의 오프셋 특징 정보와 상기 타겟 영상의 오프셋 특징 정보에 대한 엘리먼트 와이즈 곱셈에 의해 상기 오프셋을 연산하는 것을 특징으로 하는 조인트 필터링 장치.
  7. 제1항에 있어서,
    상기 가중치/오프셋 적용부는 상기 연산된 오프셋에 기초하여 상기 가중치 윈도우에 적용될 상기 타겟 영상의 픽셀을 결정하는 샘플러를 포함하는 것을 특징으로 하는 조인트 필터링 장치.
  8. 제7항에 있어서,
    상기 가중치/오프셋 적용부는 상기 샘플러에 의해 결정된 상기 타겟 영상의 픽셀을 상기 가중치 윈도우에 적용하여 잔류 영상을 생성하고, 상기 생성된 잔류 영상을 상기 타겟 영상에 합산하여 보정된 타겟 영상을 생성하는 것을 특징으로 하는 조인트 필터링 장치.
  9. 가이드영상을 이용하여 타겟 영상을 보정하는 조인트 필터링 방법으로서,
    상기 가이드 영상으로부터 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(a);
    상기 타겟 영상으로부터 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하는 단계(b);
    상기 가이드 영상의 가중치 특징 정보와 오프셋 특징 정보 및 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 이용하여 N X N 가중치 윈도우를 구성하는 가중치와 상기 가중치가 곱해질 상기 타겟 영상의 픽셀 이동 거리인 오프셋을 연산하는 단계(c);
    상기 연산된 가중치 및 오프셋을 상기 타겟 영상에 적용하여 보정된 타겟 영상을 생성하는 단계(d)를 포함하되,
    상기 단계(a) 및 (b)는 학습에 의해 형성되는 네트워크를 통해 상기 가이드 영상의 가중치 특징 정보 및 오프셋 특징 정보와 상기 타겟 영상의 가중치 특징 정보 및 오프셋 특징 정보를 출력하고,
    상기 오프셋은 상기 가중치 윈도우와 곱해질 상기 타겟 영상의 타겟 픽셀에 대한 주변 픽셀을 정의하는 윈도우 내의 각 픽셀의 이동 거리 정보이며,
    상기 가중치 윈도우는 상기 타겟 영상의 상기 타겟 픽셀과 상기 주변 픽셀에 곱해지는 윈도우이며, 상기 오프셋은 상기 타겟 영상의 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산되고, 상기 단계(d)는 상기 타겟 픽셀 및 상기 주변 픽셀별로 연산된 오프셋만큼 이동한 픽셀에 상기 가중치 윈도우의 가중치를 적용하는 것을 특징으로 하는 조인트 필터링 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 타겟 영상 및 가이드 영상의 가중치 특징 정보는 N2의 사이즈를 가지는 벡터이고, 상기 타겟 영상 및 가이드 영상의 오프셋 특징 정보는 2N2의 사이즈를 가지는 벡터인 것을 특징으로 하는 조인트 필터링 방법.
  12. 제9항에 있어서,
    상기 단계(c)는 상기 타겟 영상의 가중치 특징 정보와 상기 가이드 영상의 가중치 특징 정보 각각에 시그모이드(Sigmoid) 연산을 수행한 값들에 대한 엘리먼트 와이즈 곱셉(Element Wise Multiplication)에 의해 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 방법.
  13. 제12항에 있어서,
    상기 단계(c)는 상기 엘리먼트 와이즈 곱셈 결과에 대한 평균 차감(Mean Substraction)을 추가적으로 적용하여 상기 가중치를 연산하는 것을 특징으로 하는 조인트 필터링 방법.
  14. 제9항에 있어서,
    상기 단계(c)는 상기 가이드 영상의 오프셋 특징 정보와 상기 타겟 영상의 오프셋 특징 정보에 대한 엘리먼트 와이즈 곱셈에 의해 상기 오프셋을 연산하는 것을 특징으로 하는 조인트 필터링 방법.
  15. 제9항에 있어서,
    상기 단계(d)는 상기 연산된 오프셋에 기초하여 상기 가중치 윈도우에 적용될 상기 타겟 영상의 픽셀을 결정하는 단계를 포함하는 것을 특징으로 하는 조인트 필터링 방법.
  16. 제15항에 있어서,
    상기 단계(d)는 상기 결정된 상기 타겟 영상의 픽셀을 상기 가중치 윈도우에 적용하여 잔류 영상을 생성하고, 상기 생성된 잔류 영상을 상기 타겟 영상에 합산하여 보정된 타겟 영상을 생성하는 것을 특징으로 하는 조인트 필터링 방법.
  17. 제9항의 방법을 실행하기 위한 프로그램이 기록되어 있으며 컴퓨터에 의해 판독 가능한 프로그램이 기록된 기록 매체.




KR1020180047890A 2018-04-25 2018-04-25 학습을 이용한 조인트 필터링 장치 및 방법 KR102044626B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180047890A KR102044626B1 (ko) 2018-04-25 2018-04-25 학습을 이용한 조인트 필터링 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180047890A KR102044626B1 (ko) 2018-04-25 2018-04-25 학습을 이용한 조인트 필터링 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190123946A KR20190123946A (ko) 2019-11-04
KR102044626B1 true KR102044626B1 (ko) 2019-11-13

Family

ID=68534755

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180047890A KR102044626B1 (ko) 2018-04-25 2018-04-25 학습을 이용한 조인트 필터링 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102044626B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017191608A (ja) * 2016-04-15 2017-10-19 株式会社リコー 対象識別方法、対象識別装置、及び分類器訓練方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yijun Li ET AL:"Deep Joint Image Filtering", ECCV 2016: Computer Vision - ECCV 2016, pp.154-169(2016.09.17.) 1부.*

Also Published As

Publication number Publication date
KR20190123946A (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
KR101871098B1 (ko) 이미지 처리 방법 및 장치
KR102370563B1 (ko) 하드웨어에서의 평균 풀링의 수행
Li et al. Fast guided global interpolation for depth and motion
US10547871B2 (en) Edge-aware spatio-temporal filtering and optical flow estimation in real time
JP5517954B2 (ja) 変換の高速でメモリ効率の良い実施のための方法
Kundur et al. A novel blind deconvolution scheme for image restoration using recursive filtering
CN109753971B (zh) 扭曲文字行的矫正方法及装置、字符识别方法及装置
CN110148157B (zh) 画面目标跟踪方法、装置、存储介质及电子设备
CN107133914B (zh) 用于生成三维彩色图像的装置和用于生成三维彩色图像的方法
US8958484B2 (en) Enhanced image and video super-resolution processing
KR101978172B1 (ko) 깊이 영상을 고해상도로 변환하는 방법 및 장치
US9235063B2 (en) Lens modeling
US9852353B2 (en) Structure aware image denoising and noise variance estimation
CN110210524B (zh) 一种图像增强模型的训练方法、图像增强方法及装置
KR102570562B1 (ko) 영상 처리 장치 및 그 동작방법
US9443288B1 (en) Scale adaptive blind deblurring
Wang et al. Blurred image restoration using knife-edge function and optimal window Wiener filtering
JP2007538436A (ja) 画像を補間および補正する方法および装置
KR102044626B1 (ko) 학습을 이용한 조인트 필터링 장치 및 방법
CN107798663B (zh) 一种基于偏微分方程和bm3d的无参数化图像恢复方法
KR102126916B1 (ko) 블러된 영상 복원을 위한 장치 및 방법
KR102554665B1 (ko) 역커널 기반 디포커스 블러 제거 방법 및 장치
CN117252788B (zh) 一种图像修复方法、装置及存储介质
JP2017059048A (ja) 演算装置および演算方法
Rebegoldi Analysis of a variable metric block coordinate method under proximal errors

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant