KR102027043B1 - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR102027043B1
KR102027043B1 KR1020170180904A KR20170180904A KR102027043B1 KR 102027043 B1 KR102027043 B1 KR 102027043B1 KR 1020170180904 A KR1020170180904 A KR 1020170180904A KR 20170180904 A KR20170180904 A KR 20170180904A KR 102027043 B1 KR102027043 B1 KR 102027043B1
Authority
KR
South Korea
Prior art keywords
image
gradient
reliability
pixel
image processing
Prior art date
Application number
KR1020170180904A
Other languages
English (en)
Other versions
KR20190079016A (ko
Inventor
심재영
한병주
Original Assignee
울산과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 울산과학기술원 filed Critical 울산과학기술원
Priority to KR1020170180904A priority Critical patent/KR102027043B1/ko
Publication of KR20190079016A publication Critical patent/KR20190079016A/ko
Application granted granted Critical
Publication of KR102027043B1 publication Critical patent/KR102027043B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G06T3/0093—
    • G06T3/0056—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 방법에 연관되며, 복수의 입력 영상을 워핑(Warping)하여 배열하는 단계; 배열되는 상기 영상을 그래디언트 맵으로 변환하는 단계; 상기 그래디언트 맵의 각 픽셀별 그래디언트 신뢰도를 계산하는 단계; 및 유사 패치 영역을 설정하여 투과 그래디언트를 최적화하는 단계를 포함한다.

Description

영상 처리 장치 및 방법{APPARATUS AND METHOD FOR IMAGE PROCESSING}
영상을 처리하는 장치 및 방법에 연관된다. 보다 상세하게는 입사 영상과 반사 영상을 구별하여 반사 영상을 제거하는 영상 처리 장치의 구조 및 동작 제어에 연관된다.
현대생활에서 유리를 통해 영상을 촬영하는 경우가 빈번하게 발생한다. 예를 들어, 유리로 보호되고 있는 전시물을 촬영하거나 유리 너머 전경을 촬영하는 경우가 이에 해당한다. 더욱이 현대 도시에서는 실용성 혹은 미관을 목적으로 내 외부 벽면을 투과성 유리로 대체하는 경향이 있어 유리를 촬영하는 상황이 더욱 잦아질 것으로 예상된다.
유리 너머를 촬영하는 영상은 원하지 않는 반사 영상이 관찰되기 때문에 객체 인식, 추적 등 기존 비전 기반 알고리즘의 성능 저하가 발생할 수 있다. 따라서 입력 영상 시퀀스로부터 반사 영상을 제거하는 기술이 요구된다.
한국 공개특허 10-2016-0037812호 (공개일자 2016년04월06일)는 HUD에서 이중 이미지들을 억제하는 장치를 제시한다. HUD 장치의 후면으로부터 굴절된 이미지를 제거함으로써 이중 이미지를 억제하는 장치에 관한 발명이다.
일실시예에 따르면 컴퓨터에 의해 적어도 일시적으로 수행되는 방법에 있어서, 복수의 입력 영상을 워핑(Warping)하여 배열하는 단계; 배열되는 상기 영상을 그래디언트 맵으로 변환하는 단계; 및 유사 패치 영역을 설정하여 투과 그래디언트를 계산(최적화)하는 단계를 포함하는 영상 처리 방법이 개시된다.
다른 일실시예에 따르면 상기 그래디언트 맵의 각 픽셀별 그래디언트 신뢰도를 계산하는 단계를 더 포함하는 영상 처리 방법이 개시된다.
다른 일실시예에 따르면 상기 배열하는 단계는, 상기 복수의 입력 영상 중 제1 영상을 레퍼런스 영상으로 설정하는 단계; 및 제1 영상을 제외한 나머지 입력 영상을 상기 제1 영상으로 워핑하는 단계를 포함하는 영상 처리 방법도 개시된다.
또 다른 일실시예에 따르면 상기 신뢰도를 계산하는 단계는, 상기 복수의 입력 영상에 대하여 각 픽셀의 그래디언트 최소값을 구하는 단계; 및 상기 각 픽셀 별 그래디언트 값과 상기 최소값의 차를 이용하여 신뢰도를 계산하는 단계를 포함하는 영상 처리 방법도 가능하다.
다른 일실시예에 따르면 상기 투과 그래디언트를 계산(최적화)하는 단계는, 그래디언트 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제1 행렬과 신뢰도 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제2 행렬을 설정하는 단계; 및 상기 제1 및 제2 행렬을 이용하여 투과 그래디언트를 최적화하는 단계를 포함하는 영상 처리 방법이 개시된다.
일측에 따르면 복수의 입력 영상을 워핑(Warping)하여 배열하는 워핑부; 및 배열되는 상기 영상을 그래디언트 맵으로 변환하고, 유사 패치 영역을 설정하여 투과 그래디언트를 계산(최적화)하는 계산부를 포함하는 영상 처리 장치가 개시된다.
다른 일측에 따르면 상기 계산부는 상기 그래디언트 맵의 각 픽셀별 그래디언트 신뢰도를 계산할 수 있다.
다른 일측에 따르면 상기 워핑부는, 상기 복수의 입력 영상 중 제1 영상을 레퍼런스 영상으로 설정하고, 제1 영상을 제외한 나머지 입력 영상을 상기 제1 영상으로 워핑하는 영상 처리 장치일 수 있다.
또 다른 일측에 따르면 상기 계산부는, 상기 복수의 입력 영상에 대하여 각 픽셀의 그래디언트 최소값을 구하고, 상기 각 픽셀 별 그래디언트 값과 상기 최소값의 차를 이용하여 신뢰도를 계산하는 영상 처리 장치도 가능하다.
다른 일측에 따르면 상기 계산부는, 그래디언트 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제1 행렬과 신뢰도 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제2 행렬을 설정하고, 상기 제1 및 제2 행렬을 이용하여 투과 그래디언트를 계산(최적화)하는 영상 처리 장치일 수 있다.
다른 일실시예에 따르면 상기 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체도 개시된다.
도 1은 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
도 2는 일실시예에 따른 영상 처리 방법을 상세하게 도시한 흐름도이다.
도 3은 일실시예에 따른 입력 영상과 워핑하여 배열된 영상을 도시한다.
도 4는 일실시예에 따른 워핑된 영상으로부터 계산되는 gmin 영상 및 재생성된 영상을 도시한다.
도 5는 일실시예에 따른 워핑된 영상과 신뢰도 맵을 도시한다.
도 6은 일실시예에 따른 입력 영상으로부터 그래디언트 행렬, 최적화되는 투과 그래디언트 행렬 및 결과 영상을 도시한다.
이하에서, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 권리범위는 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적이고 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.
또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 영상 처리 방법을 도시한 흐름도이다.
일실시예에 따른 영상 처리 방법은 입력 영상을 배열하는 단계(110), 그래디언트 신뢰도를 계산하는 단계(120) 및 투과 그래디언트를 최적화 하는 단계(130)로 구성될 수 있다.
구체적으로, 입력 영상을 배열하는 단계(110)는 복수의 입력 영상들에 대하여 특정 영상을 레퍼런스 영상(Reference Image)으로 설정하고, 나머지 영상을 레퍼런스 영상에 워핑(Warping)한다.
다음으로 그래디언트(Gradient) 신뢰도(Reliability)를 계산하는 단계(120)는, 워핑하여 배열되는 영상을 그래디언트 맵(Gradient Map)으로 변환하고, 각 픽셀에 대한 그래디언트 값이 투과 그래디언트(Transmission Gradient)로서 얼마나 신뢰할 수 있는지 계산한다.
다르게 설명하면, 입력 영상(Input Image)은 투과 영상(Transmission Image)과 반사 영상(Reflection Image)으로 구성된다고 가정하면, 반사 그래디언트가 없다고 간주할 수 있는 gmin 과의 차이를 계산한다.
마지막으로 투과 그래디언트를 최적화 하는 단계(130)는 입력 영상 중 다른 영상으로부터 신뢰성 있는 투과 그래디언트를 참고하여 최적의 투과 그래디언트 값을 계산하는 단계이다.
그래디언트 신뢰도 계산 단계(120)에서 얻은 신뢰도 데이터를 이용하며, 전체 영상의 각 픽셀별 그래디언트 값과 신뢰도 값을 연산하여 최적화되는 투과 그래디언트 맵을 얻을 수 있다.
각 단계의 구체적인 수행은 도 2에서 상세하게 설명하도록 한다.
도 2는 일실시예에 따른 영상 처리 방법을 상세하게 도시한 흐름도이다. 일실시예에 따른 영상 처리 방법은 레퍼런스 영상을 설정하는 단계(210), 영상을 워핑하는 단계(220), 워핑 영상을 모델링하는 단계(230), 그래디언트 맵 변환 단계(240), gmin 계산 단계(250), 투과 그래디언트 계산 단계(260), 유사 패치 탐색 단계(270) 및 그래디언트 최적화 단계(280)를 포함할 수 있다.
레퍼런스 영상을 설정하는 단계(210)는 복수의 입력 영상에 대하여 기준이 되는 레퍼런스 영상(Reference Image)을 설정한다. 예시적으로 그러나 한정되지 않게 복수의 입력 영상 가운데 첫번째 영상을 레퍼런스 영상으로 설정할 수 있다.
영상을 워핑하는 단계(220)는 복수의 입력 영상 중 레퍼런스 영상을 제외하고 나머지 영상을 상기 레퍼런스 영상에 워핑한다. 나머지 영상을 레퍼런스 영상에 워핑하는 경우에 SIFT-Flow 방법을 사용하여 워핑할 수 있다. 이는 예시적일 뿐 한정되는 것은 아니며, 픽셀 단위로 영상을 워핑하는 다른 워핑 방법을 사용하여 배열하는 것도 가능하다.
워핑하여 배열되는 영상은 워핑 영상 모델링(230)이 수행된다. 입력 영상은 투과 영상과 반사 영상이 혼재되어 있으므로, 워핑된 영상을 워핑된 투과 영상과 워핑된 반사 영상으로 모델링 할 수 있다. 영상의 모델링을 수학식으로 나타내면 아래와 같다.
Figure 112017129760849-pat00001
여기서 p는 한 픽셀을 의미하고, Ik는: k번째 입력 영상, Tk는 k번째 투과 영상 그리고 Rk는 k번째 반사 영상을 의미한다.
Figure 112017129760849-pat00002
여기서
Figure 112017129760849-pat00003
는: k번째 워핑된 입력 영상,
Figure 112017129760849-pat00004
는 k번째 워핑된 투과 영상 그리고
Figure 112017129760849-pat00005
는 k번째 워핑된 반사 영상을 의미한다.
유리 영상 워핑은 유리 영상의대부분을 차지하는 투과 영상에 의존하기 때문에 배열된 영상들에서 투과 영상은 고정되어 있는 것처럼 보이게 된다. 따라서
Figure 112017129760849-pat00006
를 투과 영상 Tk로 대체하면 아래의 수학식 3과 같이 근사할 수 있다.
Figure 112017129760849-pat00007
여기서 T는 실제 투과 영상을 의미한다.
즉, 워핑된 입력 영상은 실제 투과 영상과 워핑된 반사 영상을 합한 것으로 볼 수 있다.
다음으로 그래디언트 신뢰도를 계산하기 위하여, 워핑된 입력 영상을 그래디언드 맵으로 변환하는 단계(240)를 수행한다. 상기 워핑된 입력 영상의 각 픽셀마다 그래디언트로 변환하여 그래디언트 맵을 생성할 수 있다. 각 픽셀의 그래디언트는 투과 그래디언트와 반사 그래디언트의 합으로 구성된다. 복수의 영상에 대하여 복수의 그래디언트 맵이 생성된다.
변환되는 상기 그래디언트 맵을 이용하여 그래디언트의 최소값인 gmin 을 계산(250)한다. 복수의 그래디언트 맵에서 각 픽셀마다 크기가 가장 작은 그래디언트 gmin 값을 계산하고, 상기 gmin 값들을 모아 gmin 영상을 생성할 수 있다.
예를 들어 4장의 입력 영상이 있는 경우에 각 영상의 1번 픽셀이 갖는 값들 중 크기가 가장 작은 값이 1번 픽셀의 gmin 값이 되며, 각 영상의 2번 픽셀이 갖는 값들 중 크기가 가장 작은 값이 2번 픽셀의 gmin 값이 된다. 위와 같은 방식으로 N번째 픽셀까지 각 픽셀들의 gmin 값을 모두 합한 영상이 gmin 영상이 된다. gmin- 을 계산하는 단계(250)에서 gmin 영상까지 계산하게 된다.
투과 그래디언트 계산 단계(260)는 워핑된 입력 영상을 변환한 그래디언트 맵에서 반사 그래디언트를 억제하고 실 투과 그래디언트에 가까운 그래디언트 맵을 복원한다. 즉, 그래디언트가 gmin 과 얼마나 유사한지, 투과 그래디언트로서 얼마나 확률이 높은지를 '신뢰도'라고 표현한다. 상기 신뢰도는 도 1의 단계 120에서 말하는 '신뢰도'와 동일한 의미이다.
특정 픽셀 p에 대한 신뢰도는 아래와 같이 정의할 수 있다.
Figure 112017129760849-pat00008
여기서
Figure 112017129760849-pat00009
는 픽셀 p에 대한 신뢰도이며,
Figure 112017129760849-pat00010
이고,
Figure 112017129760849-pat00011
는
Figure 112017129760849-pat00012
의 표준편차이다.
상기 수학식 4를 이용하여 각 픽셀의 신뢰도를 계산하고, 계산되는 신뢰도는 그래디언트 최적화 단계(280)에서 사용된다.
유사 패치 탐색 단계(270)는 복수의 영상에서 유사 패치 영역을 찾는다. 구체적으로, 오로지 gmin 에서 1차적으로 컬러 영상을 출력하는 경우에 특정 영역이 적절하게 복원되지 못하고 번짐이 발생할 수 있다. 따라서 세밀한 복구가 필요하다. 영상을 패치 단위로 나눈 뒤, 각 패치 영역에 대하여, 복수의 영상으로부터 유사한 패치 영역을 탐색한다.
마지막으로 그래디언트 최적화 단계(280)는 260단계에서 계산되는 신뢰도를 이용하여 최적화를 수행한다.
기존의 기법에서는 영상의 그래디언트 결핍(Gradient Sparsity)라는 일반적 영상의 통계적 확률 분포를 기반으로 투과 영상을 추출한다. 보다 구체적으로 그래디언트 결핍을 이용하여 비용함수를 정의하고, 상기 비용함수를 최소화하는 최적의 컬러 값을 추정하는 방법으로 투과 영상을 추출한다. 따라서 통계적 분포를 벗어나는 경우에 대하여는 적절한 결과 영상을 획득하기가 어렵다.
그러나 일실시예에 따른 영상 처리 방법에서는 복수의 입력 영상 중 다른 영상의 신뢰도 높은 그래디언트 값을 이용하여 최적의 그래디언트 값을 추정하기 때문에 기존의 투과 영상 복원 기법보다 투과 그래디언트를 추정하는 효과가 뛰어나다.
구체적으로, 유사 패치 탐색(270) 단계에서 탐색한 유사 패치 사이의 거리를 비교한다. 상기 패치 사이의 거리는 패치가 떨어진 공간적 거리가 아닌, 벡터화된 패치
Figure 112017129760849-pat00013
와
Figure 112017129760849-pat00014
간의 백터 거리를 의미한다. 구체적으로,
Figure 112017129760849-pat00015
와
Figure 112017129760849-pat00016
가 비슷하면
Figure 112017129760849-pat00017
가 작은 값을 갖는다. 여기에 픽셀의 신뢰도에 따라 가중치를 부여하여, 상기 거리는 가중 유클리디안 거리로 정의하며, 식으로 표현하면 다음과 같다.
Figure 112017129760849-pat00018
여기서
Figure 112017129760849-pat00019
는 벡터화된 패치를 의미하고,
Figure 112017129760849-pat00020
는 대응하는 패치의 신뢰도 값으로 정의된 가중치를 나타내며 다음의 수학식 6과 같이 정의한다.
Figure 112017129760849-pat00021
여기서
Figure 112017129760849-pat00022
는
Figure 112017129760849-pat00023
의 그래디언트에 대응하는 신뢰도 벡터를 의미하고,
Figure 112017129760849-pat00024
는
Figure 112017129760849-pat00025
의 요소의 합이 1이 되도록 만드는 노멀라이저(정규화 인자 즉, Normalizing Factor)다.
또한 투과 그래디언트 최적화를 위한 그래디언트 행렬 G 와 신뢰도 행렬
Figure 112017129760849-pat00026
를 다음과 같이 정의한다.
Figure 112017129760849-pat00027
,
Figure 112017129760849-pat00028
Figure 112017129760849-pat00029
는 그래디언트 맵을 1차원으로 변형한 벡터화된 패치를 의미하며, 행렬에서는 열(Column)이 된다. 또한
Figure 112017129760849-pat00030
는 신뢰도 맵의 패치를 1차원으로 변형한 벡터화된 패치를 의미하며, 마찬가지로 행렬에서는 열(Column)이 된다.
그래디언트 행렬 G는 반사 그래디언트를 포함하므로, 각 행(Row)가 일정하지 않고 차이(Variation)가 있다. 상기 그래디언트 행렬 G로부터 복원하는 최적화된 그래디언트 행렬을 X라 할 때, 각 열들이 유사한 형태를 갖게 된다.
모든 열이 유사하게 되는 경우에, 행렬의 차수(Rank)가 낮다는 것을 의미한다. 그러나 행렬 X를 특별한 제약 없이 낮은 차수로 변환하는 경우 투과 그래디언트 값이 손상될 수 있다. 예를 들어 X의 특정 행(Row)의 값을 대응하는 G의 행의 평균 값으로 변환하는 경우에 반사 그래디언트 값을 지닌 원소들에 의해 투과 그래디언트 원소의 값이 변하게 된다.
따라서 최적화되는 X를 얻기 위해 두 개의 제약 조건을 설정할 수 있다. 하나는 반사(Reflection)가 없는 영역에서는 그래디언트가 보존 되어야 한다. 왜냐하면, 반사가 없는 영역은 반사 그래디언트가 0 이므로 그래디언트 값은 온전히 투과 그래디언트 값이 되기 때문이다. 다음으로 최적화되는 투과 그래디언트는 원본 영상의 그래디언트를 넘지 않아야 한다. 그래디언트 값은 투과 그래디언트와 반사 그래디언트의 합이므로 최적화된 투과 그래디언트의 값이 원본 영상의 그래디언트 값을 초과할 수 없다.
상기 두 개의 제약 조건을 수학식으로 표현하면 다음과 같다.
Figure 112017129760849-pat00031
Figure 112017129760849-pat00032
상기 두 개의 제약조건 하에서 실질적인 구현은 다음과 같다.
Figure 112017129760849-pat00033
로 초기화 한다. 다음으로, 싱귤러 밸류 디컴포지션(Singular Value Decomposition) 방법을 이용하여
Figure 112017129760849-pat00034
한다. 그리고
Figure 112017129760849-pat00035
를 구하고, 여기서
Figure 112017129760849-pat00036
는
Figure 112017129760849-pat00037
의 문턱 값 보다 작은 개별 싱귤러 밸류를 잘라내는 연산자이다. 이어서
Figure 112017129760849-pat00038
를 구하고, 여기서
Figure 112017129760849-pat00039
는 두번째 제약 조건을 위반하는 경우에, 개별 값을 G의 값으로 교체하는 연산자이다. 마지막으로 첫번째 제약 조건 하에서
Figure 112017129760849-pat00040
를 계산하며, 상기 과정을
Figure 112017129760849-pat00041
이 될 때까지나 최대 반복 횟수에 이를 때까지 반복한다. 상기 수치는 예시적일 뿐 이에 한정되는 것은 아니며, 경우에 따라서는 0.01 보다 더 작게 될 때까지 수행하는 것도 가능하다.
상기 방법으로 구한 행렬 X를 통해 복원하고자 했던 패치
Figure 112017129760849-pat00042
의 투과 그래디언트 값을 복원한다. 모든 패치에서 반복 수행하여 영상 전체의 투과 그래디언트 맵을 추정한다.
k번째 유리 영상의 투과 그래디언트 맵을
Figure 112017129760849-pat00043
라고 할 때, 최적의 투과 그래디언트 맵
Figure 112017129760849-pat00044
는 다음과 같이 정의한다.
Figure 112017129760849-pat00045
즉, 추정한 투과 그래디언트 맵의 각 픽셀에서 가장 크기가 큰 그래디언트를 최적의 그래디언트라고 정의한다.
상기 210 단계 내지 280 단계를 수행함으로써 입력 영상으로부터 투과 영상을 획득할 수 있다.
도 3 내지 도 6에서는 상기 과정들을 실제 실시예에 따라 설명한다.
도 3은 일실시예에 따른 입력 영상과 워핑하여 배열된 영상을 도시한다.
좌측의 복수의 입력 영상(Input Sequence)들을 워핑하여 우측의 워핑된 입력 영상으로 변환한다. 상기 복수의 입력 영상들 중 어느 하나를 레퍼런스 영상으로 설정하며, 상기 레퍼런스 영상은 예시적으로 첫번째 영상일 수 있으나, 이에 한정되는 것은 아니고 상기 복수의 입력 영상 중 임의로 선정될 수 있다. 상기 레퍼런스 영상으로 나머지 입력 영상들을 워핑한다.
도 4는 일실시예에 따른 워핑된 영상으로부터 계산되는 gmin 영상 및 재생성된 영상을 도시한다.
도 4a는 복수의 워핑된 영상을 도시한다. 상기 복수의 워핑된 영상에서 반사 영상이 많이 표현되는 부분을 붉은 패치로 표시하였다. 상기 붉은 패치 영역을 그래디언트 최적화를 이용하여 투과 영상으로 최적화 해야하는 영역이다.
도 4b는 복수의 워핑된 영상으로부터 각 픽셀의 그래디언트 최소값을 이용해 생성되는 gmin 영상을 도시한다.
마지막으로 도 4c는 상기 그래디언트 변환을 이용하여 재생성되는 영상을 도시한다. 상기 수학식 1 내지 3의 방법을 이용하여 투과 영상을 생성한 것이며, 아직 투과 그래디언트 최적화를 수행하지 않은 상태이기 때문에, 투과 영상이 뿌옇게 표현된다. 재생성되는 영상이 픽셀 수준(Pixel Level)에서 보면 불일치(Misalignment)가 일어났거나 카메라의 각도에 따라 같은 지점이라도 그래디언트의 차이(Variation)가 있을 수 있기 때문이다.
결과적으로 상기 도 4에서는 gmin 이 실제 투과 그래디언트의 크기와 가까운 값을 나타낸다는 사실을 알 수 있다. 따라서 그래디언트 값이 gmin 과 차이가 작으면 투과 그래디언트일 확률이 높다고 볼 수 있다. 이 확률을 앞서 설명한 신뢰도라고 표현한다.
도 5는 일실시예에 따른 워핑된 영상과 신뢰도 맵을 도시한다.
도 5a는 다른 워핑된 영상을 도시한다. 워핑된 영상에서 검정색 패치 영역에서 반사가 많이 일어났으며, 해당 영역을 확대한 모습을 우측에 도시한다. 상기 영상의 신뢰도 맵을 도 5b에서 도시한다. 도 5b는 도 5a의 워핑된 영상에서 상기 수학식 4에 따라 각 픽셀별 신뢰도를 계산하고, 신뢰도 맵으로 표현한 영상이다.
도 6은 일실시예에 따른 입력 영상으로부터 그래디언트 행렬, 최적화되는 투과 그래디언트 행렬 및 결과 영상을 도시한다.
도 6a는 입력 영상(Input Sequence)과 gmin 영상을 도시한다. 투과 그래디언트와 반사 그래디언트가 혼재한 것을 볼 수 있다. 도 6b는 그래디언트 행렬 G와 최적화된 그래디언트 행렬 X를 도시한다. 행렬 G는 반사 그래디언트를 포함하기 때문에 각 행(Row)가 일정하지 않고 차이(Variation)가 있는 것을 알 수 있다. 상기 행렬 X는 행렬 G를 최적화함으로써 계산되는 행렬이며, 각 열(Column)이 유사한 것을 확인할 수 있으며 이는 행렬 X의 차수(Rank)가 낮다는 것을 의미한다.
도 6c는 최종적으로 획득되는 영상을 도시한다. 행렬 X를 도 2에서 설명했던 두 가지 제약조건 하에서 반복적 계산을 통해 획득한다. 상기 방법을 수행하는 경우에 도 4c의 결과보다 더 선명한 도 6c의 결과 영상을 획득할 수 있다. 일실시예에 따른 영상 처리 방법을 이용하는 경우에 기존의 투과 영상 복원 기법에 비하여 복잡한 질감(Texture)의 영역을 복원하는 성능이 뛰어나다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 컴퓨터에 의해 적어도 일시적으로 수행되는 방법에 있어서,
    복수의 입력 영상을 워핑(Warping)하여 배열하는 단계;
    배열되는 상기 영상을 그래디언트 맵으로 변환하는 단계; 및
    유사 패치 영역을 설정하여 투과 그래디언트를 계산하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 그래디언트 맵의 각 픽셀별 그래디언트 신뢰도를 계산하는 단계
    를 더 포함하는 영상 처리 방법.
  3. 제2항에 있어서,
    상기 배열하는 단계는,
    상기 복수의 입력 영상 중 제1 영상을 레퍼런스 영상으로 설정하는 단계; 및
    제1 영상을 제외한 나머지 입력 영상을 상기 제1 영상으로 워핑하는 단계
    를 포함하는 영상 처리 방법.
  4. 제3항에 있어서,
    상기 신뢰도를 계산하는 단계는,
    상기 복수의 입력 영상에 대하여 각 픽셀의 그래디언트 최소값을 구하는 단계; 및
    상기 각 픽셀 별 그래디언트 값과 상기 최소값의 차를 이용하여 신뢰도를 계산하는 단계
    를 포함하는 영상 처리 방법.
  5. 제4항에 있어서,
    상기 투과 그래디언트를 계산하는 단계는,
    그래디언트 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제1 행렬과 신뢰도 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제2 행렬을 설정하는 단계; 및
    상기 제1 및 제2 행렬을 이용하여 투과 그래디언트를 계산하는 단계;
    를 포함하는 영상 처리 방법.
  6. 복수의 입력 영상을 워핑(Warping)하여 배열하는 워핑부; 및
    배열되는 상기 영상을 그래디언트 맵으로 변환하고, 유사 패치 영역을 설정하여 투과 그래디언트를 계산하는 계산부
    를 포함하는 영상 처리 장치.
  7. 제6항에 있어서,
    상기 계산부는,
    상기 그래디언트 맵의 각 픽셀별 그래디언트 신뢰도를 계산하는 영상 처리 장치.
  8. 제7항에 있어서,
    상기 워핑부는,
    상기 복수의 입력 영상 중 제1 영상을 레퍼런스 영상으로 설정하고, 제1 영상을 제외한 나머지 입력 영상을 상기 제1 영상으로 워핑하는 영상 처리 장치.
  9. 제8항에 있어서,
    상기 계산부는,
    상기 복수의 입력 영상에 대하여 각 픽셀의 그래디언트 최소값을 구하고, 상기 각 픽셀 별 그래디언트 값과 상기 최소값의 차를 이용하여 신뢰도를 계산하는 영상 처리 장치.
  10. 제9항에 있어서,
    상기 계산부는,
    그래디언트 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제1 행렬과 신뢰도 맵의 패치를 1차원으로 변형하여 벡터화된 패치들의 제2 행렬을 설정하고, 상기 제1 및 제2 행렬을 이용하여 투과 그래디언트를 계산하는 영상 처리 장치.
  11. 제1항 내지 제5항 중 어느 한 항의
    영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020170180904A 2017-12-27 2017-12-27 영상 처리 장치 및 방법 KR102027043B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170180904A KR102027043B1 (ko) 2017-12-27 2017-12-27 영상 처리 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170180904A KR102027043B1 (ko) 2017-12-27 2017-12-27 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190079016A KR20190079016A (ko) 2019-07-05
KR102027043B1 true KR102027043B1 (ko) 2019-09-30

Family

ID=67224968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170180904A KR102027043B1 (ko) 2017-12-27 2017-12-27 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102027043B1 (ko)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9606355B2 (en) 2014-09-29 2017-03-28 Honeywell International Inc. Apparatus and method for suppressing double images on a combiner head-up display

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한병주 외 1명, "Reflection Removal Using Low-Rank Matrix Completion", CVPR, IEEE, 5438-5446(9pages), 2017.07.26*

Also Published As

Publication number Publication date
KR20190079016A (ko) 2019-07-05

Similar Documents

Publication Publication Date Title
WO2020063475A1 (zh) 基于深度学习迭代匹配的6d姿态估计网络训练方法及装置
KR101938945B1 (ko) Ｃｎｎ을 이용한 이미지 디헤이징 방법 및 그 시스템
US10269147B2 (en) Real-time camera position estimation with drift mitigation in incremental structure from motion
US10269148B2 (en) Real-time image undistortion for incremental 3D reconstruction
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
Sun et al. L2-SIFT: SIFT feature extraction and matching for large images in large-scale aerial photogrammetry
US20180315232A1 (en) Real-time incremental 3d reconstruction of sensor data
KR102378887B1 (ko) 객체 탐지에서의 둘레기반 IoU 손실함수를 통한 효율적인 바운딩 박스 회귀 학습 방법 및 장치
US10063832B2 (en) Image processing method and apparatus
WO2020062911A1 (en) Actor ensemble for continuous control
KR20200080970A (ko) 이차원 의미론적 분할 정보의 점진적인 혼합을 통한 삼차원 복원 모델의 의미론적 분할 방법
CN111627119A (zh) 纹理贴图方法及装置、设备、存储介质
KR102509823B1 (ko) 그리드 기반의 평면 추정 방법 및 장치
WO2023184181A1 (en) Trajectory-aware transformer for video super-resolution
US20170185900A1 (en) Reconstruction of signals using a Gramian Matrix
Nguyen et al. The FPGA implementation of a one-bit-per-pixel image registration algorithm
US10719982B2 (en) Surface extrction method, apparatus, and non-transitory computer readable storage medium thereof
US8913821B1 (en) Preconditioner for solving linear equations for reconstructing three-dimensional structure of a scene
KR102027043B1 (ko) 영상 처리 장치 및 방법
KR102614906B1 (ko) 영상 처리 방법 및 장치
KR20150111459A (ko) 전자현미경 영상의 입자 분할 방법 및 장치
JP2017126264A (ja) 情報処理装置、情報処理方法およびプログラム
KR20200134862A (ko) 영상 처리 방법 및 장치
KR102199574B1 (ko) 영상 처리 장치 및 방법
US11893704B2 (en) Image processing method and device therefor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant