KR101825218B1 - 깊이 정보 생성 장치 및 방법 - Google Patents

깊이 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR101825218B1
KR101825218B1 KR1020160043345A KR20160043345A KR101825218B1 KR 101825218 B1 KR101825218 B1 KR 101825218B1 KR 1020160043345 A KR1020160043345 A KR 1020160043345A KR 20160043345 A KR20160043345 A KR 20160043345A KR 101825218 B1 KR101825218 B1 KR 101825218B1
Authority
KR
South Korea
Prior art keywords
information
image
feature information
depth information
image patch
Prior art date
Application number
KR1020160043345A
Other languages
English (en)
Other versions
KR20170115757A (ko
Inventor
권인소
박진선
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160043345A priority Critical patent/KR101825218B1/ko
Publication of KR20170115757A publication Critical patent/KR20170115757A/ko
Application granted granted Critical
Publication of KR101825218B1 publication Critical patent/KR101825218B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Abstract

깊이 정보 생성 장치로서, 입력 영상의 경계 성분을 추출하고, 상기 경계 성분의 강도에 따라 다중 크기(Multi-scale)의 영상 패치를 추출하는 패치 추출부, 상기 영상 패치로부터 상기 입력 영상의 흐림 정보를 판단하기 위한 적어도 하나 이상의 특징 정보를 추출하는 특징 정보 추출부, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정보를 계산하는 흐림 정보 획득부, 그리고 상기 영상 패치들의 깊이 정보와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.

Description

깊이 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERAING DEPTH INFORMATION}
본 발명은 깊이 정보 생성 장치 및 방법에 관한 것이다.
일반적으로 영상에서 흐림 정도 및 깊이 정보를 추정하는 방법은 초점 거리를 다르게 하여 획득한 영상을 토대로 정보를 획득하므로, 여러 장의 영상을 획득해야 한다.
단일 영상에서 깊이 정보를 추정하는 일반적인 방법에서는 균일한 영역(Homogeneous region)에서는 흐림 정도의 불확실성이 존재하며, 패치 기반(Patch based)의 연구의 경우 패치 크기의 불확실성이 흐림 추정의 불확실성 (depth uncertainty)을 증가시켜 정확한 깊이 정보를 획득하는데 어려움이 있다.
본 발명이 해결하고자 하는 과제는 한 프레임의 단일 영상으로부터 정확한 깊이 정보를 추정하는 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시예에서 깊이 정보 생성 장치는 입력 영상의 경계 성분을 추출하고, 상기 경계 성분의 강도에 따라 다중 크기(Multi-scale)의 영상 패치를 추출하는 패치 추출부, 상기 영상 패치로부터 상기 입력 영상의 흐림 정보를 판단하기 위한 적어도 하나 이상의 특징 정보를 추출하는 특징 정보 추출부, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정보를 계산하는 흐림 정보 획득부, 그리고 상기 영상 패치들의 깊이 정보와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
상기 패치 추출부는 캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있다.
상기 특징 정보 추출부는 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 DCT특징 정보 추출부, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 경사 특징 정보 추출부, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 SVD 특징 정보 추출부, 그리고 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 깊은 특징 정보 추출부를 포함할 수 있다.
상기 흐림 정보 획득부는 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산할 수 있다.
상기 깊이 정보 획득부는 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득할 수 있다.
본 발명의 한 실시예에 따른 깊이 정보 생성 장치는 프로그램을 저장하는 메모리, 상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고, 상기 프로그램은 입력 영상으로부터 깊이 정보를 생성하기 위한 프로그램을 포함하고, 상기 프로그램은 상기 입력 영상의 경계 성분의 강도에 따라 다중 크기의 영상 패치를 추출하고, 상기 영상 패치로부터 적어도 하나 이상의 특징 정보를 추출하고, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정도를 계산하며, 상기 흐림 정도와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 계산하는 명령어들을 포함한다.
상기 프로그램은 캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준 값 이하인 부분은 약한 경계로 결정하고, 상기 기준 값 초과인 부분은 강한 경계로 결정하는 명령어들을 포함할 수 있다.
상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있다.
상기 프로그램은 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하고, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사 특징 정보를 계산하고, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하며, 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 명령어들을 포함할 수 있다.
상기 프로그램은 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 상기 영상 패치의 흐림 정도를 계산하는 명령어들을 포함할 수 있다.
상기 프로그램은 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 계산하는 명령어들을 포함할 수 있다.
본 발명의 한 실시예에 따른 장치의 깊이 정보 생성 방법은 한 프레임의 단일 영상을 입력 받는 단계, 상기 영상 경계의 세기에 따라 다중 스케일의 영상 패치를 추출하는 단계, 상기 영상 패치로부터 적어도 하나의 특징 정보를 추출하는 단계, 상기 특징 정보를 기초로 영상 흐림 정보를 추출하는 단계, 그리고 상기 영상 흐림 정보를 기초로 전체 영상 픽셀의 깊이 정보를 획득하는 단계를 포함한다.
상기 영상 패치를 추출하는 단계는 캐니 경계 검출 방법(canny edge detect method)을 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
상기 특징 정보를 추출하는 단계는 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 단계, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 단계, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 단계, 그리고 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 단계를 포함할 수 있다.
상기 영상 흐림 정보를 추출하는 단계는 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산할 수 있다.
상기 깊이 정보를 획득하는 단계는 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득할 수 있다.
본 발명의 실시예에 따르면 한 프레임의 단일 영상으로부터 보다 정확한 고품질의 깊이 정보를 획득할 수 있다.
도 1은 본 발명의 한 실시예에 따른 깊이 지도 정보 생성 장치의 구성도이다.
도 2는 본 발명의 한 실시예에 따라 입력 영상으로부터 약한 경계와 강한 경계를 추출한 것을 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 DCT 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 경사 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 SVD 특징 정보를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 깊은 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 깊은 특징 정보를 나타내는 도면이다.
도 8은 본 발명의 한 실시예에 따라 입력 영상 패치의 특징 정보로부터 흐림 정보를 추출하는 과정을 나타내는 도면이다.
도 9는 특징 정보에 해당 특징이 추출된 영상 패치의 크기 정보를 포함하는 것을 나타내는 도면이다.
도 10은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법의 흐름도이다.
도 11은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법을 나타내는 도면이다.
도 12 내지 도 15는 본 발명의 한 실시예에 따라 획득한 깊이 정보를 응용할 수 있는 기술 분야의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한 프레임의 단일 영상은 예를 들면, 모바일 단말이나 DSLR과 같은 디지털 카메라로 촬영된 영상일 수 있다. 하나의 영상에서는 정확한 깊이 정보를 획득하기 쉽지 않다. 다음에서 한 프레임의 영상에서 조밀한 깊이 지도(dense depth map)를 생성하는 방법에 대해 설명한다.
도 1은 본 발명의 한 실시예에 따른 깊이 지도 정보 생성 장치의 구성도이다.
도 1을 참고하면, 깊이 정보 생성 장치(100)는 하나의 영상으로부터 다중 크기의 패치를 추출하고, 다중 크기의 패치로부터 영상 특징 정보를 획득하며, 이를 이용하여 영상 전체에 대한 깊이 정보를 획득한다. 이를 위해, 깊이 정보 생성 장치(100)는 영상 입력부(110), 패치 추출부(130), 특징 정보 추출부(150), 흐림 정보 획득부(170), 그리고 깊이 정보 획득부(190)를 포함한다. 깊이 정보 생성 장치(100)는 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하고, 프로세서와 메모리를 이용하여 본 발명에서 설명한 동작을 구현한 프로그램을 구동한다.
영상 입력부(110)는 깊이 정보 획득에 사용되는 영상을 입력 받는다. 영상 입력부(110)는 하나의 프레임 영상을 입력 받는 것을 가정한다.
패치 추출부(130)는 입력 영상의 흐림 추정을 위하여 영상의 경계의 세기에 따라 다양한 크기의 패치(Patch)를 추출(extraction)한다. 일반적으로 강한 경계의 경우 흐림 및 깊이 정보 추정에 많은 정보를 제공할 수 있는 경계 성분과 질감 성분을 포함하고 있으므로, 강한 경계에서는 작은 크기의 패치를 추출하고, 반면 약한 경계의 경우 정보의 양이 부족하므로, 큰 패치를 추출함으로써 흐림 및 깊이 정보 추정에 도움이 되는 정보를 많이 추출한다. 즉, 패치 추출부(130)는 입력 영상에서 질감(Texture)이 없이 균일한(Homogeneous)부분은 흐림 정도를 파악하기 위한 정보를 포함하고 있지 않기 때문에, 질감이 있는 부분의 패치만을 추출한다.
패치 추출부(130)는 영상의 에지(Edge) 정보를 검출하여 강한 경계 부분과 약한 경계 부분을 구별한다. 도 2는 본 발명의 한 실시예에 따라 입력 영상으로부터 약한 경계와 강한 경계를 추출한 것을 나타내는 도면이다. 도 2를 참고하면, 패치 추출부(130)는 캐니 경계 검출기(canny edge detector)를 이용하여 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
기준값은 강한 경계를 결정하기 위한 제1 기준값과, 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있으며, 기준값은 더 강한 경계 값을 추출하기 위하여 조절될 수 있다. 그리고 패치 추출부(130)는 강한 경계로 판단된 부분은 작은 스케일(scale)의 패치로, 약한 경계로 판단된 부분은 큰 스케일(scale)의 패치로 추출한다.
특징 정보 추출부(150)는 입력 영상에서 특징 정보를 추출(extraction)한다. 특징 정보란 입력 영상으로부터 깊이 정보를 획득하기 위하여 추출한 영상의 특징점(features)을 의미하며 특징 정보 추출부(150)는 영상의 필수 행렬(essential matrix)을 이용하여 특징 정보를 추출한다.
본 발명에 따른 깊이 정보 생성 장치(100)는 하나의 영상으로부터 깊이 정보를 획득하기 위하여 영상 패치의 고주파 성분, 경계값, 디테일을 분석하기 위하여 다양한 방식으로 영상의 특징점을 추출한다. 깊이 정보 생성 장치(100)는 DCT특징 정보 추출부(151), 경사 특징 정보 추출부(153), SVD 특징 정보 추출부(155), 그리고 깊은 특징 정보 추출부(157)를 포함한다.
도 3은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 DCT 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 3을 참고하면, DCT 특징 정보 추출부(151)는 패치 추출부(130)에서 추출한 영상 패치에 고주파 성분이 얼마나 포함되어 있는지를 분석하기 위하여 이산 코사인 변환(Discrete Cosine Transform, DCT) 특징 값을 계산한다. DCT 특징 값(
Figure 112016034059574-pat00001
)은 수학식 1과 같이 표현될 수 있다.
Figure 112016034059574-pat00002
DCT 특징 정보 추출부(151)가 수학식 1로부터 획득하는 값은
Figure 112016034059574-pat00003
이다. 여기서,
Figure 112016034059574-pat00004
는
Figure 112016034059574-pat00005
-차원의 벡터로 나타나는 DCT 특징 정보를 의미한다.
Figure 112016034059574-pat00006
는 극 좌표(Polar Coordinates)로 표현된 DCT 패치이다. DCT 패치는 패치 추출부(130)에서 추출한 패치에 대한 2D DCT를 계산하여 획득할 수 있다.
Figure 112016034059574-pat00007
는 Radial axis의 k번째 경계값을 의미하고,
Figure 112016034059574-pat00008
는
Figure 112016034059574-pat00009
와
Figure 112016034059574-pat00010
로 둘러싸인 영역의 넓이,
Figure 112016034059574-pat00011
는 특징의 합을 1로 만들기 위한 표준화 값, 그리고
Figure 112016034059574-pat00012
는 특징의 차원을 나타낸다.
도 4는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 경사 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 4를 참고하면, 경사 특징 정보 추출부(153)는 영상에 강한 경사도가 얼마나 포함되어 있는지 분석하기 위하여 영상 패치 내부의 경사도(Gradient)값 들을 이용하여 경사도 히스토그램을 추출(도 4a)하고, 이를 이용하여 경사 특징 값을 계산한다(도 4b). 경사 특징점(
Figure 112016034059574-pat00013
)은 수학식 2와 같이 표현될 수 있다.
Figure 112016034059574-pat00014
Figure 112016034059574-pat00015
는 영상 패치의 Gradient 히스토그램이고,
Figure 112016034059574-pat00016
는 특징의 합을 1로 만들기 위한 표준화 값, 그리고
Figure 112016034059574-pat00017
는 특징의 차원이다.
도 5는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 SVD 특징 정보를 나타내는 도면이다.
SVD 특징 정보 추출부(155)는 영상의 디테일이 포함되어 있는지 분석하기 위하여 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 도출하고, 이를 이용하여 SVD 특징 값을 추출한다. SVD 특징 값(
Figure 112016034059574-pat00018
)은 수학식 3과 같이 표현될 수 있다.
Figure 112016034059574-pat00019
Figure 112016034059574-pat00020
는 k번째 특이값(singular value)이고,
Figure 112016034059574-pat00021
는 특징의 합을 1로 만들기 위한 표준화 값, 그리고
Figure 112016034059574-pat00022
는 특징의 차원을 나타낸다.
입력 영상 크기가 [15x15]일 경우 특이값을 15개 얻을 수 있으며, 그 중 크기가 큰 순서대로 13개를 계산하여 특징 계산의 입력(
Figure 112016034059574-pat00023
)으로 사용하고, [27x27]일 경우 27개를 얻을 수 있으며, 그 중 크기가 큰 순서대로 25개를 계산하여 특징 계산의 입력(
Figure 112016034059574-pat00024
)으로 사용한다. 이것을 입력으로 계산한 SVD 특징은
Figure 112016034059574-pat00025
로 나타내며, 이것은
Figure 112016034059574-pat00026
-차원의 벡터로 나타낸다. 즉,
Figure 112016034059574-pat00027
의 출력을 얻게 된다.
도 6은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 깊은 특징 정보를 추출하는 과정을 나타내는 도면이고, 도 7은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 깊은 특징 정보를 나타내는 도면이다.
깊은 특징점 추출부(157)는 R,G,B 영상 패치를 이용하여 깊은 특징 정보(Deep Feature)을 추출한다.
깊은 특징 추출부(157)는 많은 수의 학습 데이터로 훈련된 컨벌루젼 네트워크(Convolutional Network)를 이용한다. 즉, R,G,B 영상 패치를 컨벌루젼 레이어(Convolutional Layer)와 풀링 레이어(Pooling Layer)의 반복으로 구성된 컨벌루젼 네트워크(Convolutional Network)를 통하여 깊은 특징점을 추출한다.
도 6를 참고하면, 첫번째 컨벌루젼 레이어에서 25개의 각각 다른 3x3 컨벌루젼 커널을 이용한 컨벌루젼 연산을 통해 특징맵(Feature Map)이 형성된다. 다음 특징맵은 2칸씩 이동하며 3x3 Max Pooling을 실시한다. 다음 컨벌루젼 레이어(Convolutional Layer)에서는 50개의 3x3 커널을 이용한 컨벌루젼을 실시하여 특징맵을 형성한다. 이 특징맵 역시 stride 2인 3x3 Max Pooling을 적용한다. 이어서 50개의 1x1 커널 을 이용해 컨벌루젼 연산을 적용하고, 마지막 레이어에서 25개의 1x1 커널을 이용해 컨벌루젼 연산을 수행한다. 각각의 컨벌루젼 이후에는 ReLU(Rectified Linear Unit) 정류기를 이용하였다. 마지막 25개의 1x1 커널을 이용해 25-크기 벡터(Dimensional Vector)로 나타나는 깊은 특징 정보(fc)을 얻을 수 있다.
도 8은 본 발명의 한 실시예에 따라 입력 영상 패치의 특징 정보로부터 흐림 정보를 추출하는 과정을 나타내는 도면이고, 도 9는 특징 정보에 해당 특징이 추출된 영상 패치의 크기 정보를 포함하는 것을 나타내는 도면이다.
도 8을 참고하면 흐림 정보 획득부(170)는 특징 정보 추출부(150)에서 추출한 특징 정보들을 이용하여 영상 패치의 흐림 정보를 계산한다. 흐림 정보 획득부(170)는 학습 데이터(Training data)를 이용하여 학습된 분류기(Classifier)를 이용하여 영상의 흐림 정보를 판별한다. 학습 데이터는 영상 패치와 그 패치에 해당하는 흐림 정도에 대한 레이블(Label)로 구성되어 있으며, 초점이 정확히 맞은 영상 내의 강한 경계에서 영상 패치를 추출하여, 임의로 생성한 흐림 커널(Blur kernel)을 적용하여 흐려진 패치를 만드는 방식으로 생성된다. 흐려진 영상 패치는 수학식 4와 같이 표현될 수 있다.
Figure 112016034059574-pat00028
Figure 112016034059574-pat00029
는 초점이 정확히 맞은 영상 내의 강한 경계에서 추출된 영상 패치이고,
Figure 112016034059574-pat00030
는 흐림 커널이다.
흐림 커널(
Figure 112016034059574-pat00031
)은 수학식 5와 같이 표현될 수 있다.
Figure 112016034059574-pat00032
Figure 112016034059574-pat00033
는 영상 패치 중심으로부터의 거리이고
Figure 112016034059574-pat00034
은 l번째 흐림 커널의 표준편차 값이다.
이 연산을 통해 알고 있는 흐림 커널을 통해 흐려진 영상 패치
Figure 112016034059574-pat00035
를 얻을 수 있다.
Figure 112016034059574-pat00036
에 대하여 각각 다른 값을 할당할 수 있고, 따라서 만일 어떤 영상 패치가 몇 번째 l 에 해당하는 흐림 커널로 생성된 흐려진 영상 패치임을 판별해 낼 수 있다면, 해당하는 흐림 커널인
Figure 112016034059574-pat00037
를 바로 알아낼 수 있다.
상술한 바와 같은 학습 데이터로 학습된 분류기(Classifier)는 특징 정보 추출부(150)에서 추출한 특징 정보를 이용하여 영상의 흐림 정도를 판단한다. 흐림 정보 획득부(170)는 특징 정보 추출부(150)에서 추출한 DCT 특징 정보, 경사 특징 정보, SVD 특징 정보, 그리고 깊은 특징 정보를 연결한 벡터를 이용하여 3 층의 각기 다른 수의 node를 가지는 Fully Connected Layer를 지나 최종적으로 1부터 L까지의 레이블에 해당할 확률을 반환하고, 가장 큰 확률을 가지는 레이블을 해당 입력의 레이블로 지정한다. 이 레이블이 바로 입력 패치의 흐림 정도의 척도가 된다.
도 8를 참고하면, 첫번째 층은 300개의 Node를 가지고 있고, ReLU(Rectified Linear Unit) 정류기를 이용하여 다음 층에 입력을 전달해 준다. 두번째 층은 150개의 Node를 가지고 있고, 역시 ReLU 정류기를 이용하여 다음 층에 입력을 전달해 준다. 세번째 층은 11개(L과 동일한 숫자)의 Node를 가지고 있고, 각 레이블에 속할 확률을 구하기 위해 ReLU정류기와 Softmax function을 사용하였다.
이때, 영상 패치의 크기는 일률적이지 않고, 경계값의 특성에 따라 멀티 스케일로 구성되어 있으므로, 학습 자료를 만드는 경우 학습이 수렴하지 않을 수 있다. 따라서 도 9와 같이 특징 정보 자체에 크기 정보를 포함하기 위하여 각 크기에서 추출된 특징을 기록하는 위치를 정하고, 각 위치에 해당하는 Neural Network의 Bias term을 대체하기 위한 상수 위치를 추가적으로 할당한다. 추가적으로 할당된 상수 위치에 해당하는 Weight는 Bias의 역할을 대신하게 되고, 다중 크기(Multi-scale)에서 추출된 특징을 이용한 학습의 수렴이 가능하도록 하였다.
이렇게, 흐림 정보 획득부(170)는 복원된 깊이 정보를 획득할 수 있지만, 희소한 추출 패치의 깊이 정보만을 추출하기 때문에 전체 영상의 정확한 깊이 정보를 생성하기에는 불충분하다. 다음에서, 영상 전체의 조밀(dense) 깊이 정보를 획득하는 방법에 대해 설명한다.
깊이 정보 획득부(190)는 흐림 정보 획득부(170)에서 영상 패치의 흐림 정보를 기초로 영상 전체 픽셀의 깊이 정보를 복원한다. 깊이 정보 획득부(190)는 흐림 정보 획득부(170)에서 추출한 영상 패치의 흐림 정보를 초기 깊이 정보로 사용하는 깊이 전파 방법(depth propagation method)을 이용하여 영상 전체의 깊이 정보를 획득할 수 있다.
깊이 정보 획득부(190)는 영상 전체에 대한 깊이 정보 획득을 위해 영상의 색 정보와 흐림 정보를 이용한다. 이때, 입력 영상을 그대로 사용한다면 영상 패치에 포함되어 있는 작은 질감에 의해 전파 과정시 잡음이 발생할 가능성이 있으므로, 경계 보존형 평활 필터(Edge-preserving smoothing filter)를 적용할 수 있다.
입력 영상의 경계에서 얻은 흐림 정보를 이웃한 픽셀에 전파하기 위하여 이웃한 픽셀간의 색은 RGB 공간의 직선 상에 존재한다는 컬러 라인 모델(color line model)을 적용하였으며, 컬러 라인 모델을 이용한 한 매팅 라플라시안 매트릭스(matting Laplacian matrix)는 수학식 6과 같이 표현될 수 있다.
Figure 112016034059574-pat00038
수학식 6에서
Figure 112016034059574-pat00039
는 각각 픽셀의 선형 인덱스 값,
Figure 112016034059574-pat00040
는 중심이 k인 관심 영역,
Figure 112016034059574-pat00041
는 Kronecker 델타 함수,
Figure 112016034059574-pat00042
는 관심 영역의 평균 및 분산값,
Figure 112016034059574-pat00043
는 단위행렬, 그리고
Figure 112016034059574-pat00044
는 정규화 상수이다. 경계 보존형 평활 필터를 적용한 입력 영상
Figure 112016034059574-pat00045
의 각 픽셀 위치(i,j,k)에서의 RGB값([r,g,b])을 이용하여 관심 영역의 평균 및 분산값을 계산하고, 이를 통해 매팅 라플라시안 매트릭스(L)을 계산한다.
최종적으로, 깊이 정보 획득부(190)는 입력 영상의 매팅 라플라시안 매트릭스(L)와 흐림 정보 획득부(170)에서 획득한 경계에서의 흐림 정도 값()을 기초로 전체 영상의 깊이 정보
Figure 112016034059574-pat00046
를 계산하며, 전체 영상의 깊이 정보는 수학식 7과 같이 표현될 수 있다.
Figure 112016034059574-pat00047
수학식 7에서,
Figure 112016034059574-pat00048
는 영상 경계에서의 흐림 정보,
Figure 112016034059574-pat00049
는 사용자 변수, 그리고
Figure 112016034059574-pat00050
는
Figure 112016034059574-pat00051
가 0이 아닐 경우
Figure 112016034059574-pat00052
가
Figure 112016034059574-pat00053
인 행렬이다.
도 10은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법의 흐름도이고, 도 11은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법을 나타내는 도면이다.
도 10과 도 11을 참고하면, 깊이 정보 생성 장치(100)는 한 프레임의 단일 영상을 입력 받는다(S110).
깊이 정보 생성 장치(100)는 입력 영상의 경계의 세기에 따라 다중스케일의 영상 패치를 추출한다(S120). 깊이 정보 생성 장치(100)는 영상의 에지(Edge) 정보를 검출하여 강한 경계 부분과 약한 경계 부분을 구별한 다음, 강한 경계로 판단된 부분은 작은 스케일(scale)의 패치로, 약한 경계로 판단된 부분은 큰 스케일(scale)의 패치로 추출한다.
깊이 정보 생성 장치(100)는 추출한 다중 스케일의 영상 패치로부터 희소 특징 정보를 구한다(S130). 이때, 특징 정보란 입력 영상으로부터 깊이 정보를 획득하기 위하여 추출한 영상의 특징점이다. 깊이 정보 생성 장치(100)는 수학식 1, 수학식 2 , 수학식 3 를 사용하여 영상의 DCT 특징 정보, 경사도 특징 정보, SVD 특징 정보, 그리고 깊은 특징 정보를 계산한다. 즉, 깊이 정보 생성 장치(100)는 단일 영상으로부터 깊이 정보를 획득하기 위하여 다양한 방식으로 영상의 특징 정보를 계산한다.
깊이 정보 생성 장치(100)는 특징 정보를 종합하여 영상의 흐림 정도를 계산한다(S140). 깊이 정보 생성 장치(100)는 학습 데이터로 학습된 분류기(Classifier)를 이용하여 추출한 특징 정보를 기초로 영상의 흐림 정도를 추출한다.
깊이 정보 생성 장치(100)는 흐림 정보를 기초로 영상 전체 픽셀의 깊이 정보를 복원한다(S150). 깊이 정보 생성 장치(100)는 깊이 전파 방법(depth propagation method)을 이용하여 흐름 정보로부터 조밀한 깊이 정보를 획득할 수 있다. 깊이 정보 생성 장치(100)는 영상 전체에 대한 깊이 정보 획득을 위해 영상의 색 정보와 흐름 정보를 나타내는 특징점들의 3차원 좌표를 이용할 수 있다.
이와 같은 방법으로 깊이 정보 생성 장치(100)는 한 프레임의 단일 영상으로부터 도 11의 (h)와 같은 깊이 정보를 획득할 수 있다.
다음에서 깊이 정보 생성 장치(100)에 의해 생성된 깊이 정보를 이용하여 응용할 수 있는 분야에 대하여 설명한다.
도 12 내지 도 15는 본 발명의 한 실시예에 따라 획득한 깊이 정보를 응용할 수 있는 기술 분야의 예시이다.
도 12를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 다른 영상과의 합성에 응용할 수 있다. 이때, 추정된 흐림 및 깊이 정보를 통해 추출한 전경 및 배경 영역을 이용하여 영상 합성을 수행할 수 있다.
도 13을 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 흐림 정도를 증가하여 영상의 전경을 강조하는데 이용될 수 있다.
도 14를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 디블러링(deblurring) 즉, 초점을 복원하는 데에 이용될 수 있다.
도 15를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 3D 영상으로 복원하는데 이용될 수 있다.
도 15는 본 발명의 한 실시예에 따라 생성된 깊이 정보 및 3차원 영상과 종래 기술에 의해 생성된 깊이 지도 및 3차원 영상을 비교한다.
일반적으로 종래에는 한 장의 영상을 이용해 흐림 정도를 추정할 때, 원본 영상의 경계 크기(Edge gradient magnitude)와 임의로 생성한 흐림 커널(Blur kernel)에 의해 흐려진(Blurred) 경계 크기와의 비율을 이용하여 흐림 정도를 추정한다. 경계에서 추정된 흐림 정도는 입력 영상의 색 정보(Color Information)을 이용하여 전체 영상으로 전파된다. 이 방법의 정확도는 경계 정렬(Edge alignment)의 정확도에 크게 좌우되며, 입력 영상을 이용한 전파의 경우 작은 질감(Small texture)에 의해 쉽게 잘못된 값으로 전파되는 경우가 많다. 따라서 전체 흐림 정도의 신뢰성이 매우 떨어진다.
도 15를 참고하면, 본 발명이 종래 기술보다 고품질의 깊이 정보를 획득하고, 정확한 3차원 영상을 획득할 수 있다.
이와 같이, 본 발명은 하나의 단일 영상으로부터 정확한 깊이 정보를 획득할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (17)

  1. 깊이 정보 생성 장치로서,
    입력 영상의 경계 성분을 추출하고, 상기 경계 성분의 강도에 따라 다중 크기(Multi-scale)의 영상 패치를 추출하는 패치 추출부,
    상기 영상 패치로부터 상기 입력 영상의 흐림 정보를 판단하기 위한 적어도 하나 이상의 특징 정보를 추출하는 특징 정보 추출부,
    상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정보를 계산하는 흐림 정보 획득부, 그리고
    상기 영상 패치들의 깊이 정보와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함하며,
    상기 특징 정보 추출부는
    상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 DCT특징 정보 추출부,
    상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 경사 특징 정보 추출부,
    상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 SVD 특징 정보 추출부, 그리고
    상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 깊은 특징 정보 추출부를 포함하는 깊이 정보 생성 장치.
  2. 제1항에서,
    상기 패치 추출부는 캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정하는 깊이 정보 생성 장치.
  3. 제2항에서,
    상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함하는 깊이 정보 생성 장치.
  4. 삭제
  5. 제1항에서,
    상기 흐림 정보 획득부는
    상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산하는 깊이 정보 생성 장치.
  6. 제5항에서,
    상기 깊이 정보 획득부는
    상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득하는 깊이 정보 생성 장치.
  7. 깊이 정보 생성 장치로서,
    프로그램을 저장하는 메모리,
    상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고,
    상기 프로그램은 입력 영상으로부터 깊이 정보를 생성하기 위한 프로그램을 포함하고,
    상기 프로그램은 상기 입력 영상의 경계 성분의 강도에 따라 다중 크기의 영상 패치를 추출하고, 상기 영상 패치로부터 적어도 하나 이상의 특징 정보를 추출하고, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정도를 계산하며, 상기 흐림 정도와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 계산하는 명령어들을 포함하며,
    상기 프로그램은
    상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하고, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사 특징 정보를 계산하고, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하며, 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 명령어들을 더 포함하는 깊이 정보 생성 장치.
  8. 제7항에서,
    상기 프로그램은
    캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정하는 명령어들을 포함하는 깊이 정보 생성 장치.
  9. 제8항에서,
    상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함하는 깊이 정보 생성 장치.
  10. 삭제
  11. 제7항에서,
    상기 프로그램은
    학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 상기 영상 패치의 흐림 정도를 계산하는 명령어들을 포함하는 깊이 정보 생성 장치.
  12. 제7항에서,
    상기 프로그램은
    상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 계산하는 명령어들을 포함하는 깊이 정보 생성 장치.
  13. 장치의 깊이 정보 생성 방법으로서,
    한 프레임의 단일 영상을 입력 받는 단계,
    상기 영상 경계의 세기에 따라 다중 스케일의 영상 패치를 추출하는 단계,
    상기 영상 패치로부터 적어도 하나의 특징 정보를 추출하는 단계,
    상기 특징 정보를 기초로 영상 흐림 정보를 추출하는 단계, 그리고
    상기 영상 흐림 정보를 기초로 전체 영상 픽셀의 깊이 정보를 획득하는 단계를 포함하며,
    상기 특징 정보를 추출하는 단계는
    상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 단계,
    상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 단계,
    상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 단계, 그리고
    상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 단계를 포함하는 깊이 정보 생성 방법.
  14. 제13항에서,
    상기 영상 패치를 추출하는 단계는
    캐니 경계 검출 방법(canny edge detect method)을 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정하는 깊이 정보 생성 방법.
  15. 삭제
  16. 제13항에서,
    상기 영상 흐림 정보를 추출하는 단계는
    상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산하는 깊이 정보 생성 방법.
  17. 제16항에서,
    상기 깊이 정보를 획득하는 단계는
    상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득하는 깊이 정보 생성 방법.
KR1020160043345A 2016-04-08 2016-04-08 깊이 정보 생성 장치 및 방법 KR101825218B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160043345A KR101825218B1 (ko) 2016-04-08 2016-04-08 깊이 정보 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160043345A KR101825218B1 (ko) 2016-04-08 2016-04-08 깊이 정보 생성 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010958A Division KR101921608B1 (ko) 2018-01-29 2018-01-29 깊이 정보 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170115757A KR20170115757A (ko) 2017-10-18
KR101825218B1 true KR101825218B1 (ko) 2018-02-02

Family

ID=60296647

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160043345A KR101825218B1 (ko) 2016-04-08 2016-04-08 깊이 정보 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101825218B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101976290B1 (ko) * 2017-12-13 2019-05-07 연세대학교 산학협력단 깊이 정보 생성을 위한 학습 장치 및 방법과 깊이 정보 생성 장치 및 방법 그리고 이에 관한 기록 매체
KR102660089B1 (ko) * 2021-10-26 2024-04-23 한국전자기술연구원 객체 깊이 추정 방법 및 장치, 이를 이용한 이동 장치
KR102616081B1 (ko) * 2022-05-19 2023-12-20 주식회사 브이알크루 깊이 맵의 특징점을 획득하기 위한 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517951A (ja) * 2005-12-02 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 立体画像表示方法、２次元画像データの入力から３次元画像データを生成する方法及び装置
JP2016018340A (ja) * 2014-07-07 2016-02-01 サクサ株式会社 画像処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517951A (ja) * 2005-12-02 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 立体画像表示方法、２次元画像データの入力から３次元画像データを生成する方法及び装置
JP2016018340A (ja) * 2014-07-07 2016-02-01 サクサ株式会社 画像処理装置

Also Published As

Publication number Publication date
KR20170115757A (ko) 2017-10-18

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
Feng et al. Local background enclosure for RGB-D salient object detection
CN109190581B (zh) 图像序列目标检测识别方法
Wang et al. Single image defogging by multiscale depth fusion
Santhaseelan et al. Utilizing local phase information to remove rain from video
CN108694705B (zh) 一种多帧图像配准与融合去噪的方法
Wulff et al. Modeling blurred video with layers
JP6438403B2 (ja) 結合された深度キューに基づく平面視画像からの深度マップの生成
Sun et al. HDR image construction from multi-exposed stereo LDR images
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
TW200840365A (en) Motion-blur degraded image restoration method
US20150138322A1 (en) Image processing device and its control method, imaging apparatus, and storage medium
US20150254814A1 (en) Globally dominant point spread function estimation
US20150294186A1 (en) Point spread function classification using structural properties
WO2018171008A1 (zh) 一种基于光场图像的高光区域修复方法
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
KR20110136016A (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Wang et al. Depth map recovery based on a unified depth boundary distortion model
Tallon et al. Space-variant blur deconvolution and denoising in the dual exposure problem
Jung et al. Multispectral fusion of rgb and nir images using weighted least squares and convolution neural networks
Ahn et al. Segmenting a noisy low-depth-of-field image using adaptive second-order statistics
Hu et al. Color image guided locality regularized representation for Kinect depth holes filling

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
R401 Registration of restoration