KR20180014149A - 깊이 정보 생성 장치 및 방법 - Google Patents

깊이 정보 생성 장치 및 방법 Download PDF

Info

Publication number
KR20180014149A
KR20180014149A KR1020180010958A KR20180010958A KR20180014149A KR 20180014149 A KR20180014149 A KR 20180014149A KR 1020180010958 A KR1020180010958 A KR 1020180010958A KR 20180010958 A KR20180010958 A KR 20180010958A KR 20180014149 A KR20180014149 A KR 20180014149A
Authority
KR
South Korea
Prior art keywords
information
image
feature information
patch
blur
Prior art date
Application number
KR1020180010958A
Other languages
English (en)
Other versions
KR101921608B1 (ko
Inventor
권인소
박진선
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020180010958A priority Critical patent/KR101921608B1/ko
Publication of KR20180014149A publication Critical patent/KR20180014149A/ko
Application granted granted Critical
Publication of KR101921608B1 publication Critical patent/KR101921608B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

깊이 정보 생성 장치로서, 입력 영상의 경계 성분을 추출하고, 상기 경계 성분의 강도에 따라 다중 크기(Multi-scale)의 영상 패치를 추출하는 패치 추출부, 상기 영상 패치로부터 상기 입력 영상의 흐림 정보를 판단하기 위한 적어도 하나 이상의 특징 정보를 추출하는 특징 정보 추출부, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정보를 계산하는 흐림 정보 획득부, 그리고 상기 영상 패치들의 깊이 정보와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.

Description

깊이 정보 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH INFORMATION}
본 발명은 깊이 정보 생성 장치 및 방법에 관한 것이다.
일반적으로 영상에서 흐림 정도 및 깊이 정보를 추정하는 방법은 초점 거리를 다르게 하여 획득한 영상을 토대로 정보를 획득하므로, 여러 장의 영상을 획득해야 한다.
단일 영상에서 깊이 정보를 추정하는 일반적인 방법에서는 균일한 영역(Homogeneous region)에서는 흐림 정도의 불확실성이 존재하며, 패치 기반(Patch based) 연구의 경우 패치 크기의 불확실성이 흐림 추정의 불확실성 (depth uncertainty)을 증가시켜 정확한 깊이 정보를 획득하는데 어려움이 있다.
본 발명이 해결하고자 하는 과제는 한 프레임의 단일 영상으로부터 정확한 깊이 정보를 추정하는 장치 및 방법을 제공하는 것이다.
본 발명의 한 실시예에서 깊이 정보 생성 장치는 입력 영상의 경계 성분을 추출하고, 상기 경계 성분의 강도에 따라 다중 크기(Multi-scale)의 영상 패치를 추출하는 패치 추출부, 상기 영상 패치로부터 상기 입력 영상의 흐림 정보를 판단하기 위한 적어도 하나 이상의 특징 정보를 추출하는 특징 정보 추출부, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정보를 계산하는 흐림 정보 획득부, 그리고 상기 영상 패치들의 깊이 정보와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 획득하는 깊이 정보 획득부를 포함한다.
상기 패치 추출부는 캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있다.
상기 특징 정보 추출부는 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 DCT특징 정보 추출부, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 경사 특징 정보 추출부, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 SVD 특징 정보 추출부, 그리고 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 깊은 특징 정보 추출부를 포함할 수 있다.
상기 흐림 정보 획득부는 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산할 수 있다.
상기 깊이 정보 획득부는 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득할 수 있다.
본 발명의 한 실시예에 따른 깊이 정보 생성 장치는 프로그램을 저장하는 메모리, 상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고, 상기 프로그램은 입력 영상으로부터 깊이 정보를 생성하기 위한 프로그램을 포함하고, 상기 프로그램은 상기 입력 영상의 경계 성분의 강도에 따라 다중 크기의 영상 패치를 추출하고, 상기 영상 패치로부터 적어도 하나 이상의 특징 정보를 추출하고, 상기 특징 정보를 이용하여 상기 영상 패치의 흐림 정도를 계산하며, 상기 흐림 정도와 상기 입력 영상의 색상 정보를 이용하여 전체 영상의 깊이 정보를 계산하는 명령어들을 포함한다.
상기 프로그램은 캐니 경계 검출기(canny edge detector)를 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준 값 이하인 부분은 약한 경계로 결정하고, 상기 기준 값 초과인 부분은 강한 경계로 결정하는 명령어들을 포함할 수 있다.
상기 기준값은 상기 강한 경계를 결정하기 위한 제1 기준값과, 상기 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있다.
상기 프로그램은 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하고, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사 특징 정보를 계산하고, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하며, 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 명령어들을 포함할 수 있다.
상기 프로그램은 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 상기 영상 패치의 흐림 정도를 계산하는 명령어들을 포함할 수 있다.
상기 프로그램은 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 계산하는 명령어들을 포함할 수 있다.
본 발명의 한 실시예에 따른 장치의 깊이 정보 생성 방법은 한 프레임의 단일 영상을 입력 받는 단계, 상기 영상 경계의 세기에 따라 다중 스케일의 영상 패치를 추출하는 단계, 상기 영상 패치로부터 적어도 하나의 특징 정보를 추출하는 단계, 상기 특징 정보를 기초로 영상 흐림 정보를 추출하는 단계, 그리고 상기 영상 흐림 정보를 기초로 전체 영상 픽셀의 깊이 정보를 획득하는 단계를 포함한다.
상기 영상 패치를 추출하는 단계는 캐니 경계 검출 방법(canny edge detect method)을 이용하여 상기 영상에 포함된 픽셀 중 그 경계 값이 기준값 이하인 부분은 약한 경계로 결정하고, 상기 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
상기 특징 정보를 추출하는 단계는 상기 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 단계, 상기 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 단계, 상기 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 단계, 그리고 상기 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 단계를 포함할 수 있다.
상기 영상 흐림 정보를 추출하는 단계는 상기 DCT 특징 정보, 상기 경사 특징 정보, 상기 SVD 특징 정보, 그리고 깊은 특징 정보를 기초로 학습 데이터로 학습된 분류기(Classifier)를 통하여 상기 영상 패치의 흐림 정도를 계산할 수 있다.
상기 깊이 정보를 획득하는 단계는 상기 영상 패치의 흐림 정도와 상기 영상 패치의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법(depth propagation method)을 이용하여 상기 입력 영상에 포함된 픽셀의 깊이 정보를 획득할 수 있다.
본 발명의 실시예에 따르면 한 프레임의 단일 영상으로부터 보다 정확한 고품질의 깊이 정보를 획득할 수 있다.
도 1은 본 발명의 한 실시예에 따른 깊이 지도 정보 생성 장치의 구성도이다.
도 2는 본 발명의 한 실시예에 따라 입력 영상으로부터 약한 경계와 강한 경계를 추출한 것을 나타내는 도면이다.
도 3은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 DCT 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 4는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 경사 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 5는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 SVD 특징 정보를 나타내는 도면이다.
도 6은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 깊은 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 7은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 깊은 특징 정보를 나타내는 도면이다.
도 8은 본 발명의 한 실시예에 따라 입력 영상 패치의 특징 정보로부터 흐림 정보를 추출하는 과정을 나타내는 도면이다.
도 9는 특징 정보에 해당 특징이 추출된 영상 패치의 크기 정보를 포함하는 것을 나타내는 도면이다.
도 10은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법의 흐름도이다.
도 11은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법을 나타내는 도면이다.
도 12 내지 도 15는 본 발명의 한 실시예에 따라 획득한 깊이 정보를 응용할 수 있는 기술 분야의 예시이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
한 프레임의 단일 영상은 예를 들면, 모바일 단말이나 DSLR과 같은 디지털 카메라로 촬영된 영상일 수 있다. 하나의 영상에서는 정확한 깊이 정보를 획득하기 쉽지 않다. 다음에서 한 프레임의 영상에서 조밀한 깊이 지도(dense depth map)를 생성하는 방법에 대해 설명한다.
도 1은 본 발명의 한 실시예에 따른 깊이 지도 정보 생성 장치의 구성도이다.
도 1을 참고하면, 깊이 정보 생성 장치(100)는 하나의 영상으로부터 다중 크기의 패치를 추출하고, 다중 크기의 패치로부터 영상 특징 정보를 획득하며, 이를 이용하여 영상 전체에 대한 깊이 정보를 획득한다. 이를 위해, 깊이 정보 생성 장치(100)는 영상 입력부(110), 패치 추출부(130), 특징 정보 추출부(150), 흐림 정보 획득부(170), 그리고 깊이 정보 획득부(190)를 포함한다. 깊이 정보 생성 장치(100)는 적어도 하나의 프로세서와 적어도 하나의 메모리를 포함하고, 프로세서와 메모리를 이용하여 본 발명에서 설명한 동작을 구현한 프로그램을 구동한다.
영상 입력부(110)는 깊이 정보 획득에 사용되는 영상을 입력받는다. 영상 입력부(110)는 하나의 프레임 영상을 입력 받는 것을 가정한다.
패치 추출부(130)는 입력 영상의 흐림 추정을 위하여 영상의 경계의 세기에 따라 다양한 크기의 패치(Patch)를 추출(extraction)한다. 일반적으로 강한 경계의 경우 흐림 및 깊이 정보 추정에 많은 정보를 제공할 수 있는 경계 성분과 질감 성분을 포함하고 있으므로, 강한 경계에서는 작은 크기의 패치를 추출하고, 반면 약한 경계의 경우 정보의 양이 부족하므로, 큰 패치를 추출함으로써 흐림 및 깊이 정보 추정에 도움이 되는 정보를 많이 추출한다. 즉, 패치 추출부(130)는 입력 영상에서 질감(Texture)이 없이 균일한(Homogeneous) 부분은 흐림 정도를 파악하기 위한 정보를 포함하고 있지 않기 때문에, 질감이 있는 부분의 패치만을 추출한다.
패치 추출부(130)는 영상의 에지(Edge) 정보를 검출하여 강한 경계 부분과 약한 경계 부분을 구별한다. 도 2는 본 발명의 한 실시예에 따라 입력 영상으로부터 약한 경계와 강한 경계를 추출한 것을 나타내는 도면이다. 도 2를 참고하면, 패치 추출부(130)는 캐니 경계 검출기(canny edge detector)를 이용하여 영상에 포함된 픽셀 중 경계값이 기준값 이하인 부분은 약한 경계로 결정하고, 기준값 초과인 부분은 강한 경계로 결정할 수 있다.
기준값은 강한 경계를 결정하기 위한 제1 기준값과, 약한 경계를 결정하기 위한 제2 기준값을 포함할 수 있으며, 기준값은 더 강한 경계값을 추출하기 위하여 조절될 수 있다. 그리고 패치 추출부(130)는 강한 경계로 판단된 부분은 작은 스케일(scale)의 패치로, 약한 경계로 판단된 부분은 큰 스케일(scale)의 패치로 추출한다.
특징 정보 추출부(150)는 입력 영상에서 특징 정보를 추출(extraction)한다. 특징 정보란 입력 영상으로부터 깊이 정보를 획득하기 위하여 추출한 영상의 특징점(features)을 의미하며 특징 정보 추출부(150)는 영상의 필수 행렬(essential matrix)을 이용하여 특징 정보를 추출한다.
본 발명에 따른 깊이 정보 생성 장치(100)는 하나의 영상으로부터 깊이 정보를 획득하기 위하여 영상 패치의 고주파 성분, 경계값, 디테일을 분석하기 위하여 다양한 방식으로 영상의 특징점을 추출한다. 깊이 정보 생성 장치(100)는 DCT특징 정보 추출부(151), 경사 특징 정보 추출부(153), SVD 특징 정보 추출부(155), 그리고 깊은 특징 정보 추출부(157)를 포함한다.
도 3은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 DCT 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 3을 참고하면, DCT 특징 정보 추출부(151)는 패치 추출부(130)에서 추출한 영상 패치에 고주파 성분이 얼마나 포함되어 있는지를 분석하기 위하여 이산 코사인 변환(Discrete Cosine Transform, DCT) 특징값을 계산한다. DCT 특징 값(fD)은 수학식 1과 같이 표현될 수 있다.
Figure pat00001
DCT 특징 정보 추출부(151)가 수학식 1로부터 획득하는 값은 fD이다. 여기서, fD는 nD-차원의 벡터로 나타나는 DCT 특징 정보를 의미한다.
Figure pat00002
는 극 좌표(Polar Coordinates)로 표현된 DCT 패치이다. DCT 패치는 패치 추출부(130)에서 추출한 패치에 대한 2D DCT를 계산하여 획득할 수 있다.
Figure pat00003
는 Radial axis의 k번째 경계값을 의미하고,
Figure pat00004
는
Figure pat00005
와
Figure pat00006
로 둘러싸인 영역의 넓이, WD는 특징의 합을 1로 만들기 위한 표준화 값, 그리고 nD는 특징의 차원을 나타낸다.
도 4는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 경사 특징 정보를 추출하는 과정을 나타내는 도면이다.
도 4를 참고하면, 경사 특징 정보 추출부(153)는 영상에 강한 경사도가 얼마나 포함되어 있는지 분석하기 위하여 영상 패치 내부의 경사도(Gradient)값 들을 이용하여 경사도 히스토그램을 추출(도 4a)하고, 이를 이용하여 경사 특징 값을 계산한다(도 4b). 경사 특징점(fG)은 수학식 2와 같이 표현될 수 있다.
Figure pat00007
HG는 영상 패치의 Gradient 히스토그램이고, WG는 특징의 합을 1로 만들기 위한 표준화 값, 그리고 nD는 특징의 차원이다.
도 5는 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 SVD 특징 정보를 나타내는 도면이다.
SVD 특징 정보 추출부(155)는 영상의 디테일이 포함되어 있는지 분석하기 위하여 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 도출하고, 이를 이용하여 SVD 특징값을 추출한다. SVD 특징 값(fs)은 수학식 3과 같이 표현될 수 있다.
Figure pat00008
Figure pat00009
는 k번째 특이값(singular value)이고, Ws는 특징의 합을 1로 만들기 위한 표준화 값, 그리고 nS는 특징의 차원을 나타낸다.
입력 영상 크기가 [15x15]일 경우 특이값을 15개 얻을 수 있으며, 그 중 크기가 큰 순서대로 13개를 계산하여 특징 계산의 입력(
Figure pat00010
)으로 사용하고, [27x27]일 경우 27개를 얻을 수 있으며, 그 중 크기가 큰 순서대로 25개를 계산하여 특징 계산의 입력(
Figure pat00011
)으로 사용한다. 이것을 입력으로 계산한 SVD 특징은 fs로 나타내며, 이것은 nS-차원의 벡터로 나타낸다. 즉,
Figure pat00012
의 출력을 얻게 된다.
도 6은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 깊은 특징 정보를 추출하는 과정을 나타내는 도면이고, 도 7은 본 발명의 한 실시예에 따라 입력 영상 패치로부터 추출한 깊은 특징 정보를 나타내는 도면이다.
깊은 특징점 추출부(157)는 R,G,B 영상 패치를 이용하여 깊은 특징 정보(Deep Feature)을 추출한다.
깊은 특징 추출부(157)는 많은 수의 학습 데이터로 훈련된 컨벌루젼 네트워크(Convolutional Network)를 이용한다. 즉, R,G,B 영상 패치를 컨벌루젼 레이어(Convolutional Layer)와 풀링 레이어(Pooling Layer)의 반복으로 구성된 컨벌루젼 네트워크(Convolutional Network)를 통하여 깊은 특징점을 추출한다.
도 6를 참고하면, 첫번째 컨벌루젼 레이어에서 25개의 각각 다른 3x3 컨벌루젼 커널을 이용한 컨벌루젼 연산을 통해 특징맵(Feature Map)이 형성된다. 다음 특징맵은 2칸씩 이동하며 3x3 Max Pooling을 실시한다. 다음 컨벌루젼 레이어(Convolutional Layer)에서는 50개의 3x3 커널을 이용한 컨벌루젼을 실시하여 특징맵을 형성한다. 이 특징맵 역시 stride 2인 3x3 Max Pooling을 적용한다. 이어서 50개의 1x1 커널 을 이용해 컨벌루젼 연산을 적용하고, 마지막 레이어에서 25개의 1x1 커널을 이용해 컨벌루젼 연산을 수행한다. 각각의 컨벌루젼 이후에는 ReLU(Rectified Linear Unit) 정류기를 이용하였다. 마지막 25개의 1x1 커널을 이용해 25-크기 벡터(Dimensional Vector)로 나타나는 깊은 특징 정보(fc)을 얻을 수 있다.
도 8은 본 발명의 한 실시예에 따라 입력 영상 패치의 특징 정보로부터 흐림 정보를 추출하는 과정을 나타내는 도면이고, 도 9는 특징 정보에 해당 특징이 추출된 영상 패치의 크기 정보를 포함하는 것을 나타내는 도면이다.
도 8을 참고하면 흐림 정보 획득부(170)는 특징 정보 추출부(150)에서 추출한 특징 정보들을 이용하여 영상 패치의 흐림 정보를 계산한다. 흐림 정보 획득부(170)는 학습 데이터(Training data)를 이용하여 학습된 분류기(Classifier)를 이용하여 영상의 흐림 정보를 판별한다. 학습 데이터는 영상 패치와 그 패치에 해당하는 흐림 정도에 대한 레이블(Label)로 구성되어 있으며, 초점이 정확히 맞은 영상 내의 강한 경계에서 영상 패치를 추출하여, 임의로 생성한 흐림 커널(Blur kernel)을 적용하여 흐려진 패치를 만드는 방식으로 생성된다. 흐려진 영상 패치는 수학식 4와 같이 표현될 수 있다.
Figure pat00013
Figure pat00014
는 초점이 정확히 맞은 영상 내의 강한 경계에서 추출된 영상 패치이고,
Figure pat00015
는 흐림 커널이다.
흐림 커널(
Figure pat00016
)은 수학식 5와 같이 표현될 수 있다.
Figure pat00017
x,y는 영상 패치 중심으로부터의 거리이고
Figure pat00018
은 l번째 흐림 커널의 표준편차 값이다.
이 연산을 통해 알고 있는 흐림 커널을 통해 흐려진 영상 패치
Figure pat00019
를 얻을 수 있다.
Figure pat00020
에 대하여 각각 다른 값을 할당할 수 있고, 따라서 만일 어떤 영상 패치가 몇 번째 l 에 해당하는 흐림 커널로 생성된 흐려진 영상 패치임을 판별해 낼 수 있다면, 해당하는 흐림 커널인
Figure pat00021
를 바로 알아낼 수 있다.
상술한 바와 같은 학습 데이터로 학습된 분류기(Classifier)는 특징 정보 추출부(150)에서 추출한 특징 정보를 이용하여 영상의 흐림 정도를 판단한다. 흐림 정보 획득부(170)는 특징 정보 추출부(150)에서 추출한 DCT 특징 정보, 경사 특징 정보, SVD 특징 정보, 그리고 깊은 특징 정보를 연결한 벡터를 이용하여 3 층의 각기 다른 수의 node를 가지는 Fully Connected Layer를 지나 최종적으로 1부터 L까지의 레이블에 해당할 확률을 반환하고, 가장 큰 확률을 가지는 레이블을 해당 입력의 레이블로 지정한다. 이 레이블이 바로 입력 패치의 흐림 정도의 척도가 된다.
도 8를 참고하면, 첫번째 층은 300개의 Node를 가지고 있고, ReLU(Rectified Linear Unit) 정류기를 이용하여 다음 층에 입력을 전달해 준다. 두 번째 층은 150개의 Node를 가지고 있고, 역시 ReLU 정류기를 이용하여 다음 층에 입력을 전달해 준다. 세 번째 층은 11개(L과 동일한 숫자)의 Node를 가지고 있고, 각 레이블에 속할 확률을 구하기 위해 ReLU정류기와 Softmax function을 사용하였다.
이때, 영상 패치의 크기는 일률적이지 않고, 경계값의 특성에 따라 멀티 스케일로 구성되어 있으므로, 학습 자료를 만드는 경우 학습이 수렴하지 않을 수 있다. 따라서 도 9와 같이 특징 정보 자체에 크기 정보를 포함하기 위하여 각 크기에서 추출된 특징을 기록하는 위치를 정하고, 각 위치에 해당하는 Neural Network의 Bias term을 대체하기 위한 상수 위치를 추가적으로 할당한다. 추가적으로 할당된 상수 위치에 해당하는 Weight는 Bias의 역할을 대신하게 되고, 다중 크기(Multi-scale)에서 추출된 특징을 이용한 학습의 수렴이 가능하도록 하였다.
이렇게, 흐림 정보 획득부(170)는 복원된 깊이 정보를 획득할 수 있지만, 희소한 추출 패치의 깊이 정보만을 추출하기 때문에 전체 영상의 정확한 깊이 정보를 생성하기에는 불충분하다. 다음에서, 영상 전체의 조밀(dense) 깊이 정보를 획득하는 방법에 대해 설명한다.
깊이 정보 획득부(190)는 흐림 정보 획득부(170)에서 영상 패치의 흐림 정보를 기초로 영상 전체 픽셀의 깊이 정보를 복원한다. 깊이 정보 획득부(190)는 흐림 정보 획득부(170)에서 추출한 영상 패치의 흐림 정보를 초기 깊이 정보로 사용하는 깊이 전파 방법(depth propagation method)을 이용하여 영상 전체의 깊이 정보를 획득할 수 있다.
깊이 정보 획득부(190)는 영상 전체에 대한 깊이 정보 획득을 위해 영상의 색 정보와 흐림 정보를 이용한다. 이때, 입력 영상을 그대로 사용한다면 영상 패치에 포함되어 있는 작은 질감에 의해 전파 과정시 잡음이 발생할 가능성이 있으므로, 경계 보존형 평활 필터(Edge-preserving smoothing filter)를 적용할 수 있다.
입력 영상의 경계에서 얻은 흐림 정보를 이웃한 픽셀에 전파하기 위하여 이웃한 픽셀간의 색은 RGB 공간의 직선상에 존재한다는 컬러 라인 모델(color line model)을 적용하였으며, 컬러 라인 모델을 이용한 한 매팅 라플라시안 매트릭스(matting Laplacian matrix)는 수학식 6과 같이 표현될 수 있다.
Figure pat00022
수학식 6에서 i,j,k는 각각 픽셀의 선형 인덱스 값, wk는 중심이 k인 관심 영역,
Figure pat00023
는 Kronecker 델타 함수,
Figure pat00024
는 관심 영역의 평균 및 분산값,
Figure pat00025
는 단위행렬, 그리고
Figure pat00026
는 정규화 상수이다. 경계 보존형 평활 필터를 적용한 입력 영상
Figure pat00027
의 각 픽셀 위치(i,j,k)에서의 RGB값([r,g,b])을 이용하여 관심 영역의 평균 및 분산값을 계산하고, 이를 통해 매팅 라플라시안 매트릭스(L)을 계산한다.
최종적으로, 깊이 정보 획득부(190)는 입력 영상의 매팅 라플라시안 매트릭스(L)와 흐림 정보 획득부(170)에서 획득한 경계에서의 흐림 정도 값을 기초로 전체 영상의 깊이 정보 IF를 계산하며, 전체 영상의 깊이 정보는 수학식 7과 같이 표현될 수 있다.
Figure pat00028
수학식 7에서, IS는 영상 경계에서의 흐림 정보,
Figure pat00029
는 사용자 변수, 그리고
Figure pat00030
는 IS(t)가 0이 아닐 경우 D(i,j)가
Figure pat00031
인 행렬이다.
도 10은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법의 흐름도이고, 도 11은 본 발명의 한 실시예에 따른 깊이 정보 생성 방법을 나타내는 도면이다.
도 10과 도 11을 참고하면, 깊이 정보 생성 장치(100)는 한 프레임의 단일 영상을 입력 받는다(S110).
깊이 정보 생성 장치(100)는 입력 영상의 경계의 세기에 따라 다중스케일의 영상 패치를 추출한다(S120). 깊이 정보 생성 장치(100)는 영상의 에지(Edge) 정보를 검출하여 강한 경계 부분과 약한 경계 부분을 구별한 다음, 강한 경계로 판단된 부분은 작은 스케일(scale)의 패치로, 약한 경계로 판단된 부분은 큰 스케일(scale)의 패치로 추출한다.
깊이 정보 생성 장치(100)는 추출한 다중 스케일의 영상 패치로부터 희소 특징 정보를 구한다(S130). 이때, 특징 정보란 입력 영상으로부터 깊이 정보를 획득하기 위하여 추출한 영상의 특징점이다. 깊이 정보 생성 장치(100)는 수학식 1, 수학식 2, 수학식 3을 사용하여 영상의 DCT 특징 정보, 경사도 특징 정보, SVD 특징 정보, 그리고 깊은 특징 정보를 계산한다. 즉, 깊이 정보 생성 장치(100)는 단일 영상으로부터 깊이 정보를 획득하기 위하여 다양한 방식으로 영상의 특징 정보를 계산한다.
깊이 정보 생성 장치(100)는 특징 정보를 종합하여 영상의 흐림 정도를 계산한다(S140). 깊이 정보 생성 장치(100)는 학습 데이터로 학습된 분류기(Classifier)를 이용하여 추출한 특징 정보를 기초로 영상의 흐림 정도를 추출한다.
깊이 정보 생성 장치(100)는 흐림 정보를 기초로 영상 전체 픽셀의 깊이 정보를 복원한다(S150). 깊이 정보 생성 장치(100)는 깊이 전파 방법(depth propagation method)을 이용하여 흐름 정보로부터 조밀한 깊이 정보를 획득할 수 있다. 깊이 정보 생성 장치(100)는 영상 전체에 대한 깊이 정보 획득을 위해 영상의 색 정보와 흐름 정보를 나타내는 특징점들의 3차원 좌표를 이용할 수 있다.
이와 같은 방법으로 깊이 정보 생성 장치(100)는 한 프레임의 단일 영상으로부터 도 11의 (h)와 같은 깊이 정보를 획득할 수 있다.
다음에서 깊이 정보 생성 장치(100)에 의해 생성된 깊이 정보를 이용하여 응용할 수 있는 분야에 대하여 설명한다.
도 12 내지 도 15는 본 발명의 한 실시예에 따라 획득한 깊이 정보를 응용할 수 있는 기술 분야의 예시이다.
도 12를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 다른 영상과의 합성에 응용할 수 있다. 이때, 추정된 흐림 및 깊이 정보를 통해 추출한 전경 및 배경 영역을 이용하여 영상 합성을 수행할 수 있다.
도 13을 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 흐림 정도를 증가하여 영상의 전경을 강조하는데 이용될 수 있다.
도 14를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 디블러링(deblurring) 즉, 초점을 복원하는 데에 이용될 수 있다.
도 15를 참고하면, 본 발명은 단일 입력 영상으로부터 깊이 및 흐림 정보를 추출하여 3D 영상으로 복원하는데 이용될 수 있다.
도 15는 본 발명의 한 실시예에 따라 생성된 깊이 정보 및 3차원 영상과 종래 기술에 의해 생성된 깊이 지도 및 3차원 영상을 비교한다.
일반적으로 종래에는 한 장의 영상을 이용해 흐림 정도를 추정할 때, 원본 영상의 경계 크기(Edge gradient magnitude)와 임의로 생성한 흐림 커널(Blur kernel)에 의해 흐려진(Blurred) 경계 크기와의 비율을 이용하여 흐림 정도를 추정한다. 경계에서 추정된 흐림 정도는 입력 영상의 색 정보(Color Information)을 이용하여 전체 영상으로 전파된다. 이 방법의 정확도는 경계 정렬(Edge alignment)의 정확도에 크게 좌우되며, 입력 영상을 이용한 전파의 경우 작은 질감(Small texture)에 의해 쉽게 잘못된 값으로 전파되는 경우가 많다. 따라서 전체 흐림 정도의 신뢰성이 매우 떨어진다.
도 15를 참고하면, 본 발명이 종래 기술보다 고품질의 깊이 정보를 획득하고, 정확한 3차원 영상을 획득할 수 있다.
이와 같이, 본 발명은 하나의 단일 영상으로부터 정확한 깊이 정보를 획득할 수 있다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 깊이 정보 생성 장치로서,
    입력 영상에서 경계 강도에 반비례하는 패치 크기로 다중 크기(Multi-scale)의 영상 패치들을 추출하는 패치 추출부,
    상기 영상 패치들 각각으로부터 해당 영상 패치의 특징 정보를 추출하는 특징 정보 추출부,
    학습용 영상 패치들의 특징 정보로부터 흐림 정보가 출력되도록 학습된 흐림 정보 분류기를 기초로, 상기 특징 정보 추출부에서 추출된 특징 정보들에 해당하는 흐림 정보를 계산하는 흐림 정보 획득부, 그리고
    상기 흐림 정보 획득부에서 획득된 상기 입력 영상의 흐림 정보와 상기 입력 영상의 색상 정보로 깊이 전파(depth propagation)하여, 상기 입력 영상의 전체 깊이 정보를 획득하는 깊이 정보 획득부
    를 포함하는 깊이 정보 생성 장치.
  2. 제1항에서,
    상기 패치 추출부는
    상기 입력 영상에 포함된 경계 성분의 경계값을 기초로 상기 경계 성분의 경계 강도를 결정하는, 깊이 정보 생성 장치.
  3. 제1항에서,
    상기 특징 정보 추출부는
    각 영상 패치에 대한 2D 이산 코사인 변환(Discrete Cosine Transform, DCT)값을 기초로 DCT 특징 정보를 계산하는 DCT특징 정보 추출부,
    각 영상 패치 내부의 경사도(Gradient)값을 기초로 경사도 히스토그램을 추출하고, 상기 경사도 히스토그램을 이용하여 경사 특징 정보를 계산하는 경사 특징 정보 추출부,
    각 영상 패치의 특이값 분해(Singular Value Decomposition, SVD)를 통해 특이값(Singular Value)을 추출하고, 상기 특이값을 이용하여 SVD 특징 정보를 계산하는 SVD 특징 정보 추출부, 그리고
    각 영상 패치의 RGB 값을 이용하여 깊은 특징 정보를 계산하는 깊은 특징 정보 추출부 중 적어도 하나를 포함하며,
    상기 흐림 정보 획득부는
    상기 특징 정보 추출부에서 추출된 각 영상 패치의 적어도 하나의 특징 정보를 상기 흐림 정보 분류기로 입력하여 해당 영상 패치의 흐림 정보를 계산하는, 깊이 정보 생성 장치.
  4. 제1항에서,
    상기 깊이 정보 획득부는
    컨볼루젼 네트워크에서 상기 영상 패치들의 흐림 정보와 상기 영상 패치들의 색상 정보를 초기 깊이 정보로 사용하여 주변의 깊이 정보를 추정하는 깊이 전파 방법으로 상기 입력 영상의 조밀한 깊이 정보를 획득하는, 깊이 정보 생성 장치.
  5. 깊이 정보 생성 장치로서,
    입력 영상으로부터 깊이 정보를 생성하는 프로그램을 저장하는 메모리, 그리고
    상기 메모리와 연동하여 상기 프로그램에 구현된 동작을 실행하는 프로세서를 포함하고,
    상기 프로그램은
    상기 입력 영상에서 경계 강도에 반비례하는 패치 크기로 다중 크기(Multi-scale)의 영상 패치들을 추출하는 단계,
    상기 영상 패치들 각각으로부터 해당 영상 패치의 특징 정보를 추출하는 단계,
    학습용 영상 패치들의 특징 정보로부터 흐림 정보가 출력되도록 학습된 흐림 정보 분류기를 기초로, 상기 영상 패치들 각각에서 추출된 특징 정보에 해당하는 흐림 정보를 계산하는 단계, 그리고
    상기 입력 영상에서 계산된 상기 영상 패치들의 흐림 정보와 상기 입력 영상의 색상 정보로 깊이 전파(depth propagation)하여, 상기 입력 영상의 전체 깊이 정보를 계산하는 단계
    를 실행하는 명령어들을 포함하는 깊이 정보 생성 장치.
  6. 제5항에서,
    상기 프로그램은
    학습용 영상들에서 초점이 맞은 강한 경계의 영상 패치를 추출하고, 상기 강한 경계의 영상 패치에 흐림 커널(Blur kernel)을 적용하여 흐려진 패치를 만들어 상기 학습용 영상 패치들을 생성하는 단계, 그리고
    상기 학습용 영상 패치들을 입력받아 상기 흐림 정보 분류기를 학습시키는 단계
    를 실행하는 명령어들을 더 포함하는 깊이 정보 생성 장치.
  7. 제5항에서,
    상기 프로그램은
    상기 특징 정보를 추출하는 단계에서,
    각 영상 패치의 2D 이산 코사인 변환(Discrete Cosine Transform, DCT) 특징 정보, 각 영상 패치의 경사도(Gradient) 특징 정보, 각 영상 패치의 특이값 분해(Singular Value Decomposition, SVD) 특징 정보, 그리고 각 영상 패치의 RGB 값을 이용한 깊은 특징 정보를 계산하는 명령어들을 포함하고,
    상기 흐림 정보를 계산하는 단계에서,
    각 영상 패치의 특징 정보들로부터 해당 영상 패치의 흐림 정보를 계산하는 명령어들을 포함하는, 깊이 정보 생성 장치.
  8. 장치의 깊이 정보 생성 방법으로서,
    입력 영상에서 경계 강도에 반비례하는 패치 크기로 다중 크기(Multi-scale)의 영상 패치들을 추출하는 단계,
    상기 영상 패치들 각각으로부터 해당 영상 패치의 특징 정보를 추출하는 단계,
    학습용 영상 패치들의 특징 정보들로부터 흐림 정보가 출력되도록 학습된 흐림 정보 분류기를 기초로, 상기 영상 패치들 각각에서 추출된 특징 정보에 해당하는 흐림 정보를 계산하는 단계, 그리고
    상기 입력 영상에서 계산된 상기 영상 패치들의 흐림 정보와 상기 입력 영상의 색상 정보로 깊이 전파(depth propagation)하여, 상기 입력 영상의 전체 깊이 정보를 획득하는 단계
    를 포함하는 깊이 정보 생성 방법.
  9. 제8항에서,
    상기 특징 정보를 추출하는 단계는
    각 영상 패치로부터 적어도 하나의 특징 정보를 추출하고,
    상기 적어도 하나의 특징 정보는 2D 이산 코사인 변환(Discrete Cosine Transform, DCT) 특징 정보, 경사도(Gradient) 특징 정보, 특이값 분해(Singular Value Decomposition, SVD) 특징 정보, 그리고 RGB 값을 이용한 깊은 특징 정보 중 적어도 하나를 포함하는, 깊이 정보 생성 방법.
  10. 제8항에서,
    학습용 영상들에서 초점이 맞은 강한 경계의 영상 패치를 추출하고, 상기 강한 경계의 영상 패치에 흐림 커널(Blur kernel)을 적용하여 흐려진 패치를 만들어 상기 학습용 영상 패치들을 생성하는 단계, 그리고
    상기 학습용 영상 패치들을 입력받아 상기 흐림 정보 분류기를 학습시키는 단계를 더 포함하는, 깊이 정보 생성 방법.
KR1020180010958A 2018-01-29 2018-01-29 깊이 정보 생성 장치 및 방법 KR101921608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180010958A KR101921608B1 (ko) 2018-01-29 2018-01-29 깊이 정보 생성 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180010958A KR101921608B1 (ko) 2018-01-29 2018-01-29 깊이 정보 생성 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020160043345A Division KR101825218B1 (ko) 2016-04-08 2016-04-08 깊이 정보 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20180014149A true KR20180014149A (ko) 2018-02-07
KR101921608B1 KR101921608B1 (ko) 2018-11-26

Family

ID=61204600

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180010958A KR101921608B1 (ko) 2018-01-29 2018-01-29 깊이 정보 생성 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101921608B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369505A (zh) * 2020-02-26 2020-07-03 广东省电信规划设计院有限公司 一种贴片元器件的位置矫正方法及装置
CN116525073A (zh) * 2023-07-03 2023-08-01 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于健康体检大数据的数据库智能管理系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061839A (ko) 2019-11-20 2021-05-28 삼성전자주식회사 전자 장치 및 그 제어 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000306104A (ja) 1999-04-26 2000-11-02 Matsushita Electric Ind Co Ltd 画像領域分割方法及び装置
US8325220B2 (en) 2005-12-02 2012-12-04 Koninklijke Philips Electronics N.V. Stereoscopic image display method and apparatus, method for generating 3D image data from a 2D image data input and an apparatus for generating 3D image data from a 2D image data input
JP6327024B2 (ja) 2014-07-07 2018-05-23 サクサ株式会社 画像処理装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111369505A (zh) * 2020-02-26 2020-07-03 广东省电信规划设计院有限公司 一种贴片元器件的位置矫正方法及装置
CN116525073A (zh) * 2023-07-03 2023-08-01 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于健康体检大数据的数据库智能管理系统
CN116525073B (zh) * 2023-07-03 2023-09-15 山东第一医科大学第一附属医院(山东省千佛山医院) 一种基于健康体检大数据的数据库智能管理系统

Also Published As

Publication number Publication date
KR101921608B1 (ko) 2018-11-26

Similar Documents

Publication Publication Date Title
US10339643B2 (en) Algorithm and device for image processing
Pan et al. Phase-only image based kernel estimation for single image blind deblurring
Zhu et al. Joint bi-layer optimization for single-image rain streak removal
US20140355901A1 (en) Algorithm for minimizing latent sharp image cost function and point spread function cost function with a spatial mask in a regularization term
US9589328B2 (en) Globally dominant point spread function estimation
US20110176722A1 (en) System and method of processing stereo images
TW200840365A (en) Motion-blur degraded image restoration method
Chen et al. Blind deblurring for saturated images
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
US10628924B2 (en) Method and device for deblurring out-of-focus blurred images
CN103473743B (zh) 一种获取图像深度信息的方法
CN105474259A (zh) 用于在单一图像中去雾的方法和装置
Zhang et al. Pixel screening based intermediate correction for blind deblurring
Sun et al. HDR image construction from multi-exposed stereo LDR images
CN109064504A (zh) 图像处理方法、装置和计算机存储介质
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
CN110505398B (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111476812A (zh) 地图分割方法、装置、位姿估计方法和设备终端
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
CN110443228B (zh) 一种行人匹配方法、装置、电子设备及存储介质
Tallon et al. Space-variant blur deconvolution and denoising in the dual exposure problem
Xue Blind image deblurring: a review
Jung et al. Multispectral fusion of rgb and nir images using weighted least squares and convolution neural networks
Narasimharao et al. Advanced Techniques for Color Image Blind Deconvolution to Restore Blurred Images
Zhao et al. Iterative range-domain weighted filter for structural preserving image smoothing and de-noising

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20180129

Patent event code: PA01071R01D

Filing date: 20160408

Application number text: 1020160043345

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180424

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20181001

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181119

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181120

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20211101

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20221021

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20231204

Start annual number: 6

End annual number: 6