KR102665543B1 - 다시점 영상으로부터의 깊이지도 생성 장치 및 방법 - Google Patents

다시점 영상으로부터의 깊이지도 생성 장치 및 방법 Download PDF

Info

Publication number
KR102665543B1
KR102665543B1 KR1020210023148A KR20210023148A KR102665543B1 KR 102665543 B1 KR102665543 B1 KR 102665543B1 KR 1020210023148 A KR1020210023148 A KR 1020210023148A KR 20210023148 A KR20210023148 A KR 20210023148A KR 102665543 B1 KR102665543 B1 KR 102665543B1
Authority
KR
South Korea
Prior art keywords
initial
map
additional
depth
normal
Prior art date
Application number
KR1020210023148A
Other languages
English (en)
Other versions
KR20220119826A (ko
Inventor
임한신
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020210023148A priority Critical patent/KR102665543B1/ko
Priority to US17/675,415 priority patent/US12073576B2/en
Publication of KR20220119826A publication Critical patent/KR20220119826A/ko
Application granted granted Critical
Publication of KR102665543B1 publication Critical patent/KR102665543B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/543—Depth or shape recovery from line drawings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다시점 영상으로부터의 깊이지도 생성 기술이 개시된다. 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 방법은 다시점 영상 및 상기 다시점 영상의 파라미터를 수신하는 단계; 상기 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 단계; 상기 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 단계; 상기 삼각화에 기초하여 정규화를 수행하고 초기 깊이지도에서 추가 정점을 선택하고 상기 추가 정점과 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성하는 단계; 및 상기 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 상기 추가 깊이값 및 추가 노말값으로 대체하여 상기 초기 깊이지도를 정제 깊이지도로 정제하는 단계를 포함한다.

Description

다시점 영상으로부터의 깊이지도 생성 장치 및 방법{APPARATUS AND METHOD FOR GENERATING DEPTH MAP FROM MULTI-VIEW IMAGE}
본 발명은 다시점 영상으로부터의 깊이지도 생성 기술에 관한 것으로, 특히 깊이값 추정 정확도를 높여 고품질의 깊이지도를 생성할 수 있는 다시점 영상으로부터의 깊이지도 생성 기술에 관한 것이다.
최근 전세계적인 상황으로 인해 VR/AR 콘텐츠 및 관련 디바이스와 기술들에 대한 관심이 이전보다 매우 높아지고 있다. VR/AR 콘텐츠 제작을 위해서는 고품질의 3D 모델이 필수적이다. 다시점 영상으로부터 3D 모델 생성 기술은 효율적으로 3D 모델을 생성할 수 있는 기술로 이전부터 많은 주목을 받았던 분야이고 최근 들어 적용범위도 점차 넓어지고 있다.
한 장면이나 물체를 다양한 시점에서 찍은 다시점 영상들로부터 원래의 장면이나 물체의 정확한 3D 구조를 복원하고 모델링하는 기술은 일반적으로 크게 특징점 추출 및 매칭, 영상의 카메라 파라미터 추정, 조밀 포인트 클라우드(dense point cloud) 생성, 3D 표면 복원으로 이루어진다. 이 중에서 조밀 포인트 클라우드 생성 단계에서는 다시점 영상과 structure-from-motion 등의 방법으로 구한 카메라 파라미터를 입력으로 하여 다시점 영상 안의 장면 및 객체들의 구조를 3D 포인트 클라우드 형태로 정확히 표현하는 것을 목표로 한다. 다시점 영상으로부터 조밀 포인트 클라우드를 생성하는 과정에서 가장 핵심적인 단계는 다시점 영상들로부터 고품질의 깊이지도를 얻어내는 과정이다. 최근의 다시점 영상들로부터 고품질 깊이지도를 생성하는 방법들 중 가장 많이 쓰이고 있는 방법 중의 하나가 패치매치(PatchMatch) 방법이다.
다시점 영상에서는 하나의 기준 영상과 주변의 여러영상들 간의 컬러값의 유사성 등으로부터 깊이값을 추정하는데 깊이값의 후보들을 최대한 정확하고 효율적으로 줄이는 것이 중요하다. 패치매치에서는 이러한 깊이값의 후보들의 모임인 solution space를 효율적으로 줄여주어서 다시점 영상에서의 깊이지도 생성에 성공적으로 적용될 수 있었다.
하지만 대부분의 방법이 그렇지만 패치매치 기반 방법들은 텍스처 정보가 부족한 영역과같이 컬러값의 유사성 등으로 깊이값을 추정하기 어려운 영역에서 깊이값 추정의 정확도가 매우 떨어지는 것으로 알려져 있다. 또한 이러한 영역에서 깊이값 정확도가 떨어지면 영상들 간의 깊이값의 일치성 또한 떨어지게 되어 해당 영역에는 조밀 포인트 클라우드가 생성될 수 없다.
그 가장 큰 이유 중 하나는 패치매치 방법에서 각 픽셀에서의 solution space가 근접한 영역에서의 깊이값과 노말(normal)값들만 반영하고 영상의 전체적인 구조에 따른 깊이값과 노말값들을 반영하는데는 한계가 있기 때문이다.
이러한 문제를 해결하기 위해 영상의 분할(segmentation) 기법 등을 추가하는 방법들도 있지만 분할 기법의 특성상 실험 환경이 아닌 실제 환경에서 적용 영상이 제한적인 경우가 많다. 또한 영상의 사이즈를 점차 넓혀가며 깊이지도를 생성하는 피라미드 구조를 같이 쓰는 방법도 있지만 커버할 수 있는 영역의 범위가 매우 제한적이다.
한국 등록 특허 제10-1526866호, 2015년 6월 2일 등록(명칭: 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치)
본 발명의 목적은 깊이값 추정 정확도를 높여 고품질의 깊이지도를 생성하는 것이다.
또한, 본 발명의 목적은 다시점 영상으로부터 깊이지도 생성 시 기존의 패치매치 기반의 방법들이 낮은 깊이값 추정 정확도를 보인 영역들인 텍스쳐가 부족한 영역 등에서도 깊이값 추정 정확도를 높여 고품질의 깊이지도를 생성하는 것이다.
또한, 본 발명의 목적은 영상의 전체적인 구조에 따른 깊이값과 노말값들을 반영하여 고품질의 깊이지도를 생성하는 것이다.
상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 방법은 다시점 영상 및 상기 다시점 영상의 파라미터를 수신하는 단계; 상기 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 단계; 상기 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 단계; 상기 삼각화에 기초하여 정규화를 수행하고 상기 초기 깊이지도에서 추가 정점을 선택하고 상기 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성하는 단계; 및 상기 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 상기 정규화 및 상기 선택된 추가 정점에 기초한 추가 깊이값 및 추가 노말값으로 대체하여 상기 초기 깊이지도를 정제 깊이지도로 정제하는 단계를 포함한다.
이 때, 상기 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 단계는, 패치매치 기법을 통해 생성될 수 있다.
이 때, 상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서는, 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가할 수 있다.
이 때, 상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서는, 상기 초기 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가할 수 있다.
이 때, 상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서는, 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하는 제1 단계; 및 상기 제1 단계까지 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 제2 단계를 포함할 수 있다.
이 때, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 단계에서는, 초기 정점(vertex)을 선택하고, 상기 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성할 수 있다.
이 때, 상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서, 상기 정규화는 Vectorial total variation 기반의 수식에 기초하여 수행될 수 있다.
이 때, 상기 정제 깊이지도를 기초로 패치매치를 재실행하여 최종 깊이지도를 생성하는 단계를 더 포함할 수 있다.
또한, 상기한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 장치는 다시점 영상 및 상기 다시점 영상의 파라미터를 수신하는 수신부; 상기 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 초기 지도 생성부; 상기 초기 깊이지도 및초기 노말지도에 기초하여 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 삼각화 수행부; 상기 삼각화에 기초하여 정규화를 수행하고 상기 초기 깊이지도에서 추가 정점을 선택하고 상기 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성하는 추가값 생성부; 및 상기 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 상기 정규화 및 상기 선택된 추가 정점에 기초한 추가 깊이값 및 추가 노말값으로 대체하여 상기 초기 깊이지도를 정제 깊이지도로 정제하는 초기 지도 정제부를 포함한다.
이 때, 상기 초기 지도 생성부는, 패치매치 기법을 통해 상기 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성할 수 있다.
이 때, 상기 추가값 생성부는, 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가할 수 있다.
이 때, 상기 추가값 생성부는, 상기 초기 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가할 수 있다.
이 때, 상기 추가값 생성부는, 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하는 제1 단계; 및 상기 제1 단계까지 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 제2 단계를 통해 상기 추가 정점을 추가할 수 있다.
이 때, 상기 삼각화 수행부는, 초기 정점(vertex)을 선택하고, 상기 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성할 수 있다.
이 때, 상기 추가값 생성부는, Vectorial total variation 기반의 수식에 기초하여 상기 정규화를 수행할 수 있다.
이 때, 상기 정제 깊이지도를 기초로 패치매치를 재실행하여 최종 깊이지도를 생성하는 패치매치 재실행부를 더 포함할 수 있다.
본 발명에 따르면, 깊이값 추정 정확도를 높여 고품질의 깊이지도를 생성할 수 있다.
또한, 본 발명은 다시점 영상으로부터 깊이지도 생성 시 기존의 패치매치 기반의 방법들이 낮은 깊이값 추정 정확도를 보인 영역들인 텍스쳐가 부족한 영역 등에서도 깊이값 추정 정확도를 높여 고품질의 깊이지도를 생성할 수 있다.
또한, 본 발명은 영상의 전체적인 구조에 따른 깊이값과 노말값들을 반영하여 고품질의 깊이지도를 생성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 방법을 설명하기 위한 플로우챠트이다.
도 2 내지 도 5는 다시점 영상의 원본 영상과 원본 영상에 대한 패치매치 기법을 통해 생성된 깊이지도, 노말지도, 신뢰지도의 예시도이다.
도 6 내지 도 8은 초기 정점을 선택하고, 이후 추가 정점을 선택하여 추가하는 것을 설명하기 위한 도면이다.
도 9는 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 장치를 설명하기 위한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 방법을 설명하기 위한 플로우챠트이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성방법은 먼저, 다시점 영상 및 상기 다시점 영상의 파라미터를 수신한다(S110).
이 후, 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성한다(S120). 이 때, 단계(S120)에서 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도는 패치매치 기법을 통해 생성될 수 있다. 도 2 내지 도 5는 다시점 영상의 원본 영상과 원본 영상에 대한 패치매치 기법을 통해 생성된 깊이지도(depth map), 노말지도(normal map), 신뢰지도(reliability map)의 예시도이다. 구체적으로, 도 2는 원본영상, 도 3은 원본영상에서 패치매치 기법을 통하여 생성된 깊이지도, 도 4는 노말지도, 도 5는 신뢰지도의 예이다. 깊이지도와 노말지도는 각각 영상과 영상에서 각 픽셀 위치에 투영된 장면 또는 물체의 3D 공간 상의 거리 및 노말값을 해당되는 픽셀의 값으로 표현한 것이다. 신뢰지도는 각 영상의 깊이지도에서 각 픽셀의 깊이값의 신뢰도 정도를 표현한 것이다. 깊이값의 신뢰도는 다양한 방법으로 측정될 수 있다 그 한 예는 각 픽셀에서의 깊이값 추정을 위한 주변 영상들과의 컬러일관성을 계산하고 이 값이 일정수준 이상인 주변 영상들의 개수를 신뢰도라고 판단하는 것이다. 도 3의 신뢰지도는 이러한 방법을 통해 신뢰도를 컬러값으로 표현한 예이다.
그리고, 단계(S120)에서 생성한 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 삼각화에 대한 깊이값 및 노말값을 생성한다(S130). 그리고, 단계(S130)에서는 초기 정점(vertex)을 선택하고, 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산 즉, 패치 노말의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성할 수 있다. 도 6은 초기 정점 선택의 개념도이다. 초기 정점 선택을 위해 본 발명에서는 영상을 nxn블록으로 분할한다. 그리고 각 nxn블록안에서 가장 신뢰도가 높다고 판단되는 픽셀을 초기 정점으로 선택한다. 만약 nxn블록안에서 가장 신뢰도가 높은 픽셀의 신뢰도가 일정값 미만이면 그 블록에서는 초기 정점을 선택하지 않는다. 영상 전체에서 구한 초기 정점들을 바탕으로 삼각화(triangulation)를 수행한다. 본 발명에 적용할 수 있는 삼각화(triangulation)의 한 예는 Delaunay triangulation이 있다. 삼각화(Triangulation) 이후 각 패치에서 초기 패치 노말(patch normal)값을 계산한다.
이 후, 단계(S130)에서의 삼각화에 기초하여 정규화를 수행하고 초기 깊이지도에서 추가 정점을 선택하고 추가 정점과 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성한다(S140). 이 때, 단계(S140)에서는 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 추가 정점으로 추가할 수 있다. 그리고, 단계(S140)에서는 초기 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 추가 정점으로 추가할 수 있다. 도 7 및 도 8은 도 6에서 초기 정점이 선택된 영상에 추가 정점이 선택되는 과정을 보여주기 위한 개념도이다.
그리고, 단계(S140)에서 초기의 패치 노말 계산 이후 및 추가 정점을 선택한 후 패치 노말의 정규화(regularization)를 수행한다. 정규화를 위한 식은 아래의 수학식 1 내지 3과 같은 vectorial total variation 기반 식을 적용할 수 있다.
[수학식 1]
[수학식 2]
[수학식 3]
여기서 T는 총 패치들의 개수이고 λ는 라그랑주 승수(Lagrange multiplier)이고 pτ와 sτ는 각각 τ번째 패치의 패치 노말(patch normal)과 넓이이다. 그리고 [pi]e는 에지 e에서 이웃하는 두 패치 노말의 i번째 성분의 차의 절대값이다. 그리고 le는 에지 e의 길이이다. 그리고 we는 에지 e의 가중치성분이고 컬러 정보 및 주변 패치 노말들과의 차이 정보 등으로 가중치성분을 구성할 수 있다. 그 한 예로서 두 인접하는 패치를 ti, tj 라고 할 때 이 사이의 에지에 대한 아래 수학식4 내지 6과 같은 가중치성분을 사용할 수 있다.
[수학식 4]
[수학식 5]
[수학식 6]
여기서 pi 와 mC(ti)는 각각 패치 ti에서의 패치 노말과 평균컬러값이다. 위의 패치 노말의 정규화 식은 Augmented lagrangian 방식과 같은 다양한 L1-norm 기반 최적화 방법을 통해 최적화될 수 있다.
추가 정점의 선택과 추가 깊이값 및 추가 노말값의 생성에 대하여 보다 구체적으로 설명하면 다음과 같다. 추가 정점의 추가는 2단계로 구성될 수 있다. 1단계에서는 초기 정점이 선택되지 않은 nxn블록에서 컬러값의 변화율이 가장 큰 픽셀을 그 블록에서의 추가 정점으로 선택한다. 도 7은 1단계에서 추가로 선택된 추가 정점들과 초기 정점들을 바탕으로 재삼각화를 수행한 예를 보여준다. 2단계에서는 1단계까지 정점이 선택되지 않은 nxn블록에서 블록 안에서의 픽셀들의 컬러값의 평균을 구하고 그 평균값과 가장 비슷한 컬러값을 가진 픽셀을 추가 정점으로 한다. 도8은 2단계에서 추가로 선택된 추가 정점들과 이전 단계까지의 초기 정점 및 추가 정점들을 바탕으로 재삼각화를 수행한 예를 보여준다.
추가로 선택된 추가 정점의 깊이값은 추가 정점으로 선택된 픽셀이 포함된 초기패치에서의 각 정점에서의 깊이값과 해당 패치에서의 정규화된 패치 노말로부터 구할 수 있다. 그 한 예는 패치의 세 vertex들 (vx, vy, vz)i=1, 2, 3와 정규화된 패치 노말 (px, py, pz)로부터 아래 수학식 7의 평면방정식의 d를 구하고 이 평면방정식과의 거리로 추가 정점의 깊이의 초기값을 주는 것이다.
[수학식 7]
추가 정점의 추가 및 패치 노말의 정규화 이후에 추가된 추가 정점의 깊이값을 추정한다. 깊이값 추정의 한 예는 아래와 같다. 각 영상의 카메라 센터를(cx, cy, cz)라고 하고 카메라 센터에서 i번째 추가된 추가 정점에 해당하는 각 픽셀의 위치를 통과하는 unit vector를 ni=((ni)x, (ni)y, (ni)z)라 하고 에지로 연결된 정점의 위치를 (vx, vy, vz)라고 하고 에지에 인접한 정규화된 두 패치 노말 중 하나를 (px, py, pz)라고 하면 아래의 수학식 8과 같은 관계가 성립한다고 할 수 있다.
[수학식 8]
만약 엣지(edge)로 연결된 정점이 j번째 추가된 추가 정점이라고 하면 다음의 수학식 9와 같이 정리될 수 있다.
[수학식 9]
여기서 α값들의 결정에 따라서 추가된 vertex들의 위치와 그에 따른 영상에서의 깊이값들이 결정된다. 추가된 vertex들의 α값들은 위의 두 식들을 α값들에 대한 상수들을 원소로 하는 행렬형태로 바꾸고 least squares 방법 등을 적용함으로써 구할 수 있다.
또한, 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 단계(S140)에서 생성한 추가 깊이값 및 추가 노말값으로 대체하여 초기 깊이지도를 정제 깊이지도로 정제한다(S150). 이 때, 각 픽셀에서의 깊이값의 신뢰도는 도 3과 같은 신뢰지도를 통해 알 수 있다.
그리고, 정제 깊이지도를 기초로 패치매치를 재실행하여 깊이값 추정을 재수행함으로써 최종 깊이지도를 생성한다(S160). 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 방법은 위와 같은 과정들을 통하여 텍스처가 부족한 영역 등과 같이 컬러일관성으로 신뢰성 있는 깊이값을 구할 수 없는 영역에서 패치 노말의 정규화 및 정점의 추가를 통해 보다 정확한 노말값 및 깊이값을 구하여 깊이지도를 정제하고, 이를 기초로 패치매치를 재실행함으로써 기존의 패치매치 기반 방법으로 깊이값 추정이 어려운 영역 등에서 기존 방법보다 깊이값 추정 정확도를 높이고 이를 통해 보다 고품질의 깊이지도를 생성할 수 있다.
도 9는 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성 장치를 설명하기 위한 블록도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이지도 생성장치(900)는 수신부(910), 초기 지도 생성부(920), 삼각화 수행부(930), 추가값 생성부(940) 및 초기 지도 정제부(950)를 포함하여 형성될 수 있다. 또한, 본 발명의 일 실시예에 따른 다시점 영상으로부터의 깊이 지도 생성장치(900)는 패치매치 재실행부(960)를 더 포함하여 형성될 수 있다.
수신부(910)는 다시점 영상 및 상기 다시점 영상의 파라미터를 수신한다.
초기 지도 생성부(920)는 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성한다. 그리고, 초기 지도 생성부(920)는 패치매치 기법을 통해 상기 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성할 수 있다.
삼각화 수행부(930)는 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성한다. 그리고, 삼각화 수행부(930)는 초기 정점(vertex)을 선택하고, 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성할 수 있다.
추가값 생성부(940)는 삼각화에 기초하여 정규화를 수행하고 초기 깊이지도에서 추가 정점을 선택하고 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성한다. 그리고, 추가값 생성부(940)는 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가할 수 있다. 또한, 추가값 생성부(940)는 초기 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 평균값과 가장 비슷한 컬러값을 가진 픽셀을 추가 정점으로 추가할 수 있다. 또한, 추가값 생성부(940)는 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 추가 정점으로 추가하는 제1 단계 및 제1 단계까지 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 평균값과 가장 비슷한 컬러값을 가진 픽셀을 추가 정점으로 추가하는 제2 단계를 통해 추가 정점을 추가할 수 있다. 또한, 추가값 생성부(940)는 Vectorial total variation 기반의 수식에 기초하여 상기 정규화를 수행할 수 있다.
초기 지도 정제부(950)는 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 추가 깊이값 및 추가 노말값으로 대체하여 초기 깊이지도를 정제 깊이지도로 정제한다.
패치매치 재실행부(960)는 정제 깊이지도를 기초로 패치매치를 재실행하여 최종 깊이지도를 생성한다.
도 10은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.
도 10을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 10에 도시된 바와 같이, 컴퓨터 시스템(1000)은 버스(1020)를 통하여 서로 통신하는 하나 이상의 프로세서(1010), 메모리(1030), 사용자 입력 장치(1040), 사용자 출력 장치(1050) 및 스토리지(1060)를 포함할 수 있다. 또한, 컴퓨터 시스템(1000)은 네트워크(1080)에 연결되는 네트워크 인터페이스(1070)를 더 포함할 수 있다. 프로세서(1010)는 중앙 처리 장치 또는 메모리(1030)나 스토리지(1060)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1030) 및 스토리지(1060)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1031)이나 RAM(1032)을 포함할 수 있다.
따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.
이상에서와 같이 본 발명에 따른 다시점 영상으로부터의 깊이지도 생성 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
900; 다시점 영상으로부터의 깊이지도 생성 장치
910; 수신부
920; 초기 지도 생성부
930; 삼각화 수행부
940; 추가값 생성부
950; 초기 지도 정제부
960; 패치매치 재실행부
1000: 컴퓨터 시스템 1010: 프로세서
1020: 버스 1030: 메모리
1031: 롬 1032: 램
1040: 사용자 입력 장치 1050: 사용자 출력 장치
1060: 스토리지 1070: 네트워크 인터페이스
1080: 네트워크

Claims (16)

  1. 다시점 영상 및 상기 다시점 영상의 파라미터를 수신하는 단계;
    상기 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 단계;
    상기 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 단계;
    상기 삼각화에 기초하여 정규화를 수행하고 상기 초기 깊이지도에서 추가 정점을 선택하고 상기 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성하는 단계; 및
    상기 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 상기 정규화 및 상기 선택된 추가 정점에 기초한 추가 깊이값 및 추가 노말값으로 대체하여 상기 초기 깊이지도를 정제 깊이지도로 정제하는 단계를 포함하고,
    상기 추가 정점은 2단계를 통해 추가되되,
    1단계에서는 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하고,
    2단계에서는 상기 1단계에서도 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  2. 청구항 1에 있어서,
    상기 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 단계는, 패치매치 기법을 통해 생성되는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  3. 삭제
  4. 삭제
  5. 청구항 2에 있어서,
    상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서는,
    상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하는 제1 단계; 및
    상기 제1 단계까지 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 제2 단계를 포함하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  6. 청구항 2에 있어서,
    상기 삼각화에 대한 깊이값 및 노말값을 생성하는 단계에서는,
    초기 정점(vertex)을 선택하고, 상기 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  7. 청구항 1에 있어서,
    상기 추가 깊이값 및 추가 노말값을 생성하는 단계에서,
    상기 정규화는 Vectorial total variation 기반의 수식에 기초하여 수행되는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  8. 청구항 2에 있어서,
    상기 정제 깊이지도를 기초로 패치매치를 재실행하여 최종 깊이지도를 생성하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 방법.
  9. 다시점 영상 및 상기 다시점 영상의 파라미터를 수신하는 수신부;
    상기 다시점 영상에 대한 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 초기 지도 생성부;
    상기 초기 깊이지도 및 초기 노말지도에 기초하여, 복수개의 초기 정점을 선택 및 삼각화를 수행하고, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 삼각화 수행부;
    상기 삼각화에 기초하여 정규화를 수행하고 상기 초기 깊이지도에서 추가 정점을 선택하고 상기 정규화에 기초하여 추가 깊이값 및 추가 노말값을 생성하는 추가값 생성부; 및
    상기 초기 깊이지도 및 초기 노말지도에서 기 설정된 수준 이하의 신뢰도를 갖는 깊이값 및 노말값을 상기 정규화 및 상기 선택된 추가 정점에 기초한 추가 깊이값 및 추가 노말값으로 대체하여 상기 초기 깊이지도를 정제 깊이지도로 정제하는 초기 지도 정제부를 포함하고,
    상기 추가 정점은 2단계를 통해 추가되되,
    1단계에서는 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하고,
    2단계에서는 상기 1단계에서도 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
  10. 청구항 9에 있어서,
    상기 초기 지도 생성부는, 패치매치 기법을 통해 상기 초기 깊이지도, 초기 노말지도 및 초기 신뢰지도를 생성하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
  11. 삭제
  12. 삭제
  13. 청구항 10에 있어서,
    상기 추가값 생성부는, 상기 초기 정점이 선택되지 않은 블록에서 컬러값의 변화율이 가장 큰 픽셀을 상기 추가 정점으로 추가하는 제1 단계; 및 상기 제1 단계까지 정점이 선택되지 않은 블록에서 픽셀들의 컬러값의 평균값을 구하고, 상기 평균값과 가장 비슷한 컬러값을 가진 픽셀을 상기 추가 정점으로 추가하는 제2 단계를 통해 상기 추가 정점을 추가하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
  14. 청구항 10에 있어서,
    상기 삼각화 수행부는, 초기 정점(vertex)을 선택하고, 상기 초기 정점을 기초로 한 삼각화(triangulation) 및 삼각화를 통해 생성된 패치들의 법선벡터의 계산을 수행하여, 상기 삼각화에 대한 깊이값 및 노말값을 생성하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
  15. 청구항 9에 있어서,
    상기 추가값 생성부는, Vectorial total variation 기반의 수식에 기초하여 상기 정규화를 수행하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
  16. 청구항 10에 있어서,
    상기 정제 깊이지도를 기초로 패치매치를 재실행하여 최종 깊이지도를 생성하는 패치매치 재실행부를 더 포함하는 것을 특징으로 하는 다시점 영상으로부터의 깊이지도 생성 장치.
KR1020210023148A 2021-02-22 2021-02-22 다시점 영상으로부터의 깊이지도 생성 장치 및 방법 KR102665543B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210023148A KR102665543B1 (ko) 2021-02-22 2021-02-22 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
US17/675,415 US12073576B2 (en) 2021-02-22 2022-02-18 Apparatus and method for generating depth map from multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210023148A KR102665543B1 (ko) 2021-02-22 2021-02-22 다시점 영상으로부터의 깊이지도 생성 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220119826A KR20220119826A (ko) 2022-08-30
KR102665543B1 true KR102665543B1 (ko) 2024-05-16

Family

ID=82899772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210023148A KR102665543B1 (ko) 2021-02-22 2021-02-22 다시점 영상으로부터의 깊이지도 생성 장치 및 방법

Country Status (2)

Country Link
US (1) US12073576B2 (ko)
KR (1) KR102665543B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557617B (zh) * 2024-01-12 2024-04-09 山东师范大学 一种基于平面先验优化的多视密集匹配方法、系统及设备

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101526866B1 (ko) 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR101740259B1 (ko) 2011-10-07 2017-05-29 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
US10360718B2 (en) 2015-08-14 2019-07-23 Samsung Electronics Co., Ltd. Method and apparatus for constructing three dimensional model of object
RU2642167C2 (ru) * 2015-08-14 2018-01-24 Самсунг Электроникс Ко., Лтд. Устройство, способ и система для реконструкции 3d-модели объекта
KR101892737B1 (ko) 2016-03-17 2018-08-28 한국전자통신연구원 다시점 스테레오 장치 및 방법
GB2552648B (en) 2016-07-22 2020-09-16 Imperial College Sci Tech & Medicine Estimating dimensions for an enclosed space using a multi-directional camera
US10368047B2 (en) * 2017-02-15 2019-07-30 Adone Inc. Six-degree of freedom video playback of a single monoscopic 360-degree video
US10482618B2 (en) * 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
EP3467782A1 (en) 2017-10-06 2019-04-10 Thomson Licensing Method and device for generating points of a 3d scene
KR102525030B1 (ko) * 2018-12-11 2023-04-24 삼성전자주식회사 포인트 클라우드를 생성하는 방법 및 장치
CN111340922B (zh) 2018-12-18 2024-10-15 北京三星通信技术研究有限公司 定位与地图构建的方法和电子设备
US11164326B2 (en) 2018-12-18 2021-11-02 Samsung Electronics Co., Ltd. Method and apparatus for calculating depth map
KR20210136259A (ko) 2020-05-07 2021-11-17 한국전자통신연구원 희소 깊이 데이터의 정제 방법 및 이를 구현하는 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Li, Changjian, et al. "Robust flow-guided neural prediction for sketch-based freeform surface modeling." ACM Transactions on Graphics (TOG) 37.6 (2018): 1-12.
Li, Zhaoxin, et al. (2020). "Confidence-based large-scale dense multi-view stereo." IEEE Transactions on Image Processing 29 : 7176-7191.*
Rumpler, Markus, Arnold Irschara, and Horst Bischof. "Multi-view stereo: Redundancy benefits for 3D reconstruction." 35th Workshop of the Austrian Association for Pattern Recognition. Vol. 4. OAGM, 20

Also Published As

Publication number Publication date
US20220270276A1 (en) 2022-08-25
US12073576B2 (en) 2024-08-27
KR20220119826A (ko) 2022-08-30

Similar Documents

Publication Publication Date Title
CN107833270B (zh) 基于深度相机的实时物体三维重建方法
KR101669820B1 (ko) 볼륨 예측 기반 폐색 영역 양방향 복원 장치 및 방법
JP6143747B2 (ja) 深度測定の品質の向上
US7856125B2 (en) 3D face reconstruction from 2D images
CN102903096B (zh) 一种基于单目视频的对象深度提取方法
EP3367334B1 (en) Depth estimation method and depth estimation apparatus of multi-view images
CN107025660B (zh) 一种确定双目动态视觉传感器图像视差的方法和装置
CN103106651B (zh) 一种基于三维hough变换的获取视差平面的方法
KR101428627B1 (ko) 개선된 이미지 매칭을 위한 방법 및 장치
CN101720047A (zh) 基于颜色分割的多目摄像立体匹配获取深度图像的方法
KR102252915B1 (ko) 스테레오 카메라를 이용한 거리 추정 방법 및 장치
Rossi et al. Joint graph-based depth refinement and normal estimation
Oliveira et al. Selective hole-filling for depth-image based rendering
CN114494589A (zh) 三维重建方法、装置、电子设备和计算机可读存储介质
US11475629B2 (en) Method for 3D reconstruction of an object
KR102665543B1 (ko) 다시점 영상으로부터의 깊이지도 생성 장치 및 방법
CN107122782B (zh) 一种均衡的半密集立体匹配方法
CN107155100A (zh) 一种基于图像的立体匹配方法及装置
KR101619486B1 (ko) 좌표변환 매트릭스를 이용한 3차원 큐브 파노라마 장치
Fan et al. Collaborative three-dimensional completion of color and depth in a specified area with superpixels
KR102125750B1 (ko) 실루엣 기반 3d 영상 복원 장치 및 방법
WO2020118565A1 (en) Keyframe selection for texture mapping wien generating 3d model
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
Akyazi et al. Graph-based inpainting of disocclusion holes for zooming in 3d scenes
US20240233092A1 (en) Image processing method and image processing device based on neural network

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20210222

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211014

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20210222

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230920

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240220

PG1601 Publication of registration