KR102109814B1 - 영상 정합 장치 및 방법 - Google Patents

영상 정합 장치 및 방법 Download PDF

Info

Publication number
KR102109814B1
KR102109814B1 KR1020180132471A KR20180132471A KR102109814B1 KR 102109814 B1 KR102109814 B1 KR 102109814B1 KR 1020180132471 A KR1020180132471 A KR 1020180132471A KR 20180132471 A KR20180132471 A KR 20180132471A KR 102109814 B1 KR102109814 B1 KR 102109814B1
Authority
KR
South Korea
Prior art keywords
image
virtual
images
camera
space
Prior art date
Application number
KR1020180132471A
Other languages
English (en)
Other versions
KR20200049337A (ko
Inventor
유연걸
신승호
임국찬
전진수
조익환
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020180132471A priority Critical patent/KR102109814B1/ko
Publication of KR20200049337A publication Critical patent/KR20200049337A/ko
Application granted granted Critical
Publication of KR102109814B1 publication Critical patent/KR102109814B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

일 실시예에 따른 영상 정합 방법은, 카메라에 의해 공간에 대한 복수의 촬영 영상을 획득하는 단계; 라이다에 의해 상기 공간의 포인트 클라우드를 획득하는 단계; 상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 획득된 포인트 클라우드로부터 복수의 가상 영상을 생성하는 단계; 및 상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함한다.

Description

영상 정합 장치 및 방법{APPARATUS AND METHOD FOR REGISTERING IMAGES}
본 발명은 공간의 3D 모델링을 위해 카메라에 의한 촬영 영상과 라이다에 의한 가상 영상을 정합하는 영상 정합 장치 및 방법에 관한 것이다.
근래에 들어, 가상 현실 혹은 증강 현실과 같이 가상의 정보를 이용하여 구현된 다양한 컨텐츠가 제안되고 있다. 가상 현실(Virtual Reality, VR)은 컴퓨터 등을 사용하여 인공적인 기술로 만들어 낸 가상 공간으로서, 실제와 유사하지만 실제가 아닌 특징이 있다. 증강 현실(Augmented Reality, AR)은 가상 현실의 한 분야로서, 사용자가 보는 현실의 객체에 가상의 정보를 합성하여, 가상의 정보를 현실의 일부로서 인식하도록 할 수 있는 기법을 가리킨다.
이와 같은 가상 현실 혹은 증강 현실이 적용된 가상 공간(Virtual Space)을 구현하기 위해서는 컴퓨터 그래픽스 분야의 3D 모델링(3D Modeling)이 이용될 수 있다. 3D 모델링은 가상의 3차원 공간 속에 재현될 수 있는 수학적 모델을 만드는 과정을 의미한다.
만약, 실제 존재하는 공간을 가상 공간으로 재현하고자 하는 경우, 3D 모델링 시 해당 공간에 대한 정보를 이용할 수 있다. 예를 들어, 라이다에 의해 공간에 대한 포인트 클라우드를 획득하고, 이를 기초로 생성된 가상 영상과 카메라에 의해 획득된 촬영 영상을 함께 이용하면, 실제 공간과 유사한 가상의 3차원 공간을 생성할 수 있다.
이 때, 실제의 공간에 유사한 모델링 결과를 얻기 위해서는, 카메라에 의한 촬영 영상과 라이다에 의한 가상 영상 간의 정확한 정합이 선행될 필요가 있다.
한국공개특허공보, 제 10-2015-0129260호 (2011.12.14. 공개)
본 발명이 해결하고자 하는 과제는, 카메라의 내부 파라미터를 이용하여 포인트 클라우드를 기초로 생성된 복수의 가상 영상을 복수의 촬영 영상과 정합하는 영상 정합 장치 및 방법을 제공하는 것이다.
다만, 본 발명이 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따른 영상 정합 방법은, 카메라에 의해 공간에 대한 복수의 촬영 영상을 획득하는 단계; 라이다에 의해 상기 공간의 포인트 클라우드를 획득하는 단계; 상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 획득된 포인트 클라우드로부터 복수의 가상 영상을 생성하는 단계; 및 상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함한다.
일 실시예에 따른 영상 정합 장치는, 카메라의 내부 파라미터를 이용하여 라이다에 의해 획득된 공간에 대한 포인트 클라우드로부터 복수의 가상 영상을 생성하는 가상 영상 생성부; 및 상기 카메라에 의해 획득된 상기 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 정합부를 포함한다.
일 실시예에 따른 영상 정합 장치 및 방법은, 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다.
또한, 일 실시예에 따른 영상 정합 장치 및 방법은, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 공간을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 공간 상에 생성된 LSP를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 가상 영상을 예시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이다.
도 11은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 3D 모델링 장치의 기능 블록도이다.
본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 공간을 가상의 3차원 공간으로 재현하기 위해 3D 모델링을 수행함으로써, 공간에 대한 3D 모델을 획득할 수 있다. 이렇게 획득된 3D 모델은 가상 현실(Virtual Reality) 또는 증강 현실(Augmented Reality, AR) 컨텐츠 제공 시 이용될 수 있다.
이 때, 실제 공간과 3D 모델 간의 유사도가 높을수록 사용자의 몰입도가 높아질 수 있다. 따라서, 3D 모델링 시에는 실제 공간에 대한 정확한 정보를 이용할 필요가 있다.
공간의 3D 모델링 방법으로서 카메라(120)에 의해 획득된 영상을 이용하는 방법이 있다. 구체적으로, 카메라(120)에 의해 공간에 대한 복수의 영상을 획득하고, 획득된 복수의 영상의 특징점을 추출하여 3D 모델링을 수행할 수 있다. 카메라(120)에 의해 획득된 영상을 이용하는 방법은 공간의 재질과 색감을 상세히 재현해 낼 수 있다. 반면, 카메라(120)에 의해 획득된 영상은 특징점을 기반으로 3D 모델링을 수행하는 바, 단일 색상 영역에 대한 모델링 시 성능이 저하될 수 있다.
공간의 3D 모델링을 위한 다른 방법 중 하나는 라이다(112)(LiDAR)에 의해 획득된 포인트 클라우드를 이용하는 것이다. 구체적으로, 라이다(112)에 의해 공간에 대한 포인트 클라우드를 획득하고, 이에 기초하여 3D 모델링을 수행할 수 있다. 이 경우, 공간의 전체적인 형태를 구현하는데 우수한 성능을 나타낼 수 있다. 그러나, 깊이 정보에 기초한 포인트 클라우드의 특성 상, 공간의 재질이나 색감을 재현하는데 부적합할 수 있다. 또한, 공간을 3D 모델링 할 때에는 동적 물체를 제거할 필요가 있으나, 라이다(112)에 의한 포인트 클라우드는 동적 물체에 대한 정보를 포함하여 문제될 수 있다.
카메라(120) 및 라이다(112) 각각이 가진 문제점을 해결하기 위해, 카메라(120)에 의해 획득된 카메라 영상과 라이다(112)에 의해 획득된 포인트 클라우드를 함께 이용하여 공간을 3D 모델링 할 수도 있다. 이 방법은 재질뿐만 아니라 형태를 구현할 때에도 우수한 성능을 보일 수 있다.
카메라(120) 영상과 포인트 클라우드를 함께 이용하는 방법 중 하나로, 사용자가 카메라(120) 영상의 특징점에 포인트 클라우드를 직접 대응시키는 것이 있다. 이 경우, 두 영상의 정합은 사용자가 육안으로 판단한 대응점에 기초하므로, 일정 수준 이상의 정확도를 담보하지 못할 수 있다.
이를 개선하기 위해, 컬러 정보를 포함하는 포인트 클라우드를 기초로 가상 영상을 생성한 후, 가상 영상을 카메라(120) 영상과 정합함으로써 3D 모델링을 수행할 수 있다. 이 때, 가상 영상은 미리 정해진 가상의 촬영 조건에 따라 일률적으로 생성될 수 있다.
카메라(120) 영상은 카메라(120) 내부 파라미터에 의해 결정되는 조건에 따라 획득되는 바, 카메라(120) 영상과 가상 영상 간 촬영 조건의 차이로 특징점 매칭에 기초한 정합이 실패할 수 있다. 정합의 정확도는 최종적으로 생성되는 3D 모델의 품질에 직접적으로 연관되는 바, 카메라(120) 영상과 정합이 성공적으로 이루어질 수 있는 촬영 조건에 따라 가상 영상을 생성할 필요가 있다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 카메라(120) 내부 파라미터를 기초로 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 이를 위해, 본 발명의 일 실시예에 따른 3D 모델링 장치(100)는 공간에 대한 컬러 정보를 포함하는 포인트 클라우드를 획득하는 3D 스캐너(110); 공간에 대한 촬영 영상을 획득하는 카메라(120); 포인트 클라우드 기반 가상 영상과 카메라(120)에 의해 획득된 촬영 영상을 정합하는 영상 정합 장치(130); 및 정합 결과를 이용하여 공간에 대한 3D 모델을 생성하는 영상 처리부(140)를 포함할 수 있다.
3D 스캐너(110)는 3D 모델을 획득하고자 하는 공간에 대한 포인트 클라우드를 획득할 수 있다. 이를 위해, 3D 스캐너(110)는 공간에 레이저를 조사하고, 반사되는 레이저를 수신함으로써 포인트 클라우드를 획득할 수 있다.
이를 위해, 3D 스캐너(110)는 펄스 레이저를 조사하고, 반사되는 레이저를 수신하는 라이다(112)를 포함할 수 있다. 구체적으로, 라이다(112)는 공간에 펄스 레이저를 조사하고, 조사된 펄스 레이저가 반사되어 돌아오기까지 소요되는 시간 및 강도를 측정할 수 있다. 이렇게 측정된 결과에는 공간에 대한 거리, 방향, 속도, 온도, 물질 분포, 농도 특성 등의 정보가 포함될 수 있다. 라이다(112)는 최종적으로 측정 결과를 포인트 클라우드에 저장할 수 있다. 여기서, 포인트 클라우드란 좌표계 상에서의 데이터의 집합을 의미하므로, 라이다(112)가 획득하는 포인트 클라우드는 3차원 좌표계에 대한 공간의 정보를 포함할 수 있다.
라이다(112)는 공간의 전 영역에 대한 포인트 클라우드를 획득하기 위해, 공간 전 영역에 대하여 레이저를 조사하도록 마련될 수 있다. 레이저는 직진성을 가지므로, 일 실시예에 따른 라이다(112)는 전 방향으로 레이저 조사가 가능하도록 패닝(Panning) 및/또는 틸팅(Tilting) 가능하게 마련될 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 라이다(112) 각각은 공간의 서로 다른 위치로 레이저를 조사함으로써 공간에 대한 포인트 클라우드를 획득할 수도 있다.
또한, 포인트 클라우드에 컬러 정보를 부가하기 위해, 3D 스캐너(110)는 스캔 카메라(111)를 더 포함할 수 있다. 스캔 카메라(111)는 스캔 영상을 획득하여 라이다(112)에 제공할 수 있고, 라이다(112)는 획득된 포인트 클라우드 상에 제공받은 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다.
카메라(120)는 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다. 카메라(120)는 화각에 따른 제약이 존재하므로, 하나의 촬영 영상 Ir은 공간 전체의 정보를 포함하기 어려울 수 있다. 따라서, 하나의 단일 카메라(120)는 위치를 달리하여 공간을 복수 회 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수 있다. 이와는 달리, 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 공간의 서로 다른 위치를 촬영함으로써 복수의 촬영 영상 Ir을 획득할 수도 있다.
카메라(120)는 고유의 내부 특성을 나타내는 내부 파라미터(Intrinsic Parameter)에 따라 3차원의 공간을 2차원의 촬영 영상 Ir으로 변환하여 생성할 수 있다. 여기서, 내부 파라미터는 카메라(120)의 초점 거리(Focal Length), 이미지 센서 포맷(Image Sensor Format), 스큐(Skew), 주점(Principal Point), 렌즈 왜곡 파라미터(Lens Distortion Parameter), 해상도(Resolution) 등을 포함할 수 있다.
영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드 기반의 가상 영상과 촬영 영상 Ir을 정합할 수 있다. 도 1을 참조하면, 영상 정합 장치(130)는 컬러 정보를 포함하는 포인트 클라우드로부터 가상 영상을 생성하는 가상 영상 생성부(131); 및 생성된 가상 영상 및 카메라(120)에 의해 획득된 촬영 영상 Ir을 정합하는 정합부(132)를 포함할 수 있다.
이하에서는 도 2를 참조하여, 영상 정합 장치(130)에 의해 수행되는 영상 정합 방법을 설명한다.
도 2는 본 발명의 일 실시예에 따른 영상 정합 방법의 흐름도이다.
먼저, 영상 정합 장치(130)는 카메라(120)에 의해 공간에 대한 복수의 촬영 영상 Ir을 획득할 수 있다(S100). 도 3을 통해 카메라(120)에 의해 획득되는 촬영 영상 Ir을 설명한다.
도 3은 본 발명의 일 실시예에 따른 촬영 영상을 예시한 도면이다.
상술한 바와 같이, 하나의 단일 카메라(120)는 서로 다른 위치에서 복수의 촬영 영상 Ir을 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 카메라(120) 각각은 서로 다른 위치에 대한 복수의 촬영 영상 Ir을 획득할 수도 있다.
이렇게 획득된 복수의 촬영 영상 Ir 각각은 적어도 하나의 다른 촬영 영상 Ir과 적어도 일부가 중첩될 수 있다. 도 3에서는 공간의 동일한 영역을 포함하는 서로 다른 복수의 촬영 영상 Ir이 예시된다.
이를 기초로 복수의 촬영 영상 Ir을 상호 매칭하면, 공간 전체에 대한 이미지 정보를 획득할 수 있다. 아울러, 동일 영역에 대하여 서로 다른 방향으로 촬영한 각각의 촬영 영상 Ir은 공간에 대한 깊이 정보를 포함하므로, 3D 모델링 장치(100)는 추후 이를 이용하여 3D 모델링을 수행할 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 라이다(112)에 의해 공간의 포인트 클라우드를 획득할 수 있다(S110). 이하에서는 도 4 를 통해 라이다(112)에 의해 획득되는 포인트 클라우드를 설명한다.
도 4는 본 발명의 일 실시예에 포인트 클라우드가 위치하는 3차원 공간을 예시한 도면이다.
상술한 바와 같이, 3D 스캐너(110)는 하나의 단일 라이다(112)를 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수 있고, 이와는 달리 서로 다른 방향을 향하는 복수의 라이다(112) 각각을 이용하여 서로 다른 위치에 대한 포인트 클라우드를 획득할 수도 있다. 이렇게 획득된 포인트 클라우드는, 도 4와 같이, 3차원 공간 Mp 상에 위치할 수 있다.
이 때, 3D 스캐너(110)는 스캔 카메라(111)를 이용하여 스캔 영상을 획득하고, 라이다(112)는 획득된 포인트 클라우드 상에 스캔 영상을 매칭함으로써 포인트 클라우드에 컬러 정보를 부가할 수 있다. 이렇게 부가된 컬러 정보는 추후 촬영 영상 Ir과의 정합 시 이용될 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 카메라(120)의 내부 파라미터를 이용하여 포인트 클라우드로부터 복수의 가상 영상을 생성할 수 있다. 이하에서는, 도 5 내지 8을 참조하여 가상 영상을 생성하는 방법을 설명한다.
도 5는 본 발명의 일 실시예에 따른 영상 정합 장치에서 대상체를 가상 영상에 표시하는 방법을 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 영상 정합 장치에서 가상 영상을 생성할 방향을 결정하는 방법을 설명하기 위한 도면이고, 도 7은 본 발명의 일 실시예에 따른 영상 정합 장치에서 포인트 클라우드가 위치하는 3차원 공간 상에 생성된 LSP를 예시한 도면이며, 도 8은 본 발명의 일 실시예에 따른 영상 정합 장치가 생성한 가상 영상을 예시한 도면이다.
영상 정합 장치(130)의 가상 영상 생성부(131)는 포인트 클라우드로부터 가상 영상을 생성할 수 있다. 도 5를 참조하면, 가상 영상 생성부(131)는 3차원 공간 Mp 상에서 미리 결정된 초점 f로부터 연장되는 방향에 위치하는 포인트 클라우드의 3차원 좌표를 가상 영상 Iv내의 2차원 좌표로 변환할 수 있다. 구체적으로, 가상 영상 Iv가 W1×W2의 크기를 갖도록 설정되고, 초점 f로부터 초점 거리 fl만큼 이격된 거리에 가상 영상 Iv가 배치될 때, 가상 영상 생성부(131)는 초점 f로부터 포인트 클라우드의 점 r(x,y,z)로 연장되는 직선이 가상 영상 Iv를 지나는 픽셀 p(u,v)를 포인트 클라우드의 점 r(x,y,z)의 가상 영상 내 픽셀 좌표로 결정할 수 있다.
만약, 초점 f가 중심에 위치하는 정육면체의 각 면에 대응하는 6 개의 가상 영상 Iv을 생성하고자 하는 경우, 즉, 초점 f에 대한 정육면체의 Laser Scan Picture(LSP)를 생성하고자 하는 경우, 가상 영상 Iv의 세로 폭 W1과 가로 폭 W1은 W로 같고, 초점 거리 fl은 W/2로 결정될 필요가 있다. 이 경우, 가상 영상 내 픽셀 p의 좌표(u,v)는 초점 거리 fl 또는 W/2와 z값의 비율에 따라 결정될 수 있다.
즉, 가상 영상 내 픽셀 p의 좌표(u,v)는 가상 영상 Iv의 크기 W1×W2와 초점 거리 fl에 의해 결정될 수 있다. 이렇게 생성된 가상 영상 Iv는 추후 촬영 영상 Ir 과 정합을 수행할 수 있는데, 정합에 이용되는 촬영 영상 Ir의 크기 및/또는 촬영 영상 Ir에 대한 초점 거리 등의 값이 상이하다면, 정합의 정확도가 낮아질 수 있다.
따라서, 본 발명의 일 실시예에 따른 가상 영상 생성부(131)는 촬영 영상 Ir을 획득하는 카메라(120)의 내부 파라미터를 이용하여 가상 영상 Iv을 생성함으로써, 가상 영상 Iv 및 촬영 영상 Ir 간 정합의 정확도를 높일 수 있다.
구체적으로, 가상 영상 생성부(131)는 수학식 1에 따라 가상 영상 내 픽셀 p의 좌표(u,v)를 획득할 수 있다.
Figure 112018108088581-pat00001
여기서, zc는 스케일 팩터(Scale Factor)를 의미하고, [R T]는 카메라(120)의 외부 파라미터로서, R은 회전 행렬을 의미하고, T는 이동 행렬을 의미할 수 있다. 또한, K는 카메라(120) 내부 파라미터를 의미할 수 있으며, 수학식 2에 따라 정의될 수 있다.
Figure 112018108088581-pat00002
여기서, αx는 초점 거리 fl에 x축에 대한 스케일 팩터 mx를 곱한 값을 의미하고, αy는 초점 거리 fl에 y축에 대한 스케일 팩터 my를 곱한 값을 의미하고, γ은 x축 및 y축 사이의 스큐 상수(Skew Coefficient)를 의미하고, u0 및 v0는 주점(Principal Point)를 의미할 수 있다.
이 때, 가상 영상 생성부(131)는 상술한 초점 거리 fl, 스큐 상수 γ, 주점의 좌표 (u0 및 v0) 등을 촬영 영상 Ir을 획득한 카메라(120)의 내부 파라미터 값으로 결정할 수 있고, 스케일 팩터 mx, my 역시 카메라(120) 내부 파라미터 중 이미지 센서 포멧 값에 따라 결정할 수 있다.
이 밖에도 가상 영상 생성부(131)는 카메라(120) 내부 파라미터 중 하나인 해상도 값을 이용함으로써, 촬영 영상 Ir과 가상 영상 Iv의 해상도를 일치시킬 수 있다. 뿐만 아니라, 상술한 수학식 2에는 선형적 내부 파라미터만을 언급하고 있으나, 가상 영상 생성부(131)는 렌즈 왜곡 파라미터(Lens Distortion Parameter)와 같은 비선형적 내부 파라미터도 가상 영상 Iv 생성 시 동일하게 적용할 수 있다.
상술한 카메라(120)의 내부 파라미터는 외부 장치 또는 사용자에 의해 3D 모델링 장치(100)에 직접 입력되거나, 3D 모델링 장치(100)가 연산을 통해 획득할 수 있다. 연산을 통해 카메라(120)의 내부 파라미터를 획득하는 경우, 3D 모델링 장치(100)는 카메라에 의해 체스 보드(Chess Board)와 같은 격자 패턴에 대한 테스트 영상을 획득하고, 이를 기초로 카메라 캘리브레이션을 수행함으로써, 카메라(120)의 내부 파라미터를 획득할 수 있다. 이 밖에도, 3D 모델링 장치(100)는 공지된 다양한 방법에 따라 카메라(120)의 내부 파라미터를 획득할 수 있다.
가상 영상 생성부(131)는 초점 f로부터 결정되는 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 구체적으로, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축을 따르는 6개의 방향에 대한 6개의 가상 영상 Iv을 생성할 수 있다. 만약, 3개의 축이 초점 f를 원점으로 하는 x축, y축, z축으로 결정되는 경우, 가상 영상 생성부(131)는 x축 방향에 수직인 제 1 가상 영상, -x축 방향에 수직인 제 2 가상 영상, y축 방향에 수직인 제 3 가상 영상, -y축 방향에 수직인 제 4 가상 영상, z축 방향에 수직인 제 5 가상 영상, 및 -z축 방향에 수직인 제 6 가상 영상을 획득할 수 있다.
이와 같이 초점 f를 중심으로 생성되는 가상 영상 Iv을 평면으로 하는 다면체를 LSP라 하며, 상술한 예에서는 가상 영상 생성부(131)가 초점 f에 대한 정육면체의 LSP를 생성하였다고 볼 수 있다.
나아가, 가상 영상 생성부(131)는 초점 f로부터 7개 이상의 방향에 대한 가상 영상 Iv을 생성할 수 있다. 이를 위해, 가상 영상 생성부(131)는 초점 f를 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 복수의 가상 영상 Iv을 생성할 수 있다.
도 6을 참조하면, 3차원 공간 Mp상의 초점 f를 교점으로 하는 상호 수직 관계의 x축, y축, 및 z축이 결정되면, 가상 영상 생성부(131)는 적어도 한 축을 기준으로 회전된 복수의 방향에 대한 복수의 가상 영상 Iv을 생성할 수 있다. 예를 들어, 가상 영상 생성부(131)는 z축을 기준으로 회전, 즉 Pan 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 또한, 가상 영상 생성부(131)는 y축을 기준으로 회전, 즉 Roll 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수 있다. 나아가, 가상 영상 생성부(131)는 x축을 기준으로 회전, 즉 Tilt 회전 함에 따른 복수의 방향에 대한 복수의 가상 영상 Iv을 획득할 수도 있다.
도 7에서는 3차원 공간 Mp 상의 초점 f를 기준으로 pan 회전에 따른 서로 다른 5개의 방향과 z축, -z축 방향 각각에 대한 7개의 가상 영상 Iv으로 구현되는 오각기둥 형상의 LSP(L)를 예시한다. 이와 같이 특정 초점 f에 대하여 7개 이상의 가상 영상 Iv을 생성함으로써, 3D 모델링 시 공간에 대한 보다 많은 정보를 제공할 수 있다.
도 8에서는 상술한 방법에 따라 초점 f를 기준으로 생성된 복수의 가상 영상 Iv를 예시한다. 도 8을 참조하면, 복수의 가상 영상 Iv 은 초점 f로부터 다양한 방향에 대한 시각적 정보를 포함함을 확인할 수 있다.
또한, 가상 영상 생성부(131)는 포인트 클라우드를 획득한 라이다(112)의 위치를 기초로 초점 f를 결정할 수 있다. 구체적으로, 가상 영상 생성부(131)는 3D 스캐너(110) 상의 라이다(112)의 회전 축에 대한 중심점을 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다.
뿐만 아니라, 가상 영상 생성부(131)는 3차원 공간 상의 임의의 위치를 초점 f로 결정할 수도 있다. 예를 들어, 가상 영상 생성부(131)는 사용자로부터 입력된 3차원 공간 상의 특정 위치를 초점 f로 결정하고, 이에 대한 복수의 가상 영상 Iv를 생성할 수 있다.
이처럼, 본 발명의 일 실시예에 따른 가상 영상 생성부(131)는 포인트 클라우드를 획득한 라이다(112)의 위치뿐만 아니라 사용자의 입력 등에 기초하여 초점 f를 결정할 수 있으므로, 보다 다양한 위치에서의 복수의 가상 영상 Iv을 획득할 수 있다.
다시 도 2를 참조하면, 영상 정합 장치(130)는 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합할 수 있다(S130). 이하에서는 도 9를 참조하여 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv을 정합하는 방법을 설명한다.
도 9는 본 발명의 일 실시예에 따른 정합부에서 촬영 영상과 가상 영상을 정합하는 방법을 설명하기 위한 도면이다.
복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv의 정합을 위해, 영상 정합 장치(130)의 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각으로부터 특징점을 추출할 수 있다. 구체적으로, 정합부(132)는 복수의 촬영 영상 Ir 및 복수의 가상 영상 Iv 각각에서 코너(Corner), 엣지(Edge), 경사(Gradient) 등을 기초로 특징점을 추출할 수 있다.
그 다음, 정합부(132)는 복수의 촬영 영상 Ir로부터 추출된 특징점 fr과 복수의 가상 영상 Iv으로부터 추출된 특징점 fv를 매칭하여, 복수의 촬영 영상 Ir과 복수의 가상 영상 Iv를 정합할 수 있다. 일 실시예에 따른 정합부(132)는 각각의 특징점의 컬러 정보를 기초로 특징점 fr과 특징점 fv를 매칭할 수 있다. 도 9를 참조하면, 촬영 영상 Ir로부터 추출된 복수의 특징점 fr과 가상 영상 Iv으로부터 추출된 복수의 특징점 fv이 상호 매칭됨을 확인할 수 있다.
나아가, 정합부(132)는 정합된 촬영 영상 Ir과 가상 영상 Iv 간의 위치 관계를 획득할 수 있다. 구체적으로, 정합부(132)는 촬영 영상 Ir과 가상 영상 Iv 중 어느 하나를 기준으로 다른 하나를 정합하기 위한 이동 정보 및 회전 정보를 포함할 수 있다. 여기서, 이동 정보는 정합을 위한 이동 행렬(Translation Matrix)을 포함하고, 회전 정보는 회전 행렬(Rotation Matrix)를 포함할 수 있다.
다시 도 1을 참조하면, 영상 처리부(140)는 정합 결과를 기초로 공간에 대한 3D 모델링을 수행할 수 있다. 이하에서는 도 10 및 11을 참조하여 3D 모델링 방법을 설명한다.
도 10은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 메쉬를 예시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 영상 처리부가 생성한 3D 모델을 예시한 도면이다.
도 10을 참조하면, 영상 처리부(140)는 특징점을 기초로 3D 메쉬(3D Mesh, Ms)를 생성할 수 있다. 구체적으로, 영상 처리부(140)는 추출된 특징점을 본(Bone)과 정점(Vertex)로 하여, 복수의 정점이 본에 의해 리깅되는 3D 메쉬 MS를 생성할 수 있다.
이렇게 생성되는 3D 메쉬 MS는 적어도 세 개의 정점이 이루는 복수의 폴리곤(Polygon)으로 구성될 수 있다. 도 10를 참조하면, 3D 메쉬 MS는 무수히 많은 정점과 이들이 이루는 폴리곤을 포함함을 확인할 수 있다.
그 다음, 3D 메쉬 MS를 생성한 후, 영상 처리부(140)(130)는 3D 메쉬 MS에 텍스쳐링(Texturing)을 수행하여 3D 모델 MO를 생성할 수 있다. 구체적으로, 영상 처리부(140)(130)는 3D 메쉬 MS에 대하여 각각의 폴리곤을 형성하는 각각의 정점의 컬러 정보를 기초로 해당 폴리곤에 컬러를 적용함으로써 텍스쳐링을 수행할 수 있다. 도 11을 참조하면, 3D 메쉬 MS를 텍스쳐링 하여 얻어진 3D 모델 MO는 실제 공간과 유사한 형태의 가상 공간을 형성함을 확인할 수 있다.
도 1에서는 영상 정합 장치(130)가 3D 모델링 장치(100)의 일 구성으로 마련되는 경우를 예시하였으나, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 및 영상 처리부(140) 중 적어도 하나를 더 포함하도록 마련될 수 있다. 특히, 영상 정합 장치(130)가 3D 스캐너(110), 카메라(120), 및 영상 처리부(140) 모두를 포함하는 경우, 영상 정합 장치(130)는 3D 모델링 장치(100)로서 구현된다고 볼 수 있다.
상술한 영상 정합 장치(130) 및 영상 처리부(140)는 마이크로프로세서(Microprocessor)를 포함하는 연산 장치로 구현될 수 있고, 예를 들어 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphic Processing Unit, GPU) 중 적어도 하나로 구현될 수 있다. 이와는 달리, 영상 정합 장치(130) 및 영상 처리부(140)가 하나의 SOC(System On Chip)으로 구현되는 것도 가능할 수 있다.
상술한 실시예에 따른 영상 정합 장치 및 방법은, 카메라의 내부 파라미터를 기초로 생성된 가상 영상을 카메라에 의해 획득된 촬영 영상과 정합하므로, 영상 정합의 정확도를 높일 수 있다. 또한, 특정 위치에서 복수의 방향에 대한 가상 영상을 생성하고, 생성된 가상 영상과 촬영 영상의 정합 결과를 3D 모델링의 수행 시 제공하므로, 최종 생성되는 3D 모델의 실감도가 높아질 수 있다.
한편, 상술한 실시예에 따른 영상 정합 방법에 포함된 각각의 단계는, 이러한 단계를 수행하도록 프로그램된 컴퓨터 프로그램 또는 컴퓨터 프로그램을 기록하는 컴퓨터 판독가능한 기록매체에서 구현될 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
일 실시예에 따르면, 상술한 영상 정합 장치 및 방법은 댁내 또는 산업 현장 등 다양한 분야에서 이용될 수 있으므로 산업상 이용 가능성이 있다.
100: 3D 모델링 장치
110: 3D 스캐너
111: 스캔 카메라
112: 라이다
120: 카메라
130: 영상 정합 장치
131: 가상 영상 생성부
132: 정합부
140: 영상 처리부

Claims (12)

  1. 카메라에 의해 공간에 대한 복수의 촬영 영상을 획득하는 단계;
    라이다에 의해 상기 공간의 포인트 클라우드를 획득하는 단계;
    상기 카메라의 내부 파라미터(Intrinsic Parameter)를 이용하여 상기 획득된 포인트 클라우드로부터 복수의 가상 영상을 생성하는 단계; 및
    상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 단계를 포함하고,
    상기 복수의 가상 영상을 생성하는 단계는,
    상기 공간 내에서 결정되는 초점을 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 상기 복수의 가상 영상을 생성하는
    영상 정합 방법.
  2. 삭제
  3. 삭제
  4. ◈청구항 4은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 복수의 가상 영상을 생성하는 단계는,
    상기 결정된 초점으로부터 적어도 7 방향에 대한 상기 복수의 가상 영상을 생성하는
    영상 정합 방법.
  5. ◈청구항 5은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 카메라의 내부 파라미터는,
    상기 카메라의 초점 거리(Focal Length), 이미지 센서 포맷(Image Sensor Format), 스큐(Skew), 주점(Principal Point), 렌즈 왜곡 파라미터(Lens Distortion Parameter), 해상도(Resolution) 중 적어도 하나를 포함하는
    영상 정합 방법.
  6. 제 1 항에 있어서,
    상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합하는 단계는,
    상기 복수의 촬영 영상 및 상기 복수의 가상 영상 각각으로부터 특징점을 추출하는 단계; 및
    상기 복수의 촬영 영상으로부터 추출된 특징점과 상기 복수의 가상 영상으로부터 추출된 특징점을 매칭하여, 상기 복수의 촬영 영상과 상기 복수의 가상 영상을 정합하는 단계를 포함하는
    영상 정합 방법.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    상기 정합된 촬영 영상과 상기 정합된 가상 영상 간의 위치 관계를 획득하는 단계를 더 포함하는
    영상 정합 방법.
  8. ◈청구항 8은(는) 설정등록료 납부시 포기되었습니다.◈
    제 7 항에 있어서,
    상기 촬영 영상과 상기 가상 영상 간의 위치 관계는,
    상기 촬영 영상 및 상기 가상 영상 중 어느 하나를 기준으로 다른 하나를 정합하기 위한 이동 정보 및 회전 정보를 포함하는
    영상 정합 방법.
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항에 있어서,
    격자 패턴에 대하여 상기 카메라에 의해 획득된 테스트 영상을 기초로 상기 카메라의 내부 파라미터를 획득하는 단계를 더 포함하는
    영상 정합 방법.
  10. 카메라의 내부 파라미터를 이용하여 라이다에 의해 획득된 공간에 대한 포인트 클라우드로부터 복수의 가상 영상을 생성하는 가상 영상 생성부; 및
    상기 카메라에 의해 획득된 상기 공간에 대한 복수의 촬영 영상과 상기 복수의 가상 영상을 정합(Registration)하는 정합부를 포함하고,
    상기 가상 영상 생성부는,
    상기 공간 내에서 결정되는 초점을 교점으로 하는 상호 수직인 3개의 축 중 적어도 하나를 기준으로 회전된 복수의 방향에 대하여 상기 복수의 가상 영상을 생성하는
    영상 정합 장치.
  11. 제 1 항, 제 4 항 내지 제 9 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 컴퓨터 판독 가능 기록매체에 저장된 프로그램.
  12. ◈청구항 12은(는) 설정등록료 납부시 포기되었습니다.◈
    제 1 항, 제 4 항 내지 제 9 항 중 어느 한 항에 기재된 방법에 따른 각각의 단계를 수행하는 명령어를 포함하는 프로그램이 기록된 컴퓨터 판독 가능 기록매체.
KR1020180132471A 2018-10-31 2018-10-31 영상 정합 장치 및 방법 KR102109814B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180132471A KR102109814B1 (ko) 2018-10-31 2018-10-31 영상 정합 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180132471A KR102109814B1 (ko) 2018-10-31 2018-10-31 영상 정합 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200049337A KR20200049337A (ko) 2020-05-08
KR102109814B1 true KR102109814B1 (ko) 2020-05-13

Family

ID=70677885

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180132471A KR102109814B1 (ko) 2018-10-31 2018-10-31 영상 정합 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102109814B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102299902B1 (ko) * 2020-07-17 2021-09-09 (주)스마트큐브 증강현실을 제공하기 위한 장치 및 이를 위한 방법
KR102576449B1 (ko) * 2020-11-27 2023-09-11 주식회사 소프트그래피 3차원 모델에 대한 영상 정합 장치 및 방법
KR102366847B1 (ko) * 2020-12-04 2022-02-25 한국전자기술연구원 가상 카메라를 이용한 증강현실 객체 생성 장치 및 방법
KR102642665B1 (ko) * 2023-07-11 2024-03-04 주식회사 비브스튜디오스 가상 카메라를 조정하는 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118396A (ja) * 2015-12-25 2017-06-29 Kddi株式会社 デプスカメラの内部パラメータを算出するプログラム、装置及び方法
KR101755665B1 (ko) * 2016-12-30 2017-07-11 공간정보기술 주식회사 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101841668B1 (ko) * 2012-02-15 2018-03-27 한국전자통신연구원 입체 모델 생성 장치 및 방법
KR20150129260A (ko) 2014-05-09 2015-11-19 주식회사 아이너지 오브젝트 가상현실 콘텐츠 서비스 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017118396A (ja) * 2015-12-25 2017-06-29 Kddi株式会社 デプスカメラの内部パラメータを算出するプログラム、装置及び方法
KR101755665B1 (ko) * 2016-12-30 2017-07-11 공간정보기술 주식회사 스테레오 정합 기술로 생성된 3차원 형상 정보를 통한 포인트 클라우드 번들러 시스템
KR101899549B1 (ko) * 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 카메라 및 라이다 센서를 이용한 장애물 인식 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200049337A (ko) 2020-05-08

Similar Documents

Publication Publication Date Title
KR102109814B1 (ko) 영상 정합 장치 및 방법
KR102160196B1 (ko) 3d 모델링 장치 및 방법
RU2695528C2 (ru) Визуализация изображения данных лазерного сканирования
Meister et al. When can we use kinectfusion for ground truth acquisition
US9972120B2 (en) Systems and methods for geometrically mapping two-dimensional images to three-dimensional surfaces
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
CN103562934B (zh) 脸部位置检测
US11490062B2 (en) Information processing apparatus, information processing method, and storage medium
EP3382645B1 (en) Method for generation of a 3d model based on structure from motion and photometric stereo of 2d sparse images
WO2010004466A1 (en) Three dimensional mesh modeling
JP6937642B2 (ja) 表面評価方法及び表面評価装置
JP2016217941A (ja) ３次元データ評価装置、３次元データ測定システム、および３次元計測方法
CN113945167B (zh) 一种工件数据获取方法和装置
KR20210050365A (ko) 영상 정합 장치 및 방법
JP2004220312A (ja) 多視点カメラシステム
JP2004280776A (ja) 画像内のオブジェクトの形状を決定する方法
CN112883920A (zh) 基于点云深度学习的三维人脸扫描特征点检测方法和装置
KR101817756B1 (ko) 인터랙티브한 시점 제어가 가능한 3차원 모델 기반의 ptm 생성 시스템 및 이를 이용한 ptm 생성 방법
JP3862402B2 (ja) ３次元モデル生成装置および３次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
JPH05135155A (ja) 連続シルエツト画像による３次元モデル構成装置
KR20210050366A (ko) 촬영 위치 결정 장치 및 방법
WO2019230171A1 (ja) レーザ較正装置、その較正方法、及びレーザ較正装置を含む画像入力装置
JP2004258775A (ja) 光線空間データ処理方法、空間データ処理装置
JP3637416B2 (ja) ３次元計測方法、３次元計測システム、画像処理装置、及びコンピュータプログラム
Sosa et al. 3D surface reconstruction of entomological specimens from uniform multi-view image datasets

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right