KR101806969B1 - 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법 - Google Patents

고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법 Download PDF

Info

Publication number
KR101806969B1
KR101806969B1 KR1020160067543A KR20160067543A KR101806969B1 KR 101806969 B1 KR101806969 B1 KR 101806969B1 KR 1020160067543 A KR1020160067543 A KR 1020160067543A KR 20160067543 A KR20160067543 A KR 20160067543A KR 101806969 B1 KR101806969 B1 KR 101806969B1
Authority
KR
South Korea
Prior art keywords
image
pixel
dimensional shape
pattern
amplitude
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020160067543A
Other languages
English (en)
Inventor
박안진
엄주범
이병일
안재성
정홍열
Original Assignee
한국광기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국광기술원 filed Critical 한국광기술원
Priority to KR1020160067543A priority Critical patent/KR101806969B1/ko
Application granted granted Critical
Publication of KR101806969B1 publication Critical patent/KR101806969B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/30—Collimators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H04N13/0203—

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 각 초점면(Focus Plane)에 하나의 고정된 패턴을 투영하고 초점을 변화시키며 영상을 순차적으로 획득하고, 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법에 관한 것이다.
패턴 구동 및 제어가 필요없는 고정 패턴 마스크를 이용하여 시스템을 간소화하는 효과가 있고, 대상물에 투영된 공간 좌표상의 격자 모양 패턴을 분석하여 기준 패턴(Reference Pattern) 영상없이 정밀한 3차원 형상을 획득할 수 있는 효과가 있으며, 하나의 초점면에 하나의 영상만을 획득하기 때문에 3차원 형상 획득에 필요한 영상을 빠르게 획득할 수 있고, 처리량(영상 수)이 종래에 비해 상대적으로 적기 때문에 3차원 형상 생성 시 빠른 수행이 가능하다.

Description

고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법{Static Pattern Mask and Variable Focus Lens based 3D Shape Scanning System and Method}
본 발명은 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법에 관한 것으로, 더욱 상세하게는 각 초점면(Focus Plane)에 하나의 고정된 패턴을 투영하고 초점을 변화시키며 영상을 순차적으로 획득하고, 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법에 관한 것이다.
최근 3차원 형상 정보를 획득하기 위한 다양한 방법들이 연구/개발되고 있으며, 스테레오 비전(Stereo Vision) 기반 방법, ToF(Time of Flight) 기반 방법, 구조광(Structured Light) 기반 방법이 대표적이다.
이중 구조광 기반 방법은 다른 방법과 비교하여 정밀한 3차원 형상 획득이 가능하며, 때문에 밀리미터 이하의 고해상도 분해능(Resolution)이 필요한 3차원 형상 획득 시스템에 많이 활용되고 있다. 구조광은 광원으로부터 시작되는 빛에 패턴이라 부르는 고유한 특성을 부가한 빛(광)을 의미한다.
최근, 구강 스캐너(Inter-oral Scanner), 현미경과 같은 좁은 영역 내에서 대상물의 3차원 형상을 획득(스캔)하기 위해 구조광 기반 방식이 많이 활용되고 있으며, [미국특허 제8878905호, 이하, 특허 1]과 [한국등록특허 제1541610호, 이하, 특허 2]가 대표적인 방법이다.
종래 기술[특허 1과 특허 2]은 크게 광원에서 발생한 광을 일정 패턴의 구조광으로 변환시키는 패턴 생성부, 깊이 정보를 획득하기 위해 초점의 위치(초점면: Focus Plane)를 변화시키는 렌즈 시스템, 구조광이 투영된 대상물의 영상을 획득하는 영상 획득부, 구조광이 투영된 영상들을 분석하여 3차원 형상 정보를 계산하는 3차원 형상 정보 생성부로 구성된다.
특허 1의 패턴 생성부는 시간 가변 패턴(Time Varying Pattern)과 고정 패턴(Static Pattern)을 이용한다. 시간 가변 패턴은 밝음 값과 어두운 값이 시간에 따라 주기적으로 변하는 패턴을 의미하며, 하나의 초점면에 일정 주기의 가변 패턴이 순차적으로 투영된다. 고정 패턴은 밝은 값과 어두운 값이 공간 좌표(x, y축)상에서 반복되는 패턴(예. Checkerboard)을 의미하며, 하나의 초점면에 하나의 고정 패턴이 투영된다.
특허 2의 패턴 생성부는 특허 1의 시간 가변 패턴과 생성 방법은 다르지만 유사한 패턴을 생성하며, 전기적 신호에 의해 그리드 패턴의 공간 위상을 변조시켜 하나의 초점면에 가변 패턴(3장의 순차적인 패턴)을 순차적으로 투영한다.
렌즈 시스템은 초점면을 제어하기 위해 수단이며, 초점 가변 렌즈(특허 1) 또는 액체 렌즈(Liquid Lens)(특허 2)를 이용한다. 초점 가변 렌즈는 렌즈를 광축에따라 물리적으로 이동시켜 초점을 제어하며, 엑체 렌즈는 물리적인 움직임없이 초점을 제어한다. 영상 획득부는 빔 스플리터(Beam Splitter)를 통해 구조광이 투영된 대상물을 영상으로 획득하며, 하나의 대상물에 대해 초점이 가변된 여러 장의 영상을 획득한다.
특허 1의 3차원 형상 생성부는 패턴 정보를 나타내는 기준(Reference) 패턴 영상과의 비교를 통해 모든 초점 가변 영상의 초점 정도를 픽셀 단위로 계산하고, 이 정보를 기반으로 대상물에 대한 3차원 형상을 생성(Reconstruction)한다.
특허 2의 3차원 형상 생성부는 그리드 패턴 변조 시 얻어지는 음영을 갖는 여러 장의 영상 정보를 분석하여 고해상도 영상을 복원한다.
종래, 고정 패턴을 이용할 경우, 하나의 초점면에 대해 한 장의 영상만을 획득하기 때문에 영상획득시간, 데이터 처리시간을 단축할 수 있지만 시스템 구동을 위한 초기단계에서 기준 패턴 영상을 생성해야하고, 입력 영상의 크기가 WxH이고 NxN픽셀이 하나의 패턴(Checkerboard의 사각형 하나)이라고 가정할 경우, 카메라로부터 형상까지의 거리를 나타내는 깊이 영상의 크기가 (W/N)x(H/N)으로 줄어드는 문제가 발생한다. 즉, 모든 픽셀에 대한 3차원 형상 정보를 계산 못하게 되어 최종 3차원 형상의 정밀도가 낮아지는 문제점이 있다.
결과적으로 시간 패턴을 이용하는 경우 시스템에 복잡해지는 문제, 고정 패턴을 이용할 경우 3차원 형상의 정밀도가 낮아지는 문제가 발생한다.
본 발명의 목적은 전술한 점들을 감안하여 안출된 것으로, 종래기술에 비해 패턴 구동 및 제어가 필요없는 고정 패턴 마스크를 이용하여 시스템을 간소화하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 그 방법을 제공함에 있다.
또한 본 발명의 다른 목적은 대상물에 투영된 공간 좌표상의 격자 모양 패턴을 분석하여 기준 패턴(Reference Pattern) 영상없이 정밀한 3차원 형상을 획득하도록 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 그 방법을 제공함에도 있다.
그리고 본 발명의 또 다른 목적은 하나의 초점면에 하나의 영상만을 획득하기 때문에 3차원 형상 획득에 필요한 영상을 빠르게 획득할 수 있도록 하고, 처리량(영상 수)이 종래에 비해 상대적으로 적기 때문에 3차원 형상 생성 시 빠른 수행이 가능하도록 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 그 방법을 제공함에도 있다.
이러한 기술적 과제를 달성하기 위한 본 발명은 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득하도록 하는 하드웨어부; 및 상기 하드웨어부를 통해 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 분석부;를 포함한다.
바람직하게 하드웨어부는 광원과, 상기 광원으로부터 발산된 광을 일정 패턴의 구조광으로 변환시키는 격자 무늬 패턴 마스크와, 빛을 평행광으로 변환하는 Collimating렌즈와, 초점 구간을 가변하는 가변초점 렌즈와, 구조광을 대상물에 결상하는 대물렌즈와, 투영되는 구조광과 대상물에 반사되는 광을 분리하는 빔 스플리터와, 구조광을 대상물에 전달하고 대상물에 반사된 광을 영상획득부에 전달하는 이미징 렌즈와, 대상물에 반사된 구조광 영상을 획득하는 영상획득부를 포함한다.
또한 바람직하게 분석부는 초점 구간이 가변하여 구조광이 투영된 대상물을 상기 하드웨어부로부터 입력영상을 분석하여 3차원 형상을 재구성하는 3차원 형상정보 생성부;를 포함하며, 상기 3차원 형상정보 생성부는 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하는 좌표계산모듈; 상기 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 하는 진폭분석모듈; 및 순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 하는 픽셀 값 산출모듈;을 포함한다.
또한 바람직하게 분석부는 상기 하드웨어부를 통해 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하는 판단모듈; 상기 판단모듈의 판단결과가 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하는 제1 분석모듈; 및 상기 판단모듈의 판단결과가 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하는 제2 분석모듈;을 포함한다.
한편, 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법에 있어서, (a) 상기 3차원 형상 획득 시스템의 분석부가 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득된 영상 중, 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하는 단계; (b) 상기 분석부가 상기 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 하는 단계; 및 (c) 상기 분석부가 순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 하는 단계;를 포함한다.
또한 바람직하게 제(b)단계는 (b-1) 상기 분석부가 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하는 단계; (b-2) 상기 분석부가 상기 (b-1) 단계 결과, 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하는 단계; 및 (b-3) 상기 분석부가 상기 (b-1) 단계 결과, 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하는 단계;를 포함한다.
상술한 바에 의하면, 패턴 구동 및 제어가 필요없는 고정 패턴 마스크를 이용하여 시스템을 간소화하는 효과가 있고, 대상물에 투영된 공간 좌표상의 격자 모양 패턴을 분석하여 기준 패턴(Reference Pattern) 영상없이 정밀한 3차원 형상을 획득할 수 있는 효과가 있다.
그리고 하나의 초점면에 하나의 영상만을 획득하기 때문에 3차원 형상 획득에 필요한 영상을 빠르게 획득할 수 있고, 처리량(영상 수)이 종래에 비해 상대적으로 적기 때문에 3차원 형상 생성 시 빠른 수행이 가능하다.
도 1은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 전체 구성도이다.
도 2는 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 격자 무늬 패턴을 나타낸 예시도이다.
도 3은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 초점 심도를 바꿔가며 구조광이 투영된 대상물을 영상 획득부를 통해 획득한 영상을 나타낸 예시도이다.
도 4는 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 각 픽셀에 대한 3차원 좌표 계산 과정을 나타낸 예시도이다.
도 5는 도 3의 영상에 대해 식 1을 이용하여 계산된 각 픽셀에 대한 픽셀값, 평균, 분산을 나타낸 예시도이다.
도 6은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 전체 구성을 나타낸 예시도이다.
도 7은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법의 전체 흐름도이다.
도 8은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법에서 픽셀의 진폭을 분석하는 과정을 나타낸 흐름도이다.
본 발명의 구체적 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다. 이에 앞서 본 발명에 관련된 공지 기능 및 그 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는, 그 구체적인 설명을 생략하였음에 유의해야 할 것이다.
이하, 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 도면을 참조하여 설명하면 다음과 같다.
도 1은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 전체 구성도이다.
도 1에 도시된 바와 같이, 광원(110)과, 상기 광원(110)으로부터 발산된 광을 일정 패턴의 구조광으로 변환시키는 격자 무늬 패턴(130)과, 빛을 평행광으로 변환하는 Collimating 렌즈(120)와, 초점 구간를 제어(가변)하는 가변초점 렌즈(180)와, 구조광을 대상물에 결상하는 대물렌즈(190)와, 투영되는 구조광과 대상물에 반사되는 광을 분리하는 빔 스플리터(Beam Splitter,140)와, 구조광을 대상물에 전달하고 대상물에 반사된 광을 영상획득부에 전달하는 이미징 렌즈(170)와, 대상물(10)에 반사된 구조광 영상을 획득하는 영상획득부(150)와, 입력 영상을 분석하여 3차원 형상을 재구성(Reconstruction)하는 3차원 형상 정보 생성부(160)를 포함한다.
본 실시예에서 사용된 격자 무늬 패턴(130)은 투명, 불투명이 같은 간격으로 반복되는 글래스(Glass)이며, 가로 또는 세로 방향으로 일정한 간격의 줄무늬 격자를 가진다. 격자 무늬 패턴의 일 실시예로 Ronchi Ruling이 사용될 수 있다.
도 2는 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 격자 무늬 패턴을 나타낸 예시도이다.
격자 무늬 패턴은 광원(110) 앞에 구동부나 제어부없이 고정된 상태로 장착(130)되며, 격자 무늬 패턴을 통과한 빛이 격자 모양의 구조광을 형성한다.
렌즈 시스템은 대상물의 z축 방향으로 초점 구간을 가변하기 위해 이용하며, 영상획득부는 구조광이 투영된 대상물을 영상을 획득하기 위해 이용된다. 렌즈 시스템은 가변 초점 렌즈 또는 엑체 렌즈가 사용될 수 있으며, 물리적 움직임이 필요없는 엑체 렌즈를 이용하면 시스템 간소화, 소음 측면에서 장점이 있다.
도 2는 구조광이 투영된 대상물을 영상 획득부를 통해 획득한 영상의 예(220)를 보여주며, 초점 구간을 가변하며 구조광이 투영된 대상물을 영상으로 획득한다. 도 2를 예를 들면, 초점 구간은 z축방향으로 먼 곳에서 가까운 곳으로 이동하며, 대상물에 대해 초점 구간 가변, 영상 획득 과정을 반복하여 대상물의 깊이(z축) 정보를 획득한다. 본 발명은 격자 무늬 패턴이 고정되어 있기 때문에 모든 초점 구간에서 동일한 구조광을 투영하며, 영상 획득부는 하나의 초점 구간에 대해 하나의 영상을 획득한다.
이 과정을 통해 3차원으로 재구성될 대상물(10)에 대한, 동일한 구조광이 투영된 초점 구간이 순차적으로 변하는 여러 장의 영상을 획득한다. 3차원 형상 정보 생성부(160)는 여러 장의 영상을 분석하여 대상물에 대한 3차원 형상 정보를 생성하며, 픽셀 단위로 하나의 3차원 좌표를 계산한다.
도 3은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 초점 심도를 바꿔가며 구조광이 투영된 대상물을 영상 획득부를 통해 획득한 영상을 나타낸 예시도이다. 도 3에 도시된 바와 같이, 초점이 맺혀있는 영상에서 패턴이 상대적으로 뚜렷하게 보이는 특징이 있다.
도 4는 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 각 픽셀에 대한 3차원 좌표 계산 과정을 나타낸 예시도이다.
도 4에 도시된 바와 같이, 여러 장의 영상으로부터 하나의 깊이 영상(Depth Map)을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산한다. 깊이 영상의 크기는 입력 영상과 같은 크기를 가지며, 깊이 영상의 각 픽셀 값은 카메라로부터 형상까지의 거리 값(깊이 값)을 가진다. 깊이 값은 픽셀 단위로 계산하며, 순차적으로 입력 받은 여러 장의 영상 중 가장 초점이 맺혀 있는 영상의 순번(Index)을 기반으로 해당 픽셀의 깊이 값을 계산한다.
초점이 맺혀있는 정도를 계산하기 위해 픽셀 단위로 초점 정도를 계산한다. 도 5는 초점 변화에 따라 변하는 영상획득부를 통해 획득한 영상의 예를 보여주며, 초점 정도가 높을수록 패턴의 진폭(변화량)이 높은 특징을 보인다. 이 특징을 기반으로 본 발명은 픽셀의 진폭을 계산하여 초점 정도를 측정한다.
각 픽셀의 진폭을 계산하는 한 첫 번째 실시예로, 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산한다. 분산은 평균으로부터 떨어져있는 정도를 나타내기 때문에 이를 주기 패턴에 적용하면 진폭으로 해석할 수 있다. 파장 하나에 대한 진폭을 계산해야 하기 때문에 N은 파장 하나를 포함하는 픽셀 수가 되며, 도 5를 예를 들면, N은 5가 된다.
다음의 식 1과 식 2는 i번째 영상의 (x, y) 좌표의 분산을 계산하는 식이며, 격자 무늬 패턴이 x축과 수평한 경우 식 1을 y축과 수평한 경우 식 2를 이용할 수 있다.
Figure 112016052546395-pat00001
여기서
Figure 112016052546395-pat00002
는 i번째 영상의 (k, y) 번째 좌표의 픽셀 값(intensity)을 나타내며,
Figure 112016052546395-pat00003
는 N개의 이웃하는 픽셀의 평균값을 나타낸다.
Figure 112016052546395-pat00004
여기서
Figure 112016052546395-pat00005
는 i번째 영상의 (x, k) 번째 좌표의 픽셀 값(intensity)을 나타내며,
Figure 112016052546395-pat00006
는 N개의 이웃하는 픽셀의 평균값을 나타낸다.
도 2는 x축에 수평한 경우(210)의 예를 보여주며 이 경우 식 1을 이용하여 계산한다.
도 5는 도 3의 영상에 대해 식 1을 이용하여 계산된 각 픽셀에 대한 픽셀값, 평균, 분산을 보여주며, 각 픽셀 단위로 분산값을 비교하면 초점이 맺혀있는 영상에서 더 높은 값을 보임을 확인할 수 있다.
각 픽셀의 진폭을 계산하는 또 다른 실시예로, 해당 픽셀의 이웃하는 N개의 픽셀 중 픽셀 값의 최대 값과 최소 값의 차이를 계하며, 첫 번째 실시예와 비교해서 이론적으로 최대, 최소 값의 차이가 진폭을 더욱 잘 표현할 수 있다. 도 2와 같이 격자무늬 패턴이 x축으로 수평한 경우 x축으로 이웃하는 x축의 픽셀을 확인한다.
첫 번째 실시예와 두 번째 실시예를 실제 영상으로 테스트를 하면, 대상물의 표면 또는 조명의 밝기 등의 외부 요인에 의해 대상 표면에 투영된 구조광을 영상획득부에서 제대로 획득하지 못하는 경우(예, 패턴이 선명하지 않는 경우) 첫 번째 실시예가 더욱 좋은 결과를 보였다. 반대로 대상물에 패턴이 선명하게 투영되는 경우 두 번째 실시예가 더욱 좋은 결과를 보였다.
모든 영상에 대해 초점 정도를 계산한 후 각 픽셀 단위로 깊이 값을 계산한다. 깊이 값은 초점 정도가 최대인 영상의 인덱스를 식 3을 이용하여 계산하며, 이 값으로 Depth Index Map(DIM)이라 부르는 하나의 영상을 생성한다.
Figure 112016052546395-pat00007
DIM(Depth Index Map)가 계산된 후 각 픽셀 값(DIMxy)에 대한 깊이(Depth) 값을 계산할 수 있다. 깊이값을 계산하는 과정은 영상획득부에서 사용하는 카메라 특성에 따라 달라진다. Tele-centric Lens를 이용하여 영상을 획득한다고 가정하는 경우, 시스템 설정 단계에서 일반적으로 기준이 되는 영상(BI: Base Index)까지의 거리(DCBI: Distance from Camera to Base Index)와 이웃 초점 영상 사이의 거리(DBCI: Distance Between Consecutive Images)를 알 수 있으며, 이 값을 이용하여 깊이 영상(Z: Depth Map)을 계산한다.
Figure 112016052546395-pat00008
식 4는 카메라로부터 거리 먼 영상이 낮은 인덱스를 가진다는 가정의 식이다.
깊이 영상은 각 픽셀의 z축 값에 해당한다. 본 시스템에서 Tele-centric Lens를 이용하기때문에 (x, y)의 실제 거리(X, Y)는 영상의 중심(
Figure 112016052546395-pat00009
,
Figure 112016052546395-pat00010
)이 3차원 좌표계의 원점이라는 가정하에 카메라의 픽셀 크기(
Figure 112016052546395-pat00011
,
Figure 112016052546395-pat00012
)를 곱하여 계산한다.
Figure 112016052546395-pat00013
깊이 영상이 주어지면 일반적인 카메라 환경인 경우 Camera Calibration 과정을 통해 3차원 정보를 추출할 수 있다. 이 과정은 본 특허의 핵심 내용이 아니기 때문에 구체적인 기술은 생략한다.
즉, 본 발명은 고정 패턴 이 투영된 초점 가변 영상으로부터 한 장의 깊이 영상 추출이 주된 목적이며, 기존 기술과 비교해서 시스템 간소화 정밀한 3차원 형상 획득을 구현할 수 있다.
도 6은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템의 전체 구성을 나타낸 예시도이다.
도 6에 도시된 바와 같이, 전체 시스템 구성은 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득하도록 하는 하드웨어부(1000); 및 상기 하드웨어부를 통해 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 분석부(2000);를 포함한다.
이때 하드웨어부(1000)는 광원(110)과, 상기 광원(110)으로부터 발산된 광을 일정 패턴의 구조광으로 변환시키는 격자 무늬 패턴 마스크(130)와, 빛을 평행광으로 변환하는 Collimating 렌즈(120)와, 초점 구간을 가변하는 가변 초점렌즈(180)와, 구조광을 대상물에 결상하는 대물렌즈(190)와, 투영되는 구조광과 대상물에 반사되는 광을 분리하는 빔 스플리터(Beam Splitter)와, 구조광을 대상물에 전달하고 대상물에 반사된 광을 영상획득부에 전달하는 이미징 렌즈와, 대상물(10)에 반사된 구조광 영상을 획득하는 영상획득부(150)를 포함할 수 있다.
이때, 격자 무늬 패턴 마스크(130)는 가로 또는 세로 방향으로 투명과 불투명이 같은 간격으로 반복되어 일정한 간격의 줄무늬 격자를 갖는 격자 모양의 패턴 마스크이다. 그리고 가변 초점렌즈(180)는 초점 구간을 가변하는 렌즈 시스템으로서, 하나의 초점면에 하나의 영상만을 획득하도록 하는 렌즈 시스템이다.
분석부(2000)는 초점 구간이 가변하여 구조광이 투영된 대상물을 상기 하드웨어부로부터 입력영상을 분석하여 3차원 형상을 재구성하는 3차원 형상정보 생성부(160);를 포함하며, 이러한 3차원 형상정보 생성부(160)는 좌표계산모듈(161), 진폭분석모듈(162), 픽셀 값 산출모듈(163)을 포함할 수 있다.
좌표 계산모듈(161)은 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하는 구성이다.
진폭분석모듈(162)은 상기 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 하는 구성이다.
픽셀 값 산출모듈(163)은 순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 하는 구성이다.
그리고 분석부(2000)에서, 진폭분석모듈(162)은 판단모듈(1621), 제1 분석모듈(1622), 제2 분석모듈(1623)을 포함할 수 있다.
판단모듈(1621)은 하드웨어부를 통해 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하는 구성이다.
제1 분석모듈(1622)은 판단모듈의 판단결과가 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하는 구성이다.
제2 분석모듈(1623)은 판단모듈의 판단결과가 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하는 구성이다.
도 7은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법의 전체 흐름도이다.
도 7에 도시된 바와 같이, 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법에 있어서, 3차원 형상 획득 시스템의 분석부(2000)는 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득된 영상 중, 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하도록 한다(a).
다음으로 상기 분석부는 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 한다(b).
다음으로 분석부는 순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 한다(c).
도 8은 본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법에서 픽셀의 진폭을 분석하는 과정을 나타낸 흐름도이다.
도 8에 도시된 바와 같이, 분석부는 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하도록 한다(b-1).
다음으로 분석부는 (b-1) 단계 결과, 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하도록 한다(b-2).
다음으로 분석부는 (b-1) 단계 결과, 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하도록 한다(b-3).
본 발명의 일실시예에 따른 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법은 각 초점면(Focus Plane)에 하나의 고정된 패턴을 투영하고 초점을 변화시키며 영상을 순차적으로 획득하는 하드웨어와 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 소프트웨어를 결합한 3차원 형상 획득 시스템 및 방법에 관한 것이다.
특히, 패턴 구동 및 제어가 필요없이 고정 패턴 마스크를 이용하여 시스템을 간소화할 수 있으며, 대상물에 투영된 공간 좌표상의 격자 모양 패턴을 분석하여 기준 패턴(Reference Pattern)영상없이 정밀한 3차원 형상을 획득할 수 있다.
본 발명은 시스템을 간소화하기 위해 구동 및 제어가 필요없는 고정 패턴 마스크를 이용하며, 정밀도를 높이기 위해 격자 모양의 패턴 마스크로 이용한다. 격자 모양 패턴 마스크는 투명, 불투명이 같은 간격으로 반복되는 마스크이며, 가로 또는 세로 방향으로 일정한 간격의 줄무늬 격자를 가진다. 격자 모양 패턴 마스크에 의해 생성된 대상물에 투영된 패턴은 x 또는 y축으로 밝은 값과 어두운 값이 일정한 주기로 반복되는 특성을 가진다. 본 발명은 기준 패턴과의 비교를 수행하는 대신 격자 모양 패턴 마스크에 의해 생성된 패턴의 진폭을 분석하여 정밀도 손실없이 3차원 형상 정보를 획득할 수 있다.
본 발명은 깊이 정보 획득을 위한 가변 초점 렌즈와 구조광 생성을 위한 고정 패턴 마스크를 이용하는 3차원 형상 획득 시스템에 관한 것으로, 종래 기술에 비해 패턴 마스크 구동부 및 제어부를 이용하기 않기 때문에 시스템을 간소화할 수 있다. 하나의 초점면에 하나의 영상만을 획득하기 때문에 3차원 형상 획득에 필요한 영상을 빠르게 획득할 수 있고, 처리량(영상 수)이 상대적으로 적기 때문에 3차원 형상 생성 시 빠른 수행이 가능하다. 뿐만 아니라 일정 주기 패턴을 대상물에 투영할 수 있는 격자 모양 패턴 마스크를 사용하여 입력 영상의 모든 픽셀에 대해 3차원 형상 정보를 계산하기 때문에, 고정 패턴 사용시 기준 패턴과의 비교로 인해 발생하는 정밀도 손실을 줄일 수 있다.
이상으로 본 발명의 기술적 사상을 예시하기 위한 바람직한 실시예와 관련하여 설명하고 도시하였지만, 본 발명은 이와 같이 도시되고 설명된 그대로의 구성 및 작용에만 국한되는 것이 아니며, 기술적 사상의 범주를 일탈함이 없이 본 발명에 대해 다수의 변경 및 수정이 가능함을 당업자들은 잘 이해할 수 있을 것이다. 따라서, 그러한 모든 적절한 변경 및 수정과 균등물들도 본 발명의 범위에 속하는 것으로 간주되어야 할 것이다.
1000 : 하드웨어부 110 : 광원
120 : Collimating 렌즈 130 : 패턴 마스크
140 : 빔스플릿터 150 : 영상획득부
160 : 3차원 형상정보 생성부 161 : 좌표계산모듈
162 : 진폭분석모듈 163 : 픽셀 값 산출모듈
170 : 이미징 렌즈
1621 : 판단모듈 1622 : 제1 분석모듈
1623 : 제2 분석모듈 180 : 가변 초점렌즈
190 : 대물 렌즈
2000 : 분석부

Claims (6)

  1. 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득하도록 하는 하드웨어부; 및
    상기 하드웨어부를 통해 획득된 영상에서 패턴의 진폭을 분석하여 대상물의 3차원 형상을 생성하는 분석부;를 포함하며,
    상기 분석부는 하드웨어부를 통해 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하는 판단모듈;
    상기 판단모듈의 판단결과가 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하는 제1 분석모듈; 및
    상기 판단모듈의 판단결과가 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하는 제2 분석모듈;을 포함하는 것을 특징으로 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템.
  2. 제 1 항에 있어서,
    상기 하드웨어부는,
    광원과, 상기 광원으로부터 발산된 광을 일정 패턴의 구조광으로 변환시키는 격자 무늬 패턴 마스크와, 빛을 평행광으로 변환하는 Collimating렌즈와, 초점 구간을 가변하는 가변초점 렌즈와, 구조광을 대상물에 결상하는 대물렌즈와, 투영되는 구조광과 대상물에 반사되는 광을 분리하는 빔 스플리터와, 구조광을 대상물에 전달하고 대상물에 반사된 광을 영상획득부에 전달하는 이미징 렌즈와, 대상물에 반사된 구조광 영상을 획득하는 영상획득부를 포함하는 것을 특징으로 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템.
  3. 제 1 항에 있어서,
    상기 분석부는,
    초점 구간이 가변하여 구조광이 투영된 대상물을 상기 하드웨어부로부터 입력영상을 분석하여 3차원 형상을 재구성하는 3차원 형상정보 생성부;를 포함하며,
    상기 3차원 형상정보 생성부(160)는 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하는 좌표계산모듈;
    상기 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 하는 진폭분석모듈; 및
    순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 하는 픽셀 값 산출모듈;을 포함하는 것을 특징으로 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템.
  4. 삭제
  5. 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템을 이용한 방법에 있어서,
    (a) 상기 3차원 형상 획득 시스템의 분석부가 각 초점면에 하나의 고정된 패턴을 투영하고 초점을 변화시켜 영상을 순차적으로 획득된 영상 중, 여러 장의 영상으로부터 하나의 깊이 영상을 생성하고, 깊이 영상으로부터 각 픽셀에 대한 3차원 좌표(Point Cloud)를 계산하는 단계;
    (b) 상기 분석부가 상기 픽셀의 진폭을 계산하여 초점 정도를 측정하도록 하는 단계; 및
    (c) 상기 분석부가 순차적으로 입력받은 여러 장의 영상중 가장 높은 초점이 맺혀 있는 영상의 순번을 기반으로 해당 픽셀의 깊이 값을 계산하도록 하는 단계;를 포함하며,
    상기 제(b)단계는 (b-1) 상기 분석부가 획득된 영상 중, 대상물의 표면 또는 조명 밝기의 외부 요인에 따라 대상 표면에 투영된 구조광의 획득량이 설정값 이상인지 판단하는 단계;
    (b-2) 상기 분석부가 상기 (b-1) 단계 결과, 설정값 이내인 경우, 획득된 영상에서 각 픽셀의 진폭을 계산하기 위하여 해당 픽셀의 이웃하는 N개 픽셀 값의 분산을 계산하고 주기 패턴에 적용하여 진폭을 분석하는 단계; 및
    (b-3) 상기 분석부가 상기 (b-1) 단계 결과, 설정값 이상인 경우, 획득된 영상에서 해당 픽셀의 이웃하는 N개 픽셀의 최대값과 최소값의 차이를 계산하고 주기 패턴에 적용하여 진폭을 분석하는 단계;를 포함하는 것을 특징으로 하는 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 방법.
  6. 삭제
KR1020160067543A 2016-05-31 2016-05-31 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법 Active KR101806969B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160067543A KR101806969B1 (ko) 2016-05-31 2016-05-31 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160067543A KR101806969B1 (ko) 2016-05-31 2016-05-31 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101806969B1 true KR101806969B1 (ko) 2017-12-11

Family

ID=60943407

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160067543A Active KR101806969B1 (ko) 2016-05-31 2016-05-31 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101806969B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210008773A (ko) * 2019-07-15 2021-01-25 한국과학기술원 3 차원 이미지 생성 방법 및 장치
KR20210014308A (ko) * 2019-07-30 2021-02-09 (주)칼리온 패턴 마스크를 이용한 3차원 스캐닝의 프로젝션 시스템 및 그 방법
US10952827B2 (en) 2014-08-15 2021-03-23 Align Technology, Inc. Calibration of an intraoral scanner

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181247A (ja) * 2009-02-05 2010-08-19 Nokodai Tlo Kk 形状測定装置及び形状測定方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010181247A (ja) * 2009-02-05 2010-08-19 Nokodai Tlo Kk 形状測定装置及び形状測定方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10952827B2 (en) 2014-08-15 2021-03-23 Align Technology, Inc. Calibration of an intraoral scanner
KR20210008773A (ko) * 2019-07-15 2021-01-25 한국과학기술원 3 차원 이미지 생성 방법 및 장치
KR102232390B1 (ko) * 2019-07-15 2021-03-26 한국과학기술원 3 차원 이미지 생성 방법 및 장치
KR20210014308A (ko) * 2019-07-30 2021-02-09 (주)칼리온 패턴 마스크를 이용한 3차원 스캐닝의 프로젝션 시스템 및 그 방법
KR102306973B1 (ko) * 2019-07-30 2021-09-30 (주)칼리온 패턴 마스크를 이용한 3차원 스캐닝의 프로젝션 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
CN106767527B (zh) 一种三维轮廓的光学混合检测方法
EP3801365B1 (en) Device, method and system for generating dynamic projection patterns in a confocal camera
CN105143820B (zh) 利用多个发射器进行深度扫描
KR101925028B1 (ko) 깊이 영상 생성 장치 및 방법
CN111263899B (zh) 照明装置、飞行时间系统和方法
CN110214290A (zh) 显微光谱测量方法和系统
EP2327956B1 (en) Method and apparatus for determining the height of a number of spatial positions on a sample
CN108362228B (zh) 一种基于双光机的光刀光栅混合式三维测量装置及测量方法
JP2007521491A (ja) 高速マルチプルライン三次元デジタル化法
WO2018034241A1 (ja) 電磁波位相振幅生成装置、電磁波位相振幅生成方法及び電磁波位相振幅生成プログラム
KR101806969B1 (ko) 고정 패턴과 가변 초점 렌즈를 이용한 3차원 형상 획득 시스템 및 방법
EP3688407B1 (en) Light projection systems
JP2023134456A (ja) マルチコアファイバイメージング
CN108508795B (zh) 用于投影仪的控制方法和装置
CN106979758A (zh) 一种三维测量装置和方法
KR102370888B1 (ko) 모델-기반 피크 선택을 이용하는 3 차원 프로파일 결정을 위한 시스템 및 방법
CN112461141A (zh) 结构光3d测高装置及测高方法
JP2007322259A (ja) エッジ検出方法、装置、及びプログラム
CN111982022B (zh) 空间结构检测方法及系统
CN108700732A (zh) 用于确定物体的高度位置的方法
US20170069110A1 (en) Shape measuring method
KR101909528B1 (ko) 구조광을 이용한 3차원 이미징 방법 및 시스템
CN102313524B (zh) 一种取像装置与方法
JP5342178B2 (ja) 形状測定装置およびその形状測定方法
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160531

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20170523

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20171121

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20171204

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20171205

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20201118

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20211123

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20221124

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20231109

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20241128

Start annual number: 8

End annual number: 8