KR20010046823A - 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법 - Google Patents

정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법 Download PDF

Info

Publication number
KR20010046823A
KR20010046823A KR1019990050739A KR19990050739A KR20010046823A KR 20010046823 A KR20010046823 A KR 20010046823A KR 1019990050739 A KR1019990050739 A KR 1019990050739A KR 19990050739 A KR19990050739 A KR 19990050739A KR 20010046823 A KR20010046823 A KR 20010046823A
Authority
KR
South Korea
Prior art keywords
model
subgraph
type
generating
distance data
Prior art date
Application number
KR1019990050739A
Other languages
English (en)
Other versions
KR100340080B1 (ko
Inventor
박인규
윤일동
이상욱
Original Assignee
박인규
이상욱
윤일동
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박인규, 이상욱, 윤일동 filed Critical 박인규
Priority to KR1019990050739A priority Critical patent/KR100340080B1/ko
Publication of KR20010046823A publication Critical patent/KR20010046823A/ko
Application granted granted Critical
Publication of KR100340080B1 publication Critical patent/KR100340080B1/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 의한 정렬되지 않은 3차원 거리 데이터로부터의 캐드모델 생성 방법은 초기 모델 추정과정, 계층적 모델 생성과정, NURBS(Non-Uniform Rational B-Splines) 곡면 네트워크 생성과정을 포함하는 것을 특징으로 한다. 본 발명은 연결정보가 알려지지 않고 정렬되는 않은 일반적인 3차원 점들의 집합인 입력데이터를 바탕으로 NURBS 곡면 근사에 기반하여 자동으로 거리데이터로부터 3차원 캐드 모델을 생성한다. 초기 모델 추정 단계에서는 K-평균 군집화 기법을 이용하여 다각형면과 삼각형면으로 표현되는 초기 근사 모델을 생성하고, 계층적 트리구조를 이용하여 사각형면 모델을 생성한다. 계층적 트리 구조로부터 생성된 사각형면 모델에 의하여 NURBS곡면 네트워크를 효율적으로 생성하고, NURBS 곡면 네트워크를 바탕으로 NURBS 곡면 근사를 수행한다. 본 발명은 초기 모델의 계층적 그래프 해석을 통하여 곡면 네트워크 형성에 필요한 계산량을 감소시키며, 또한 정확한 NURBS 제어점 추정을 통하여 근사 오차를 감소시킨다. 본 발명에 의한 바람직한 실시예를 통하여, 거리 결과 데이터로부터 초기 모델과 다양한 해상도의 NURBS 곡면 네트워크를 생성할 수 있으며, 무시할 수 있는 오차 범위 내에서 NURBS 곡면 모델을 생성할 수 있다.

Description

정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법{Automatic CAD Model Synthesis From Unorganized 3-D Range Data}
본 발명은 3차원 거리 데이터로부터의 캐드모델을 생성하는 기법에 관한 것으로, 특히 정렬되지 않은 3차원 거리 데이터로부터 자동으로 NURBS 네트워크를 생성하는 NURBS 곡면 모델 생성방법에 관한 것이다. NURBS는 IGES, STEP등과 같은 여러 가지 캐드 표준에서 곡면 표현의 표준으로 이용되고 있다.
본 발명과 같은 3차원 거리 데이터로부터 적절한 3차원 캐드모델을 얻기 위한 종래의 모델링 기법으로 메쉬 기반 모델링 기법과 B-Splines기반 모델링 기법이 있다.
삼각형 메쉬 모델링 기법은 거리 데이터 또는 3차원 점들로부터 효율적으로 삼각화를 수행하는 기법과 생성되어 있는 초기 삼각형 메쉬로부터 삼각형 꼭지점의 삭제 및 합병, 변의 교환등과 같은 방법을 이용하여 다중 해상도를 구현하거나 오차의 한도내에서 메쉬를 최적화하는 기법의 두 가지 분야로 나눌 수 있다. 삼각형메쉬 모델링 기법에 있어, 물체를 표현하는 거리 데이터의 양이 매우 방대하기 때문에 계산량이 많고 메쉬 최적화등의 부가 기법이 필요한 단점이 있다. 또한 삼각형 메쉬는 곡면 모델이 아니므로 응용 범위가 거리 데이터의 시각화로 제한되는 단점을 가지고 있다. 따라서, 곡면인 3차원 물체의 표면을 보다 정확하게 표현하고, 곡면 편집, 변형 등의 기능을 실제 캐드 시스템에서 용이하게 이용하기 위하여 B-Splines에 기반한 모델링 기법이 제안되고 있다.
B-Splines기반 모델링 기법은 사용자와 컴퓨터의 작업 분담의 정도에 따라 반자동 모델링과 자동 모델링 기법으로 나뉘어지며, B-Splines 네트워크를 형성하는지의 여부에 따라 한 장 또는 원통형 B-Splines 구조의 변형에 의한 모델링과 여러 장의 B-Splines의 조합에 의한 모델링 기법으로 나눌 수 있다. 반자동 모델링 기법은 국부 근사를 수행하므로 임의의 형상을 가지는 물체에 대한 전체적인 곡면모델을 생성하는데 한계를 지닌다. 종래의 자동모델링 기법은 오차의 한계범위 내에서 좋은 모델을 생성하지만 과대한 최적화 과정으로 인한 모델링의 계산량이 많은 문제점을 안고 있다. 한 장 또는 원통형 B-Splines 구조의 변형에 의한 모델링 기법은 표현할 수 있는 물체가 단순한 형태로 제한된다는 단점이 있어 실제 응용에는 부적절하다. 따라서 B-Splines 곡면 모델을 생성하기 위하여 여러장의 B-Splines의 네트워크로 물체를 표현하는 기법을 사용하는 것이 바람직하다. 그러나 정렬되지 않은 거리 데이터로부터 자동으로 이와 같은 과정을 수행하는 알고리듬은 현재까지 많이 보고되고 있지 않은 실정이다.
또한, B-Splines의 가장 일반적인 형태로 NURBS(Non-Uniform Rational B-Splines)에 기반한 모델링이 사용되는데, NURBS에 기반한 곡면 근사에 앞서 곡면을 구성하는 데이터가 2차원u-v매개 변수 공간에 규칙적으로 대응되어 있는 격자구조를 이루고 있어야 한다. 그러나 복잡한 형태의 물체의 표면 전체에 대해 매개변수화를 수행하기는 사실상 불가능하므로 물체의 표면을 분할하여 단위 곡면들이 연결된 구조로 변형한 후 단위 곡면별로 NURBS 곡면 근사를 수행하여 NURBS 곡면 네트워크를 형성하는 방법을 사용한다. 그러나, 이러한 조건을 만족시키는 곡면 네트워크를 형성하는 데이터를 발생시키는 적절한 알고리듬이 알려지지 않은 상태이다.
본 발명은 상기와 같은 종래 발명의 문제점을 해결하고자 정렬되지 않은 3차 원거리 데이터로부터 자동으로 NURBS곡면 네트워크를 신속하고 정확하게 형성하는 효율적인 방법을 제시한다. 이를 위하여, 본 발명은 추정된 초기모델로부터 효과적인 NURBS곡면 네트워크의 형성을 위한 계층적 트리구조 형성 과정을 통하여, 인접그래프를 특성에 따라 계층적으로 분류하고 이를 통해 효율적으로 사각형면 모델을 생성하며, 사각형면 모델을 바탕으로 NURBS 곡면 근사를 위한 NURBS 곡면 네트워크를 생성한다.
도1은 본 발명에 의한 정렬되지 않은 3차원 거리 데이터로부터의 캐드모델 생성 방법에서 초기 거리 데이터를 처리하여 곡면 모델을 형성하는 과정을 나타내는 흐름도이다.
도2는 인접 그래프의 분할로 생성되는 세 가지 종류의 부그래프를 나타낸다.
도3은 초기 다각형 모델로부터 생성된 계층적 트리 구조를 나타낸다.
도4는 제1형 및 제2형 부그래프로부터 사각형면 모델을 생성하는 방법을 나타내는 예시도이다.
도5는 제3형 부그래프를 제1형 부그래프에 속하는 노드를 이용하여 병합하기 위한 계층확장 과정을 나타낸다.
도6은 제3형 부그래프를 제1형 부그래프에 속하는 노드로 연결하여 사각형면을 생성하는 과정을 나타낸다.
도7은 계층적 분할을 이용한 새로운 격자점을 추정하는 과정을 나타낸다.
도8은 전화기 데이터에 대한 모델링 과정과 결과를 나타낸다.
상기 문제점을 해결하기 위하여, 본 발명에 의한 정렬되지 않은 3차원 거리데이터로부터의 NURBS 곡면 모델 생성 방법은 K-평균 알고리듬에 의한 단위곡면 생성과정, 단위곡면 인접테이블을 이용한 다각형면 모델의 생성과정, 및 상기 단위곡면의 무게중심과 상기 다각형면의 꼭지점을 연결하여 삼각형 초기 매쉬 모델을 생성하는 과정을 포함하는 초기 모델 추정과정;
상기 초기 모델을 계층적으로 표현하는 계층적 트리구조의 생성과정;
상기 계층적 트리구조를 이용한 사각형면 모델의 생성과정;
상기 사각형면 모델을 매개변수 공간으로 하여 계층적 분할기법을 이용한 격자구조단위 입력데이터 추정과정; 및
상기 입력데이터를 이용한 NURBS 곡면 근사과정을 포함하는 것을 특징으로 한다.
먼저, 초기 모델의 추출을 위하여, K-평균 군집화 알고리듬을 이용하여 물체의 표면을 단위 곡면으로 분할하고 분할된 단위 곡면은 주변 단위 곡면들과의 인접도를 고려하여 다각형면으로 근사되어 초기 모델로서 이용된다. 이와 같은 초기 모델 추정 방식은 전체 입력으로부터의 하향식(top-down)접근방식으로 다각형면을 근사하기 때문에 모든 거리 데이터를 노드로 보는 상향식(bottom-up)접근 방식보다 계산량면에서 효율적이고, 또한 최종 모델이 NURBS 곡면이므로 낮은 해상도로 추정되어도 무방하다. 이러한 다각형면 초기 모델은 그래프 표현 기법에 기반하여 인접그래프로 표현되고 이를 노드의 속성에 따라 다시 분할하여 부그래프들의 조합으로 나타낸다. 결국 거리 데이터는 인접 그래프-부그래프-다각형면 노드-삼각형면의 계층 구조로 모델링되고, NURBS 곡면 근사를 위한 매개변수 공간은 부그래프 단위로 생성되며, 계층 구조가 효율적으로 이용되어 계산량을 줄일 수 있다. 즉, 계층 구조에서의 각 상위 계층은 자신의 하위 계층에서의 비교 및 검색 범위를 제한함으로써 계산량을 줄이고 또한 NURBS 네트워크 형성에서의 가장 중요한 문제인 매개 변수 공간 추정을 건실하게 수행한다. 그리고, 최종 NURBS 곡면 근사의 단계에서는 인접된 NURBS 곡면간의 연속성을 고려하여G 1연속성이 보장되도록 한다.G 1연속성이란 접선 연속을 의미한다.
이하 첨부된 도면을 통하여 본 발명에 의한 정렬되지 않는 3차원 거리 데이터로부터의 NURBS 곡면 모델 생성 방법에 대하여 상세히 설명한다.
도1은 본 발명에 의해 초기 거리 데이터로부터 곡면 모델을 형성하는 전체적인 과정을 나타내는 흐름도이다. 상기한 바와 같이 거리데이터는 K-평균 군집화 알고리듬을 이용한 군집화 과정, 다각형 초기 모델의 형성과정, 사각형면 모델형성과정, NURBS 변수 공간의 생성과정, NURBS 곡면 근사과정을 거쳐, 오토캐드(auto CAD)와 같은 실사 모델링 시스템에 입력된다. 이하에서 각각의 과정에 대하여 설명한다.
초기 모델 추정의 과정은 3차원 좌표 정보로부터 삼각형 메쉬 모델을 추정하는 과정으로서 단위 곡면 생성과정, 다각형면 초기 모델 생성과정, 및 삼각형 초기 메쉬 모델 생성과정을 포함한다. 물체 표면의 전체적인 3차원 좌표 정보는 시점이 서로 다른 복수의 거리 영상에 대하여 레지스트레이션(registration)과 인티그레이션(integration)의 과정을 거쳐 얻을 수 있다.
초기 모델 추정과정에서 단위 곡면의 생성을 위하여 K-평균 군집화 기법을 이용한다. K-평균 군집화 기법은 다차원 공간의 군집 영역에 속하는 모든 점으로부터 군집 중심까지의 거리의 제곱의 합을 최소화 하는 기법이다. 거리 데이터의 경우 3차원 유클리드 공간에 데이터들이 분포되어 있으므로 K-평균 알고리듬에 의해 적절한 군집화를 수행할 수 있다. 군집의 수는 사용자에 의해 미리 결정되며, 군집의 중심은 일반 로이드(generalized Lloyd) 알고리듬을 이용한다. K개 군집 중심을 C={y1,y2,…,y K }라고 하면 주어진 3차원 데이터들의 집합은 수학식1을 만족시키는 K개의 단위 곡면P i (i=1,2,…,K)로 나뉘어지게 된다(도9b 참조).
[수학식1]
수학식1의d(x,y j )는 수학식2와 같이 정의된다.
[수학식2]
K-평균 군집화 기법에 의해 K개의 단위 곡면으로 분할된 거리 데이터는 단위곡면간의 인접도에 기반한 다각형 근사 기법에 의해 다각형면 모델로 근사된다. 이는 단위 곡면간의 인접 정보를 가지고 있는 단위 곡면 인접 테이블(patch adjancent table)을 이용하여 수행될 수 있다. 단위 곡면 인접 테이블은 각 원소가 0 또는 1의 값을 갖는 이진 행렬로써 (i,j) 원소는 단위 곡면P i P j 가 서로 인접하였을 경우 1, 그렇지 않은 경우 0의 값을 취한다. 각 단위 곡면이 근사되는 다각형면의 꼭지점은 세 개 또는 네 개의 단위 곡면이 동시에 인접하는 경우, 공통의 경계점에서 결정된다. 이러한 경계점들은 단위 곡면 인접테이블을 이용하여 쉽게 얻을 수 있다. 즉, 단위 곡면P i , P j ,P k 가 동시에 인접하고 있다면 인접 테이블의i, j, k번째 행, 열로 구성되는 9개의 원소는 모두 1의 값을 갖는다. 네 개의 단위 곡면이 인접하는지의 여부도 인접 테이블을 참조하여 쉽게 알아 낼 수 있다. 이와 같은 과정을 통하여 다각형면 초기 모델이 추정된다(도8c 참조).
다각형면 초기 모델이 생성되면 단위 곡면의 무게 중심과 다각형의 꼭지점을 연결하여 새로운 모서리를 생성함으로써 다각형면 초기 모델은 삼각형면 모델로 쉽게 변환될 수 있다. 이때, 생성되는 삼각형면의 세 꼭지점은 법선 방향으로 가장 가까운 거리 데이터의 위치를 자신의 위치로 취하게 된다. 결과적으로 생성되는 삼각형 메쉬는 노드에서의 오차는 없고 각 삼각형의 내부에서 근사 오차가 발생하는 초기 근사 모델이 형성되는 것이다(도8d 참조).
본 발명에 의한 실시에 있어서, 인티그레이션의 과정을 거친 거리 데이터를 입력으로 이용하므로 생성되는 초기 모델은 닫힌 면으로 둘러싸여 있다고 가정한다. 이때, 초기 삼각형 메쉬 모델의 면, 모서리, 꼭지점의 개수에 대하여 다음과 같은 정리가 성립한다.
정리 1 : 삼각형 초기 모델에서 삼각형면의 개수는 항상 짝수이다.
정리 2 : 다각형면의 초기 모델에서 홀수변 다각형면의 개수는 항상 짝수이다.
상기한 정리는 쉽게 증명이 가능하다. 삼각형의 개수를n개라 가정하면 하나의 삼각형에는 세 개의 모서리가 존재하고 두 개의 삼각형이 하나의 모서리를 공유하므로 전체 모서리의 개수는개가 된다. 그런데 모서리의 개수는 정수가 되어야 하므로n은 언제나 짝수가 되어야 한다. 따라서, 정리1이 증명되었다. 또한, 홀수면 다각형의 내부에 존재하는 삼각형의 개수의 총합이 짝수가 되어야 하므로 홀수면 다각형의 개수도 항상 짝수가 되어 정리 2가 성립한다. 정리 1은 앞으로 설명할 NURBS 네트워크 생성에 매우 중요한 의미를 지닌다. NURBS 네트워크의 형성과정에서 한 쌍의 삼각형면을 병합하여 사각형면 모델을 생성하여 매개 변수 공간으로 이용하는데, 사각형면 모델의 생성을 위한 필요조건으로 정리 1이 성립하여야만 삼각형의 개수가 항상 짝수가 되고 사각형면의 개수는 삼각형면의 개수의 절반이 되어 사각형면 모델이 존재할 수 있는 것이다.
NURBS 곡면 근사의 입력이 되는 데이터들은 반드시 규칙적인 격자 구조를 형성하여 2차원u-v매개변수 공간에 대응되어 있어야 하는 NURBS 곡면 근사의 특성으로 인하여 임의의 형상을 갖는 3차원 물체의 거리 데이터를 직접 NURBS 곡면 근사에 이용하는 것은 사실상 불가능하다. 이러한 문제의 해결을 위하여 NURBS를 이용한 3차원 모델링은 물체의 표면을 분할하여 네트워크로 표현하고 분할된 곡면 단위로 NURBS 근사를 수행한 후 인접 곡면간이 연속하도록 제약 조건을 부가하는 방법을 사용하는 것이 일반적이다.
본 발명에서는 NURBS 곡면 네트워크를 형성하기 위한 중간 단계로서, 초기 다각형 모델로부터 사각형면 모델을 생성하여 NURBS 곡면의 매개 변수 공간으로 이용한다. 본 발명에서는 초기 모델로부터 사각형면을 효율적으로 생성하기 위하여 초기 다각형면 모델로부터 얻어지는 인접 그래프를 계층적으로 표현한다.
계층 구조에서 최상위 구조는 초기 다각형 모델로부터 생성된 인접 그래프이다(도3 참조). 이때, 그래프에서의 각 노드는 초기 모델을 구성하는 다각형면이 되고 짝수변 다각형과 홀수변 다각형의 기본 속성을 지니게 된다.
도2는 인접 그래프의 분할로 생성되는 세 가지 부그래프를 나타낸다.
도2에 나타나 있듯이, 인접그래프는 속성에 따른 각 노드의 군집화를 통하여 세가지 종류의 부그래프로 분할이 가능하다. 도2a에 도시된 제1형 부그래프는 구성노드의 속성이 모두 짝수변 다각형면인 부그래프이며, 도2b에 도시된 제2형 부그래프는 노드의 속성이 모두 홀수변 다각형면이고 그래프의 차원이 짝수인 부그래프이며, 도2c에 도시된 제3형 부그래프는 노드의 속성이 모두 홀수변 다각형면이고 그래프의 차원이 홀수인 부그래프이다. 그래프의 차원은 그래프에 속하는 노드의 개수로 정의된다. 부그래프는 홀수변 다각형면을 기준으로 인접 다각형면을 검색하여 홀수변 다각형면들의 군집화를 수행하여 형성된다.
도3은 인접 그래프를 최상위 계층으로 하는 계층적 트리 구조를 나타낸다. 도3에 나타나 있듯이, 각각의 부그래프는 다시 각각의 노드, 즉 다각형면으로 분할되고 다각형면 역시 내부적으로 삼각형들의 집합으로 분할된다. 결국, 계층적 트리구조는 인접 그래프의 제1 계층, 부그래프의 제2 계층, 다각형의 제3 계층, 그리고 삼각형의 제4 계층으로 구성된다.
이제 계층적 트리구조로 분류된 계층적 트리구조를 바탕으로 사각형면 모델을 생성할 수 있다. 도4에 나타나 있듯이, 사각형면 모델을 생성하는 기본적인 과정은 한쌍의 삼각형면을 결합하여 이루어 진다. 도4a와 도4b는 하나의 육각형으로부터 세 개의 사각형면이 생성되는 예를 나타낸다. 도4c와 도4d는 인접하는 홀수변 다각형면이 존재하는 경우, 인접부의 삼각형면을 우선 결합하고, 나머지 삼각형면들은 이들이 포함되는 다각형면 내부에서 한쌍씩 결합하여 사각형면으로 변환할 수 있다. 그러나, 도4에 도시된 바와 같은 방법으로 다각형면 전체에 대하여 사각형면 모델을 생성할 수 있기 위해서는 홀수변 다각형면들이 한쌍씩 묶이는 해가 존재해야 한다. 예를 들어 세 개의 홀수면 다각형면들이 모여 있는 경우, 사각형면을 생성할 수 없게 된다.
이러한 문제점을 해결하기 위하여 본 발명에 의한 정렬되지 않은 3차원 데이터로부터 NURBS곡면 생성 방법은 계층적 트리구조를 이용하여 부그래프 단위로 사각형면 모델로 변환을 수행한다.
제1형 부그래프는 도4a 및 4b에 도시된 것처럼 부그래프를 구성하는 노드 단위로 변환을 수행한다. 제1형 부그래프의 노드는 모두 짝수변 다각형으로 구성되어 있기 때문에, 노드에 속하는 2개의 삼각형을 병합하여 간단히 사각형면으로 변환이 가능하다.
제2형 부그래프는 노드의 속성이 홀수변 다각형이므로 제1형 부그래프와 같이 그래프를 구성하는 노드별 변환이 불가능하다. 하지만, 그래프의 차원이 짝수(노드의 개수가 짝수)이므로 도4c 및 4d에 나타나 있듯이, 인접하는 한쌍의 노드를 동시에 고려하여 사각형면으로 변환할 수 있다.
제3형 부그래프로부터 사각형면 모델의 생성은 도4에 도시된 기본적인 변환방법에 의하여 수행될 수 없다. 제3형 부그래프는 차원이 홀수이므로 두 개의 노드를 병합하는 과정을 거쳐도 하나의 노드가 남기 때문이다. 이 문제를 해결하기 위하여 본 발명에서는 제3형 부그래프의 병합을 이용한 변환을 수행한다. 상기한 바와 같이 홀수면 다각형의 개수는 항상 짝수이므로(정리2 참조), 제3형 부그래프의 개수도 항상 짝수가 된다. 이 성질을 이용하여 한쌍의 제3형 부그래프를 병합하면 병합된 부그래프의 홀수면 다각형의 노드수는 짝수개가 되고, 사각형면으로의 변환이 가능해진다.
도5는 본 발명에 의한 제3형 부그래프의 병합을 위한 검색과정을 나타낸다. 도5에 나타나 있듯이, 두 개의 제3형 부그래프의 병합은 제3형 부그래프간을 제1형 부그래프에 속하는 노드로 연결하여 줌으로써 수행이 가능하다. 제1형 부그래프에 속하는 노드의 속성은 짝수변 다각형면이므로 내부의 노드가 분리되어도 사각형면으로 변환을 수행하는데 아무런 문제가 없다. 또한, 제3형 부그래프 사이에는 제1형 부그래프의 노드들이 존재할 것이므로 두 그래프를 연결하는 연결 노드들이 존재할 것이다. 도5에 나타나 있듯이, 제3형 부그래프는 사각형들로 표시된 노드들로 구성되어 있고, 제3형 부그래프를 연결하는 노드를 검색하는 과정은 계층별로 제1형 그래프의 노드를 검색하여 이루어진다. 먼저 제3형 부그래프는 0번 계층이 되고, 제3형 부그래프와 인접하고 있는 제1형 부그래프의 노드는 1번 계층을 형성한다. 도5에서 노드 내부의 번호는 노드의 계층을 의미한다. 제1번 계층을 바탕으로 제2번 계층을 형성하며, 이러한 과정으로 계층의 확장이 이루어진다. 연결하고자 하는 두 개의 제3형 부그래프에 대한 계층 확장을 수행한 후, 낮은 계층 번호를 갖는 공통 노드를 찾고 공통 노드를 지나면서 시점과 종점이 양쪽의 부 그래프에 속하는 노드들의 리스트르 구하면 이것이 바로 부그래프간을 잇는 연결 노드가 되는 것이다. 도5에서 A로 표시된 노드는 제3형 부그래프간 병합의 연결고리가 되는 앵커(anchor)노드이며, C로 표시된 노드는 두 부그래프의 계층확장을 통하여 얻은 가장 낮은 번호를 갖는 공통노드를 의미한다. 도5에 나타나 있듯이, 앵커노드와 공통노드를 포함하는 연결노드의 경로가 화살표로 표시되어 있다.
도6은 제1형 부그래프에 속하는 노드를 연결노드로 하여 병합된 두 개의 제3형 부그래프로부터 사각형면 모델을 생성하는 과정을 나타낸다. 도6a에 나타나 있듯이, 인접하고 있는 노드에서는 두 개의 삼각형면이 병합되어 사각형면을 형성한다. 이 경우, 각각의 다각형면에서 남은 삼각형면의 개수는 짝수이므로 다각형면 내부에서 한 쌍씩의 삼각형면을 병합하여 사각형면을 생성할 수 있다. 도6b는 결과적으로 생성된 사각형면들을 나타낸다. 한편 병합되는 제3형 부그래프는 부그래프를 구성하는 노드중 하나인 앵커노드가 제외되었으므로, 부그래프의 차원이 한차원 감소하여 제2형 부그래프로 변환된다. 따라서, 병합에 참가한 제3형 부그래프는 앵커 노드를 제외한 나머지 노드에 대하여 제2형 부그래프에 대한 사각형면 생성 기법을 사용하여 사각형면을 생성할 수 있다.
계층적 트리 구조를 이용하여, 세가지 종류의 부그래프를 기준으로 생성된 사각형면 모델은 NURBS 곡면 네트워크를 형성하기 위한 국부적인 매개 변수 공간으로 이용한다. 즉, 사각형면 모델을 바탕으로 격자 구조의 입력 데이터를 추정하고, 입력데이터를 바탕으로 NURBS 곡면 근사를 수행한다. 단, NURBS 곡면 근사는 국부적으로 수행되기 때문에, NURBS 곡면 근사 과정에서 NURBS 곡면의 연속성에 관한 제한 조건이 부과되어야 한다.
먼저, 생성된 사각형면을 매개변수 공간으로 하여 NURBS 네트워크를 형성한다. 매개 변수 공간에서 거리 데이터를 근사하는 격자 구조의 입력 메쉬를 추정하기 위하여, 본 발명에서는 계층적 분할 기법을 이용한다.
도7은 계층적 분할을 이용한 새로운 격자점을 추정하는 과정을 나타낸다. 여기서, 가는 점들은 거리데이터를 나타내고, x i,j 와 n i,j 는 격자점의 위치와 격자점에서의 단위 법선 벡터를 의미한다. 초기 사각형면은 { x0,0, x0,2, x2,0,x2,2}로 이루어져 있고, 제1 분할과정에 의하여 도7에 나타나 있듯이 3×3의 격자 구조가 생성되는데 다음과 같은 과정을 통하여 이루어 진다. 우선 각 변에서의 새로운 격자점 { x1,0, x0,1, x2,1,x1,2}은 인접하는 격자점에서의 중점을 계산하고, 마찬가지로 인접하는 격자점에서의 법선 벡터의 평균을 자신의 법선 벡터로 설정한다. 이때, 중점을 지나고 법선 벡터의 방향을 가지는 직선과 거리 데이터의 가상 곡면과의 교점이 새로운 격자점의 위치로 결정된다. 다음으로 교점 근방의 거리 데이터들로부터 새로운 단위 법선 벡터를 추정하고 이를 새로운 격자점의 법선 벡터로 설정한다. 마찬가지 방식으로 내부의 새로운 격자점 x1,1은 4-연결성을 갖는 인접 격자점 { x1,0, x0.1, x2,1,x1,2}의 무게중심과 평균 법선 벡터로부터 추정할 수 있다. 이와 같은 방법의 반복을 통하여 5×5, 9×9의 격자 구조를 생성할 수 있다. 생성된 격자 구조의 입력 메쉬는 거리 데이터로 이루어진 가상 평면을 정확히 근사하게 되며 또한 매우 규칙적인 격자 배열을 형성하게 된다.
격자 구조가 형성되면 이를 입력으로하여 NURBS 곡면의 제어점과 매듭 벡터를 추정함으로써 NURBS곡면을 생성할 수 있게 된다. NURBS는 제어점(control point)과 각 제어점에서의 가중치(weight), 매듭 벡터(knot vector), 그리고 기저함수(basis function)등의 요소들로 정의된다.u,v축 방향으로p,q차의 NURBS 곡면의 수식적인 정의는 다음과 같다.
[수학식3]
여기서, U={u 0, u 1,…,u r}는u방향 매듭백터, V={v 0, v 1,…,v s}는v방향 매듭벡터,r은 매듭벡터 U의 원소의 수,s는 매듭벡터 V의 원소의 수,N i,p (u) 는u방향의 NURBS 기저함수,N j,q (v) 는v방향의 NURBS 기저함수,b i,j 는 제어점,n은 격자구조의u방향의 최대 인덱스,m은 제어점 격자구조의v방향 최대 인덱스,pu방향의 근사 차수,qv방향의 근사 차수를 각각 나타낸다.
본 발명에 의한 NURBS 곡면 근사는 NURBS 곡면 네트워크를 구성하고 있는 개별의 곡면 단위로 이루어지며 그 과정은 다음과 같다. 도7에 도시된 방법에 의하여 격자 구조 단위 곡면의 추출에 의하여 3차원 데이터들의 집합Q k,l (k=0, 1, …,N;l=0, 1, …,M)이 주어진 경우,Q k,l 를 근사하는 NURBS 곡면을 구하는 과정은 결국 제어점b i,j 와 매듭 벡터 U,V를 구하는 과정이다. 여기서, N은 입력 데이터의u방향 최대 인덱스, M은 입력 데이터의v방향 최대 인덱스를 나타낸다.u, v방향으로 근사 치수를 각각p, q라 할 때, NURBS의 정으로부터 다음의 식이 성립한다.
[수학식4]
여기서,Q k,l 은 입력 데이터,Q k,l 에서 추정된u방향 매개 변수, 그리고Q k,l 에서 추정된u방향 매개 변수를 각각 나타낸다.,Q k,l u,v방향으 매개 변수를 의미한다. 수학식 4로부터 제어점b i,j 와 매듭 벡터 U, V를 구하는 일반적인 방법은 본 발명의 기술분야에 속한 당업자에게 잘 알려져 있으며 다음과 같은 과정을 거친다.
제1 단계 :u,v방향으로 근사의 차수p,q를 결정한다.
제2 단계 : 2차원 매개 변수 공간에서Q k,l 이 대응되는 매개 변수,를 추정한다.
제3 단계 :Q k,l 의 매개 변수로부터 매듭 벡터 U, V를 추정한다.
제4 단계 : 수학식4에 의해b i,j 에 대하여 (N+1)×(M+1)개의 벡터 연립방정식을 세우고 최소자승법에 의하여b i,j 를 추정한다.
상기의 단계를 통하여 NURBS 곡면 네트워크 각각의 개별 곡면의 제어점과 매듭벡터가 추정되어 전체적으로 NURBS 곡면 모델이 생성되는데, 이 과정에서 NURBS 곡면 네트워크의 연속성이 보장되어야 한다.
본 발명에 의한 NURBS 곡면 근사의 차수를 2차로 설정하였기 때문에 각각의 NURBS 곡면의 내부에서는C 2연속성이 만족된다. 그러나, NURBS 곡면과 곡면간의 경계선상에서는 제어점이 공유되기 때문에 기본적으로C 0연속성만이 만족된다. 이때, 제어점의 조절을 통하여 이를G 1연속성이 만족되도록 부가 조건을 설정한다. 즉, 인접하고 있는 제어 메쉬의 공유점을 양쪽 곡면에서 인접 제어점의 평균점으로 재설정하고 전체적인 매듭 벡터는 각각의 곡면에서의 매듭 벡터의 평균값을 취함으로써 공통 매듭 벡터를 이용한다. 이와 같은 방법으로 생성되는 NURBS 곡면체는 최소G 1연속성이 만족된다.
도8은 전화기 모델에 대한 본 발명의 실시예를 나타내고 있다. 도8a에 나타나 있듯이, 실시예에 사용된 전화기 모델에 대한 거리 데이터는 41,522개의 3차원 데이터로 구성되어 있으며, 스캐너로 취득된 10장의 이미지에 대한 레지스트레이션과 인티그레이션의 과정을 통하여 생성되었다. 본 발명의 실시를 위하여 인텔 펜티엄Ⅱ 266㎒ 컴퓨터를 사용하였다.
K-평균 군집화에서의 군집의 수는 130으로 설정하였다. 도8b는 로이드 알고리듬에 의해 생성된 군집의 중심을 나타낸다. 도8c는 군집의 중심에 대하여 거리 데이터를 군집화하여 단위 곡면을 생성하고, 생성된 단위 곡면에 대하여 다각형 근사가 수행된 다각형면 초기 모델을 나타낸다. 도8d는 다각형면 초기 모델로부터 생성된 722개의 삼각형으로 구성되는 초기 모델을 나타낸다.
도8e는 본 발명에서 개시된 세 종류의 부그래프를 이용한 알고리듬에 의해 초기 다각형 모델로부터 생성되는 사각형모델을 나타낸다. 도8e에 도시된 사각형면 모델은 361개의 사각형면으로 구성된다. 사각형면 모델을 구성한 후, 도7에 나타나 있듯이, 본 발명에 의한 알고리듬에 의하여 사각형면 모델을 구성하는 각각의 사각형면 모델에 대하여 격자 구조의 NURBS 입력 메쉬를 추정한다. 도8f는n=m=8인 경우 격자 구조를 갖는 전체 NURBS 네트워크 입력 메쉬를 나타낸다. 도8g 내지 도8i는 해상도를 변화시켜가면서 생성된 NURBS 곡면을 나타낸다. 도8g 내지 도8i에 나타나 있듯이 해상도를 증가시킴에 따라(n,m값의 증가) 정밀도가 증가함을 알 수 있다. 도8g 내지 도8i에서 NURBS 근사의 차수는 모두 2차를 사용하였고, 따라서 각각의 NURBS 곡면의 내부에서는C 2연속성이 만족되고 곡면간의 경계에서는G 1연속성이 만족된다.
표1은 본 발명에 의해 생성된 NURBS 곡면 모델의 오차와 생성시간을 나타낸다. 정규 근사 오차E avg 는 물체를 포함할 수 있는 가장 작은 직육면체의 대각선 길이에 대한 전체 거리 데이터와 근사 모델간의 평균 거리 비율을 이용하며, 수학식6으로 표현된다.
[수학식5]
[수학식6]
여기서,d i 는 각각의 거리 데이터x i 의 근사 오차를 의미하며 N은 전체 거리 데이터의 수를 나타낸다.
[표1]
근사 오차 및 수행 시간 분석
NURBS 곡면 모델에서의 근사 오차는 삼각형 모델의 근사 오차에 비하여n=m=8인 경우, 전화기 모델에 대하여 12%정도 수준으로 급격히 감소하였다. 표1에 나타나 있듯이, 전체 거리 데이터에 대한 오차는 약 0.03% 수준을 유지하고 있는데 이것은 거의 무시할 수 있을 정도의 오차로서 생성된 곡면 모델이 입력 거리 데이터를 그대로 표현하고 있음을 알 수 있다.
이상에서 설명한 바와 같이 본 발명에 의한 정렬되지 않은 3차원 거리 데이터로부터의 NURBS 곡면 모델 생성 방법은 오직 하나의 NURBS 곡면으로 물체의 형상을 근사하는 경우의 단점을 극복하여 NURBS 곡면 네트워크로 자유 곡면의 형상 모델을 근사할 수 있다. 또한, NURBS매개 변수 공간이 자동적으로 생성되어 거리 데이터로부터 직접 NURBS 곡면 모델을 생성하는 것을 가능하게 한다. 그리고, 계층적 그래프 표현의 효율적 이용에 의하여 초기 모델로부터 사각형면 모델을 얻는 과정에서 계산량을 줄이고, NURBS 제어점 추정의 건실화를 통해 생성되는 곡면이 무시할수 있을 정도의 오차범위 내에서 실제 거리 데이터를 근사한다.

Claims (5)

  1. 정렬되지 않은 3차원 거리 데이터로부터 입력데이터를 자동으로 생성하여 NURBS(non-uniform rational b-splines)곡면으로 표현한 캐드(CAD)모델을 생성하는 방법에 있어서,
    초기 모델 추정과정;
    상기 초기 모델을 계층적으로 표현하는 계층적 트리구조의 생성과정;
    상기 계층적 트리구조를 이용한 사각형면 모델의 생성과정; 및
    상기 사각형면 모델을 매개변수 공간으로 하여 계층적 분할기법을 이용한 격자구조단위 입력데이터 추정과정을 포함하는 것을 특징으로 하는 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법.
  2. 제1항에 있어서,
    상기 초기 모델 추정과정은 K-평균 알고리듬에 의한 단위곡면 생성과정, 단위 곡면 인접테이블을 이용한 다각형면 모델 생성과정, 및 상기 단위곡면의 무게중심과 상기 다각형면의 꼭지점을 연결하여 삼각형 초기 메쉬 모델을 생성하는 과정을 포함하는 것을 특징으로 하는 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법.
  3. 제1항에 있어서,
    상기 계층적 트리구조의 생성과정은,
    초기 다각형 모델로부터 생성되는 인접 그래프를 최상위인 제1 계층으로 분류하는 과정;
    상기 인접 그래프를 노드의 속성이 모두 짝수변 다각형으로 구성되는 제1형 부그래프, 노드의 속성이 모두 홀수변 다각형면이고 그래프의 차원이 짝수인 제2형 부그래프, 그리고 노드의 특성이 모두 홀수변 다각형면이고 그래프의 차원이 홀수인 제3형 부그래프로 분류하는 제2 계층으로 분류하는 과정;
    상기 부그래프의 구성 노드인 다각형면으로 구성되는 제3 계층으로 분류하는 과정; 및
    상기 다각형면으로부터 생성된 삼각형면으로 구성되는 제4 계층으로 분류하는 과정으로 구성되는 것을 특징으로 하는 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법.
  4. 제1항에 있어서,
    상기 계층적 트리구조를 이용한 사각형면 모델의 생성과정은,
    제1형 부그래프에서, 부그래프를 구성하는 노드를 단위로, 두 개의 삼각형을 병합하여 사각형면으로 변환하는 제1형 부그래프 사각형면 변환과정;
    제2형 부그래프에서, 그래프에 속하는 한쌍의 인접 노드를 단위로, 인접 노드에서 한쌍의 삼각형면을 병합하여 사각형면으로 변환한 뒤 각 노드별로 상기 제1형 부그래프 사각형면 변환과정을 통하여 사각형면으로 변환하는 제2형 부그래프 사각형면 변환과정; 및
    제3형 부그래프에서, 제1형 부그래프에 속하는 노드를 연결 노드로 하여 한쌍의 제3형 부그래프를 계층확장 방법을 통하여 병합하는 과정; 병합되는 제3형 부그래프에 속하는 앵커노드와 제1 계층에 속하는 연결 노드에서, 인접 노드로부터 한쌍의 삼각형면을 병합하여 사각형면으로 변환하는 과정; 제3형 부그래프의 앵커노드와 연결노드에서 상기한 제1형 부그래프 사각형면 변환과정을 통하여 사각형면으로 변환하는 과정;및 앵커노드를 제외한 제3형 부그래프를 구성하는 노드들은 상기한 제2형 부그래프 사각형면 변환과정을 통하여 사각형면으로 변환하는 과정으로 구성되는 제3형 부그래프 사각형면 변환과정으로 구성되는 것을 특징으로 하는 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법.
  5. 제1항에 있어서,
    상기 계층적분할 기법을 이용한 격자구조단위 곡면의 추출과정은,
    상기 사각형면 모델의 형성과정을 통하여 생성된 초기 사각형 격자의 네 개의 꼭지점으로 구성된 네 개의 격자점으로부터, 각 격자점의 중점을 지나며 각 격자점의 법선 벡터의 평균 벡터를 자신의 방향벡터로하는 직선과 거리 데이터의 가상곡면과의 교점을 새로운 네 개의 격자점의 위치로 결정하는 단계; 교점 근방의 거리 데이터들로부터 새로운 단위 법선 벡터를 추정하고 이를 새로운 네 개의 격자점의 법선 벡터로 설정하는 단계; 및 상기 새로운 네 개의 격자점의 평균점을 지나고 상기 새로운 네 개의 격자점의 법선벡터의 평균 벡터를 방향벡터로 하는 직선과 거리 데이터의 가상곡면과의 교점을 초기 사각형 내부에 4-연결성을 갖는 새로운 격자점으로 하는 단계로 구성되는 1차 분할 과정; 및
    상기 1차 분할 과정에 의해 형성된 새로운 4개의 격자에 대하여 각각 상기 1차 분할 과정을 반복적용하는 과정으로 구성되는 것을 특징으로 하는 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법.
KR1019990050739A 1999-11-15 1999-11-15 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법 KR100340080B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990050739A KR100340080B1 (ko) 1999-11-15 1999-11-15 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990050739A KR100340080B1 (ko) 1999-11-15 1999-11-15 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법

Publications (2)

Publication Number Publication Date
KR20010046823A true KR20010046823A (ko) 2001-06-15
KR100340080B1 KR100340080B1 (ko) 2002-06-10

Family

ID=19620239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990050739A KR100340080B1 (ko) 1999-11-15 1999-11-15 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법

Country Status (1)

Country Link
KR (1) KR100340080B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020058608A (ko) * 2000-12-30 2002-07-12 오길록 컴퓨팅 장치에서 두 개의 비-스플라인 곡선이나 곡면의경계가 연속성을 갖도록 하기 위한 대수적 블렌딩 처리방법
KR20030040701A (ko) * 2001-11-15 2003-05-23 엘지전자 주식회사 3차원 다면체 표면의 변형 추정 방법
KR100439087B1 (ko) * 2002-05-09 2004-07-05 한국과학기술원 3차원 물체 상세화 모델링 방법
KR100602594B1 (ko) * 2005-06-10 2006-07-19 주식회사 아이너스기술 3차원 측정 데이터의 분석 결과 재계산 시스템 및 방법
KR100707841B1 (ko) * 2006-04-04 2007-04-17 중앙대학교 산학협력단 3차원 목표곡선을 이용한 곡면 변형 장치 및 그 방법
KR100776303B1 (ko) * 2007-02-24 2007-11-13 구자봉 유물의 실측도 제작방법
KR100809525B1 (ko) * 2005-12-08 2008-03-04 한국전자통신연구원 파티클 집합을 둘러싸는 곡면 메쉬 생성 시스템 및 방법
CN117176596A (zh) * 2023-11-01 2023-12-05 浙江大学高端装备研究院 一种面向工业互联网平台的制造服务供需网络仿真方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210343077A1 (en) * 2018-01-31 2021-11-04 Universidade Federal De Pernambuco Determine sample points on slices from nurbs models

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020058608A (ko) * 2000-12-30 2002-07-12 오길록 컴퓨팅 장치에서 두 개의 비-스플라인 곡선이나 곡면의경계가 연속성을 갖도록 하기 위한 대수적 블렌딩 처리방법
KR20030040701A (ko) * 2001-11-15 2003-05-23 엘지전자 주식회사 3차원 다면체 표면의 변형 추정 방법
KR100439087B1 (ko) * 2002-05-09 2004-07-05 한국과학기술원 3차원 물체 상세화 모델링 방법
KR100602594B1 (ko) * 2005-06-10 2006-07-19 주식회사 아이너스기술 3차원 측정 데이터의 분석 결과 재계산 시스템 및 방법
KR100809525B1 (ko) * 2005-12-08 2008-03-04 한국전자통신연구원 파티클 집합을 둘러싸는 곡면 메쉬 생성 시스템 및 방법
KR100707841B1 (ko) * 2006-04-04 2007-04-17 중앙대학교 산학협력단 3차원 목표곡선을 이용한 곡면 변형 장치 및 그 방법
KR100776303B1 (ko) * 2007-02-24 2007-11-13 구자봉 유물의 실측도 제작방법
CN117176596A (zh) * 2023-11-01 2023-12-05 浙江大学高端装备研究院 一种面向工业互联网平台的制造服务供需网络仿真方法
CN117176596B (zh) * 2023-11-01 2024-01-30 浙江大学高端装备研究院 一种面向工业互联网平台的制造服务供需网络仿真方法

Also Published As

Publication number Publication date
KR100340080B1 (ko) 2002-06-10

Similar Documents

Publication Publication Date Title
Garland et al. Fast polygonal approximation of terrains and height fields
Garland et al. Quadric-based simplification in any dimension
Li et al. Feature-preserving 3D mesh simplification for urban buildings
Digne et al. Feature-preserving surface reconstruction and simplification from defect-laden point sets
Ji et al. A novel simplification method for 3D geometric point cloud based on the importance of point
Floriani et al. VARIANT: a system for terrain modeling at variable resolution
Langbein et al. Choosing consistent constraints for beautification of reverse engineered geometric models
Ishida et al. Efficient and robust cartesian mesh generation for building-cube method
Campen et al. Walking on broken mesh: Defect‐tolerant geodesic distances and parameterizations
US20030112239A1 (en) Method of mesh simplification via ununiform spatial division
Li et al. A survey on the local refinable splines
Zhang et al. Adaptive hexahedral mesh generation based on local domain curvature and thickness using a modified grid-based method
KR100340080B1 (ko) 정렬되지 않은 3차원 거리 데이터로부터 캐드모델 생성 방법
Reberol et al. Quasi-structured quadrilateral meshing in Gmsh--a robust pipeline for complex CAD models
Jaillet et al. Fast Quadtree/Octree adaptive meshing and re-meshing with linear mixed elements
Leymarie et al. Computation of the shock scaffold for unorganized point clouds in 3D
KR100414058B1 (ko) 3차원 다각형 표면의 리메슁 최적화 방법 및 장치
Leal et al. Simple method for constructing nurbs surfaces from unorganized points
Velho Mesh simplification using four-face clusters
Xiaodong et al. Mesh simplification based on super-face and genetic algorithm in reverse engineering
Wang et al. Adaptive T-spline surface approximation of triangular meshes
CN113763563A (zh) 一种基于平面识别的三维点云几何网格结构生成方法
Arge et al. I/O-efficient contour tree simplification
Davy et al. A note on improving the performance of Delaunay triangulation
CN114511571A (zh) 一种点云数据语义分割方法、系统及相关组件

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20050530

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee