KR100901536B1 - 3-d measuring method by using wide band reference phase - Google Patents

3-d measuring method by using wide band reference phase Download PDF

Info

Publication number
KR100901536B1
KR100901536B1 KR1020080040796A KR20080040796A KR100901536B1 KR 100901536 B1 KR100901536 B1 KR 100901536B1 KR 1020080040796 A KR1020080040796 A KR 1020080040796A KR 20080040796 A KR20080040796 A KR 20080040796A KR 100901536 B1 KR100901536 B1 KR 100901536B1
Authority
KR
South Korea
Prior art keywords
pattern
phase
value
measurement object
obtaining
Prior art date
Application number
KR1020080040796A
Other languages
Korean (ko)
Inventor
박윤창
Original Assignee
지스캔(주)
선문대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지스캔(주), 선문대학교 산학협력단 filed Critical 지스캔(주)
Priority to KR1020080040796A priority Critical patent/KR100901536B1/en
Application granted granted Critical
Publication of KR100901536B1 publication Critical patent/KR100901536B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • G01B11/2527Projection by scanning of the object with phase change by in-plane movement of the patern
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B9/00Measuring instruments characterised by the use of optical techniques
    • G01B9/02Interferometers
    • G01B9/02015Interferometers characterised by the beam path configuration
    • G01B9/02029Combination with non-interferometric systems, i.e. for measuring the object
    • G01B9/0203With imaging systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

A three-dimension measuring method in which a wide band reference phase is applied is provided to broaden measurement area and to increase measurement performance. A three-dimension measuring method in which a wide band reference phase is applied is composed of steps of: projecting lattice patterns having a constant cycle to the measurement object; obtaining an image of the projected lattice patterns; projecting lattice patterns to the measurement object after moving lattice patterns; obtaining an image of the projected lattice patterns; projecting the even multiplication of lattice patterns to the measurement object; obtaining an image of the projected lattice patterns; calculating the folded phase of the measurement object by using lattice patterns having a constant cycle; calculating the space code value of the measurement object by using the even multiplication of lattice patterns; and calculating the phase of the measurement object by applying the folded phase and the space code value.

Description

광대역기준위상을 적용한 3차원 측정방법{3-D measuring method by using wide band reference phase}3-D measuring method using wideband reference phase {3D measuring method by using wide band reference phase}

본 발명은 광대역 기준위상을 적용한 3차원 측정방법에 관한 것으로, 더욱 상세하게는 일정주기를 격자와 상기 일정주기의 짝수배를 갖는 격자를 임의의 측정물체에 동시에 영사하고 상기 영사된 이미지를 획득하여 공간부호화법과 모아레 측정기법에 적용하여 측정함으로서 모아레 측정기법과 공간부호화법을 접목시켜 측정분해능을 높이고 측정영역을 넓히는 측정방법에 관한 것이다. The present invention relates to a three-dimensional measurement method using a broadband reference phase, and more particularly, to project a certain period of time gratings and grids having an even multiple of the same period to any measurement object to obtain the projected image The present invention relates to a measurement method that increases the measurement resolution and widens the measurement area by combining the moiré measurement method and the spatial encoding method by measuring the spatial coding method and the moire measurement method.

최근 들어 우리 주위를 살펴보면, 그동안 산업현장에서 제품의 품질검사 내지는 조립라인에서의 불량품검출 등에 부분적으로 사용되었던 3차원 형상측정기술들이 단지 공학분야에 국한되지 않고 의학, 영화산업, 오락(entertainment)산업, 의복산업 등 한층 더 우리 생활과 밀접한 관계를 갖는 분야로 그 응용범위를 확장하고 있는 것을 어렵지 않게 발견할 수 있다.Recently, if we look around us, the three-dimensional shape measurement techniques that have been partially used for quality inspection of products or detection of defective products in assembly lines are not limited to the engineering field, but the medical, film and entertainment industries. It is not difficult to find a way to expand the scope of application to the fields that are more closely related to our lives, such as clothing and clothing industry.

공학분야에 있어서 3차원 형상측정은 이미 중요한 분야로써 자리매김을 했고 공학전반의 요소요소에서 더 많은 수요가 창출되고 있는 추세이다.Three-dimensional shape measurement has already established itself as an important field in the engineering field, and more demand is being generated in the element of engineering.

의학분야에서는 인체의 3차원 형상측정을 통해서 몸의 이상유무를 검사하기도 하고 뼈에 손상을 입은 큰 사고에서 뼈모양의 완벽한 복원을 위해서도 3차원 형상측정기술은 유효하게 사용되어 지고 있다.In the medical field, three-dimensional shape measurement technology has been used effectively to check the abnormality of the body through three-dimensional shape measurement of the human body, and to restore the bone shape perfectly in the big accidents in which the bone is damaged.

영화 산업에서도 사람이 직접하기에 불가능하거나 많은 위험이 따르는 고난도의 연기에는 과거에 스턴트맨을 이용하던 것과는 달리 배우의 몸을 3차원 형상측정을 통해 그 모습을 측정하고 이를 이용해 컴퓨터 그래픽 상에서 CAD를 이용해서 처리함으로써 많은 문제점들을 해결하고 있다.In the film industry, the difficult acts that are impossible for humans to do or pose a lot of risks are different from those used in stuntmen in the past. The actor's body is measured through 3D shape measurement, and CAD is used in computer graphics. This solves many problems.

또한 오락이나 캐릭터산업에서는 보다 인간의 모습에 가깝고 자연스러운 동작이나 모습을 위해서 3차원형상측정기술을 유효하게 사용되어 지고 있다.In addition, in the entertainment and character industries, three-dimensional shape measurement technology is effectively used for more natural and natural movement and appearance.

최근에는 의복이나 신발산업에까지 그 범위를 확장해서 소비자의 체형을 3차원 형상측정하고 소비자에 가장 적합한 옷 내지는 신발을 추천하는 등 그 응용범위는 급속하게 증가하고 있는 추세이다. 이러한 최근의 3차원 형상측정기술의 요구에 부응하기 위해서는 고속, 고정밀, 비접촉 측정이 필수 불가결한 요소로 대두되어 진다.In recent years, the scope of application is rapidly increasing, such as the three-dimensional shape measurement of the consumer's body shape and the recommendation of the most suitable clothes or shoes for the consumer by extending the scope to the clothing and footwear industries. In order to meet the demands of the recent three-dimensional shape measurement technology, high speed, high precision, and non-contact measurement have emerged as indispensable elements.

이러한 고속 고정밀 비접촉 측정에서 현재 많이 사용되고 있는 방법이 모아레 기법과 공간부호화법이 널리 이용되고 있다.The moire technique and the spatial encoding method are widely used in the high speed and high precision non-contact measurement.

모아레 기법은 현재 PCB 기판이나 반도체등 정밀측정에 많이 사용되고 있는 측정기법으로 구체적인 측정기법은 대한민국 특허 공개번호 특2000-75148에 상세히 기술되어 있다. 또한 공기부호화법도 대한민국 공개번호 특2001-54287호에 상세히 기재되어 있다. The moiré technique is a measurement technique that is widely used for precise measurement such as PCB substrates and semiconductors, and specific measurement techniques are described in detail in Korean Patent Publication No. 2000-75148. The air coding method is also described in detail in Korean Laid-Open Publication No. 2001-54287.

도 1은 종래기술을 간단히 설명한 그림으로, 기준평면에 소정의 주기를 갖는 격자무늬를 영사한 다음 격자의 위치를 이동시키면서 영상을 획득하고 그로부터 기준평면의 위상을 구하고, 마찬가지로 측정대상물에 격자무늬를 영사시켜 측정대상물의 위상을 구하게 된다. Figure 1 is a simplified illustration of the prior art, the projection of the grid pattern having a predetermined period on the reference plane, and then moving the position of the grid to obtain an image and obtain the phase of the reference plane therefrom, and similarly to the measurement object Projection results in the phase of the measurement object.

그러나 모아레 기법은 측정대상물이 연속적이라는 가정하에 측정을 하므로 측정대상물의 인접위치의 위상이 -π부터 +π까지의 사이에 존재해야만 가능한 단점이 있지만 공간부호화법에 비해 측정분해능은 높은 반면에 측정영역이 좁고 공간부호화법은 역으로 측정분해능은 낮으나 측정영역이 넓은 문제점을 가지고 있다. However, since the moiré technique measures under the assumption that the object is continuous, it is possible to measure the phase of adjacent positions between -π and + π, but the measurement resolution is higher than that of the spatial coding method. This narrow and spatial coding method, on the other hand, has a low measurement resolution but a wide measurement range.

이에 모아레 기법과 공간부호화법을 결합해 측정분해능을 높이고 측정영역을 넓히려는 시도가 진행된 바 있으나, 모아레 기법과 공간부호화법을 각각 다르게 적용하여 측정을 하므로 측정시간이 많이 걸리는 문제점을 가지고 있다.Attempts have been made to combine the moiré technique with the spatial coding method to increase the measurement resolution and widen the measurement area. However, the measurement takes a lot of time because the moiré technique and the spatial coding method are measured differently.

이에 본 발명은 상기와 같은 문제점들을 해소하기 위해 안출된 것으로써, 모아레 기법에 적용되는 주기를 갖는 격자패턴과 공간부호화법에 적용되면서 상기 주기의 짝수배를 갖는 격자패턴을 측정대상물에 영사하고 이로부터 획득한 격자들을 모아레 기법과 공간부호화법에 적용하여 측정함으로서 측정분해능을 높이고 측정영역을 넓히는 측정방법을 제공한다. Therefore, the present invention has been devised to solve the above problems, and the grid pattern having a period applied to the moiré technique and the even pattern of the grid pattern having an even multiple of the period while being applied to the spatial encoding method is projected to By measuring the gratings obtained from the Moire technique and the spatial coding method, it provides a measurement method that increases the measurement resolution and widens the measurement area.

또한 본 발명은 모아레 측정기법이 갖는 한계점 즉 측정대상물의 인접위치의 위상이 -π부터 +π까지의 사이에 존재해야만 하는 문제점을 공간부호화법을 적용하여 해결한다.In addition, the present invention solves the problem that the limitation of the moiré measurement technique, that is, the phase of the adjacent position of the measurement object must exist between -π and + π by applying the spatial coding method.

상기 목적을 이루기 위한 본 발명은, 측정대상물의 측정물위상(Po)를 구하기 위해 일정주기(λa)를 갖는 격자패턴을 측정대상물에 영사하는 단계;와 상기 측정대상물에 영사된 격자패턴의 이미지를 획득하는 단계;와 일정주기(λa)를 갖는 격자패턴을 이동시켜 측정대상물에 영사하는 단계;와 상기 측정대상물에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계;와 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 측정물에 영사하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴이 측정물에 영사된 이미지를 획득하는 단계;와 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 측정대상물의 접혀진 위상(Pa)를 구하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 측정대상물의 공간부호값(Na)를 구하는 단계;와 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 측정대상물의 측정물위상(Po)를 구하는 단계;로 구성되어 일정주기를 갖는 격자패턴과 ON/OFF형태로 반복되는 주기를 갖는 격자패턴을 적용하여 측정대상물의 측정물위상(Po)를 획득한다.The present invention for achieving the above object, the step of projecting a grid pattern having a predetermined period (λa) to the measurement object to obtain the measurement object phase (Po) of the measurement object; and the image of the grid pattern projected on the measurement object And obtaining a projected grid pattern by moving the grid pattern having a predetermined period (λa) to the measured object; and obtaining an image of the projected grid pattern by moving the measured object; Projecting a lattice pattern having an even multiple of λ a to a measurement object; and obtaining an image of the lattice pattern having an even multiple of λ a projected onto the measurement object; Obtaining a folded phase Pa of an object to be measured using a lattice pattern having a predetermined period λa; and using a lattice pattern having an even multiple of λa. Obtaining a spatial code value (Na); and obtaining the measured object phase (Po) of the measurement object by applying the obtained folded phase (Pa) and the spatial code value (Na). A pattern and a phase of the object to be measured are obtained by applying a grid pattern having a repeating cycle in the ON / OFF form.

또한 본 발명은 기준평면의 기준위상(Pr)을 구하기 위해 일정주기(λa)를 갖 는 격자패턴을 기준평면에 영사하는 단계;와 상기 기준평면에 영사된 격자패턴의 이미지를 획득하는 단계;와 일정주기(λa)를 갖는 격자패턴을 이동시켜 기준평면에 영사하는 단계;와 상기 기준평면에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계;와 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 측정물에 영사하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴이 측정물에 영사된 이미지를 획득하는 단계;와 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 기준평면의 접혀진 위상(Pa)를 구하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 기준평면의 공간부호값(Na)를 구하는 단계;와 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 기준평면의 기준위상(Pr)를 구하는 단계;를 포함하며, 상기 측정물위상(Po)과 기준위상(Pr)의 차이로부터 모아레 위상(Pm)을 획득한다.In addition, the present invention comprises the steps of projecting a grid pattern having a predetermined period (λa) to the reference plane to obtain a reference phase (Pr) of the reference plane; and obtaining an image of the grid pattern projected on the reference plane; and Moving a lattice pattern having a predetermined period λa to be projected onto the reference plane; and moving the lattice pattern to the reference plane to obtain an image of the projected lattice pattern; The method may include: projecting a lattice pattern with an even multiple of λa to a measurement object; and obtaining an image in which the lattice pattern with an even multiple of λa is projected onto the measurement object; and the obtained constant period (λa) Obtaining a folded phase Pa of the reference plane by using a lattice pattern having;) and obtaining a spatial code value Na of the reference plane by using a lattice pattern of which the period is an even multiple of λa; and the Obtaining the reference phase (Pr) of the reference plane by applying the folded folded phase (Pa) and the space code value (Na), including the moiré from the difference between the measured phase (Po) and the reference phase (Pr) Obtain the phase Pm.

상기한 바와 같이, 본 발명에 의한 3차원 측정방법은 모아레 기법과 공간부호화법에 해당하는 주기를 갖는 격자패턴과 상기 주기의 짝수배를 갖는 격자패턴을 측정대상물에 영사하고 이로부터 획득한 격자들을 모아레 기법과 공간부호화법에 적용하여 측정함으로서 측정분해능을 높이고 측정영역을 넓히는 측정방법을 효과를 갖는다. As described above, the three-dimensional measurement method according to the present invention projects a grid pattern having a period corresponding to a moiré technique and a spatial encoding method and a grid pattern having an even multiple of the period to a measurement object and obtains the grids obtained therefrom. It is effective to increase the measurement resolution and widen the measurement area by applying to moiré method and spatial coding method.

또한 본 발명은 모아레 측정기법이 갖는 한계점 즉 측정대상물의 인접위치의 위상이 -π부터 +π까지의 사이에 존재해야만 하는 공간부호화법을 적용하여 해결 함으로써 측정영역을 높이는 효과를 갖는다.In addition, the present invention has the effect of raising the measurement area by applying a spatial coding method that must be present between the limits of the moiré measurement technique, that is, the phase of the adjacent position of the measurement object from -π to + π.

이하, 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.

본 실시예는 본 발명의 권리범위를 한정하는 것은 아니고 단지 예시로 제시된 것이며, 그 기술적 요지를 이탈하지 않는 범위 내에서 다양한 변경이 가능하다.This embodiment is not intended to limit the scope of the present invention, but is presented by way of example, various modifications may be made without departing from the technical spirit thereof.

본 발명은, 측정대상물의 측정물위상(Po)를 구하기 위해 일정주기(λa)를 갖는 격자패턴을 측정대상물에 영사하는 단계;와 상기 측정대상물에 영사된 격자패턴의 이미지를 획득하는 단계;와 일정주기(λa)를 갖는 격자패턴을 이동시켜 측정대상물에 영사하는 단계;와 상기 측정대상물에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계;와 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 기준평면에 영사하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴이 기준평먼에 영사된 이미지를 획득하는 단계;와 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 측정대상물의 접혀진 위상(Pa)를 구하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 측정대상물의 공간부호값(Na)를 구하는 단계;와 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 측정대상물의 측정물위상(Po)를 구하는 단계;로 구성되어 일정주기를 갖는 격자패턴과 ON/OFF형태로 반복되는 주기를 갖는 격자패턴을 적용하여 측정대상물의 측정물위상(Po)를 획득한다.The present invention comprises the steps of: projecting a grid pattern having a predetermined period (λa) to the measurement object to obtain the measurement object phase (Po) of the measurement object; and obtaining an image of the grid pattern projected on the measurement object; and Moving a lattice pattern having a predetermined period λa to be projected onto the measurement object; and obtaining an image of the projected lattice pattern by moving to the measurement object; and lattice pattern in which the brightness change is repeated in the ON / OFF form Wherein the period is a step of projecting a lattice pattern of even multiples of λa to the reference plane; and obtaining an image of the lattice pattern of even multiples of λa projected onto the reference plane; and the obtained constant period (λa Obtaining a folded phase Pa of the measurement object by using a lattice pattern having?) And calculating a spatial code value Na of the measurement object by using a lattice pattern of which the period is an even multiple of λa. And a step of obtaining the measured object phase (Po) of the measurement object by applying the obtained folded phase (Pa) and the space code value (Na). By applying a lattice pattern having a repetitive period to obtain the measured object phase (Po) of the measurement object.

또한 본 발명은 기준평면의 기준위상(Pr)을 구하기 위해 일정주기(λa)를 갖는 격자패턴을 기준평면에 영사하는 단계;와 상기 기준평면에 영사된 격자패턴의 이미지를 획득하는 단계;와 일정주기(λa)를 갖는 격자패턴을 이동시켜 기준평면에 영사하는 단계;와 상기 기준평면에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계;와 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 측정물에 영사하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴이 측정물에 영사된 이미지를 획득하는 단계;와 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 기준평면의 접혀진 위상(Pa)를 구하는 단계;와 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 기준평면의 공간부호값(Na)를 구하는 단계;와 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 기준평면의 기준위상(Pr)를 구하는 단계;를 포함하며, 상기 측정물위상(Po)과 기준위상(Pr)의 차이로부터 모아레 위상(Pm)을 획득한다.In addition, the present invention comprises the steps of projecting a grid pattern having a predetermined period (λa) to the reference plane to obtain a reference phase (Pr) of the reference plane; and obtaining an image of the grid pattern projected on the reference plane; and constant Moving a lattice pattern having a period λa and projecting it onto a reference plane; and moving the lattice pattern to a reference plane to obtain an image of the projected lattice pattern; and lattice pattern in which brightness variation is repeated in an ON / OFF form. Projecting a grid pattern of even multiples of λa to a measurement object; and obtaining an image in which the grid pattern of even multiples of λa is projected onto the measurement object; and the obtained constant period λa Obtaining a folded phase Pa of the reference plane using a lattice pattern having a shape; and obtaining a space code value Na of the reference plane using a lattice pattern of which the period is an even multiple of λa; and the phrase Obtaining the reference phase (Pr) of the reference plane by applying the folded folded phase (Pa) and the space code value (Na), including the moiré from the difference between the measured phase (Po) and the reference phase (Pr) Obtain the phase Pm.

위에서 접혀진 위상(Pa)은 측정된 위상값이 -π부터 +π 사이에 존재하므로 접혀진 위상으로 호칭한다.The folded phase Pa is referred to as the folded phase because the measured phase value exists between −π and + π.

이하 측정대상물이나 기준평면에 영사하는 격자패턴에 대해 설명한다.Hereinafter, the grid pattern projected on the measurement object or the reference plane will be described.

측정대상물이나 기준평면에 일정주기(λa)를 갖는 패턴을 영사하는 단계에서는 1번째에서 3번째의 격자패턴을 영사하되, 1번째 패턴은 밝기 변화가 정현파 모양으로 반복되는 규칙적인 줄무늬 형태이며, 2번째 패턴은 1번째 패턴에서 λa의 1/3만큼 이동된 패턴이고, 3번째 패턴은 1번째 패턴에서 λa의 2/3만큼 이동된 패턴이다. In the step of projecting a pattern having a certain period (λa) on the measurement object or the reference plane, the first to third grid patterns are projected. The first pattern is a regular stripe pattern in which the brightness variation is repeated in a sine wave shape. The first pattern is a pattern shifted by 1/3 of λa in the first pattern, and the third pattern is a pattern shifted by 2/3 of λa in the first pattern.

밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 영사하는 단계에서는 4번째에서 6번째의 격자패턴을 영사하되, 4번째 패턴은 ON/OFF 주기는 λa의 2배이며, 5번째 패턴은 ON/OFF 주기는 λa의 4배이고, 6번째 패턴은 ON/OFF 주기는 λa의 8배로서, 상기 1번째 내지 6번째 패턴을 영사한 후 칼라카메라를 이용하여 1번째 내지 6번째 패턴의 영상을 획득한다. In the step of projecting a lattice pattern with an even multiple of λa, the 4th to 6th lattice pattern is projected, and the 4th pattern is λa in the step of projecting a lattice pattern with an even multiple of λa. The 5th pattern is 4 times the ON / OFF period is λa, and the 6th pattern is the 8 times of the ON / OFF period is λa. After projecting the 1st to 6th patterns, Acquire images of the first to sixth patterns.

도 2은 각 격자패턴을 보여주는 그림이다. 이와 같이 1번째 내지 3번째 격자패턴은 동일한 주기(λa)를 갖지만 4번째 내지 6번째 격자패턴은 λa의 짝수배를 갖는다. 2 is a diagram showing each grid pattern. As described above, the first to third grating patterns have the same period λa, but the fourth to sixth grating patterns have an even multiple of λa.

이하 접혀진 위상값(Pa)를 구하는 단계를 설명한다. Hereinafter, the steps for obtaining the folded phase value Pa will be described.

접혀진 위상값(Pa)을 구하는 단계에서는 In the step of obtaining the folded phase value Pa,

Figure 112008031451310-pat00001
식을 적용해서 구하되
Figure 112008031451310-pat00001
To find the equation

여기서 here

IR1 : 1번째 패턴에서 얻은 영상의 화소 밝기값IR 1 : Pixel brightness of the image obtained from the first pattern

IR2 : 2번째 패턴에서 얻은 영상의 화소 밝기값IR 2 : Pixel brightness of the image obtained from the second pattern

IR3 : 3번째 패턴에서 얻은 영상의 화소 밝기값IR 3 : Pixel brightness value of the image obtained from the third pattern

이다.  to be.

도 3는 임의방향(x방향)으로 길이를 갖는 측정대상물에 대해 +π에서 -π까지 획득된 접혀진위상(Pa)을 도시한 것으로, +π에서 -π사이에 존재함을 알 수 있다.3 shows a folded phase Pa obtained from + π to -π for a measurement object having a length in an arbitrary direction (x direction), and it can be seen that it exists between + π and -π.

상기에서 접혀진 위상(Pa)이란 명칭은 계산된 위상이 +π에서 -π사이에 존재하기 때문에 붙여진 호칭이다.The folded phase Pa is named above because the calculated phase is between + π and -π.

이하 공간부호값(Na)를 구하는 단계를 설명한다.The steps for obtaining the space code value Na will be described below.

공간부호값(Na)를 구하는 단계는 Finding the space code value (Na)

Figure 112008031451310-pat00002
를 적용해서 구하되
Figure 112008031451310-pat00002
Apply to find

여기서 here

Iavg = (I1 + I2 + I3) / 3 이고,Iavg = (I 1 + I 2 + I 3 ) / 3,

I1 : 1번째 패턴에서 얻은 영상의 화소 밝기값I 1 : Pixel brightness of the image obtained from the first pattern

I2 : 2번째 패턴에서 얻은 영상의 화소 밝기값I 2 : Pixel brightness of the image obtained from the second pattern

I3 : 3번째 패턴에서 얻은 영상의 화소 밝기값I 3 : Pixel brightness of the image obtained from the third pattern

Ib4: 4번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보 다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.Ib 4 : Binary value assigned as “1” if the brightness value obtained from the pixel of the image obtained in the 4th pattern is larger than the corresponding pixel Iavg.

Ib5: 5번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.Ib 5 : Binary value that is assigned as “1” if the brightness value obtained from the pixel of the image obtained in the fifth pattern is larger than the corresponding pixel Iavg.

Ib6: 6번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.Ib 6 : Binary value that is assigned as “1” if the brightness value obtained from the pixel of the image obtained in the 6th pattern is larger than the corresponding pixel Iavg.

이다.to be.

도 4는 공간부호값(Na)를 도시한 것으로 이는 4번째 내지 6번째의 화소값에 따라 값에 형태에 따라 달라지며, 0부터 7사이의 값을 갖는 것을 알 수 있다.4 shows a space code value Na, which varies depending on the shape according to the fourth to sixth pixel values, and has a value between 0 and 7. FIG.

이후 본 발명은 측정대상물의 측정위상(Po)을 계산하는데 측정대상물에서 얻어진 접혀진 위상값(Pa) + 2π × 측정대상물에서 얻어진 공간부호값(Na)로 얻게 된다.Then, the present invention calculates the measurement phase Po of the measurement object, and obtains the folded phase value Pa obtained from the measurement object + 2π × the space code value Na obtained from the measurement object.

즉 측정대상물의 측정위상(Po) = 측정대상물에서 얻어진 접혀진 위상값(Pa) + [2π × 측정대상물에서 얻어진 공간부호값(Na)] 이다. That is, the measurement phase (Po) of the measurement object = folded phase value (Pa) obtained from the measurement object + [2π × space code value (Na) obtained from the measurement object].

기준평면의 기준위상(Pr)도 같은 방법으로 얻을 수 있는데 즉 기준위상은 기준평면에서 얻어진 접혀진 위상값(Pa) + 2π × 기준평면에서 얻어진 공간부호 값(Na)로 얻게 된다.The reference phase Pr of the reference plane can be obtained in the same manner, that is, the reference phase is obtained by the folded phase value Pa obtained from the reference plane + 2π × the spatial code value Na obtained from the reference plane.

즉 기준평면의 기준위상(Pr) = 기준평면에서 얻어진 접혀진 위상값(Pa) + [2π × 기준평면에서 얻어진 공간부호값(Na)] 이다. That is, the reference phase Pr of the reference plane = the folded phase value Pa obtained from the reference plane + [2π × space code value Na obtained from the reference plane].

다음으로 본 발명은 모아레 위상값(Pm)을 구하는데 이는 측정대상물의 측정물위상(Po)과 기준평면의 기준위상(Pr)의 차이 즉 Pm = Po - Pr로 구하되 (Pm < -π)이면, (Pm + 16)를 Pm값으로 하고, (Pm > +15π)이면 (Pm - 16π)를 모아레 위상값(Pm)으로 결정한다. Next, the present invention obtains the moiré phase value (Pm), which is calculated as the difference between the measured object phase (Po) and the reference phase (Pr) of the reference plane, that is, Pm = Po-Pr (Pm <-π). In this case, (Pm + 16) is set as the Pm value, and (Pm> +15?), The (Pm-16?) Is determined as the moiré phase value Pm.

상기 모아레 위상값(Pm)은 측정대상물의 실제형상과 동일한 형상에 해당되므로 측정대상물의 높이값을 알 수 있다. Since the moiré phase value Pm corresponds to the same shape as the actual shape of the measurement object, the height value of the measurement object can be known.

도 5는 측정한 측정대상물의 형상을 도시한 것으로 경사값을 제외하면 측정 대상물의 실제 형태를 구하게 된다.5 shows the shape of the measured object, except for the inclination value, to obtain the actual shape of the measured object.

이와 같이 본 발명은, 주기가 일정한 격자와 주기가 짝수배수인 격자패턴을 측정대상물에 영사하고 상기 획득된 격자패턴으로부터 모아레 기법과 공간부호화법에 적용함으로써 빠른 측정을 수행할 뿐 만 아니라 측정분해능을 높이는 동시에 측정영역을 넓히는 측정방법에 관한 것이다.As described above, the present invention not only performs fast measurement but also measures resolution by projecting a lattice pattern having a constant period and an even multiple of the period to the measurement object and applying the moiré technique and the spatial coding method from the obtained grid pattern. The height relates to a measuring method which simultaneously widens the measuring area.

본 발명에서는 공간부호화 패턴으로 4 내지 6번째 패턴인 3개의 격자패턴만을 사용했으나, 패턴을 추가하여 측정영역을 넓히는 것은 당연히 본 발명과 실질적으로 동일한 것이다.  In the present invention, only three grid patterns, which are the fourth to sixth patterns, are used as the spatial coding pattern, but it is naturally the same as that of the present invention to expand the measurement area by adding the pattern.

또한 본 발명에서는 접혀진 위상(Pa)을 구하기 위해 1 내지 3번째 패턴인 3개의 격자패턴만을 사용했으나, 격자패턴을 추가하는 것은 당연히 본 발명과 실질적으로 동일한 것이다. In addition, in the present invention, only three grid patterns, which are the first to third patterns, are used to obtain the folded phase Pa, but the addition of the grid pattern is, of course, substantially the same as the present invention.

또한 본 발명에서는 접혀진 위상을 펼치는 수단으로 이진수 개념(Binary Code)의 공간부호화 패턴을 사용하였지만, Gray Code(그레이코드)를 사용하여 공간부호값을 계산하는 것은 공지의 기술이므로, 본 발명에 적용하는 것도 당연히 본 발명과 실질적으로 동일한 것이다. In addition, although the spatial coding pattern of the binary code concept is used as a means of unfolding the folded phase in the present invention, it is a well-known technique to calculate a spatial code value using a gray code. Naturally, it is also substantially the same as this invention.

도 1은 종래기술을 도시한 도면이고,1 is a view showing a prior art,

도 2는 본 발명에 따른 격자패턴을 도시한 도면이며,2 is a view showing a grid pattern according to the present invention,

도 3은 본 발명에 따른 접혀진 위상(Pa)를 도시한 도면이고,3 shows a folded phase Pa according to the invention,

도 4는 본 발명에 따른 공간부호값(Na)를 도시한 도면이며,4 is a diagram showing a space code value Na according to the present invention.

도 5는 본 발명에 따른 획득된 모아레위상값(Pm)을 도시한 도면이다.5 is a diagram showing the obtained moiré phase value Pm according to the present invention.

< 도면의 주요 부분에 대한 부호의 설명 ><Description of Symbols for Main Parts of Drawings>

Claims (7)

임의 형상을 갖는 3차원 측정방법에 있어서, In the three-dimensional measuring method having an arbitrary shape, 일정주기(λa)를 갖는 격자패턴을 기준평면에 영사하는 단계; 상기 기준평면에 영사된 격자패턴의 이미지를 획득하는 단계; 일정주기(λa)를 갖는 격자패턴을 이동시켜 기준평면에 영사하는 단계; 상기 기준평면에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계; 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 기준평면에 영사하는 단계; 상기 주기가 λa의 짝수배수로 된 격자패턴이 기준평면에 영사된 이미지를 획득하는 단계; 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 기준평면의 접혀진 위상(Pa)를 구하는 단계; 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 기준평면의 공간부호값(Na)를 구하는 단계; 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 기준평면의 기준위상(Pr)를 구하는 단계; 및Projecting a grid pattern having a predetermined period [lambda] a onto the reference plane; Obtaining an image of the grid pattern projected on the reference plane; Moving a grid pattern having a predetermined period λa and projecting the grid pattern to a reference plane; Moving to the reference plane to obtain an image of the projected grid pattern; Projecting a lattice pattern in which the brightness change is repeated in the ON / OFF form, the period of which is projected on the reference plane a lattice pattern of an even multiple of? A; Acquiring an image of the grid pattern whose period is an even multiple of lambda a projected onto a reference plane; Obtaining a folded phase Pa of a reference plane using the obtained grid pattern having a predetermined period λa; Obtaining a space code value (Na) of a reference plane by using a lattice pattern of which the period is an even multiple of lambda a; Obtaining a reference phase Pr of a reference plane by applying the obtained folded phase Pa and a space code value Na; And 일정주기(λa)를 갖는 격자패턴을 측정대상물에 영사하는 단계; 상기 측정대상물에 영사된 격자패턴의 이미지를 획득하는 단계; 일정주기(λa)를 갖는 격자패턴을 이동시켜 측정대상물에 영사하는 단계; 상기 측정대상물에 이동시켜 영사된 격자패턴의 이미지를 획득하는 단계; 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 측정물에 영사하는 단계; 상기 주기가 λa의 짝수배수로 된 격자패턴이 측정물에 영사된 이미지를 획득하는 단계; 상기 획득된 일정주기(λa)를 갖는 격자패턴을 이용하여 측정대상물의 접혀진 위상(Pa)를 구하는 단계; 상기 주기가 λa의 짝수배수로 된 격자패턴을 이용하여 측정대상물의 공간부호값(Na)를 구하는 단계; 상기 구해진 접혀진위상(Pa)와 공간부호값(Na)를 적용하여, 측정대상물의 측정물위상(Po)를 구하는 단계;를 포함하는 것을 특징으로 하는 광대역기준위상을 적용한 3차원 측정방법.    Projecting a grid pattern having a predetermined period [lambda] a onto the measurement object; Obtaining an image of the grid pattern projected on the measurement object; Moving the grid pattern having a predetermined period λa and projecting the same to a measurement object; Moving to the measurement object to obtain an image of the projected grid pattern; Projecting a grid pattern having a brightness change repeated in the ON / OFF form, the period being an even multiple of? A to the measurement object; Obtaining an image of the grid pattern having the period of an even multiple of lambda a projected onto the measurement object; Obtaining a folded phase Pa of an object to be measured using the obtained grid pattern having a predetermined period λa; Obtaining a spatial code value (Na) of the measurement object by using a lattice pattern of which the period is an even multiple of lambda a; Obtaining the measured object phase (Po) of the measurement object by applying the obtained folded phase (Pa) and the space code value (Na); three-dimensional measurement method applying a wideband reference phase comprising a. 삭제delete 제1항에 있어서The method of claim 1 측정대상물이나 기준평면에 일정주기(λa)를 갖는 패턴을 영사하는 단계에서는 1번째에서 3번째의 격자패턴을 영사하되, 1번째 패턴은 밝기 변화가 정현파 모양으로 반복되는 규칙적인 줄무늬 형태이며, 2번째 패턴은 1번째 패턴에서 λa의 1/3만큼 이동된 패턴이고, 3번째 패턴은 1번째 패턴에서 λa의 2/3만큼 이동된 패턴이며, 밝기변화가 ON/OFF형태로 반복되는 격자패턴을 갖되 주기는 λa의 짝수배수로 된 격자패턴을 영사하는 단계에서는 4번째에서 6번째의 격자패턴을 영사하되, 4번째 패턴은 ON/OFF 주기는 λa의 2배이며, 5번째 패턴은 ON/OFF 주기는 λa의 4배이고, 6번째 패턴은 ON/OFF 주기는 λa의 8배이며,In the step of projecting a pattern having a certain period (λa) on the measurement object or the reference plane, the first to third grid patterns are projected. The first pattern is a regular stripe pattern in which the brightness variation is repeated in a sine wave shape. The first pattern is a pattern shifted by 1/3 of λa in the first pattern, and the third pattern is a pattern shifted by 2/3 of λa in the first pattern, and has a lattice pattern in which brightness variation is repeated ON / OFF. In the step of projecting a lattice pattern with an even multiple of λa, the fourth and sixth lattice patterns are projected, with the fourth pattern being twice the ON / OFF period of λa and the fifth pattern being the ON / OFF period. Is 4 times λa, and the 6th pattern has ON / OFF period 8 times λa, 상기 1번째 내지 6번째 패턴을 영사한 후 칼라카메라를 이용하여 1번째 내지 6번째 패턴의 영상을 획득하는 것을 특징으로 하는 광대역기준위상을 적용한 3차원 측정방법.And projecting the first to sixth patterns and then obtaining images of the first to sixth patterns by using a color camera. 삭제delete 제3항에 있어서.The method of claim 3. 상기에서 얻는 공간부호값(Na)를 구하는 단계는Obtaining the space code value Na obtained from the above
Figure 112009014293956-pat00010
를 적용해서 구하되
Figure 112009014293956-pat00010
Apply to find
여기서 here Iavg = (I1 + I2 + I3) / 3 이고,Iavg = (I1 + I2 + I3) / 3, I1 : 1번째 패턴에서 얻은 영상의 화소 밝기값I 1 : Pixel brightness of the image obtained from the first pattern I2 : 2번째 패턴에서 얻은 영상의 화소 밝기값I 2 : Pixel brightness of the image obtained from the second pattern I3 : 3번째 패턴에서 얻은 영상의 화소 밝기값I 3 : Pixel brightness of the image obtained from the third pattern Ib4: 4번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보Ib 4 : The brightness value obtained from the pixels of the image obtained in the fourth pattern is equal to that of the corresponding pixel. 다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.If the value is large, it means “1”. If the value is small, it means “0”. Ib5: 5번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보Ib 5 : The brightness value obtained from the pixels of the image obtained in the fifth pattern is equal to that of the corresponding pixel. 다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.If the value is large, it means “1”. If the value is small, it means “0”. Ib6: 6번째 패턴에서 얻은 영상의 화소에서 얻은 밝기값이 해당화소 Iavg보Ib 6 : The brightness value obtained from the pixels of the image obtained in the sixth pattern is 다 큰 값이면 “1”로 하고 작은 값이면 “0”으로 할당한 이진화 값인것.If the value is large, it means “1”. If the value is small, it means “0”. 을 특징으로 하는 광대역기준위상을 적용한 3차원 측정방법.Three-dimensional measurement method applying a broadband reference phase characterized in that.
제5항에 있어서The method of claim 5 측정대상물의 측정위상(Po)은 측정대상물에서 얻어진 접혀진 위상값(Pa) + The measured phase (Po) of the measuring object is the folded phase value (Pa) + obtained from the measuring object. 2π × 측정대상물에서 얻어진 공간부호값(Na)로 얻은 것을 특징으로 하는 광대역기준위상을 적용한 3차원 측정방법.A three-dimensional measurement method using a broadband reference phase, characterized in that obtained by the space code value (Na) obtained from a measurement object. 제6항에 있어서The method of claim 6 모아레 위상값(Pm)은 측정대상물의 측정물위상(Po)과 기준평면의 기준위The moiré phase value (Pm) is the reference phase of the measured object phase (Po) and the reference plane of the measurement object. 상(Pr)의 차이 즉 Pm = Po - Pr로 구하되 (Pm < -π)이면, (Pm + 16π)를 Pm값으로 하고, (Pm > +15π)이면 (Pm - 16π)를 Pm값으로 하는 것을 특징으로 하는 광대역기준위상을 적용한 3차원 측정방법.Obtain the difference between phases (Pr), that is, Pm = Po-Pr.If (Pm <-π), (Pm + 16π) is the Pm value, and if (Pm> + 15π), (Pm-16π) is the Pm value. Three-dimensional measurement method applying a broadband reference phase, characterized in that.
KR1020080040796A 2008-04-30 2008-04-30 3-d measuring method by using wide band reference phase KR100901536B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080040796A KR100901536B1 (en) 2008-04-30 2008-04-30 3-d measuring method by using wide band reference phase

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080040796A KR100901536B1 (en) 2008-04-30 2008-04-30 3-d measuring method by using wide band reference phase

Publications (1)

Publication Number Publication Date
KR100901536B1 true KR100901536B1 (en) 2009-06-08

Family

ID=40982427

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080040796A KR100901536B1 (en) 2008-04-30 2008-04-30 3-d measuring method by using wide band reference phase

Country Status (1)

Country Link
KR (1) KR100901536B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437851B1 (en) 2013-05-29 2014-09-04 주식회사 고영테크놀러지 Phase detecting method
CN110763156A (en) * 2019-09-27 2020-02-07 深圳大学 Three-dimensional imaging method and system based on light field

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829136A (en) * 1994-07-13 1996-02-02 Murata Mach Ltd Three-dimensional measurement method
JP2006084286A (en) 2004-09-15 2006-03-30 Olympus Corp Three-dimensional measuring method and its measuring device
KR101003282B1 (en) * 2005-12-30 2010-12-21 주식회사 효성 Stretchable Fabric comprising Polyurethane Elastic Fiber and Polyester Fiber

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829136A (en) * 1994-07-13 1996-02-02 Murata Mach Ltd Three-dimensional measurement method
JP2006084286A (en) 2004-09-15 2006-03-30 Olympus Corp Three-dimensional measuring method and its measuring device
KR101003282B1 (en) * 2005-12-30 2010-12-21 주식회사 효성 Stretchable Fabric comprising Polyurethane Elastic Fiber and Polyester Fiber

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101437851B1 (en) 2013-05-29 2014-09-04 주식회사 고영테크놀러지 Phase detecting method
CN110763156A (en) * 2019-09-27 2020-02-07 深圳大学 Three-dimensional imaging method and system based on light field
CN110763156B (en) * 2019-09-27 2021-10-01 深圳大学 Three-dimensional imaging method and system based on light field

Similar Documents

Publication Publication Date Title
Babaie et al. Dynamics range enhancement in digital fringe projection technique
Chen et al. Adaptive pixel-to-pixel projection intensity adjustment for measuring a shiny surface using orthogonal color fringe pattern projection
CN100520285C (en) Vision measuring method for projecting multiple frequency grating object surface tri-dimensional profile
CN108195313B (en) High dynamic range three-dimensional measurement method based on light intensity response function
Léandry et al. Calibration of a structured-light projection system: development to large dimension objects
Song et al. A new phase unwrapping algorithm based on three wavelength phase shift profilometry method
CN104677307B (en) Measuring method and device combining three-dimensional and two-dimensional shapes
CN110174079B (en) Three-dimensional reconstruction method based on four-step phase-shift coding type surface structured light
CN109141291A (en) A kind of fast phase unwrapping algorithm
Huang et al. A new reconstruction method based on fringe projection of three-dimensional measuring system
CN104390608A (en) Projection grating phase method based structured light three-dimensional shape construction method
CN111998799B (en) Multi-frequency projection three-dimensional surface shape measurement motion area detection method and system
KR100901537B1 (en) 3-d measuring method by using color grating
Huang et al. Phase retrieval from reflective fringe patterns of double-sided transparent objects
Wang et al. A 3D shape measurement method based on novel segmented quantization phase coding
Li et al. An improved 2+ 1 phase-shifting algorithm
Lu et al. High-efficiency dynamic three-dimensional shape measurement based on misaligned Gray-code light
KR100901536B1 (en) 3-d measuring method by using wide band reference phase
Flores et al. 3D-shape of objects with straight line-motion by simultaneous projection of color coded patterns
CN110428459A (en) A method of the Phase- un- wrapping based on numerical order coding
KR100910573B1 (en) 3-d measuring method by using color-multi wavelength reference phase
JP6673266B2 (en) Mutual reflection detecting device, mutual reflection detecting method, and program
CN105698708A (en) Three-dimensional visual sense reconstruction method
Wu et al. Generic saturation-induced phase-error correction algorithm for phase-measuring profilometry
Marrugo et al. Fourier transform profilometry in LabVIEW

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130530

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140530

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150528

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160527

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee