KR100668073B1 - 다시점 영상의 왜곡 보정처리 방법 - Google Patents

다시점 영상의 왜곡 보정처리 방법 Download PDF

Info

Publication number
KR100668073B1
KR100668073B1 KR1020050062061A KR20050062061A KR100668073B1 KR 100668073 B1 KR100668073 B1 KR 100668073B1 KR 1020050062061 A KR1020050062061 A KR 1020050062061A KR 20050062061 A KR20050062061 A KR 20050062061A KR 100668073 B1 KR100668073 B1 KR 100668073B1
Authority
KR
South Korea
Prior art keywords
image
cameras
camera
brightness
pattern
Prior art date
Application number
KR1020050062061A
Other languages
English (en)
Inventor
이동식
배경훈
이원경
Original Assignee
(주)블루비스
쓰리알 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)블루비스, 쓰리알 주식회사 filed Critical (주)블루비스
Priority to KR1020050062061A priority Critical patent/KR100668073B1/ko
Priority to PCT/KR2005/002228 priority patent/WO2007007924A1/en
Application granted granted Critical
Publication of KR100668073B1 publication Critical patent/KR100668073B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 4대 이상의 카메라를 이용한 다시점 영상간에 발생할 수 있는 카메라별 밝기 균일도, 카메라 렌즈의 왜곡, 카메라간 오차와 영상크기, 및 카메라간 밝기와 색상 균일도 등을 보상처리함으로써, 효과적인 3차원 입체 디스플레이를 제공하는 다시점 영상의 왜곡 보정처리 방법에 관한 것이다.
다시점 영상, 영상 왜곡, 보정처리, 3차원 입체 디스플레이, 4시점 카메라

Description

다시점 영상의 왜곡 보정처리 방법{Method for calibrating distortion of multi-view image}
도 1은 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 흐름도이다.
도 2는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라별 밝기 균일도 보상처리 단계의 세부적인 흐름도이다.
도 3은 카메라 렌즈 왜곡 발생에 관한 영상 생성 모델의 모식도이다.
도 4는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라별 렌즈 왜곡 보상처리 단계의 세부적인 흐름도이다.
도 5는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라간 오차 및 영상크기 보상처리 단계의 세부적인 흐름도이다.
도 6은 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라간 밝기 및 색상 균일도 보상 단계의 세부적인 흐름도이다.
도 7a 및 도 7b는 본 발명의 실시예에 따른 카메라별 밝기 균일도 보상처리 전과 후의 영상이다.
도 8a 및 도 8b는 본 발명의 실시예에 따른 카메라별 렌즈 왜곡 보상처리 전과 후의 영상이다.
도 9a 및 도 9b는 본 발명의 실시예에 따른 카메라간 오차 및 영상크기 보상처리 전과 후의 영상이다.
도 10a 및 도 10b는 본 발명의 실시예에 따른 카메라별 밝기 및 색상 균일도 보상처리 전과 후의 영상이다.
본 발명은 다시점 영상의 왜곡 보정처리 방법에 관한 것으로, 보다 상세하게는 4대 이상의 카메라를 이용한 다시점 영상간에 발생할 수 있는 카메라별 밝기 균일도, 카메라 렌즈의 왜곡, 카메라간 오차와 영상크기, 및 카메라간 밝기와 색상 균일도 등을 보상처리함으로써, 효과적인 3차원 입체 디스플레이를 제공하는 다시점 영상의 왜곡 보정처리 방법에 관한 것이다.
일반적으로, 사람이 물체를 입체적으로 볼 수 있는 것은 양안시차에 의한 것으로, 두 눈이 각기 다른 시점의 영상을 관측하고, 인간의 뇌가 이 두 스테레오 영상의 차이를 합성하여 3차원 입체물체를 인식하게 된다. 한국등록특허 제 397511 호 및 제 433625 호 등에 개시된 바와 같이, 이러한 인간시각 시스템을 모방하여 다양한 형태로 양안식 3차원 디스플레이 시스템이 제안되어왔다.
그러나, 종래의 양안식 3차원 디스플레이 시스템은 시점이 양안으로 제한되기 때문에, 관찰자가 제한된 시역을 벗어나거나 초점이 맞지 않을 경우, 입체감을 느낄 수 없고, 눈의 피곤함 및 어지러움 등을 느껴 실질적인 응용이 제한되고 있었다.
이와 같은 종래의 양안식 디스플레이 시스템의 단점을 해결하기 위하여, N. A. Dodgson, J. R. Moore와 S. R. Lang의 논문("Multi-view autostereoscopic 3D display", International Broadcasting Convention '99, 10th-14th, pp. 497-502, September 1999) 등에 개시된 바와 같이, 여러 형태의 다시점 스테레오 3차원 디스플레이 시스템에 관하여 활발한 연구가 진행되어왔다. 이러한 종래의 다시점 디스플레이 시스템은 다안식 입체 카메라를 통해 다시점의 영상획득과 디스플레이가 이루어지기 때문에, 시점의 개수가 증가됨에 따라 시역이 확대되고 보다 자연스러운 3차원 디스플레이가 가능하다.
다시점의 영상을 획득하기 위한 방법으로, 다시점 카메라를 구성하는 구성 방법은 교차축(toed-in) 방식과 수평식(parallel) 방식이 있다. 여기서 교차축 방식은 관심 물체에 대하여 모든 카메라의 광축을 회전시켜 한 점에서 수렴하도록 하는 방식이다. 반면에, 수평식 방식은 여러 대의 카메라를 평행하게 설치하고, 관심 물체에 수렴점을 형성하기 위해 카메라의 렌즈의 위치를 수평이동시키는 방식이다.
현재 생산되고 있는 CCD(Charge-Coupled Device) 카메라의 경우 왜곡 현상이 적게 발생하나, 특수한 렌즈를 사용하는 카메라의 경우 왜곡 현상이 발생한다. 이러한 카메라를 통하여 입력되는 영상은 카메라 내부 또는 외부의 영향에 의해 왜곡이 발생하여 실세계와 다른 형태의 영상을 나타내며, 카메라의 카메라별 렌즈 왜곡 이 적게 제작되었더라도 사용하는 환경적 조건에 의해 카메라의 여러 가지 왜곡 보정이 요구된다. 특히, 카메라의 왜곡 보정은 정확한 영상을 요구하는 영상처리 분야에서 매우 중요한 문제라 할 수 있다.
한편, 다시점 디스플레이 시스템은 사람의 인지 특성을 고려한 기술 개발이 요구되는데, 특히 대상물의 거리에 따른 양안 시차를 고려하여 사람이 보는 것과 같은 영상을 획득하기 위한 정교한 제어와 기계적 구동 기술이 필요하다. 또한, 2대 이상의 카메라가 연동되기 때문에, 카메라간의 특성을 항상 일정하게 유지하도록 제어하는 카메라 특성 제어 기술도 필요하다.
그러나, 종래의 다시점 카메라 시스템은 보정처리 없이 영상을 획득하기 때문에, 사람의 시각 피로 현상이 발생하는 문제점이 있었다.
이러한 시각 피로 현상을 제거하기 위하여, 양안시차(binocular disparity) 등의 양안에 의한 결과, 명암(light and shade), 색의 진출과 후퇴(advancing and receding color) 등의 단안에 의한 결과, 및 시각 피로 요소 분석이 요구되기 때문에, 이를 해결하기 위한 둘 이상의 획득된 영상간의 왜곡을 보정하고 균일성을 유지하기 위한 방안이 요구되어왔다.
이와 같은 다시점 영상간의 왜곡을 보정하고 균일성을 유지하기 위하여, 양안식(즉, 2시점) 영상의 경우 단지 2대의 카메라간의 왜곡 및 균일성을 보정하면 되고, 3시점 영상의 경우 중간영상을 기준으로 좌우영상에 대하여 2시점 영상의 보정방법을 이용하여 왜곡 및 균일성을 보정할 수 있었다.
그러나, 4대 이상의 카메라를 이용하는 다시점 영상의 경우, 양끝단 카메라 간의 거리가 2시점 또는 3시점의 영상의 경우보다 멀기 때문에, 2시점 보정방법을 적용하여 왜곡 및 균일도를 보상처리하기 어려운 문제점이 있었다.
상기 문제점을 해결하기 위한 본 발명의 기술적 과제는 4대 이상의 카메라를 이용한 다시점 영상간에 발생할 수 있는 왜곡 및 균일도를 보상처리하는 다시점 영상의 왜곡 보정처리 방법을 제공하는 것이다.
또한, 본 발명의 다른 기술적 과제는 4대의 카메라를 이용하는 4시점 영상간에 발생할 수 있는 카메라별 밝기 균일도, 카메라 렌즈의 왜곡, 카메라간 오차와 영상크기, 및 카메라간 밝기와 색상 균일도 등을 보상처리하는 다시점 영상의 왜곡 보정처리 방법을 제공하는 것이다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 (A) 4대 이상의 카메라들에서 촬영된 영상에 대하여 각각 밝기차이 맵을 생성하고, 상기 촬영된 영상과 상기 밝기차이 맵을 이용하여 각각의 카메라에 대한 밝기 균일도를 보상처리하는 단계; (B) 상기 각각의 카메라에 촬영된 영상의 패턴을 검출하고, 상기 검출된 영상의 패턴의 휴 변환(Hough transformation)을 통해 렌즈 왜곡 계수를 획득한 후, 상기 렌즈 왜곡 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡을 보상처리하는 단계; (C) 상기 4대 이상의 카메라들 에서 촬영된 영상에 대하여 특징점과 대응점을 포함하는 제 1 일치정보를 추출하고, 상기 제 1 일치정보로부터 공분산 행렬(covariance matrix) 및 회전 행렬을 계산한 후, 상기 회전 행렬을 이용하여 상기 4대 이상의 카메라들간의 오차 및 영상크기를 보상처리하는 단계; 및 (D) 상기 4대 이상의 카메라들에서 촬영된 영상에 대하여 제 2 일치정보를 추출하고, 상기 제 2 일치정보를 이용한 호모그래피(homography) 및 어파인 변환(affine transformation)을 수행함으로써, 상기 4대 이상의 카메라들간의 밝기 및 색상 균일도를 보상처리하는 단계를 포함하는 것을 특징으로 한다.
바람직한 실시예에서, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 상기 (A) 단계는, (A-1) 상기 4대 이상의 카메라들에 대하여 동일한 평면이 영상전체에 꽉 차도록 각각 촬영하는 단계; (A-2) 상기 각각의 촬영된 영상을 YCbCr 공간으로 변환하여 Y채널을 추출하는 단계; (A-3) 상기 각각의 카메라에 대한 Y채널에서 기준밝기값을 계산하는 단계; (A-4) 상기 기준밝기값을 이용하여 밝기차이 맵을 생성하는 단계; 및 (A-5) 상기 Y채널과 상기 밝기차이 맵을 합산함으로써, 각각의 카메라에 대한 밝기 균일도를 보상처리하는 단계을 포함하는 것이 바람직하다.
또한, 바람직한 실시예에서, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 상기 (B) 단계는, (B-1) 상기 각각의 카메라를 이용하여 패턴을 촬영하고, 상기 촬영된 영상의 패턴으로부터 코너점을 검출하는 단계; (B-2) 상기 검출된 코너점을 휴 공간(Hough space)에서 직선을 이루는 점들로 그룹핑(grouping)하는 단계; (B-3) 상기 그룹핑된 점들을 이용하여 직선의 계수를 추정하는 단계; (B-4) 상 기 추정된 직선의 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡 계수를 구하는 단계; 및 (B-5) 상기 렌즈 왜곡 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡을 보상처리하는 단계을 포함하는 것이 바람직하다.
또한, 바람직한 실시예에서, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 상기 (C) 단계는, (C-1) 상기 4대 이상의 카메라들을 이용하여 동일한 패턴을 촬영하는 단계; (C-2) 상기 4대 이상의 카메라들 중 특정된 하나의 카메라에 의해 촬영된 영상의 패턴으로부터 특징점을 검출하는 단계; (C-3) 상기 특징점과 SSD(Sum of Squared Difference) 방법을 이용하여 다른 카메라들의 대응점을 추출하는 단계; (C-4) 상기 특징점과 대응점을 포함하는 제 1 일치정보로부터 공분산 행렬을 계산하는 단계; (C-5) 상기 공분산 행렬을 EVD(Eigen Value Decomposition)를 이용하여 직교 행렬을 계산하는 단계; (C-6) 상기 직교 행렬을 이용하여 회전 행렬을 계산하는 단계; 및 (C-7) 상기 회전 행렬을 이용하여 상기 4대 이상의 카메라들간의 오차 및 영상크기를 보상처리하는 단계을 포함하는 것이 바람직하다.
또한, 바람직한 실시예에서, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 상기 (D) 단계는, (D-1) 상기 4대 이상의 카메라들에서 촬영된 영상들간의 제 2 일치정보를 추출하는 단계; (D-2) 상기 제 2 일치정보를 호모그래피에 적용하여 상기 영상들 전체에 대한 일치점을 추출하는 단계; 및 (D-3) 상기 영상들 전체에 대한 일치점을 어파인 변환에 적용함으로써, 상기 4대 이상의 카메라들간의 밝기 및 색상 균일도를 보상처리하는 단계을 포함하는 것이 바람직하다.
이하, 도면을 참조하여 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법을 상세히 설명하기로 한다.
도 1은 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법의 흐름도이고, 도 2는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라별 밝기 균일도 보상처리 단계의 세부적인 흐름도이며, 도 3은 카메라 렌즈 왜곡 발생에 관한 영상 생성 모델의 모식도이고, 도 4는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라별 렌즈 왜곡 보상처리 단계의 세부적인 흐름도이며, 도 5는 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라간 오차 및 영상크기 보상처리 단계의 세부적인 흐름도이고, 도 6은 도 1에 도시된 다시점 영상의 왜곡 보정처리 방법의 카메라간 밝기 및 색상 균일도 보상 단계의 세부적인 흐름도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 카메라별 밝기 균일도 보상처리 단계(S100), 카메라별 렌즈 왜곡 보상처리 단계(S200), 카메라간 오차 및 영상크기 보상처리 단계(S300), 및 카메라간 밝기 및 색상 균일도 보상처리 단계(S400)를 포함하여 이루어진다.
먼저, 도 2를 참조하여 카메라별 밝기 균일도 보상처리 단계(S100)를 보다 상세하게 살펴보면 다음과 같다.
각각의 카메라에 대하여 동일한 평면이 영상전체에 꽉 차도록 동일한 밝기로 촬영한다(S110).
각각의 촬영된 영상을 YCbCr 공간으로 변환하여 Y(휘도; luminance) 채널을 추출한다(S120).
각각의 카메라에 대한 Y채널에서 최고밝기값 Imax 또는 평균밝기값 Iaver 등의 기준밝기값을 다음의 수학식 1과 같이 계산한다(S130).
Figure 112005037281202-pat00001
여기서 I(x, y)는 촬영된 영상의 각각의 픽셀의 좌표 (x, y)에서 밝기값이고, h는 촬영된 영상의 y축 방향의 픽셀 수이며, w는 촬영된 영상의 x축 방향의 픽셀 수이다.
계산된 최고밝기값 Imax 또는 평균밝기값 Iaver 등의 기준밝기값을 이용하여 각각의 카메라에 대한 다음의 수학식 2와 같이 밝기차이 맵(brightness difference map) Id(x, y)을 생성한다(S140).
Figure 112005037281202-pat00002
S140 단계에서 생성된 밝기차이 맵 Id(x, y)과 단계 S120에서 추출된 Y채널을 합산함으로써, 각각의 카메라에 대한 밝기 균일도를 보상처리한다(S150).
상술한 바와 같이, 본 발명에 따른 카메라별 밝기 균일도 보상처리 단계(S100)는 Y채널과 밝기차이 맵을 이용하여 각각의 카메라 영상의 모든 픽셀들을 각각 처리하므로, 각각의 카메라에 대해 매우 균일한 밝기를 획득할 수 있다.
다음으로, 도 3을 참조하면, 카메라 모델이 완전한 핀홀(pinhole) 카메라 모델이라 가정하면, 실제 공간상의 점 P는 카메라 영상에서 점 p의 위치에 맺히게 된다. 그러나, 실제 카메라 모델이 완전한 핀홀 카메라 모델이 아니기 때문에, 배럴 왜곡(barrel distortion) 및 핀쿠션 왜곡(pincushion distortion) 등의 카메라 렌즈 왜곡에 의해 변형된 점 p'의 위치에 맺히게 될 수 있다. 이는 광학중심에서부터 거리에 비례하여 점 p와 점 p'의 차이가 커지게 되며, 이 차이는 광학중심으로부터 거리의 2차 함수의 형태로 다음과 같은 수학식 3으로 나타낼 수 있다.
Figure 112005037281202-pat00003
여기서 x와 y는 P점이 카메라 영상에 사영되었을 때 p의 좌표이고, x'과 y'는 P점이 렌즈의 왜곡에 의해 카메라 영상에 사영된 p'의 좌표이며, d는 광학중심에서 점 p까지 거리로 d=(x2+y2)1/2이고, 각 좌표축에 대한 거리의 차이값인 f(d)는 다음의 수학식 4와 같다.
Figure 112005037281202-pat00004
여기서 k1과 k2는 카메라 렌즈 왜곡 계수이다. 수학식 3 및 수학식 4에서 알 수 있는 바와 같이, 카메라 렌즈에 의해 왜곡된 점 p'과 왜곡이 제거된 점(즉, 왜곡되지 않은 점) p의 쌍이 최소 2개가 있다면, 카메라 렌즈 왜곡 계수 k1과 k2를 구하여 카메라 렌즈에 의한 왜곡을 제거할 수 있다.
따라서, 도 4를 참조하여, 카메라 렌즈 왜곡 계수 k1과 k2를 구하기 위한 카메라별 렌즈 왜곡 보상처리 단계(S200)를 보다 상세하게 살펴보면 다음과 같다.
각각의 카메라를 이용하여 동일한 패턴을 촬영하고, 촬영된 영상의 패턴으로부터 코너점을 정의 및 검출한다(S210). 이때, 패턴은 코너점을 검출하기 용이한 격자무늬 패턴을 사용하는 것이 바람직하다.
각각의 카메라에 대하여 검출된 코너점을 휴 공간(Hough space)에서 직선을 이루는 점들로 그룹핑(grouping)한다(S220). 이때, 휴 공간의 해상도는 직선의 정밀도를 내포하기 때문에, 해상도를 낮추어서 직선을 이루는 점들을 대략적으로 그룹핑하는 것이 바람직하다.
이와 같이 그룹핑된 점들을 이용하여 직선의 계수를 추정한다(S230). 이때, 직선은 최소 2개의 점으로 추정할 수 있다. 하지만, 3개 이상의 점들을 이용하여 추정하는 경우, 노이즈의 영향으로 정확하게 3개 이상의 점들이 하나의 직선상에 존재하지 않을 수 있으므로, 다음과 같은 수학식 3을 이용하여 3개 이상의 점들과 직선간의 거리가 최소가 되는 직선의 계수를 구하는 것이 바람직하다.
Figure 112005037281202-pat00005
여기서 a, b 및 c는 직선의 계수이며, 특이값 분해법(singular value decomposition)을 이용하여 수학식 3으로부터 직선의 계수 a, b 및 c를 추정할 수 있다.
추정된 직선의 계수 a, b 및 c를 이용하여 카메라 렌즈 왜곡 계수 k1과 k2를 구한다(S240). 보다 상세하게 살펴보면, 직선의 방정식 ax'+by'+c=0에 수학식 3 및 수학식 4를 대입하면 다음의 수학식 6과 같다.
Figure 112005037281202-pat00006
이 수학식 6에 그룹핑된 점들 (x1, y1), …, (xn, yn)을 대입하여 대수 형태로 정리하면 다음의 수학식 7과 같이 정리된다.
Figure 112005037281202-pat00007
이 수학식 7을 최소 2차 해법(least square solution)을 이용하여 카메라 렌즈 왜곡 계수k1과 k2를 구할 수 있다.
수학식 7로부터 구해진 카메라 렌즈 왜곡 계수 k1과 k2를 수학식 3과 수학식 4에 대입하면, 카메라 렌즈에 의해 왜곡된 점의 좌표 p'의 좌표로부터 카메라 렌즈 왜곡이 제거된 점 p의 좌표를 구한다(S250).
다음으로, 도 5를 참조하여 카메라간 오차 및 영상크기 보상처리 단계(S300)를 보다 상세하게 살펴보면 다음과 같다.
각각의 카메라를 이용하여 동일한 패턴을 촬영한다(S310). 이때, 패턴은 이후 단계에서 특징점 및 대응점을 검출하기 용이한 격자무늬 패턴을 사용하는 것이 바람직하며, 다양한 색상의 격자무늬 패턴을 사용하는 것이 보다 바람직하다.
카메라들 중 특정된 하나의 카메라에 의해 촬영된 영상의 패턴으로부터 특징점을 정의 및 검출한다(S320).
특정된 하나의 카메라의 영상과 다른 카메라들의 영상들간의 일치정보를 설정하기 위하여, 단계 S320에서 검출된 특징점과 다음의 수학식 8로 표현되는 SSD(Sum of Squared Difference) 방법을 이용하여 다른 카메라들의 대응점을 추출한다(S330).
Figure 112005037281202-pat00008
여기서 ψ(u, v)=-(u-v)2이고, I(x, y)는 I 영상의 x와 y위치 픽셀의 밝기값이며, (dx, dy)는 대응점의 변위(disparity)이고, W는 특징점을 중심으로 특징영역의 크기이다. 수학식 8로부터, 대응점은 함수 f(d)의 값이 가장 크게 되는 d 값을 찾음으로써 추출할 수 있다.
추출된 특징점과 대응점의 일치정보로부터 다음의 수학식 9로 표현되는 공분산 행렬(covariance matrix) Cov을 계산한다(S340).
Figure 112005037281202-pat00009
여기서 (xaver, yaver)는 평균점(average point)으로, 각각의 축의 합을 점의 수 n으로 나눈 값이다.
수학식 9의 공분산 행렬을 EVD(Eigen Value Decomposition)를 이용하여 다음의 수학식 10과 같이 분해하여 직교행렬(orthogonal matrix) U를 계산한다(S350).
Figure 112005037281202-pat00010
여기서 D는 대각행렬(diagonal matrix)이다. 수학식 10에서, U의 각 열벡터는 장축과 단축을 나타내고, D의 각 원소는 점의 분포의 장축과 단축의 크기를 나타낸다.
이러한 직교행렬 U를 이용하여, 회전행렬 R을 다음의 수학식 11과 같이 계산할 수 있다(S360).
Figure 112005037281202-pat00011
이 수학식 11의 회전 행렬을 이용하여, 제 2 카메라 영상을 제 1 카메라의 영상에 적용시킴으로써, 하우징(housing), 센서의 위치, 렌즈 마운트(lens mount) 상의 틀어짐 등에 의해 발생하는 카메라 오차, 및 초점 길이(focal length) 차이에 의해 발생하는 카메라 영상크기를 보상처리한다(S370).
다음으로, 도 6을 참조하여 카메라간 밝기 및 색상 균일도 보상 단계를 보다 상세하게 살펴보면 다음과 같다.
사전에 설정된 영상을 이용하여 카메라들의 영상간의 일치정보를 추출한다(S410).
추출된 일치정보를 다음의 수학식 12와 같은 사영변환(projective transformation) 관계에 적용하는 호모그래피(homography) 단계을 수행함으로써, 영상전체에 대한 일치점을 추출한다(S420).
Figure 112005037281202-pat00012
여기서 λ는 스케일 벡터(scale vector)이다. 수학식 12에서, 최소 4개의 일치점으로부터 모든 원소 h11, …, h33을 구할 수 있으며, λ는 사영변환 행렬 안에서 소거될 수 있다. 수학식 12의 사영변환 행렬이 추정되면, 이를 이용하여 한 점에 대한 일치점을 용이하게 설정할 수 있다. 따라서, 영상 전체에 대한 일치점을 추출할 수 있다.
영상 전체에 대한 일치점을 다음의 수학식 13과 같은 어파인 변환(affine transformation)에 적용함으로써, 카메라간 밝기 및 색상 균일도를 보상처리한다(S430).
Figure 112005037281202-pat00013
여기서 일치점을 이용하여 aR, aG, aB 및 bR, bG, bB를 구할 수 있다.
[실시예]
본 발명에 따른 실시예에서, 실험을 위한 환경은 일반적인 사무실 환경이고, 조명은 직사광에 의한 하이라이트가 생기지 않도록 형광등과 같은 간접광을 이용하였으며, 다음의 표 1에 나타낸 카메라 및 시스템을 사용하였다.
Figure 112005037281202-pat00014
1. 카메라별 밝기 균일도 보상처리 단계(S100)
도 7a의 좌측영상은 카메라별 밝기 균일도 보상처리 전의 영상이고, 도 7a의 우측영상은 본 발명에 따른 보상처리 전의 영상의 최고밝기값 Imax를 이용한 밝기차이 맵이며, 도 7b는 본 발명에 따른 카메라별 밝기 균일도 보상처리 후의 영상이다.
도 7a의 좌측영상에서 알 수 있는 바와 같이, 일반적인 CCD 카메라의 특성으로 인하여 영상의 중심 영역과 가장자리 영역에서 밝기가 균일하지 못한 것을 확인할 수 있다.
이를 보정하기 위하여, 도 7a의 좌측영사에 나타낸 불균일 영상의 기준밝기값으로 최고밝기값 Imax를 이용(도시되지 않았으나, 평균밝기값 Iaver를 이용할 수도 있음)하여, 도 7a의 우측영상에 나타낸 밝기 차이맵을 생성하였다. 이후, 도 7a의 좌측영상의 불균일 영상에 도 7a의 우측영상의 밝기 차이 맵을 합산함으로써, 도 7b에 나타낸 바와 같은 매우 균일한 밝기의 영상을 획득하였다.
2. 카메라별 렌즈 왜곡 보상처리 단계(S200)
도 8a는 카메라별 렌즈 왜곡 보상처리 전의 영상이고, 도 8b는 본 발명에 따른 카메라별 렌즈 왜곡 보상처리 후의 영상이다. 실시예에서, 격자무늬 패턴 크기는 9X6이고, 격자 크기는 4.2cmX4.2cm이며, 조명 환경은 형광등 8개의 사무실 환경이고, 카메라와 패턴간의 거리는 3m로 설정하였다.
도 8a에서 알 수 있는 바와 같이, 격자무늬 패턴이 전체적으로 배럴 왜곡(barrel distortion)이 발생하는 것을 확인할 수 있다.
이를 보정하기 위하여, 도 8a에 나타낸 각각의 영상의 패턴을 검출한 후, 휴 변환(Hough transformation)을 통하여 카메라 렌즈 왜곡 계수를 구한 후, 카메라 렌즈 왜곡을 보정하여 도 8b에 나타낸 바와 같은 배럴 왜곡이 제거된 영상을 획득하였다.
3. 카메라간 오차 및 영상크기 보상처리 단계(S300)
도 9a는 카메라간 오차 및 영상크기 보상처리 전의 영상이고, 도 9b는 본 발명의 실시예에 따른 카메라간 오차 및 영상크기 보상처리 후의 영상이다. 실시예에서, 첫 번째 촬영은 바닥에 대해 수평하게 촬영하였고, 두 번째 촬영은 약간 기울어지게 촬영하여 오차효과를 주었으며, 조명 환경은 형광등 12개의 사무실 환경이고, 카메라와 책장간의 거리는 5.1m로 설정하였다.
도 9a에서 알 수 있는 바와 같이, 상부 영상에 대하여 하부 영상이 기울어진 것을 확인할 수 있다.
이를 보정하기 위하여, 도 9a에 나타낸 상부 영상과 하부 영상에서 특징점(feature point)과 대응점(correspondence point)을 검출하고, 검출된 대응점으로 공분산 행렬(covariance matrix)을 계산한 후, 회전행렬을 계산하였다. 마지막으로, 회전된 값만큼 영상을 회전시킴으로써, 도 9b에 나타낸 바와 같은 상부 영상과 하부 영상간의 기울어짐과 오차가 제거된 영상을 획득하였다.
4. 카메라간 밝기 및 색상 균일도 보상처리 단계(S400)
도 10a는 카메라간 밝기 및 색상 균일도 보상처리 전의 영상이고, 도 10b는 본 발명의 실시예에 따른 카메라별 밝기 및 색상 균일도 보상처리 후의 영상이다. 실시예에서, 조명 환경은 형광등 12개의 사무실 환경이고, 4개의 카메라와 벽면간의 거리는 5.1m로 설정하였다.
도 10a에서 알 수 있는 바와 같이, 4개의 카메라를 이용한 4시점 영상이 서로 밝기 및 색상 균일도가 불균일한 것을 확인할 수 있다.
이를 보정하기 위하여, 도 10a에 나타낸 4시점 영상간의 일치정보를 추출하고, 추출된 일치정보를 이용하여 호모그래피(homography) 단계 및 어파인 변환(affine transformation)을 통하여, 도 10b에 나타낸 바와 같은 카메라간의 밝기와 색상이 균일한 영상을 획득하였다.
이상에서 본 발명에 대하여 설명하였으나, 이는 실시예에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 얼마든지 다양한 변화 및 변형이 가능함은 본 기술분야에서 통상적으로 숙련된 당업자에게 분명할 것이다. 하지만, 이러한 변화 및 변형이 본 발명의 범위 내에 속한다는 것은 이하 특허청구범위를 통하여 확인될 것이다.
상술한 바와 같이, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 4대 이상의 카메라를 이용한 각각의 영상의 밝기 차이 맵을 생성하여 카메라별 밝기 균일도를 보상처리하므로, 매우 균일한 밝기의 영상을 획득할 수 있는 효과가 있다.
또한, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 4대 이상의 카메라를 이용한 각각의 영상의 패턴을 검출하여 카메라별 렌즈 왜곡을 보상처리하므 로, 배럴 왜곡(barrel distortion) 및 핀쿠션 왜곡(pincushion distortion) 등의 방사형 왜곡(radial distortion)이 제거된 영상을 획득할 수 있는 효과도 있다.
또한, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 4대 이상의 카메라를 이용한 각각의 영상에서 검출된 특징점과 대응점을 이용하여 카메라간 오차 및 영상크기를 보상처리하므로, 기울어짐과 오차가 제거된 영상을 획득할 수 있는 효과도 있다.
또한, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 4대 이상의 카메라를 이용한 4시점 이상의 영상의 일치정보를 이용한 색 변환을 통하여 카메라간 밝기 및 색상 균일도를 보상처리하므로, 4시점 이상의 영상간의 밝기와 색상이 매우 균일한 효과도 있다.
따라서, 본 발명에 따른 다시점 영상의 왜곡 보정처리 방법은 다시점 영상간에 발생할 수 있는 카메라별 밝기 균일도, 카메라 렌즈의 왜곡, 카메라간 오차와 영상크기, 및 카메라간 밝기와 색상 균일도 등을 보상처리하므로, 효과적인 3차원 입체 디스플레이를 제공하는 효과도 있다.

Claims (8)

  1. (A) 4대 이상의 카메라들에서 촬영된 영상에 대하여 각각 밝기차이 맵을 생성하고, 상기 촬영된 영상과 상기 밝기차이 맵을 이용하여 각각의 카메라에 대한 밝기 균일도를 보상처리하는 단계;
    (B) 상기 각각의 카메라에 촬영된 영상의 패턴을 검출하고, 상기 검출된 영상의 패턴의 휴 변환(Hough transformation)을 통해 렌즈 왜곡 계수를 획득한 후, 상기 렌즈 왜곡 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡을 보상처리하는 단계;
    (C) 상기 4대 이상의 카메라들에서 촬영된 영상에 대하여 특징점과 대응점을 포함하는 제 1 일치정보를 추출하고, 상기 제 1 일치정보로부터 공분산 행렬(covariance matrix) 및 회전 행렬을 계산한 후, 상기 회전 행렬을 이용하여 상기 4대 이상의 카메라들간의 오차 및 영상크기를 보상처리하는 단계; 및
    (D) 상기 4대 이상의 카메라들에서 촬영된 영상에 대하여 제 2 일치정보를 추출하고, 상기 제 2 일치정보를 이용한 호모그래피(homography) 및 어파인 변환(affine transformation)을 수행함으로써, 상기 4대 이상의 카메라들간의 밝기 및 색상 균일도를 보상처리하는 단계를 포함하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  2. 제 1 항에 있어서, 상기 (A) 단계는,
    (A-1) 상기 4대 이상의 카메라들에 대하여 동일한 평면이 영상전체에 꽉 차도록 각각 촬영하는 단계;
    (A-2) 상기 각각의 촬영된 영상을 YCbCr 공간으로 변환하여 Y채널을 추출하는 단계;
    (A-3) 상기 각각의 카메라에 대한 Y채널에서 기준밝기값을 계산하는 단계;
    (A-4) 상기 기준밝기값을 이용하여 밝기차이 맵을 생성하는 단계; 및
    (A-5) 상기 Y채널과 상기 밝기차이 맵을 합산함으로써, 각각의 카메라에 대한 밝기 균일도를 보상처리하는 단계을 포함하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  3. 제 2 항에 있어서,
    상기 기준밝기값은 최고밝기값인 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  4. 제 2 항에 있어서,
    상기 기준밝기값은 평균밝기값인 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  5. 제 1 항에 있어서, 상기 (B) 단계는,
    (B-1) 상기 각각의 카메라를 이용하여 패턴을 촬영하고, 상기 촬영된 영상의 패턴으로부터 코너점을 검출하는 단계;
    (B-2) 상기 검출된 코너점을 휴 공간(Hough space)에서 직선을 이루는 점들로 그룹핑(grouping)하는 단계;
    (B-3) 상기 그룹핑된 점들을 이용하여 직선의 계수를 추정하는 단계;
    (B-4) 상기 추정된 직선의 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡 계수를 구하는 단계; 및
    (B-5) 상기 렌즈 왜곡 계수를 이용하여 상기 각각의 카메라에 대한 렌즈 왜곡을 보상처리하는 단계을 포함하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  6. 제 5 항에 있어서,
    상기 (B-1) 단계의 상기 각각의 카메라를 이용하여 패턴을 촬영하는 단계은 상기 각각의 카메라를 이용하여 격자무늬의 패턴을 촬영하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  7. 제 1 항에 있어서, 상기 (C) 단계는,
    (C-1) 상기 4대 이상의 카메라들을 이용하여 동일한 패턴을 촬영하는 단계;
    (C-2) 상기 4대 이상의 카메라들 중 특정된 하나의 카메라에 의해 촬영된 영상의 패턴으로부터 특징점을 검출하는 단계;
    (C-3) 상기 특징점과 SSD(Sum of Squared Difference) 방법을 이용하여 다른 카메라들의 대응점을 추출하는 단계;
    (C-4) 상기 특징점과 대응점을 포함하는 제 1 일치정보로부터 공분산 행렬을 계산하는 단계;
    (C-5) 상기 공분산 행렬을 EVD(Eigen Value Decomposition)를 이용하여 직교 행렬을 계산하는 단계;
    (C-6) 상기 직교 행렬을 이용하여 회전 행렬을 계산하는 단계; 및
    (C-7) 상기 회전 행렬을 이용하여 상기 4대 이상의 카메라들간의 오차 및 영상크기를 보상처리하는 단계을 포함하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
  8. 제 1 항에 있어서, 상기 (D) 단계는,
    (D-1) 상기 4대 이상의 카메라들에서 촬영된 영상들간의 제 2 일치정보를 추출하는 단계;
    (D-2) 상기 제 2 일치정보를 호모그래피에 적용하여 상기 영상들 전체에 대한 일치점을 추출하는 단계; 및
    (D-3) 상기 영상들 전체에 대한 일치점을 어파인 변환에 적용함으로써, 상기 4대 이상의 카메라들간의 밝기 및 색상 균일도를 보상처리하는 단계을 포함하는 것을 특징으로 하는 다시점 영상의 왜곡 보정처리 방법.
KR1020050062061A 2005-07-11 2005-07-11 다시점 영상의 왜곡 보정처리 방법 KR100668073B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050062061A KR100668073B1 (ko) 2005-07-11 2005-07-11 다시점 영상의 왜곡 보정처리 방법
PCT/KR2005/002228 WO2007007924A1 (en) 2005-07-11 2005-07-11 Method for calibrating distortion of multi-view image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050062061A KR100668073B1 (ko) 2005-07-11 2005-07-11 다시점 영상의 왜곡 보정처리 방법

Publications (1)

Publication Number Publication Date
KR100668073B1 true KR100668073B1 (ko) 2007-01-11

Family

ID=37637280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050062061A KR100668073B1 (ko) 2005-07-11 2005-07-11 다시점 영상의 왜곡 보정처리 방법

Country Status (2)

Country Link
KR (1) KR100668073B1 (ko)
WO (1) WO2007007924A1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227936B1 (ko) * 2011-05-31 2013-01-30 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR20190124439A (ko) * 2018-04-26 2019-11-05 한국전자통신연구원 3차원 영상 왜곡 보정 장치 및 방법
WO2020101447A1 (ko) * 2018-11-16 2020-05-22 (주)리플레이 다시점 촬영을 위한 카메라 캘리브레이션 방법 및 그 장치
KR20210132590A (ko) * 2020-04-27 2021-11-04 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
KR102412275B1 (ko) * 2021-05-27 2022-06-24 한국과학기술원 스테레오 방법을 이용한 3차원 형상정보 계측에 있어서의 이미지 왜곡 보정 방법 및 장치

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2466898B1 (en) 2010-12-20 2017-10-18 Vestel Elektronik Sanayi ve Ticaret A.S. A method and apparatus for calibration of stereo images
KR101144375B1 (ko) 2010-12-30 2012-05-10 포항공과대학교 산학협력단 영상의 왜곡을 보정하는 방법 및 이러한 방법을 사용하는 장치
US9307227B2 (en) * 2011-02-24 2016-04-05 Tektronix, Inc. Stereoscopic image registration and color balance evaluation display

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064424A (en) * 1996-02-23 2000-05-16 U.S. Philips Corporation Autostereoscopic display apparatus
US5652616A (en) * 1996-08-06 1997-07-29 General Instrument Corporation Of Delaware Optimal disparity estimation for stereoscopic video coding
GB2352573A (en) * 1999-07-24 2001-01-31 Sharp Kk Parallax barrier for a autostereoscopic display

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101227936B1 (ko) * 2011-05-31 2013-01-30 전자부품연구원 대응 영상의 컬러 보정 방법 및 그 기록매체
KR101918030B1 (ko) * 2012-12-20 2018-11-14 삼성전자주식회사 하이브리드 멀티-뷰 랜더링 방법 및 장치
KR20190124439A (ko) * 2018-04-26 2019-11-05 한국전자통신연구원 3차원 영상 왜곡 보정 장치 및 방법
KR102128336B1 (ko) 2018-04-26 2020-06-30 한국전자통신연구원 3차원 영상 왜곡 보정 장치 및 방법
US10997455B2 (en) 2018-04-26 2021-05-04 Electronics And Telecommunications Research Institute Apparatus and method of correcting 3D image distortion
WO2020101447A1 (ko) * 2018-11-16 2020-05-22 (주)리플레이 다시점 촬영을 위한 카메라 캘리브레이션 방법 및 그 장치
KR20210132590A (ko) * 2020-04-27 2021-11-04 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
KR102451197B1 (ko) 2020-04-27 2022-10-06 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. 영상 프레임 처리 방법 및 장치, 전자 기기, 저장 매체 그리고 프로그램
US11557062B2 (en) 2020-04-27 2023-01-17 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for processing video frame
CN113643347A (zh) * 2020-07-20 2021-11-12 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
CN113643347B (zh) * 2020-07-20 2024-02-09 黑芝麻智能科技(上海)有限公司 利用弱对准的异构相机的立体视觉
KR102412275B1 (ko) * 2021-05-27 2022-06-24 한국과학기술원 스테레오 방법을 이용한 3차원 형상정보 계측에 있어서의 이미지 왜곡 보정 방법 및 장치

Also Published As

Publication number Publication date
WO2007007924A1 (en) 2007-01-18

Similar Documents

Publication Publication Date Title
US11985293B2 (en) System and methods for calibration of an array camera
JP5238429B2 (ja) 立体映像撮影装置および立体映像撮影システム
EP3201877B1 (en) Systems and methods for dynamic calibration of array cameras
JP4942221B2 (ja) 高解像度仮想焦点面画像生成方法
US7876953B2 (en) Apparatus, method and medium displaying stereo image
US8897502B2 (en) Calibration for stereoscopic capture system
EP0680014B1 (en) Image processing method and apparatus
US8189035B2 (en) Method and apparatus for rendering virtual see-through scenes on single or tiled displays
US20110149031A1 (en) Stereoscopic image, multi-view image, and depth image acquisition apparatus and control method thereof
EP3350989B1 (en) 3d display apparatus and control method thereof
US20110080466A1 (en) Automated processing of aligned and non-aligned images for creating two-view and multi-view stereoscopic 3d images
WO2012162566A1 (en) Systems and methods for alignment, calibration and rendering for an angular slice true-3d display
CN106651794A (zh) 一种基于虚拟相机的投影散斑校正方法
KR102222290B1 (ko) 혼합현실 환경의 동적인 3차원 현실데이터 구동을 위한 실사기반의 전방위 3d 모델 비디오 시퀀스 획득 방법
KR20060063558A (ko) 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR100897542B1 (ko) 임의 시점 영상 합성 시 영상 보정 방법 및 장치
KR100668073B1 (ko) 다시점 영상의 왜곡 보정처리 방법
CN111064945A (zh) 一种裸眼3d图像采集及生成方法
KR20170025214A (ko) 다시점 깊이맵 생성 방법
CN112970044B (zh) 根据广角图像的视差估计
CN115719320A (zh) 基于遥感影像的倾斜校正稠密匹配方法
CN114967170A (zh) 基于柔性裸眼三维显示设备的显示处理方法及其装置
AU2013308155B2 (en) Method for description of object points of the object space and connection for its implementation
CN102547343B (zh) 立体图像处理方法、立体图像处理装置和显示装置
WO2012014695A1 (ja) 立体撮像装置およびその撮像方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20050711

PA0201 Request for examination
N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20060412

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20061028

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20070105

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20070108

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20091208

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20101231

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20111226

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20121226

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20121226

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20140404

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20140404

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20141230

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20141230

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 10

PR1001 Payment of annual fee

Payment date: 20160104

Start annual number: 10

End annual number: 10

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20170102

Start annual number: 11

End annual number: 11

FPAY Annual fee payment

Payment date: 20180102

Year of fee payment: 12

PR1001 Payment of annual fee

Payment date: 20180102

Start annual number: 12

End annual number: 12

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 14

PR1001 Payment of annual fee

Payment date: 20200102

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20221222

Start annual number: 17

End annual number: 17

PR1001 Payment of annual fee

Payment date: 20240102

Start annual number: 18

End annual number: 18

PR1001 Payment of annual fee

Payment date: 20250102

Start annual number: 19

End annual number: 19