KR101305316B1 - 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법 - Google Patents

개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법 Download PDF

Info

Publication number
KR101305316B1
KR101305316B1 KR1020110130641A KR20110130641A KR101305316B1 KR 101305316 B1 KR101305316 B1 KR 101305316B1 KR 1020110130641 A KR1020110130641 A KR 1020110130641A KR 20110130641 A KR20110130641 A KR 20110130641A KR 101305316 B1 KR101305316 B1 KR 101305316B1
Authority
KR
South Korea
Prior art keywords
image
polygon
vertex
distortion
correction
Prior art date
Application number
KR1020110130641A
Other languages
English (en)
Other versions
KR20130064167A (ko
Inventor
하수영
나경진
김진경
Original Assignee
아진산업(주)
주식회사 우신산업
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주), 주식회사 우신산업 filed Critical 아진산업(주)
Priority to KR1020110130641A priority Critical patent/KR101305316B1/ko
Publication of KR20130064167A publication Critical patent/KR20130064167A/ko
Application granted granted Critical
Publication of KR101305316B1 publication Critical patent/KR101305316B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/80—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Abstract

본 발명은 복수의 광각 카메라로부터 획득된 영상의 방사 왜곡을 보정하여 어라운드 뷰 영상을 생성하는 방법에 있어서, 기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 상기 그리드 패턴 영상에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계, 복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계, 상기 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계, 상기 검출된 에지 영역을 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하는 단계, 인접한 상기 보정점들 간의 거리비율을 이용하여 중간 보정점 위치를 추정하는 단계, 상기 각 왜곡 영상에 대하여 상기 복수의 보정점과 중간 보정점을 보정 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계, 상기 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계 및 상기 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 외곽 부분의 영상 왜곡이 현저하게 개선되어 실제 영상과 거의 유사한 평면 영상을 제공함으로써 운전자가 차량 주위의 장애물이나 물체의 접근 및 장애물과 차량과의 거리를 용이하게 인식할 수 있어 주차시의 사고를 미연에 방지할 수 있는 효과가 있다.

Description

개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법{IMAGE GENERATING METHOD FOR AROUND VIEW OF VEHICL USING IMPROVED POLYGON MATCHING}
본 발명은 차량 어라운드 뷰 영상 생성 방법에 관한 것으로, 특히 광각 카메라를 통해 획득되는 왜곡 영상 내의 폴리곤 좌표점을 추정하고, 추정된 폴리곤 좌표점을 기준 영상에 폴리곤 매핑되도록 하는 차량 어라운드 뷰 영상 생성 방법에 있어서, 특징점 간의 곡률정보를 반영한 개선된 폴리곤 매핑 방식을 통해 광각 왜곡의 보정율을 현저하게 개선할 수 있도록 하는 기술에 관한 것이다.
차량에는 주행의 편리성 제공, 교통 사고 발생시 사고 원인 분석 등의 목적으로 전, 후방 등 여러 위치에 카메라가 설치되는 경우가 많다. 특히, 근래에는 차량의 후측면에 카메라를 설치하여 차량 후진시 후방 영상을 제공하여 주차의 편리성을 제공하고 있다.
이러한 후방 영상 제공을 위해서는 넓은 시야를 확보할 수 있는 광각 카메라가 주로 사용되는데, 광각 카메라는 외각 부분으로 갈수록 해상도가 떨어질 뿐만 아니라 외각 부분으로 갈수록 영상이 휘어지는 왜곡, 즉 방사 왜곡(radial distortion)이 두드러진다.
따라서, 이러한 왜곡된 영상을 보정하는 처리가 필요하게 되는데, 왜곡 영상은 일반적으로 워핑 방정식을 이용하여 교정하는 것이 일반적이다. 워핑 방정식은 다음 수식과 같이 1차, 2차, 3차 방정식으로 표현된다.
수식 1
Figure 112011097376525-pat00001
Figure 112011097376525-pat00002
수식 2
Figure 112011097376525-pat00003
Figure 112011097376525-pat00004
수식 3
Figure 112011097376525-pat00005
Figure 112011097376525-pat00006
그러나, 워핑 방정식을 이용한 왜곡 보정은 3차원 방정식을 이용하여 보정이 이루어지므로 외곽 부분의 영상 왜곡이 여전히 남아 있어 왜곡이 완벽하게 보정되지 않는 단점이 있다.
이에 본 출원인은 기준 그리드 패턴을 복수의 기준 폴리곤으로 분할 설정하고, 광각 카메라를 통해 획득되는 왜곡 영상을 복수의 왜곡 폴리곤으로 분할한 후에 각 왜곡 폴리곤의 좌표점을 자동으로 추정하고, 추정된 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 폴리곤의 각 좌표점을 기준 폴리곤에 매핑하여, 왜곡된 영상의 선택 영역을 보정하고자 하는 위치로 자유 변형 및 위치 이동을 함으로써 왜곡을 보정할 수 있도록 하는 차량 어라운드 뷰 영상 생성 방법에 관한 기술을 개발하여 국내 특허출원 제2011-0048380호로 출원한 바 있다.
그러나, 상기 출원인의 선출원 발명에 따른 폴리곤 매핑 방식을 사용하게 되면 곡률과 상관이 없이 왜곡 영상 내에 폴리곤을 보정영상으로 맵핑하게 되므로, 특징점 간에 곡률정보를 반영하지 않아 광각 왜곡이 남아있게 된다.
즉, 광각 카메라로 차량 주변의 영상을 캡쳐를 하게 되면 광각 카메라가 어안 렌즈를 사용하므로 영상에 곡률이 생기게 된다. 폴리곤 매핑시에는 왜곡 영상에 포함되는 각각의 특징점을 이용하여 영상을 매핑하게 되는데 중앙부분에 위치하는 각 특징점들 간의 거리 비율과 외곽 부분에 존재하는 특징점들 간의 거리 비율이 다르므로 영상을 보정하면 외곽부분은 휘어지는 현상이 여전히 발생하게 된다.
본 발명은 이러한 문제점을 해결하기 위해 안출된 것으로서, 본 발명의 목적은 특징점 간의 곡률정보를 반영한 개선된 폴리곤 매핑 방식을 제안하여 광각 왜곡의 보정율을 현저하게 개선할 수 있도록 하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 일 실시예에 따르면, 기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 상기 그리드 패턴 영상에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계, 복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계, 상기 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계, 상기 검출된 에지 영역을 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하는 단계, 인접한 상기 보정점들 간의 거리비율을 이용하여 중간 보정점 위치를 추정하는 단계, 상기 각 왜곡 영상에 대하여 상기 복수의 보정점과 중간 보정점을 보정 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계, 상기 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계 및 상기 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법이 제공된다.
여기서, 인접한 상기 보정점들 간의 거리비율을 이용하여 중간 보정점 위치를 추정하는 단계는 수평방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 및 Y축 방향의 변화량을 그래프로 구하는 단계, 상기 X축 및 Y축 방향의 변화량 그래프에 기초하여 인접한 수평방향의 보정점들 간의 중간 보정점을 추정하는 단계, 수직방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 및 Y축 방향의 변화량을 그래프로 구하는 단계 및 상기 X축 및 Y축 방향의 변화량 그래프에 기초하여 인접한 수직방향의 보정점들 간의 중간 보정점을 추정하는 단계를 포함하는 것이 바람직하다.
본 발명에 따르면, 외곽 부분의 영상 왜곡이 현저하게 개선되어 실제 영상과 거의 유사한 평면 영상을 제공함으로써 운전자가 차량 주위의 장애물이나 물체의 접근 및 장애물과 차량과의 거리를 용이하게 인식할 수 있어 주차시의 사고를 미연에 방지할 수 있는 효과가 있다.
도 1은 본 발명에 따른 차량 어라운드 뷰 영상 생성 방법을 순차로 나타낸 흐름도.
도 2 내지 도 7은 본 발명에 따른 차량 어라운드 뷰 영상 생성 과정을 설명하기 위한 참조도.
도 8은 본 발명에 따라 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 여부를 판단하기 위한 과정을 설명하기 위한 도면.
도 9는 본 발명에 따라 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 방법을 설명하기 위한 도면.
도 10은 본 발명의 실시예에서 폴리곤 매핑시 기준이 되는 두개의 기준 꼭지점을 선정하는 과정을 설명하기 위한 흐름도.
도 11은 도 10의 방법을 설명하기 위한 참조 도면.
도 12는 수평 보정점과 수직 보정점을 추정하는 과정을 도시한 것.
도 13은 보정점(특징점)들 간의 거리에 대한 변화량을 도시한 그래프.
도 14는 추정된 보정점들과 중간 보정점들을 이용하여 왜곡 폴리곤을 생성하는 과정을 도시한 것.
도 15는 본 발명에 의해 보정된 영상을 도시한 것.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세하게 설명하기로 한다.
우선, 도 1 ~ 도 11을 참조하여 본 출원인의 선출원 발명에 따른 폴리곤 매핑 방식에 따른 영상 왜곡 보정방법을 설명하기로 한다.
도 1은 본 발명에 따른 차량 어라운드 뷰 영상 생성 방법을 순차로 나타낸 흐름도이고, 도 2 내지 도 7은 본 발명에 따른 차량 어라운드 뷰 영상 생성 과정을 설명하기 위한 참조도이다. 이하의 처리 과정은 PC를 통해 수행될 수 있고, 차량 내부의 프로세스에 의해 처리될 수도 있다.
우선, 본 발명은 도 2에 도시된 기준 체크 보드 패턴(10)에 대응하는 기준 그리드 패턴을 생성하고(S10), 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정한다(S20). 그리고, 그리드 패턴 영상을 복수의 기준 폴리곤(30)으로 분할 설정한 기준 영상(20)을 생성한다(S30). 이때, 복수의 기준 폴리곤(30)은 꼭지점(A',B',C')을 갖는 폴리곤 형태로 이루어진다.
다음으로, 복수의 광각 카메라로 각각 체크 보드 패턴을 촬상하여 도 3에 도시된 바와 같이 왜곡된 영상(40)을 획득한다(S40).
이어서, 왜곡 영상(40)의 체크 보드 패턴을 인식하고, 모폴로지 및 로버스트 연산을 통해 도 4에 도시된 바와 같이 왜곡 영상 내 체크 보드 패턴의 에지를 검출한다(S50).
체크 보드 패턴의 에지가 검출되면, 복수의 보정점을 추정하고 추정된 보정점들에 대한 보정 순서를 선정한다(S60). 이때, 보정점 추정은 도 5에 도시된 바와 같이 검출된 에지 영역을 따라 라인 트레킹을 수행하면서, 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 추정한다. 즉, 체크 보드 패턴에서의 각 교차점에서는 밝기 변화량이 크게 나타나므로, 라인 트레킹 과정에서 밝기 변화량이 크게 나타나는 점을 보정점으로 추정하고, 도 6에 도시된 바와 같이 보정점으로 추정된 순서에 따라 보정 순서를 선정한다.
이어서, 왜곡 영상에 대하여 보정점들을 꼭지점(A,B,C)으로 하는 갖는 복수의 왜곡 폴리곤으로 분할한다(S70).
그리고, 도 7에 도시된 바와 같이 선정된 보정 순서에 따라 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득한다(S80). 즉, 왜곡 폴리곤(50) 내의 각 픽셀을 기준 영상의 기준 폴리곤(30)에 매핑한다. 이때, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 판단하고, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는 경우 해당 픽셀의 좌표를 기준 좌표에 매핑하고, 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하지 않을 경우 매핑 대상에서 제외한다.
이하에서는 도 8 내지 도 10을 참조하여 본 발명에 따른 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 과정을 더욱 상세하게 설명하도록 한다.
도 8은 본 발명에 따라 매핑 대상 픽셀이 왜곡 폴리곤 내부에 위치하는지 여부를 판단하기 위한 과정을 설명하기 위한 도면으로서, 우선, 도 8의 (a)와 같이 검사 대상 픽셀(P)이 꼭지점 A,B,C로 이루어진 왜곡 폴리곤 내에 위치하는지 확인한다. 이를 위해서는, 도 8의 (b)와 같이 꼭지점 A,B,C를 포함하는 정사각형의 점 D와 E의 좌표를 구해야한다.
이때, D와 E의 좌표는 아래의 수식을 이용하여 구할 수 있다.
Figure 112011097376525-pat00007
Figure 112011097376525-pat00008
Figure 112011097376525-pat00009
Figure 112011097376525-pat00010
이와 같은 좌표를 구하고 매핑 대상 픽셀(P)이 꼭지점 A,B,C를 포함하는 정사각형 범위가 지정되면 이 좌표를 벗어나는 부분을 outside로 정할 수 있다. 이때, outside의 범위 조건은 if(Px<Dx ∥Px>Ex ∥ Py<Dy ∥Py>Ey)으로서, outside의 범위 조건을 만족하지 않을 경우 해당 매핑 대상 픽셀(P)이 사각형 내부에 위치하는 것을 알 수 있다.
그리고, 매핑 대상 픽셀(P)이 꼭지점 A,B,C를 포함하는 폴리곤 내부에 위치하는지 확인하기 위해서 도 8의 (c)와 같이
Figure 112011097376525-pat00011
와
Figure 112011097376525-pat00012
가 만나는 점 F의 좌표를 찾는다. 이때, F는 아래의 수식에 의해 구할 수 있다.
F=cross(
Figure 112011097376525-pat00013
,
Figure 112011097376525-pat00014
)
이렇게, 점 F의 좌표가 구해지면 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하는지 여부를 확인한다. 여기서, 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하기 위한 조건은 outside 범위 조건은 if(Fx<Dx ∥ Fx>Ex ∥ Fy<Dy ∥ Fy>Ey)로서, 점 F가 선분(
Figure 112011097376525-pat00015
)를 벗어난 경우로서 매핑 대상 픽셀(P)이 OUT1 또는 OUT2 영역에 위치하는 경우에 해당한다.
그리고, 도 8의 (d)에 도시된 바와 같이 매핑 대상 픽셀(P)을 기준으로 연결된 점 B와 F가 꼭지점이 되는 사각형의 점 G와 H의 좌표를 구한다.
이때, G와 H의 좌표는 아래의 수식을 이용하여 구할 수 있다.
Figure 112011097376525-pat00016
Figure 112011097376525-pat00017
Figure 112011097376525-pat00018
Figure 112011097376525-pat00019
이렇게, G와 H의 좌표가 구해지면 매핑 대상 픽셀(P)이 사각형(BGFH) 외부에 위치하는지 확인한다. 여기서, 매핑 대상 픽셀(P)이 왜곡 폴리곤 외부에 위치하기 위한 outside 범위 조건은 if(Px<Gx ∥ Px>Hx ∥Py <Gy ∥Py>Hy)로서, 매핑 대상 픽셀(P)이 사각형 BGFH 외부에 위치하는지 경우는 매핑 대상 픽셀이 OUT3 영역에 위치하는 경우에 해당한다.
이와 같은 outside 범위 조건 확인 결과 outside 범위 조건에 해당하지 않으면 매핑 대상 픽셀(P)이 왜곡 폴리곤 내부에 위치하는 것을 알 수 있다.
한편, 매핑 대상 픽셀(P)이 왜곡 폴리곤 내부에 위치하는 것으로 판단되면, 해당 픽셀을 기준 영상에 대응되도록 매핑한다.
도 9는 본 발명에 따라 왜곡 폴리곤을 기준 폴리곤으로 매핑하는 방법을 설명하기 위한 도면으로서, 우선 꼭지점 A, B, C 중 어느 하나를 제 1 기준 꼭지점(A)으로 선정하고, 제 1 기준 꼭지점(A)과 매핑 대상 픽셀(P)을 지나는 제 1 직선(
Figure 112011097376525-pat00020
) 및 제 1 기준 꼭지점(A)과 마주보는 선분(
Figure 112011097376525-pat00021
)이 교차하는 제 1 교차점(a)의 좌표를 산출한다. 그리고, 제 1 기준 꼭지점(A)을 제외한 둘 중 하나를 제 2 기준 꼭지점(B)으로 선정하고, 제 2 기준 꼭지점(B)과 매핑 대상 픽셀(P)을 지나는 제 2 직선(
Figure 112011097376525-pat00022
) 및 제 2 기준 꼭지점(B)과 마주보는 선분(
Figure 112011097376525-pat00023
)이 교차하는 제 2 교차점(b)의 좌표를 산출한다.
여기서, 제 1 교차점(a)과 제 2 교차점(b)의 좌표는 아래의 수식에 의해 구해진다.
a=CROSS(
Figure 112011097376525-pat00024
,
Figure 112011097376525-pat00025
)
b=CROSS(
Figure 112011097376525-pat00026
,
Figure 112011097376525-pat00027
)
이어서, 선분
Figure 112011097376525-pat00028
에 대한 b의 좌표비(
Figure 112011097376525-pat00029
:
Figure 112011097376525-pat00030
) 및 선분
Figure 112011097376525-pat00031
에 대한 a의 좌표비(
Figure 112011097376525-pat00032
:
Figure 112011097376525-pat00033
)를 산출하고, 산출된 b의 좌표비(
Figure 112011097376525-pat00034
:
Figure 112011097376525-pat00035
) 및 a의 좌표비(
Figure 112011097376525-pat00036
:
Figure 112011097376525-pat00037
)를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 선분
Figure 112011097376525-pat00038
상의 점 a'의 좌표와 선분
Figure 112011097376525-pat00039
상의 점 b '의 좌표를 산출한다.
여기서, 점 a와 b의 좌표는 아래의 수식에 의해 산출된다.
Figure 112011097376525-pat00040
Figure 112011097376525-pat00041
이러한 방식에 의해 점 a'와 b'의 좌표가 산출되면 A'와 a'를 잇는 선분(
Figure 112011097376525-pat00042
)와 꼭지점 B'와 b'를 잇는 선분(
Figure 112011097376525-pat00043
)의 교차점(P')를 산출한다.
여기서, P'의 좌표는 아래의 수식에 의해 산출된다.
P'=CROSS(
Figure 112011097376525-pat00044
,
Figure 112011097376525-pat00045
)
이와 같이 교차점(P')의 좌표가 산출되면, 매핑 대상 픽셀(P)을 교차점(P')에 대응시켜 매핑한다.
그런데, 매핑 대상 픽셀(P)을 지나는 두개의 선분이 폴리곤의 어느 한 선분 근접하여 기울기의 차이가 거의 없을 때 프로그램을 두 선분을 거의 수평하게 인식하게 되어 오차가 발생한다. 따라서, 이러한 오차를 보정하기 위해서는 매핑 대상 픽셀(P)을 지나는 두개의 선분의 기울기가 폴리곤의 각 선분의 기울기보다 충분히 큰 선분과 마주보는 점을 기준 꼭지점으로 선정해야 한다.
도 10은 본 발명의 실시예에서 폴리곤 매핑시 기준이 되는 두개의 기준 꼭지점을 선정하는 과정을 설명하기 위한 흐름도이고, 도 11은 도 10의 방법을 설명하기 위한 참조 도면으로서, 삼각형 ABC내의 점 P를 삼각형 A'B'C'로 매핑하고자 할 경우 점 P의 좌표와 꼭지점 ABC의 좌표 및
Figure 112011097376525-pat00046
,
Figure 112011097376525-pat00047
,
Figure 112011097376525-pat00048
의 선분비가 필요하며, 점 P를 매핑하기 위해 최적의 선분비 2개를 선택해야 한다.
우선, 아래의 수식을 이용하여 왜곡 폴리곤 세 선분(
Figure 112011097376525-pat00049
)의 기울기를 산출한다(S100).
ab=SLOPE(A,B)
ac=SLOPE(A,C)
bc=SLOPE(B,C)
그리고, 각 꼭지점과 P의 거리를 비교하고, 점 P에서 거리가 먼 꼭지점과 점 P와의 거리 정보를 dap로 저장한다(S200).
구체적으로는, 아래의 수식과 같이 점 p에서 A, B의 길이를 비교하여 긴것을 dap에 저장하고, 점 p에서 A, C의 길이를 비교하여 긴것을 dbp에 저장하며, 점 p에서 B, C의 길이를 비교하여 긴 것을 dcp에 저장한다.
dap=DIST(A,B)
dbp=DIST(A,C)
dcp=DIST(B,C)
이어서, 점 P와 거리가 먼 꼭지점을 찾아 정보를 저장한다(S300).
구체적으로는, 아래의 수식과 같이 dap와 dbp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 ABP에 저장하고, dap와 dcp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 ACP에 저장하며, dbp와 dcp의 길이를 비교하여 길이가 긴 것을 점 P와 가장 먼 꼭지점으로 판단하고 긴 것을 BCP에 저장한다.
ABP=dap<dbp(=B) or dap>dbp(A)
ACP=dap<dcp(=C) or dap>dcp(A)
BCP=dbp<dcp(=C) or dbp>dcp(B)
그리고, 아래의 수식을 이용하여 P와 단계 S300에서 찾은 꼭지점과의 기울기를 산출한다(S400).
abp=SLOPE(P, ABP)
acp=SLOPE(P, ACP)
bcp=SLOPE(P, BCP)
이어서, S100 단계에서 산출한 기울기와, S400 단계에서 산출한 기울기의 차를 아래의 수식을 이용하여 산출한다(S500).
sdap=ABS(ab,abp)
sdbp=ABS(ab,abp)
sdap=ABS(ab,abp)
이러한 방식에 의해 산출된 값에 대한 절대값을 취하면 기울기 차를 산출할 수 있으며, "0"에 가까울수록 매핑 대상 픽셀(P)를 지나는 선분이 왜곡 폴리곤의 각 선분과 근접한 것이다.
이후, 산출된 기울기의 차가 가장 작은 선분(
Figure 112011097376525-pat00050
)을 찾고, 해당 선분(
Figure 112011097376525-pat00051
)과 마주보는 꼭지점(B)를 제 1 기준 꼭지점으로 선정하고(S600), 매핑 대상 픽셀(P)과 가장 가까운 꼭지점(C)을 제 2 기준 꼭지점으로 선정한다(S700). 이어서, 꼭지점 B,C를 기준으로 하는
Figure 112011097376525-pat00052
,
Figure 112011097376525-pat00053
의 선분비를 이용하여 매핑한다. 즉, 선택된 각 꼭지점(B,C)과 매핑 대상 픽셀(P)를 지나는 직선(
Figure 112011097376525-pat00054
,
Figure 112011097376525-pat00055
)과, 각 꼭지점(B,C)과 마주보는 선분(
Figure 112011097376525-pat00056
,
Figure 112011097376525-pat00057
)의 교차점(b,c)의 좌표를 산출하고(S800), 각 교차점(b,c)의 좌표비를 산출하고(S900), 이를 이용하여 매핑한다.
상술한 바와 같이, 폴리곤 매핑시에는 왜곡 영상에 포함되는 각각의 특징점을 이용하여 영상을 매핑하게 되는데 중앙부분에 위치하는 각 특징점들 간의 거리 비율과 외곽 부분에 존재하는 특징점들 간의 거리 비율이 다르므로 영상을 보정하면 외곽부분은 휘어지는 현상이 여전히 발생하게 되며, 이를 해결하기 위한 본 발명의 특징적인 기술이 도 12 ~ 15를 참조하여 상세하게 설명될 것이다.
도 12는 수평 보정점과 수직 보정점을 추정하는 과정을 도시한 것, 도 13은 보정점(특징점)들 간의 거리에 대한 변화량을 도시한 그래프, 도 14는 추정된 보정점들과 중간 보정점들을 이용하여 왜곡 폴리곤을 생성하는 과정을 도시한 것, 도 15는 본 발명에 의해 보정된 영상을 도시한 것이다.
도 12를 참조하면, 상기와 같이, 왜곡 영상에 포함되는 각각의 특징점들이 결정되면, 이들을 이용하여 수평 보정점과 수직 보정점을 추출하게 된다. 수평 보정점은 동일한 수평라인에 존재하는 특징점들로 결정되고, 수직 보정점은 수평라인에 존재하는 특징점들 중 어느 하나와 동일한 수직라인 상에 존재하는 특징점들로 결정된다. 하나의 수평라인에 대하여 수직라인을 이동해가면서 모든 특징점들에 대하여 중간 보정점을 찾게 된다.
도 13의 그래프는 수평방향의 보정점들에 대하여 X축 방향의 변화량을 구한 것으로서, X축은 각 수평 보정점들의 순번을 나타내고, Y축은 인접한 수평 보정점 간의 거리를 나타낸다.
도 13에 도시된 바와 같이, 수평방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 방향의 변화량을 구할 수 있으며, 동일한 방식으로 Y축 방향의 변화량을 그래프로 구하여, 2개의 변화량에 대한 정보에 기초하여 보정점 간의 곡률을 반영한 수평방향의 보정점들 간의 중간 보정값을 추정할 수 있다. 이러한 방식은 각각의 점 간을 연결하는 직선에 대한 비율을 구하는 것이 아니라 각각의 점 간의 거리차에 대한 변화량을 그래프로서 구하는 것이므로 이러한 그래프를 이용하여 특징점 간의 중간 보정점을 보다 정확하게 추정할 수 있다.
동일한 방식으로, 수직방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 및 Y축 방향의 변화량을 그래프로 구한 후, X축 및 Y축 방향의 변화량 그래프에 기초하여 인접한 수직방향의 보정점들 간의 중간 보정점을 추정할 수 있다.
이러한 방식을 통해 중간 보정점을 추가하여 보정시킨 결과 영상이 도 14에 도시되어 있다.
도 14에서, 적색 포인트(70)는 수평 및 수직 방향의 보정점을 청색 포인트(80)는 보정점 간의 거리 변화량에 기초하여 추정된 중간 보정점을 나타낸다.
그리고, P는 선출원에 의해 얻어진 왜곡 폴리곤을 나타내고, P'는 본 발명에 의해 보정점 간의 곡률이 반영된 수정된 왜곡 폴리곤을 나타낸다.
도 14에 도시된 바와 같이, 중간 보정점(80)은 보정점(70)들간에 위치하게 되고, 수정된 왜곡 폴리곤(P')은 하나의 왜곡 폴리곤(P) 내에 위치하는 3개의 보정점들(70)과 3개의 중간 보정점들(80)을 꼭지점으로 하는 4개의 삼각형들로 이루어지므로 수정된 왜곡 폴리곤(P')은 왜곡 폴리곤(P)을 다시 4등분하게 되며, 4등분된 삼각형들은 보정점(70) 간의 곡률을 반영하고 있으므로 보다 정확한 영상 보정이 이루어질 수 있게 되며, 이러한 방식에 의해 보정된 영상이 도 15에 도시되어 있다.
도 15의 영상을 살펴보면, 영상의 외곽 부분의 왜곡이 거의 없어졌음을 알 수 있어 본 발명에 따른 영상 왜곡 보정 방법이 우수한 영상 보정 효과를 나타냄을 알 수 있다.
10 : 광각 카메라 20 : 영상신호 수신부
30 : 영상 합성부 40 : 영상 디스플레이부
50 : 메모리 51 : 제 1 룩업 테이블
52 : 제 2 룩업 테이블 53 : 제 3 룩업 테이블
61 : 사용자 인터페이스 표시부 62 : 후방 카메라 영상 표시부
63 : 어라운드뷰 영상 표시부 70 : 보정점
80 : 중간 보정점 P : 왜곡 폴리곤
P" : 수정 왜곡 폴리곤

Claims (6)

  1. 복수의 광각 카메라로부터 획득된 영상의 방사 왜곡을 보정하여 어라운드 뷰 영상을 생성하는 방법에 있어서,
    기준 그리드 패턴의 각 교차점에 대한 기준 좌표값을 설정하고 상기 그리드 패턴 영상에 대하여 기준 꼭지점(A',B',C')을 갖는 복수의 기준 폴리곤으로 분할한 기준 영상을 생성하는 단계;
    복수의 광각 카메라로 체크 보드 패턴을 촬상하여 각각의 왜곡 영상을 획득하는 단계;
    상기 각 왜곡 영상 내 체크 보드 패턴의 에지를 검출하는 단계;
    상기 검출된 에지 영역을 따라 라인 트레킹을 수행하면서 수직 방향과 수평 방향으로의 밝기 분포 변화량을 이용하여 복수의 보정점을 추정하는 단계;
    인접한 상기 보정점들 간의 거리비율을 이용하여 중간 보정점 위치를 추정하는 단계;
    상기 각 왜곡 영상에 대하여 상기 복수의 보정점들과 복수의 중간 보정점들을 보정 꼭지점(A,B,C)으로 하는 복수의 왜곡 폴리곤으로 분할하는 단계;
    상기 왜곡 폴리곤이 기준 폴리곤에 대응되도록 왜곡 영상의 각 픽셀 좌표를 기준 좌표에 매핑하여 각각의 보정 영상을 획득하는 단계; 및
    상기 각각의 보정 영상과 차량의 평면 영상을 조합하여 어라운드 뷰 영상을 생성하는 단계를 포함하는 것을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
  2. 제 1항에 있어서,
    인접한 상기 보정점들 간의 거리비율을 이용하여 중간 보정점 위치를 추정하는 단계는
    수평방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 및 Y축 방향의 변화량을 그래프로 구하는 단계;
    상기 X축 및 Y축 방향의 변화량 그래프에 기초하여 인접한 수평방향의 보정점들 간의 중간 보정점을 추정하는 단계;
    수직방향의 각 보정점들에 대하여 인접한 보정점들 간의 거리에 대한 X축 및 Y축 방향의 변화량을 그래프로 구하는 단계; 및
    상기 X축 및 Y축 방향의 변화량 그래프에 기초하여 인접한 수직방향의 보정점들 간의 중간 보정점을 추정하는 단계를 포함하는 것을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
  3. 제 1항에 있어서,
    상기 왜곡 폴리곤과 기준 폴리곤 매핑 단계는,
    상기 매핑 대상 픽셀이 상기 왜곡 폴리곤 내부에 위치하는지 판단하고, 상기 매핑 대상 픽셀이 상기 왜곡 폴리곤 내부에 위치하는 경우에만 매핑을 수행하는 것을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
  4. 제 3항에 있어서,
    상기 왜곡 영상의 픽셀 좌표를 기준 좌표에 매핑하는 단계는,
    상기 꼭지점 A, B, C 중 어느 하나를 제 1 기준 꼭지점을 선정하고, 제 1 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 1 직선 및 상기 제 1 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 1 교차점 좌표 산출 단계와,
    상기 꼭지점 A, B, C 중 제 1 기준 꼭지점을 제외한 둘 중 하나를 제 2 기준 꼭지점으로 선정하고, 제 2 기준 꼭지점과 매핑 대상 픽셀(P)을 지나는 제 2 직선 및 상기 제 2 기준 꼭지점과 마주보는 선분과의 교차점 좌표를 산출하는 제 2 교차점 좌표 산출 단계와,
    상기 제 1 직선 상의 제 1 교차점 좌표비와 제 2 직선 상의 제 2 교차점 좌표비를 산출하는 단계와,
    상기 제 1 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 3 교차점 좌표를 산출하고, 상기 제 2 교차점 좌표비를 기준 폴리곤의 꼭지점(A',B',C')에 대응시켜 기준 폴리곤 상의 제 4 교차점 좌표를 산출하는와,
    상기 제 3 교차점과 제 4 교차점 각각과 마주하는 제 3 꼭지점과 제 4 꼭지점을 추출하고, 제 3꼭지점과 제 3 교차점을 잇는 제 3 선분 및 제 4 교차점과 제 4꼭지점을 잇는 제 4 선분을 추출하여, 제 3 선분과 제 4 선분의 교차점(P')를 산출하는 단계, 및
    상기 매핑 대상 픽셀(P)을 교차점(P')에 대응시켜 매핑하는 단계를 포함함을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
  5. 제 4항에 있어서,
    상기 제 1 기준 꼭지점 선정은,
    왜곡 폴리곤의 세 선분의 기울기를 산출하는 제 1 기울기 산출 단계와,
    매핑 대상 픽셀(P)과 각 꼭지점(A,B,C)과의 거리를 산출하는 단계와,
    상기 매핑 대상 픽셀(P)과 각 꼭지점을 연결하여 3개의 삼각형을 구하고, 상기 각각의 삼각형에 대하여 꼭지점과 매핑 대상 픽셀(P) 간의 거리가 먼 꼭지점을 각각 추출하는 단계와,
    상기 매핑 대상 픽셀(P)과 거리가 먼 꼭지점들과 매핑 대상 픽셀(P)과 기울기를 산출하는 제 2 기울기 산출 단계와,
    상기 제 1 기울기와 제 2 기울기의 차를 산출하고 기울기 차가 가장 작은 선분을 추출하는 단계와,
    상기 기울기의 차가 가장 작은 선분과 마주보는 꼭지점을 제 1 기준 꼭지점으로 선정하는 단계로 이루어지는 것을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
  6. 제 5항에 있어서,
    상기 제 2 기준 꼭지점은 매핑 대상 픽셀(P)과의 거리 산출 결과 거리가 가장 가까운 꼭지점으로 선정하는 것을 특징으로 하는 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법.
KR1020110130641A 2011-12-08 2011-12-08 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법 KR101305316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110130641A KR101305316B1 (ko) 2011-12-08 2011-12-08 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110130641A KR101305316B1 (ko) 2011-12-08 2011-12-08 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법

Publications (2)

Publication Number Publication Date
KR20130064167A KR20130064167A (ko) 2013-06-18
KR101305316B1 true KR101305316B1 (ko) 2013-09-06

Family

ID=48861182

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110130641A KR101305316B1 (ko) 2011-12-08 2011-12-08 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법

Country Status (1)

Country Link
KR (1) KR101305316B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104691415A (zh) * 2013-12-07 2015-06-10 惠州市德赛西威汽车电子有限公司 全景泊车辅助装置
CN104822030A (zh) * 2015-04-16 2015-08-05 北京理工大学深圳研究院 一种基于图像变形的不规则视频矩形化矫正方法
KR20160001868A (ko) * 2014-06-27 2016-01-07 충북대학교 산학협력단 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법
CN107063709A (zh) * 2017-04-05 2017-08-18 东风柳州汽车有限公司 汽车视觉测量系统标定室
CN109255795A (zh) * 2018-09-11 2019-01-22 中国计量大学 一种番茄植株边缘排序算法
KR20220041467A (ko) 2020-09-25 2022-04-01 현대모비스 주식회사 서라운드뷰 생성 시스템 및 방법

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9319666B1 (en) * 2013-06-03 2016-04-19 The Mathworks, Inc. Detecting control points for camera calibration
KR101596415B1 (ko) 2014-02-28 2016-02-22 동의대학교 산학협력단 시야 범위를 선택하는 어라운드뷰 모니터링 시스템 및 방법
KR101904480B1 (ko) * 2014-12-26 2018-10-04 재단법인 다차원 스마트 아이티 융합시스템 연구단 카메라의 왜곡을 고려한 물체 인식 시스템 및 방법
KR102351235B1 (ko) * 2020-11-27 2022-01-14 아주대학교산학협력단 이미지 교정 방법 및 장치
KR102349837B1 (ko) * 2021-06-22 2022-01-11 엔쓰리엔 주식회사 카메라 촬영 영상에 실제 위치 정보를 표시하는 방법 및 장치
KR102581236B1 (ko) * 2022-02-16 2023-09-22 주식회사 비지트 파노라믹 영상 블렌딩 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808536B1 (ko) 2006-10-31 2008-03-06 (주) 이즈커뮤니케이션즈 패턴 영상을 이용한 캘리브레이션 방법
JP2010257357A (ja) 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム
JP2011101265A (ja) 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100808536B1 (ko) 2006-10-31 2008-03-06 (주) 이즈커뮤니케이션즈 패턴 영상을 이용한 캘리브레이션 방법
JP2010257357A (ja) 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム
JP2011101265A (ja) 2009-11-06 2011-05-19 Nippon Seiki Co Ltd 較正情報算出方法、較正情報算出装置、及び広角画像処理装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104691415A (zh) * 2013-12-07 2015-06-10 惠州市德赛西威汽车电子有限公司 全景泊车辅助装置
CN104691415B (zh) * 2013-12-07 2017-02-01 惠州市德赛西威汽车电子股份有限公司 全景泊车辅助装置
KR20160001868A (ko) * 2014-06-27 2016-01-07 충북대학교 산학협력단 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법
KR101583423B1 (ko) * 2014-06-27 2016-01-08 충북대학교 산학협력단 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법
CN104822030A (zh) * 2015-04-16 2015-08-05 北京理工大学深圳研究院 一种基于图像变形的不规则视频矩形化矫正方法
CN104822030B (zh) * 2015-04-16 2017-10-17 北京理工大学深圳研究院 一种基于图像变形的不规则视频矩形化矫正方法
CN107063709A (zh) * 2017-04-05 2017-08-18 东风柳州汽车有限公司 汽车视觉测量系统标定室
CN109255795A (zh) * 2018-09-11 2019-01-22 中国计量大学 一种番茄植株边缘排序算法
CN109255795B (zh) * 2018-09-11 2021-04-06 中国计量大学 一种番茄植株边缘排序方法
KR20220041467A (ko) 2020-09-25 2022-04-01 현대모비스 주식회사 서라운드뷰 생성 시스템 및 방법

Also Published As

Publication number Publication date
KR20130064167A (ko) 2013-06-18

Similar Documents

Publication Publication Date Title
KR101305316B1 (ko) 개선된 폴리곤 매핑을 이용한 차량 어라운드 뷰 영상 생성 방법
KR101249791B1 (ko) 차량 어라운드 뷰 영상 생성 방법
CN110567469B (zh) 视觉定位方法、装置、电子设备及系统
US9883163B2 (en) Method and system for determining camera parameters from a long range gradient based on alignment differences in non-point image landmarks
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
JP4341564B2 (ja) 対象物判定装置
JP6260891B2 (ja) 画像処理装置および画像処理方法
US9025862B2 (en) Range image pixel matching method
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
CN105551020B (zh) 一种检测目标物尺寸的方法及装置
JP2011182236A (ja) カメラキャリブレーション装置
KR101239740B1 (ko) 폴리곤 매핑 및 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
JP6515650B2 (ja) 校正装置、距離計測装置及び校正方法
JP2013178656A (ja) 画像処理装置、画像処理方法および画像処理用のプログラム
JPWO2005010817A1 (ja) 画像処理装置
US20130314533A1 (en) Data deriving apparatus
CN113465573A (zh) 单目测距方法、装置及智能装置
US8675047B2 (en) Detection device of planar area and stereo camera system
JP2003281552A (ja) 画像処理装置及びその方法
JP5991821B2 (ja) 写真測量装置
JP2006234682A (ja) 対象物判定装置
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
KR20210091146A (ko) 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
JP6579659B2 (ja) 光源推定装置及びプログラム
WO2019003854A1 (ja) 画像処理装置、画像変換方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170704

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 7