KR101373856B1 - camera device of array type and image making methode of array type - Google Patents

camera device of array type and image making methode of array type Download PDF

Info

Publication number
KR101373856B1
KR101373856B1 KR1020110040513A KR20110040513A KR101373856B1 KR 101373856 B1 KR101373856 B1 KR 101373856B1 KR 1020110040513 A KR1020110040513 A KR 1020110040513A KR 20110040513 A KR20110040513 A KR 20110040513A KR 101373856 B1 KR101373856 B1 KR 101373856B1
Authority
KR
South Korea
Prior art keywords
camera
image
cameras
road
array type
Prior art date
Application number
KR1020110040513A
Other languages
Korean (ko)
Other versions
KR20120122398A (en
Inventor
김태수
장희섭
노명철
Original Assignee
휴앤에스(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴앤에스(주) filed Critical 휴앤에스(주)
Priority to KR1020110040513A priority Critical patent/KR101373856B1/en
Publication of KR20120122398A publication Critical patent/KR20120122398A/en
Application granted granted Critical
Publication of KR101373856B1 publication Critical patent/KR101373856B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 하나의 설치대상에 다수개의 카메라들을 설치하고, 도로의 중앙을 촬영하는 카메라는 광각 카메라를 사용하고, 원거리의 도로를 촬영하는 카메라들에는 줌 기능을 구현하여 촬영하도록 하고, 이들 카메라로부터 획득된 영상을 파노라마 기법으로 합성함으로써 전체 도로에 대한 선명한 영상을 얻도록 한다. According to the present invention, a plurality of cameras are installed in one installation object, and a camera photographing the center of a road uses a wide-angle camera, and cameras photographing a remote road implement a zoom function to shoot. The obtained image is synthesized by the panorama technique to obtain a clear image of the entire road.

Description

어레이형 카메라 장치 및 어레이 영상획득방법{camera device of array type and image making methode of array type}Camera type of array type and image making methode of array type

본 발명은 한 장소에 근거리, 중거리 및 원거리 카메라를 설치하여 원거리 도로, 중거리 도로 및 근거리도로의 영상을 획득하고 이들을 조합함으로써 왜곡되지 않는 영상을 획득하기 위한 어레이형 카메라 장치 및 어레이 영상획득방법에 관한 것이다, The present invention relates to an array type camera apparatus and an array image acquisition method for acquiring an undistorted image by acquiring images of a long distance, a medium distance, and a short distance by installing a short distance, a medium distance, and a long distance camera in one place and combining them. will be,

도 1은 종래 카메라에 의하여 촬영된 영상이다.1 is an image photographed by a conventional camera.

도 1에 도시된 바와 같이 카메라에 의하여 촬영된 영상 속의 물체는 카메라 위치에 접근하거나 멀어짐에 따라서 그 크기가 달라지게 된다. As shown in FIG. 1, an object in an image photographed by a camera changes in size as the camera approaches or moves away from the camera position.

또한 카메라 위치로부터 실제 공간상에 등간격인 20m 씩 이격된 위치를 영상내에서 표시하는 선(1), (2), (3), (4)들의 간격은 카메라로부터 멀어질수록 작아지게 된다.In addition, the distance between the lines (1), (2), (3), and (4) indicating the positions spaced 20 m apart from each other in the real space from the camera position becomes smaller as the distance from the camera increases.

또한 영상내에서 선(1), (2), (3), (4)의 길이가 실제 공간에서 차지하는 길이는 카메라로부터 멀어질수록 커지게 된다. In addition, the length of the lines 1, 2, 3, and 4 in the image becomes larger as the distance from the camera increases.

따라서 도 (1a)에서와 같이 카메라에서 멀리 있는 차량의 영상은 작게 보이지만 도 (1b)와 같이 카메라에 접근된 물체는 커보이게 된다.Therefore, as shown in FIG. 1A, an image of a vehicle far away from the camera appears small, but an object approaching the camera as shown in FIG. 1B becomes large.

이와 같이 한 지점에 설치된 카메라에 의하여 긴 거리의 도로의 영상을 촬영하여 도로를 감시하고자 할 때에는 원거리의 영상과 근거리의 영상 사이에는 많은 차이를 갖게 되고, 근거리의 영상에 초점을 형성할 때 원거리의 영상은 왜곡되게 된다. When you want to monitor the road by taking the image of long distance road by the camera installed at one point like this, there is a lot of difference between the far distance image and the near field image. The image is distorted.

본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결과제는 카메라 설치대로부터 순차적으로 이격된 관심영역을 촬영하도록 복수개의 카메라들을 설치하고, 이들 카메라들로부터 촬영된 영상을 합성하도록 함으로써 도로의 전체구간에서 동일하게 물체에 대한 식별력을 높이도록 하기 위한 어레이형 카메라 장치 및 영상획득방법을 제공한다. The present invention is to solve this problem, the object of the present invention is to install a plurality of cameras to shoot the region of interest sequentially spaced from the camera mounting, and to synthesize the images taken from these cameras the entire road An array camera apparatus and an image acquisition method for increasing identification of an object in the same section are provided.

상기 과제를 해결하기 위한 해결수단은 도로변에 설치되는 설치대의 상부에 설치된 복수개의 카메라들에 의하여 상기 설치대를 중심으로 좌우측 도로의 기설정된 지점들을 촬영하고, 상기 카메라들로부터 촬영된 영상들을 파노라마식으로 합성하여 전체영상을 형성하는 합성모듈을 포함하는 어레이형 카메라장치에 있어서: 상기 카메라들 중 상기 전체영상의 중심을 촬영하는 카메라에는 어안렌즈가 설치되며, 상기 어안렌즈가 설치된 카메라로 촬영되는 도로영역보다 상기 어안렌즈가 설치된 카메라의 좌우측에 설치된 각각의 카메라들에 의하여 촬영되는 도로영역이 작은 것이다.Solution for solving the problem is to take a predetermined point of the left and right roads around the mounting by a plurality of cameras installed on the top of the mounting installed on the road side, and panoramic images of the images taken from the cameras An array type camera apparatus comprising a synthesis module for synthesizing an entire image, wherein: a camera photographing the center of the entire image among the cameras is provided with a fisheye lens, and a road region photographed by a camera in which the fisheye lens is installed; The road area photographed by the respective cameras installed on the left and right sides of the camera in which the fisheye lens is installed is smaller.

삭제delete

삭제delete

삭제delete

상기 과제와 해결수단을 갖는 본 발명에 따르면, 하나의 카메라에 의하여 관찰할 때 발생되는 도로의 왜곡현상이 방지되고, 원거리의 도로에 대하여 줌렌즈에 의하여 선명한 영상을 구현되게 되므로 도로의 전체영역을 선명하게 볼 수 있다.According to the present invention having the above-mentioned problems and solving means, the distortion of the road generated when observed by one camera is prevented, and a clear image is realized by a zoom lens for a long road, so that the entire area of the road is clear. Can be seen.

또한 하나의 카메라 설치대에 다수개의 카메라가 설치되어 설치비용이 그 만큼 감소되게 된다. In addition, a plurality of cameras are installed on a single camera mount, thereby reducing the installation cost.

도 1은 종래 카메라에 의하여 촬영된 영상이다.
도 2는 본 발명의 전체적인 구성을 설명하는 구성도이다.
도 3은 본 발명의 일실실시예의 회로블록도이다.
도 4는 본 발명의 보정모듈의 동작을 도시한 구성도이다.
도 5는 본 발명의 일실시예에 의하여 합성된 파노라마 영상의 일예이다. 1 is an image photographed by a conventional camera.
2 is a configuration diagram illustrating the overall configuration of the present invention.
3 is a circuit block diagram of one embodiment of the present invention.
4 is a block diagram showing the operation of the correction module of the present invention.
5 is an example of a panoramic image synthesized according to an embodiment of the present invention.

이하 첨부된 도면에 따라서 본 발명의 실시예를 설명하기로 한다.DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.

도 2는 본 발명의 전체적인 구성을 설명하는 구성도이다.2 is a configuration diagram illustrating the overall configuration of the present invention.

카메라 설치대(1)는 감시영역인 도로 1km를 촬영하기 위하여 도로의 길이방향의 중간지점에 설치되고, 설치대(1)의 상부에 다섯대의 카메라(#1, #2, #3, #4, #5)가 설치된다. 또한 각 카메라들은 촬영영역이 정해져 있으며. 최좌측의 카메라(#1)는 도로 전체구간 중 최좌측으로부터 200m 도로영역을 2° 화각을 갖고 촬영하며 원거리에 대하여 선명한 영상을 얻기 위하여 5배 줌 렌즈가 설치되며, 그 다음 카메라(#2)는 카메라(#1)의 우측 도로영역200m를 9°의 화각을 갖고 촬영하며 3배줌 기능이 구현되고, 그 다음 카메라(#3)는 중간 도로영역200m를 160°의 화각을 갖는 어안렌즈가 설치되며, 그 다음 카메라(#4)는 카메라(#3)의 영역의 우측 도로영역 200m를 9°의 화각을 갖고 촬영하며 3배줌 기능이 구현되며, 그 다음 카메라(#5)는 카메라(#4)의 촬영영역의 우측 도로영역200m를 2°의 화각을 갖고 5배줌 기능이 구현된다.The camera mounting stand 1 is installed at the midway point in the longitudinal direction of the road in order to photograph the road 1km, which is a surveillance area, and five cameras # 1, # 2, # 3, # 4, # at the upper part of the mounting stand 1. 5) is installed. Each camera has its own shooting area. The leftmost camera (# 1) shoots a 200m road area with a 2 ° angle of view from the left side of the entire road section, and a 5x zoom lens is installed to obtain a clear image from a long distance, and then the camera (# 2) The camera (# 1) shoots 200m on the right side of the road area with an angle of view of 9 °, and the 3x zoom function is implemented, and then the camera (# 3) is equipped with a fisheye lens having a view angle of 160 ° on the middle road area of 200m. Then, the camera # 4 shoots 200m of the right road area of the area of the camera # 3 with an angle of view of 9 °, and the 3x zoom function is implemented, and the next camera # 5 is the camera # 4. The 5x zoom function is realized with the angle of view of 2 ° in the road area 200m on the right side of the shooting area.

이때, 각 카메라들은 촬영구간의 중간에 대해 초점이 형성되어 있어 촬영영역의 중심을 기준으로 선명하게 촬영하도록 한다. At this time, each camera has a focal point formed in the middle of the shooting section, so that the cameras can clearly shoot with respect to the center of the shooting area.

도 3은 본 발명의 일실실시예의 회로블록도이고, 도 4는 본 발명의 보정모듈의 동작을 도시한 구성도이다.3 is a circuit block diagram of an embodiment of the present invention, Figure 4 is a block diagram showing the operation of the correction module of the present invention.

본 발명의 장치 전반을 제어하는 제어부(10)에는 도로의 각 구간을 촬영하는 카메라들이 연결되며, 제어부(10) 내의 카메라 구동모듈(11)에 의하여 카메라들이 제어된다. 또한 각 카메라들로부터 획득된 영상은 보정모듈(12)에 의하여 보정된다. 이때 보정모듈(12)은 도 4에 도시된 바와 같이 각 카메라들의 영상에서 발생되는 원근감을 갖는 영상을 평면영상으로 보정한다.Cameras for photographing each section of the road are connected to the controller 10 for controlling the overall apparatus of the present invention, and the cameras are controlled by the camera driving module 11 in the controller 10. In addition, the images obtained from the cameras are corrected by the correction module 12. At this time, the correction module 12 corrects the image having a perspective generated from the images of each camera as a planar image, as shown in FIG.

도 4의 영상은 #5의 카메라에 의하여 촬영된 영상으로 카메라로부터 멀어질수록 실선의 차선 영상은 간격이 좁아지게 된다. 이 영상의 중심점(O)를 지나는 Y축과 만나는 중앙의 차선 영상은 x축과 수평하도록 점선과 같이 보정된다. 중앙의 차선영상과 일치하도록 나머지 차선영상도 보정되게 되어 점선의 보정된 차선영상으로 보정되게 된다.The image of FIG. 4 is an image photographed by the camera of # 5. As the distance from the camera increases, the lane line image of the solid line becomes narrower. The center lane image that meets the Y axis passing through the center point O of this image is corrected like a dotted line to be horizontal with the x axis. The remaining lane images are also corrected to match the center lane image, so that the corrected lane image of the dotted line is corrected.

도 4는 차선영상에 대한 보정을 도시하였으나, 이는 촬영된 영상내의 도로 및 도로상의 물체에 대하여 동일하게 이루어진다.4 illustrates the correction for the lane image, but the same is done for the road and the objects on the road in the captured image.

이와 같이 보정이 완료되면 파노라마 합성모듈(13)에 의하여 각 영상은 하나의 전체적인 영상으로 합성되게 된다.When the correction is completed as described above, each image is synthesized by the panoramic composition module 13 into one overall image.

또한 저장모듈(14)은 각 카메라에서 촬영된 영상을 보정하기 위하여 일시저장하며, 보정된 영상이 파노라마 합성모듈(13)에 의하여 합성되기 위하여 저장되며, 파노라마 합성모듈(13)에 의하여 합성된 영상은 영상 전송부(15)를 통하여 관제센터 등에 전송된다.In addition, the storage module 14 temporarily stores to correct the image photographed by each camera, the corrected image is stored to be synthesized by the panorama composition module 13, the image synthesized by the panorama composition module 13 Is transmitted to the control center through the image transmission unit 15.

도 5는 본 발명의 일실시예에 의하여 합성된 파노라마 영상의 일예이다.5 is an example of a panoramic image synthesized according to an embodiment of the present invention.

도 5에 도시된 바와 같이 중앙에 설치된 #3 카메라는 어안렌즈가 설치되어 넓은 도로영역이 촬영되게 되고, #2, #4 카메라인 중거리 카메라에 의하여 #3 카메라에 의하여 촬영되는 도로영역보다 작은 도로영역이 촬영되며 줌기능이 구현되어 선명한 영상이 촬영되게 되며, 원거리 카메라인 #1, #5 카메라에 의하여 고배율의 줌기능에 의하여 근거리 카메라와 동일한 화질의 영상을 획득할 수 있으며, 이러한 영상을 파노라마 기법에 의하여 연속되는 도로의 영상을 얻을 수 있다.As shown in FIG. 5, the # 3 camera installed in the center has a fisheye lens installed to capture a wide road area, and a road smaller than the road area photographed by the # 3 camera by the medium distance cameras # 2 and # 4. The area is captured and the zoom function is implemented so that clear images can be captured. By the high-magnification zoom function by the remote cameras # 1 and # 5 cameras, images of the same quality as the near camera can be obtained. It is possible to obtain images of consecutive roads by the technique.

도 6은 본 발명에서 어안렌즈를 사용한 경우의 화상 예이다.6 is an example of an image when a fisheye lens is used in the present invention.

어안렌즈(fish-eye lens)는 사각(寫角)이 180°를 넘는 초광각 렌즈로서 도 6에서와 같이 영상의 중심부분이 확대되어 촬영되기 때문에 촬상영역의 중앙부를 촬영하기 위한 카메라로 사용되는 것이 바람직하다.The fish-eye lens is an ultra-wide angle lens with a blind angle of more than 180 °, and is used as a camera for capturing the center of the imaging area because the center portion of the image is enlarged and photographed as shown in FIG. 6. desirable.

도 7은 본 발명의 다른 실시예를 도시한 영상이다.7 is an image showing another embodiment of the present invention.

카메라 설치대에는 원거리 촬영용 카메라와 중거리 촬영용 카메라가 각각 설치되며, 도 7(a)에서 사각형1은 원거리 촬영용 카메라에 의한 주 촬영역영역을 의미하며, 사각형2는 중거리 촬영용 카메라에 의한 주 촬영 영역을 나타낸다.The camera mounting stand is provided with a remote shooting camera and a medium shooting camera, respectively. In FIG. .

도 7(b)의 사각형1은 원거리 촬영용 카메라에 의하여 촬영된 원거리 영상을 나타내며, 사각형2는 중거리 촬영용 카메라에 의하여 촬영된 중거리 영상을 나타낸다.Square (1) of Figure 7 (b) represents a far-field image photographed by the far-distance camera, the square 2 represents a medium-distance image photographed by the medium-distance camera.

도 7(c)는 도 7(b)의 사각형1, 2의 영상을 파노라마 편집영상 기법에 의하여 편집한 것으로 설치대로부터 가까운 중거리 영상이나 멀리 이격되어 있는 원거리 영상에서 도로의 폭은 감소되지 않고 있으며, 도로 상에서 주행하는 차량의 크기 또한 커다란 변화가 없이 합성되게 되므로 근거리 뿐만아니라 원거리의 교통상황도 편리하게 확인할 수 있도록 한다.FIG. 7 (c) shows the images of rectangles 1 and 2 of FIG. 7 (b) edited by the panoramic edited image technique. The width of the road is not reduced in the medium distance image near or far from the distance from the mounting table. The size of the vehicle running on the road is also synthesized without major changes, so it is convenient to check the traffic situation not only in the short distance but also in the distance.

Claims (5)

도로변에 설치되는 설치대의 상부에 설치된 복수개의 카메라들에 의하여 상기 설치대를 중심으로 좌우측 도로의 기설정된 지점들을 촬영하고, 상기 카메라들로부터 촬영된 영상들을 파노라마식으로 합성하여 전체영상을 형성하는 합성모듈을 포함하는 어레이형 카메라장치에 있어서:
상기 카메라들 중 상기 전체영상의 중심을 촬영하는 카메라에는 어안렌즈가 설치되며, 상기 어안렌즈가 설치된 카메라로 촬영되는 도로영역보다 상기 어안렌즈가 설치된 카메라의 좌우측에 설치된 각각의 카메라들에 의하여 촬영되는 도로영역이 작은 것을 특징으로 하는 어레이형 카메라 장치.
Synthesis module for capturing predetermined points of the left and right roads around the mounting stand by a plurality of cameras installed on an upper side of the mounting stand installed at the roadside, and synthesizing the images taken from the cameras in a panoramic manner to form a whole image. In the array-type camera device comprising:
A fisheye lens is installed in a camera that captures the center of the entire image among the cameras, and is photographed by respective cameras installed on the left and right sides of the camera in which the fisheye lens is installed, rather than a road area photographed by the camera in which the fisheye lens is installed. Array camera device, characterized in that the road area is small.
삭제delete 삭제delete 삭제delete 삭제delete
KR1020110040513A 2011-04-29 2011-04-29 camera device of array type and image making methode of array type KR101373856B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110040513A KR101373856B1 (en) 2011-04-29 2011-04-29 camera device of array type and image making methode of array type

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110040513A KR101373856B1 (en) 2011-04-29 2011-04-29 camera device of array type and image making methode of array type

Publications (2)

Publication Number Publication Date
KR20120122398A KR20120122398A (en) 2012-11-07
KR101373856B1 true KR101373856B1 (en) 2014-03-11

Family

ID=47508665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110040513A KR101373856B1 (en) 2011-04-29 2011-04-29 camera device of array type and image making methode of array type

Country Status (1)

Country Link
KR (1) KR101373856B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102157675B1 (en) 2014-07-25 2020-09-18 삼성전자주식회사 Image photographing apparatus and methods for photographing image thereof
KR102340778B1 (en) * 2015-08-24 2021-12-20 엘지이노텍 주식회사 Camera module
CN110536055A (en) * 2019-08-28 2019-12-03 北京拙河科技有限公司 A kind of video camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269362A (en) * 1997-03-21 1998-10-09 Omron Corp Object recognition method and device therefor
KR20090108822A (en) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 Camera image correction method and apparatus

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269362A (en) * 1997-03-21 1998-10-09 Omron Corp Object recognition method and device therefor
KR20090108822A (en) * 2008-04-14 2009-10-19 주식회사 이미지넥스트 Camera image correction method and apparatus

Also Published As

Publication number Publication date
KR20120122398A (en) 2012-11-07

Similar Documents

Publication Publication Date Title
CN106414174B (en) Outside vehicle monitoring arrangement and filming apparatus
JP2011512735A (en) Panorama camera with multiple image sensors using timed shutters
US11184539B2 (en) Intelligent dual-lens photographing device and photographing method therefor
MXPA05008090A (en) Foveated panoramic camera system.
JP6528771B2 (en) Shooting device
JP2016114946A (en) Camera module
TWI592015B (en) Multiple sensor camera and monitoring system
US8994825B2 (en) Vehicle rear view camera system and method
KR20120108747A (en) Monitoring camera for generating 3 dimensional scene and method thereof
WO2013140873A1 (en) In-vehicle image processing device and method
JP2019102888A (en) Camera module
KR101373856B1 (en) camera device of array type and image making methode of array type
JP2018526873A (en) Vehicle-mounted camera means for photographing the periphery of the vehicle, and driver assistant device for object recognition provided with such vehicle-mounted camera means
JP2010206643A (en) Image capturing apparatus and method, and program
JP2005086279A (en) Imaging apparatus and vehicle provided with imaging apparatus
KR101630290B1 (en) Photographing Method For Producing Image Of Traced Moving Path And Apparatus Using The Same
KR20140135368A (en) Crossroad imaging system using array camera
JP5434065B2 (en) Imaging device
KR101181532B1 (en) Camera with multi-camera modules
KR20210050868A (en) Remote object recognition system and method for ship
JP2010249965A (en) Method of photographing different focal point images by using optical element, and device for the same
JP2008053787A (en) Multiple-lens electronic camera and parallax correcting method of multi-lens electronic camera
CN110784642B (en) Image processing apparatus, control method thereof, storage medium, and imaging apparatus
KR20110010036A (en) Lens composition body of multiplex screen structure
KR101436231B1 (en) An omnidirectional recording system without black image in display screen and the recording method.

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170221

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee